JP7293842B2 - 生成方法、プログラム、生成装置、出力装置及び送信装置 - Google Patents

Description

本発明は、学習モデルの生成方法等に関する。

製品メーカが自社製品を顧客へ出荷する前に行う検査において、従来、顧客と取り決めた品質感度よりも少し厳しめの感度にて検査を行い、製品を出荷していた。不良品を顧客へ流出させないためである。また、検査においては、欠陥の種類や発生する部位等によりその品質感度もばらつくため、全体の品質感度を、最も厳しい部位等の品質感度に合わさざるを得ず、本来は良品となるべき製品が不良品と判断され、出荷されない場合が生じている。そのための製品の良品率が下がり、製品コストの増加を招いている。これは、製品メーカ、顧客共に喜ばしい結果とは言えない。

そのようなことから、特許文献１には、顧客側の品質要求を反映した最適な欠陥検出条件（品質感度）で、製品の検査を行う検査システムが提案されている。

特許第４５４３７８８号公報

しかしながら、従来の検査システムでは、製品の検査箇所毎及び顧客毎に品質感度を予め記憶して置かなければならず、非常に煩雑な作業である。本発明はこのような事情に鑑みてなされたものである。その目的は、適度な品質感度での検査を可能とする学習モデルの生成方法等の提供である。

本発明に係る学習済みモデルの生成方法は、製品画像を入力した場合に良否情報を出力する学習済みモデルにより良品と判断された前記製品に対して、納品先が不良品と判断した要因情報、及び、前記学習済みモデルにより不良品と判断された前記製品に対して、納品先が良品と判断した良品情報を取得し、取得した前記要因情報及び前記良品情報に基づき、前記学習済みモデルの再学習を行うことを特徴とする。

本発明にあっては、過度な品質感度での検査を行わなくとも不良品の流出を抑止し、適度な品質感度での検査が可能となる。

検査システムの全体構成例を示す説明図である。 情報処理装置のハードウェア構成例を示すブロック図である。 出荷前検査結果ＤＢの例を示す説明図である。 受入先検査結果ＤＢの例を示す説明図である。 教師データＤＢの例を示す説明図である。 モデル属性ＤＢの例を示す説明図である。 判定モデルの生成処理に関する説明図である。 判定モデルの生成処理の手順例を示すフローチャートである。 検査システムを用いた出入荷の手順例を示すフローチャートである。 出荷会社における判定モデルを用いた出荷前検査の手順例を示すフローチャートである。 判定モデル生成処理の他の手順例を示すフローチャートである。 教師データの例を示す説明図である。 判定モデルを用いた出荷前検査の他の手順例を示すフローチャートである。 再学習用の教師データの生成例を示す説明図である。 ２つの判定モデルを用いた判定方法の例を示す説明図である。 絵柄印刷物の業務手順を示すフローチャートである。 絵柄印刷物の業務手順を示すフローチャートである。 受入会社端末のハードウェア構成例を示すブロック図である。 検査結果ＤＢの例を示す説明図である。 結果返送処理の手順例を示すフローチャートである。 結果確認画面の例を示す説明図である。 判定モデルを用いた判定方法の他例を示す説明図である。

以下、本発明の実施の形態を図面に基づき説明する。

（実施の形態１）
図１は検査システムの全体構成例を示す説明図である。検査システム１００は情報処理装置１、検査装置２、端末３、クラウドストレージ４、受入会社情報処理装置５、受入会社検査装置６及び受入会社端末７を含む。情報処理装置１、検査装置２及び端末３は出荷会社が利用する装置である。クラウドストレージ４は出荷会社の検査結果データ及び受入会社の検査結果データを記憶する。受入会社情報処理装置５、受入会社検査装置６及び受入会社端末７は受入会社が利用する装置である。ネットワークＮはインターネット、インターネットＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、専用線網等である。情報処理装置１、クラウドストレージ４及び受入会社情報処理装置５はネットワークＮにより、互いに通信可能に接続されている。情報処理装置１はクラウドストレージ４と各種データの授受を行う。受入会社情報処理装置５はクラウドストレージ４と各種データの授受を行う。クラウドストレージ４を介することにより、情報処理装置１と受入会社情報処理装置５とは互いに直接通信することなく、各種データの授受が可能となる。なお、出荷会社及び受入会社が行なう検査は画像を用いた検査を想定している。

ここで、出荷会社は部品、半完成品、モジュール等を出荷する会社である。受入会社（納品先）は出荷会社が出荷した部品、半完成品、モジュール等を受け取り、それらを用いて、製品の組み立て、製造等を行う会社である。以降、出荷会社が出荷するものについては、一律に製品と呼ぶ。図１には出荷会社を１社、受入会社を２社記載しているが、それに限らない。出荷会社は２社以上でもよいし、受入会社は３社以上でもよい。出荷会社は同種の製品を異なる複数の受入会社へ出荷していることを想定している。なお、出荷会社が、同種の製品を、異なる複数の受入基準で単一の受入会社に出荷している場合も同様である。

図２は情報処理装置のハードウェア構成例を示すブロック図である。情報処理装置１はサーバコンピュータ等で構成する。情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、大容量記憶部１４、通信部１６及び読み取り部１７を含む。各構成はバスＢで接続されている。なお、ＣＰＵ１１は複数でも良い。また、ＣＰＵ１１に加えて、一又は複数のＭＰＵ（Ｍｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いてもよい。また、情報処理装置１を量子コンピュータで構成しても良い。

ＣＰＵ１１はＲＯＭ１２に記憶された制御プログラム１Ｐにしたがい、ハードウェア各部を制御する。ＲＡＭ１３は例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）又はフラッシュメモリである。ＲＡＭ１３はＣＰＵ１１によるプログラムの実行時に発生するデータを一時的に記憶する。

大容量記憶部１４は、例えばハードディスク又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などである。大容量記憶部１４は各種データベース（ＤＢ：ＤａｔａＢａｓｅ）を記憶する。大容量記憶部１４は出荷前検査結果ＤＢ１４１、受入先検査結果ＤＢ１４２及び教師データＤＢ１４３を記憶する。また、大容量記憶部１４はモデル属性ＤＢ１５０、第１判定モデル１５１、第２判定モデル１５２、第３判定モデル１５３等を記憶する。さらに、制御プログラム１Ｐを大容量記憶部１４に記憶してもよい。出荷前検査結果ＤＢ１４１、受入先検査結果ＤＢ１４２及び教師データＤＢ１４３、並びに、モデル属性ＤＢ１５０、第１判定モデル１５１、第２判定モデル１５２、第３判定モデル１５３等は、検査装置２又はクラウドストレージ４に記憶してもよい。図２には判定モデルとして、第１判定モデル１５１、第２判定モデル１５２、第３判定モデル１５３のみを示したが、記憶する判定モデルは４つ以上であってもよい。以下、第１判定モデル１５１、第２判定モデル１５２、第３判定モデル１５３等の複数の判定モデルを代表して、単に「判定モデル」と記す。

通信部１６はネットワークＮを介して、クラウドストレージ４と通信を行う。また、通信部１６は、受入会社の社内ネットワークを介して、端末３と通信を行う。さらに、ＣＰＵ１１が通信部１６を用い、ネットワークＮ等を介して他のコンピュータから制御プログラム１Ｐをダウンロードし、大容量記憶部１４に記憶してもよい。なお、情報処理装置１の機能をクラウドサービスにより提供してもよい。

読み取り部１７はＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭを含む可搬型記憶媒体１ａを読み取る。ＣＰＵ１１が読み取り部１７を介して、制御プログラム１Ｐを可搬型記憶媒体１ａより読み取り、大容量記憶部１４に記憶してもよい。さらにまた、半導体メモリ１ｂから、ＣＰＵ１１が制御プログラム１Ｐを読み込んでもよい。

図３は出荷前検査結果ＤＢの例を示す説明図である。出荷前検査結果ＤＢ１４１は出荷会社が製品を受入会社宛に出荷する前に行う出荷前検査の結果を記憶する。出荷前検査結果ＤＢ１４１は製品ＩＤ列、受入先ＩＤ列、ロット番号列、順番号列、最終結果列、不良分類列、検査画像列、及び検査日時列を含む。製品ＩＤ列は製品を一意に特定可能な製品ＩＤを記憶する。受入先ＩＤ列は受入会社を一意に特定な受入先ＩＤ（納品先ＩＤ）を記憶する。ロット番号列は検査した製品のロット番号を記憶する。順番号列はロット内での順番号を記憶する。順番号は同一ロットに含まれる製品同士を区別するために付与される。同一ロット内でも異なることなるシリアル番号が付与される場合は、シリアル番号を順番号列に記憶しても良い。最終結果列は出荷前検査の最終結果（良否情報）を記憶する。結果が良好で出荷が決定された製品の場合、最終結果列は、例えば「良」を記憶する。結果が芳しくなく出荷しないことを決定された製品の場合、最終結果列は、例えば「不良」を記憶する。不良分類列は不良の分類を記憶する。最終結果が不良の場合、不良分類列に分類が記憶される。分類は、例えば「汚れ」、「キズ」等である。不良分類は、大分類、中分類、小分類のように階層構造としてもよい。また、複数種類の不良が発生した場合、不良分類列に複数の分類を記憶してもよい。検査画像列は出荷前検査時に検査装置２が撮影した製品の検査画像を記憶する。検査画像列に記憶する画像は単数でも複数でも良い。また、検査画像列には画像の実体を記憶せず、ファイル名等の画像の識別情報を記憶しても良い。検査日時列は出荷前検査を行った日時を記憶する。

図４は受入先検査結果ＤＢの例を示す説明図である。受入先検査結果ＤＢ１４２は受入会社が行った検査の結果を記憶する。ここでの検査は、受入会社に出荷会社からの製品が入荷した際に行う受入検査や、出荷会社からの製品を部品として用いて製造した製品を、受入会社が製品出荷前に行う出荷前検査（納品前検査）等である。受入先検査結果ＤＢ１４２は製品ＩＤ列、受入先ＩＤ列、ロット番号列、順番号列、最終結果列、不良箇所列、不良分類列及び検査画像列を含む。製品ＩＤ列は出荷会社が付与した製品ＩＤを記憶する。受入先ＩＤ列は受入会社を一意に特定する受入先ＩＤを記憶する。ロット番号列は出荷会社が付与したロット番号を記憶する。順番号列は同一ロット内の製品を区別するために、出荷会社が付与した順番号を記憶する。順番号列にはシリアル番号を記憶してもよい。最終結果列は受入会社が付与した検査結果（良否情報）を記憶する。例えば、最終結果列は「良」又は「不良」を記憶する。不良箇所列は不良の箇所を示す座標（不良位置）を記憶する。不良分類列は不良の分類を記憶する。検査画像列は受入会社検査装置６が撮影した画像を記憶する。不良の箇所と不良の分類は、要因情報の例である。

図５は教師データＤＢの例を示す説明図である。教師データＤＢ１４３は、製品の良否判定を行う判定モデルが学習に用いる教師データ（学習データ）を記憶する。教師データは出荷前検査結果ＤＢ１４１及び受入先検査結果ＤＢ１４２に基づいて生成される。教師データＤＢ１４３は製品ＩＤ列、受入先ＩＤ列、最終結果（出荷前）列、検査画像（出荷前）列、最終結果（受入先）列、不良箇所列及び不良分類列を含む。製品ＩＤ列は製品ＩＤを記憶する。受入先ＩＤ列は受入会社を一意に特定可能な受入先ＩＤを記憶する。最終結果（出荷前）列は出荷前検査での最終結果を記憶する。検査画像（出荷前）列は出荷前検査において検査装置２が取得した画像を記憶する。検査画像（出荷前）列に記憶する画像は単数でも複数でも良い。また、検査画像（出荷前）列には画像の実体を記憶せず、ファイル名等の画像の識別情報を記憶しても良い。最終結果（受入先）列は受入会社での検査結果を記憶する。受入会社が受け入れた製品について、受入検査のみを行っているのであれば、最終結果（受入先）列は受入検査の結果を記憶する。受入会社が自社製品の出荷前に受け入れた製品を含めた検査を行っているのであれば、最終結果（受入先）列は受入会社における出荷前検査の結果を記憶する。受入会社が受入検査及び出荷前検査を行っている場合、受入検査で不良とされたときは、最終結果（受入先）列は受入検査の結果を記憶する。受入検査で良とされたが、出荷前検査で不良とされたときは、最終結果（受入先）列は出荷前検査の結果を記憶する。受入検査及び出荷前検査で良とされたときは、最終結果（受入先）列は出荷前検査の結果を記憶する。不良箇所列は不良の箇所を示す座標値、座標値列又は座標値の範囲を記憶する。不良分類列は不良の分類を記憶する。

図６はモデル属性ＤＢの例を示す説明図である。モデル属性ＤＢ１５０は判定モデルの属性を記憶する。モデル属性ＤＢ１５０は製品ＩＤ列、受入先ＩＤ列及びモデル列を含む。製品ＩＤ列は製品ＩＤを記憶する。受入先ＩＤ列は受入先ＩＤを記憶する。モデル列は製品ＩＤ及び受入先ＩＤに対応した判定モデルの識別情報を記憶する。図６の例では判定モデルの名称を記憶している。

図７は判定モデルの生成処理に関する説明図である。図７では機械学習を行って判定モデルを生成する処理を概念的に図示している。上述したように判定モデルは製品及び受入先毎に作成される。各判定モデルの生成方法は同様であるので、以下の説明においては、単に判定モデルと記載する。

本実施の形態で情報処理装置１は、判定モデルとして、検査装置２において撮像された製品画像において、受入会社が指摘する不良箇所、不良の分類を画像特徴として、学習するディープラーニングを行う。それによって、判定モデルは出荷前検査での製品画像を入力とし、受入会社における良・不良判定の結果、不良分類を出力とするニューラルネットワークを生成する。ニューラルネットワークは例えばＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、具体的にはＲ－ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ ＣＮＮ）であり、製品画像の入力を受け付ける入力層と、判定の結果を出力する出力層と、不良箇所の画像特徴量を抽出する中間層とを有する。判定モデルは、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）、ＹＯＬＯ（Ｙｏｕ Ｌｏｏｋ Ｏｎｌｙ Ｏｎcｅ）、ＳｅｇＮｅｔ等でも良い。良・不良判定とは、製品が良品か不良品かを判定することである。良とは製品を良品と判定したことを、不良とは、製品を不良品と判定したことを示す。

入力層は、製品画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は複数のニューロンを有し、製品画像内から不良を認識し、不良箇所である画像領域（図７では点線矩形枠で図示）の特徴量を抽出して出力層に受け渡す。例えば判定モデルがＣＮＮである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、不良箇所である画像領域の画素情報を圧縮しながら最終的に画像特徴量を抽出する。出力層はＳＶＭ（Support Vector Machine）に係る識別器であり、判定結果を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、製品の良・不良、及び不良とした場合の不良の分類を判定する。ある製品に対する出力として、例えば、良＝０．００１、汚れ＝０．８５、抜け＝０．００２、…等が得られる。有意と判断する閾値を０．８とすると、当該製品は不良、不良の分類は汚れという判定結果となる。なお、良・不良の判定を閾値で判定するのではなく、出力値が所定の値範囲に入っている場合に良と判定しても良い。

なお、入力として、不良の分類は省略しても良い。この場合、出力層では製品の良・不良の判定のみを出力する。また、本実施の形態では判定モデルがＣＮＮであるものとして説明するが、判定モデルはＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワーク、ベイジアンネットワーク、決定木など、他の学習アルゴリズムで構築された学習済みモデルであってよい。

情報処理装置１は、製品を撮像した複数の製品画像と、各製品画像における良・不良の判定結果の正解値とが対応付けられた教師データを用いて学習を行う。例えば図７に示すように、教師データは、製品画像に対し、不良箇所に対応する画像領域の座標範囲と、不良の分類と、判定結果とがラベル付けされたデータである。良品と判定すべき製品画像については、画像領域、不良の分類はなし（ＮＵＬＬ）である。

なお、図７では簡略のため一の製品画像に一の不良箇所が映っているものとして図示するが、一の製品画像内に複数の不良箇所が映り込んでいても良いことは勿論である。

情報処理装置１は、教師データである製品画像を入力層に入力し、中間層での演算処理を経て、出力層から製品の良・不良の判定結果、不良とした場合の不良の分類を取得する。なお、出力層から出力される判定結果は離散的な値（例えば「０」又は「１」の値）であってもよく、連続的な確率値（例えば「０」から「１」までの範囲の値）であってもよい。なお、情報処理装置１は、入力として不良の分類を含まない場合、出力層から出力される結果として、良・不良の判定結果のみを取得する。

情報処理装置１は、出力層から出力された結果を、教師データにおいて製品画像に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数などである。パラメータの最適化の方法は特に限定されないが、例えば情報処理装置１は誤差逆伝播法を用いて各種パラメータの最適化を行う。

図８は判定モデルの生成処理の手順例を示すフローチャートである。図８に基づき、教師データから判定モデルを生成する機械学習処理の内容について説明する。情報処理装置１のＣＰＵ１１は不良情報を取得する（ステップＳ１）。不良情報は、受入会社が不良と判定した製品に関する情報である。例えば、クラウドストレージ４から取得し、受入先検査結果ＤＢ１４２に記憶する（ステップＳ２）。ＣＰＵ１１は教師データを作成する（ステップＳ３）。ＣＰＵ１１は不良情報と出荷前検査結果ＤＢ１４１に記憶してある出荷前検査の結果とを対照し、教師データを作成する。受入会社検査装置６が取得した製品画像の座標系により、不良箇所の位置が示されている場合は、出荷会社における検査装置２が取得した製品画像とのマッチングを行い、不良箇所の位置情報を出荷会社における検査装置２が取得した製品画像の座標系に変換する。作成した教師データは教師データＤＢ１４３に記憶する。出荷前検査で良と判定された製品は受入先に出荷されている。したがって、出荷前検査で良と判定され、不良情報に含まれない製品は、受入先でも良品と判定された教師データとなる。ＣＰＵ１１は処理対象とする製品、受入先を選択する（ステップＳ４）。ＣＰＵ１１は選択した製品、受入先に対応した判定モデルを選択する（ステップＳ５）。ＣＰＵ１１は教師データＤＢ１４３から選択した製品、受入先に対応した教師データを取得し、学習を行う（ステップＳ６）。学習を行うことにより、判定モデルは学習済モデルとなる。ＣＰＵ１１は未処理の製品、受入先があるか否か判定する（ステップＳ７）。ＣＰＵ１１は未処理の製品、受入先があると判定した場合（ステップＳ７でＹＥＳ）、処理をステップＳ４に戻し、未処理の製品、受入先についての処理を行う。ＣＰＵ１１は未処理の製品、受入先がないと判定した場合（ステップＳ７でＮＯ）、処理を終了する。

図８に示す処理を行なう前の初期段階の判定モデルは、次のように行なう。既存方法により検査を行い、不良箇所を抽出し、それをもとにラベル付けする。ラベルは不良の分類である。製品画像及び当該製品画像に含まれるラベル付けされた不良箇所のデータを教師データとして学習することで、初期段階の判定モデルを生成する。

図９は検査システムを用いた出入荷の手順例を示すフローチャートである。出荷会社において、情報処理装置１と検査装置２とが協働して、学習済みモデルを用いた出荷前検査（自社検査）を行う（ステップＳ２１）。出荷会社は良品と判定された製品のみを受入会社に出荷（納品）する（ステップＳ２２）。製品は受入会社に入荷する（ステップＳ２３）。受入会社において、受入会社情報処理装置５は入荷した製品が受入検査の必要な製品であるか否かを判定する（ステップＳ２４）。受入会社情報処理装置５は受入検査の必要でない製品と判定した場合（ステップＳ２４でＮＯ）、処理をステップＳ２６へ移す。受入会社情報処理装置５は受入検査の必要な製品と判定した場合（ステップＳ２４でＹＥＳ）、受入会社検査装置６と協働して、受入検査を行う（ステップＳ２５）。受入会社検査装置６は受入検査の結果を、クラウドストレージ４に記憶する。受入会社情報処理装置５は受入検査で良品として判定したものを、生産ラインに流す。受入会社は生産ラインで製品の製造を行う（ステップＳ２６）。受入会社情報処理装置５は受入会社検査装置６と協働して、出荷前検査を行う（ステップＳ２７）。なお、受入会社検査装置６は受入検査と出荷前検査とでは別の装置であっても良い。受入会社情報処理装置５は出荷前検査の結果を出力する（ステップＳ２８）。例えば、受入会社情報処理装置５は出荷前検査の結果をクラウドストレージ４に記憶する。出荷前検査の結果において、出荷会社から入荷した製品に起因する不良については、当該入荷した製品に関する不良箇所と不良の分類等が含まれる。受入会社情報処理装置５は出荷前検査で良品として判定したものを、出荷させる（ステップＳ２９）。出荷会社において、情報処理装置１のＣＰＵ１１は受入会社での検査結果を取得する（ステップＳ３０）。検査結果は、受入検査の結果、出荷前検査である。検査結果の取得は、受入会社情報処理装置５からの通知を契機として行う。または、新たな検査結果が記憶された場合、クラウドストレージ４が情報処理装置１に通知しても良い。情報処理装置１がクラウドストレージ４に新規の検査結果の有無をポーリングし、新規の検査結果がある場合に取得しても良い。情報処理装置１のＣＰＵ１１は取得した検査結果に基づく教師データを作成する（ステップＳ３１）。ＣＰＵ１１は作成した教師データ（再学習データ）により、学習済みの判定モデルに対する再学習を行う（ステップＳ３２）。再学習では、学習に用いるモデルが学習済みモデルであり、教師データがステップＳ３１で作成したものとなる点を除いて、上述した学習と同様であるから、説明を省略する。

出荷前検査を行なう検査装置２に学習済みモデルを記憶しても良い。学習済みモデルを検査装置２に記憶する場合、再学習は情報処理装置１で行う。再学習をした学習済みモデルを情報処理装置１から検査装置２に送信する。または再学習により変更されたパラメータを情報処理装置１から検査装置２へ送信しても良い。

図１０は出荷会社における判定モデルを用いた出荷前検査の手順例を示すフローチャートである。情報処理装置１のＣＰＵ１１は検査対象となる製品の製品ＩＤと、出荷先である受入会社の受入先ＩＤを取得する（ステップＳ４１）。情報処理装置１は製品ＩＤ及び受入先ＩＤに対応した判定モデルを選択する（ステップＳ４２）。ＣＰＵ１１は検査装置２から画像を取得する（ステップＳ４３）。ＣＰＵ１１は取得した製品画像を判定モデルに入力し、良・不良の判定を行い、判定結果を出力する（ステップＳ４４）。ＣＰＵ１１は検査未了の製品がある否かを判定する（ステップＳ４５）。ＣＰＵ１１は検査未了の製品があると判定した場合（ステップＳ４５でＹＥＳ）、処理をステップＳ４３に戻し、未了の製品に対する処理を行う。ＣＰＵ１１は検査未了の製品がないと判定した場合（ステップＳ４５でＮＯ）、処理を終了する。なお、ＣＰＵ１１は、良・不良の判定結果を出荷前検査結果ＤＢ１４１に記憶する。ＣＰＵ１１は判定結果を出力する毎に記憶しても良いし、検査が終了してから、記憶しても良い。

本実施の形態において、出荷会社は学習済みモデルを用いて出荷前検査を行う。出荷前検査で良品と判定したもののみを出荷する。受入会社は入荷した製品の受入検査を行う。入荷した製品を用いた自社製品の製造を行い、出荷前検査を行う。受入会社における受入検査、出荷前検査にて判明した、出荷会社製品の不良情報は、出荷会社にフィードバックされる。フィードバックされた情報を用いて、出荷会社は学習済みモデルの再学習を行う。その結果、出荷前検査の判定精度が向上し、歩留まりが向上する。また、学習済みモデルは受入先毎に生成、再学習するため、受入先毎に良・不良の判定基準が異なっても、受入先に適した判定を行うことが可能となる。

なお、受入会社が受入検査及び出荷前検査を場合において、受入検査で不良と判断されたときであっても判断を保留され、受入会社の製品に組み込まれた後に、出荷前検査にて良・不良が確定することもある。この場合、出荷前検査で良品と判定されたときは、受入検査の良・不良に関わらず、出荷会社の製品は良品と判断されたとして、学習又は再学習を行う。

（実施の形態２）
本実施の形態は、学習モデル生成時の教師データが、実施の形態１と異なる。図１１は判定モデル生成処理の他の手順例を示すフローチャートである。情報処理装置１のＣＰＵ１１は出荷前検査の感度を変更する（ステップＳ６１）。感度とは不良を検知する度合いである。感度が高いとは検知する度合いが上がることを意味する。例えば、残留物の量が閾値以上の場合、不良と判断する基準において、感度が上げるとは閾値を下げることを意味する。感度を下げるとは閾値を上げることを意味する。ここでは、感度を下げる変更を行う。ＣＰＵ１１は変更した感度で、検査装置２と協働して出荷前検査を行う（ステップＳ６２）。ＣＰＵ１１は良品と判定した製品のみを出荷させる（ステップＳ６３）。感度を下げているため、出荷する製品には、従来の出荷前検査では不良と判断されたであろう製品が一部含まれている。受入会社でのステップＳ６４からステップＳ７０は、図９に示したステップＳ２３からステップＳ２９と同様であるから、説明を省略する。ステップＳ６９の後、出荷会社において、情報処理装置１のＣＰＵ１１は受入会社での検査結果を取得する（ステップＳ７１）。取得タイミング等は、ステップＳ３０と同様である。情報処理装置１のＣＰＵ１１は取得した検査結果に基づく教師データを作成する（ステップＳ７２）。ＣＰＵ１１は作成した教師データにより、判定モデルの学習を行う（ステップＳ７３）。ＣＰＵ１１は処理を終了する。学習により判定モデル（学習済みモデル）が作成される。再学習は実施の形態１と同様であるから説明を省略する。

図１２は教師データの例を示す説明図である。図１２の上段は出荷会社における出荷前検査結果の例である。図１２の上段において、レベル列を除く各列は図３で示した出荷前検査結果ＤＢの各列と同様であるから説明を省略する。レベル列は良品度合いを示すレベルを値として記憶する。図１２の中段は受入会社における受入検査又は出荷前検査の結果例である。図１２の中段おいて、各列は図４に示した受入先検査結果ＤＢ１４２と同様であるから説明を省略する。図１２の下段は、図１２の上段の出荷前検査結果、図１２の中段の受入検査又は出荷前検査の結果より作成される教師データの例である。出荷会社の出荷前検査において、製品の良品度合いを示すレベル（良品度）が数値化されているとする。数値が高いほど品質が良く、出荷会社では従来、レベルが８以上の製品のみを出荷していたとする。この場合、出荷するレベルを７以上に変更して、出荷の判定をする。図１２の上段で示した順番号２の製品は、基準のレベルが変更されたことにより、出荷されることになる。そして、図１２の中段に示すように、受入会社に該製品が良品と判定されると、図１２の下段で示す教師データが生成される。当該教師データが学習に用いられる。このように、従来は出荷前検査で不良とされた場合でも、受入会社では良品とされる製品が学習データに含まれることになる。

本実施の形態においては、感度を変更して出荷前検査を行い、教師データを作成する。それにより、従来の出荷前検査において、出荷会社が必要以上に感度を上げていた場合、生成する判定モデルはその点が改善された学習を行うことが可能となる。その結果、受入会社の製品の歩留まりが向上し、コスト削減が可能となる。

なお、１ロットあたり数が多い製品においては、１ロット内で数回、感度を変更しても良い。多くのロットを出荷する製品においては、ロットごとに感度を変更しても良い。

（実施の形態３）
本実施の形態においては、判定モデルによる良・不良の判定において、判定基準を変動させる。図１３は判定モデルを用いた出荷前検査の他の手順例を示すフローチャートである。情報処理装置１のＣＰＵ１１は、乱数を生成する（ステップＳ８１）。生成する乱数は複数個である。乱数の最大値は、ひとまとめで検査する製品の個数以上であることが望ましい。ひとまとめで検査する製品の個数とは、例えば１ロットあたりの個数である。ＣＰＵ１１は変数ｎに１を代入する（ステップＳ８２）。ＣＰＵ１１はｎの値が、生成した乱数の集合に含まれるか否かを判定する（ステップＳ８３）。ＣＰＵ１１はｎの値が、生成した乱数の集合に含まれていないと判定した場合（ステップＳ８３でＮＯ）、処理をステップＳ８５へ移す。ＣＰＵ１１はｎの値が、生成した乱数の集合に含まれていると判定した場合（ステップＳ８３でＹＥＳ）、良・不良とを判定する閾値の値を変更する（ステップＳ８４）。例えば、閾値を小さくし、良と判定される確率を上げる。閾値の変更の幅は、一定でもよいし、都度、異なっても良い。ＣＰＵ１１は判定モデルによる良・不良の判定を行なう（ステップＳ８５）。ＣＰＵ１１は判定結果を出力する（ステップＳ８６）。ＣＰＵ１１は検査すべき製品の全数を検査したか否かを判定する（ステップＳ８７）。ＣＰＵ１１は全数を検査していないと判定した場合（ステップＳ８７でＮＯ）、判定の閾値を元に戻す（ステップＳ８８）。閾値が変更されていない場合は、同じ値が上書きされる。ＣＰＵ１１は変数ｎに１を加算する（ステップＳ８９）。ＣＰＵ１１は処理をステップＳ８３に戻し、検査が終わっていない製品についての処理を行なう。ＣＰＵ１１は全数を検査したと判定した場合（ステップＳ８７でＹＥＳ）、処理を終了する。

図１４は再学習用の教師データの生成例を示す説明図である。図１４の上段は出荷会社の出荷前検査の結果の例を示している。図１４の上段において、判定値列を除く各列は図３で示した出荷前検査結果ＤＢの各列と同様であるから説明を省略する。判定値列は判定モデルによる良・不良の判定により得た判定値（出力値）を記憶する。例えば、良・不良の判定を行なう閾値は通常０．８であり、判定モデルから得られる出力値が閾値以上である場合に良品と判定する。この場合において、乱数集合に含まれる順番号では閾値を０．７に下げるとする。ここで、順番号５及び２３が乱数集合に含まれていたとすると、順番号５及び２３の製品は、通常であれば判定結果が不良となるところ、良と判定される。そして、受入会社へ出荷される。図１４の中段は受入会社での検査結果の例を示す。図１４の中段において、各列は図４に示した受入先検査結果ＤＢ１４２と同様であるから説明を省略する。ここでは、順番号５の製品は不良と判定され、順番号２３の製品は良と判定されている。順番号２３の製品は良と判定されたという情報は良品情報の一例である。図１４の下段は、判定モデルの再学習用に生成される教師データの例を示す。図１４の上段と中段とに基づき生成される。当該教師データにより、判定モデルは再学習を行なう。

本実施の形態においては、判定モデルによる良・不良の判定において、判定基準を変動させ、再学習を行う。それにより、出荷会社では不良と判定していたが、受入会社では良品とされる製品が良と判定されるようになり、出荷会社の製品の歩留まりが向上し、コスト削減が可能となる。

なお、本実施の形態においては、判定基準をひとまとまりの検査、例えば１ロットの検査において、変動させるとしたが、それに限らない。１ロットすべてにおいて、判定基準を変更してもよい。

以上の実施の形態においては、画像により良・不良を判定する製品であれば、広く適用可能である。以下、具体的な製品に適用する場合について、説明する。

（プリント基板）
プリント基板（電子基板）の例について説明する。ここでは、出荷会社がプリント基板を製造し、受入会社は受け入れたプリント基板に部品の実装等を行なう。不良の分類としては、配線の不良とランドの不良とを含む。ランドは電子部品の端子を半田付けする部分である。配線の不良は更に、配線の短絡、断線、配線の欠け等に分類される。また、ランドの不良は更に、不適格形状、大きさの不備等に分類される。実装用にランドに半田を盛っておく場合には、半田の欠けや半田不良による短絡等がランドの不良に含まれる。また、半田の高さを表現した画像により、高さ不良もランドの不良に分類される。例えば、基板全体の高さを高さセンサで計測する。計測した高さの分布を、輝度値に変換したグレースケール画像（以下、「高さ画像」）を生成する。基板を側面視しても突出部分に重ならない場合、基板の側面画像を用いて、高さ判定をおこなっても良い。また、片面基板においては、配線パターンが形成されていない面における、縁の欠け、汚れ（ゴミ等の付着）、キズ等の有無も、不良の分類として含まれる。さらに、エッチング液やめっき液の残留も不良の分類に含まれる。なお、高さ画像に関する学習は、上述した学習とは異なる判定モデルで行い、学習済みモデル（第３学習済みモデル）を生成してもよい。

高さ画像に関する学習済みモデルの生成方法は、製品画像を入力して良・不良の判定を行なう学習済みモデルと同様であるので、以下、簡略に説明する。まず、初期の判定モデルを生成する。既存方法により基板の高さ検査を行い、不良箇所を抽出し、それをもとにラベル付けする。ラベルは高さが仕様の値を下回っている、又は上回っているなどの区別である。高さ画像及び当該画像に含まれるラベル付きの不良箇所のデータを教師データとして学習することで、初期段階の判定モデルを生成する。続いて、初期段階の判定モデルを用いて、図８に示した手順と同様な手順で学習を行なう。すなわち、受入会社から既に高さ不良として判定された基板と当該基板の高さデータを教師データとして、判定モデルの学習を行い、学習済みモデルを生成する。生成した学習済みモデルを用いて、出荷前検査を行なう。出荷前検査時に取得した高さ画像は大容量記憶部１４等に記憶しておく。再学習の際、必要に応じて利用する。そして、図９に示した手順と同様な手順で学習済みモデルの再学習を行なう。再学習の際、受入会社より高さ画像が返送された場合は、高さ画像を教師データとして用いても良いし、出荷前検査時に記憶した高さ画像を用いても良い。なお、高さ画像はグレースケール画像ではなく、計測した高さを表示したグラフを高さ画像としても良い。

図１５は２つの判定モデルを用いた判定方法の例を示す説明図である。検査装置の撮像部で撮影された検査画像を学習済みモデルに入力する。学習済みモデルの出力として、良品度合いを示す値、良＝０．７が得られている。高さの検査を行なう検査装置の高さセンサから得た高さ画像を高さ用学習済みモデルに入力する。高さ用学習済みモデルの出力として、良＝０．１が得られている。２つの値の平均値０．４が最終的な値とする。良・不良の判定の閾値が０．８で、閾値以上を良品とみなすとすると、最終的な判定結果は不良となる。なお、２つの値の一方に重み付けを与えて、最終的な値を求めても良い。

プリント基板においては、受入会社では入荷時の受入検査を行わず、製品出荷前に行なう出荷前検査のみを行なう場合が多い。この場合、出荷会社からの出荷時に、プリント基板にゴミ等の付着による汚れ、エッチング液やめっき液の残留があったときでも、不良とはならないときがある。受入会社における製造工程において、汚れが洗浄されたり、残留物が取り除かれたりするからである。この場合、実施の形態２や実施の形態３において、汚れや残留物による良・不良判定の感度や閾値を変動させる。それにより、出荷会社では不良と判定していたが、受入会社では良品とされる製品が良と判定されるようになり、出荷会社の製品の歩留まりが向上し、コスト削減が可能となる。また、配線が欠けている場合であっても、所定以上の線幅があれば、回路が正常動作するときもある。配線幅の良・不良判定においても、感度や閾値を変動させることが有効である。

（無地もの）
無地ものは、液晶表示装置に使用される光学フィルムや光学シートのように、所定の形状や模様が繰り返し配置されるフィルム状物やシート状物である。光学フィルムは、偏光フィルム、位相差フィルム等である。光学シートは、反射シート、拡散シート、プリズムシート、レンズシート、コントラスト向上シート等である。無地ものについての不良は個々の製品毎に異なる分類となる。以下に、例示する。レンズシートでは、白点や光沢を有する異物のように光を透過する不良、黒点やゴミ等の異物のように光を透過しない不良が含まれる。プリズムシートでは、異物の混入・付着、プリズムのキズ・欠けなどの不良が含まれる。コントラスト向上シートは、表面に複数の溝が並設された光透過部と、溝に光透過部よりも屈折率の低い材料とカーボン顔料等とを充填させて形成された光吸収部とを有するものがある。当該構造のコントラスト向上シートでは、白スジ不良、ピッチスジ不良及び黒スジ不良が含まれる。「白スジ不良」とは、溝にインキ組成物が確実に充填されておらず、光吸収部が一部において凹んでいる不良である。「ピッチスジ不良」とは、光吸収部が一部において凹んでおり、そしてこの凹みが線状になっている不良である。「黒スジ不良」とは、インク組成物の掻き取り後において光透過部上にインキ組成物が残存しており、そしてそれが線状または点状になっている不良である。なお、黒スジ不良は「カブリ」とも呼ばれる。

無地ものの判定においては、検査装置２の撮像部が撮影した検査画像を学習済みモデルに入力し、判定を行なう。学習済みモデルは製品毎及び受入会社毎に学習したものである。学習済みモデルから、判定結果が出力される。例えば、レンズシートであれば、良＝０．８、透過不良＝０．００３、不透過不良＝０．００２が得られる。閾値が０．８であれば、良品と判定される。

液晶表示装置に使用される光学フィルムや光学シートの場合、液晶表示装置の製造メーカである受入会社において、入荷時に受入検査を行なう場合もあるが、液晶表示装置を出荷する前のみに検査する場合が多い。液晶表示装置は多数の部品を組み立ててなる製品である。そのため、表示品質は、複数部品間の特性バランスによって決まる面もあり、各部品に要求される品質には一定の幅ある。したがって、出荷会社での出荷前検査において、良・不良判定の感度や閾値を変動させることは有効である。それにより、出荷会社では不良と判定していたが、受入会社では良品とされる製品が良と判定されるようになり、出荷会社の製品の歩留まりが向上し、コスト削減が可能となる。

（絵柄印刷物）
絵柄印刷物（以下、単に「印刷物」ともいう。）は紙やフィルム等のシート状物に絵柄が印刷されたものである。絵柄とは、絵や写真等の画像だけでなく、図形、文字、記号、数字、模様、色彩などの任意の描画情報を含む。印刷物の検査は例えば、次のように行なう。検査対象である印刷物から得た被検査画像と基準画像との各画素の輝度差を算出し、これを所定の閾値を用いて２値化することにより、基本画像と被検査画像との間の異なる部分（不良箇所）を抽出する。抽出された不良箇所が所定の面積以上を占めている場合、その被検査画像に対応する印刷物は不良品であると判定する。

印刷物における不良は、文字の抜け、印刷の欠け、インキ不足によるかすれ、暗色部分への異物の付着等のいわゆる明欠陥、空白部分への文字や絵柄の誤印刷、インキが付着すべきでない箇所へのインキの付着、インキ過剰による所定領域外へのインキのはみだし、明色部分への異物の付着等のいわゆる暗欠陥等に分類される。他に、かぶり不良、ヒッキー不良、ゴーストがある。かぶり不良は、印刷物における白地の部分にインキが転移して薄汚れる不良である。カラー印刷装置は、イエロー（Ｙ）及びマゼンタ（Ｍ）及びシアン（Ｃ）及びブラック（Ｂｋ）の色毎に版胴を備え、同一の印刷領域に対して順次各色の印刷を行う。各色のうち１色の版胴に紙片等の異物が付着すると、異物付着箇所に対応する印刷物の領域が不良となる。この不良領域には、他の３色のインクが付与されるが、当該１色のインクは付与されない。この不良の一つがヒッキー不良である。ヒッキー不良は、円環状あるいは丸点状の抜け不良である。ゴーストは、インキの流れ方向に沿って平行に並んでいる絵柄が他の絵柄の濃度に影響を与え、あるはずのない濃淡を発生させる不良である。ゴーストはインキ量のバランスが崩れることで発生する。

絵柄印刷物の判定においては、検査装置２の撮像部が撮影した検査画像を学習済みモデルに入力し、判定を行なう。学習済みモデルは製品毎及び受入会社毎に学習したものである。学習済みモデルから、判定結果が出力される。例えば、良＝０．８８、文字の抜け＝０．００１、印刷の欠け＝０．００３、インキ不足によるかすれ＝０．０００５、明欠陥＝０．００４…等が得られる。閾値が０．８であれば、良品と判定される。

一般的に印刷物の良・不良判定においては、検査の感度を高くする（良品および不良品の判定に用いられる上述の一定面積を小さくする）ことで、厳しく検査することができる。しかし、写真集やフォトブックなどの場合は、人の顔部（顔写真部分）のみ厳しい検査が必要で、その他の部分は相対的に厳しい検査は必要としない。カードなどの場合は、線状の傷は厳しく検査し、擦り傷は相対的に厳しい検査は必要としない。医用画像において赤色が強調されしまった場合、必要以上に血管や臓器に医師の目が行ってしまう診断の妨げになるときがある。このように、絵柄印刷物においては、製品ごとに検査内容は異なるため、製品毎に判定モデルを生成することが有効である。

絵柄印刷物の場合、プリント基板や無地ものと異なりサンプル製造があり、業務手順が異なる。以下、絵柄印刷物の業務手順について説明する。以下に説明では、良・不良の判定を行なう判定モデルの初期学習は終了しているものとする。図１６及び図１７は絵柄印刷物の業務手順を示すフローチャートである。出荷会社は絵柄印刷物のサンプル製造を行なう（ステップＳ１０１）。情報処理装置１のＣＰＵ１１は出荷前検査を行なう（ステップＳ１０２）。ＣＰＵ１１は検査装置２からの画像データに基づき、判定モデルを用いて、良・不良の判定を行なう。ＣＰＵ１１が良品と判定したサンプルを、出荷会社は出荷する（ステップＳ１０３）。サンプルを複数製造していない場合で、ＣＰＵ１１が不良と判定したとき、工程はステップＳ１０１に戻る。サンプル品が受入会社に入荷する（ステップＳ１０４）受入会社にて受入検査が行われる（ステップＳ１０５）。受入会社はサンプル品が良品か否か判定する（ステップＳ１０６）。受入会社はサンプル品が良品でないと判定した場合（ステップＳ１０６でＮＯ）、検査結果を出力する（ステップＳ１０７）。出荷会社において、情報処理装置１のＣＰＵ１１は検査結果を取得する（ステップＳ１０８）。ＣＰＵ１１は出荷前検査の結果と、受入会社での受入検査の結果とから、教師データを作成する（ステップＳ１０９）。ＣＰＵ１１は作成した教師データにより、判定モデルの再学習を行なう（ステップＳ１１０）。工程はステップＳ１０１に戻る。受入会社での受入検査で指摘された不良理由が発生しないよう製造工程を見直し、出荷会社は再度、サンプル品を製造する（ステップＳ１０１）。ステップＳ１０２が実行される。受入会社はサンプル品が良品と判定した場合（ステップＳ１０６でＹＥＳ）、製造依頼通知を出荷会社に行なう（ステップＳ１１１）。出荷会社は製造依頼通知を受領する（ステップＳ１１２）。通知ともに、クラウドストレージ４を介して受入会社は検査結果を出荷会社に送信する。出荷会社において、情報処理装置１のＣＰＵ１１は、受信した検査結果と出荷前検査結果とから、教師データを作成する（ステップＳ１１３）。ＣＰＵ１１は教師データによる判定モデルの再学習を行なう（ステップＳ１１４）。出荷会社は絵柄印刷物の製造を行なう（ステップＳ１１５）。出荷会社は出荷前検査を行なう（ステップＳ１１６）。ＣＰＵ１１は検査装置２からの画像データに基づき、判定モデルを用いて、良・不良の判定を行なう。ＣＰＵ１１が良品と判定した絵柄印刷物を、出荷会社は出荷する（ステップＳ１１７）。絵柄印刷物は受入会社に入荷する（ステップＳ１１８）。受入会社にて受入検査が行われる（ステップＳ１１９）。受入会社は検査結果を出力する（ステップＳ１２０）。受入会社は受入検査で良品と判定したものを出荷し（ステップＳ１２１）、受入会社での処理は終了する。出荷会社において、情報処理装置１のＣＰＵ１１は検査結果を取得する（ステップＳ１２２）。ＣＰＵ１１は出荷前検査の結果と、受入会社での検査の結果とから、教師データを作成する（ステップＳ１２３）。ＣＰＵ１１は作成した教師データにより、判定モデルの再学習を行ない（ステップＳ１２４）、出荷会社での処理は終了する。

絵柄印刷物においては、製品の性質によって、判定モデルを製品毎ではなく、品目毎に生成しても良い。例えば、証明書等として使用される印刷物については、製品毎に判定モデルを生成することが適している。印刷物の例としては、運転免許証である。印刷物が写真集である場合、製品毎の製造回数が余り多くないと予想され、風景写真集、人物写真集、動物写真集等の品目毎に、良・不良判定は似通っていると予想されるので、判定モデルを品目毎に生成することが適していると考えられる。

上述の説明において、出荷会社が行なう出荷前検査、並びに受入会社が行なう受入検査及び出荷前検査は、製品画像による検査を念頭に置いて説明したが、それに限らない。検査装置２から出力された数値により、良・不良判定を行なう検査項目が含まれても良い。この場合、画像により検査を行なう装置と、数値による検査を行なう装置とは、個別の検査装置であっても良い。

次に、実施の形態２で説明した初期学習時に、検査の感度を変更する例を示す。ここでは、残留物の量によって良・不良の判定を行なう検査項目の例である。残留物の量は、例えば、製品に特定の波長の光を当て、その反射光の強度により判定する。または、白色光を製品に当て、その反射光の波長毎の強度により判定する。残留物の量を輝度値に変換した画像を検査画像とする。検査画像から、残留物が検知された領域毎に残留濃度を算出する。残留濃度は例えば、単位面積あたりの残留物の量を算出する。単位は残留値／ｃｍ²である。残留物の検知領域の１つでも、残留濃度が閾値を超えていれば、不良とする。

ある物質Ｘについて、受入会社において、残留濃度が１０ｐｐｍ未満であれば合格としているため、出荷会社における出荷前検査においても、残留濃度が１０ｐｐｍ未満でなければ不良と判定していたとする。しかし、受入会社の検査結果によれば、ほとんどの場合において、物質Ｘの残留濃度が５ｐｐｍ未満であることが判明した場合、受入検査までの間に物質Ｘが揮発するなどして減少したと推測される。そこで、出荷会社における出荷前検査において、閾値を例えば１０ｐｐｍから２５ｐｐｍに変更して良・不良判定を行う。そして、受入会社における検査結果に基づき、教師データを作成し、判定モデルの再学習を行なう。再学習した判定モデルは適切な閾値で残留濃度の良・不良の判定を行なえるようになる。

（結果返送プログラム）
受入会社よりばらつきが少なく安定した検査結果が得られるよう、結果返送プログラムを受入会社に導入することが望ましい。図１８は受入会社端末のハードウェア構成例を示すブロック図である。受入会社端末７はノートパソコン、パネルコンピュータ、タブレットコンピュータ、スマートフォン等で構成する。受入会社端末７はＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、大容量記憶部７４、入力部７５、表示部７６、通信部７７及び読み取り部７８を含む。各構成はバスＢで接続されている。

ＣＰＵ７１はＲＯＭ７２に記憶されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）ソフトウェア（図示しない）及び結果返送プログラム７Ｐにしたがい、ハードウェア各部を制御する。ＲＡＭ７３は例えばＳＲＡＭ、ＤＲＡＭ又はフラッシュメモリである。ＲＡＭ７３はＣＰＵ７１によるプログラムの実行時に発生するデータを一時的に記憶する。

大容量記憶部７４は、例えばハードディスク又はＳＳＤなどである。大容量記憶部７４は検査結果ＤＢ７４１等の各種データを記憶する。

入力部７５はキーボードやマウスである。表示部７６は液晶表示パネル等を含む。表示部７６は受入検査や出荷前検査において撮影した製品画像等を表示する。表示部７６は入力部７５と一体化したタッチパネルディスプレイでもよい。なお、受入会社端末７は外部の表示装置に表示を行ってもよい。

通信部７７はネットワークＮを介して、クラウドストレージ４と通信を行う。また、ＣＰＵ７１が通信部７７を用い、ネットワークＮ等を介して他のコンピュータから結果返送プログラム７Ｐをダウンロードし、大容量記憶部７４に記憶してもよい。

読み取り部７８はＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭを含む可搬型記憶媒体７ａを読み取る。ＣＰＵ７１が読み取り部７８を介して、結果返送プログラム７Ｐを可搬型記憶媒体７ａより読み取り、大容量記憶部７４に記憶してもよい。また、半導体メモリ７ｂから、ＣＰＵ７１が結果返送プログラム７Ｐを読み込んでもよい。

図１９は検査結果ＤＢの例を示す説明図である。検査結果ＤＢ７４１は受入会社での受入検査や出荷前検査の結果を記憶する。検査結果ＤＢ７４１が記憶する検査結果は受入会社より入荷した製品の結果を抽出したものである。検査結果ＤＢ７４１の内容は、クラウドストレージ４へ転送される。検査結果ＤＢ７４１は製品ＩＤ列、出荷元ＩＤ列、ロット番号列、順番号列、受入検査列、出荷製品ＩＤ列、出荷前検査列、最終結果列、不良箇所列、不良分類列、受入画像列、及び出荷前画像列を含む。製品ＩＤ列は出荷会社から入荷された製品を一意に特定可能な製品ＩＤを記憶する。出荷元ＩＤ列は、出荷製品を出荷した出荷会社のＩＤを記憶する。ロット番号列は出荷製品のロット番号を記憶する。順番号列は出荷製品の同一ロット内の順番号を記憶する。受入検査列は受入検査の結果を記憶する。受入検査を行わない製品の場合、受入検査列は値が無い。図１９では便宜的に「－」で示している。出荷製品ＩＤ列は出荷会社の製品が組み込まれた受入会社の製品を一意に特定可能な製品ＩＤを記憶する。出荷前検査列は出荷前検査の結果を記憶する。出荷前検査列が記憶するのは、受入会社の製品についての結果ではなく、出荷会社の出荷製品の結果を記憶する。受入会社の製品の結果が「良」であれば、当然に出荷会社の出荷製品は「良」となる。一方、受入会社の製品の結果が「不良」であっても、出荷会社の出荷製品に問題はなく良品の場合、出荷前検査列は「良」を記憶する。最終結果列は出荷会社の出荷製品に対する受入会社での最終の評価結果を記憶する。図１９に示す例では、製品ＩＤ＝Ｐ０１１の出荷製品は出荷前検査のみが行われ、最終結果は「良」である。製品ＩＤ＝Ｐ１２３の出荷製品は受入検査の結果が「良」、出荷前検査の結果が「不良」であり、最終結果は「不良」である。製品ＩＤ＝Ｐ４５６の出荷製品は受入検査の結果が「不良」であったが、受入会社の製品に組み込まれ、出荷前検査では「良」と判定されたので、最終結果「良」である。不良箇所列は不良と判断された箇所を示す座標値を記憶する。座標値は検査画像上での座標値である。受入検査で不良となった場合は、受入検査で取得された画像上での座標値となる。出荷前検査で不良となった場合は、出荷前検査で取得された画像上での座標値となる。不良分類列は不良の分類を記憶する。不良と判断されていない出荷製品では、不良箇所列及び不良分類列は値なしとなる。受入画像列は受入検査で取得された画像を記憶する。出荷前画像列は出荷前検査で取得された画像を記憶する。受入画像列及び出荷前画像列それぞれに記憶する画像は複数枚であっても良い。また、受入画像列、出荷前画像列には画像の実体を記憶せず、ファイル名等の画像の識別情報を記憶しても良い。なお、検査結果ＤＢ７４１は受入会社端末７ではなく、受入会社情報処理装置５に記憶してもよい。

図２０は結果返送処理の手順例を示すフローチャートである。結果返送処理は、受入会社において、出荷会社から入荷した製品の検査結果を確認し、クラウドストレージ４へ転送する処理である。受入会社端末７のＣＰＵ７１は、処理対象とする製品ＩＤ及びロット番号を選択する（ステップＳ１４１）。処理対象とする製品ＩＤ及びロット番号は、受入会社ユーザが入力部７５より入力してもよい。ＣＰＵ７１は変数ｎに１を代入する（ステップＳ１４２）。ＣＰＵ７１は順番号ｎについての最終検査結果を検査結果ＤＢ７４１から取得する（ステップＳ１４３）。ＣＰＵ７１は最終検査結果が良であるか否かを判定する（ステップＳ１４４）。ＣＰＵ７１は最終検査結果が良でないと判定した場合（ステップＳ１４４でＮＯ）、出荷前検査の結果が不良であったか否かを判定する（ステップＳ１４５）。ＣＰＵ７１は出荷前検査の結果が不良であったと判定した場合（ステップＳ１４５でＹＥＳ）、出荷前検査で取得された検査画像、不良箇所、不良分類を検査結果ＤＢ７４１から取得する（ステップＳ１４６）。ＣＰＵ７１は検査画像、不良箇所、不良分類を表示部７６に表示する。受入会社ユーザは、検査画像を確認し、不良箇所、不良分類が適切か否かを確認し、必要に応じて編集する（ステップＳ１４７）。また、不良箇所、不良分類が記憶されていない場合は、入力部７５を用いて不良箇所の位置指定を行い、不良分類を入力する。受入会社ユーザは編集の完了を入力部７５により指示をする。ＣＰＵ７１は検査結果ＤＢ７４１を更新する（ステップＳ１４８）。ＣＰＵ７１は変数ｎを１加算する（ステップＳ１４９）。ＣＰＵ７１は変数ｎが検査数、すなわち検査した製品の数以下であるか否かを判定する（ステップＳ１５０）。ＣＰＵ７１は変数ｎが検査数以下であると判定した場合（ステップＳ１５０でＹＥＳ）、処理をステップＳ１４３に戻し、未処理の製品に対する処理を行なう。ＣＰＵ７１は変数ｎが検査数以下でないと判定した場合（ステップＳ１５０でＮＯ）、検査結果データをクラウドストレージ４に転送し（ステップＳ１５１）、処理を終了する。この際、出荷会社に対して、検査結果データをクラウドストレージ４に転送した旨を通知しても良い。ＣＰＵ７１は出荷前検査の結果が不良でなかったと判定した場合（ステップＳ１４５でＮＯ）、受入検査で取得された検査画像、不良箇所、不良分類を検査結果ＤＢ７４１から取得し（ステップＳ１５２）し、検査画像、不良箇所、不良分類を表示部７６に表示する。ＣＰＵ７１はステップＳ１４７以降を実行する。ＣＰＵ７１は最終検査結果が良であると判定した場合（ステップＳ１４４でＹＥＳ）、受入検査の結果が不良であるか否かを判定する（ステップＳ１５３）。ＣＰＵ７１は受入検査の結果が不良であると判定した場合（ステップＳ１５３でＹＥＳ）、処理をステップＳ１５２へ移す。ＣＰＵ７１は受入検査の結果が不良でないと判定した場合（ステップＳ１５３でＮＯ）、処理をステップＳ１４９へ移す。

図２１は結果確認画面の例を示す説明図である。結果確認画面７６１に示す製品では２つの不良箇所７６２１、７６３１がある。不良箇所７６２１は印刷が抜けている。マウスポインタ７６２２で不良箇所７６２１をポイントするとコンテキストメニュー７６２３が表示される。コンテキストメニュー７６２３には、不良の分類として適した「抜け」が選択されていることを示している。不良箇所７６３１は製品が汚れている。マウスポインタ７６３２で不良箇所７６３１をポイントするとコンテキストメニュー７６３３が表示される。コンテキストメニュー７６３３により、不良の分類として「汚れ」をしていることを示している。なお、通常、不良と判定されるが、不良扱いしない箇所がある場合、当該情報（良品情報）を入力することが望ましい。当該情報は出荷会社に送信し、再学習のための教師データとして利用する。良品情報は不良扱いしない箇所の位置情報を含む。良品情報に不良の分類を含めても良い。

結果返送処理により、受入会社よりばらつきが少なく安定した検査結果を得ることが可能となる。その結果、判定モデルを再学習するための教師データが得られ、判定モデルは良・不良をより適切に判定可能となることが期待される。

以上のように、本実施の形態では次の効果を奏する。出荷会社は出荷前検査として、過度な検査を行わなくても、入荷会社に対して不良品を流出させない、適正な感度での検査が可能となる。また、出荷先及び製品又は品目により使用する判定モデルを切り替えて検査することで、様々な出荷先及び製品又は品目に適用可能となる。

上述において、受入会社での検査結果をＣＳＶ（Ｃｏｍｍａ－Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅｓ）ファイル等のテキストデータで受領してもよい。また、製品の良・不良を画像により判定したが、それに限らない。出荷会社及び受入会社で数値により判定が行える検査であれば、適用可能である。

さらに、故障解析等に用いる、音波を活用した検査においても、上述した判定モデルと同様な学習済みモデルの生成が可能である。出荷会社において、製品を製造する際に用いる印刷装置や搬送装置等の処理機にマイク等の音波センサを取り付け、音波データを収集する。収集した音波データ(またはそれを周波数解析したもの)をグラフ化(画像化)した音波画像（製品画像）を生成する。良品が製造された正常な音波画像を教師データとして、判定モデルの学習を行なう。出荷前検査において、各製品の製造時の音波画像を判定モデルに入力し、良・不良を判定する。良品を受入会社へ出荷する。受入会社から不良と報告された製品があった場合、出荷会社では、該当製品の音波画像を不良品の教師データとして、判定モデルの再学習を行なう。なお、音波を活用した検査に使用する学習済みモデルは、上述した画像を用いた検査に使用する学習済みとは異なる学習済みモデル（第２学習済みモデル）としてもよい。

音波に関する学習済みモデルの生成方法は、製品画像を入力して良・不良の判定を行なう学習済みモデルと同様であるので、以下、簡略に説明する。まず、初期の判定モデルを生成する。処理機から発生する音波を計測しながら製品を製造する。音波データは、各製品と対応付け可能なように、１つの製品の製造開始時から終了時までを１つデータとして分割して記憶することが望ましい。各製品と音波データとの対応付けが可能であれば、他の記憶方法でも良い。出荷前検査にて不良を発見した場合、不良箇所を抽出し、不良の分類をラベル付けする。ラベルは、例えば、不良の分類の名称やコードである。不良品に対応する音波データ及びラベル付きの不良箇所のデータを教師データとして学習することで、初期段階の判定モデルを生成する。続いて、初期段階の判定モデルを用いて、図８に示した手順と同様な手順で学習を行なう。すなわち、受入会社から既に不良品として判定された製品と当該製品の音波データを教師データとして、判定モデルの学習を行い、学習済みモデルを生成する。生成した学習済みモデルを用いて、出荷前検査を行なう。出荷前検査時に取得した音波データは大容量記憶部１４等に記憶しておく。再学習の際、必要に応じて利用する。そして、図９に示した手順と同様な手順で学習済みモデルの再学習を行なう。

図２２は判定モデルを用いた判定方法の他例を示す説明図である。製品の処理機に取り付けられたマイクにより取得した音波データを計測器でグラフ表現にした音波画像に変換し、音波用学習済みモデルに入力する。音波用学習済みモデルの出力として、処理機における動作の正常度合いを示す値、出力＝０．８が得られている。出力０．７以上が良の条件とした場合、良と判定する。なお、音波画像は横軸を時間とするグラフ波形ではなく、周波数解析を行った周波数解析スペクトル画像でもよい。また、音波データは時系列データとしても良い。時系列データは、例えば出荷前検査までの各工程の音波データである。

製品の良・不良と音波データとの相関は、次のようなものである。印刷物に誤印刷が生じた場合、搬送速度が不適切であり、搬送機構が発する異音と相関している可能性がある。印刷装置でインクのはみ出し不良が発生した場合、インクが噴出する際の音と相関している可能性がある。

以上のような処理により、音波を活用した検査においても、音波画像を生成することにより、画像を入力とする学習した判定モデルを用いて、製品の良・不良の判定が可能となる。音波画像での判定では、数値データで学習させるよりも、高精度な検査が実現可能となる。

良・不良判定の精度を高めるために、製品画像に良・不良判定と、音波データによる良・不良判定とを行っても良い。この場合、図１５に示した場合と同様に２つの出力値を算術演算により、１つの値に変換して、最終的な良・不良の判定を行なう。又は、２つの値を用いた判定条件を作成して、最終的な良・不良の判定を行なう。なお、製品画像による良・不良判定と音波データによる良・不良判定とで、互いに異なる分類の不良の可能性が検出された場合、それぞれの出力値を出力してもよい。例えば、製品画像による判定で誤印刷の発生確率が９０％、音波データによる判定ではみ出し不良の発生確率が９０％と判定された場合、２つの値を出力する。なお、上述したように、高さデータによる良・不良判定を行なう基板の製造において、製品画像による良・不良判定、音波データによる良・不良判定も合わせた３つの判定を行っても良い。それぞれの判定モデルの出力値の扱いは、２つの場合と同様である。

以上に述べたような学習済みモデルを用いた検査は、出荷前検査に限らない。出荷会社が受入会社として他社から製品を購入している場合に、受入検査において学習済みモデルを用いて、良・不良の判定を行っても良い。また、出荷会社及び受入会社の双方が、学習済みモデルを用いて受入検査、出荷前検査等を行っても良い。

各実施の形態で記載されている技術的特徴（構成要件）はお互いに組み合わせ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１００ 検査システム
１ 情報処理装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 大容量記憶部
１４１ 出荷前検査結果ＤＢ
１４２ 受入先検査結果ＤＢ
１４３ 教師データＤＢ
１５０ モデル属性ＤＢ
１５１ 第１判定モデル
１５２ 第２判定モデル
１６ 通信部
１７ 読み取り部
１Ｐ 制御プログラム
１ａ 可搬型記憶媒体
１ｂ 半導体メモリ
２ 検査装置
３ 端末
４ クラウドストレージ
５ 受入会社情報処理装置
６ 受入会社検査装置
７ 受入会社端末
７１ ＣＰＵ
７２ ＲＯＭ
７３ ＲＡＭ
７４ 大容量記憶部
７４１ 検査結果ＤＢ
７５ 入力部
７６ 表示部
７７ 通信部
７８ 読み取り部
７Ｐ 結果返送プログラム
７ａ 可搬型記憶媒体
７ｂ 半導体メモリ

Claims (25)

1. 製品画像を入力した場合に良否情報を出力する学習済みモデルにより良品と判断された前記製品に対して、納品先が不良品と判断した要因情報、及び、前記学習済みモデルにより不良品と判断された前記製品に対して、納品先が良品と判断した良品情報を取得し、
   取得した前記要因情報及び前記良品情報に基づき、前記学習済みモデルの再学習を行う
   ことを特徴とする前記学習済みモデルの生成方法。
2. 前記要因情報は前記納品先を特定する納品先ＩＤと対応付けられおり、
   納品先毎に学習を行った複数の前記学習済みモデルを、納品先ＩＤと対応付けて記憶してある記憶部から、取得した前記要因情報に対応付けられた納品先ＩＤに基づいて、再学習を行う前記学習済みモデルを選択する
   ことを特徴とする請求項１に記載の前記学習済みモデルの生成方法。
3. 前記要因情報は、不良の分類、及び不良と判断された製品の位置情報を含む
   ことを特徴とする請求項１又は２に記載の前記学習済みモデルの生成方法。
4. 納品前の前記製品についての製品画像、良否情報、不良位置の情報及び不良の分類に基づき、前記学習済みモデルの再学習を行う
   ことを特徴とする請求項１から３の何れか１項に記載の前記学習済みモデルの生成方法。
5. 前記良否情報には良品の程度を数値で示す良品度が含まれ、当該良品度が所定の値範囲に含まれる場合、前記製品を良品と判断する
   ことを特徴とする請求項１から４の何れか１項に記載の前記学習済みモデルの生成方法。
6. 前記製品がシート状物であり、該シート状物を製造する際に用いる処理機に設けたマイクから音波データを取得し、
   音波データ及び要因情報を含む教師データに基づき学習した第２学習済みモデルに取得した音波データを入力し、再学習を行なう
   ことを特徴とする請求項１から５の何れか１項に記載の前記学習済みモデルの生成方法。
7. 前記製品は電子基板であり、該電子基板の一面の高さを高さセンサにより取得し、
   高さデータ及び要因情報を含む教師データに基づき学習した第３学習済みモデルに、取得した高さを入力し、再学習を行なう
   ことを特徴とする請求項１から５の何れか１項に記載の前記学習済みモデルの生成方法。
8. 前記製品は絵柄印刷物であり、人物の顔写真部分の不良を前記要因情報に含む
   ことを特徴とする請求項１から５の何れか１項に記載の前記学習済みモデルの生成方法。
9. 前記製品は医用画像を印刷した絵柄印刷物であり、赤色の濃度を含む色味の不良を前記要因情報に含む
   ことを特徴とする請求項１から５の何れか１項に記載の前記学習済みモデルの生成方法。
10. 前記良品情報は、前記納品先では不良扱いしない箇所の製品における位置情報を含む
    ことを特徴とする請求項１から９の何れか１項に記載の前記学習済みモデルの生成方法。
11. 製品画像及び製品の良否情報を含む複数の教師データに基づき学習され、製品画像を入力した場合に良否情報を出力する学習済みモデルにより良品と判断された前記製品に対して、納品先が不良品と判断した要因情報、及び、前記学習済みモデルにより不良品と判断された前記製品に対して、納品先が良品と判断した良品情報を取得し、
    前記要因情報及び前記良品情報に基づき再学習された学習済みモデルを読み出し、
    製品画像を前記再学習された学習済みモデルに入力して良否情報を出力する
    処理をコンピュータに実行させることを特徴とするプログラム。
12. 納品先ＩＤを取得し、
    納品先ＩＤ毎に再学習された学習済みモデルを有しており、
    取得した納品先ＩＤに対応する再学習された学習済みモデルを選択し、
    選択した再学習された学習済みモデルに納品する製品の製品画像を入力し、良否情報を出力する
    ことを特徴とする請求項１１に記載のプログラム。
13. 納品先から、納品した製品の製品画像及び要因情報を取得し、
    取得した製品画像及び要因情報を含む再学習データにより前記学習済みモデルを再学習する
    ことを特徴とする請求項１１又は１２に記載のプログラム。
14. 前記製品がシート状物であり、該シート状物を製造する際に用いる処理機に設けたマイクから音波データを取得し、
    前記製品の製造時における音波データ及び良否情報を含む教師データに基づき学習した第２学習済みモデルに、前記マイクから取得した音波データを入力して、良否情報を出力する
    ことを特徴とする請求項１１から１３の何れか１項に記載のプログラム。
15. 前記第２学習済みモデルの良否情報及び前記学習済みモデルの良否情報に基づき、前記製品の良否情報を出力する
    ことを特徴とする請求項１４に記載のプログラム。
16. 納品先から納品した製品の要因情報を取得し、
    前記製品に対応する音波データ及び要因情報に基づき、前記第２学習済みモデルを再学習する
    ことを特徴とする請求項１４又は１５に記載のプログラム。
17. 前記製品が電子基板であり、該電子基板の一面の高さを高さセンサにより取得し、
    前記製品の製造時における高さデータ及び良否情報を含む教師データに基づき学習した第３学習済みモデルに、前記高さセンサから取得した高さデータを入力して、良否情報を出力する
    ことを特徴とする請求項１１から１３の何れか１項に記載のプログラム。
18. 前記第３学習済みモデルの良否情報及び前記学習済みモデルの良否情報に基づき、前記製品の良否情報を出力する
    ことを特徴とする請求項１７に記載のプログラム。
19. 納品先から納品した製品の製品画像及び要因情報を取得し、
    前記製品画像に対応する高さデータ及び要因情報に基づき、前記第３学習済みモデルを再学習する
    ことを特徴とする請求項１８に記載のプログラム。
20. 前記製品は絵柄印刷物であり、人物の顔写真部分の不良を前記要因情報に含む
    ことを特徴とする請求項１１から１６の何れか１項に記載のプログラム。
21. 前記製品は医用画像を印刷した絵柄印刷物であり、赤色の濃度を含む色味の不良を前記要因情報に含む
    ことを特徴とする請求項１１から１６の何れか１項に記載のプログラム。
22. 前記学習済みモデルにより不良品と判断された前記製品に対して、納品先が良品と判断した良品情報を取得し、
    前記要因情報及び前記良品情報に基づき再学習された学習済みモデルを読み出し、
    製品画像を前記再学習された学習済みモデルに入力して良否情報を出力する
    ことを特徴とする請求項１１から２１の何れか１項に記載のプログラム。
23. 前記良品情報は、前記納品先では不良扱いしない箇所の製品における位置情報を含む
    ことを特徴とする請求項２２に記載のプログラム。
24. 製品画像を入力した場合に良否情報を出力する学習済みモデルにより良品と判断された前記製品に対して、納品先が不良品と判断した要因情報、及び、前記学習済みモデルにより不良品と判断された前記製品に対して、納品先が良品と判断した良品情報を取得する取得部と、
    取得した前記要因情報及び前記良品情報に基づき、前記学習済みモデルの再学習を行う再学習部と
    を備えることを特徴とする前記学習済みモデルの生成装置。
25. 製品画像及び製品の良否情報を含む複数の教師データに基づき学習され、製品画像を入力した場合に良否情報を出力する学習済みモデルにより良品と判断された前記製品に対して、納品先が不良品と判断した要因情報及び、前記学習済みモデルにより不良品と判断された前記製品に対して、納品先が良品と判断した良品情報を取得する取得部と、
    前記要因情報及び前記良品情報に基づき再学習された学習済みモデルを読み出す読出部と、
    製品画像を前記再学習された学習済みモデルに入力して良否情報を出力する出力部と
    を備えることを特徴とする出力装置。

Images