JP2024092507A - 外観検査装置および外観検査方法 - Google Patents

Abstract

【課題】
時系列変化または金型の型番の違いによって発生する許容範囲内の形状差と、不良品として判別すべき外観上の不良箇所とを区別して、正確にかつ短時間で欠陥有無の判定ができる、外観検査装置および外観検査方法を提供する。
【解決手段】
外観検査装置１００は、検査対象物６０を撮像する撮像部１０と、検査対象物６０の良品の画像を用いて学習モデルを作成する学習部２０と、撮像部１０で撮像した画像を入力し、学習モデルを用いて良否判定する判定部３０と、を含み、学習部２０および判定部３０は、機械学習により構成され、学習モデルは、所定の頻度ごとに最新のロットを含む複数のロットの検査対象物６０を用いて再作成され、良否判定は、検査対象物の画像のうちの異常度が閾値を超える部分の面積に基づいて行われる。
【選択図】図２

Description

本発明は、検査対象物を撮影して外観検査する、外観検査装置および外観検査方法に関する。

外観検査装置および外観検査方法に関しては多くの特許が出願されている。
例えば、特許文献１（特開２００１－３３７０４４号公報）には、同じ鋳造品を複数の金型で製造することによって許容範囲内にある形状差が生じても、その形状差と外観上の不良箇所を区別することができる鋳造品の外観検査方法が開示されている。
特許文献１に記載の外観検査方法は、良品の画像を複数取り込んでノイズ除去処理を施して作成した基準画像と、検査対象品の画像を取り込んでノイズ除去処理を施して作成した検査画像とを比較処理して不良箇所を検出すると共に、ロットや金型が変わった場合などには基準画像に対しロットや金型毎の補正画像を加味した補正基準画像を作成し、この補正基準画像と検査画像とを比較処理して不良箇所を検出する。

また、特許文献２（特開平１０－２７４６２６号公報）には、検査対象物の形状のばらつきや、検査対象物の画像の見え方のバラツキがあっても欠陥を誤報することなく精度良く検査対象物の欠陥を検査できる画像処理装置が開示されている。
特許文献２に記載の画像処理装置は、教示用サンプルおよび検査対象物を個々に撮像する撮像手段と、撮像手段によって撮像された教示用サンプルの画像である教示画像から固有画像データを生成する固有画像データ生成手段と、撮像された検査対象物の画像である検査画像と生成された固有画像データから近似画像を復元する近似画像復元手段と、検査画像と近似画像との差画像を生成する差画像生成手段と、この生成された差画像を２値化する２値化手段と、２値画像を粒子解析し検査対象物の良否判定する判定手段とを備える。また、特許文献２には、検査動作中の一定時間毎にあるいは被検査対象となる部品供給ロットの入れ換え時に連動して被検査対象より教示画像を取得することも記載されている。

特許文献３（特開２０１９－１０６０９０号公報）には、対象物の属性に応じた識別器を選択することで、高い識別精度を実現する技術が開示されている。
特許文献３に記載の識別装置は、対象物の画像から対象物に含まれる検出対象の有無を識別するように学習された複数の識別器を対象物の属性と対応付けて記憶する記憶部と、所定の対象物の画像を撮影する撮像部と、所定の対象物の属性を特定する特定部と、複数の識別器の中から、特定された属性に対応付けて記憶されている第１識別器を選択する選択部と、第１識別器に所定の対象物の画像を入力する入力部と、第１識別器から出力された、所定の対象物に含まれる検出対象の有無を出力する出力部と、を有する。

特許文献４（特開２０１２－１３４４２６号公報）には、電子部品の上面形状データを自動的に生成可能な基板生産ラインおよび検査機データ生成方法が開示されている。
特許文献４に記載の検査機データ生成方法は、実装機データに基づいて基板に電子部品を装着する電子部品実装機と、該電子部品実装機の下流側に配置され、検査機データに基づいて該電子部品が装着された該基板の外観を検査する基板外観検査機と、を備える基板生産ラインの検査機データ生成方法であって、実装機データに含まれる電子部品の下面形状データを基に、検査機データに含まれる該電子部品の上面形状データを自動的に生成する。また、特許文献４には、検査機データの更新を、基板外観検査機の検査ヘッドの検査カメラにより基板のマーク（型番、識別子、記号など）を撮像し、電子部品の種類が変更されたことを確認した後で、実行することも記載されている。

特許文献５（特開２０１８－１２４９９０号公報）には、特定カテゴリに属する特定データの特徴を表現するモデルを利用して、判定対象のデータが特定カテゴリに属することの尤度を算出し、当該尤度に基づいて判定対象のデータを評価する評価装置が開示されている。
特許文献５に記載の評価装置は、特定カテゴリに属する特定データの特徴を表現するモデルを利用して、判定対象のデータが特定カテゴリに属することの尤度を算出し、当該尤度に基づいて判定対象のデータを評価する評価装置であって、判定対象となる対象データと、予め設定された基準データ群に含まれる複数の基準データそれぞれとの適合の程度に基づいて、基準データ群から少なくとも１つの基準データを選択する第１の選択手段と、第１の選択手段により選択された基準データに対応したパラメータを特定するパラメータ特定手段と、特定データのモデルとしての、パラメータ特定手段により特定されたパラメータの、複数の特定データにおける分布を示すパラメータモデルに基づいて、対象データが特定カテゴリに属することの尤度を算出する算出手段と、を有する。

特許文献６（特開２０２２－１３００３５号公報）には、画像の良不良を推論するモデルの推論精度をより向上させるための該モデルの学習技術が開示されている。
特許文献６に記載の画像処理装置は、欠陥のない画像である良画像を少なくとも用いて学習した学習済みモデルを用いて、複数の良画像に対する推論結果と、欠陥のある画像である複数の不良画像に対する推論結果と、を取得する取得手段と、複数の良画像に対する推論結果と、複数の不良画像に対する推論結果と、に基づいて、学習済みモデルの再学習に用いる画像を特定する特定手段と、特定手段が特定した画像の一部若しくは全部を用いて学習済みモデルの再学習を行う再学習手段とを備える。また、特許文献６には、不良画像について取得した欠陥の箇所（Ｇｒａｄ－ＣＡＭのように判断根拠となった箇所）の候補をヒートマップとして、不良画像に重ねて表示することも記載されている。

特許文献７（特開２０２２－０９０７６１号公報）には未知の異常にも既知の異常にも対応できる異常箇所検知技術が開示されている。
特許文献７に記載の情報処理システムは、入力画像から正常画像を再構成する再構成手段と、入力画像と再構成手段により再構成された画像とにおける異常クラスの判断根拠を出力する出力手段と、入力画像と再構成された画像との差分と、出力手段により出力された異常クラスの判断根拠とに基づき、入力画像における異常箇所を検出する検出手段と、を備える。特許文献７に記載の情報処理システムでは、正常画像を用いて学習されたＡｕｔｏｅｎｃｏｄｅｒに入力画像を入力することで、当該入力画像から正常画像を再構成し、Ｇｒａｄ－ＣＡＭを用いて異常クラスの判断根拠（ヒートマップ）を出力している。

特開２００１－３３７０４４号公報 特開平１０－２７４６２６号公報 特開２０１９－１０６０９０号公報 特開２０１２－１３４４２６号公報 特開２０１８－１２４９９０号公報 特開２０２２－１３００３５号公報 特開２０２２－０９０７６１号公報

鋳造などによる成形品では、鋳造に用いられた金型が同じ金型であっても金型の型番によって成形品の仕上がりの質感が異なる。また、同じ型番の金型を用いた場合でも、時間の経過とともに成形品の仕上がりの質感が変化する。
このような成形品の外観検査においては、時系列変化または金型の型番の違いによって発生する許容範囲内の形状差と、不良品として判別すべき外観上の不良箇所とを区別することが必要である。

特許文献１の鋳造品の外観検査方法では、ロットや金型が変わった場合に基準画像を補正することで、金型の違いまたは時系列変化によって発生する形状差に対応している。しかし、鋳造品の良否の判定をパターンマッチングによって行っており、不良箇所の形状によっては、確実に許容範囲内の形状差と不良箇所とを区別することができないとの課題があった。

特許文献２の画像処理装置においても、検査動作中の一定時間毎にあるいは被検査対象となる部品供給ロットの入れ換え時に連動して被検査対象より教示画像を取得することが記載されている。しかし、特許文献２では、検査画像と近似画像との差画像を２値化し、差が大きい領域の面積が閾値を超えない場合に欠陥ありと判断しており、欠陥の形状によっては欠陥の有無を正確に判断できないとの課題があった。

特許文献３の識別装置では、対象物の属性を特定し、複数の識別器の中から特定された属性に対応付けられた識別器を選択して、選択された識別器によって欠陥を検出している。しかし、特許文献３の識別装置の方法を本発明の金型の型番の識別に応用した場合、金型の型番の差異による属性（質感）の変化は微細なものであり、また、全周方向で成形品の検査を行う場合には、成形品によっては、成形品の属性を判定するために複数面を撮影する必要があり、検査時間の遅延が発生するとの課題があった。

特許文献４に記載の基板外観検査機では、基板のマーク（型番、識別子、記号など）を撮像し、電子部品の種類が変更されたことを確認した後で、基板の外観検査を行う。しかし、特許文献４では電子部品の上面形状データを用いて基板の外観検査を行っており、鋳造などによる成形品の検査で必要な、許容範囲内の形状差と不良品とすべき外観上の不良箇所との判別には適していないとの課題があった。

特許文献５に記載の評価装置では、「尤度マップ上の最小の尤度が所定閾値以下であった場合、情報処理装置は、検査パッチ読込部において読み込まれた検査パッチに対応する物体の表面に、正常とは異なる箇所がある可能性が高いと判定する（明細書段落００４６）」と記載されており、１か所の尤度で正常か異常かが判定されるため、欠陥の分布等によっては異常と判断すべき対象物が正常と判断されてしまう可能性がある。

特許文献６は、再学習に用いる良画像と不良画像とを特定し再学習を行う画像処理装置の発明であり、不良画像について、取得した欠陥の箇所（判断根拠となった箇所）の候補をヒートマップとして不良画像に重ねて表示し、作業者に提示することが記載されている。しかし、特許文献６では、ヒートマップは欠陥の箇所を表示するためにのみ用いられており、ヒートマップ自体を、欠陥かどうか判断するためのデータとして利用することはできないとの課題があった。

特許文献７の情報処理システムでは、入力画像と再構成画像との差分を入力画像のヒートマップと再構成画像のヒートマップとの和で重み付けした画像に対して閾値処理を行って異常箇所を検知している。したがって、ヒートマップ自体も欠陥かどうかを判断するためのデータとして利用している。しかし、特許文献７では１つの入力画像に対して、Ａｕｔｏｅｎｃｏｄｅｒによる再構成と、入力画像のＧｒａｄ－ＣＡＭによるヒートマップ作成と、再構成画像のＧｒａｄ－ＣＡＭによるヒートマップ作成とを行う必要があり、異常箇所の検知に要する処理に時間がかかりすぎるとの課題がある。

本発明の主な目的は、時系列変化または金型の型番の違いによって発生する許容範囲内の形状差と、不良品として判別すべき外観上の不良箇所とを区別して、正確にかつ短時間で欠陥有無の判定ができる、外観検査装置および外観検査方法を提供することである。
本発明の他の目的は、機械学習を用いることによって、形状および大きさの異なる外観上の不良箇所を確実に検出することのできる、外観検査装置および外観検査方法を提供することである。

（１）
一局面に従う外観検査装置は、検査対象物を撮像する撮像部と、検査対象物の良品の画像を用いて学習モデルを作成する学習部と、撮像部で撮像した画像を入力し、学習モデルを用いて良否判定する判定部と、を含み、学習部および判定部は、機械学習により構成され、学習モデルは、所定の頻度ごとに最新のロットを含む複数のロットの検査対象物を用いて再作成され、良否判定は、検査対象物の画像のうちの異常度が閾値を超える部分の面積に基づいて行われる。

鋳造などによる成形品では、時間の経過とともに成形品の仕上がりの質感が変化する。しかし、成形品の時系列による変化は微細なものであり、不良品として判別すべき外観上の不良箇所との区別が難しい。
一局面に従う外観検査装置では、パターンマッチングなどによる外観検査に比べて、より確実に広範囲の欠陥を検出できる機械学習で良否判定を行うとともに、機械学習で用いる学習モデルを所定の頻度ごとに最新のロットを含む複数のロットの検査対象物を用いて再作成することによって、成形品の時系列等によって発生する許容範囲内の形状差を不良品であると誤判定しないようにしている。

なお、所定の頻度は、金型の使用期間または使用回数で決定され、鋳造する成形品の形状などの仕様にもよるが、例えば金型の使用回数５００回以上、１０００回以下とすることが望ましい。

また、学習モデルを所定の頻度ごとに再作成する場合、学習モデルを作成するための検査対象物として良品と不良品とが必要な場合には、最新のロットを含む複数のロットの検査対象物から不良品を収集することが困難である。一局面に従う外観検査装置では、検査対象物の良品の画像を用いて学習モデルを作成するため、検査対象物から不良品を収集する必要がない。
なお、一局面に従う外観検査装置は、主として、鋳造などによる成形品の検査を対象としているが、例えば食料品など、時系列変化の想定される検査対象物の外観検査装置として使用することもできる。

（２）
第２の発明に係る外観検査装置は、一局面に従う外観検査装置において、学習部は、作成した学習モデルを用いて異常度の分布を示すヒートマップを作成し、良品のヒートマップの異常度の最大値をもとに閾値を決定してもよい。

この場合、異常度の分布を示すヒートマップを作成、表示することで、高い異常度を示す箇所を確認することができる。また、良品のヒートマップの異常度の最大値をもとに閾値を決定することにより、時系列等によって発生する許容範囲内の形状差を備えた良品を不良品と誤って判断することがなくなる。具体的には、例えば、良品の異常値の最大値がａであれば、閾値をａ+αとしてもよい。

（３）
第３の発明に係る外観検査装置は、第２の発明に係る外観検査装置において、閾値は検査対象物の画像の部位によって異なってもよい。

鋳造などによる成形品では、形状の誤差が非常に重要な部位とそれほど重要でない部位が存在する場合が多い。例えば、不具合の発生しやすい肉厚が薄い部位や、最後に材料が回り込む部位、形状が全体に対して相対的に小さい部位に対しては、形状の誤差に対する判定を厳しくする必要がある。
このような場合、これらの部位の閾値を他の部位より小さくすることによって、その部位を特に厳しく判定することができる。

（４）
第４の発明に係る外観検査装置は、第３の発明に係る外観検査装置において、撮像部は、複数の位置および複数の方向から検査対象物の部分画像を撮像し、学習部は、検査対象物の複数の部分画像のうちの良品の部分画像を用いてヒートマップおよび閾値を作成し、判定部は、検査対象物毎の複数の部分画像それぞれについて良否判定を行い、すべての部分画像が良品の場合に良品と判定してもよい。

成形品の外観検査においては、検査対象物の良否を確実に判定するために、通常、検査対象物を複数の位置および複数の方向から撮影する。この場合、複数の位置および複数の方向から撮影した画像毎に良否を判定し、すべての画像において良品と判定された検査対象物を良品とする。
しかし、画像毎に良否を判定する場合、それぞれの画像毎に良品画像を収集して学習モデルを作成する必要がある。特に本発明の外観検査装置では、学習モデルを所定の頻度ごとに作成する必要があるため、良品画像の収集を効率的に行う必要がある。
そこで、第４の発明に係る外観検査装置では、外観検査結果の良否判定は全ての部分画像で良品のものを良品とするが、学習モデル作成用の画像は部分画像単位で良品と判定されたものは良品画像として学習モデルの作成に用いることによって、良品画像の収集の効率を向上している。

（５）
第５の発明に係る外観検査装置は、一局面に従う外観検査装置において、学習部は、検査対象物の金型の型番ごとに学習モデルを作成し、撮像部は、型番の記載された部分を撮像し、判定部は、型番読取ユニットを備え、読み取った型番の学習モデルを用いて画像を良否判定してもよい。

鋳造等の成形品は、同じ金型であっても金型の型番によって成形品の仕上がりの質感が異なるため、同じ学習モデルを用いて良否判定した場合、型番の違いによる仕上がりの質感の変化を、不良品として判別すべき外観上の不良ととらえてしまう可能性がある。
第５の発明に係る外観検査装置では、型番ごとに学習モデルを作成し、同じ型番の金型で鋳造された成形品を用いて学習した学習モデルで良否判定するため、型番の違いによる変化を不良と判定することがない。
また、型番ごとに学習モデルを切り換える場合、従来は検査作業の現場で学習モデルの切り替え作業が発生して、煩雑化していた。特に、金型の型番が異なる成形品が混在して検査ラインに流れてくるような場合には、成形品を目視で確認して、学習モデルを切り替える必要があり、作業遅延または不適切な学習モデルを選択する恐れがあった。
第５の発明に係る外観検査装置では、判定部に型番読取ユニットを備え、撮影した画像の型番を読み取って、読み取った型番の学習モデルを用いて良否判定するため、作業遅延や学習モデル選択ミスの恐れがない。

（６）
他の局面に従う外観検査方法は、検査対象物を撮像する撮像工程と、検査対象物の良品の画像を用いて学習モデルを作成する学習工程と、撮像工程で撮像した画像を入力し、学習モデルを用いて良否判定する判定工程と、を含み、学習工程および判定工程は、機械学習により構成され、学習モデルは、所定の頻度ごとに最新のロットを含む複数のロットの検査対象物を用いて再作成され、良否判定は、検査対象物の画像のうちの異常度が閾値を超える部分の面積によって判定される。

鋳造などによる成形品では、時間の経過とともに成形品の仕上がりの質感が変化する。しかし、成形品の時系列による変化は微細なものであり、不良品として判別すべき外観上の不良箇所との区別が難しい。
他の局面に従う外観検査方法では、パターンマッチングなどによる外観検査に比べて、より確実に広範囲の欠陥を検出できる機械学習で良否判定を行うとともに、機械学習で用いる学習モデルを所定の頻度ごとに最新のロットを含む複数のロットの検査対象物を用いて再作成することによって、成形品の時系列等によって発生する許容範囲内の形状差を不良品であると誤判定しないようにしている。
また、学習モデルを所定の頻度ごとに再作成する場合、学習モデルを作成するための検査対象物として良品と不良品とが必要な場合には、最新のロットを含む複数のロットの検査対象物から不良品を収集することが困難である。他の局面に従う外観検査方法では、検査対象物の良品の画像を用いて学習モデルを作成するため、検査対象物から不良品を収集する必要がない。

外観検査装置の構成を示す模式図である。 学習と検査の全体のフローを示すフローチャートである。 第１の方法による学習工程のフローチャートである。 第１の方法による判定工程のフローチャートである。 第１の方法で作成したヒートマップの一例を示す模式図である。 第２の方法による学習工程のフローチャートである。 第２の方法による判定工程のフローチャートである。 第３の方法による学習工程のフローチャートである。 第３の方法による判定工程のフローチャートである。

以下、図面を参照しつつ、本発明の実施形態について説明する。以下の説明では、同一の部品には同一の符号を付す。また、同符号の場合には、それらの名称および機能も同一である。したがって、それらについての詳細な説明は繰り返さないものとする。

［実施形態］
図１は外観検査装置１００の構成を示す模式図であり、図２は学習と検査の全体のフローを示すフローチャートである。

図１において、外観検査装置１００は、撮像部１０、学習部２０、判定部３０、制御部４０、記憶部５０、および、カメラ１１ａ、１１ｂ、１１ｃ、照明１２ａ、１２ｂ、１２ｃ、１２ｄ、支持台１３で構成される。支持台１３には検査対象物６０が載置されている。判定部３０は型番読取ユニット３１を備えており、検査対象物６０の型番の画像から検査対象物６０の製造に用いられた金型の型番を特定する。
図１ではカメラ１１が３台備えられており、これらのカメラ１１により複数の方向から検査対象物６０を撮像する。ただし、これらのカメラ１１の台数は特に限定されるものではなく、１台のカメラ１１の方向を移動または回転制御することによって複数の方向から検査対象物６０を撮像するようにしてもよい。
また、図１では制御部４０から支持台１３を制御することによって検査対象物６０を移動し、複数の位置から検査対象物６０を撮像する。この場合も、カメラ１１の位置を動かすことによって複数の位置から検査対象物６０を撮像するようにしてもよい。

図２には、学習と検査の全体のフローを示した。以下、学習フローの各ステップごとに説明する。
まず、図２に基づき、学習フローについて説明する。
学習初回の場合には（ステップ１でＹｅｓ）、検査済みの検査対象物６０の画像がないため、新たに検査対象物６０を撮像する（ステップＳ３）。
また、学習初回でない場合でも検査済みの結果一覧に登録された検査対象物６０の画像の数が不足している場合は（ステップＳ２でＹｅｓ）、新たに検査対象物６０を撮像する（ステップＳ３）。
また、検査済みの結果一覧に登録された検査対象物６０の画像の数が足りている場合でも、結果一覧に登録された検査対象物６０の画像が古い場合や結果一覧に登録された画像を使用したくない場合などは（ステップＳ４でＮｏ）、新たに検査対象物６０を撮像する（ステップＳ４）。
一方、ステップＳ４でＹｅｓの場合には、結果一覧から学習用の画像を取得する（ステップＳ５）。

次に、新たに撮像した画像、または結果一覧から取得した画像を用いて学習を実行する（ステップＳ６）。
結果一覧から画像を取得する場合は、以下のステップで画像を抽出する。
まず、検索する最新検査結果画像の範囲の枚数（例えば１００枚）、抽出する画像の枚数（例えば２０枚）、抽出基準となる画像レベルの異常度（例えば０．０５）を決定する。
次に、異常度が閾値以下の画像の中から最新結果の日付降順で検索して、異常度の低いものから順番に画像を抽出する。
なお、検索範囲の枚数と抽出枚数とは同じ枚数でもよい。その場合は、検索した範囲の画像をすべて抽出するので、異常度の低い画像ばかりを偏って抽出することを抑制できる。
学習方法の詳細については後述する。
学習が完了すると、作成した学習モデルを記憶部５０に登録する（ステップＳ７）。
学習工程では、複数の位置および複数の方向から撮像した検査対象物６０の各部分画像ごと、および金型の型番ごとに上記学習モデルの作成を行い、すべての部分画像および型番に対応するモデルを記憶部５０に登録する。

なお、検査対象物６０が鋳造などによる成形品の場合、同じ成形品に対して複数の金型を使用することがある。この場合、金型の型番によって、成形品の仕上がりの質感が微妙に異なるため、学習モデルは金型の型番毎に作成する必要がある。
また、同じ型番の金型を用いた場合でも、時間の経過とともに成形品の仕上がりの質感が変化する。しかし、成形品の時系列による変化は微細なものであり、不良品として判別すべき外観上の不良箇所との区別が難しい。したがって、学習モデルを所定の頻度ごとに最新のロットを含む複数のロットの検査対象物６０を用いて再作成する必要がある。
なお、所定の頻度は、金型の使用期間または使用回数で決定され、鋳造する成形品の形状などの仕様にもよるが、例えば金型の使用回数５００回以上、１０００回以下とすることが望ましい。
また、検査対象物６０を撮像する場合、カメラ１１および／または支持台１３を制御することによって、複数の部分画像を撮影する。
学習モデルの作成においては、各部分画像毎に学習モデルを作成する。この場合、学習用画像の各部分画像のうち、一部の部分画像に欠陥がある場合もある。しかし、一部の部分画像に欠陥がある学習用画像においても、良品の部分画像を学習用モデルの作成に使用することによって、学習モデル再作成の効率を上げることができる。

次に図２に基づき、検査フローの各ステップについて説明する。
検査開始にあたっては、まず検査対象物６０を撮像する（ステップＳ１１）。検査時の検査対象物６０の撮像においても、学習モデル作成時と同様、複数の部分画像を撮像する。また、検査時の検査対象物６０の撮像では、金型の型番の記載された部分の画像を撮像し、型番読取ユニット３１が金型の型番を読み取る。
次に、読み取った型番の対応する部分画像の学習モデルを記憶部５０から読み出す（ステップＳ１２）。
次に、撮像した検査対象物６０の部分画像と記憶部５０から読み出した学習モデルとを用いて、検査対象物６０の部分画像が良品か否かを判定する（ステップＳ１３）。判定の詳細についても後述する。
判定結果が出たら、判定結果が良品のものを良品とし、判定結果が不良品のものを不良品とする。また、判定結果を記憶部５０の結果一覧に登録する。
なお、検査対象物６０の良否判定においては、各部分画像毎に対応する学習モデルを用いて良否判定し、すべての部分画像で良品と判定された検査対象物６０を良品とする。
ただし、検査対象物６０が１枚の画像のみで良否判定ができる場合には、部分画像を用いなくてもよい。

本発明の外観検査では、検査対象物６０の画像の異常度を計算し、異常度が閾値を超える部分の面積に基づいて良否判定が行われる。この異常度の計算には以下の第１、第２、または第３の方法が用いられる。

（第１の方法による異常度の計算）
まず、第１の方法について説明する。
第１の方法では、スパースコーディングを用いて異常度を計算する。スパースコーディングとは，信号を少数の基底の線形和で表現する方法である。
（１）良品の入力画像をパッチと呼ばれる小領域に分割し、機械学習の特徴量として辞書となるパッチを生成する。
（２）辞書となるパッチを複数個使って計算を行い、なるべく入力画像を再現するようなパッチを再構成するととともに、入力画像のパッチと再構成したパッチとの差分の分布を計算する。
（３）判定用画像に対して、同様に、なるべく入力画像を再現するようなパッチを再構成し、判定画像のパッチと再構成した画像のパッチとの差分を良品画像の差分の分布を用いて重み付けし、異常度とする。異常度の分布を示したものがヒートマップである。この場合、異常度の分布を示すヒートマップを作成、表示することで、高い異常度を示す箇所を確認することができる。

図３に第１の方法による学習工程のフローチャートを示す。
まず、学習用画像を入力する（ステップＳ２１）。この場合の学習用画像は良品画像である。なお、学習用画像は入力後８ビットのグレースケール画像に変換する。
学習用画像を所定の大きさのパッチに分解し、その中から学習に用いる複数のパッチを抽出する（ステップＳ２２）。
抽出したパッチと辞書とを用いてスパースコーディングを実行し、辞書を学習させる（ステップＳ２３）。辞書の学習は抽出した学習用パッチを用いて繰り返し行う。なお、スパースコーディングとは、入力信号を辞書（基底行列）の少ない基底の線形和で近似表現（再構成）する手法である。
抽出したパッチと学習した辞書とを用いてコーディングし、コーディング結果の係数を用いて抽出したパッチに対応する再構成パッチを作成し（ステップＳ２４）、抽出したパッチと再構成パッチとの差分を計算する（ステップＳ２５）。差分の計算は抽出したバッチのそれぞれに対して行う。
抽出したパッチと再構成パッチとの差分に対して、分布を計算する（ステップＳ２６）。差分の分布としては、例えば正規分布の平均値と標準偏差、あるいはコーシー分布の中央値と４分位偏差（第３四分位数と第１四分位数の差）を用いることができる。
学習した辞書と差分の分布とが第１の方法による学習工程の出力に相当する。そして、第１の方法では、学習した辞書と差分の分布とが請求項の学習モデルに相当する。

図４に第１の方法による判定工程のフローチャートを示す。
まず、判定用画像を入力する（ステップＳ３１）。なお、判定用画像も８ビットのグレースケールに変換する。
判定用画像を所定の大きさのパッチに分解し、それぞれのパッチを抽出する（ステップＳ３２）。
抽出したパッチと学習した辞書とを用いてコーディングし、コーディング結果の係数を用いて抽出したパッチに対応する再構成パッチを作成し（ステップＳ３３）、抽出したパッチと再構成パッチとの差分を計算する（ステップＳ３４）。
パッチごとの差分をもとの画像のパッチの位置に配置し、もとの画像に対応する差分の画像として合成する（ステップＳ３５）。
合成後の差分から学習時の差分の分布を減算する（ステップＳ３６）。学習時の差分の分布としては、例えば正規分布の平均値と標準偏差、あるいはコーシー分布の中央値と４分位偏差（第３四分位数と第１四分位数の差）を用いることができる。この減算した結果が判断用画像の各パッチの異常度に相当する。
減算値を正規化する（ステップＳ３７）。
正規化された減算値と、閾値とを比較し、閾値より大きい正規化された減算値の部分の面積を計算する（ステップＳ３８）。
閾値より大きい正規化された減算値の部分の面積が所定の値より大きい場合は不良品、所定の値以下の場合は良品と判定する（ステップＳ３９）。

上記閾値は、学習工程で計算した良品の抽出したパッチと再構成パッチとの差分の分布をもとに決定する。例えば、良品の抽出したパッチと再構成パッチとの差分の最大値がａであった場合に、判定用画像の抽出したパッチと再構成パッチとの差分の値が（ａ+α）となるように閾値を設定してもよい。
あるいは、抽出したパッチと再構成パッチとの差分の値が良品のパッチと再構成パッチとの差分の（平均＋β×標準偏差）となるように閾値を設定してもよい。また、差分の分布としてコーシー分布を用いる場合には、抽出したパッチと再構成パッチとの差分の値が良品のパッチと再構成パッチとの差分の（中央値＋β×４分位偏差）となるように閾値を設定してもよい。ただしβは正数である。
なお、上記閾値は判定用画像全体で同一の値に設定してもよいし、判定用画像の部位によって異なる値に設定してもよい。
鋳造などによる成形品では、形状の誤差が非常に重要な部位とそれほど重要でない部位が存在する場合が多い。例えば、不具合の発生しやすい肉厚が薄い部位や、最後に材料が回り込む部位、形状が全体に対して相対的に小さい部位に対しては、形状の誤差に対する判定を厳しくする必要がある。
このような場合、これらの部位の閾値を他の部位より小さくすることによって、その部位を特に厳しく判定することができる。

図５に、第１の方法で作成したヒートマップを成型品の画像に重畳した図を示した。図５はグレースケールの図となっているが、実際のヒートマップはカラーであり、赤色の部分が最も異常度が大きく、黄色、水色、青色の順に異常度が小さくなっている。また、異常度がほぼゼロの部分は透明で、成型品の画像（グレースケール）がそのまま表示されている。

（第２の方法による異常度の計算）
第２の方法では、ニューラルネットワークの１つである、オートエンコーダ（自己符号化器：Ａｕｔｏｅｎｃｏｄｅｒ）を用いて異常度を計算する。オートエンコーダは入力されたデータを一度圧縮し、重要な特徴量だけを残した後、再度もとの次元に復元処理をするアルゴリズムである。
第２の方法では、
（１）良品の入力画像を用いてオートエンコーダを学習させる。
（２）入力画像とオートエンコーダの出力に相当する再構成画像との差分とその分布を計算する。
（３）判定用画像と判定用画像の再構成画像との差分を良品画像の差分の分布を用いて重み付けし、異常度とする。そして、異常度の分布を示したものがヒートマップである。この場合、異常度の分布を示すヒートマップを作成、表示することで、高い異常度を示す箇所を確認することができる。
第２の方法は第１の方法と比較して、パッチ単位で処理するか、画像全体で処理するか、およびスパースコーディングを用いるかオートエンコーダを用いるかの点で異なり、その他については類似している。
第２の方法では、オードエンコーダーの係数と、入力画像とオートエンコーダによる再構成画像との差分の分布とが学習モデルに相当する。

図６に第２の方法による学習工程のフローチャートを示す。
図６の第２の方法の学習工程のフローチャートは、図３の第１の方法の学習工程のフローチャートのパッチ抽出（ステップＳ２２）および辞書学習（ステップＳ２３）が、オートエンコーダ学習（ステップＳ４１）に置き換わっているだけで、その他は図３と同一である。

図７に第２の方法による判定工程のフローチャートを示す。
図７の第２の方法の判定工程のフローチャートは、図４の第１の方法の判定工程のフローチャートのパッチ抽出（ステップＳ３２）および再構成（ステップＳ３３）が、オートエンコーダによる再構成（ステップＳ４２）に置き換わり、パッチごとの差分の合成（ステップＳ３６）がなくなっているだけで、その他は図４と同一である。

第２の方法の場合も、良品の画像について入力画像と再構成画像との差分の分布を計算し、判定用画像の入力画像と再構成画像との差分が、良品画像の差分の分布の例えば（平均値＋β×標準偏差）となるよう閾値を設定してもよい。ただし、βは正数である。
また、第１の方法と同様に、閾値を、判定用画像の部位によって異なる値に設定してもよい。

（第３の方法による異常度の計算）
第３の方法では、画像の特徴量として、各画素を周囲の近傍画素と比較した相対値で構成するＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）と偏微分（Ｐａｒｔｉａｌ Ｄｅｒｉｖａｔｉｖｅ）とを用い、判定画像のＬＢＰと偏微分とを、それぞれ良品画像のＬＢＰと偏微分の分布と比較することにより異常度を計算している。
ＬＢＰについては、例えば、Ｏｊａｌａ Ｔ他著， “Ｐｅｒｆｏｒｍａｎｃｅ ｅｖａｌｕａｔｉｏｎ ｏｆ ｔｅｘｔｕｒｅ ｍｅａｓｕｒｅｓ ｗｉｔｈ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｂａｓｅｄ ｏｎ Ｋｕｌｌｂａｃｋ ｄｉｓｃｒｉｍｉｎａｔｉｏｎ ｏｆ ｄｉｓｔｒｉｂｕｔｉｏｎｓ．”， Ｐｒｏｃ． １２ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＩＣＰＲ １９９４）， Ｊｅｒｕｓａｌｅｍ， Ｉｓｒａｅｌ． Ｖｏｌ Ｉ， ５８２－５８５． （１９９４）に記載されている。

第３の方法では、
（１）良品の入力画像のＬＢＰと偏微分とを行った後、パッチと呼ばれる小領域に分割する。
（２）ＬＢＰのヒストグラムと偏微分の共分散とを計算し、それぞれからヒストグラムの平均値および最も異常な画像と、共分散の平均値および共分散の最も異常な画像とを抽出する。
（３）判定用画像に対して、同様に、各パッチのＬＢＰのヒストグラムと偏微分の共分散とを計算し、ヒストグラムと共分散の異常画像を抽出する。そして、それぞれの異常画像と学習工程から出力されたそれぞれの最も異常な画像との差分同士の掛け算結果を異常度とする。そして、異常度の分布を示したものがヒートマップである。この場合、異常度の分布を示すヒートマップを作成、表示することで、高い異常度を示す箇所を確認することができる。

図８に第３の方法による学習工程のフローチャートを示す。
まず、学習用画像を入力する（ステップＳ５１）。この場合の学習用画像は良品画像である。なお、学習用画像は入力後８ビットのグレースケール画像に変換する。
入力された学習用画像は、特徴量として、ＬＢＰ（ステップＳ５２）と偏微分（ステップＳ５６）とを並行して計算する。
次に、ＬＢＰを計算された画像をパッチと呼ばれる小領域に分割し（ステップＳ５３）、ＬＢＰ計算値のヒストグラムとその平均値を計算する（ステップＳ５４）。
次にＬＢＰ計算値のヒストグラムとヒストグラムの平均値とを用いて異常画像を抽出し、そのうちの最も異常な画像を求める（ステップＳ５５）。なお、ここでいう異常画像は不良品の画像ではなく、良品の画像の中でのイレギュラーな画像という意味である。

また、偏微分された画像もパッチに分割し（ステップＳ５７）、偏微分値の共分散とその平均値を計算する（ステップＳ５８）。
次に各パッチの共分散値と共分散の平均値との差分から異常画像を抽出し、そのうちの最も異常な画像を求める（ステップＳ５９）。
ヒストグラムの平均値とヒストグラム上での最も異常な画像と、偏微分の共分散の平均値と共分散上での最も異常な画像とが第３の方法による学習工程の出力に相当する。そして、これら学習工程の出力が、請求項の学習モデルに相当する。

図９に第３の方法による判定工程のフローチャートを示す。
まず、判定用画像を入力する（ステップＳ６１）。なお、判定用画像は入力後８ビットのグレースケール画像に変換する。
入力された判定用画像は、特徴量として、ＬＢＰ（ステップＳ６２）と偏微分（ステップＳ６７）とを並行して計算する。

次に、ＬＢＰを計算された画像をパッチと呼ばれる小領域に分割し（ステップＳ６３）、ＬＢＰ計算値のヒストグラムを計算する（ステップＳ６４）。
次に、ＬＢＰ計算値のヒストグラムと学習工程から出力されたヒストグラムの平均値とを用いて異常画像を抽出する（ステップＳ６５）。
抽出された異常画像と学習工程から出力されたヒストグラムの最も異常な画像との差分を計算する（ステップＳ６６）。
また、偏微分された画像もパッチに分割し（ステップＳ６８）、偏微分値の共分散を計算する（ステップＳ６９）。

次に、各パッチの共分散値と学習工程から出力された共分散の平均値との差分から異常画像を抽出する（ステップＳ７０）。
抽出された異常画像と学習工程から出力された最も異常な画像との差分を計算する（ステップＳ７１）。
ステップＳ６６の差分とステップＳ７１の差分との掛け算を実行する（ステップＳ７２）。この掛け算値が判断用画像の各パッチの異常度に相当する。
掛け算値を正規化する（ステップＳ７３）。
正規化された掛け算値を閾値と比較し、閾値より大きい正規化された減算値の部分の面積を計算する（ステップＳ７４）。
閾値より大きい正規化された減算値の部分の面積が所定の値より大きい場合は不良品、所定の値以下の場合は良品と判定する（ステップＳ７５）。

第３の方法の場合も、良品画像のヒストグラムの最大値（最も異常な画像）、および共分散の最大値（最も異常な画像）をもとに、上記閾値を設定してよい。
また、上記閾値は判定用画像全体で同一の値に設定してもよいし、判定用画像の部位によって異なる値に設定してもよい。
鋳造などによる成形品では、形状の誤差が非常に重要な部位とそれほど重要でない部位が存在する場合が多い。例えば、不具合の発生しやすい肉厚が薄い部位や、最後に材料が回り込む部位、形状が全体に対して相対的に小さい部位に対しては、形状の誤差に対する判定を厳しくする必要がある。
このような場合、これらの部位の閾値を他の部位より小さくすることによって、その部位を特に厳しく判定することができる。

以上、異常度の計算方法として３つの方法を示したが、本発明の外観検査における異常度の計算方法は上記３つの方法に限定されない。良品の画像を用いて学習し、異常度とその分布とを計算することができる方法であれば本発明に適用可能である。
また、本実施形態では、外観検査の対象物を鋳造などによる成形品としているが、本発明の外観検査装置は、例えば食料品など、時系列変化の想定される検査対象物の外観検査装置として使用することもできる。

本発明において、検査対象物６０が「検査対象物」に相当し、撮像部１０が「撮像部」に相当し、学習部２０が「学習部」に相当し、判定部３０が「判定部」に相当し、外観検査装置１００が「外観検査装置」に相当し、型番読取ユニット３１が「型番読取ユニット」に相当する。

本発明の好ましい一実施形態は上記の通りであるが、本発明はそれだけに制限されない。本発明の精神と範囲から逸脱することのない様々な実施形態が他になされることは理解されよう。さらに、本実施形態において、本発明の構成による作用および効果を述べているが、これら作用および効果は、一例であり、本発明を限定するものではない。

１０ 撮像部
２０ 学習部
３０ 判定部
３１ 型番読取ユニット
６０ 検査対象物（成形品）
１００ 外観検査装置

Claims (6)

1. 検査対象物を撮像する撮像部と、
   前記検査対象物の良品の画像を用いて学習モデルを作成する学習部と、
   前記撮像部で撮像した画像を入力し、前記学習モデルを用いて良否判定する判定部と、を含み、
   前記学習部および前記判定部は、機械学習により構成され、
   前記学習モデルは、所定の頻度ごとに最新のロットを含む複数のロットの前記検査対象物を用いて再作成され、
   前記良否判定は、前記検査対象物の画像のうちの異常度が閾値を超える部分の面積に基づいて行われる、外観検査装置。
2. 前記学習部は、作成した前記学習モデルを用いて異常度の分布を示すヒートマップを作成し、良品の前記ヒートマップの異常度の最大値をもとに前記閾値を決定する、請求項１に記載の外観検査装置。
3. 前記閾値は前記検査対象物の画像の部位によって異なる、請求項２に記載の外観検査装置。
4. 前記撮像部は、複数の位置および複数の方向から前記検査対象物の部分画像を撮像し、
   前記学習部は、前記検査対象物の複数の部分画像のうちの良品の部分画像を用いて前記ヒートマップおよび前記閾値を作成し、
   前記判定部は、前記検査対象物毎の複数の部分画像それぞれについて良否判定を行い、すべての部分画像が良品の場合に良品と判定する、請求項３に記載の外観検査装置。
5. 前記学習部は、前記検査対象物の金型の型番ごとに前記学習モデルを作成し、
   前記撮像部は、前記型番の記載された部分を撮像し、
   前記判定部は、型番読取ユニットを備え、読み取った前記型番の学習モデルを用いて前記画像を良否判定する、請求項１に記載の外観検査装置。
6. 検査対象物を撮像する撮像工程と、
   前記検査対象物の良品の画像を用いて学習モデルを作成する学習工程と、
   前記撮像工程で撮像した画像を入力し、前記学習モデルを用いて良否判定する判定工程と、を含み、
   前記学習工程および前記判定工程は、機械学習により構成され、
   前記学習モデルは、所定の頻度ごとに最新のロットを含む複数のロットの前記検査対象物を用いて再作成され、
   前記良否判定は、前記検査対象物の画像のうちの異常度が閾値を超える部分の面積によって判定される、外観検査方法。