JP7241292B2 - 処理方法およびそれを利用した処理装置 - Google Patents

Description

本開示は、処理技術、特に画像に対する処理を実行する処理方法およびそれを利用した処理装置に関する。

製品の外観検査工程において画像中の特徴的な領域が検出される。これは、正常な参照画像と検査対象画像との差をもとに、画像の変化を識別することによってなされる。しかしながら、このような方法では、検査対象の位置決めに誤差がある場合、検査対象の形状がわずかに変化する場合、充分に異常を検出できない。そのため、対象画像に注目領域および注目領域を取り囲む周辺領域を規定し、各領域について色に関連する特徴量および画像上の特異性を使用して注目領域における画像上の特異性として数値的に示す外れ値を計算することがなされる（例えば、特許文献１参照）。

特開２０１７－１０７５４１号公報

検査対象画像と参照画像との位置調整を不要にしながら、参照画像に対する検査対象画像の異常を検出するために、ニューラルネットワークを使用することが有効である。しかしながら、製品の仕様変更等により参照画像が変わると、新たな参照画像を再学習する必要がある。一方、学習が不十分であると、処理の正確性が低下する。

本開示はこうした状況に鑑みなされたものであり、その目的は、学習の作業量の増加を抑制しながら、処理の正確性の低下を抑制する技術を提供することにある。

上記課題を解決するために、本開示のある態様の処理装置は、含まれている不良項目が既知である学習用画像を入力する第１入力部と、参照されるべき参照画像を入力する第２入力部と、学習用画像に含まれた不良項目を示す教師データを入力する教師データ入力部と、第１入力部に入力した学習用画像と、第２入力部に入力した参照画像との関係が、教師データ入力部に入力した教師データとなるように、ニューラルネットワークを学習する処理部と、を備える。

本開示の別の態様は、処理方法である。この方法は、含まれている不良項目が既知である学習用画像を入力するステップと、参照されるべき参照画像を入力するステップと、学習用画像に含まれた不良項目を示す教師データを入力するステップと、入力した学習用画像と、入力した参照画像との関係が、入力した教師データとなるように、ニューラルネットワークを学習するステップと、を備える。

なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、コンピュータプログラム、またはコンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本開示の態様として有効である。

本開示によれば、学習の作業量の増加を抑制しながら、処理の正確性の低下を抑制できる。

図１（ａ）－（ｂ）は、実施例に係る処理装置の構成を示す図である。 図２（ａ）－（ｃ）は、図１（ａ）－（ｂ）の処理部の構成を示す図である。 図１（ａ）の教師データ入力部に入力される教師データのデータ構造を示す図である。 図１（ａ）－（ｂ）の処理部における処理の概要を示す図である。 第１変形例に係る処理部の構成を示す図である。 第３変形例に係る処理部の構成を示す図である。 図７（ａ）－（ｃ）は、第４変形例に係る処理部の構成を示す図である。

本開示の実施例を具体的に説明する前に、本実施例の概要を説明する。実施例は、検査対象となる画像に不良項目が含まれているかを判定する処理装置に関する。これまでラベルの貼り付けがなされていた部分に対して、ラベル生産コストの削減、ラベル貼付工数の合理化を目指して、レーザ印字への切替がなされている。レーザ印字の場合、レーザ印字のかけが画像処理により自動検査される。これまでは、検査対象となるレーザ印字の画像（以下、「検査画像」という）と、参照されるべき画像（以下、「参照画像」という）との差分をもとに印字かけが検出されている。具体的には、検査画像の位置が補正されてから、参照画像との差分を算出して、検査画像と参照画像が一致しているか否かが判定される。一致している場合、検査画像においてレーザ印字が正しくなされているが、一致しない場合、検査画像においてレーザ印字のかけが発生している。

このような手法では、商品毎に文字の太さが異なることを考慮して商品毎に太さのしきい値設定が必要になるとともに、商品毎に３点の領域を設定するためにシビアな位置あわせ調整が必要になる。さらに、これらのことは、商品毎あるいは商品リニューアル毎に変わるので、商品毎あるいは商品リニューアル毎に検査プログラムを調整が必要になる。しきい値設定、シビアな位置あわせ調整を不要にするために、ニューラルネットワークの利用が有効である。しかしながら、ニューラルネットワークでは、参照画像として、各不良項目が含まれた画像と良品の画像とを使用した学習が必要になるので、参照画像におけるパターンが変わると再学習が必要になる。このような再学習のために、学習の作業量が増加する。しかしながら、学習が不十分であると処理の正確性が低下する。

本実施例に係る処理装置は、検査画像と参照画像を入力し、検査画像に含まれている不良項目の情報を教師データとして学習を実行する。また、そのような学習がなされた後、処理装置は、検査画像と参照画像を入力し、検査画像に含まれている不良項目を判定する。つまり、参照画像自体を学習するのではなく、検査画像と参照画像との比較結果である不良項目を学習する。その結果、商品リニューアルによって参照画像が変わる場合、新たな参照画像と検査画像を処理装置に入力すればよくなり、未学習の印字パターンでも判定が可能になる。

図１（ａ）－（ｂ）は、処理装置１００の構成を示す。特に、図１（ａ）は、学習処理のための構成を示し、図１（ｂ）は、判定処理ための構成を示す。判定処理は、検査画像と参照画像とにニューラルネットワークを使用することによって、検査画像に含まれている不良項目を判定する処理である。不良項目の一例は、かけ、細りである。図１（ａ）における処理装置１００と図１（ｂ）における処理装置１００とは、同一の装置として構成されてもよいし、別の装置として構成されてもよい。

処理装置１００は、学習処理ための構成として、第１入力部１１０、第２入力部１１２、処理部１１４、教師データ入力部１１６を含み、判定処理のための構成として、第１入力部１１０、第２入力部１１２、処理部１１４、出力部１１８を含む。ここで、学習処理において処理部１１４が学習され、判定処理において処理部１１４が使用される。処理装置１００の構成を説明する前に、処理部１１４の構成を説明する。

図２（ａ）－（ｃ）は、処理部１１４の構成を示す。図２（ａ）は、処理部１１４の構成の一例を示す。処理部１１４は、畳み込み層１４２と総称される第１畳み込み層１４２ａ、第２畳み込み層１４２ｂ、第３畳み込み層１４２ｃ、第４畳み込み層１４２ｄ、プーリング層１４４と総称される第１プーリング層１４４ａ、第２プーリング層１４４ｂ、第３プーリング層１４４ｃ、第４プーリング層１４４ｄ、組合せ層１４６、全結合層１４８を含む。

組合せ層１４６は、図１（ａ）－（ｂ）の第１入力部１１０と第２入力部１１２に接続され、第１入力部１１０から検査画像を入力し、第２入力部１１２から参照画像を入力する。組合せ層１４６は、検査画像と参照画像とを組み合わせる。組合せの第１例では、２つの入力である検査画像と参照画像とが別のチャンネルとして１つに合併される。この場合、検査画像と参照画像の組合せが生成される。組合せの第２例では、２つの入力である検査画像と参照画像との対応する画素同士の差分が計算され、画素毎に差分を並べた画像（以下、「差分画像」という）が生成される。組合せの第３例では、検査画像と参照画像と差分画像とが別のチャンネルとして１つに合併される。この場合、検査画像と参照画像と差分画像の組合せが生成される。組合せの第４例では、参照画像と差分画像とが別のチャンネルとして１つに合併される。この場合、参照画像と差分画像の組合せが生成される。組合せの第５例では、検査画像と差分画像とが別のチャンネルとして１つに合併される。この場合、検査画像と差分画像の組合せが生成される。組合せ層１４６は、組合せの結果（以下、「組合画像」という）を出力する。なお、検査画像、参照画像、差分画像は「画像」と総称される。

畳み込み層１４２は、組合画像の各チャンネルに対して、画像のサイズよりも小さいサイズの空間フィルタをずらしながら空間フィルタリングを実行する。空間フィルタリングは公知の技術であるので、ここでは説明を省略するが、この空間フィルタリングが畳み込み処理に相当し、畳み込み処理によって画像の特徴量が抽出される。なお、畳み込み層１４２においてパディング等が実行されてもよい。さらに、畳み込み層１４２は、各チャンネルの画像に対して、複数の空間フィルタを並列に使用して、複数の空間フィルタリングを並列して実行してもよい。このような複数の空間フィルタの並列使用によって、画像が増加する。これは、組合画像におけるチャンネル数が増加することに相当する。

プーリング層１４４は、組合画像における各チャンネルの画像内の任意の領域に含まれた複数の画素を１つの画素にまとめることによって、画像のサイズを小さくする。ここで、複数の画素を１つの画素にまとめるために、平均プーリングあるいは最大プーリングが実行される。平均プーリングでは、領域内の複数の画素値の平均値が１つの画素に対して使用され、最大プーリングでは、領域内の複数の画素値のうちの最大値が１つの画素に対して使用される。プーリング処理は、着目領域における代表値あるいは平均値の並進移動に対してロバスト性を強化するためになされる。

ここでは、第１畳み込み層１４２ａ、第１プーリング層１４４ａ、第２畳み込み層１４２ｂ、第２プーリング層１４４ｂ、第３畳み込み層１４２ｃ、第３プーリング層１４４ｃ、第４畳み込み層１４２ｄ、第４プーリング層１４４ｄの順に処理が実行される。つまり、組合画像に対して、畳み込み処理とプーリング処理とが繰り返し実行される。また、畳み込み処理とプーリング処理とが繰り返されることによって、各チャンネルの画像のサイズが順に小さくされる。その結果、１×１の空間次元となり、かつ１以上のチャンネル数を有する組合画像が全結合層１４８に出力される。

全結合層１４８は、特徴量が抽出されている画像を受けつける。全結合層１４８は、特徴量に基づいて、複数のクラスへの分類を実行することによって、画像を識別する。全結合層１４８における処理には公知の技術が使用されればよいので、ここでは説明を省略するが、全結合層１４８における分類結果では、「ＯＫ」、「かけ」、「細り」の３つのクラスのそれぞれに対する確率が示される。ここで、「ＯＫ」は、参照画像に対して検査画像に不良項目が含まれない場合に相当し、「かけ」は、参照画像に対して検査画像にかけた印字部分が含まれる場合に相当し、「細り」は、参照画像に対して検査画像に細くなった印字部分が含まれる場合に相当する。特に、「かけ」、「細り」は不良項目であるといえる。なお、「かけ」、「細り」の他に、「太り」、「つぶれ」、「異物」が不良項目として分類されてもよい。

このような処理部１１４の構成をもとにして、ここでは、図１（ａ）を使用しながら、処理装置１００における学習処理を説明する。前述のごとく、第１入力部１１０は、検査画像の代わりに学習用画像を受けつけ、第２入力部１１２は参照画像を受けつける。学習用画像では、どのような不良項目が含まれているか未知である検査画像とは異なり、含まれている不良項目が既知である。教師データ入力部１１６は、学習用画像と参照画像との関係に対応した、つまり学習用画像に含まれた不良項目を示す教師データを受けつける。処理部１１４は、図２（ａ）のように構成されている。処理部１１４は、第１入力部１１０において受けつけた学習用画像と、第２入力部１１２において受けつけた参照画像との関係が、教師データ入力部１１６において受けつけた教師データとなるように、各畳み込み層１４２の空間フィルタの係数を学習させる。

参照画像には、理想的にレーザ印字されたパターンが示され、学習用画像には、実際にレーザ印字されうるパターンが示される。また、教師データは、参照画像と学習用画像との関係が示される。図３は、教師データ入力部１１６に入力される教師データのデータ構造を示す。教師データは、３チャンネルを有しており、全結合層１４８における分類結果と同様にＯＫ、かけ、細りを含む。ここで、参照画像に対して学習用画像に不良項目が含まれない場合に教師データはＯＫを示す。一方、参照画像に対して学習用画像に不良項目が含まれる場合に、その原因に応じて、教師データは、かけあるいは細りを示す。なお、空間フィルタの係数の学習自体には公知の技術が使用されればよいので、ここでは説明を省略する。

次に、図１（ｂ）を使用しながら、処理装置１００における判定処理を説明する。なお、図１（ａ）と図１（ｂ）における処理装置１００とが別の装置として構成される場合、図１（ａ）における処理部１１４に対する学習によって導出された空間フィルタの係数が、図１（ｂ）における処理部１１４に設定される。

第１入力部１１０は検査画像を受けつけ、第２入力部１１２は参照画像を受けつける。処理部１１４は、図２（ａ）に示される構成を有しており、第１入力部１１０に入力した検査画像と、第２入力部１１２に入力した参照画像とに対してニューラルネットワークの処理を実行する。出力部１１８は、処理部１１４の処理結果として、参照画像に対して検査画像に含まれる不良項目の情報を出力する。つまり、ＯＫ、かけ、細りのいずれかの情報が出力される。

以下では、処理部１１４の構成の別の例を示す。図２（ｂ）は、処理部１１４の構成の別の一例を示す。処理部１１４は、畳み込み層１４２と総称される第１－１畳み込み層１４２ａａ、第１－２畳み込み層１４２ａｂ、第１－３畳み込み層１４２ａｃ、第２－１畳み込み層１４２ｂａ、第２－２畳み込み層１４２ｂｂ、第２－３畳み込み層１４２ｂｃ、第４畳み込み層１４２ｄ、プーリング層１４４と総称される第１－１プーリング層１４４ａａ、第１－２プーリング層１４４ａｂ、第１－３プーリング層１４４ａｃ、第２－１プーリング層１４４ｂａ、第２－２プーリング層１４４ｂｂ、第２－３プーリング層１４４ｂｃ、第４プーリング層１４４ｄ、組合せ層１４６、全結合層１４８を含む。

第１－１畳み込み層１４２ａａ、第１－１プーリング層１４４ａａ、第１－２畳み込み層１４２ａｂ、第１－２プーリング層１４４ａｂ、第１－３畳み込み層１４２ａｃ、第１－３プーリング層１４４ａｃは順に並べられる。これらは、第１入力部１１０に入力された検査画像に対して前述の処理を実行する。第２－１畳み込み層１４２ｂａ、第２－１プーリング層１４４ｂａ、第２－２畳み込み層１４２ｂｂ、第２－２プーリング層１４４ｂｂ、第２－３畳み込み層１４２ｂｃ、第２－３プーリング層１４４ｂｃは順に並べられる。これらは、第２入力部１１２に入力された参照画像に対して前述の処理を実行する。

組合せ層１４６は、第１－３プーリング層１４４ａｃからの処理結果と、第２－３プーリング層１４４ｂｃからの処理結果とを入力する。第１－３プーリング層１４４ａｃからの処理結果は検査画像に対する処理結果（以下、「第１処理結果」という）であり、第２－３プーリング層１４４ｂｃからの処理結果は参照画像に対する処理結果（以下、「第２処理結果」という）である。ここで、第１処理結果と第２処理結果は複数のチャンネルによって構成されていてもよい。組合せ層１４６は、第１処理結果と第２処理結果とを組み合わせる。組合せは、前述の第１例から第５例のいずれかのようになされればよい。なお、差分画像の生成は、第１処理結果と第２処理結果との互いに対応したチャンネル同士の間でなされる。組合せ層１４６は、組合せの結果（以下、これもまた「組合画像」という）を出力する。

第４畳み込み層１４２ｄ、第４プーリング層１４４ｄは、組合画像に対して畳み込み処理とプーリング処理とを順次実行する。全結合層１４８は、図２（ａ）と同様に構成される。このような処理部１１４の構成に対する処理装置１００の学習処理と判定処理は、これまでと同様であるので、ここでは説明を省略する。なお、学習の結果、検査画像に対して畳み込み層１４２の処理を実行する際の重み係数と、参照画像に対して畳み込み層１４２の処理を実行する際の重み係数とが共通にされてもよい。具体的には、第１－１畳み込み層１４２ａａと第２－１畳み込み層１４２ｂａとの間で重み係数が共通にされる。また、第１－２畳み込み層１４２ａｂと第２－２畳み込み層１４２ｂｂとの間で重み係数が共通にされ、第１－３畳み込み層１４２ａｃと第２－３畳み込み層１４２ｂｃとの間で重み係数が共通にされる。

図２（ｃ）は、処理部１１４の構成のさらに別の一例を示す。処理部１１４は、畳み込み層１４２と総称される第１－１畳み込み層１４２ａａ、第１－２畳み込み層１４２ａｂ、第１－３畳み込み層１４２ａｃ、第１－４畳み込み層１４２ａｄ、第２－１畳み込み層１４２ｂａ、第２－２畳み込み層１４２ｂｂ、第２－３畳み込み層１４２ｂｃ、第２－４畳み込み層１４２ｂｄ、プーリング層１４４と総称される第１－１プーリング層１４４ａａ、第１－２プーリング層１４４ａｂ、第１－３プーリング層１４４ａｃ、第１－４プーリング層１４４ａｄ、第２－１プーリング層１４４ｂａ、第２－２プーリング層１４４ｂｂ、第２－３プーリング層１４４ｂｃ、第２－４プーリング層１４４ｂｄ、組合せ層１４６、全結合層１４８を含む。

第１－１畳み込み層１４２ａａ、第１－１プーリング層１４４ａａ、第１－２畳み込み層１４２ａｂ、第１－２プーリング層１４４ａｂ、第１－３畳み込み層１４２ａｃ、第１－３プーリング層１４４ａｃ、第１－４畳み込み層１４２ａｄ、第１－４プーリング層１４４ａｄは順に並べられる。これらは、第１入力部１１０に入力された検査画像に対して前述の処理を実行する。第２－１畳み込み層１４２ｂａ、第２－１プーリング層１４４ｂａ、第２－２畳み込み層１４２ｂｂ、第２－２プーリング層１４４ｂｂ、第２－３畳み込み層１４２ｂｃ、第２－３プーリング層１４４ｂｃ、第２－４畳み込み層１４２ｂｄ、第２－４プーリング層１４４ｂｄは順に並べられる。これらは、第２入力部１１２に入力された参照画像に対して前述の処理を実行する。

組合せ層１４６は、第１－４プーリング層１４４ａｄからの処理結果と、第２－４プーリング層１４４ｂｄからの処理結果とを入力する。第１－４プーリング層１４４ａｄからの処理結果は検査画像に対する処理結果（以下、これもまた「第１処理結果」という）であり、第２－４プーリング層１４４ｂｄからの処理結果は参照画像に対する処理結果（以下、これもまた「第２処理結果」という）である。組合せ層１４６は、第１処理結果と第２処理結果とを組み合わせる。組合せは、前述の第１例から第５例のいずれかのようになされればよい。組合せ層１４６は、組合せの結果（以下、これもまた「組合画像」という）を出力する。

全結合層１４８は、図２（ａ）と同様に構成される。このような処理部１１４の構成に対する処理装置１００の学習処理と判定処理は、これまでと同様であるので、ここでは説明を省略する。なお、学習の結果、検査画像に対して畳み込み層１４２の処理を実行する際の重み係数と、参照画像に対して畳み込み層１４２の処理を実行する際の重み係数とが共通にされてもよい。具体的には、第１－１畳み込み層１４２ａａと第２－１畳み込み層１４２ｂａとの間で重み係数が共通にされ、第１－２畳み込み層１４２ａｂと第２－２畳み込み層１４２ｂｂとの間で重み係数が共通にされる。また、第１－３畳み込み層１４２ａｃと第２－３畳み込み層１４２ｂｃとの間で重み係数が共通にされ、第１－４畳み込み層１４２ａｄと第２－４畳み込み層１４２ｂｄとの間で重み係数が共通にされる。

なお、処理部１１４の構成から全結合層１４８が除外されてもよい。このような構成を図４をもとに説明する。図４は、処理部１１４における処理の概要を示す。ここでは、説明を明瞭にするために、１入力として示し、組合せ層１４６を省略している。しかしながら、図２（ａ）－（ｃ）と同様に、２入力であり、組合せ層１４６が含まれればよい。処理部１１４は、畳み込み層１４２と総称する第１畳み込み層１４２ａ、第２畳み込み層１４２ｂ、第３畳み込み層１４２ｃ、第４畳み込み層１４２ｄ、第５畳み込み層１４２ｅ、第６畳み込み層１４２ｆ、プーリング層１４４と総称する第１プーリング層１４４ａ、第２プーリング層１４４ｂ、第３プーリング層１４４ｃ、第４プーリング層１４４ｄ、第５プーリング層１４４ｅを含む。このような畳み込み層１４２、プーリング層１４４は、各処理を実行するブロックのイメージを示す。

入力画像１４０は、処理装置１００における判定処理の処理対象となる画像である。処理部１１４におけるニューラルネットワークには、完全畳み込みニューラルネットワークと同様に、全結合層１４８が含まれないので、入力画像１４０のサイズに対する制限が設けられない。入力画像１４０は、第１畳み込み層１４２ａに入力される。処理部１１４では、第１畳み込み層１４２ａ、第１プーリング層１４４ａ、第２畳み込み層１４２ｂ、第２プーリング層１４４ｂ、第３畳み込み層１４２ｃ、第３プーリング層１４４ｃ、第４畳み込み層１４２ｄ、第４プーリング層１４４ｄ、第５畳み込み層１４２ｅ、第５プーリング層１４４ｅ、第６畳み込み層１４２ｆが順に配置される。つまり、これまでと同様に、畳み込み処理とプーリング処理とが繰り返し実行される。

このような処理部１１４の構成をもとにして、ここでは、図１（ａ）を使用しながら、処理装置１００における学習処理を説明する。前述のごとく、第１入力部１１０は学習用画像を受けつけ、第２入力部１１２は参照画像を受けつけ、教師データ入力部１１６は教師データを受けつける。処理部１１４は、第１入力部１１０において受けつけた学習用画像と、第２入力部１１２において受けつけた参照画像との関係が、教師データ入力部１１６において受けつけた教師データとなるように、各畳み込み層１４２の空間フィルタの係数を学習させる。

本実施例において、教師データのサイズは１×１の空間次元を有するように設定される。そのため、教師データは、学習用画像と参照画像との関係に対して、限定された数のクラスのいずれかを示すだけである。つまり、１つのチャンネルに対する教師データは、１つのクラスに該当するか否かだけを示せばよい。そのため、物体に対して色塗りによるセグメンテーションがなされた画像を生成する場合と比較して、１つの教師データを生成するための作業量が低減する。その結果、作業量の増加を抑制しながら、教師データの数を多くすることが可能である。

一方、学習用画像と参照画像は、判定処理が正確に実行された場合に教師データが出力されるような元の画像であり、そのサイズは教師データが１×１の空間次元となるように定められる。ここで、入力画像１４０のサイズに対する制限が設けられないので、学習処理に使用される画像と、判定処理に使用される画像とが異なったサイズでもよい。なお、空間フィルタの係数の学習自体には公知の技術が使用されればよいので、ここでは説明を省略する。

以下では、処理装置１００の変形例を説明する。
（第１変形例）
図１（ａ）－（ｂ）の第２入力部１１２は、参照画像として複数種類の参照画像を入力する。各参照画像は互いに異なる。処理部１１４は、参照画像に対するニューラルネットワークの処理として、複数種類の参照画像のそれぞれに対してニューラルネットワークの処理を実行する。図５は、処理部１１４の構成を示す図である。処理部１１４は、畳み込み層１４２と総称される第１－１畳み込み層１４２ａａ、第１－２畳み込み層１４２ａｂ、第１－３畳み込み層１４２ａｃ、第２－１畳み込み層１４２ｂａ、第２－２畳み込み層１４２ｂｂ、第２－３畳み込み層１４２ｂｃ、第３－１畳み込み層１４２ｃａ、第３－２畳み込み層１４２ｃｂ、第３－３畳み込み層１４２ｃｃ、第Ｎ－１畳み込み層１４２ｎａ、第Ｎ－２畳み込み層１４２ｎｂ、第Ｎ－３畳み込み層１４２ｎｃ、プーリング層１４４と総称される第１－１プーリング層１４４ａａ、第１－２プーリング層１４４ａｂ、第２－１プーリング層１４４ｂａ、第２－２プーリング層１４４ｂｂ、第３－１プーリング層１４４ｃａ、第３－２プーリング層１４４ｃｂ、第Ｎ－１プーリング層１４４ｎａ、第Ｎ－２プーリング層１４４ｎｂ、第３プーリング層１４４ｃ、第４プーリング層１４４ｄ、組合せ層１４６、デンスブロック１５０と総称される第１デンスブロック１５０ａ、第２デンスブロック１５０ｂを含む。

第１入力部１１０には検査画像が入力され、第２入力部１１２には、第１参照画像から第Ｎ－１参照画像、つまりＮ－１種類の参照画像が入力される。第１－１畳み込み層１４２ａａは、第１入力部１１０からの検査画像を受けつけ、第２－１畳み込み層１４２ｂａは、第２入力部１１２からの第１参照画像を受けつけ、第３－１畳み込み層１４２ｃａは、第２入力部１１２からの第２参照画像を受けつけ、第Ｎ－１畳み込み層１４２ｎａは、第２入力部１１２からの第Ｎ－１参照画像を受けつける。第１－１畳み込み層１４２ａａ、第１－１プーリング層１４４ａａ、第１－２畳み込み層１４２ａｂ、第１－３畳み込み層１４２ａｃ、第１－２プーリング層１４４ａｂは、これまで通りに検査画像に対するニューラルネットワークの処理を実行する。第２－１畳み込み層１４２ｂａ、第２－１プーリング層１４４ｂａ、第２－２畳み込み層１４２ｂｂ、第２－３畳み込み層１４２ｂｃ、第２－２プーリング層１４４ｂｂは、第１参照画像に対するニューラルネットワークの処理を実行する。他の参照画像についても同様である。

組合せ層１４６は、第１－２プーリング層１４４ａｂから第Ｎ－２プーリング層１４４ｎｂのそれぞれからの処理結果を受けつける。組合せ層１４６は、前述のようにこれらの処理結果を組み合わせる。組合せ層１４６は、組合せの結果（以下、これもまた「組合画像」という）を出力する。第１デンスブロック１５０ａは、畳み込み層１４２、組合せ層１４６等の組合せによって構成される。デンスブロック１５０には公知の技術が使用されればよいので、ここでは説明を省略する。第１デンスブロック１５０ａに続く、第３プーリング層１４４ｃ、第２デンスブロック１５０ｂ、第４プーリング層１４４ｄは、これまでと同様の処理を実行するので、ここでは説明を省略する。図５の畳み込み層１４２、デンスブロック１５０について、図５に合わせた学習がなされる。

（第２変形例）
第１入力部１１０に入力した検査画像と、第２入力部１１２に入力した参照画像は、Ｎ次元Ｍチャンネル（Ｎ、Ｍ整数）を有する画像であってもよい。ここで、Ｎ次元には、１次元、２次元、３次元、４次元、・・・・が含まれる。このような検査画像と参照画像に対して、処理部１１４はこれまでと同様の処理を実行すればよい。

（第３変形例）
これまでの処理部１１４には、畳み込み層１４２、プーリング層１４４が含まれていたが、畳み込み層１４２、プーリング層１４４が含まれなくてもよい。図６は、処理部１１４の構成を示す。処理部１１４は、組合せ層１４６、全結合層１４８と総称される第１－１全結合層１４８ａａ、第１－２全結合層１４８ａｂ、第１－３全結合層１４８ａｃ、第２－１全結合層１４８ｂａ、第２－２全結合層１４８ｂｂ、第２－３全結合層１４８ｂｃ、第４全結合層１４８ｄを含む。つまり、組合せ層１４６を除いて、全結合層１４８だけが含まれる。第１－１全結合層１４８ａａは、第１入力部１１０からの検査画像を受けつけ、第２－１全結合層１４８ｂａは、第２入力部１１２からの参照画像を受けつける。第１－１全結合層１４８ａａから第１－３全結合層１４８ａｃは、検査画像に対して全結合層の処理を実行し、第２－１全結合層１４８ｂａから第２－３全結合層１４８ｂｃは、参照画像に対して全結合層の処理を実行する。組合せ層１４６は、第１－３全結合層１４８ａｃと第２－３全結合層１４８ｂｃから処理結果を受けつける。組合せ層１４６は、前述のようにこれらの処理結果を組み合わせる。組合せ層１４６は、組合せの結果（以下、これもまた「組合画像」という）を出力する。第４全結合層１４８ｄは、組合画像に対して全結合層の処理を実行する。

図６における組合せ層１４６は、図２（ｂ）と同様に、検査画像に対する処理結果と、参照画像に対する処理結果とを入力し、組合画像に対して処理を実行させるために出力する。しかしながら、図２（ａ）と同様に、検査画像と参照画像とを入力し、組合画像に対して処理を実行させるために出力してもよい。また、図２（ｃ）と同様に、検査画像に対する処理結果と、参照画像に対する処理結果とを入力し、組合画像を出力してもよい。

（第４変形例）
これまでの組合せ層１４６では、組合せの第１例、第３例から第５例のように、複数のチャンネルが１つに合併されている。合併はこれに限定されない。図７（ａ）－（ｃ）は、処理部１１４の構成を示す。第１入力画像２００ａ、第２入力画像２００ｂは、組合せ層１４６に入力される２つの画像であり、検査画像、参照画像、処理結果を含む。図７（ａ）は、組合せ層１４６におけるこれまでの合併を示し、２つのチャンネルの第１入力画像２００ａ、第２入力画像２００ｂが合併により１つのチャンネルにされる。第１入力画像２００ａ、第２入力画像２００ｂを総称する入力画像２００の数は「２」に限定されない。また、１つのチャンネルにされた画像が前述の組合画像に相当する。図７（ｂ）では、２つのチャンネルの第１入力画像２００ａ、第２入力画像２００ｂが、ｘ軸方向に並べることによって１つのチャンネルにされる。図７（ｃ）では、２つのチャンネルの第１入力画像２００ａ、第２入力画像２００ｂが、ｙ軸方向に並べることによって１つのチャンネルにされる。

本開示における装置、システム、または方法の主体は、コンピュータを備えている。このコンピュータがプログラムを実行することによって、本開示における装置、システム、または方法の主体の機能が実現される。コンピュータは、プログラムにしたがって動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、またはＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路で構成される。複数の電子回路は、１つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは１つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録される。プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。

本実施例によれば、検査画像と参照画像とに対してニューラルネットワークの処理を実行することによって、２つの画像の比較結果として、検査画像に含まれる不良項目の情報を出力できる。また、２つの画像を比較した結果が出力されるので、参照画像が変わっても新たな参照画像による学習の量を低減できる。また、参照画像が変わっても新たな参照画像による学習の量が低減されるので、学習の作業量の増加を抑制できる。また、検査画像に含まれる不良項目を教師データとしてニューラルネットワークを学習させるので、処理の正確性の低下を抑制できる。

また、検査画像と参照画像とを組み合わせてから、組合せに対して畳み込み層１４２の処理とプーリング層１４４の処理を実行するので、処理量の増加を抑制できる。また、検査画像と参照画像のそれぞれに対して畳み込み層１４２の処理とプーリング層１４４の処理を実行してから、これらの組合せに対して畳み込み層１４２の処理とプーリング層１４４の処理を実行するので、処理の精度を向上できる。また、検査画像と参照画像のそれぞれに対して畳み込み層１４２の処理とプーリング層１４４の処理を実行してから、これらを組み合わせるので、処理の精度を向上できる。

また、検査画像に対して畳み込み層１４２の処理を実行する際の重み係数と、参照画像に対して畳み込み層１４２の処理を実行する際の重み係数とを共通にするので、処理の精度を向上できる。また、組合せとして、２つの入力を１つに合併するので、処理を簡易にできる。また、組合せとして、２つの入力の差分を導出するので、処理の精度を向上できる。また、組合せとして、差分に、２つの入力の少なくとも１つを合併するので、処理の精度を向上できる。１×１の空間次元を有する教師データに対して、畳み込み層１４２の空間フィルタの学習がなされている畳み込みニューラルネットワークを使用するので、教師データの作成の作業量を低減できる。また教師データの作成の作業量が低減されるので、学習の作業量の増加を抑制できる。また教師データの作成の作業量が低減されるので、教師データの数を多くできる。また、教師データの数が多くなるので、学習の精度を向上できる。

また、複数の参照画像を入力するので、処理の精度を向上できる。また、検査画像と参照画像は、Ｎ次元Ｍチャンネル（Ｎ、Ｍは整数）を有する画像であるので、本実施例の適用範囲を拡大できる。また、検査画像と参照画像とを組み合わせてから、組合せに対して全結合層１４８の処理を実行するので、構成の自由度を向上できる。また、検査画像に対して全結合層１４８の処理を実行するとともに、参照画像に対して全結合層１４８の処理を実行し、検査画像に対する処理結果と参照画像に対する処理結果との組合せに対して全結合層１４８の処理を実行するので、構成の自由度を向上できる。また、検査画像に対して全結合層１４８の処理を実行するとともに、参照画像に対して全結合層１４８の処理を実行し、検査画像に対する処理結果と参照画像に対する処理結果とを組み合わせるので、構成の自由度を向上できる。

本開示の一態様の概要は、次の通りである。本開示のある態様の処理装置（１００）は、検査対象となる検査画像を入力する第１入力部（１１０）と、参照されるべき参照画像を入力する第２入力部（１１２）と、第１入力部（１１０）に入力した検査画像と、第２入力部（１１２）に入力した参照画像とに対してニューラルネットワークの処理を実行する処理部（１１４）と、処理部（１１４）の処理結果として、検査画像に含まれる不良項目の情報を出力する出力部（１１８）と、を備える。

第２入力部（１１２）は、参照画像として、互いに異なった第１参照画像と第２参照画像とを入力し、処理部（１１４）は、第２入力部に入力した参照画像に対するニューラルネットワークの処理として、第１参照画像と第２参照画像とのそれぞれに対してニューラルネットワークの処理を実行してもよい。

第１入力部（１１０）に入力した検査画像と、第２入力部（１１２）に入力した参照画像は、Ｎ次元Ｍチャンネル（Ｎ、Ｍは整数）を有する画像であってもよい。

処理部（１１４）は、（１）検査画像と参照画像とを組み合わせてから、（２）組合せに対して畳み込み層（１４２）の処理とプーリング層（１４４）の処理の少なくとも１つを実行してもよい。

処理部（１１４）は、（１）検査画像に対して畳み込み層（１４２）の処理とプーリング層（１４４）の処理の少なくとも１つを実行するとともに、参照画像に対して畳み込み層（１４２）の処理とプーリング層（１４４）の処理の少なくとも１つを実行し、（２）検査画像に対する処理結果と参照画像に対する処理結果とを組合せ、（３）組合せに対して畳み込み層（１４２）の処理とプーリング層（１４４）の処理の少なくとも１つを実行してもよい。

処理部（１１４）は、（１）検査画像に対して畳み込み層（１４２）の処理とプーリング層（１４４）の処理の少なくとも１つを実行するとともに、参照画像に対して畳み込み層（１４２）の処理とプーリング層（１４４）の処理の少なくとも１つを実行し、（２）検査画像に対する処理結果と参照画像に対する処理結果とを組み合わせる。

処理部（１１４）は、検査画像に対して畳み込み層（１４２）の処理を実行する際の重み係数と、参照画像に対して畳み込み層（１４２）の処理を実行する際の重み係数とを共通にしてもよい。

処理部（１１４）において使用されるニューラルネットワークは、全結合層を除外した畳み込みニューラルネットワークであり、当該畳み込みニューラルネットワークでは、１×１の空間次元を有する処理結果に対して、畳み込み層のフィルタの学習がなされていてもよい。

処理部（１１４）は、（１）検査画像と参照画像とを組み合わせてから、（２）組合せに対して全結合層（１４８）の処理を実行してもよい。

処理部（１１４）は、（１）検査画像に対して全結合層（１４８）の処理を実行するとともに、参照画像に対して全結合層（１４８）の処理を実行し、（２）検査画像に対する処理結果と参照画像に対する処理結果とを組合せ、（３）組合せに対して全結合層（１４８）の処理を実行してもよい。

処理部（１１４）は、（１）検査画像に対して全結合層（１４８）の処理を実行するとともに、参照画像に対して全結合層（１４８）の処理を実行し、（２）検査画像に対する処理結果と参照画像に対する処理結果とを組み合わせる。

処理部（１１４）は、組合せとして、２つの入力を１つに合併してもよい。

処理部（１１４）は、２つの入力を１つの方向に並べることによって合併を実行してもよい。

処理部（１１４）は、組合せとして、２つの入力の差分を導出してもよい。

処理部（１１４）は、組合せとして、差分に、２つの入力の少なくとも１つを合併してもよい。

本開示の別の態様は、処理方法である。この方法は、検査対象となる検査画像を入力するステップと、参照されるべき参照画像を入力するステップと、入力した検査画像と、入力した参照画像とに対してニューラルネットワークの処理を実行するステップと、処理結果として、検査画像に含まれる不良項目の情報を出力するステップと、を備える。

以上、本開示を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

本実施例における処理部１１４の構成は、複数の畳み込み層１４２と複数のプーリング層１４４とが交互に並べんでいる。しかしながらこれに限らず例えば、処理部１１４は、ＧｏｏｇＬｅＮｅｔ系、ＤｅｎｓｅＮｅｔ系等の構成を有していてもよい。本変形例によれば、構成の自由度を向上できる。

本実施例における処理部１１４の構成は、複数の畳み込み層１４２と複数のプーリング層１４４とが交互に並べんでいる。しかしながらこれに限らず例えば、処理部１１４では、畳み込み層１４２のみが含まれて畳み込み処理だけが実行されてもよいし、プーリング層１４４のみが含まれてプーリング処理だけが実行されてもよい。本変形例によれば、構成の自由度を向上できる。

１００ 処理装置、 １１０ 第１入力部、 １１２ 第２入力部、 １１４ 処理部、 １１６ 教師データ入力部、 １１８ 出力部、 １４０ 入力画像、 １４２ 畳み込み層、 １４４ プーリング層、 １４６ 組合せ層、 １４８ 全結合層。

Claims (16)

1. 含まれている不良項目が既知である学習用画像を入力する第１入力部と、
   参照されるべき参照画像を入力する第２入力部と、
   学習用画像に含まれた不良項目を示す教師データを入力する教師データ入力部と、
   前記第１入力部に入力した学習用画像と、前記第２入力部に入力した参照画像との関係が、前記教師データ入力部に入力した教師データとなるように、ニューラルネットワークを学習する処理部と、
   を備えることを特徴とする処理装置。
2. 前記第２入力部は、前記参照画像として、互いに異なった第１参照画像と第２参照画像とを入力し、
   前記処理部は、前記第２入力部に入力した参照画像に対するニューラルネットワークの学習として、第１参照画像と第２参照画像とのそれぞれに対してニューラルネットワークの学習を実行することを特徴とする請求項１に記載の処理装置。
3. 前記第１入力部に入力した検査画像と、前記第２入力部に入力した参照画像は、Ｎ次元Ｍチャンネル（Ｎ、Ｍは整数）を有する画像であることを特徴とする請求項１または２に記載の処理装置。
4. 前記処理部は、（１）学習用画像と参照画像とを組み合わせてから、（２）組合せに対して畳み込み層の処理とプーリング層の処理の少なくとも１つを実行することを特徴とする請求項１から３のいずれか１項に記載の処理装置。
5. 前記処理部は、（１）学習用画像に対して畳み込み層の処理とプーリング層の処理の少なくとも１つを実行するとともに、参照画像に対して畳み込み層の処理とプーリング層の処理の少なくとも１つを実行し、（２）学習用画像に対する処理結果と参照画像に対する処理結果とを組合せ、（３）組合せに対して畳み込み層の処理とプーリング層の処理の少なくとも１つを実行することを特徴とする請求項１から３のいずれか１項に記載の処理装置。
6. 前記処理部は、（１）学習用画像に対して畳み込み層の処理とプーリング層の処理の少なくとも１つを実行するとともに、参照画像に対して畳み込み層の処理とプーリング層の処理の少なくとも１つを実行し、（２）学習用画像に対する処理結果と参照画像に対する処理結果とを組み合わせることを特徴とする請求項１から３のいずれか１項に記載の処理装置。
7. 前記処理部は、学習用画像に対して畳み込み層の処理を実行するための重み係数と、参照画像に対して畳み込み層の処理を実行するための重み係数とを共通にすることを特徴とする請求項５または６に記載の処理装置。
8. 前記処理部において使用されるニューラルネットワークは、全結合層を除外した畳み込みニューラルネットワークであり、
   前記処理部は、当該畳み込みニューラルネットワークにおける１×１の空間次元を有する処理結果に対して、前記畳み込み層のフィルタを学習することを特徴とする請求項１から７のいずれか１項に記載の処理装置。
9. 前記処理部は、（１）学習用画像と参照画像とを組み合わせてから、（２）組合せに対して全結合層の処理を実行することを特徴とする請求項１から３のいずれか１項に記載の処理装置。
10. 前記処理部は、（１）学習用画像に対して全結合層の処理を実行するとともに、参照画像に対して全結合層の処理を実行し、（２）学習用画像に対する処理結果と参照画像に対する処理結果とを組合せ、（３）組合せに対して全結合層の処理を実行することを特徴とする請求項１から３のいずれか１項に記載の処理装置。
11. 前記処理部は、（１）学習用画像に対して全結合層の処理を実行するとともに、参照画像に対して全結合層の処理を実行し、（２）学習用画像に対する処理結果と参照画像に対する処理結果とを組み合わせることを特徴とする請求項１から３のいずれか１項に記載の処理装置。
12. 前記処理部は、組合せとして、２つの入力を１つに合併することを特徴とする請求項４から１１のいずれか１項に記載の処理装置。
13. 前記処理部は、２つの入力を１つの方向に並べることによって合併を実行することを特徴とする請求項１２に記載の処理装置。
14. 前記処理部は、組合せとして、２つの入力の差分を導出することを特徴とする請求項４から１１のいずれか１項に記載の処理装置。
15. 前記処理部は、組合せとして、差分に、２つの入力の少なくとも１つを合併することを特徴とする請求項１４に記載の処理装置。
16. 含まれている不良項目が既知である学習用画像を入力するステップと、
    参照されるべき参照画像を入力するステップと、
    学習用画像に含まれた不良項目を示す教師データを入力するステップと、
    入力した学習用画像と、入力した参照画像との関係が、入力した教師データとなるように、ニューラルネットワークを学習するステップと、
    を備えることを特徴とする処理方法。

Images