JP6788929B1 - 被検物判定用の画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像サイズの小さいＡＩ物品判定器に、撮影画像のままでは処理時間と効率が悪く、逆に単純な画像圧縮では欠陥部が小さくなりすぎて判定不能となる。【解決手段】そこで、該判定器への画像入力の前段階において、撮影画像の入力部と、撮影画像を保管する画像保管部と、撮影画像からサイズを変更した圧縮画像を生成する画像サイズ変更部と、圧縮画像上の被検物の位置情報を取得する位置情報取得部と、該位置情報を撮影画像のサイズに伸張してトリミング用の位置情報を生成するトリミング用情報取得部と、トリミング用の位置情報を撮影画像に適用してトリミング画像を生成するトリミング画像生成部と、該トリミング画像を判定用画像サイズに圧縮して判定用画像を生成する判定用画像生成部と、該判定用画像を次段の前記ＡＩ判定器に出力する画像出力部と、から成ることを特徴としている。【選択図】図１

Description

本発明は、検査対象物の欠陥個所の画像判定装置、特に人工知能（ＡＩ）ネットワークの手法を用いて構築した画像判定器に入力させる判定用画像を生成する画像処理装置に関する。

被検査対象物（以下、「被検物」と言う。）を撮影して得られる画像に基づいて物品の表面に表れる欠陥の有無をニューラルネットワークに基づいた機械学習モデルで判定する検査装置が開示されている。

画像処理の一例として、ニューラルネットワークに基づいて機械学習させる機能を適用した所謂ＡＩ処理装置を用いるものがある。例えば、先行文献として特許文献１及び特許文献２が提案されている。

特許文献１は、予め決められた規格を満たした良品を不良品と誤判定する可能性が低減された検査装置及び検査方法を提供するものであり、被検査物の撮影画像を欠陥を規定するデータとして予め設定された長さや面積等を計測することにより、欠陥があるか否かを判定している。さらにニューラルネットワークに基づいた機械学習モデルを用いて判定を行うものである。

特許文献２は、欠陥の検査の精度を上げるため、検査対象を撮影した画像を複数のブロックに分割して、各ブロック毎に欠陥の有無がＡＩ処理によって検査されるものである。

特許第６６３０９１２号公報 特開２０１７−１６６９２９号公報

被検物の外観に表れた欠陥個所の検査に転移学習のベースとして用いるＡＩネットワークに基づいて構築される判別装置は、その特徴として２００×２００〜４００×４００ｐｉｘ程度の比較的小さな正方形画像を入力画像としている。仮にこのネットワークにもっと画素数の大きな画像や長方形画像を入力すると、その処理に時間がかかり、結果として学習効率が上がらずに良好な判定結果を得ることが困難となる。

そこで、これを回避するため、撮影画像を単純に縮小してＡＩネットワークの入力用の画像サイズに合わせれば、学習は可能になるが、仮に基となる５Ｍｐｉｘで撮影された２，５００×２，０００ｐｉｘの画像中に２×２ｐｉｘ程の欠陥領域が存在したとすると、これをそのままサイズ変更（例えば、縦横１／１０、面積１／１００ に縮小）すると欠陥領域は０．２×０．２ｐｉｘと極小画像となってしまいその判別が困難な画像になってしまう。結果として小さな欠陥領域は、学習効率の悪い検出困難な位置づけとなる課題があった。

そこで、本発明は、撮影画像をニューラルネットワークに基づいた判定器に入力する事前に画像処理を施すことにより、小画像サイズであっても高精度の判定処理を行うことができる被検物判定用の画像処理装置の提供を目的とする。

上記の課題を解決するため本発明に係る被検物判定用の画像処理装置は、以下のように構成している。

すなわち、被検物を撮影した画像を入力させる画像入力部と、該入力させた撮影画像を記憶手段に保管する画像保管部と、前記入力させた撮影画像を判定用画像サイズに圧縮して圧縮画像を生成する画像サイズ変更部と、前記圧縮画像における被検物の位置情報を取得する位置情報取得部と、該位置情報を前記撮影画像のサイズに伸張して生成した画像からトリミング用の位置情報を生成するトリミング用情報取得部と、該トリミング用位置情報を前記記憶手段に保管していた対応する撮影画像に適用してトリミング画像を生成するトリミング画像生成部と、該トリミング画像を前記判定用画像サイズに圧縮して判定用画像を生成する判定用画像生成部と、該判定用画像を次段の前記判定器に出力する画像出力部と、から成ることを特徴としている。

また、上記位置情報取得部における位置座標情報の取得において、ニューラルネットワークに基づいた手段を用いて行うことを特徴としている。

また、本発明は、各構成要素からなる物の発明として捉えられる他、各構成要素が時系列的に機能するため、方法の発明としても捉えることができる。

上記構成により本発明は、高画素数の撮影画像から被検物を検出して不要な余白部分を切り落とすトリミングを行ない、さらにこのトリミング画像を、圧縮して規定のＡＩネットワークの入力サイズに合わせる事で、小さな欠陥も可能な限り非圧縮状態に近い大きさで残すことが可能になり、結果として検出精度の向上につながる効果を奏する。

また請求項２によれば、判定用画像サイズに圧縮した圧縮画像からの被検物の位置情報の取得を、ニューラルネットワークに基づいた手法を用いて行うことにより、精度の高い位置情報の取得を迅速かつ安定的に被検物の座標情報を捉えることができる効果を有し、飛躍的に処理速度を上げることができる。

本発明に係る実施形態の構成を示すフロー図である。 入力画像となる４種の被検物の撮影画像図である。 ４種の被検物の正方形サイズの圧縮画像図である。 ４種の被検物を撮影画像サイズに伸張した伸張画像とトリミング枠を示した図である。 ４種の被検物のトリミング画像図である。 ４種の被検物の判定用画像図である。

以下に、本発明を図面に基づき説明する。
まず、本発明にかかる画像処理装置は、図１に示すように、画像入力部１、画像保管部２、画像サイズ変更部３、位置情報取得部４，トリミング用情報取得部５、トリミング画像生成部６、判定用画像生成部７、及び画像出力部８、から構成される。

本発明に係る実施形態例（以下、「本実施例」という。）では、図示した４種形状の被検物Ａ、Ｂ、Ｃ、Ｄを対象として行った画像処理について説明する。入力画像となる撮影画像Ｐｉのサイズ（以下、「撮影サイズ」と言う。）を縦２，０４８×横２，４４８ｐｉｘとし、ＡＩ判定用画像Ｊｉのサイズ（以下、「判定サイズ」という。）を縦２２４×横２２４ｐｉｘとして、以下に説明する。

［画像入力部］
先ず、本実施例で対象とする被検物Ａ、Ｂ、Ｃ、Ｄを、個別にカメラで撮影し、上記撮影サイズの画像データとして本装置の開始点である画像入力部１に入力させる（ステップ１、以下、ステップｎを「Ｓｎ」と表記。）。そのときの撮影サイズは長方形画像となる。この撮影サイズは、撮影するカメラの仕様次第であり、適宜に設定される。

［画像保管部］
入力させた撮影画像を後の処理に使用するため、一端記憶手段である画像保管部２に保管する（Ｓ２）。この記憶手段は、電子データとして記録可能なデバイスである。

［画像サイズ変更部］
画像サイズ変更部３においては、前記撮影画像Ｐｉを判定用サイズとなるように圧縮画像Ｃｉに変更する（Ｓ３）。該画像変更の手法は、画像圧縮の手法を用いて行っている。この時の圧縮率は、長方形状の撮影画像Ｐｉの撮影サイズ（縦２，０４８×横２，４４８ｐｉｘ）を正方形の圧縮画像Ｃｉのサイズ（縦２２４×横２２４ｐｉｘ）に圧縮するため縦方向の圧縮率０．１０９、及び横方向の圧縮率０．０９２となる。この圧縮処理は、一般的な手法を用いており、圧縮して生成した圧縮画像Ｃｉは復元を予定しないため不可逆性の手法でおこなっている。本実施例では、縦横方向それぞれ８．９ｐｉｘ→１ｐｉｘ／ ６．７ｐｉｘ→１ｐｉｘに各画素の平均を取る形で圧縮している。なお、本実施例における圧縮処理は、これに限定するものではない。また、該圧縮画像Ｃｉは不可逆性であるか、復元情報を付加するようにしても良い。

［位置情報取得部］
次に、位置情報取得部４において、上記圧縮画像Ｃｉから、映り込んでいる被検物Ａ、Ｂ、Ｃ、Ｄのそれぞれの位置情報を取得する（Ｓ４）。本実施例では、この位置情報をＸＹ座標値として取得している。

例えば、図３（Ａ）示すように、被検物Ａの圧縮画像Ｃｉ上のサイズ（２２４×２２４ｐｉｘ）におけるＸＹ座標値として、ａ点（４５，９５）、ｂ点（１８０，１１５）、ｃ点（５８，５５）、ｄ点（１９３，７０）、Ｏ点（原点）として座標値を位置情報として取得する。

本実施例では、この座標値の決定は、ニューラルネットワークに基づいた手段を用いて行っている。すなわち、映り込んだ被検物Ａ、Ｂ、Ｃ、Ｄを、形状を問わない何らかの物体として捉え、各ピクセル情報をニューラルネットワークの入力層に入力し、予め各種多数の形状を学習させて演算した重みを持って中間層（層の構成は適宜となる。）を経て、出力層からの出力を位置情報として取得している。なお、この学習にはこの圧縮画像を用いて、アノテーション（学習データの作成）を行っているが、欠陥箇所の判定学習用のアノテーションは行ってはいない。別言すると、この学習データには、画像中にある対象の被検物の形状だけを示したデータを用い、この多数のデータを入力させて重み付けを演算してニューラルネットワークを構築し、これを用いて被検物の位置をＸＹ座標値として取得している。なお、この段階では、上記学習データには、被検物の欠陥部に関する情報は含めていない。

被検物Ａ、Ｂ、Ｃ、Ｄのカラー・バリエーションの中には黒が含まれているため、撮影時の照明などに特別の工夫を凝らす必要があるなどの前提条件下の撮影画像では、従来型の二値化、多値化、エッジ抽出等の処理を組み合わせても、安定的に被検物の座標情報を捉えることができ難かったが、このニューラルネットワークの手法を用いることにより、精度の高い位置情報の取得を迅速にかつ安定的にできるようになった。

加えて、本発明を構成するものではないが、次段の装置であるニューラルネットワークに基づいた被検物の欠陥有無を判定する判定器に、上記学習内容を変更するだけで援用することが可能となる副次的効果を奏する。

なお、本発明の位置情報の取得においては、上記した二値化処理、多値化処理、各種フィルター処理、エッジ抽出、重心抽出やこれらの組合せ処理による取得を排除するものではない。

［トリミング用情報取得部］
次に、トリミング用情報取得部５において、上記圧縮画像における被検物の位置座標情報を、元の撮影画像Ｐｉの縦横サイズに伸張して画像を生成し（図４参照。）、この伸張画像Ｅｉを基にトリミング用に変換した位置情報を取得する（Ｓ５）。この取得した位置情報が、次のトリミング画像作成のためのトリミング用の位置情報となる。

例えば、図４に示す被検物Ａの伸張画像Ｅｉのサイズ（２，４４８×２，０４８ｐｉｘ）におけるＸＹ座標値が、ｅ点（４９１，８６３）、ｆ点（１，９６７、１０５１）、ｇ点（６３３，５０３）、ｈ点（２，１０９，６６０）となって、変換した位置情報として取得する。本実施例では、例えば、前記縦横圧縮率の逆数を縦横それぞれに掛けて伸張画像Ｅｉを求めている。

［トリミング画像生成部］
トリミング画像生成部６においては、上記トリミング用の位置情報を、上記画像保管部２に保管していた同じサイズの撮影画像Ｐｉに適用して、被検物Ａ、Ｂ、Ｃ、Ｄの周辺部を所定の割合で残し、不要な部分をトリミング（切取り）して矩形状（正方形状又は長方形状）のトリミング画像Ｔｉを生成する（Ｓ６）。

本実施例をした図４に示す撮影画像Ｐｉによれば、一例として、被検物Ａに対応したトリミング枠５０のＸＹ座標値が、ｍ点（２６５，１，１２４）、ｎ点（２，２２１，１１２４）、ｏ点（２６５，２６６）、ｐ点（２，２２１，２６６）；となり、該トリミング枠５０は、縦８５８×横１，９５６ｐｉｘのサイズの長方形状となる。

該トリミング画像Ｔｉは、各別の被検物Ａ、Ｂ、Ｃ、Ｄを一定の余白を残し囲むようにして切り出したため、区々の撮影画像となる。該撮影画像に映り込む被検物Ａ、Ｂ、Ｃ、Ｄの画像の形状は、図示した４種に示すように大きさと形態が区々の多角形であるため、トリミング画像Ｔｉも区々の矩形状となる。

［判定用画像生成部］
最後に、判定用画像生成部７では、該トリミング枠５０で切り出したトリミング画像Ｔｉを前記正方形の判定用画像のサイズ（２２４ｐｉｘの正方形画像）に圧縮して判定用画像Ｊｉを生成する（Ｓ７）。上記したようにトリミング画像Ｔｉは、サイズが区々であるため、縦横の圧縮率がそれぞれ異なったものとなる。

図６に表したように、各被検物Ａ、Ｂ、Ｃ、Ｄ毎の伸張画像Ｊｉにおける縦横方向の圧縮率は、次のようになる。

（Ａ）被検物Ａについて
・縦方向圧縮率：２２４／ ８５８＝０．２６
・横方向圧縮率：２２４／１，９５６＝０．１１

（Ｂ）被検物Ｂについて
・縦方向圧縮率：２２４／ ８４７＝０．２６
・横方向圧縮率：２２４／１，０２９＝０．２２

（Ｃ）被検物Ｃについて
・縦方向圧縮率：２２４／ ８０３＝０．２８
・横方向圧縮率：２２４／１，８５３＝０．１２

（Ｄ）被検物Ｄについて
・縦方向圧縮率：２２４／ ８０７＝０．２８
・横方向圧縮率：２２４／１，２２７＝０．１８

［画像出力部］
以上の各部で処理を経て作成された判定用の画像データを画像出力部８から出力する。該出力データは、次段のニューラルネットワークに基づいた被検物の欠陥有無を判定する判定器に移行する。

以上の実施例により、概略的ではあるが、図示したような略長方形（又は平行四辺形）の被検物の横幅を約３５ｍｍとして、これを撮影サイズ内で約２，１００ｐｉｘの画素として捉えると、３５ｍｍ÷２，１００＝０．０１７ｍｍ／ｐｉｘとなる。これに対し検出したい欠陥の最小サイズを０．１０ｍｍと仮定すると、０．１０÷０．０１７＝５．８８ｐｉｘの大きさとなる。

これを図６（Ａ）に示す被検物Ａの実施例に適用すると、横方向の圧縮率０．１１を適用して演算すると５．８８ｐｉｘ×０．１１＝０．６４７ｐｉｘとなり欠陥個所はほぼ見えなくなるが、縦方向の圧縮率０．２６を適用すると、５．８８ｐｉｘ×０．２６＝１．５３ｐｉｘとなり欠陥画像が残存する事になり、検出可能な大きさとなって、実使用上は有用となる。

１ 画像入力部
２ 画像保管部
３ 画像サイズ変更部
４ 位置情報取得部
５ トリミング用情報取得部
５０ トリミングミンク枠
６ トリミング画像生成部
７ 判定用画像生成部
８ 画像出力部
Ａ，Ｂ，Ｃ，Ｄ 被検物
Ｐｉ 撮影画像
Ｊｉ 判定用画像
Ｅｉ 伸張画像
Ｔｉ トリミング画像

Claims (4)

1. 被検物の良否判定をニューラルネットワークに基づいた判定器で行うための判定用画像を生成する画像処理装置であって、
   被検物を撮影した画像を入力させる画像入力部と、
   該入力させた撮影画像を記憶手段に保管する画像保管部と、
   前記入力させた撮影画像を判定用画像サイズに圧縮して圧縮画像を生成する画像サイズ変更部と、
   該圧縮画像における被検物の位置情報を取得する位置情報取得部と、
   該位置情報を前記撮影画像のサイズに伸張して生成した画像からトリミング用位置情報を生成するトリミング用情報取得部と
   該トリミング用位置情報を前記画像保管部に保管していた対応する撮影画像に適用してトリミング画像を生成するトリミング画像生成部と、
   該トリミング画像を前記判定用画像サイズに圧縮して判定用画像を生成する判定用画像生成部と、
   該判定用画像を次段の前記判定器に出力する画像出力部と、
   から成ることを特徴とした被検物判定用の画像処理装置。
2. 前記位置情報取得部における位置座標情報の取得が、
   ニューラルネットワークに基づいた手段を用いて行うことを特徴とした請求項1記載の被検物判定用の画像処理装置。
3. 被検物の良否判定をニューラルネットワークに基づいた判定器で行うための判定用画像を生成する画像処理方法であって、
   被検物を撮影した画像を入力させる画像入力ステップと、
   該入力させた撮影画像を記憶手段に保管する画像保管ステップと、
   前記入力させた撮影画像を判定用画像サイズに圧縮して圧縮画像を生成する画像サイズ変更ステップと、
   前記圧縮画像における被検物の位置情報を取得する位置情報取得ステップと、
   該位置情報を前記撮影画像のサイズに伸張して生成した画像からトリミング用位置情報を生成するトリミング用情報取得ステップと
   該トリミング用位置情報を前記記憶手段に保管していた対応する撮影画像に適用してトリミング画像を生成するトリミング画像生成ステップと、
   該トリミング画像を前記判定用画像サイズに圧縮して判定用画像を生成する判定用画像生成ステップと、
   該判定用画像を次段の前記判定器に出力する画像出力ステップと、
   から成ることを特徴とした被検物判定用の画像処理方法。
4. 前記位置情報取得ステップにおける位置座標情報の取得が、
   ニューラルネットワークに基づいた手段を用いて行うことを特徴とした請求項３記載の被検物判定用の画像処理方法。