JP6544191B2 - 画像作成装置 - Google Patents

Description

本発明は、画像認識を用いた検査において検査対象画像と比較される基準画像を作成する装置に関する。

従来、特許文献１には、映像再生装置の画像判定を行うための基準画像や、テスト対象装置のログ出力の期待値を予め準備することなく、映像再生装置を正確に自動検証する自動検証システムが記載されている。

この従来技術では、モデルシミュレータ、基準保存部、結果保存部、画像比較部および連写判定制御部を備えている。基準保存部は、モデルシミュレータの出力画像を連続してキャプチャし、基準画像として保存する。結果保存部は、映像再生装置の出力画像を連続してキャプチャし、比較対象画像として保存する。画像比較部は、基準画像と比較対象画像とを比較する。連写判定制御部は、画像比較部に対して、基準画像の読込と比較対象画像の読込とを指示する。

これによると、テスト基準となる画像をモデルシミュレータの画像出力により判定できるため、テストケース作成工数の削減に有用である。

特開２０１１−２２８８１０号公報

一般的に、部品や製品等のワークの外観や形状等を画像認識によって検査する検査装置においては、ワークを撮影した検査対象画像を、予め作成された基準画像と比較することによって、ワークの良否を判定する。

この種の検査装置における基準画像としては、ワークの良品を撮影した画像が用いられている。そのため、ワークの仕様が変更されたり、検査対象画像の撮影環境が変化したりすると、検査装置の検査結果に誤りが生じることがある。

すなわち、ワークの仕様が変更されたり、検査対象画像の撮影環境が変化したりすると、仕様の変更や撮影環境の変化に対応して基準画像も変更しないとワークが良品であっても不良品と誤判定されてしまうことが起こり得る。

また、当初想定外であったワーク不良が発生した場合、既存の基準画像では不良と判定することができず、良品であると誤判定してしまうことが起こり得る。

これらの誤判定の対策として、誤判定が発生した都度、基準画像を修正・追加する作業が必要となるので、メンテナンスが煩雑になってしまうという問題がある。

本発明は上記点に鑑みて、画像検査に用いられる基準画像の作成を容易化することを目的とする。

上記目的を達成するため、請求項１に記載の発明では、
検査対象物（１）を含む検査対象画像（３０、４０、４１）に対して画像認識を行うことによって検査対象物（１）の良否を判定する検査装置（１０）にて検査対象画像（３０、４０、４１）と比較される基準画像を作成する画像作成装置であって、
検査装置（１０）の誤判定を招く要因である誤判定要因が複数種類記憶された誤判定要因記憶部（２０１）と、
検査装置（１０）によって誤判定された検査対象画像（３０、４０、４１）が、誤判定要因記憶部（２０１）によって記憶された複数種類の誤判定要因のうちいずれの誤判定要因を有しているか判定する誤判定要因判定部（Ｓ１１０）と、
誤判定要因判定部（Ｓ１１０）で処理された検査対象画像（３０、４０、４１）を、誤判定要因判定部（Ｓ１１０）で判定された誤判定要因に関して修正することによって、基準画像を新たに作成する基準画像作成部（Ｓ１２０〜Ｓ１９０）とを備え、
基準画像作成部（Ｓ１２０〜Ｓ１９０）は、誤判定要因判定部（Ｓ１１０）で処理された検査対象画像（３０、４０、４１）を、誤判定要因に対するマージンを付加することによって、基準画像を新たに作成し、
マージンは、誤判定要因記憶部（２０１）に予め記憶されていることを特徴とする。

これによると、検査対象画像（３０、４０、４１）の誤判定要因を反映して基準画像を自動的に作成するので、基準画像の作成を容易化できる。

なお、この欄および特許請求の範囲で記載した各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

一実施形態における検査システムの全体構成を示す図である。 一実施形態における端末装置が実行する処理を示すフローチャートである。検査システムの全体構成を示す図である。 一実施形態における検査対象画像の例を示す図である。 一実施形態の第１実施例におけるワークの仕様変更の例を示す図である。 一実施形態の第２実施例における検査対象画像の例を示す図である。

以下、実施形態について図に基づいて説明する。本実施形態の検査システムは、図１に示すように、検査装置１０と端末装置２０とを備えている。

検査装置１０は、検査対象物であるワーク１を検査する検査工程で用いられている。検査装置１０は、ワーク１の表面に刻印された型番等の文字（アルファベット文字や数字等）を認識することによって、刻印の良否を判定する。

ワーク１は、図示しない搬送装置によって所定のサイクルタイム毎に１つずつ検査工程に搬送される。検査装置１０での検査が終了したワーク１は、図示しない搬送装置によって次工程に搬送される。

検査装置１０は、撮像部１１と処理部１２とを備えている。撮像部１１は、ワーク１を撮影して検査対象画像を取得するデジタルカメラを有している。撮像部１１は、取得した検査対象画像を処理部１２へ送信する。撮像部１１は、ワーク１を照明する照明光源を有していてもよい。

処理部１２は、撮像部１１が取得した検査対象画像に基づいてワーク１表面に刻印された文字を認識するとともに種々の制御を行う。処理部１２は、パーソナルコンピュータ１２１およびその周辺機器で構成されている。

パーソナルコンピュータ１２１は、中央演算装置（ＣＰＵ）と、その周辺回路などで構成されており、中央演算装置に読み込まれたプログラムにしたがって動作し、撮像部１１を制御する。

パーソナルコンピュータ１２１は、記憶部および通信部を有している。記憶部は、ランダムアクセスメモリ（ＲＡＭ）やリードオンリメモリ（ＲＯＭ）といった半導体メモリ、磁気ディスク、光ディスクなどの記憶媒体、および記憶媒体へのアクセス装置などを有しており、パーソナルコンピュータ１２１のＣＰＵが実行するプログラムや種々のデータを記憶する。

記憶部が記憶するデータとしては、例えばログデータおよび検査パラメータなどがある。ログデータは、パーソナルコンピュータ１２１が過去に実行した処理の履歴に関連するデータであり、パーソナルコンピュータ１２１によって自動的に記憶部に記録される。ログデータには、撮像部１１が撮影した検査対象画像が含まれている。検査パラメータは、画像認識を行う際に用いられるデータである。検査パラメータとしては、検査対象画像に対する検出エリア（サーチ範囲）、閾値、パターンマッチングの基準画像、計算モード情報等がある。

パーソナルコンピュータ１２１は、例えばパターンマッチングにより画像認識を行って、ワーク１の良否判定を行う。具体的には、パーソナルコンピュータ１２１は、検査対象画像を基準画像と比較してパターンマッチングを行うことによって、検査対象画像に含まれるワーク１の形状・位置等を認識する。

パーソナルコンピュータ１２１は、パターンマッチングによる文字認識結果を、ディスプレイに表示してユーザに報知したり、他の機器へ出力したりする。

パーソナルコンピュータ１２１の通信部は、パーソナルコンピュータ１２１と端末装置２０との間で制御信号およびデータ信号等を送受信する通信インタフェースであり、Ｉ／Ｏポートおよびドライバ等を有している。パーソナルコンピュータ１２１と端末装置２０との間の情報通信は、例えば有線または無線のＬＡＮ（Local Area Network）を用いて行われる。

パーソナルコンピュータ１２１は、ログデータおよび検査パラメータを端末装置２０に送信する。

端末装置２０は、基準画像を作成する画像作成装置である。端末装置２０は、検査装置１０のパーソナルコンピュータ１２１とは別個のパーソナルコンピュータやタブレット端末等である。端末装置２０は、中央演算装置（ＣＰＵ）と、その周辺回路などで構成されており、中央演算装置に読み込まれたプログラムにしたがって動作する。

端末装置２０は、記憶部２０１および通信部を有している。記憶部２０１は、ランダムアクセスメモリ（ＲＡＭ）やリードオンリメモリ（ＲＯＭ）といった半導体メモリ、磁気ディスク、光ディスクなどの記憶媒体、および記憶媒体へのアクセス装置などを有しており、端末装置２０のＣＰＵが実行するプログラムや種々のデータを記憶する。

端末装置２０の記憶部２０１が記憶するデータとしては、例えば、パーソナルコンピュータ１２１から送信されたログデータおよび検査パラメータなどがある。

端末装置２０の通信部は、パーソナルコンピュータ１２１と端末装置２０との間で制御信号、画像データおよびデータ信号を送受信する通信インタフェースであり、Ｉ／Ｏポートおよびそのドライバで構成される。

端末装置２０の通信部は、パーソナルコンピュータ１２１からログデータおよび検査パラメータを受信する。端末装置２０は、パーソナルコンピュータ１２１から受信したログデータに基づいて、パーソナルコンピュータ１２１から受信した検査パラメータの改善を行う。端末装置２０の通信部は、端末装置２０で改善された検査パラメータをパーソナルコンピュータ１２１へ送信する。

次に、端末装置２０が実行する処理を説明する。端末装置２０は、図２のフローチャートに示す処理を実行する。まずステップＳ１００では、パーソナルコンピュータ１２１から誤判定画像を受信する。

誤判定画像とは、検査装置１０の撮像部１１が取得した検査対象画像のうち、検査装置１０が誤った検査結果を出した画像のことである。例えば、実際にはワーク１が良品であるにもかかわらずワーク１が不良品であると検査装置１０が誤判定した検査対象画像である。例えば、実際にはワーク１が不良品であるにもかかわらずワーク１が良品であると検査装置１０が誤判定した検査対象画像である。

続くステップＳ１１０では、誤判定画像から誤判定要因を抽出する。誤判定要因は、検査装置１０の誤判定を招く要因である。記憶部２０１には、誤判定要因の候補が予め記憶されている。

すなわち、ステップＳ１１０では、検査対象画像が有している誤判定要因が、記憶部２０１に記憶された複数種類の誤判定要因のいずれに該当するか判定する。図２の例では、記憶部２０１には、照度、フォント、位置および角度の４種類の誤判定要因候補が予め記憶されている。

この判定は、誤判定画像の特徴量を計算することによって行われる。例えば、誤判定画像の照度が低すぎた場合、誤判定要因が照度であると判定する。例えば、誤判定画像中のワーク１に刻印された文字のフォントが小さすぎたり、誤判定画像中のワーク１に刻印された文字の太さが細すぎたりした場合、誤判定要因がフォントであると判定する。例えば、誤判定画像中のワーク１の重心位置がずれすぎていた場合、誤判定要因が位置であると判定する。例えば、誤判定画像中のワーク１の傾きが大きすぎた場合、誤判定要因が角度であると判定する。

続くステップＳ１２０〜Ｓ１９０では、誤判定画像と、ステップＳ１１０で抽出した誤判定要因とに基づいて、新たな基準画像を作成する。具体的には、ステップＳ１２０〜Ｓ１９０では、誤判定画像を、ステップＳ１１０で抽出した誤判定要因に関して修正することによって、基準画像を新たに作成する。

図２の例では、誤判定画像に、誤判定要因に対するマージンを付加することによって、基準画像を新たに作成する。

例えば、ステップＳ１２０において誤判定要因が照度であると判定された場合、ステップＳ１３０へ進み、照度マージンを付加することによって、基準画像を新たに作成する。付加する照度マージンは、予め記憶部２０１に記憶されている。例えば、±２０％の照度マージンが記憶部２０１に記憶されている場合、新たな基準画像として、照度を２０％増減した模擬画像を生成する。

例えば、ステップＳ１４０において誤判定要因がフォントであると判定された場合、ステップＳ１５０へ進み、フォントマージンを付加することによって、基準画像を新たに作成する。付加するフォントマージンは、予め記憶部２０１に記憶されている。例えば、±１ランクのフォントマージンが記憶部２０１に記憶されている場合、新たな基準画像として、フォントを１ランク拡大・縮小した模擬画像を生成する。

例えば、ステップＳ１６０において誤判定要因が位置であると判定された場合、ステップＳ１７０へ進み、位置マージンを付加することによって、基準画像を新たに作成する。付加する位置マージンは、予め記憶部２０１に記憶されている。例えば、±１０μｍの位置マージンが記憶部２０１に記憶されている場合、新たな基準画像として、ワーク１の位置を上下左右方向に１０μｍずらした模擬画像を生成する。

例えば、ステップＳ１８０において誤判定要因が角度であると判定された場合、ステップＳ１９０へ進み、角度マージンを付加することによって、基準画像を新たに作成する。付加する角度マージンは、予め記憶部２０１に記憶されている。例えば、±５度の角度マージンが記憶部２０１に記憶されている場合、新たな基準画像として、ワーク１の角度を時計方向・反時計方向に５度回転させた模擬画像を生成する。

そして、新たに作成した基準画像を検査装置１０に送信する。検査装置１０は、既存の基準画像を検査対象画像と比較するとともに、新たな基準画像も検査対象画像と比較して検査を行う。これにより、検査精度を向上できる。

本実施形態の第１実施例を図３、図４に基づいて説明する。本実施例では、検査装置１０は、ワーク１上の刻印文字の良否を検査する。具体的には、検査装置１０は、図３に示す検査対象画像３０のうち検査領域３１内に対して文字認識を行い、認識した文字の良否を判定する。

例えば、検査対象画像３０を撮影する際に照明の明るさが変動して暗くなった場合、検査対象画像３０の照度が低くなってしまう。検査対象画像３０の照度が基準画像（図示せず）の照度よりも顕著に低い場合、ワーク１上の刻印文字が正しくても、文字認識に失敗して不良の検査結果を出してしまう。すなわち、過剰な不良判定をしてしまう。

そこで、端末装置２０が図２のフローチャートに示す処理を実行して新たな基準画像を作成することによって、検査装置１０の過剰な不良判定を防止する。

具体的には、ステップＳ１００では、誤判定画像として、照度の低い検査対象画像３０を検査装置１０から受信する。続くステップＳ１１０では、検査対象画像３０の誤判定要因が照度であると判定してステップＳ１３０へ進む。

ステップＳ１３０では、検査対象画像３０に対して照度を２０％増加させた模擬画像（図示せず）と、検査対象画像３０に対して照度を２０％減少させた模擬画像（図示せず）とを、新たな基準画像として作成する。

そして、新たに作成した基準画像を検査装置１０に送信する。検査装置１０は、新たな基準画像を検査対象画像と比較して検査を行う。例えば、検査装置１０は、検査対象画像と新たな基準画像との一致度が高い場合、良判定の検査結果を出す。これにより、照度不足を要因とする過剰な不良判定を防止できる。

図４（ａ）、（ｂ）は、本実施形態の第１実施例において、ワーク１の仕様変更によって刻印文字のフォントが変更された場合の例を示している。図４（ａ）は、仕様変更前の刻印文字を示しており、図４（ｂ）は、仕様変更後の刻印文字を示している。図４（ｂ）に示す仕様変更後の刻印文字は、図４（ａ）に示す仕様変更前の刻印文字よりもフォントサイズが小さく、線の太さが細くなっている。

図４（ａ）、（ｂ）に示す例のように、ワーク１の仕様変更によって刻印文字のフォントが変更された場合、ワーク１上の刻印文字が正しくても、正しい刻印文字であると認識することができず不良の検査結果を出してしまう。すなわち、過剰な不良判定をしてしまう。

そこで、端末装置２０が図２のフローチャートに示す処理を実行して新たな基準画像を作成することによって、検査装置１０の過剰な不良判定を防止する。

ステップＳ１００では、誤判定画像として、仕様変更後の検査対象画像３０を検査装置１０から受信する。続くステップＳ１４０では、検査対象画像３０の誤判定要因がフォントであると判定してステップＳ１５０へ進む。

ステップＳ１５０では、検査対象画像３０に対してフォントサイズを１ランク拡大させた模擬画像（図示せず）と、検査対象画像３０に対してフォントサイズを１ランク縮小させた模擬画像（図示せず）とを、新たな基準画像として作成する。

さらに、ステップＳ１５０では、検査対象画像３０に対して文字の線の太さを１ランク太くさせた模擬画像（図示せず）と、検査対象画像３０に対して文字の線の太さを１ランク細くさせた模擬画像（図示せず）とを、新たな基準画像として作成する。

そして、新たに作成した基準画像を検査装置１０に送信する。検査装置１０は、新たな基準画像を検査対象画像と比較して検査を行う。例えば、検査装置１０は、検査対象画像と新たな基準画像との一致度が高い場合、良判定の検査結果を出す。これにより、フォントの変更を要因とする過剰な不良判定を防止できる。

本実施形態の第２実施例を図５、図６に基づいて説明する。本実施例では、検査装置１０は、検査対象画像４０を基準画像（図示せず）と比較して画像認識を行うことによって、ワーク１の位置の良否を検査する。図５（ａ）、（ｂ）は、本実施例における検査対象画像４０の例を示している。

図５（ａ）は、ワーク１が正しい位置にある場合の検査対象画像４０の例を示している。例えば、ワーク１の位置が当初の想定範囲を超えてずれている場合、それに対応する基準画像がないために検査装置１０が良品であると誤判定してしまう場合がある。図５（ｂ）は、検査装置１０が良品であると誤判定した検査対象画像４１の例を示している。

そこで、端末装置２０が図２のフローチャートに示す処理を実行して新たな基準画像を作成することによって、検査装置１０の誤判定を防止する。

ステップＳ１００では、誤判定画像として、図５（ｂ）に示す検査対象画像４１を検査装置１０から受信する。続くステップＳ１６０、Ｓ１８０では、検査対象画像４１の誤判定要因が位置および角度であると判定してステップＳ１７０、Ｓ１９０へ進む。

ステップＳ１７０では、検査対象画像４１に対してワーク１の位置を上方に１０μｍずらした模擬画像（図示せず）と、検査対象画像４１に対してワーク１の位置を下方に１０μｍずらした模擬画像（図示せず）と、検査対象画像４１に対してワーク１の位置を左方に１０μｍずらした模擬画像（図示せず）と、検査対象画像４１に対してワーク１の位置を右方に１０μｍずらした模擬画像（図示せず）とを、新たな基準画像として作成する。

ステップＳ１９０では、検査対象画像４１に対してワーク１を時計方向に５度回転させた模擬画像（図示せず）と、検査対象画像４１に対してワーク１を反時計方向に５度回転させた模擬画像（図示せず）とを、新たな基準画像として作成する。

ステップＳ１７０、Ｓ１９０では、検査対象画像４１に対してワーク１の位置を上下左右のいずれかに１０μｍずらすとともにワーク１を時計方向または反時計方向に５度回転させた模擬画像を、新たな基準画像として作成してもよい。

そして、新たに作成した基準画像を検査装置１０に送信する。検査装置１０は、新たな基準画像を検査対象画像と比較して検査を行う。例えば、検査装置１０は、検査対象画像と新たな基準画像との一致度が高い場合、不良判定の検査結果を出す。これにより、検査装置１０の誤判定を防止できる。

本実施形態における端末装置２０の記憶部２０１は、複数種類の誤判定要因が記憶された誤判定要因記憶部である。

本実施形態におけるステップＳ１１０は、検査装置１０によって誤判定された検査対象画像３０、４０、４１が、記憶部２０１によって記憶された複数種類の誤判定要因のうちいずれの誤判定要因を有しているか判定する誤判定要因判定部である。

本実施形態のステップＳ１２０〜Ｓ１９０は、ステップＳ１１０で処理された検査対象画像３０、４０、４１を、ステップＳ１１０で判定された誤判定要因に関して修正することによって、基準画像を新たに作成する基準画像作成部である。

これによると、検査対象画像３０、４０、４１の誤判定要因を反映して基準画像を自動的に作成するので、基準画像の作成を容易化できる。

本実施形態におけるステップＳ１２０〜Ｓ１９０では、ステップＳ１１０で処理された検査対象画像３０、４０、４１を、誤判定要因に対するマージンを付加することによって、基準画像を新たに作成する。

これによると、誤判定要因に対応した適切な基準画像を作成できるので、検査装置における検査精度の向上に資することができる。

本実施形態では、端末装置２０の記憶部２０１で記憶された複数種類の誤判定要因は、検査対象画像の照度、検査対象画像中の文字の大きさ、検査対象画像中の文字の太さ、ワーク１の位置、およびワーク１の角度のうち少なくとも２つである。

これにより、ワーク１の仕様変更や検査対象画像の撮影環境の変化や想定外の不良に対応して、適切な基準画像を新たに作成できるので、検査装置１０における検査精度を向上できる。

（他の実施形態）
上記実施形態を適宜組み合わせ可能である。上記実施形態を例えば以下のように種々変形可能である。

（１）上記実施形態では、記憶部２０１には、照度、フォント、位置および角度の４種類の誤判定要因候補が予め記憶されているが、例えば検査対象画像中のノイズ等、他の種々の誤判定要因候補が記憶部２０１に記憶されていてもよい。

また、記憶部２０１には、少なくとも２種類の誤判定要因候補が記憶されていればよい。

（２）上記実施形態では、検査装置１０と端末装置２０との間における誤判定画像の授受を通信によって行うが、誤判定画像が記憶された可搬記憶媒体を用いて誤判定画像の授受を行ってもよい。

（３）上記実施形態では、端末装置２０は、パーソナルコンピュータやタブレット端末等であるが、これに限定されることなく、端末装置２０は他の種々の処理装置であってもよい。

（４）上記実施形態では、検査装置１０の処理部１２は、パーソナルコンピュータ１２１およびその周辺機器で構成されているが、これに限定されることなく、検査装置１０の処理部１２は他の種々の処理装置であってもよい。

３０、４０、４１ 誤判定画像（検査対象画像）
２０１ 誤判定要因記憶部
Ｓ１１０ 誤判定要因判定部
Ｓ１２０〜Ｓ１９０ 基準画像作成部

Claims (2)

1. 検査対象物（１）を含む検査対象画像（３０、４０、４１）に対して画像認識を行うことによって前記検査対象物（１）の良否を判定する検査装置（１０）にて前記検査対象画像（３０、４０、４１）と比較される基準画像を作成する画像作成装置であって、
   前記検査装置（１０）の誤判定を招く要因である誤判定要因が複数種類記憶された誤判定要因記憶部（２０１）と、
   前記検査装置（１０）によって誤判定された前記検査対象画像（３０、４０、４１）が、前記誤判定要因記憶部（２０１）によって記憶された前記複数種類の誤判定要因のうちいずれの誤判定要因を有しているか判定する誤判定要因判定部（Ｓ１１０）と、
   前記誤判定要因判定部（Ｓ１１０）で処理された前記検査対象画像（３０、４０、４１）を、前記誤判定要因判定部（Ｓ１１０）で判定された前記誤判定要因に関して修正することによって、前記基準画像を新たに作成する基準画像作成部（Ｓ１２０〜Ｓ１９０）とを備え、
   前記基準画像作成部（Ｓ１２０〜Ｓ１９０）は、前記誤判定要因判定部（Ｓ１１０）で処理された前記検査対象画像（３０、４０、４１）を、前記誤判定要因に対するマージンを付加することによって、前記基準画像を新たに作成し、
   前記マージンは、前記誤判定要因記憶部（２０１）に予め記憶されていることを特徴とする画像作成装置。
2. 前記誤判定要因記憶部（２０１）で記憶された前記複数種類の誤判定要因は、前記検査対象画像（３０、４０、４１）の照度、前記検査対象画像（３０、４０、４１）中の文字の大きさ、前記文字の太さ、前記検査対象物（１）の位置、および前記検査対象物（１）の角度のうち少なくとも２つであることを特徴とする請求項１に記載の画像作成装置。

Images