JP6708695B2

JP6708695B2 - 検査装置

Info

Publication number: JP6708695B2
Application number: JP2018081717A
Authority: JP
Inventors: 悠介太田; 象太滝澤
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 2018-04-20
Filing date: 2018-04-20
Publication date: 2020-06-10
Anticipated expiration: 2038-04-20
Also published as: CN110388879A; US11282229B2; DE102019109879A1; US20190325606A1; DE102019109879B4; JP2019190911A

Description

本発明は、検査装置に関し、特に人手によらない自動的な外観検査結果の妥当性確認機能を有する検査装置に関する。

検査対象（加工後のワーク等）の外観検査工程においては、従来、人の目視による検査が行われていた。近年では、カメラで検査対象の画像を撮像し、当該画像を処理することで検査を行うことが広く行われている。

最近では機械学習、例えば深層学習が外観検査に用いられるようになってきている。機械学習を使用することで、キズや凹みの判定など人が判定基準を細かく数値で規定できないような検査を的確に行うことができる。

特許文献１には、欠陥種別毎に光学条件を変え、複数の検出部によりそれぞれ異なる散乱光を検出し、検出した光を学習データに照らして異常検知することが記載されている。その際、複数の識別器の結果をＯＲや多数決で統合判定しうることも開示されている。

特許文献２には、複数の検出器がそれぞれ異なる角度で散乱光を検出し、学習で獲得しておいた分類器に照らして、１箇所でもしきい値を超えた検出器があれば欠陥判定することが記載されている。

特開２０１１−００７５５３号公報特開２００９−１０３５０８号公報

ところで、機械学習を用いた検査結果が正しいかどうかについては、現在は人手でチェックを行う必要がある。例えば機械学習による検査結果と、従来の人の目視による検査結果とを照合し、機械学習による検査結果をチェックしていた。機械学習による検査結果は撮影条件等によって左右されることがある。よって、試行錯誤により何度も撮影条件等を変えながら、機械学習による検査結果の信頼性を人手で評価する必要があった。

本発明はこのような課題を解決するためのものであり、人手によらない自動的な外観検査結果の妥当性確認機能を有する検査装置を提供することを目的とする。

本発明の一実施形態にかかる検査装置は、１つの検査対象を撮像して得られた複数の画像を使用して該検査対象に係る外観検査を行う検査装置であって、予め定義された前記画像と検査結果との関係を予め定めた学習モデルに基づいて、複数の前記画像それぞれにかかる検査結果を推定し、複数の前記画像にかかる前記検査結果それぞれの信頼度に基づいて、総合的な検査結果を算出する総合判定部を有することを特徴とする。
本発明の一実施形態にかかる検査装置は、前記総合判定部は、前記総合的な検査結果の信頼度が一定の条件を満たしていない場合、前記画像を再撮像する指令を出力し、再撮像された前記画像を使用して再度前記総合的な検査結果を算出することを特徴とする。
本発明の一実施形態にかかる検査装置は、前記総合判定部は、前記総合的な検査結果の信頼度が一定の条件を満たしていない場合、前記画像を再撮像する指令を出力し、再撮像された前記画像と、前回までに撮像された前記画像と、を使用して再度前記総合的な検査結果を算出することを特徴とする。
本発明の一実施形態にかかる検査装置は、前記画像の撮像条件を決定する撮像条件決定部をさらに有し、前記撮像条件決定部は、前記再撮像時の撮像条件を、前回の撮像時の撮像条件から変更することを特徴とする。
本発明の一実施形態にかかる検査装置は、前記撮像条件決定部は、前記検査結果の信頼度が一定の条件を満たしていない検査部位について、前記再撮像時の撮像枚数を、前回の撮像時の撮像枚数から増加させることを特徴とする。
本発明の一実施形態にかかる検査装置は、前記撮像条件決定部は、前記検査結果が不良であった検査部位について、前記再撮像時の撮像枚数を、前回の撮像時の撮像枚数から増加させることを特徴とする。
本発明の一実施形態にかかる検査装置は、複数の前記学習モデルを有し、複数の前記画像により異なる前記学習モデルを使用して前記検査結果を推定することを特徴とする。
本発明の一実施形態にかかる検査装置は、複数の前記学習モデルを有し、前記再撮像時の前記画像について、前回の撮像時の前記画像とは異なる前記学習モデルを使用して前記検査結果を推定することを特徴とする。

本発明により、人手によらない自動的な外観検査結果の妥当性確認機能を有する検査装置を提供することができる。

検査装置１のハードウェア構成を示す図である。検査装置１の機能構成の一態様を示す図である。検査装置１の機能構成の一態様を示す図である。検査装置１の機能構成の一態様を示す図である。

図１は、本発明の一実施形態による検査装置１の要部を示す概略的なハードウェア構成図である。検査装置１は、例えば加工済みワークの外観検査を行う装置である。検査装置１は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、不揮発性メモリ１４、インタフェース１８、インタフェース１９、バス１０、入出力装置６０、撮像装置７０を有する。

ＣＰＵ１１は、検査装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、ＲＯＭ１２に格納されたシステム・プログラムをバス１０を介して読み出し、システム・プログラムに従って検査装置１全体を制御する。

ＲＯＭ１２は、機械の各種制御等を実行するためのシステム・プログラムを予め格納している。

ＲＡＭ１３は、計算データや入出力データ等を一時的に格納する。

不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされており、検査装置１の電源が遮断されても記憶状態を保持する。不揮発性メモリ１４は、入出力装置６０から入力されるデータや、インタフェース１９を介して撮像装置７０から入力された画像データ等を格納する。不揮発性メモリ１４に記憶されたプログラムやデータは、実行時及び利用時にはＲＡＭ１３に展開されても良い。

入出力装置６０は、ディスプレイやキーボード等を含むデータ入出力装置である。入出力装置６０は、インタフェース１８を介してＣＰＵ１１から受けた情報をディスプレイに表示する。入出力装置６０は、キーボード等から入力された指令やデータ等をインタフェース１８を介してＣＰＵ１１に渡す。

撮像装置７０は、検査対象の外観を撮像して画像データを生成する装置である。撮像装置７０は、例えば検査対象に対し光を照射する光源、検査対象を所定の撮像条件で撮像するカメラ、カメラによる撮像結果を画像データとして出力する出力部等を含む。撮像装置７０は、複数の光源及びカメラを有していてもよい。撮像装置７０は、インタフェース１９を介してＣＰＵ１１から受けた指令に応じて撮像を行う。撮像装置７０は、画像データをインタフェース１９を介してＣＰＵ１１に渡す。

図２は、第１の実施形態における検査装置１の概略的な機能ブロック図である。検査装置１は、撮像条件決定部１０１、撮像部１０２、判定部１０３を有する。撮像条件決定部１０１、撮像部１０２、判定部１０３の各種機能は、例えばＣＰＵ１１の一機能として実現されても良く、例えばＲＯＭ１２、ＲＡＭ１３、不揮発性メモリ１４に格納されたプログラムをＣＰＵ１１が実行することにより実現されても良い。

撮像条件決定部１０１は、検査対象の外観の撮像条件を決定する。撮像条件は、例えば検査対象に対する光源又はカメラの角度、カメラと光源との位置関係、光源の種類（色温度や明るさ等）、カメラの画素数、光学フィルタ又はソフトウェアによるフィルタ処理を使用する場合はその種類、露光時間、ダイナミックレンジ、撮像に使用するカメラの台数、撮像枚数、検査対象のどの部位を撮像するか等を含む。

撮像部１０２は、撮像条件決定部１０１が決定した撮像条件に従って検査対象の外観を撮像し、１以上の画像データを生成、出力する。

判定部１０３は、学習部１０３１、総合判定部１０３２を有する。学習部１０３１は、撮像部１０２が出力した画像データを入力として使用し、機械学習により外観検査、すなわち良不良の判定を行う。機械学習による外観検査には種々の公知技術を採用できる。総合判定部１０３２は、機械学習による検査結果の信頼度を判定する。総合判定部１０３２は、信頼度の判定結果に応じて再撮像等を実施する。

以下、実施例として、検査装置１の動作の一例について説明する。
＜検査対象の初回撮像＞
撮像部１０２は、撮像条件決定部１０１により予め定められた撮像条件を用いて、検査対象の撮像を行う。本実施例では、撮像部１０２は撮像条件を変えて複数回の撮像を行うことができる。例えば光源の明るさ、検査対象に対する光源又はカメラの角度を撮像毎に変更することができる（１２０度ずつ角度を変えて３枚撮像するなど）。撮像部１０２は、こうして得られた撮像条件の異なる複数の画像データを出力する。

＜機械学習による検査と総合判定＞
判定部１０３は、撮像部１０２が出力した撮像条件の異なる複数の画像データを、学習部１０３１に入力する。

学習部１０３１は、公知の機械学習手法（代表的には教師あり学習、教師なし学習等）により構築された学習モデルを有する。学習モデルは、画像データ（又は画像データに基づく何らかの特徴量）と、検査結果（良否の判定結果を示す値）と、の相関関係をある程度信頼できる水準まで学習しているものとする。すなわち学習モデルは、画像データを入力として、当該画像データと相関性が高いと推定される検査結果を出力することができる。

本実施例では、学習部１０３１は、公知技術である深層学習により、画像データから適切な特徴量を自動的に抽出し、当該特徴量と高い相関を有する検査結果を出力する。学習部１０３１は、検査結果として不合格らしさを示す数値（以下、ＮＧ度と称する）を出力するものとする。ＮＧ度は、例えば検査対象が完全に合格（良品）であるといえる場合を０、完全に不合格（不良品）であるといえる場合を１００とし、０乃至１００の間の数値で不合格らしさを表現する指標である。ＮＧ度が０又は１００に近いほど合格又は不合格である蓋然性が高く、０及び１００から遠いほど合格又は不合格のいずれかである蓋然性が低い。つまり合格又は不合格のいずれであるかをはっきりと判定できない。すなわちＮＧ度は、検査結果の信頼性を表す指標といえる。ＮＧ度が０又は１００に近いほど検査結果の信頼度が高く、０及び１００から遠いほど検査結果の信頼度が低い。

ＮＧ度の算出方法の一例を示す。例えば学習モデルの構築フェーズにおいて、検査不合格である画像データの特徴量のクラスタが形成されているものとする。このとき、入力ノード（検査対象の画像データの特徴量）とクラスタ重心との距離Ｄが０である場合のＮＧ度を１００とする。入力ノードとクラスタ重心との距離Ｄが十分離れている場合、具体的にはＤ≧所定のしきい値Ｄｔｈである場合のＮＧ度を０とする。入力ノードとクラスタ重心との距離Ｄが０＜Ｄ＜Ｄｔｈである場合、ＮＧ度は（１−（Ｄ／（クラスタ重心とＤｔｈとの距離）））＊１００により算出できる。

学習部１０３１は、撮像部１０２が出力した撮像条件の異なる複数の画像データをそれぞれ学習モデルに入力し、各画像データに対応する検査結果を得る。複数の画像データはそれぞれ撮像条件が異なるので、例えばキズの映りかた等が異なることがある。そのため、複数の画像データに基づく検査結果として、それぞれ異なるＮＧ度が出力される可能性がある。

ここで学習部１０３１は、複数の画像データを全て同じ学習モデルに入力しても良いし、図３に示すように、それぞれ異なる学習モデルに入力しても良い。例えば特定の撮像条件に最適化された学習モデルを複数構築している場合には、入力する画像データの撮像条件に適した学習モデルを使用して検査を行うことができる。

総合判定部１０３２は、学習部１０３１が出力する複数の検査結果（同じ検査対象に関するものであるが、撮像条件の異なる複数の画像データに基づく）を取得し、その内容に基づいて最終的な検査結果を判定する。例えば総合判定部１０３２は、検査結果をＮＧ度により「不良」（ＮＧ度が８１から１００）、「不明」（ＮＧ度が２１から８０）、「良」（ＮＧ度が０から２０）の３つに分類する。そして学習部１０３１が出力する複数の検査結果の中に１つでも「不良」（ＮＧ度が８１から１００）が含まれていれば、総合的な検査結果を「不良」と判定する。又は、学習部１０３１が出力する複数の検査結果について多数決を採り、「不良」「不明」「良」のうち最も多数のものを総合的な検査結果とする。又は、学習部１０３１が出力する複数の検査結果の中で最も信頼度の高いもの、すなわちＮＧ度が０又は１００に最も近いものを総合的な検査結果として採用する。又は、学習部１０３１が出力する複数の検査結果の統計量（例えば平均値、中央値、最頻値等）を計算し、当該統計量について「不良」「不明」「良」を判定して最終的な検査結果とする。又は、学習部１０３１が出力する複数の検査結果を入力とし、総合的な検査結果を出力することができる学習モデルを使用して、総合的な検査結果を推定することもできる。この学習モデルは、これまでに種々の方法で決定された総合的な検査結果と、その基となった学習部１０３１が出力する複数の検査結果と、の相関関係を公知の機械学習手法により予め学習させたものである。

総合判定部１０３２が総合的な検査結果として「不良」「良」を出力する場合、ユーザはこれを最終的な検査結果として受容できる。この最終的な検査結果は、撮像条件の異なる複数の画像データに基づく検査結果を総合的に衡量した結果、「不良」又は「良」である蓋然性が相当程度高いと評価されたものであるから、信頼度が高い。

一方、総合判定部１０３２が総合的な検査結果として「不明」を出力する場合、この度の撮像においては信頼度の高い検査結果が総合的に得られなかったことを意味する。よって総合判定部１０３２は、撮像条件を変えて撮像を再試行するよう撮像条件決定部１０１及び撮像部１０２に指令する。

＜再撮像＞
撮像条件決定部１０１は、再撮像の指令を受けた場合、前回の撮像で用いた上述の種々の撮像条件を変更し、変更後の撮像条件を撮像部１０２に通知する。撮像条件決定部１０１は、撮像条件をランダムに変更できる。又は、所定の撮像条件を所定のルールに従って変更できる。例えば再撮影の度に検査対象、カメラ、光源の相対位置を変更する。カメラ又は光源を検査対象の周囲に回転させ、検査対象に対するカメラの角度又は光源の角度を、前回の撮影時から所定角度（例えば６０度）ずらすよう変更できる。検査対象をテーブル上で回転させることで、カメラ又は光源に対する角度を変更しても良い。又は、初回の撮像時の撮像枚数（例えば１枚）に比べ、再撮像時の撮像枚数（例えば３枚）を増加させても良い。

また撮像条件決定部１０１は、検査対象の撮影部位毎にＮＧ度を評価し（上述の総合的な検査結果の評価方法を応用できる）、ＮＧ度に応じて撮像部位毎に撮像条件を変化させても良い。例えば信頼度の低い（ＮＧ度が２１乃至８０であるなど）撮像部位については撮像枚数を増加するなどして、検査結果の判断材料を増やすよう調整することができる。「不良」と判断された撮像部位について撮像枚数を増加するなどして、より精度の高い検査結果を追求することもできる。

再撮像後、学習部１０３１は、再撮像された画像データを使用し、上述の手順により再び総合的な検査結果を評価する。こうして検査装置１は、信頼度の高い総合的な検査結果が得られるまで、再撮像及び総合的な検査結果の再評価を繰り返し実行する。

ここで学習部１０３１は、１回目の評価と２回目以降の評価とで同じ学習モデルを使用してもよく、図４に示すように、異なる学習モデルを使用しても良い。例えば再撮影用に最適化された学習モデルが構築されていれば、２回目以降の評価においては再撮影用に最適化された学習モデルを使用することが好適である。

或いは検査装置１は、信頼度の高い総合的な検査結果が得られるまで、再撮像により画像データを追加して、総合的な検査結果の再評価を繰り返し実行することとしても良い。この場合、学習部１０３１は、再撮像で得られた画像データを使用して検査結果を出力する。総合判定部１０３２は、前回までの撮像で得られた画像データから推定される検査結果と、再撮像で新たに得られた画像データから推定される検査結果と、の両方を使用して総合的な検査結果を算出する。これにより最終判断に用いる画像データの母数を増やし、精度の高い検査結果を出力できる。

本実施の形態によれば、従来は人手で行っていた検査結果の妥当性の判断を自動化できるので、人手によらない自動的な外観検査（例えば機械学習による外観検査）の導入をより容易なものとすることができる。

以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。

例えば、上述の実施の形態では学習部１０３１は機械学習により構築された学習モデルを用いて外観検査を行うこととしたが、本発明はこれに限定されるものでなく、例えばルールベースで構築されたエキスパートシステムのような他の任意の自動化手法により外観検査を行うものであっても良い。

また、上述の実施の形態では検査装置１は撮像部１０２を有するものとして説明したが、本発明はこれに限定されるものでなく、撮像部１０２に相当する機能は検査装置１の外部に設けられても良い。例えば、検査装置１の撮像条件決定部１０１が、カメラや光源を備えたロボットを制御することにより、検査対象の画像データを取得することとしても良い。又は、検査装置１の撮像条件決定部１０１が、カメラや光源を備え情報処理機能を有する外付けの撮像ユニットを制御することにより、検査対象の画像データを取得することとしても良い。

上述の実施の形態で示した検査装置１は、種々の情報処理装置として実装され得る。例えば検査装置１は、検査機、ロボットコントローラ、工作機械の数値制御装置、カメラや光源が接続されたＰＣ等であって良い。

１検査装置
１１ＣＰＵ
１２ＲＯＭ
１３ＲＡＭ
１４不揮発性メモリ
１８，１９インタフェース
１０バス
６０入出力装置
７０撮像装置
１０１撮像条件決定部
１０２撮像部
１０３判定部
１０３１学習部
１０３２総合判定部

Claims

１つの検査対象を撮像して得られた複数の画像を使用して該検査対象に係る外観検査を行う検査装置であって、
予め定義された前記画像と検査結果との関係を予め定めた学習モデルに基づいて、複数の前記画像それぞれにかかる検査結果を推定し、
複数の前記画像にかかる前記検査結果それぞれの信頼度に基づいて、総合的な検査結果を算出する総合判定部を有することを特徴とする
検査装置。
前記総合判定部は、前記総合的な検査結果の信頼度が一定の条件を満たしていない場合、前記画像を再撮像する指令を出力し、再撮像された前記画像を使用して再度前記総合的な検査結果を算出することを特徴とする
請求項１記載の検査装置。
前記総合判定部は、前記総合的な検査結果の信頼度が一定の条件を満たしていない場合、前記画像を再撮像する指令を出力し、再撮像された前記画像と、前回までに撮像された前記画像と、を使用して再度前記総合的な検査結果を算出することを特徴とする
請求項１記載の検査装置。
前記画像の撮像条件を決定する撮像条件決定部をさらに有し、
前記撮像条件決定部は、前記再撮像時の撮像条件を、前回の撮像時の撮像条件から変更することを特徴とする
請求項２又は３記載の検査装置。
前記撮像条件決定部は、前記検査結果の信頼度が一定の条件を満たしていない検査部位について、前記再撮像時の撮像枚数を、前回の撮像時の撮像枚数から増加させることを特徴とする
請求項４記載の検査装置。
前記撮像条件決定部は、前記検査結果が不良であった検査部位について、前記再撮像時の撮像枚数を、前回の撮像時の撮像枚数から増加させることを特徴とする
請求項４記載の検査装置。
複数の前記学習モデルを有し、複数の前記画像により異なる前記学習モデルを使用して前記検査結果を推定することを特徴とする
請求項１記載の検査装置。
複数の前記学習モデルを有し、前記再撮像時の前記画像について、前回の撮像時の前記画像とは異なる前記学習モデルを使用して前記検査結果を推定することを特徴とする
請求項２又は３記載の検査装置。