JP7589656B2 - 異常検査システム、異常検査方法及びプログラム - Google Patents

Description

本発明は異常検査システム、異常検査方法及びプログラムに関する。

工業用部品は、その生産工程において低品質な部品の出荷を防ぐため、適切な検査がなされる必要がある。例えば、特許文献１には、機械学習によって学習された学習済みモデルを用いて、部品の仕様分類を判定する技術が記載されている。

特開２０２０－１４９５７８号公報

部品を検査する検査システムは、部品を撮影し、その画像を解析することで部品表面の異常を判定することができる。ここで、部品の断面が真円の形状をしている場合には、部品のある表面の箇所と部品を撮影するカメラ、表面を照らす照明の位置関係が変わらないため、画像上、光が照射されている位置も変わらない。そのため、検査システムは、部品の各部分が撮影された複数の画像をＡＩ（Artificial Intelligence）等により解析することで、その部分についての異常の有無を判定することができる。

しかしながら、カム等、断面が真円でない部品（すなわち、表面と回転軸からの距離が一律でなく、異なる箇所がある部品）については、部品を撮影するカメラ、表面を照らす照明と部品の位置関係が変わるため、画像上、光が照射されている位置が変化する。そのため、カメラが撮影した映像における表面の映り具合は不規則に変化する。したがって、上述の手法を用いることができず、検査システムは、撮影された画像を１枚ずつ解析する必要がある。このような場合に、検査システムは、本来は異常ではないカムの表面の箇所であっても、異常であると誤判定してしまう可能性があった。

本発明は、このような問題を解決するためのものであり、カム部の異常を正確に検出することが可能な異常検査システム、異常検査方法及びプログラムを提供するものである。

本発明の例示的な一態様に係る異常検査システムは、カム部の撮像データを取得する第１取得部と、第１学習モデルにカム部の撮像データを入力することで、カム部に異常の疑いがあるか否かを検査する第１検査部と、第１学習モデルと異なる第２学習モデルに、第１検査部により異常の疑いがあると判定されたカム部の撮像データを入力することで、カム部の異常の有無を検査する第２検査部を備える。異常検査システムは、２種類の異なる学習モデルを用いてカム部の異常を判定するため、異常の検査の精度を高めることができ、カム部の異常を正確に検出することができる。

また、上記異常検査システムにおいて、第１学習モデルは、カム部の外観上の異常の有無を出力結果とするモデルであり、第１検査部は、その出力結果が、カム部に外観上の異常があることを示す場合に、カム部に異常の疑いがあると判定し、第２学習モデルは、カム部の外観上の異常の種別を出力結果とするモデルであり、第２検査部は、その出力結果が示すカム部の外観上の異常の種別に応じて、カム部の異常の有無を判定しても良い。第２検査部は、カム部に外観上の異常がない場合に判定処理を実行しないため、第２検査部による検査は必要な場合に限り実行される。そのため、異常検査システムは、検査を効率よく実行することができる。

また、上記異常検査システムにおいて、第２学習モデルの出力結果が、カム部の外観上の異常を、液滴、バリ取り用のブラシの跡、チェック跡又は砥石目の少なくともいずれかの模様であることを示した場合に、第２検査部は、カム部に異常がないことを判定しても良い。これにより、異常検査システムは、部品の実質的な品質に異常がない単なる外観上の異常を最終的な異常と判定しないため、過検出を抑制することができる。

また、上記異常検査システムにおいて、第２検査部は、撮像データにおいて第１検査部により異常の疑いがあると判定された区画を切り出し、切り出された区画の撮像データを第２学習モデルに入力しても良い。これにより、第２検査部において、不要な区画は判定の対象外となるため、第２検査部での検査におけるノイズの影響を抑制し、検査の精度を高めることができる。

また、上記異常検査システムは、カム部と同じ部品に設けられたジャーナル部の撮像データを取得する第２取得部と、第１及び第２学習モデルと異なる第３学習モデルにジャーナル部の撮像データを入力することで、ジャーナル部の異常の有無を検査する第３検査部と、をさらに備え、ジャーナル部は第３検査部のみによって検査されても良い。これにより、部品の検査において、カム部ではないジャーナル部の検査回数は複数回でなく１回で済むため、部品の検査において必要な計算処理の総量を削減することができる。

また、上記異常検査システムにおいて、第１取得部は、第１の照明によってカム部に光が照射された状態で撮影されたカム部の撮像データを取得し、第２取得部は、第１の照明と異なる第２の照明によってジャーナル部に光が照射された状態で撮影されたジャーナル部の撮像データを取得しても良い。カム部、ジャーナル部は、それぞれの形状に合わせた照明で光が照射されるため、第１取得部、第２取得部は検査に適した品質の撮像データを取得することができる。したがって、異常検査システムは、カム部の異常をより正確に検出することができる。

また、上記異常検査システムにおいて、第１取得部は、カム部のシャフトを軸支して回転させる回転機構によってカム部が回転された状態で撮影されたカム部の撮像データを取得しても良い。これにより、異常検査システムは、カム部の異なる箇所の画像を効率的に取得することができるため、検査全体にかかる時間を短縮することができる。

本発明の例示的な一態様に係る異常検査方法は、カム部の撮像データを取得する取得ステップと、第１学習モデルにカム部の撮像データを入力することで、カム部に異常の疑いがあるか否かを検査する第１検査ステップと、第１学習モデルと異なる第２学習モデルに、異常の疑いがあると判定されたカム部の撮像データを入力することで、カム部の異常の有無を検査する第２検査ステップを異常検査システムが実行するものである。異常検査システムは、２種類の異なる学習モデルを用いてカム部の異常を判定するため、異常の検査の精度を高めることができ、カム部の異常を正確に検出することができる。

本発明の例示的な一態様に係るプログラムは、カム部の撮像データを取得する取得ステップと、第１学習モデルにカム部の撮像データを入力することで、カム部に異常の疑いがあるか否かを検査する第１検査ステップと、第１学習モデルと異なる第２学習モデルに、異常の疑いがあると判定されたカム部の撮像データを入力することで、カム部の異常の有無を検査する第２検査ステップをコンピュータに実行させるものである。このプログラムにより、コンピュータは、２種類の異なる学習モデルを用いてカム部の異常を判定するため、異常の検査の精度を高めることができ、カム部の異常を正確に検出することができる。

本発明により、カム部の異常を正確に検出することが可能な異常検査システム、異常検査方法及びプログラムを提供することができる。

実施の形態１にかかる異常検査システムの一例を示すブロック図である。 実施の形態１にかかる異常検査システムの検査装置の一例を示す詳細図である。 実施の形態１にかかる検査対象部品の一例を示す図である。 実施の形態１にかかるカム部、カム部検査用照明及びカム部検査用カメラの位置関係の一例を示す模式図である。 実施の形態１にかかる制御部の一例を示すブロック図である。 実施の形態１にかかる検査部と学習モデルとの関係を示す模式図である。 実施の形態１にかかる画像切り取りの例を示す模式図である。 実施の形態１にかかる異常検査システムが、カム部の検査を実行するときの処理例を示すフローチャートである。 実施の形態１にかかる異常検査システムが、カム部の検査を実行するときの処理例を示すフローチャートである。 実施の形態１にかかる異常検査システムが、ジョイント部の検査を実行するときの処理例を示すフローチャートである。

実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。

＜異常検査システム＞
図１は、実施の形態にかかる異常検査システムを説明するための図である。図１に示すように、本実施の形態にかかる異常検査システムＳ１は、検査装置１０及び情報処理装置２０を備える。本実施の形態にかかる異常検査システムＳ１は、ユーザが情報処理装置２０を操作することにより、検査対象部品の表面を検査装置１０のカメラで撮像させて、その表面に異常があるか否かを情報処理装置２０で検査させるものである。この例において、検査対象部品はカムシャフトである。以下、検査装置１０及び情報処理装置２０の詳細について説明する。

検査装置１０は、カム部検査用照明１１、カム部検査用カメラ１２、ジャーナル部検査用照明１３、ジャーナル部検査用カメラ１４、回転モータ１５を有する。

図２Ａは、検査装置１０の一例を示す詳細図であり、この図を用いて、検査装置１０の各構成要素を説明する。カム部検査用照明１１としては、検査対象部品Ｗのフロント側にカム部検査用照明１１Ａ、そのリア側にカム部検査用照明１１Ｂが設けられており、情報処理装置２０は、検査対象部品Ｗのカム部を検査する際に、それぞれの照明を点灯させる。カム部検査用カメラ１２としては、検査対象部品Ｗのフロント側からリア側にかけて、カム部検査用カメラ１２Ａ－１２Ｄが設けられている。各カム部検査用カメラ１２は、情報処理装置２０の制御により、カム部検査用照明１１が光を照射したカム部の領域を連続して複数回撮影することによって、カム部の撮像データ（画像）を撮影する。

ジャーナル部検査用照明１３は、情報処理装置２０の制御によって、検査対象部品Ｗのジャーナル部検査がなされる際に点灯される。ジャーナル部検査用カメラ１４としては、検査対象部品Ｗのフロント側からリア側にかけて、ジャーナル部検査用カメラ１４Ａ－１４Ｄが設けられている。各ジャーナル部検査用カメラ１４は、情報処理装置２０の制御により、ジャーナル部検査用照明１３が光を照射したジャーナル部の領域を連続して複数回撮影することによってジャーナル部の撮像データを撮影する。なお、カム部検査用カメラ１２及びジャーナル部検査用カメラ１４は、カメラの撮像素子が面状（すなわち、縦横に複数の撮像素子がある）となるように設けられる、いわゆるエリアカメラである。

図２Ｂは、検査対象部品Ｗとしてのカムシャフトを拡大した図である。このカムシャフトは、８個のカム部Ｃ１－Ｃ８と、４個のジャーナル部Ｊ１－Ｊ４を有する。カム部検査用照明１１は、カム部Ｃ１－Ｃ８に光を照射し、カム部検査用カメラ１２は、その照射された領域を撮影する。ジャーナル部検査用照明１３は、ジャーナル部Ｊ１－Ｊ４に光を照射し、ジャーナル部検査用カメラ１４は、その照射された領域を撮影する。

図２Ｃは、カム部Ｃ１、カム部検査用照明１１Ａ及びカム部検査用カメラ１２Ａの位置関係の一例を示す模式図である。カム部検査用照明１１Ａ及びカム部検査用カメラ１２Ａは、それぞれの照明及びカメラの正面部が同一線上に配置され、その延長線上にカム部Ｃ１が配置されている。つまり、カム部検査用照明１１Ａ及びカム部検査用カメラ１２Ａは、カム部Ｃ１に対して同じ姿勢（同位相）となるように配置されている。カム部検査用照明１１Ａは、カム部Ｃ１に対して光を照射する。カム部検査用カメラ１２Ａは、カム部の回転方向を撮影するための画角としてθを有し、カム部において撮影領域ＲＣを撮影する。カム部Ｃ１だけでなく、他のカム部に対しても、カム部検査用照明１１Ａ及びカム部検査用カメラ１２Ａは同様の位置関係で配置され、同様にカム部の所定の撮影領域を撮影することができる。また、カム部検査用照明１１Ｂ及びカム部検査用カメラ１２Ｂも、各カム部に対して、それぞれカム部検査用照明１１Ａ及びカム部検査用カメラ１２Ａと同じ位置関係で配置され、同様にカム部の所定の撮影領域を撮影することができる。

図２Ａに戻り、説明を続ける。回転モータ１５は、検査対象部品Ｗのフロント側に設けられたクランプＦＣとリア側に設けられたクランプＲＣとともに、検査対象部品Ｗのシャフトを軸支して回転させる回転機構を構成する。ユーザが検査対象部品Ｗの両端をクランプＦＣとクランプＲＣで固定させることにより、検査対象部品Ｗを回転可能な状態とした後で、回転モータ１５は情報処理装置２０の制御によって検査対象部品Ｗを回転させる。

詳細には、情報処理装置２０は、検査対象部品Ｗのカム部の検査を実行する際に回転モータ１５を回転させ、カム部検査用照明１１が点灯した状態で検査対象部品Ｗが１回転する間に、カム部検査用カメラ１２を制御して、カム部を連続して複数回撮影させる。これにより、カム部検査用カメラ１２は、１回の撮影毎にカム部の異なる領域を撮影することになる。

以上に示したカム部の撮影後、情報処理装置２０は、カム部検査用照明１１を消灯させ、代わりにジャーナル部検査用照明１３を点灯させる。そして、情報処理装置２０は、回転モータ１５を回転させ、検査対象部品Ｗが１回転する間に、ジャーナル部検査用カメラ１４を制御して、ジャーナル部を連続して複数回撮影させる。これにより、ジャーナル部検査用カメラ１４は、１回の撮影毎にジャーナル部の異なる領域を撮影することになる。

情報処理装置２０は、カム部検査用カメラ１２が複数回の撮影をすることで検査対象部品Ｗのカム部の表面全体を撮影するように、カム部検査用カメラ１２の撮影間隔並びに撮影回数（撮影時間）、及び回転モータ１５の回転速度を決定する。また、情報処理装置２０は、ジャーナル部検査用カメラ１４が複数回の撮影をすることで検査対象部品Ｗのジャーナル部の表面全体を撮影するように、ジャーナル部検査用カメラ１４の撮影間隔並びに撮影回数（撮影時間）、及び回転モータ１５の回転速度を決定する。情報処理装置２０は、以上のようにして得られたカム部及びジャーナル部の画像を取得し、後述の処理を実行することで各画像に異常が存在するか否かを判定する。

なお、カム部検査用カメラ１２が連続して撮影した画像において、１枚の画像で撮影されたカム部の領域と、その前後の画像で撮影されたカム部の領域とは、重複部分があっても良いし、なくても良い。これは、ジャーナル部検査用カメラ１４によるジャーナル部の撮影についても、同様のことがいえる。

次に、情報処理装置２０について説明する。情報処理装置２０は、ＤＢ（Database）２１、表示パネル２２、入力部２３及び制御部２４を有する。

ＤＢ２１には、検査に必要な３種類の学習モデルが格納されている。この学習モデルは、ディープラーニング等の機械学習により、事前に画像を教師データとして学習がなされたＡＩ（Artificial Intelligence）モデルである。この学習モデルの詳細については後述する。また、ＤＢ２１には、後述の検査部における判定に用いられる全ての閾値が格納されている。

ＤＢ２１は、例えばフラッシュメモリ、メモリーカード、ＨＤＤ（Hard Disk Drive）、光ディスクドライブ等の記憶装置で構成されているが、記憶装置の種類はこれに限られない。また、ＤＢ２１は情報処理装置２０の外部に設けられてもよく、この場合、情報処理装置２０は図示しない情報送受信部を介してＤＢ２１へ接続し、ＤＢ２１に格納されたデータを取得してもよい。

表示パネル２２は、情報処理装置２０の異常の有無の判定結果をユーザが見られるようにするためのインターフェイスである。入力部２３は、ユーザが情報処理装置２０に対して、検査の開始や検査の設定に関する指示を入力するインターフェイスである。

制御部２４は、カム部検査用照明１１、カム部検査用カメラ１２、ジャーナル部検査用照明１３、ジャーナル部検査用カメラ１４及び回転モータ１５を上述の通り制御して、検査対象部品Ｗのカム部及びジャーナル部を撮影させる。そして、制御部２４は、カム部検査用カメラ１２及びジャーナル部検査用カメラ１４から、それぞれ撮像された画像を取得し、以下に示す通り、検査を実行する。

図３Ａは、制御部２４の構成を説明するためのブロック図である。制御部２４は、メモリ２４１、Ｉ／Ｏ（Input/Output）部２４２及び情報処理部２４３を備える。以下、制御部２４の各部について説明する。

メモリ２４１は、揮発性メモリや不揮発性メモリ、またはそれらの組み合わせで構成される。メモリ２４１は、１個に限られず、複数設けられてもよい。なお、揮発性メモリは、例えば、ＤＲＡＭ (Dynamic Random Access Memory)、ＳＲＡＭ (Static Random Access Memory)等のＲＡＭ (Random Access Memory)であってもよい。不揮発性メモリは、例えば、ＰＲＯＭ (Programmable ROM)、ＥＰＲＯＭ (Erasable Programmable Read Only Memory)、フラッシュメモリであってもよい。

このメモリ２４１は、１以上の命令を格納するために使用される。ここで、１以上の命令は、ソフトウェアモジュール群としてメモリ２４１に格納される。情報処理部２４３は、１以上の命令をメモリ２４１から読み出して実行することで、以下の処理を行うことができる。

Ｉ／Ｏ部２４２は、制御部２４の外部と情報の入出力を実行するハードウェアインタフェースである。この実施形態では、制御部２４はカム部検査用照明１１、カム部検査用カメラ１２、ジャーナル部検査用照明１３、ジャーナル部検査用カメラ１４及び回転モータ１５に接続されており、これらとＩ／Ｏ部２４２を介して情報の入出力を適宜行う。

情報処理部２４３は、画像を解析するための任意のプロセッサ等で構成される。この例では、プロセッサとして、画像処理に有用なＧＰＵ（Graphics Processing Unit）が情報処理部２４３に含まれている。ただし、情報処理部２４３は、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）を有しても良い。なお、上述のメモリ２４１は、情報処理部２４３の外部に設けられるものに加えて、情報処理部２４３に内蔵されているものを含んでも良い。

情報処理部２４３は、メモリ２４１からソフトウェア（コンピュータプログラム）を読み出して実行することで、画像取得部２４４、第１検査部２４５、第２検査部２４６及び第３検査部２４７等の機能を実現する。画像取得部２４４は、Ｉ／Ｏ部２４２を介して、カム部検査用カメラ１２及びジャーナル部検査用カメラ１４から、撮影された画像を取得する。取得したカム部の画像は、第１検査部２４５に出力され、ジャーナル部の画像は、第３検査部２４７に出力される。

図３Ｂは、第１検査部２４５－第３検査部２４７及び、ＤＢ２１に格納されており、第１検査部２４５－第３検査部２４７がそれぞれアクセスして検査に用いる３種類の学習モデルを示したものである。以下、図３Ｂを参照しながら、各検査部について詳細に説明する。

第１検査部２４５は、カム部検査用カメラ１２が撮影したカム部の画像（第１撮像データ）を第１学習モデルＭ１に対して入力し、第１学習モデルＭ１から出力された結果に基づいて、カム部に異常の疑いがあるか否かを判定する。

ここで、第１学習モデルＭ１は、カム部の画像が教師データとして用いられて学習されたものであり、画像が入力されたときの出力結果として、カム部の外観上の異常の有無に関する計算値を出力結果とするモデルである。詳細な例として、第１学習モデルＭ１は、入力された画像に関してセマンティックセグメンテーション処理を実行することで、その画像における第１の判定値を算出して出力する。この第１の判定値は、画像に映されたカム部の正常度を表すものであり、大きい値であるほど、画像におけるカム部の表面がクリーンな状態であることを示し、小さい値であるほど、その表面にキズ、又は鋳巣（shrinkage cavity）等の欠陥に似ている模様が映っていることを示す。第１検査部２４５は、算出された第１の判定値とＤＢ２１に格納された閾値ＴＨ１とを比較し、第１の判定値が閾値ＴＨ１以下となる画像を、カム部に外観上の異常がある画像と判定する。一方、第１検査部２４５は、第１の判定値が閾値ＴＨ１よりも大きい画像を、カム部に外観上の異常がない画像と判定する。

なお、第１学習モデルＭ１は、画像を複数の区画に分割し、その区画毎に第１の判定値を算出しても良い。この場合、第１検査部２４５は、画像の少なくとも１つの区画における第１の判定値が閾値ＴＨ１以下である場合に、カム部に外観上の異常がある画像と判定しても良い。又は、第１検査部２４５は、画像において複数の閾値以上の数の区画における第１の判定値が閾値ＴＨ１以下である場合に、カム部に外観上の異常がある画像と判定しても良い。

外観上の異常とは、カム部の表面がクリーンな状態でないことをいい、例えば、表面に線や丸などの模様があることや、表面に明度が異なる箇所がある（例えば周囲と比べて暗い箇所がある）ことを視認できることを示す。カム部表面に丸などの模様がある場合や、表面に暗い箇所がある場合、表面に鋳巣が生じている可能性があり、表面に線の模様がある場合、表面にキズが生じている可能性がある。キズや鋳巣は、検査対象部品Ｗの欠陥（実質的な異常）を意味するものである。しかしながら、カム部表面に丸などの模様があっても、その模様は表面上の液滴（例えば洗浄液）由来の可能性もある。また、面に線の模様があっても、その模様は、バリ取り用のブラシの跡、検査対象部品Ｗのチェック跡、又は砥石加工の際に生じた砥石目である可能性もある。これらの模様は、検査対象部品Ｗの製造段階による加工によって自然に生じるものであり、検査対象部品Ｗの欠陥ではない。そのため、このような、外観上の異常があるが実質的な異常ではない（以下、偽異常とも記載）模様を有する画像を異常検査システムが異常と判定してしまうという、過検出の問題が生じる可能性がある。

本発明では、画像においてカム部に外観上の異常があると判定された場合、第１検査部２４５は、カム部に異常の疑いがあると判定する。異常の疑いがあると判定された画像は、第２検査部２４６による再度の検査の対象となる。この再度の検査によって画像に欠陥が映っていると判定された場合に、はじめて検査対象部品Ｗが異常と判定されることになる。なお、異常の疑いがないと判定された画像は、第２検査部２４６による検査の対象外となる。

第２検査部２４６は、異常の疑いがあると判定されたカム部の画像（第２撮像データ）全体を第２学習モデルＭ２に対して入力する。なお、第１学習モデルＭ１が、画像を複数の区画に分割し、その区画毎に第１の判定値を算出するモデルである場合に、第２検査部２４６は、第１の判定値が閾値ＴＨ１以下である画像の区画を切り取って、その切り取った区画の画像だけを第２学習モデルＭ２に対して入力しても良い。

図３Ｃは、第２検査部２４６が画像を切り取る処理の一例を示した図である。カム部検査用カメラ１２が撮影したオリジナルの画像ＩＭにおいて、異常の疑いがある模様ＤＡが存在することにより、第１検査部２４５は画像ＩＭの区画ＤＡにおける第１の判定値が閾値ＴＨ１以下であると判定する。このとき、第２検査部２４６は、画像ＩＭから区画ＤＡを切り取り、区画ＤＡの画像だけを第２学習モデルＭ２に対して入力することができる。

第２学習モデルＭ２は、以上のようにして入力された画像に基づいた計算結果を出力する。第２検査部２４６は、第２学習モデルＭ２からの出力結果に基づいて、カム部に異常があるか否かを判定する。

ここで、第２学習モデルＭ２は、第１学習モデルＭ１と異なる種類のＡＩモデルである。第２学習モデルＭ２は、カム部の画像が教師データとして用いられて学習されたものであり、画像が入力されたときの出力結果として、カム部の外観上の異常の種別に関する計算値を出力結果とするモデルである。詳細には、第２学習モデルＭ２は、入力された画像に関してクラシフィケーション処理を実行し、入力画像における第２の判定値を算出して出力する。この第２の判定値は、入力画像と、上述に記載の偽異常の模様との一致率であり、入力画像と偽異常の模様との内積を計算した場合の余弦値（ｃｏｓθ）のことをいう。第２学習モデルＭ２は、モデル化された偽異常の模様の種類数だけ、第２の判定値を算出する。この第２の判定値が大きい（１に近い）値であるほど、画像におけるカム部表面の模様は偽異常の模様（例えば、液滴、バリ取り用のブラシの跡、チェック跡又は砥石目の少なくともいずれかの模様）と類似し、実質的な異常がないことを示す。その一方、第２の判定値が小さい値であるほど、そのカム部表面の模様は偽異常の模様と類似していないため、その模様はキズや鋳巣等の欠陥である可能性が高いと考えられる。

第２検査部２４６は、算出された第２の判定値とＤＢ２１に格納された閾値ＴＨ２とを比較する。なお、閾値ＴＨ２も、モデル化された偽異常の模様の種類数だけ設定されることになる。第２検査部２４６は、全ての偽異常の模様の種類において、第２の判定値が閾値ＴＨ２以下となる画像を、カム部に異常がある画像と判定する。一方、第２検査部２４６は、少なくともいずれか１種類の偽異常の模様において、第２の判定値が閾値ＴＨ２よりも大きくなる画像を、カム部に異常がない画像と判定する。

なお、第２検査部２４６が、撮影されたオリジナルの画像の一部を切り取った区画の画像だけを第２学習モデルＭ２に対して入力した場合、第２学習モデルＭ２は、その区画に関して上述のクラシフィケーション処理を実行し、その区画における第２の判定値を算出して出力する。

第１検査部２４５及び第２検査部２４６は、各カム部検査用カメラ１２が撮影した画像毎に、上述の処理を実行する。そして、第２検査部２４６においてカム部に異常があると判定された画像がない場合には、第２検査部２４６は、撮影された検査対象であるカム部に異常がないと判定する。一方、カム部に異常があると判定された画像が１枚でもある場合には、第２検査部２４６は、撮影された検査対象であるカム部に異常があると判定する。ただし、第２検査部２４６は、カム部に異常がある画像と判定された画像が所定の複数の閾値数以上ある場合に、撮影された検査対象であるカム部に異常があると判定しても良い。第２検査部２４６は、検査対象であるカム部に異常があると判定した場合に、検査対象部品Ｗに異常があると判定する。

第２検査部２４６は、以上の判定結果を情報処理装置２０の表示パネル２２に表示させることができる。なお、第２検査部２４６は、異常があると判定したカム部を、そのカム部を撮影したカム部検査用カメラ１２及びその撮影方向を特定することにより判別し、判別した結果を表示パネル２２に表示しても良い。

また、第３検査部２４７は、ジャーナル部検査用カメラ１４が撮影したジャーナル部の画像（第３撮像データ）を第３学習モデルＭ３に対して入力し、第３学習モデルＭ３から出力された結果に基づいて、ジャーナル部に異常があるか否かを判定する。例えば、第３検査部２４７は、撮影された全てのジャーナル部の画像の中から、ジャーナル部の同一箇所を撮影している複数の画像を、撮影されたタイミングの順番に繋ぎ合わせ、１枚の画像を生成する。そして、ジャーナル部表面を覆うように、異なる箇所毎に１枚の画像を生成し、その画像を第３学習モデルＭ３に入力する。

ここで、第３学習モデルＭ３は、第１学習モデルＭ１及び第２学習モデルＭ２と異なるＡＩモデルである。第３学習モデルＭ３は、ジャーナル部の画像が教師データとして用いられて学習されたものであり、画像が入力されたときの出力結果として、ジャーナル部の異常の有無に関する計算値を出力結果とするモデルである。詳細には、第３学習モデルＭ３は、入力された画像に関してセグメンテーション処理を実行し、画像における第３の判定値を算出して出力する。この第３の判定値は、画像に映されたジャーナル部の正常度を表すものであり、大きい値であるほど、画像におけるカム部の表面がクリーンな状態であることを示し、小さい値であるほど、その表面にキズや鋳巣等欠陥に似ている模様が映っていることを示す。第３検査部２４７は、算出された第３の判定値とＤＢ２１に格納された閾値ＴＨ３とを比較し、第３の判定値が閾値ＴＨ３以下となる画像を、ジャーナル部に異常がある画像と判定する。一方、第３検査部２４７は、第３の判定値が閾値ＴＨ３よりも大きい画像を、ジャーナル部に異常がない画像と判定する。

第３検査部２４７は、各カム部検査用カメラ１２が撮影したジャーナル部表面の箇所毎に、上述の画像判定の処理を実行することができる。そして、第３検査部２４７においてジャーナル部に異常があると判定された画像がない場合には、第３検査部２４７は、撮影された検査対象であるジャーナル部に異常がないと判定する。一方、ジャーナル部に異常があると判定された画像が１枚でもある場合には、第３検査部２４７は、撮影された検査対象であるジャーナル部に異常があると判定する。ただし、第３検査部２４７は、ジャーナル部に異常がある画像と判定された画像が複数の閾値以上ある場合に、撮影された検査対象であるジャーナル部に異常があると判定しても良い。第３検査部２４７は、検査対象であるジャーナル部に異常があると判定した場合に、検査対象部品Ｗに異常があると判定する。

第３検査部２４７は、以上の判定結果を情報処理装置２０の表示パネル２２に表示させることができる。なお、第３検査部２４７は、異常があると判定したジャーナル部を、そのジャーナル部を撮影したジャーナル部検査用カメラ１４及びその撮影方向を特定することにより判別し、判別した結果を表示パネル２２に表示しても良い。

図４Ａ、４Ｂは、異常検査システムＳ１がカム部の検査を実行する処理の一例を示したフローチャートであり、以下、図４Ａ、４Ｂを参照して、この処理を説明する。なお、各処理の詳細については上述の通りであり、適宜説明を省略している。

まず、ユーザが入力部２３を操作することにより、情報処理装置２０は、検査対象部品Ｗのカム部の検査を検査装置１０に実行させる。この検査がなされることにより、画像取得部２４４は、カム部検査用カメラ１２が撮影した全ての画像を読み込む（ステップＳ１１）。

第１検査部２４５は、読み込んだ画像の中から１枚の画像を第１学習モデルＭ１に対して入力する。そして、第１学習モデルＭ１が算出した第１の判定値が閾値ＴＨ１以下となるか否かを判定する（ステップＳ１２）。

第１の判定値が閾値ＴＨ１以下である場合に（ステップＳ１２のＹｅｓ）、第２検査部２４６は、第１の判定値が閾値ＴＨ１以下である画像の区画を切り取る（ステップＳ１３）。そして、第２検査部２４６は、その切り取った区画の画像を第２学習モデルＭ２に対して入力する。第２検査部２４６は、全ての偽異常の模様の種類において、第２学習モデルＭ２が算出した第２の判定値が閾値ＴＨ２以下となるか否かを判定する（ステップＳ１４）。

全ての偽異常の模様の種類において、第２の判定値が閾値ＴＨ２以下となる場合（ステップＳ１４のＹｅｓ）、第２検査部２４６は、その画像の判定結果に基づいて、カム部に異常があると判定し、異常検査システムＳ１は検査処理を終了する（ステップＳ１５）。

一方、ステップＳ１２において、第１の判定値が閾値ＴＨ１よりも大きい場合に（ステップＳ１２のＮｏ）、第１検査部２４５は、検査対象の画像が正常である（異常がない）と判定する（ステップＳ１６）。また、ステップＳ１４において、少なくともいずれか１種類の偽異常の模様において、第２の判定値が閾値ＴＨ２よりも大きい場合にも（ステップＳ１４のＮｏ）、第２検査部２４６は、検査対象の画像が正常であると判定する（ステップＳ１６）。

その後、第１検査部２４５は、ステップＳ１１で読み込んだ全ての画像について、以上に示した判定が終了したか否かを判定する（ステップＳ１７）。判定が終了していない画像がある場合には（ステップＳ１７のＮｏ）、第３検査部２４７は、ステップＳ１２に戻り、未判定の画像について処理を実行する。一方、全ての画像について判定が終了した場合には（ステップＳ１７のＹｅｓ）、第１検査部２４５は、カム部が正常であると判定し、異常検査システムＳ１は検査処理を終了する（ステップＳ１８）。

なお、以上に示したフローでは、情報処理装置２０が、１つの画像について第１検査部２４５及び第２検査部２４６による検査を実行し、それを各画像について順番に実行する内容を説明した。ただし、情報処理装置２０は、複数の画像（例えば読み込んだ全ての画像）について、第１検査部２４５による検査をまとめて実行し、その中で第１の判定値が閾値ＴＨ１以下となる画像について、第２検査部２４６による検査を実行するようにしても良い。

図４Ｃは、異常検査システムＳ１がジョイント部の検査を実行する処理の一例を示したフローチャートであり、以下、図４Ｃを参照して、この処理を説明する。なお、各処理の詳細については上述の通りであり、適宜説明を省略している。

まず、ユーザが入力部２３を操作することにより、情報処理装置２０は、検査対象部品Ｗのジャーナル部の検査を検査装置１０に実行させる。この検査がなされることにより、画像取得部２４４は、ジャーナル部検査用カメラ１４が撮影した全ての画像を読み込む（ステップＳ２１）。

第３検査部２４７は、読み込まれた全てのジャーナル部の画像を用いて、ジャーナル部表面の箇所毎に１枚の画像を生成する。この詳細は上述の通りである。そして、第３検査部２４７は、その画像を第３学習モデルＭ３に入力し、第３学習モデルＭ３が算出した第３の判定値が閾値ＴＨ３以下となるか否かを判定する（ステップＳ２２）。

第３検査部２４７は、第３の判定値が閾値ＴＨ３以下である場合に（ステップＳ２２のＹｅｓ）、その画像の判定結果に基づいてジャーナル部に異常があると判定し、異常検査システムＳ１は検査を終了する（ステップＳ２３）。

一方、第３検査部２４７は、第３の判定値が閾値ＴＨ３よりも大きい場合に（ステップＳ２２のＮｏ）、第３検査部２４７は、検査対象の画像が正常であると判定する（ステップＳ２４）。

その後、第３検査部２４７は、ジャーナル部表面の異なる全ての箇所に関する画像について、以上に示した判定が終了したか否かを判定する（ステップＳ２５）。判定が終了していない画像がある場合には（ステップＳ２５のＮｏ）、第３検査部２４７は、ステップＳ２２に戻り、未判定の画像について処理を実行する。一方、全ての画像について判定が終了した場合には（ステップＳ２５のＹｅｓ）、第３検査部２４７はジャーナル部が正常であると判定し、異常検査システムＳ１は検査を終了する（ステップＳ２６）。

以上の説明で示したように、異常検査システムＳ１において、第１検査部２４５は、第１学習モデルＭ１にカム部の撮像データを入力することで、カム部に異常の疑いがあるか否かを検査する。そして、第２検査部２４６は、異常の疑いがあると判定されたカム部の撮像データを第２学習モデルＭ２に入力することで、カム部の異常の有無を検査する。

カム部のように形状が真円でない特殊なものである部品を検査する場合には、上述のジャーナル部の検査のような手法は適用できないため、異常検査システムは、撮影された多数のカム部の画像を逐一検査する必要がある。出願人は、このような場合に、検査システムが１種類のＡＩモデルを用いてカム部の判定を実行すると、鋳巣やキズといった欠陥の見逃しを抑制するようにＡＩモデルを学習させることで、判定における過検出率が高くなってしまうという課題を新たに発見した。この理由は、ＡＩモデルにおいて異常判定に用いられる閾値が、見逃しを抑制するように学習された結果、欠陥の模様と類似した形状や明暗度を有する液滴や砥石跡等の模様（偽異常の模様）についても、ＡＩモデルは異常と判定してしまうことにある。

一方、過検出率を抑制するようにＡＩモデルを学習させると、ＡＩモデルは偽異常の模様をより正確に認識できるようになるものの、異常の見逃し率が高くなってしまうという新たな課題が生じることも、出願人は新たに発見した。これは、ＡＩモデルが、カム部における欠陥の模様を偽異常の模様であると誤判定してしまう事態や、１枚の画像中に欠陥の模様と偽異常の模様が同時に映っている場合に、ＡＩモデルがその画像を異常ではないと誤判定してしまう事態が生じ得るためである。

本発明に係る異常検査システムＳ１は、２種類の異なる学習モデルを用いてカム部の異常を判定するため、判定対象となる画像に映り込む模様が多様であるような状況であっても、異常の検査の精度を高めることができる。したがって、異常検査システムＳ１は、カム部の異常を正確に検出することができる。また、ソフトウェア上の処理によって異常の検査の精度を高めることができるため、検査対象部品を撮影する撮像部を、エリアカメラ等の比較的安価なものとすることもできる。

なお、第２学習モデルＭ２は、第１学習モデルＭ１に比べて精度の高いモデルとしても良い。この場合、第１学習モデルＭ１を用いることで、処理に長い時間を必要とする第２学習モデルＭ２に入力される画像数を抑制することができるため、全体の計算に必要な時間を削減することができる。

また、第１学習モデルＭ１は、カム部の外観上の異常の有無を出力結果とするモデルであり、第１検査部２４５は、カム部に外観上の異常があることをその出力結果が示す場合に、カム部に異常の疑いがあると判定しても良い。そして、第２学習モデルＭ２は、カム部の外観上の異常の種別を出力結果とするモデルであり、第２検査部２４６は、その出力結果が示すカム部の外観上の異常の種別に応じて、カム部の異常の有無を判定しても良い。第２検査部２４６は、カム部に外観上の異常がない場合に判定処理を実行しないため、その検査は必要な場合に限り実行される。そのため、異常検査システムＳ１は、検査を効率よく実行することができる。

また、第２学習モデルＭ２の出力結果が、カム部の外観上の異常を、液滴、バリ取り用のブラシの跡、チェック跡又は砥石目の少なくともいずれかの模様であることを示した場合に、第２検査部２４６は、カム部に異常がないことを判定しても良い。これにより、異常検査システムＳ１は、部品の実質的な品質に異常がない単なる外観上の異常を最終的な異常と判定しないため、過検出を抑制することができる。

また、第２検査部２４６は、撮像データにおいて第１検査部２４５により異常の疑いがあると判定された区画を切り出し、切り出された区画の撮像データを第２学習モデルＭ２に入力しても良い。これにより、第２検査部において、不要な区画は判定の対象外となるため、第２検査部での検査で生じ得るノイズの数やその種類を削減し、検査の精度を高めることができる。

また、対象検査部品Ｗの検査において、カム部ではないジャーナル部は第３検査部２４７によって複数回でなく１回の検査が実行されても良い。上述のように、カム部のような部品では、１種類のＡＩモデルを使ったセグメンテーションや分類の手法を用いた検査ではその判定の精度に限界があるものの、ジャーナル部の形状は真円であるから、そのような課題が生じない。そのため、検査回数を１回とすることで、検査対象部品全体の検査における必要な計算処理の総量を削減し、効率的な検査をすることができる。なお、第３学習モデルＭ３における検査のパラメータは、目標とする検査時間や直行率等の数値に合わせて設定することもできる。

また、画像取得部２４４（第１及び第２取得部）は、カム部検査用照明１１（第１の照明）によってカム部に光が照射された状態で撮影されたカム部の撮像データを取得し、ジャーナル部検査用照明１３（第２の照明）によってジャーナル部に光が照射された状態で撮影されたジャーナル部の撮像データを取得しても良い。カム部、ジャーナル部は、それぞれの形状に合わせた照明で光が照射されるため、画像取得部２４４は検査に適した品質の撮像データを取得することができる。したがって、異常検査システムＳ１は、カム部の異常をより正確に検出することができる。

また、画像取得部２４４は、回転モータ１５によってカム部が軸支されて回転された状態で撮影されたカム部の撮像データを取得しても良い。これにより、異常検査システムＳ１は、カム部の異なる箇所の画像を効率的に取得することができるため、検査全体にかかる時間を短縮することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

例えば、検査対象部品はカムシャフトでなく、真円でないカム部を備えたその他の種類の部品であっても良い。この場合であっても、異常検査システムＳ１は、その部品のカム部に対して実施の形態に記載の検査を実行することができる。

実施の形態では、第１検査部２４５及び第２検査部２４６による２段階のカム部の検査がなされることを説明したが、カム部の検査として３段階以上の検査がなされても良い。例えば、第１検査部２４５による検査の前後のいずれかに、第２検査部２４６によるものではない検査がさらになされても良い。

検査において、カム部はその表面全体が撮影されて検査されるのではなく、その一部の表面だけが撮影されて検査対象となっても良い。これはジャーナル部でも同様である。

異常検査システムＳ１において、実施の形態に記載の通りに検査対象部品Ｗのカム部の異常の有無が判定された場合に、ユーザは、実際のカム部の異常の有無、又は画像に映ったカム部の模様の種類（例えば、欠陥を示す模様、又は偽異常を示す模様の種類）を、入力部２３によって情報処理装置２０に入力しても良い。これにより、第１検査部２４５及び第２検査部２４６は、そのようにしてフィードバックされたデータに基づいて、第１学習モデルＭ１及び第２学習モデルＭ２の少なくともいずれかを修正することができる。同様に、検査対象部品Ｗのジャーナル部の異常の有無が判定された場合に、ユーザは、実際のジャーナル部の異常の有無、又は画像に映ったジャーナル部の模様の種類を、入力部２３によって情報処理装置２０に入力しても良い。これにより、第３検査部２４７は、そのようにしてフィードバックされたデータに基づいて、第３学習モデルＭ３を修正することができる。

以上に説明したように、上述の実施形態における異常検査システムが有する１又は複数のプロセッサは、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。この処理により、各実施の形態に記載された処理が実現できる。

プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disk（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。また、プログラムは、例えばアプリケーションとしての形態をとることもできる。

以上、実施の形態を参照して本発明を説明したが、本発明は上記によって限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

Ｓ１ 異常検査システム
１０ 検査装置
１１ カム部検査用照明 １２ カム部検査用カメラ
１３ ジャーナル部検査用照明 １４ ジャーナル部検査用カメラ
１５ 回転モータ
２０ 情報処理装置
２１ ＤＢ ２２ 表示パネル
２３ 入力部 ２４ 制御部
２４１ メモリ ２４２ Ｉ／Ｏ部
２４３ 情報処理部 ２４４ 画像取得部
２４５ 第１検査部 ２４６ 第２検査部
２４７ 第３検査部
Ｍ１ 第１学習モデル Ｍ２ 第２学習モデル
Ｍ３ 第３学習モデル

Claims (8)

1. カム部の撮像データを取得する第１取得部と、
   前記カム部の外観上の異常の有無を出力結果とするモデルである第１学習モデルに前記カム部の撮像データを入力し、当該出力結果が、前記カム部に外観上の異常があることを示す場合に、前記カム部に異常の疑いがあると判定する第１検査部と、
   前記第１学習モデルと異なる第２学習モデルであって、前記カム部の外観上の異常の種別を出力結果とする前記第２学習モデルに、前記第１検査部により異常の疑いがあると判定された前記カム部の撮像データを入力し、当該出力結果が示す前記カム部の外観上の異常の種別に応じて、前記カム部の異常の有無を判定する第２検査部と、
   前記カム部と同じ部品に設けられたジャーナル部の撮像データを取得する第２取得部と、
   前記第１及び第２学習モデルと異なる第３学習モデルであって、前記ジャーナル部の異常の有無を出力結果とする前記第３学習モデルに、前記ジャーナル部の撮像データを入力することで、前記ジャーナル部の異常の有無を検査する第３検査部と、を備え、
   前記ジャーナル部は前記第３検査部のみによって検査される、
   異常検査システム。
2. 入力された前記カム部の撮像データに関してセマンティックセグメンテーション処理を実行する前記第１学習モデルと、
   入力された前記カム部の撮像データに関してクラシフィケーション処理を実行する前記第２学習モデルと、
   入力された前記ジャーナル部の撮像データに関してセグメンテーション処理を実行する前記第３学習モデルと、をさらに備える、
   請求項１に記載の異常検査システム。
3. 前記第２学習モデルの前記出力結果が、前記カム部の外観上の異常を、液滴、バリ取り用のブラシの跡、チェック跡又は砥石目の少なくともいずれかの模様であることを示した場合に、前記第２検査部は、前記カム部に異常がないことを判定する、
   請求項１又は２に記載の異常検査システム。
4. 前記第２検査部は、前記撮像データにおいて前記第１検査部により異常の疑いがあると判定された区画を切り出し、切り出された区画の前記撮像データを前記第２学習モデルに入力する、
   請求項１乃至３のいずれか１項に記載の異常検査システム。
5. 前記第１取得部は、第１の照明によって前記カム部に光が照射された状態で撮影された前記カム部の撮像データを取得し、
   前記第２取得部は、前記第１の照明と異なる第２の照明によって前記ジャーナル部に光が照射された状態で撮影された前記ジャーナル部の撮像データを取得する、
   請求項１乃至４のいずれか１項に記載の異常検査システム。
6. 前記第１取得部は、前記カム部のシャフトを軸支して回転させる回転機構によって前記カム部が回転された状態で撮影された前記カム部の撮像データを取得する、
   請求項１乃至５のいずれか１項に記載の異常検査システム。
7. カム部の撮像データを取得する第１取得ステップと、
   前記カム部の外観上の異常の有無を出力結果とするモデルである第１学習モデルに前記カム部の撮像データを入力し、当該出力結果が、前記カム部に外観上の異常があることを示す場合に、前記カム部に異常の疑いがあると判定する第１検査ステップと、
   前記第１学習モデルと異なる第２学習モデルであって、前記カム部の外観上の異常の種別を出力結果とする前記第２学習モデルに、前記第１検査ステップにて異常の疑いがあると判定された前記カム部の撮像データを入力し、当該出力結果が示す前記カム部の外観上の異常の種別に応じて、前記カム部の異常の有無を判定する第２検査ステップと、
   前記カム部と同じ部品に設けられたジャーナル部の撮像データを取得する第２取得ステップと、
   前記第１及び第２学習モデルと異なる第３学習モデルであって、前記ジャーナル部の異常の有無を出力結果とする前記第３学習モデルに、前記ジャーナル部の撮像データを入力することで、前記ジャーナル部の異常の有無を検査する第３検査ステップと、を備え、
   前記ジャーナル部は前記第３検査ステップのみによって検査される、
   異常検査システムが実行する異常検査方法。
8. カム部の撮像データを取得する第１取得ステップと、
   前記カム部の外観上の異常の有無を出力結果とするモデルである第１学習モデルに前記カム部の撮像データを入力し、当該出力結果が、前記カム部に外観上の異常があることを示す場合に、前記カム部に異常の疑いがあると判定する第１検査ステップと、
   前記第１学習モデルと異なる第２学習モデルであって、前記カム部の外観上の異常の種別を出力結果とする前記第２学習モデルに、前記第１検査ステップにて異常の疑いがあると判定された前記カム部の撮像データを入力し、当該出力結果が示す前記カム部の外観上の異常の種別に応じて、前記カム部の異常の有無を判定する第２検査ステップと、
   前記カム部と同じ部品に設けられたジャーナル部の撮像データを取得する第２取得ステップと、
   前記第１及び第２学習モデルと異なる第３学習モデルであって、前記ジャーナル部の異常の有無を出力結果とする前記第３学習モデルに、前記ジャーナル部の撮像データを入力することで、前記ジャーナル部の異常の有無を検査する第３検査ステップと、を備え、
   前記ジャーナル部は前記第３検査ステップのみによって検査される、
   異常検査方法をコンピュータに実行させるプログラム。

Images