WO2023228929A1

WO2023228929A1 - 工具診断システム、工具診断装置、工具診断方法及びプログラム

Info

Publication number: WO2023228929A1
Application number: PCT/JP2023/019070
Authority: WO
Inventors: 朝和坂本; 良輔原田
Original assignee: 三菱電機株式会社
Priority date: 2022-05-24
Filing date: 2023-05-23
Publication date: 2023-11-30

Abstract

工具診断システム（１００）は、工作物（１１）を加工する工作機械（１）と、工作機械（１）に取り付けられた工具（１２）の刃部を撮像する撮像装置と、工具（１２）の刃部の画像を画像処理する画像処理部と、画像処理後の工具（１２）の刃部の画像、工作機械（１）の加工条件、工具（１２）及び工作物（１１）の諸元を学習用データとし、工具（１２）の残り工具寿命を学習する機械学習によって学習済モデルを生成するモデル生成部と、学習済モデルに画像処理後の工具（１２）の刃部の画像、工作機械（１）の加工条件、工具（１２）及び工作物（１１）の諸元を入力することで、工具（１２）の残り工具寿命を出力する推論部と、を備え、画像処理部は、加工直後に撮像した工具（１２）の刃部の画像と、撮像後に工具（１２）を高速回転した後に撮像した工具（１２）の刃部の画像を比較し、摩耗痕を特定する。

Description

工具診断システム、工具診断装置、工具診断方法及びプログラム

　本開示は、工具診断システム、工具診断装置、工具診断方法及びプログラムに関するものである。

　従来の工具診断装置では、工具の刃部の画像と、加工条件と、工具及び工作物の諸元を用いて機械学習により学習済モデルを作成し、新たな工具の刃部の画像と、加工条件と、工具及び工作物の諸元を学習済モデルに入力することで、工具の摩耗予測を出力として得ることが知られている（特許文献１）。

特開２０２１－７０１１４号公報

　しかしながら、このような工具診断装置にあっては、工具の刃部の画像に摩耗による模様以外のもの、例えば切粉、切削液などの異物が付着していた場合、それらを摩耗による模様と誤認識してしまい、学習済モデルの予測精度が低下するという問題点があった。さらに、手動により異物を除去することも可能ではあるが、機械学習には数十から数百枚の画像を用いる必要があるため、実際に行うには手間がかかり過ぎるという問題がある。

　本開示は、上述の事情に鑑みてなされたものであり、工具診断において手間をかけずに十分な予測精度を持つ学習済モデルを生成することを目的とする。

　上記目的を達成するために、本開示の工具診断システムは、工作物を加工する工作機械と、工作機械に取り付けられた工具の刃部を撮像する撮像装置と、工具の刃部の画像を画像処理する画像処理部と、画像処理後の工具の刃部の画像、工作機械の加工条件、工具及び工作物の諸元を学習用データとし、残り工具寿命を学習する機械学習によって学習済モデルを生成するモデル生成部と、学習済モデルに画像処理後の工具の刃部の画像、工作機械の加工条件、工具及び工作物の諸元を入力することで、残り工具寿命を出力する推論部と、を備え、画像処理部は、加工直後に撮像した工具の刃部の画像と、撮像後に工具を高速回転した後に撮像した工具の刃部の画像を比較し、摩耗痕を特定する。

　本開示によれば、工具を高速回転させて、その前後の画像を撮像するだけで工具の摩耗痕を特定することにより、工具診断において手間をかけずに十分な予測精度を持つ学習済モデルを生成できる。

本開示の第１の実施の形態に係る工具診断システムの構成を示す図本開示の第１の実施の形態に係る工具診断装置の構成を示す図工具の刃部が工作物を削り取る過程を示す図工具の刃部が工作物を削り取る過程により工具の刃部が摩耗していく過程を示す図本開示の第１の実施の形態に係る摩耗痕の大きさと残り工具寿命の関係を示すグラフ加工終了後の工具を、工具の回転軸方向から観察した図図５Ａの状態から、高速回転を行った後の工具を、工具の回転軸方向から観察した図本開示の第１の実施の形態に係る撮像処理の動作を示すフローチャート本開示の第１の実施の形態に係る画像処理の動作を示すフローチャート本開示の第１の実施の形態に係る学習部の構成を示す図本開示の第１の実施の形態に係るニューラルネットワークを示す図本開示の第１の実施の形態に係る学習処理の動作を示すフローチャート本開示の第１の実施の形態に係る推論部の構成を示す図本開示の第１の実施の形態に係る工具交換の判断処理の動作を示すフローチャート本開示の第１の実施の形態に係る工具診断装置のハードウェア構成を示す図本開示の第２の実施の形態に係る工具診断システムの構成を示す図本開示の第３の実施の形態に係る工具診断システムの構成を示す図本開示の第４の実施の形態に係る工具診断システムの構成を示す図本開示の第５の実施の形態において、加工終了後の工具を、工具の回転軸方向と垂直の方向から観察した図本開示の第５の実施の形態において、加工終了後の工具を、工具の回転軸方向から観察した図本開示の第５の実施の形態において、高速回転を行った後の工具を、工具の回転軸方向と垂直の方向から観察した図本開示の第５の実施の形態において、高速回転を行った後の工具を、工具の回転軸方向から観察した図本開示の第５の実施の形態に係る工具診断システムの構成を示す図

　以下、図面を参照しながら、本開示の実施の形態に係る工具診断システム１００を説明する。各図面においては、同一又は同等の部分に同一の符号を付す。

（第１の実施の形態）
　図１は、本開示の第１の実施の形態に係る工具診断システム１００を示す構成図である。工具診断システム１００は、被加工物を切削加工する工作機械１と、工作機械１に接続され、工作機械の動作を制御する制御装置２と、工作機械１で使用される工具の摩耗状態を診断する工具診断装置３と、工具診断装置３に接続され、工具の状態を撮像する撮像装置であるカメラ４と、工具診断装置３に接続され、工作機械１の加工時の状態を検出するセンサ５と、を備える。

　工作機械１は、被加工物である工作物１１を切削加工する工具１２と、工具１２を回転する主軸モータ１３と、加工時に工具１２に切削液を吹きかける切削液吐出口１４と、工具１２を自動で交換するオートツールチェンジャ１５と、を備える。工具１２は、例えばフライス、ドリル等の機械加工を行う工具であり、主軸モータ１３に取り外しが可能な状態で取付固定されている。主軸モータ１３が回転駆動することによって工具１２が回転する。主軸モータ１３を回転させながら工具１２を工作物１１に近づけていき、工作物１１に刃を接触させることで、工作物１１を削り取りながら工作物１１を所望の形状に加工する。その際、工具１２は工作物１１との摩擦により熱が発生する。そこで、工具１２の近傍には、工具１２を冷却するために切削液を工具１２に吐出する切削液吐出口１４が設けられている。切削加工時において切削液吐出口１４から切削液を工具１２に吹きかけることにより、摩擦熱が発生した工具１２を冷却する。オートツールチェンジャ１５は、加工を行う際に工具の自動交換を行う装置であり、複数の工具を収納するツールマガジンを備え、主軸モータ１３に装着されている工具１２とツールマガジン内の工具を交換する。自動工具交換は、工作機械１を制御する制御装置２で実行される加工プログラムの工具交換指示に従い、ツールマガジンに装着された複数の工具の中から次に使用する工具１２を選択し、工具交換位置である主軸に近い位置までツールマガジンを旋回して移動させ、主軸に装着された工具１２と交換することによって行われる。

　工作機械１の外部には、オートツールチェンジャ１５に交換される工具１２が固定される状態で、工具１２の刃部を撮像できる位置にカメラ４が設置されている。カメラ４は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ、ＣＣＤ（Charge Coupled Device）カメラ、ハイパースペクトルカメラ、ＴＯＦ（Time of Flight）カメラ等である。カメラ４は通信ケーブルによって工具診断装置３に接続されており、カメラ４で撮像された画像はＡ／Ｄ（Analog/Digital）変換されて工具診断装置３に送られる。

　また、工作機械１には、センサ５が設置されている。センサ５は、例えば、加工時のモータ諸元データ（モータ速度、モータトルク、加速度波形、電流波形、電圧波形など）、加工関係情報（切削液吐出圧、切削液温度など）等の加工状態データを検出するために、主軸モータ１３に設置された加速度センサ、電流検出センサ、電圧検出センサ、切削液吐出口１４に設置された圧力センサ、温度センサ等である。センサ５は通信ケーブルによって工具診断装置３に接続されており、センサ５で検出された加工状態データは工具診断装置３に送られる。

　制御装置２は、工作機械１を制御する数値制御装置である。制御装置２は、工作機械１で工作物１１の切削加工を行う場合、例えば主軸回転数、送り速度、切込み量等の工作機械１の加工条件、使用する工具１２の種類・材質、及び工作物１１の材質等の工具１２及び工作物１１の諸元を予め記憶された加工プログラムに設定することにより、工作機械１を制御する。また、制御装置２は、設定された工作機械１の加工条件、工具１２及び工作物１１の諸元のデータを工具診断装置３に送出する。

　工具診断装置３は、図２に示すように、カメラ４が撮像した画像データを画像処理する画像処理部３１と、画像処理部３１で画像処理された画像データ、制御装置２から送出される工作機械１の加工条件、工具１２及び工作物１１の諸元のデータ、センサ５で検出された加工状態検出データが入力され、工具１２の摩耗による使用限界までの残り工具寿命を学習する学習部３２と、学習により生成された学習済モデルを記憶する学習済モデル記憶部３３と、学習部３２と同様に画像処理部３１で画像処理された画像データ、制御装置２から送出される工作機械１の加工条件、工具１２及び工作物１１の諸元のデータ、センサ５で検出された加工状態検出データが入力され、学習済モデル記憶部３３に記憶された学習済モデルを利用して工具１２の残り工具寿命を推論する推論部３４と、推論された工具１２の残り工具寿命に基づいて工具１２の交換の必要を警報する警報発令部３５と、を備える。画像処理部３１は、カメラ４が撮像した工具１２の刃部の画像データを画像処理して、摩耗により変色した色領域を抽出し、ラベリング処理された色領域についてエッジ検出を行い、摩耗痕の輪郭形状を抽出して摩耗痕のエッジ情報を求める。摩耗痕は、工具の摩耗が増大すると、大きくなることから、摩耗痕の大きさを測定することによって工具１２の残り工具寿命を求め、残り工具寿命の有無から、工具交換要否の判断を行うことが可能である。

　図３Ａは、工具１２の刃部１２１が工作物１１を削り取る過程を示す模式図を示しており、工具１２の刃部１２１が工作物１１を削り取る際に、切粉１１１が発生する。図３Ｂは、図３Ａの工具１２の刃部１２１が工作物１１を削り取る過程により工具１２の刃部１２１が摩耗していく過程を示す模式図を示している。工具１２の刃部１２１はすくい面１２２と逃げ面１２３で構成されており、刃部１２１が工作物１１を削り取ることにより、切粉１１１が逃げ面１２３上を摺接する。このため、逃げ面１２３側に切粉１１１との摩擦による摩耗痕１２４が生じる。摩耗痕１２４は、工具１２の加工回数及び加工距離に比例して大きくなっていき、摩耗痕１２４がある程度の大きさに達すると、工作物１１を削り取る際の抵抗が増大し、工作物１１の加工面の荒さが増大する。また、工具１２がドリル形状である場合、ドリルの刃に生じる摩耗痕１２４がある程度の大きさに達すると、工作物１１に穴をあける際の抵抗が増大し、形成される穴の直径が設計より大きくなる。上述した段階に達すると、工具１２は使用の限界に達したと判断され、工具１２は交換される。ここで、工具１２が新品の状態から使用の限界に達するまでに要する加工回数及び加工距離、又は使用限界までの耐用加工回数及び加工距離を工具寿命と呼び、工具１２が現在の状態から使用の限界に達するまでに要する加工回数及び加工距離、又は使用限界までの耐用加工回数及び加工距離を残り工具寿命と呼ぶ。工具１２の刃部１２１の摩耗痕１２４がある程度の大きさに達すると、工具１２は工具寿命に達したと判断できるため、工具の刃部１２１の摩耗痕１２４の大きさを観察すれば、工具１２の使用可否を判断することができる。図４は、摩耗痕１２４の大きさと工具１２の残り工具寿命の関係の例を示し、縦軸が残り工具寿命であり、横軸が摩耗痕１２４の大きさである。図４において、摩耗痕１２４の大きさが拡大すると、残り工具寿命は急激に短くなる。図４に示すように、摩耗痕１２４の大きさと工具１２の残り工具寿命の関係が判明していれば、摩耗痕１２４から工具１２の残り工具寿命を算出することができ、工具１２の交換要否を判断することができる。

　したがって、工具１２の残り工具寿命を的確に算出するためには、摩耗痕１２４を正しく検出することが必要である。しかしながら、加工時に発生する切粉１１１、工具の冷却に必要な切削液の存在により、摩耗痕１２４が正しく検出されない場合が生じ得る。図５Ａは加工終了後の工具１２を工具の回転軸方向から観察した図を示している。加工後の工具の刃部１２１の逃げ面１２３には切削液１２５及び切粉１１１が付着している。カメラ４で撮像する画像は２次元データであり、深さ方向のデータが無いため、画像内に存在する模様に対して、それが摩耗痕１２４であるのか、それとも切削液１２５及び切粉１１１であるのかを判別することができない。その結果、切削液１２５及び切粉１１１を摩耗痕１２４として計測してしまい、工具の刃部１２１の摩耗痕１２４の大きさが実際と異なることが生じ得る。このデータを用いて工具１２の残り工具寿命を算出した場合、正しい工具１２の交換要否を判断できず、加工中に工具１２が工具寿命に達して工作物１１が正しく加工されず、不良品となるといった問題が発生する。

　そこで、切削液１２５及び切粉１１１を誤って摩耗痕１２４と認識しないために、加工終了後の工具１２を高速回転することによって、工具１２に付着した切削液１２５及び切粉１１１を遠心力で逃げ面１２３上から除去する。高速回転終了後に工具１２をカメラ４で撮像することによって、切削液１２５及び切粉１１１が除去された状態の工具１２の画像を得ることが可能となり、切削液１２５及び切粉１１１を誤って摩耗痕１２４と認識する可能性が低くなる。

　ただし、高速回転により、必ずしも切削液１２５及び切粉１１１が除去されない場合もある。この場合を以下に説明する。図５Ｂは、図５Ａの状態から、高速回転を行った後の工具１２を工具１２の回転軸方向から観察した図を示す。工具１２の高速回転により、工具１２に付着している切削液１２５及び切粉１１１は、完全には除去されないが、回転中心から離れる方向に移動する。すなわち、工具１２の高速回転前後で、切削液１２５及び切粉１１１の位置は変化している。これに対して摩耗痕１２４は、工具１２の高速回転前後で、位置の変化はない。したがって、工具１２の高速回転前後で、それぞれ工具１２の画像を撮像しておけば、両画像を比較することによって、回転中心から離れる方向に位置が変化している模様を切削液１２５及び切粉１１１と特定することができる。図６に、高速回転前後のカメラ４による工具１２の撮像処理動作のフローチャートを示す。制御装置２は、加工処理終了後、オートツールチェンジャ１５に工具１２が固定される状態で、工具１２をカメラ４が撮像できる位置に工具１２を移動し、カメラ４は工具１２の刃部１２１を撮像する（ステップＳ１０１）。撮像後、制御装置２は、工具１２を主軸モータ１３に取り付け、工具１２を高速で回転させる（ステップＳ１０２）。高速回転後、制御装置２は、工具１２をカメラ４が撮像できる位置に移動させて、カメラ４は工具１２の刃部１２１を再度撮像する（ステップＳ１０３）。ステップＳ１０３の処理が実行されると、撮像処理を終了する。なお、工具１２の高速回転とその後のカメラ４での撮像は、１回だけでなく複数回行ってもよい。また、回転の度に回転速度を変化させてもよく、回転中に回転速度を変化させてもよい。撮像処理が終了すると、撮像された画像は、工具診断装置３に送出される。工具診断装置３では、送られてきた画像を画像処理部３１で画像処理を行う。次に、図７に画像処理部３１で行われる画像処理動作を示す。画像処理部３１は、送られてきた高速回転前後の画像を比較して、位置が変化している模様がないかを確認する（ステップＳ２０１）。比較の結果、位置が変化している模様が検出されるとその領域を高速回転により移動した摩耗痕１２４以外の付着物である切削液１２５又は切粉１１１であると特定する（ステップＳ２０２）。切削液１２５及び切粉１１１が特定されると、特定された模様を画像から除去する画像処理を行い（ステップＳ２０３）、画像処理を終了する。これによって、画像から摩耗痕１２４のみが抽出され、工具１２の刃部１２１の画像からは摩耗痕１２４の大きさのみ計測することができる。なお。上記画像処理は画像処理部３１が実行したが、カメラ４において上記画像処理を実行してもよい。

　工具診断装置３は、前述したように、上記画像処理がなされた画像データを入力の１つとし、工具１２の摩耗による使用限界までの残り工具寿命を学習する学習部３２と、学習済モデルを利用して工具１２の残り工具寿命を推論する推論部３４を備える。学習部３２は、図８に示すように、カメラ４から送信される工具１２の刃部１２１の画像データ、制御装置２から送信される工作機械１の加工条件、工具及び工作物の諸元データ、センサ５で検出された加工状態検出データといった学習用データを取得するデータ取得部３２１と、データ取得部３２１で取得した学習用データを入力データとし、機械学習によって学習済モデルを生成するモデル生成部３２２と、を備え、モデル生成部３２２で生成された学習済モデルを記憶する学習済モデル記憶部３３が設けられている。カメラ４で撮像される工具１２の刃部１２１の画像データと、データ取得部３２１で取得する工作機械１の加工条件データと、工具１２及び工作物１１の諸元データと、加工状態検出データを学習用データとし、工具１２の残り工具寿命を学習する。すなわち、工具１２の刃部１２１の画像データと、工作機械１の加工条件データと、工具１２及び工作物１１の諸元データ、加工状態検出データから、工具１２の残り工具寿命を推論する学習済モデルを作成する。ここで学習用データとは、工具の刃部１２１の画像データと、工作機械１の加工条件データと、工具１２及び工作物１１の諸元データと、加工状態検出データと、工具１２の残り工具寿命を互いに関連付けたデータである。

　なお、学習部３２及び推論部３４は、工作機械１の工具１２の残り工具寿命を学習するために使用されるが、例えば、ネットワークを介して工作機械１に接続され、この工作機械１とは別個の装置である学習装置、推論装置として存在してもよい。また、学習装置及び推論装置は、工作機械１に内蔵されていてもよいし、制御装置２に内蔵されていてもよい。さらに、学習装置及び推論装置は、クラウドサーバ上に存在していてもよい。

　モデル生成部３２２が用いる学習アルゴリズムは教師あり学習、教師なし学習、強化学習等の公知のアルゴリズムを用いることができる。一例として、ニューラルネットワークを適用した場合について説明する。モデル生成部３２２は、例えば、ニューラルネットワークモデルに従って、いわゆる教師あり学習により、工具１２の使用限界までの耐用加工回数及び加工距離を学習する。ここで、教師あり学習とは、入力と結果（ラベル）のデータの組を学習部３２に与えることで、それらの学習用データにある特徴を学習し、入力から結果を推論する手法をいう。

　ニューラルネットワークは、複数のニューロンによって構成される入力層、複数のニューロンによって構成される中間層（隠れ層）、及び複数のニューロンによって構成される出力層で構成される。中間層は、１層、又は２層以上でもよい。例えば、図９に示すような３層のニューラルネットワークであれば、複数の入力が入力層（Ｘ１‐Ｘ３）に入力されると、その値に重みＷ１（ｗ１１‐ｗ１６）を掛けて中間層（Ｙ１‐Ｙ２）に入力され、その結果にさらに重みＷ２（ｗ２１‐ｗ２６）を掛けて出力層（Ｚ１‐Ｚ３）から出力される。この出力結果は、重みＷ１とＷ２の値によって変わる。

　本実施の形態において、ニューラルネットワークは、データ取得部３２１によって取得される工具１２の刃部１２１の画像データと、工作機械１の加工条件データと、工具１２及び工作物１１の諸元データと、加工状態データと、工具１２の残り工具寿命の組合せに基づいて作成される学習用データに従って、いわゆる教師あり学習により、工具１２の残り工具寿命を学習する。すなわち、ニューラルネットワークは、入力層に工具１２の刃部１２１の画像データと、工作機械１の加工条件データと、工具１２及び工作物１１の諸元データと、加工状態データと、を入力して出力層から出力された結果が、工具１２の残り工具寿命に近づくために重みＷ１とＷ２を調整することで学習する。モデル生成部３２２は、以上の学習を実行することで学習済モデルを生成する。生成された学習済モデルは、学習済モデル記憶部３３に出力される。学習済モデル記憶部３３は、モデル生成部３２２から出力された学習済モデルを記憶する。

　次に、図１０を用いて、学習部３２が学習する処理について説明する。ステップＳ３０１において、データ取得部３２１は工具１２の刃部１２１の画像データと、工作機械１の加工条件データと、工具１２及び工作物１１の諸元データと、加工状態データと、工具１２の残り工具寿命を取得する。なお、工具１２の刃部１２１の画像データ、工具１２の残り工具寿命を同時に取得するものとしたが、工具１２の刃部１２１の画像データ、工具１２の残り工具寿命を関連づけて入力できれば良く、工具１２の刃部１２１の画像データ、工具１２の残り工具寿命のデータをそれぞれ別のタイミングで取得しても良い。ステップＳ３０２において、モデル生成部３２２は、データ取得部３２１によって取得される工具１２の刃部１２１の画像データと、工作機械１の加工条件データと、工具１２及び工作物１１の諸元データと、加工状態データと、工具１２の残り工具寿命の組合せに基づいて作成される学習用データに従って、いわゆる教師あり学習により、工具１２の残り工具寿命を学習し、学習済モデルを生成する学習処理を行う。ステップＳ３０３において、学習済モデル記憶部３３は、モデル生成部３２２が生成した学習済モデルを記憶する。ステップＳ３０３が実行されると学習処理を終了する。

　学習済モデルが生成されると、学習済モデルを用いて推論部３４が工具１２の残り工具寿命を推論する。推論部３４は、図１１に示すように、データ取得部３４１と、残り工具寿命推論部３４２と、を備え、学習済モデル記憶部３３から学習済モデルを読み出して推論に利用する。データ取得部３４１は工具１２の刃部１２１の画像データと、工作機械１の加工条件データと、工具１２及び工作物１１の諸元データと、加工状態データと、を取得する。残り工具寿命推論部３４２は、学習済モデルを利用して得られる工具１２の残り工具寿命を推論する。すなわち、この学習済モデルにデータ取得部３４１で取得した工具１２の刃部１２１の画像データと、工作機械１の加工条件データと、工具１２及び工作物１１の諸元データと、加工状態データと、を入力することで、工具１２の刃部１２１の画像データと、工作機械１の加工条件データと、工具１２及び工作物１１の諸元データから推論される工具１２の残り工具寿命を出力することができる。なお、本実施の形態では、工作機械１のデータを入力として学習部３２のモデル生成部３２２で学習した学習済モデルを用いて工具１２の残り工具寿命を出力するものとして説明したが、他の工作機械、他の学習装置等の外部から学習済モデルを取得し、この学習済モデルに基づいて工具１２の残り工具寿命を出力してもよい。

　次に、図１２を用いて、推論部３４と警報発令部３５による工具交換の判断処理の動作について説明する。ステップＳ４０１において、データ取得部３４１は　工具１２の刃部１２１の画像データと、工作機械１の加工条件データと、工具１２及び工作物１１の諸元データと、加工状態データと、を取得する。なお、工具１２の刃部１２１の画像データを取得する際は、加工直後と高速回転後の工具１２の刃部１２１をそれぞれカメラ４で撮像し、２枚の画像を比較し、回転中心から離れる方向に位置が変化している模様を切削液１２５及び切粉１１１と特定する。特定された切削液１２５及び切粉１１１は、画像処理部３１の画像処理によって画像から除去され、工具１２の刃部１２１の画像からは摩耗痕１２４のみが抽出され、摩耗痕１２４の大きさを計測する。ステップＳ４０２において、推論部３４は学習済モデル記憶部３３に記憶された学習済モデルに工具１２の刃部１２１の画像データと、工作機械１の加工条件データと、工具１２及び工作物１１の諸元データと、加工状態データを入力し、工具１２の残り工具寿命を得る。ステップＳ４０３において、推論部３４は、学習済モデルにより得られた工具１２の残り工具寿命を警報発令部３５に出力する。ステップＳ４０４において、警報発令部３５は、出力された工具１２の残り工具寿命と工作物１１を加工するのに必要な加工回数及び加工距離を比較し、工作物１１を加工するのに必要な加工回数及び加工距離に対して工具１２の残り工具寿命が不足していた場合、警報を発令し、ユーザに工具１２の交換を促す。警報は、映像によるものであっても音声であるものであってもよい。また、警報発令部３５は、制御装置２に工具１２の残り工具寿命が不足している旨を通知する。制御装置２は、この通知を受けて、工具１２を自動的に交換する制御を行ってもよい。これにより、工具１２の工具寿命を余すところなく使い切ることができる。

　なお、本実施の形態では、学習部３２のモデル生成部３２２が用いる学習アルゴリズムに教師あり学習を適用した場合について説明したが、これに限られるものではない。学習アルゴリズムについては、教師あり学習以外にも、強化学習、教師なし学習、又は半教師あり学習等を適用することも可能である。また、モデル生成部３２２は、複数の工作機械１に対して作成される学習用データに従って、工具１２の使用限界までの耐用加工回数及び加工距離を学習してもよい。なお、モデル生成部３２２は、同一のエリアで使用される複数の工作機械１から学習用データを取得してもよいし、異なるエリアで独立して動作する複数の工作機械１から収集される学習用データを利用して工具１２の使用限界までの耐用加工回数及び加工距離を学習してもよい。また、学習用データを収集する工作機械１を途中で対象に追加、または対象から除去することも可能である。さらに、ある工作機械１に関して工具１２の使用限界までの耐用加工回数及び加工距離を学習した学習装置を、これとは別の工作機械１に適用し、当該別の工作機械１に関して工具１２の使用限界までの耐用加工回数及び加工距離を再学習して更新してもよい。また、モデル生成部３２２に用いられる学習アルゴリズムとしては、特徴量そのものの抽出を学習する、深層学習（Deep Learning）を用いることもでき、他の公知の方法、例えば遺伝的プログラミング、機能論理プログラミング、サポートベクターマシンなどに従って機械学習を実行してもよい。

　工具診断装置３は、コンピュータであり、ハードウェア的には、図１３に示すように、制御プログラムにしたがってデータを処理するプロセッサ４１と、プロセッサのワークエリアとして機能する主記憶部４２と、データを長期間にわたって記憶するための補助記憶部４３と、データ入力を受け付ける入力部４４と、データを出力する出力部４５と、他の装置と通信する通信部４６と、表示部４７と、これらの要素を相互に接続するバスと、を備える。補助記憶部４３には、プロセッサが実行するデータ収集処理の制御プログラムが記憶されている。入力部４４は、カメラ４から送信されてくる画像データ、制御装置２から送信されてくる加工条件、工具１２及び工作物１１の諸元データ、センサ５から送信されてくる加工状態データを受信し、プロセッサ４１に提供する。プロセッサ４１は、補助記憶部４３に記憶されたプログラムを主記憶部４２に読み出して実行することにより、図２に示した画像処理部３１、学習部３２、推論部３４、警報発令部３５として機能する。また、補助記憶部４３は、学習済モデル記憶部３３として機能する。

（第２の実施の形態）
　第１の実施の形態においては、工作機械１内にオートツールチェンジャ１５が設けられており、カメラ４は、オートツールチェンジャ１５に交換される工具１２が固定される状態で、工具１２の刃部１２１を撮像できる工作機械１の外部の位置に設置されていた。これに対して第２の実施の形態では、オートツールチェンジャ１５が設けられていない工作機械１の場合におけるカメラ４の配置について開示する。図１４は本開示の第２の実施の形態に係る工具診断システム１００を示す構成図である。工作機械１はオートツールチェンジャ１５を設けていないことから、工具１２の刃部１２１を観察するカメラ４は、主軸モータ１３に取り付けられた工具１２を直接撮像するため、工作機械１の内部に設置される。この場合、切削液１２５及び切粉１１１からカメラ４を保護するため、カメラ４は、カメラ保護カバー６とカメラ保護シャッタ７の内部に設置される。カメラ保護カバー６は、上面を除くカメラ４の周囲を覆う箱状体である。カメラ保護カバー６の上面には、カメラ保護カバー６内に配置されたカメラ４のレンズを覆うカメラ保護シャッタ７が設けられている。カメラ保護シャッタ７は、開閉可能であり、制御装置２の制御により自動開閉される。また、カメラ保護カバー６は、水平方向に移動可能に設けられており、主軸モータ１３に取り付けられた工具１２に対向する下方位置と工具１２に対向しない位置の間で移動できる。カメラ保護カバー６は、制御装置２の制御により自動的に移動する。

　工具１２の刃部１２１を撮像する際は、主軸モータ１３と切削液１２５の吐出が停止し、カメラ保護カバー６とカメラ保護シャッタ７に保護されたカメラ４がカメラ保護カバー６とカメラ保護シャッタ７とともに工具１２の直下に移動する。その後、カメラ保護シャッタ７が開き、カメラ４が露出された状態でカメラ４は工具１２の刃部１２１を撮像する。撮像が終了すると、カメラ保護シャッタ７は閉じられ、カメラ保護カバー６が工具１２の直下の位置から移動することにより、カメラ４は工具１２の直下の位置から待避する。

　なお、本実施の形態ではカメラ４が移動するとしたが、カメラ４の位置は固定され、工具１２がカメラ４の位置に移動してもよい。この構成によれば、オートツールチェンジャ１５を装備していない工作機械１にも本開示の工具診断システムを適用することができる。また、工具１２をオートツールチェンジャ１５に移し替える作業が不要となるので、工具診断の時間を短縮することができる。

（第３の実施の形態）
　第１の実施の形態においては、加工処理終了後に工具１２を高速回転して刃部１２１に付着した切削液１２５及び切粉１１１を除去あるいは移動させることにより切削液１２５及び切粉１１１を摩耗痕１２４と誤認することなく正しく摩耗痕１２４を抽出できることを開示した。これに対して第３の実施の形態では、工具１２の高速回転では除去あるいは移動できない工具１２に強固に付着した切削液１２５及び切粉１１１を除去あるいは移動可能とする。図１５は、第３の実施の形態に係る工具診断システム１００を示す構成図である。本実施の形態では、工作機械１の内部に工具１２を洗浄する超音波洗浄機８が設置されている。超音波洗浄機８は、超音波洗浄機保護カバー９と超音波洗浄機保護シャッタ１０の内部に設置され、切削液１２５及び切粉１１１から保護されている。加工終了後、工具１２をオートツールチェンジャ１５に移し替える前に、工具１２を超音波洗浄機８の直上に移動し、工具１２の刃部１２１を超音波洗浄機８の洗浄容器に蓄えられたアセトン、エタノール等の洗浄液に浸漬した状態で超音波洗浄する。超音波洗浄後、工具１２をオートツールチェンジャ１５に移し替え、工具診断装置３にて工具１２の交換要否を判断する。この構成によれば、工具１２に強固に付着しており、工具１２の高速回転でも位置が変化しない切削液１２５及び切粉１１１を除去、あるいは工具１２への付着の強度を低減することができ、工具１２の高速回転で切削液１２５及び切粉１１１の位置が変化可能となるので、第１の実施の形態に比べて確実に切削液１２５と切粉１１１を撮像画像から除去することができる。

（第４の実施の形態）
　第４の実施の形態では、第２の実施の形態における工作機械１に第３の実施の形態における超音波洗浄機８を設けた構成を開示する。図１６は第４の実施の形態に係る工具診断システム１００を示す構成図である。本実施の形態では、工作機械１の内部に、工具１２の刃部１２１を観察するカメラ４と、超音波洗浄機８を設置している。カメラ４はカメラ保護カバー６とカメラ保護シャッタ７の内部に設置され、切削液１２５及び切粉１１１から保護されている。また、超音波洗浄機８は、超音波洗浄機保護カバー９と超音波洗浄機保護シャッタ１０の内部に設置され、切削液１２５及び切粉１１１から保護されている。

　加工終了後、工具１２を超音波洗浄機８の直上に移動し、工具１２の刃部１２１を超音波洗浄機８の洗浄容器に蓄えられたアセトン、エタノール等の洗浄液に浸漬した状態で超音波洗浄する。超音波洗浄後、工具１２の刃部１２１を撮像する際は、カメラ保護カバー６とカメラ保護シャッタ７に保護されたカメラ４が工具１２の直下に移動する。その後、カメラ保護シャッタ７が開き、カメラ４が露出された状態となる。カメラ４が露出されると、カメラ４は工具１２の刃部１２１を撮像する。

　なお、本実施の形態ではカメラ４が移動するとしたが、工具１２が、固定されたカメラ４の位置に移動してもよい。この構成によれば、オートツールチェンジャ１５を装備していない工作機械１にも本開示の工具診断システムを適用することができる。また、工具１２をオートツールチェンジャ１５に移し替える作業が不要となるので、工具診断の時間を短縮することができる。更には、工具１２に強固に付着しており、工具１２の高速回転でも位置が変化しない切削液１２５及び切粉１１１を除去、あるいは工具１２への付着の強度を低減することができ、工具１２の高速回転で切削液１２５及び切粉１１１の位置が変化するので、第１の実施の形態に比べて確実に切削液１２５と切粉１１１を撮像画像から除去することができる。

（第５の実施の形態）
　第１～４の実施の形態においては、カメラは、工具の回転軸方向に配置されていた。これに対して第５の実施の形態では、工具の回転軸と垂直の方向にカメラが追加される場合について開示する。第１～４の実施の形態において、工具１２は、図５Ａ、Ｂのように、その回転軸方向から、刃部１２１の逃げ面１２３と逃げ面１２３上に付着した切削液１２５及び切粉１１１を観察できる形状を有している。これに対して、回転軸方向から、刃部１２１の逃げ面１２３が十分に見えない形状を有した工具の場合、逃げ面１２３上に付着した切削液１２５及び切粉１１１の移動を十分に観察することができない。

　図１７及び図１８は、上記形状を有した工具の例として工具１６を示す。図１７は、加工完了後の工具１６の状態を示す図であり、図１８は、高速回転を行った後の工具１６の状態を示す図である。図１７Ａ及び図１８Ａは、工具１６を、工具１６の回転軸方向と垂直の方向(側面)から観察した図を示し、図１７Ｂ及び図１８Ｂは、工具１６を、工具１６の回転軸方向（底面）から観察した図を示している。矢印は、工具１６の回転方向を示している。工具１６は、回転軸と平行に刃部１６１が設けられており、加工後の工具の刃部１６１の逃げ面１６３には、切削液１６５及び切粉１５１が付着している。高速回転により、逃げ面１６３に付着した切削液１６５及び切粉１５１は、回転軸の中心から離れる方向に移動する。しかしながら、工具１６は、回転軸と平行に刃部１６１が設けられていることから、工具１６の回転軸方向から観察した図１７Ｂでは、逃げ面１６３上に付着した切削液１６５及び切粉１５１を十分に観察することができない。したがって、工具１６の回転軸と垂直の方向から工具１６を撮像するカメラを追加配置することによって、逃げ面１６３上に付着した切削液１６５及び切粉１５１の十分な観察を可能とした。そして、実施の形態１と同様に、高速回転により位置が変化した模様を異物として特定し、画像処理により除去する。

　図１９は、本開示の第５の実施の形態に係る工具診断システム１００を示す構成図である。工具１２の代わりに工具１６が設けられている点、工具１６の回転軸方向と垂直の方向に配置されているカメラ２４とカメラ２４を保護するカメラ保護カバー２６及びカメラ保護シャッタ２７が設けられている点、ブラシ１７及びエアー吐出口１８が設けられている点を除き、図１６と同様である。カメラ２４は、カメラ４と同様に、通信ケーブルによって工具診断装置３に接続されており、カメラ２４で撮像された画像はＡ／Ｄ変換されて工具診断装置３に送られる。工具１６は工具１２に取り替え可能となっている。工具１６が取り付けられた場合、カメラ２４が工具１６を撮像することにより、工具１６の状態を観察する。また、工具１２が取り付けられた場合、カメラ４が工具１２を撮像することにより工具１２の状態を観察する。これにより、工具の形状にかかわらず、工具の状態を十分に観察することができる。また、カメラ４とカメラ２４の両方で撮像して工具の状態を観察してもよい。

　なお、カメラ４とカメラ２４を設けることに代えて、カメラ４を、工具の種類に応じて、カメラ４を移動して、工具の回転軸方向から、回転軸方向と垂直の方向にカメラ４の位置と姿勢を変更、または、工具の回転軸方向と垂直の方向から、回転軸方向にカメラ４の位置と姿勢を変更してもよい。カメラ４を移動することにより、カメラ２４を追加配置する必要がなく、カメラの必要台数を２台から１台に削減することができる。また、カメラ４は固定されており、工具１２及び工具１６が位置と姿勢を変更してもよい。

　工具１２及び工具１６が回転する際、工具１２及び工具１６より十分に硬度が低いブラシ１７（ナイロンブラシ等）を接触させる、もしくは、エアー吐出口１８から吐出されるエアーを刃部１２１及び１６１に吹き付けることにより、刃部１２１及び１６１を清掃し、切削液１２５、１６５及び切粉１１１、１５１を除去してもよい。また、前記の動作の前後で、超音波洗浄機８により、切削液１２５、１６５及び切粉１１１、１５１を除去してもよい。

　第５の実施の形態を採用することにより、回転軸と垂直の方向に刃を持つ工具１２のみならず、回転軸と平行の方向に刃を持つ工具１６についても工具診断することが可能となる。また、刃部１２１及び刃部１６１が、ブラシ１７及びエアー吐出口１８より吐出されるエアーに接触することにより、切削液１２５、１６５と、切粉１１１、１５１を除去できる可能性が高まるため、第１の実施の形態に比べて確実に切削液１２５、１６５と、切粉１１１、１５１を撮像画像から除去することができる。さらに、超音波洗浄機８を併用すれば、第４の実施の形態に比べて確実に切削液１２５、１６５と、切粉１１１、１５１を撮像画像から除去することができる。

　上記の実施の形態では、学習部３２及び推論部３４への入力として画像データ、加工条件データ、工具及び工作物の諸元データ、センサ５から検出される加工状態データとしたが、必ずしもこれらの全てのデータを入力とする必要はなく、例えば、加工状態データを省略することができる。また、他に関連性のあるデータを入力として加えてもよい。

　本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本開示を説明するためのものであり、本開示の範囲を限定するものではない。つまり、本開示の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、本開示の範囲内とみなされる。

　本出願は、２０２２年５月２４日に出願された日本国特許出願特願２０２２－０８４２４８号に基づく。本明細書中に日本国特許出願特願２０２２－０８４２４８号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。

（付記１）
　工作物を加工する工作機械と、
　前記工作機械に取り付けられた工具の刃部を撮像する撮像装置と、
　前記工具の刃部の画像を画像処理する画像処理部と、
　前記画像処理後の前記工具の刃部の画像、前記工作機械の加工条件、前記工具及び前記工作物の諸元を学習用データとし、前記工具の残り工具寿命を学習する機械学習によって学習済モデルを生成するモデル生成部と、
　前記学習済モデルに前記画像処理後の前記工具の刃部の画像、前記工作機械の加工条件、前記工具及び前記工作物の諸元を入力することで、前記工具の残り工具寿命を出力する推論部と、
　を備え、
　前記画像処理部は、加工直後に撮像した前記工具の刃部の画像と、前記撮像後に前記工具を高速回転した後に撮像した前記工具の刃部の画像を比較し、摩耗痕を特定する、
　工具診断システム。
（付記２）
　前記画像処理部は、
　前記比較により、画像内の模様の位置が変化しているものを前記工具の刃部に付着する付着物として特定し、前記付着物を画像処理によって画像内から除去する、
　付記１に記載の工具診断システム。
（付記３）
　前記工具の残り工具寿命と工作物を加工するのに必要な加工回数及び加工距離を比較し、前記工具の残り工具寿命が前記工作物を加工するのに必要な加工回数及び加工距離に対して不足していた場合、工具の交換を促す警報を発令する警報発令部を備える、
　付記１又は２に記載の工具診断システム。
（付記４）
　前記撮像装置を前記工作機械の内部に設けた、
　付記１から３のいずれか１つに記載の工具診断システム。
（付記５）
　前記工具の刃部を洗浄する超音波洗浄機を前記工作機械の内部に設けた、
　付記１から４のいずれか１つに記載の工具診断システム。
（付記６）
　前記工具の刃部を清掃するブラシ又はエアー吐出口を前記工作機械の内部に設けた、
　付記１から５のいずれか１つに記載の工具診断システム。
（付記７）
　工作物を加工する工作機械の工具の摩耗状態を画像から診断する工具診断装置において、
　前記工具の刃部の画像を画像処理する画像処理部と、
　前記画像処理後の前記工具の刃部の画像、前記工作機械の加工条件、前記工具及び前記工作物の諸元を学習用データとし、前記工具の残り工具寿命を学習する機械学習によって学習済モデルを生成するモデル生成部と、
　前記学習済モデルに前記画像処理後の前記工具の刃部の画像、前記工作機械の加工条件、前記工具及び前記工作物の諸元を入力することで、前記工具の残り工具寿命を出力する推論部と、
　を備え、
　前記画像処理部は、加工直後に撮像した前記工具の刃部の画像と、前記撮像後に前記工具を高速回転した後に撮像した前記工具の刃部の画像を比較し、摩耗痕を特定する、
　工具診断装置。
（付記８）
　工作物を加工する工作機械の工具の摩耗状態を画像から診断する工具診断方法において、
　前記工具の刃部の画像を画像処理する画像処理ステップと、
　前記画像処理後の前記工具の刃部の画像、前記工作機械の加工条件、前記工具及び前記工作物の諸元を学習用データとし、前記工具の残り工具寿命を学習する機械学習によって学習済モデルを生成するモデル生成ステップと、
　前記学習済モデルに前記画像処理後の前記工具の刃部の画像、前記工作機械の加工条件、前記工具及び前記工作物の諸元を入力することで、前記工具の残り工具寿命を出力する推論ステップと、
　を備え、
　前記画像処理ステップでは、加工直後に撮像した前記工具の刃部の画像と、前記撮像後に前記工具を高速回転した後に撮像した前記工具の刃部の画像を比較し、摩耗痕を特定する、
　工具診断方法。
（付記９）
　工作物を加工する工作機械の工具の摩耗状態を画像から診断する工具診断装置におけるプログラムであって、
　コンピュータを、
　前記工具の刃部の画像を画像処理する画像処理部、
　前記画像処理後の前記工具の刃部の画像、前記工作機械の加工条件、前記工具及び前記工作物の諸元を学習用データとし、前記工具の残り工具寿命を学習する機械学習によって学習済モデルを生成するモデル生成部、
　前記学習済モデルに前記画像処理後の前記工具の刃部の画像、前記工作機械の加工条件、前記工具及び前記工作物の諸元を入力することで、前記工具の残り工具寿命を出力する推論部、
　として機能させ、
　前記画像処理部は、加工直後に撮像した前記工具の刃部の画像と、前記撮像後に前記工具を高速回転した後に撮像した前記工具の刃部の画像を比較し、摩耗痕を特定する、
　プログラム。

　１　工作機械、２　制御装置、３　工具診断装置、４，２４　カメラ、５　センサ、６，２６　カメラ保護カバー、７，２７　カメラ保護シャッタ、８　超音波洗浄機、９　超音波洗浄機保護カバー、１０　超音波洗浄機保護シャッタ、１１　工作物、１２，１６　工具、１３　主軸モータ、１４　切削液吐出口、１５　オートツールチェンジャ、１７　ブラシ、１８　エアー吐出口、３１　画像処理部、３２　学習部、３３　学習済モデル記憶部、３４　推論部、３５　警報発令部、４１　プロセッサ、４２　主記憶部、４３　補助記憶部、４４　入力部、４５　出力部、４６　通信部、４７　表示部、１００　工具診断システム、１１１，１５１　切粉、１２１，１６１　刃部、１２２　すくい面、１２３，１６３　逃げ面、１２４　摩耗痕、１２５，１６５　切削液、３２１，３４１　データ取得部、３２２　モデル生成部、３４２　残り工具寿命推論部。

Claims

　工作物を加工する工作機械と、
　前記工作機械に取り付けられた工具の刃部を撮像する撮像装置と、
　前記工具の刃部の画像を画像処理する画像処理部と、
　前記画像処理後の前記工具の刃部の画像、前記工作機械の加工条件、前記工具及び前記工作物の諸元を学習用データとし、前記工具の残り工具寿命を学習する機械学習によって学習済モデルを生成するモデル生成部と、
　前記学習済モデルに前記画像処理後の前記工具の刃部の画像、前記工作機械の加工条件、前記工具及び前記工作物の諸元を入力することで、前記工具の残り工具寿命を出力する推論部と、
　を備え、
　前記画像処理部は、加工直後に撮像した前記工具の刃部の画像と、前記撮像後に前記工具を高速回転した後に撮像した前記工具の刃部の画像を比較し、摩耗痕を特定する、
　工具診断システム。
　前記画像処理部は、
　前記比較により、画像内の模様の位置が変化しているものを前記工具の刃部に付着する付着物として特定し、前記付着物を画像処理によって画像内から除去する、
　請求項１に記載の工具診断システム。
　前記工具の残り工具寿命と工作物を加工するのに必要な加工回数及び加工距離を比較し、前記工具の残り工具寿命が前記工作物を加工するのに必要な加工回数及び加工距離に対して不足していた場合、工具の交換を促す警報を発令する警報発令部を備える、
　請求項１又は２に記載の工具診断システム。
　前記撮像装置を前記工作機械の内部に設けた、
　請求項１から３のいずれか１項に記載の工具診断システム。
　前記工具の刃部を洗浄する超音波洗浄機を前記工作機械の内部に設けた、
　請求項１から４のいずれか１項に記載の工具診断システム。
　前記工具の刃部を清掃するブラシ又はエアー吐出口を前記工作機械の内部に設けた、
　請求項１から５のいずれか１項に記載の工具診断システム。
　工作物を加工する工作機械の工具の摩耗状態を画像から診断する工具診断装置において、
　前記工具の刃部の画像を画像処理する画像処理部と、
　前記画像処理後の前記工具の刃部の画像、前記工作機械の加工条件、前記工具及び前記工作物の諸元を学習用データとし、前記工具の残り工具寿命を学習する機械学習によって学習済モデルを生成するモデル生成部と、
　前記学習済モデルに前記画像処理後の前記工具の刃部の画像、前記工作機械の加工条件、前記工具及び前記工作物の諸元を入力することで、前記工具の残り工具寿命を出力する推論部と、
　を備え、
　前記画像処理部は、加工直後に撮像した前記工具の刃部の画像と、前記撮像後に前記工具を高速回転した後に撮像した前記工具の刃部の画像を比較し、摩耗痕を特定する、
　工具診断装置。
　工作物を加工する工作機械の工具の摩耗状態を画像から診断する工具診断方法において、
　前記工具の刃部の画像を画像処理する画像処理ステップと、
　前記画像処理後の前記工具の刃部の画像、前記工作機械の加工条件、前記工具及び前記工作物の諸元を学習用データとし、前記工具の残り工具寿命を学習する機械学習によって学習済モデルを生成するモデル生成ステップと、
　前記学習済モデルに前記画像処理後の前記工具の刃部の画像、前記工作機械の加工条件、前記工具及び前記工作物の諸元を入力することで、前記工具の残り工具寿命を出力する推論ステップと、
　を備え、
　前記画像処理ステップでは、加工直後に撮像した前記工具の刃部の画像と、前記撮像後に前記工具を高速回転した後に撮像した前記工具の刃部の画像を比較し、摩耗痕を特定する、
　工具診断方法。
　工作物を加工する工作機械の工具の摩耗状態を画像から診断する工具診断装置におけるプログラムであって、
　コンピュータを、
　前記工具の刃部の画像を画像処理する画像処理部、
　前記画像処理後の前記工具の刃部の画像、前記工作機械の加工条件、前記工具及び前記工作物の諸元を学習用データとし、前記工具の残り工具寿命を学習する機械学習によって学習済モデルを生成するモデル生成部、
　前記学習済モデルに前記画像処理後の前記工具の刃部の画像、前記工作機械の加工条件、前記工具及び前記工作物の諸元を入力することで、前記工具の残り工具寿命を出力する推論部、
　として機能させ、
　前記画像処理部は、加工直後に撮像した前記工具の刃部の画像と、前記撮像後に前記工具を高速回転した後に撮像した前記工具の刃部の画像を比較し、摩耗痕を特定する、
　プログラム。