JP7496080B2 - 工作機械 - Google Patents
工作機械 Download PDFInfo
- Publication number
- JP7496080B2 JP7496080B2 JP2020120922A JP2020120922A JP7496080B2 JP 7496080 B2 JP7496080 B2 JP 7496080B2 JP 2020120922 A JP2020120922 A JP 2020120922A JP 2020120922 A JP2020120922 A JP 2020120922A JP 7496080 B2 JP7496080 B2 JP 7496080B2
- Authority
- JP
- Japan
- Prior art keywords
- tool
- model data
- work
- classification model
- regression model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013145 classification model Methods 0.000 claims description 143
- 238000001514 detection method Methods 0.000 claims description 100
- 230000007257 malfunction Effects 0.000 claims description 42
- 230000007547 defect Effects 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000013515 script Methods 0.000 description 20
- 238000005520 cutting process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000003754 machining Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000013329 compounding Methods 0.000 description 4
- 238000012552 review Methods 0.000 description 3
- 206010047571 Visual impairment Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000011089 mechanical engineering Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Description
特許法第30条第2項適用 令和2年1月1日 日刊工業新聞社発行の「機械技術 第68巻 第1号(2020年1月号)通巻第868号 第32~35頁」に発表
本発明は、刃物台に取り付けられている工具に切粉が付着している不具合や刃物台に取り付けられている工具に欠け若しくはキズが生じている不具合の有無を検知する工具不具合検知装置を備える工作機械に関するものである。
例えば、工作機械の切削加工においては、加工により切粉が発生するが、この切粉は、ワークへの切込み量が少ないなどの条件が重なると適切な長さに分断されず繋がったままで長さの長い切粉になることがあり、このような長い切粉が刃物台やこの刃物台に取り付けられた工具ホルダーや切削工具(バイト)に絡み付いて、ワークの加工面に悪影響を及ぼす不具合や、絡み付いた切粉が工具交換装置内に持ち込まれて動作不良や装置破損の原因となる不具合が発生することがある。
そのため、この切粉の絡み付きによる不具合の発生を防止するために、例えば工作機械が現作業を終え次作業(切削処理や工具交換)に移る前に一旦作業を停止し、作業者が目視で切粉の絡み付きの有無を確認し、問題なければ次作業に進み、絡み付きが確認されれば切粉の除去を行なってから次作業に移るといった対応を行なっていたが、一般的に、作業者は一台の工作機械に付きっきりでいる訳ではなく、通常は複数の工作機械を受け持っているので、上記のような対応では、工作機械が切削作業を終えて確認作業の為に一旦停止しても、他の工作機械のところに移動していて直ぐに作業者が確認作業を行なうことができない場合が多く、そのため、工作機械の停止時間が長くなり稼働率低下の原因となっていた。
そこで、本出願人は、特開2016-42066号に開示される領域ベースマッチング手法と特徴ベースマッチング手法を組み合わせて異物(切粉)の付着の有無を検知する異物付着検知装置を備える工作機械を提案している。
しかしながら、上記の領域ベースマッチング手法と特徴ベースマッチング手法とを組み合わせた手法では、従来の差分法を用いたものに比べて検知精度は向上するものの、水滴、陰影、汚れなどの画像上のノイズの影響による精度低下を防止するまでには至らず、そのままでは水滴、陰影、汚れなどの画像上のノイズの影響による誤検知が生じてしまうおそれがあるため、この水滴、陰影、汚れなどの画像上のノイズによる誤検知の発生を回避すべく、水滴が付着する部位や陰影の揺らぎが大きい部位を検知対象外領域に設定しなければならず、これにより、検知対象外領域に付着した切粉を検出することができないという問題を有していた。
本発明は、このような現状に鑑みなされたものであり、水滴、陰影、汚れなどの画像上のノイズの影響に強く、検知対象外領域を設定せずとも誤検知を防止し、刃物台に取り付けられている工具に切粉が付着している不具合や刃物台に取り付けられている工具に欠け若しくはキズが生じている不具合の有無を精度良く検知することができる工具不具合検知装置を備える工作機械を提供することを目的とする。
添付図面を参照して本発明の要旨を説明する。
刃物台に取り付けられている工具に切粉が付着している不具合、又は刃物台に取り付けられている工具に欠け若しくはキズが生じている不具合の有無を検知する工具不具合検知装置を備える工作機械であって、前記工具不具合検知装置は、撮影手段により得られた工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された工具撮影画像のブロック毎に学習データをもとに前記不具合の存在確率を算出した分類モデルデータを生成する分類モデル手段と、撮影手段により得られた工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された工具撮影画像のブロック毎に学習データをもとにこのブロック中の前記不具合があると判断されたピクセル数を算出した回帰モデルデータを生成する回帰モデル手段とを備え、前記分類モデル手段により生成された前記分類モデルデータと、前記回帰モデル手段により生成された回帰モデルデータとに基づいて、前記工具に前記不具合が生じているか否かの工具不具合検知結果を生成するように構成されていることを特徴とする工作機械に係るものである。
また、請求項1記載の工作機械において、前記工具不具合検知装置は前記工具に切粉が付着している不具合の有無を検知するものであることを特徴とする工作機械に係るものである。
また、請求項1記載の工作機械において、前記工具不具合検知装置は前記工具に欠け若しくはキズが生じている不具合の有無を検知するものであることを特徴とする工作機械に係るものである。
また、請求項1~3いずれか1項に記載の工作機械において、前記工具不具合検知装置は、前記分類モデル手段により生成される作業前分類モデルデータと作業後分類モデルデータとの差分により前記分類モデルデータを生成すると共に、前記回帰モデル手段により生成される作業前回帰モデルデータと作業後回帰モデルデータとの差分により前記回帰モデルデータを生成し、この回帰モデルデータと前記分類モデルデータとに基づいて、前記工具に前記不具合が生じているか否かの前記工具不具合検知結果を生成するように構成され、前記作業前分類モデルデータは、作業前に前記撮影手段により得られた作業前工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された作業前工具撮影画像のブロック毎に学習データをもとに前記不具合の存在確率を算出したものであり、前記作業後分類モデルデータは、作業後に前記撮影手段により得られた作業後工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された作業後工具撮影画像のブロック毎に学習データをもとに前記不具合の存在確率を算出したものであり、前記作業前回帰モデルデータは、作業前に前記撮影手段により得られた作業前工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された作業前工具撮影画像のブロック毎に学習データをもとにこのブロック中の前記不具合があると判断されたピクセル数を算出したものであり、前記作業後回帰モデルデータは、作業後に前記撮影手段により得られた作業後工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された作業後工具撮影画像のブロック毎に学習データをもとにこのブロック中の前記不具合があると判断されたピクセル数を算出したものであることを特徴とする工作機械に係るものである。
また、請求項1~4いずれか1項に記載の工作機械において、前記工具不具合検知装置は、前記分類モデルデータと前記回帰モデルデータとの同一座標のブロック同士の前記不具合の存在確率と、前記不具合があると判断されたピクセル数を照合し、当該ブロックにおいて分類モデルデータの前記不具合の存在確率が所定値以上で且つ回帰モデルデータのピクセル数が所定数以上であった場合に当該ブロックに前記不具合が有るとして処理するように構成されていることを特徴とする工作機械に係るものである。
本発明は上述のように構成したから、水滴、陰影、汚れなどの画像上のノイズの影響に強く、検知対象外領域を設定せずとも誤検知を防止し、刃物台に取り付けられている工具に切粉が付着している不具合や刃物台に取り付けられている工具に欠け若しくはキズが生じている不具合の有無を精度良く検知することができる工具不具合検知装置を備え、作業者(オペレータ)の工作機械への対応時間を低減し、高い稼働率を実現可能とする画期的な工作機械となる。
好適と考える本発明の実施形態を、図面に基づいて本発明の作用を示して簡単に説明する。
本発明の工作機械に備えられる工具不具合検知装置は、刃物台に取り付けられた工具を撮影した工具撮影画像からディープラーニングの一手法である畳み込みニューラルネットワーク(CNN=Convolutional Neural Network)を用いて学習された学習データ(学習済み分類モデル及び学習済み回帰モデル)をもとに、分類モデル手段で工具撮影画像中の工具に切粉が付着している不具合や工具撮影画像中の工具に欠け若しくはキズが生じている不具合の存在確率を算出した分類モデルデータを生成し、回帰モデル手段で工具撮影画像中の切粉、欠け、キズといった不具合のピクセル数を算出した回帰モデルデータを生成し、この分類モデルデータと回帰モデルデータの二つのデータから工具に前記不具合が生じているか否かの工具不具合検知結果を生成する。
具体的には、分類モデル手段においては、工具撮影画像を所定ピクセルサイズ(例えば64×64ピクセル)にブロック分割し、学習データ(ブロック分割したブロック毎に前記不具合の有無をラベル付けし、前記不具合のピクセル値やその配列パターンを畳み込みニューラルネットワークを用いて学習し得られたデータ(情報))をもとに、ブロック毎に前記不具合の存在確率を算出した分類モデルデータが生成される。
また、回帰モデル手段においては、工具撮影画像を所定ピクセルサイズ(例えば64×64ピクセル)にブロック分割し、学習データ(ブロック分割したブロック毎に前記不具合が写っているピクセル数をカウントし、前記不具合のピクセル値やその配列パターンを畳み込みニューラルネットワークを用いて学習し得られたデータ(情報))をもとに、ブロック毎に前記不具合に属するピクセル数を算出した回帰モデルデータが生成される。
そして、この分類モデルデータと回帰モデルデータに基づいて、例えば分類モデルデータと回帰モデルデータとの同一座標のブロック同士の前記不具合の存在確率と前記不具合があると判断されたピクセル数を照合し、当該ブロックにおいて分類モデルデータの前記不具合の存在確率が所定値以上で且つ回帰モデルデータのピクセル数が所定数以上であった場合に前記不具合有りとして処理した工具不具合検知結果を生成(出力)する。
このように、本発明の切粉付着検知装置は、AI(Artificial Intelligence)を用いることで水滴、陰影、汚れなどの画像上のノイズの影響を受けにくい検知が可能なものとなり、これまで検知対象外としなければならなかった領域(部位)も検知対象とすることができ、検知漏れが防止され、前記不具合の有無を精度良く検知することができる工具不具合検知装置を備える画期的な工作機械となる。
本発明の具体的な実施例1について図面に基づいて説明する。
本実施例は、本発明の工作機械に備えられる工具不具合検知装置を、工具に切粉が付着しているか否かを検知する切粉付着検知装置に構成した場合である。
すなわち、本実施例は、刃物台に取り付けられている工具に切粉が付着しているか否かを検知する切粉付着検知装置を備える工作機械である。
この本実施例に備えられる切粉付着検知装置は、AI(Artificial Intelligence)が用いられていて、このAIを用いた学習によりこれまで識別が難しかった水滴、陰影、汚れなどの画像上のノイズと切粉との識別を可能にし、検知対象外領域の設定を不要とする共により高精度に切粉の有無を検知(検出)することができるように構成されている。
具体的には、本実施例に備えられる切粉付着検知装置は、USBカメラやWebカメラなどの撮影手段により得られた工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された工具撮影画像のブロック毎に学習データをもとに切粉の存在確率を算出した分類モデルデータを生成する分類モデル手段と、撮影手段により得られた工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された工具撮影画像のブロック毎に学習データをもとにこのブロック中の切粉があると判断されたピクセル数を算出した回帰モデルデータを生成する回帰モデル手段とを備え、この分類モデル手段により生成された分類モデルデータと、回帰モデル手段により生成された回帰モデルデータとに基づいて、工具に切粉が付着しているか否かを判別した切粉検出結果を生成するように構成されている。
より具体的には、分類モデル手段は、撮影手段により得られた工具撮影画像(静止画像)を64×64ピクセルのブロックに分割し、言い換えると、工具撮影画像を1ブロックが64×64ピクセルのグリッド状(格子状)にブロック分割し、このブロック分割された工具撮影画像のブロック毎にディープラーニングの畳み込みニューラルネットワークにより得られた学習データをもとに切粉の存在確率を示した分類モデルデータを生成(出力)するように構成(プログラミング)されている。
さらに具体的に説明すると、分類モデル手段は、作業前(加工開始前、すなわち切粉が付着していない状態)の工具を撮影した作業前工具撮影画像から生成される作業前分類モデルデータと、作業後(加工後)の工具を撮影した作業後工具撮影画像から生成される作業後分類モデルデータとの差分により差分分類モデルデータを生成し、この差分分類モデルデータにおいて、作業前後の切粉存在確率の差が一定の閾値を超えたブロックのみを切粉と認識し、その切粉存在確率を出力すると共に、この切粉と認識されたブロックが一定数以上連結した状態で出力されたものを最終的に切粉と識別してその存在確率を示した分類モデルデータを生成(出力)するように構成されている。
すなわち、本実施例に備えられる切粉付着検知装置の分類モデル手段は、作業前に生成される作業前分類モデルデータと作業後に生成される作業後分類モデルデータとの差分を利用して分類モデルデータを生成することで、工具撮影画像中における切粉に似た部品などを切粉と誤認識してしまうことを可及的に防止すると共に、作業前後の切粉存在確率の差が一定の閾値を超えて切粉と認識されたブロックが一定数以上連結した状態で出力されたものを最終的に切粉と識別することで、バイトホルダーの一部分を切粉として誤認識したり、ホルダー下部や前面ガラスに付着した水滴などの液滴を切粉として誤認識したりすることを可及的に防止して、精度の高い分類モデルデータを生成するように構成されている。
また、回帰モデル手段は、撮影手段により得られた工具撮影画像(静止画像)を64×64ピクセルのブロックに分割し、言い換えると、工具撮影画像を1ブロックが64×64ピクセルのグリッド状(格子状)にブロック分割し、このブロック分割された工具撮影画像のブロック毎にディープラーニングの畳み込みニューラルネットワークにより得られる学習データをもとにこのブロック中の切粉があると判断されたピクセル数を示した回帰モデルデータを生成するように構成(プログラミング)されている。
具体的には、回帰モデル手段は、前述した分類モデル手段同様、作業前(加工開始前、すなわち切粉が付着していない状態)の工具を撮影した作業前工具撮影画像から生成される作業前回帰モデルデータと、作業後(加工後)の工具を撮影した作業後工具撮影画像から生成される作業後回帰モデルデータとの差分により回帰モデルデータを生成するように構成されている。
本実施例に備えられる切粉付着検知装置は、前述したようにこの分類モデル手段により生成された分類モデルデータと、回帰モデル手段により生成された回帰モデルデータとに基づいて、工具に切粉が付着しているか否かを判別した切粉検出結果を生成するように構成されているが、具体的には、分類モデルデータと回帰モデルデータとの同一座標のブロック同士の切粉存在確率と切粉があると判断されたピクセル数を照合し、当該ブロックにおいて分類モデルデータが示す切粉存在確率が所定値以上で且つ回帰モデルデータが示すピクセル数が所定数以上であった場合に切粉有りとして処理するように構成されている。
より具体的には、本実施例に備えられる切粉付着検知装置は、分類モデルデータにおいて切粉有りと認識されたブロックについて、回帰モデルデータの同一座標のブロックにおけるピクセル数を照合し、この回帰モデルデータにおけるピクセル数が所定数に達していない場合、分類モデルデータに示される結果を却下し、この回帰モデルデータの結果によって精査した精査後分類モデルデータを工具に切粉が付着しているか否かを判別した切粉検出結果として生成(出力)するように構成されている。
すなわち、本実施例に備えられる切粉付着検知装置の切粉検知処理は、以下のような手順で行われる。なお、図1~3は切粉有りの検知事例であり、図4~6は切粉無しの検知事例を示すものである。
先ず、図1(若しくは図4)に示すように、作業前の工具を撮影手段により撮影取得した作業前工具撮影画像から分類モデル手段により作業前分類モデルデータを生成し、回帰モデル手段により作業前回帰モデルデータを生成する。
次に、図2(若しくは図5)に示すように、作業後の工具を撮影手段により撮影取得した作業後工具撮影画像から分類モデル手段により作業後分類モデルデータを生成し、回帰モデル手段により作業後回帰モデルデータを生成する。
次に、分類モデル手段により作業前分類モデルデータと作業後分類モデルデータとの差分をとって差分分類モデルデータを生成し、この差分分類モデルデータにおいて切粉有りと出力されたブロックに対して、作業前後の切粉存在確率の差が一定の閾値を超えたブロックのみを切粉と認識し、その切粉存在確率を出力すると共に、この切粉と認識されたブロックが一定数以上連結した状態で出力されたものを最終的に切粉と認識してその存在確率を示した分類モデルデータを生成し、回帰モデル手段により作業前回帰モデルデータと作業後回帰モデル手段との差分をとった差分回帰モデルデータを回帰モデルデータとして生成する。
次に、図3(若しくは図6)に示すように、切粉検出結果手段により分類モデル手段により生成された分類モデルデータと回帰モデル手段により生成された回帰モデルデータとを照合(調合)し、分類モデルデータにおいて切粉有りと認識されたブロックについて、回帰モデルデータの同一座標のブロックにおけるピクセル数を照合し、この回帰モデルデータにおけるピクセル数が所定数に達していない場合、分類モデルデータに示される結果を却下し、この回帰モデルデータの結果によって精査した精査後分類モデルデータを工具に切粉が付着しているか否かを判別した切粉検出結果として生成する。
また、本実施例に備えられる切粉付着検知装置の学習は、以下のように行われる。
まず、切粉が付着している工具を撮影した切粉有工具撮影画像を準備し、図7(a)に示すように、画像アノテーションツールを用いてこの切粉有工具撮影画像中の切粉を手作業にてマーキングする(切粉部分のポリゴンを囲む)。
具体的には、切粉有工具撮影画像中の切粉に対して「chip」若しくは「wire」のタグ付けをしたポリゴンで切粉部分を囲むようにマーキングする。
次に、この切粉をマーキングした画像をアノテーション作業により、図7(b)に示すようなラベル付き画像に変換する。
最後に、このラベル付き画像に対して所定プログラムを実行し、64×64ピクセルのブロック毎に切粉の有無が正しく区別されているかどうか(図7(c)に示すように切粉有りのブロックは色付き枠で表示される)を確認し、その後、この画像を畳み込みニューラルネットワークの学習用データに変換する。この際、分類モデルデータ用、回帰モデルデータ用を別々に作成する。
本実施例に備えられる切粉付着検知装置は、以上のように作成される学習用データを用いて分類モデルデータ及び回帰モデルデータをその最適なハイパーパラメータも含めて学習させることで、切粉の検知精度(識別力)を高めることができる。
なお、本実施例に備えられる切粉付着検知装置においては、分類モデル手段及び回帰モデル手段の各モデルデータ生成プログラムは、画像にアノテーションして生成されたJSONファイルから一括して対応するラベル画像を生成するためのスクリプト、ラベル画像を可視化して切粉領域にポジティブなラベルが付与されているかどうかを確認するためのスクリプト、ラベル画像をまとめて、学習用のデータセットを作成するためのスクリプト、学習用のデータセットをもとに分類モデルデータ及び回帰モデルデータの最適なハイパーパラメータを探索し、モデルデータファイル及びパラメータ情報を生成するためのスクリプト、モデルデータを作成するためのスクリプト、学習に用いたデータセットに対するモデルの性能を再確認したいときに使用するためのスクリプト、分類モデルデータと回帰モデルデータの調合パラメータの学習や評価に使用するためのスクリプト、調合パラメータの学習に使用しなかったデータに対する最終的な評価結果をマシン毎に出力するためのスクリプト、及び1280×1024の任意の前後画像を含むディレクトリの親ディレクトリを指定し、検出結果を画面に表示するためのスクリプトの10個のスクリプトからなるものが用いられている。
また、本実施例に備えられる切粉付着検知装置は、上述のようにして生成される切粉検出結果から切粉無しと判断した場合は、工作機械側に作業可能の信号を出力し、また、切粉有りと判断した場合は、工作機械側に作業中断の信号を出力すると共に、切粉の付着を作業者に知らせるための警報を発報するように構成されている。なお、警報の発報は切粉付着検知装置から切粉有りの信号を受けた工作機械側で発報する構成としても良い。
本実施例は、以上のように構成される切粉付着検知装置を備えるから、切粉付着検知装置の誤検知や検知漏れにより切粉が付着した状態での作業による製品不良の発生が可及的に低減されることで、作業者(オペレータ)の工作機械への対応時間が低減され、作業者の負荷が軽減されると共に、高い装置稼働率を実現可能とする画期的な工作機械となる。
本発明の具体的な実施例2について図面に基づいて説明する。
本実施例は、本発明の工作機械に備えられる工具不具合検知装置を、工具に欠け若しくはキズが生じているか否かを検知する欠け・キズ検知装置に構成した場合である。
すなわち、本実施例は、刃物台に取り付けられている工具に欠け若しくはキズが生じているか否かを検知する欠け・キズ検知装置を備える工作機械である。
この本実施例に備えられる欠け・キズ検知装置は、AI(Artificial Intelligence)が用いられていて、このAIを用いた学習によりこれまで識別が難しかったチップ自体の模様やチップブレーカーの模様などのノイズと欠けやキズとの識別を可能にし、検知対象外領域の設定を不要とすると共に、より高精度にチップの欠け若しくはキズの有無を検知(検出)することができるように構成されている。
具体的には、本実施例に備えられる工具不具合検知装置は、USBカメラやWebカメラなどの撮影手段により得られた工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された工具撮影画像のブロック毎に学習データをもとに欠け若しくはキズの存在確率を算出した分類モデルデータを生成する分類モデル手段と、撮影手段により得られた工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された工具撮影画像のブロック毎に学習データをもとにこのブロック中の欠け若しくはキズがあると判断されたピクセル数を算出した回帰モデルデータを生成する回帰モデル手段とを備え、この分類モデル手段により生成された分類モデルデータと、回帰モデル手段により生成された回帰モデルデータとに基づいて、工具に欠け若しくはキズが生じているか否かを判別した欠け・キズ検出結果を生成するように構成されている。
より具体的には、分類モデル手段は、撮影手段により得られた工具撮影画像(静止画像)を64×64ピクセルのブロックに分割し、言い換えると、工具撮影画像を1ブロックが64×64ピクセルのグリッド状(格子状)にブロック分割し、このブロック分割された工具撮影画像のブロック毎にディープラーニングの畳み込みニューラルネットワークにより得られた学習データをもとに欠けやキズの存在確率を示した分類モデルデータを生成(出力)するように構成(プログラミング)されている。
さらに具体的に説明すると、分類モデル手段は、作業前(加工開始前、すなわち欠け若しくはキズが生じていない状態)の工具を撮影した作業前工具撮影画像から生成される作業前分類モデルデータと、作業後(加工後)の工具を撮影した作業後工具撮影画像から生成される作業後分類モデルデータとの差分により差分分類モデルデータを生成し、この差分分類モデルデータにおいて、作業前後の欠け若しくはキズの存在確率の差が一定の閾値を超えたブロックのみを欠け若しくはキズと認識し、その欠け若しくはキズの存在確率を出力すると共に、この欠け若しくはキズと認識されたブロックが一定数以上連結した状態で出力されたものを最終的に欠け若しくはキズと識別してその存在確率を示した分類モデルデータを生成(出力)するように構成されている。
すなわち、本実施例に備えられる欠け・キズ検知装置の分類モデル手段は、作業前に生成される作業前分類モデルデータと作業後に生成される作業後分類モデルデータとの差分を利用して分類モデルデータを生成することで、工具撮影画像中における欠け若しくはキズに似た模様などを欠け若しくはキズと誤認識してしまうことを可及的に防止すると共に、作業前後の欠け若しくはキズの存在確率の差が一定の閾値を超えて欠け若しくはキズと認識されたブロックが一定数以上連結した状態で出力されたものを最終的に欠け若しくはキズと識別することで、チップの一部分を欠け若しくはキズとして誤認識したり、チップブレーカーの模様などを欠け若しくはキズとして誤認識したりすることを可及的に防止して、精度の高い分類モデルデータを生成するように構成されている。
また、回帰モデル手段は、撮影手段により得られた工具撮影画像(静止画像)を64×64ピクセルのブロックに分割し、言い換えると、工具撮影画像を1ブロックが64×64ピクセルのグリッド状(格子状)にブロック分割し、このブロック分割された工具撮影画像のブロック毎にディープラーニングの畳み込みニューラルネットワークにより得られる学習データをもとにこのブロック中の欠け若しくはキズがあると判断されたピクセル数を示した回帰モデルデータを生成するように構成(プログラミング)されている。
具体的には、回帰モデル手段は、前述した分類モデル手段同様、作業前(加工開始前、すなわち欠けやキズが生じていない状態)の工具を撮影した作業前工具撮影画像から生成される作業前回帰モデルデータと、作業後(加工後)の工具を撮影した作業後工具撮影画像から生成される作業後回帰モデルデータとの差分により回帰モデルデータを生成するように構成されている。
本実施例に備えられる欠け・キズ検知装置は、前述したようにこの分類モデル手段により生成された分類モデルデータと、回帰モデル手段により生成された回帰モデルデータとに基づいて、工具に欠け若しくはキズが生じているか否かを判別した欠け・キズ検出結果を生成するように構成されているが、具体的には、分類モデルデータと回帰モデルデータとの同一座標のブロック同士の欠け若しくはキズの存在確率と欠け若しくはキズがあると判断されたピクセル数を照合し、当該ブロックにおいて分類モデルデータが示す欠け若しくはキズの存在確率が所定値以上で且つ回帰モデルデータが示すピクセル数が所定数以上であった場合に欠け若しくはキズが有るとして処理するように構成されている。
より具体的には、本実施例に備えられる欠け・キズ検知装置は、分類モデルデータにおいて欠け若しくはキズが有ると認識されたブロックについて、回帰モデルデータの同一座標のブロックにおけるピクセル数を照合し、この回帰モデルデータにおけるピクセル数が所定数に達していない場合、分類モデルデータに示される結果を却下し、この回帰モデルデータの結果によって精査した精査後分類モデルデータを工具に欠け若しくはキズが生じているか否かを判別した欠け・キズ検出結果として生成(出力)するように構成されている。
すなわち、本実施例に備えられる欠け・キズ検知装置の欠け・キズ検知処理は、以下のような手順で行われる。なお、図8~10は欠け若しくはキズ有りの検知事例を示すものである。
先ず、図8に示すように、作業前の工具を撮影手段により撮影取得した作業前工具撮影画像から分類モデル手段により作業前分類モデルデータを生成し、回帰モデル手段により作業前回帰モデルデータを生成する。
次に、図9に示すように、作業後の工具を撮影手段により撮影取得した作業後工具撮影画像から分類モデル手段により作業後分類モデルデータを生成し、回帰モデル手段により作業後回帰モデルデータを生成する。
次に、分類モデル手段により作業前分類モデルデータと作業後分類モデルデータとの差分をとって差分分類モデルデータを生成し、この差分分類モデルデータにおいて欠け若しくはキズが有ると出力されたブロックに対して、作業前後の欠け若しくはキズの存在確率の差が一定の閾値を超えたブロックのみを欠け若しくはキズと認識し、その欠け若しくはキズの存在確率を出力すると共に、この欠け若しくはキズと認識されたブロックが一定数以上連結した状態で出力されたものを最終的に欠け若しくはキズと認識してその存在確率を示した分類モデルデータを生成し、回帰モデル手段により作業前回帰モデルデータと作業後回帰モデル手段との差分をとった差分回帰モデルデータを回帰モデルデータとして生成する。
次に、図10に示すように、欠け・キズ検出結果手段により分類モデル手段により生成された分類モデルデータと回帰モデル手段により生成された回帰モデルデータとを照合(調合)し、分類モデルデータにおいて欠け若しくはキズが有ると認識されたブロックについて、回帰モデルデータの同一座標のブロックにおけるピクセル数を照合し、この回帰モデルデータにおけるピクセル数が所定数に達していない場合、分類モデルデータに示される結果を却下し、この回帰モデルデータの結果によって精査した精査後分類モデルデータを工具(チップ)に欠け若しくはキズが生じているか否かを判別した欠け・キズ検出結果として生成する。
また、本実施例に備えられる欠け・キズ検知装置の学習は、以下のように行われる。
まず、欠け若しくはキズが生じている工具を撮影した欠け・キズ有工具撮影画像を準備し、画像アノテーションツールを用いてこの欠け・キズ有工具撮影画像中の欠け若しくはキズを手作業にてマーキングする(欠け若しくはキズ部分のポリゴンを囲む)。
具体的には、欠け・キズ有工具撮影画像中の欠け若しくはキズに対して「chip」若しくは「wear」のタグ付けをしたポリゴンで欠け若しくはキズ部分を囲むようにマーキングする。
次に、この欠け若しくはキズをマーキングした画像をアノテーション作業により、ラベル付き画像に変換する。
最後に、このラベル付き画像に対して所定プログラムを実行し、64×64ピクセルのブロック毎に欠け若しくはキズの有無が正しく区別されているかどうかを確認し、その後、この画像を畳み込みニューラルネットワークの学習用データに変換する。この際、分類モデルデータ用、回帰モデルデータ用を別々に作成する。
本実施例に備えられる欠け・キズ検知装置は、以上のように作成される学習用データを用いて分類モデルデータ及び回帰モデルデータをその最適なハイパーパラメータも含めて学習させることで、欠け若しくはキズの検知精度(識別力)を高めることができる。
なお、本実施例に備えられる欠け・キズ検知装置においては、分類モデル手段及び回帰モデル手段の各モデルデータ生成プログラムは、画像にアノテーションして生成されたJSONファイルから一括して対応するラベル画像を生成するためのスクリプト、ラベル画像を可視化して欠け若しくはキズの領域にポジティブなラベルが付与されているかどうかを確認するためのスクリプト、ラベル画像をまとめて、学習用のデータセットを作成するためのスクリプト、学習用のデータセットをもとに分類モデルデータ及び回帰モデルデータの最適なハイパーパラメータを探索し、モデルデータファイル及びパラメータ情報を生成するためのスクリプト、モデルデータを作成するためのスクリプト、学習に用いたデータセットに対するモデルの性能を再確認したいときに使用するためのスクリプト、分類モデルデータと回帰モデルデータの調合パラメータの学習や評価に使用するためのスクリプト、調合パラメータの学習に使用しなかったデータに対する最終的な評価結果をマシン毎に出力するためのスクリプト、及び1280×1024の任意の前後画像を含むディレクトリの親ディレクトリを指定し、検出結果を画面に表示するためのスクリプトの10個のスクリプトからなるものが用いられている。
また、本実施例に備えられる欠け・キズ検知装置は、上述のようにして生成される欠け・キズ検出結果から欠け若しくはキズが無いと判断した場合は、工作機械側に作業可能の信号を出力し、また、欠け若しくはキズが有ると判断した場合は、工作機械側に作業中断の信号を出力すると共に、欠け若しくはキズが生じていることを作業者に知らせるための警報を発報するように構成されている。なお、警報の発報は欠け・キズ検知装置から欠け若しくはキズが有るとの信号を受けた工作機械側で発報する構成としても良い。
本実施例は、以上のように構成される欠け・キズ検知装置を備えるから、欠け・キズ検知装置の誤検知や検知漏れによりチップに欠け若しくはキズが生じている状態での作業による製品不良の発生が可及的に低減される画期的な工作機械となる。
なお、本発明は、実施例1,2に限られるものではなく、各構成要件の具体的構成は適宜設計し得るものである。
Claims (5)
- 刃物台に取り付けられている工具に切粉が付着している不具合、又は刃物台に取り付けられている工具に欠け若しくはキズが生じている不具合の有無を検知する工具不具合検知装置を備える工作機械であって、前記工具不具合検知装置は、撮影手段により得られた工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された工具撮影画像のブロック毎に学習データをもとに前記不具合の存在確率を算出した分類モデルデータを生成する分類モデル手段と、撮影手段により得られた工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された工具撮影画像のブロック毎に学習データをもとにこのブロック中の前記不具合があると判断されたピクセル数を算出した回帰モデルデータを生成する回帰モデル手段とを備え、前記分類モデル手段により生成された前記分類モデルデータと、前記回帰モデル手段により生成された回帰モデルデータとに基づいて、前記工具に前記不具合が生じているか否かの工具不具合検知結果を生成するように構成されていることを特徴とする工作機械。
- 請求項1記載の工作機械において、前記工具不具合検知装置は前記工具に切粉が付着している不具合の有無を検知するものであることを特徴とする工作機械。
- 請求項1記載の工作機械において、前記工具不具合検知装置は前記工具に欠け若しくはキズが生じている不具合の有無を検知するものであることを特徴とする工作機械。
- 請求項1~3いずれか1項に記載の工作機械において、前記工具不具合検知装置は、前記分類モデル手段により生成される作業前分類モデルデータと作業後分類モデルデータとの差分により前記分類モデルデータを生成すると共に、前記回帰モデル手段により生成される作業前回帰モデルデータと作業後回帰モデルデータとの差分により前記回帰モデルデータを生成し、この回帰モデルデータと前記分類モデルデータとに基づいて、前記工具に前記不具合が生じているか否かの前記工具不具合検知結果を生成するように構成され、前記作業前分類モデルデータは、作業前に前記撮影手段により得られた作業前工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された作業前工具撮影画像のブロック毎に学習データをもとに前記不具合の存在確率を算出したものであり、前記作業後分類モデルデータは、作業後に前記撮影手段により得られた作業後工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された作業後工具撮影画像のブロック毎に学習データをもとに前記不具合の存在確率を算出したものであり、前記作業前回帰モデルデータは、作業前に前記撮影手段により得られた作業前工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された作業前工具撮影画像のブロック毎に学習データをもとにこのブロック中の前記不具合があると判断されたピクセル数を算出したものであり、前記作業後回帰モデルデータは、作業後に前記撮影手段により得られた作業後工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された作業後工具撮影画像のブロック毎に学習データをもとにこのブロック中の前記不具合があると判断されたピクセル数を算出したものであることを特徴とする工作機械。
- 請求項1~4いずれか1項に記載の工作機械において、前記工具不具合検知装置は、前記分類モデルデータと前記回帰モデルデータとの同一座標のブロック同士の前記不具合の存在確率と、前記不具合があると判断されたピクセル数を照合し、当該ブロックにおいて分類モデルデータの前記不具合の存在確率が所定値以上で且つ回帰モデルデータのピクセル数が所定数以上であった場合に当該ブロックに前記不具合が有るとして処理するように構成されていることを特徴とする工作機械。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019152085 | 2019-08-22 | ||
JP2019152085 | 2019-08-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021036421A JP2021036421A (ja) | 2021-03-04 |
JP7496080B2 true JP7496080B2 (ja) | 2024-06-06 |
Family
ID=
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015131357A (ja) | 2014-01-10 | 2015-07-23 | 三菱重工業株式会社 | 工作機械の工具折損検知装置 |
JP2018138327A (ja) | 2017-02-24 | 2018-09-06 | ファナック株式会社 | 工具状態推定装置及び工作機械 |
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015131357A (ja) | 2014-01-10 | 2015-07-23 | 三菱重工業株式会社 | 工作機械の工具折損検知装置 |
JP2018138327A (ja) | 2017-02-24 | 2018-09-06 | ファナック株式会社 | 工具状態推定装置及び工作機械 |
Non-Patent Citations (1)
Title |
---|
JIA xiaoyu, LUO Wenguang,Crack Damage Detection of Bridge Based on Convolutional Neural Networks,2019 Chinese Control And Decision Conference (CCDC),米国,IEEE,2019年06月05日,https://ieeexplore.ieee.org/document/8833336 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3176537B1 (en) | System for automated in-process inspection of welds | |
US10297021B2 (en) | Defect quantification method, defect quantification device, and defect evaluation value display device | |
JP4933771B2 (ja) | 画像システムにおいてビデオツールを自動的にリカバリーするシステムおよび方法 | |
CN109886298A (zh) | 一种基于卷积神经网络的焊缝质量检测方法 | |
CN111179250B (zh) | 一种基于多任务学习的工业品缺陷检测系统 | |
WO2015120193A1 (en) | Defect detection and classification based on attributes determined from a standard reference image | |
JP6336353B2 (ja) | 工作機械 | |
Szkilnyk et al. | Vision based fault detection of automated assembly equipment | |
CN205538710U (zh) | 一种基于机器视觉的电感质量自动检测系统 | |
EP3812747A1 (en) | Defect identifying method, defect identifying device, defect identifying program, and recording medium | |
CN115144399B (zh) | 一种基于机器视觉的装配质量检测方法及装置 | |
CN116337868B (zh) | 一种表面缺陷检测方法及检测系统 | |
JP2019057211A (ja) | 部品計数装置、部品計数方法およびプログラム | |
JP7496080B2 (ja) | 工作機械 | |
US20220284699A1 (en) | System and method of object detection using ai deep learning models | |
CN114226262A (zh) | 瑕疵检测方法、瑕疵分类方法及其系统 | |
JP6708695B2 (ja) | 検査装置 | |
US20240033933A1 (en) | Tool checking device, storage device storing tool checking program, and tool checking method for robot arm | |
JP2021036421A (ja) | 工作機械 | |
Ivanovska et al. | Visual Inspection and Error Detection in a Reconfigurable Robot Workcell: An Automotive Light Assembly Example. | |
CN103453840A (zh) | 弹子锁锁芯精度的自动检测方法 | |
Onita et al. | Quality control in porcelain industry based on computer vision techniques | |
JP7207948B2 (ja) | 外観検査方法及びプログラム | |
JP2021157550A (ja) | 検出装置及びプログラム | |
CN111815705A (zh) | 激光跟踪仪滤光保护镜片污染识别方法、装置及电子设备 |