JPWO2020175308A1 - 切屑検出装置、工作機械、切屑検出方法、学習用画像合成装置 - Google Patents

切屑検出装置、工作機械、切屑検出方法、学習用画像合成装置 Download PDF

Info

Publication number
JPWO2020175308A1
JPWO2020175308A1 JP2020542668A JP2020542668A JPWO2020175308A1 JP WO2020175308 A1 JPWO2020175308 A1 JP WO2020175308A1 JP 2020542668 A JP2020542668 A JP 2020542668A JP 2020542668 A JP2020542668 A JP 2020542668A JP WO2020175308 A1 JPWO2020175308 A1 JP WO2020175308A1
Authority
JP
Japan
Prior art keywords
mesh
image
chip
chips
cleaning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020542668A
Other languages
English (en)
Inventor
絢一郎 奥野
絢一郎 奥野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DMG Mori Co Ltd
Original Assignee
DMG Mori Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DMG Mori Co Ltd filed Critical DMG Mori Co Ltd
Publication of JPWO2020175308A1 publication Critical patent/JPWO2020175308A1/ja
Priority to JP2022083536A priority Critical patent/JP2022116122A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23QDETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/2409Arrangements for indirect observation of the working space using image recording means, e.g. a camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23QDETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q11/00Accessories fitted to machine tools for keeping tools or parts of the machine in good working condition or for cooling work; Safety devices specially combined with or arranged in, or specially adapted for use in connection with, machine tools
    • B23Q11/0042Devices for removing chips
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Machine Tool Sensing Apparatuses (AREA)
  • Auxiliary Devices For Machine Tools (AREA)

Abstract

工作機械によってワークを加工した際に生じる切屑を簡単かつ高精度に検出するため、工作機械によってワークを加工した際に生じる切屑を検出する切屑検出装置であって、切屑を検出する対象エリアを撮影したエリア画像の少なくとも一部を所定のメッシュサイズで複数のメッシュ画像に分割処理するメッシュ分割部と、切屑に関する切屑情報を判定するためにあらかじめ設定された判定用パラメータを用いて、メッシュ画像のそれぞれについて切屑情報を判定する切屑情報判定部と、を有する。

Description

本発明は、工作機械によってワークを加工した際に生じる切屑を検出する切屑検出装置、工作機械、切屑検出方法、学習用画像合成装置などに関するものである。
従来、工作機械によってワークを加工した際に生じる切屑は、加工時にワークを傷つける要因となったり、加工不良、機械の動作不良および意図しない動作停止による稼働率の低下を引き起こす要因となったりしている。このため、加工中に発生する切屑を自動的に検出し除去する技術として、例えば、特開平7−108435号公報には、テーブルおよびワークの画像を取り込んで、切屑の位置を検出する切屑除去装置が開示されている(特許文献1)。
特開平7−108435号公報
しかしながら、加工中に発生する切屑は、加工条件、使用する工具、ワークの素材等の違いによって、形状、色、サイズ、集合状況等が異なり無数のバリエーションが存在する。また、画像の背景となる機内環境についても、構造と位置、ワークや治具の種類、クーラント(洗浄液)の有無、照度等の条件があり、その組み合わせには様々なパターンが存在する。
このため、特許文献1のように、一枚の画像全体から切屑を検出しようとすると、当該画像には多数の切屑と機内環境とが多種多様な組み合わせで複雑に写り込んでいる。このため、画像処理によって各切屑を精緻かつ高精度に検出することは困難であり、全ての切屑を検出するための画像処理に膨大な計算量や時間を要する。
そこで、本発明では、切屑検出装置、工作機械、切屑検出方法、学習用画像合成装置などを提供するものである。
本発明の一態様である切屑検出装置は、工作機械によってワークを加工した際に生じる切屑を簡単かつ高精度に検出するという課題を解決するために、工作機械によってワークを加工した際に生じる切屑を検出する切屑検出装置であって、前記切屑を検出する対象エリアを撮影したエリア画像の少なくとも一部を所定のメッシュサイズで複数のメッシュ画像に分割処理するメッシュ分割部と、前記切屑に関する切屑情報を判定するためにあらかじめ設定された判定用パラメータを用いて、前記メッシュ画像のそれぞれについて前記切屑情報を判定する切屑情報判定部と、を有する。
本発明によれば、工作機械によってワークを加工した際に生じる切屑を簡単に検出することができる。
切屑検出装置およびこれを備えた工作機械の一実施形態を示すブロック図である。 本実施形態において、エリア画像を複数のメッシュ画像に分割した状態を示す図である。 本実施形態において、複数の部分画像を合成してエリア画像を構成する様子を示す図である。 本実施形態のメッシュ分割部による分割処理を示す図である。 本実施形態の切屑情報である「クラス」を説明する図である。 本実施形態の切屑判定モデルによる判定処理を示す図である。 非機械学習アルゴリズムを採用した切屑情報判定部によって算出される、メッシュ画像の特徴量の一例を示す図である。 本実施形態のティーチングモードにおいて、(a)訂正前の判定結果、および(b)訂正後の判定結果を示す表示画面の一例である。 本実施形態の切屑検出装置によって実行される切屑検出方法を示すフローチャートである。 本実施形態における、切屑検出処理を示すフローチャートである。 本実施形態における、ティーチング処理を示すフローチャートである。 本実施形態における、学習用画像の合成装置の構成を示すブロック図である。
以下、切屑検出装置およびこれを備えた工作機械、ならびに切屑検出方法の一実施形態について図面を用いて説明する。
本実施形態の切屑検出装置1は、工作機械10によってワークを加工した際に生じる切屑を検出するものである。具体的には、図1に示すように、切屑検出装置1は、工作機械10に設けられた撮影手段11を制御し、切屑を検出する対象エリアの画像を取得する。そして、図2に示すように、当該画像を複数のメッシュ画像に分割し、当該メッシュ画像のそれぞれについて切屑に関する切屑情報を判定するようになっている。以下、各構成について詳細に説明する。
なお、本発明において、切屑情報とは、切屑の有無、切屑の量、切屑の形状、切屑の種類またはこれらの組み合わせ等のように、切屑に関して検出可能な情報を含む概念であり、本実施形態では、後述するとおり、切屑の洗浄のし易さを示す「クラス」を切屑情報として判定するようになっている。
工作機械10は、金属、木材、石材、樹脂等のワークに対して、切削や研削等の加工を行うための機械である。本実施形態において、工作機械10は、切屑検出装置1としての数値制御装置から出力される駆動信号に従って数値制御されるようになっている。本実施形態では、切屑検出装置1と工作機械の数値制御装置とが同一の装置で構成されているが、これに限定されるものではない。工作機械とは別のコンピュータを切屑検出装置1として用いてもよい。また、図1に示すように、工作機械10は、機内を撮影する撮影手段11と、ワークを載置するテーブル12と、切屑を洗浄する洗浄手段13と、機内を照明する照明手段14とを有している。
撮影手段11は、切屑を検出する対象エリアを撮影するものである。本実施形態において、撮影手段11は、自動工具交換装置(Automatic Tool Changer:ATC)により工具と同様に工作機械10の主軸に着脱可能なカメラ(以下、ATCカメラと呼称)によって構成されている。そして、後述する画像データ取得部43からの撮影制御信号に従って、あらかじめ設定した撮影タイミングで、あらかじめ設定した対象エリアをカバーするエリア画像を撮影するようになっている。
なお、本実施形態では、撮影手段11として、機内への設置が不要であり、クーラントミスト等に晒される時間が比較的短いというメリットを考慮し、工作機械の主軸に着脱可能なATCカメラを使用している。ATCカメラは、工作機械の主軸に取り付けることができるため、工作機械の主軸を動かせば、それに追随してカメラも移動させることができる。そのため、カメラの撮影範囲や撮影方向を容易に変更することができる。カメラの撮影範囲や撮影方向を容易に変更できるためATCカメラを例に説明しているが、この構成に限定されるものではない。一または複数の固定カメラを機内に設置してもよい。この構成によれば、撮影時間が比較的短く、加工中も撮影できるというメリットを有する。
また、撮影手段11の画角が対象エリアより小さい場合、図3に示すように、ATCカメラであれば、主軸を移動させながら複数の部分画像を撮影し、固定カメラであれば、複数の固定カメラによって複数の部分画像を撮影する。そして、各部分画像を合成することにより、対象エリアの全体をカバーするエリア全体画像を構成してもよい。
洗浄手段13は、ワークの加工により発生した切屑を洗浄し除去するものである。本実施形態において、洗浄手段13は、洗浄液の噴射方向を制御可能なプログラマブルノズルによって構成されている。そして、後述する洗浄処理部48からの洗浄制御信号に従って、ワーク上やテーブル12上における所望のエリアに対してクーラント液等の洗浄液を噴射するようになっている。
なお、本実施形態では、洗浄手段13としてプログラマブルノズルを使用しているが、この構成に限定されるものではない。例えば、対象エリアの全体をカバーするように、噴射方向が固定された洗浄ノズルを複数個設置し、洗浄が必要なエリアに近い洗浄ノズルから洗浄液を噴射させるようにしてもよい。
照明手段14は、切屑を検出しやすくするように機内を照明するものである。本実施形態において、照明手段14は、図1に示すように、機内に固定され、オン・オフの切り替え、明るさおよび照射方向等を制御可能なプログラマブルライトによって構成されている。しかしながら、この構成に限定されるものではなく、ATCカメラに付属されているライトを使用してもよい。また、照明による反射を抑制するため、照明手段14を回転させたり、撮影手段11のカメラレンズに偏光フィルタを取り付けたりしてもよい。
つぎに、切屑検出装置1は、工作機械10を制御する数値制御装置等のコンピュータによって構成されており、図1に示すように、主として、ユーザによる指示入力や判定結果の表示を行う表示入力手段2と、各種のデータを記憶するとともに、演算処理手段4が演算処理を行う際のワーキングエリアとして機能する記憶手段3と、記憶手段3にインストールされた切屑検出プログラム1aを実行することにより、各種の演算処理を実行し後述する各構成部として機能する演算処理手段4とを有している。以下、各構成手段について詳細に説明する。
なお、繰り返しになるが、切屑検出装置は、工作機械10を制御する数値制御装置とは別の装置でもよい。切屑検出装置は、少なくとも、切屑を検出する対象エリアを撮影したエリア画像の少なくとも一部を所定のメッシュサイズで複数のメッシュ画像に分割処理するメッシュ分割部と、切屑に関する切屑情報を判定するためにあらかじめ設定された判定用パラメータを用いて、前記メッシュ画像のそれぞれについて前記切屑情報を判定する切屑情報判定部と、を有していればよい。
表示入力手段2は、タッチパネルで構成されており、ユーザからの指示入力を受け付ける入力機能と、切屑の判定結果等を表示する表示機能とを兼ね備えるものである。なお、本実施形態では、表示入力手段2としてタッチパネルを採用しているが、この構成に限定されるものではなく、表示機能のみを備えた表示手段、および入力機能のみを備えた入力手段をそれぞれ別個に有していてもよい。
記憶手段3は、ハードディスク、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ等で構成されており、図1に示すように、プログラム記憶部31と、判定用パラメータ記憶部32と、判定結果記憶部33と、洗浄条件記憶部34と、洗浄回数記憶部35とを有している。
プログラム記憶部31には、本実施形態の切屑検出装置1を制御するための切屑検出プログラム1aがインストールされている。そして、演算処理手段4が、当該切屑検出プログラム1aを実行することにより、コンピュータとしての切屑検出装置1を後述する各構成部として機能させるようになっている。
なお、切屑検出プログラム1aの利用形態は、上記構成に限られるものではない。例えば、CD−ROMやUSBメモリ等のように、コンピュータで読み取り可能な非一時的な記録媒体に切屑検出プログラム1aを記憶させておき、当該記録媒体から直接読み出して実行してもよい。また、外部サーバ等からクラウドコンピューティング方式やASP(Application Service Provider)方式等で利用してもよい。
判定用パラメータ記憶部32は、切屑に関する切屑情報を判定するためにあらかじめ設定された判定用パラメータを記憶するものである。本実施形態では、後述するとおり、切屑情報を判定するためのアルゴリズムとして、機械学習アルゴリズムである学習・推論モデルに学習パラメータを適用してなる切屑判定モデルを採用している。このため、判定用パラメータとしては、メッシュ画像と切屑情報とのセットからなる教師データを用いて、事前学習させて得られる学習パラメータが記憶されている。
また、本実施形態では、後述するとおり、メッシュ画像のメッシュサイズを選択するメッシュサイズ選択部44を有している。このため、判定用パラメータ記憶部32には、複数の異なるメッシュサイズごとに判定用パラメータとしての学習パラメータが記憶されている。なお、本実施形態において、判定用パラメータ記憶部32には、切屑判定モデルの学習効率等の特性を左右するハイパーパラメータが別途、設定されている。
判定結果記憶部33は、メッシュ画像のそれぞれについて判定された切屑情報を判定結果として記憶するものである。本実施形態では、後述する切屑情報判定部46によって、メッシュ画像のそれぞれについて、切屑の洗浄のし易さを示すクラスごとに、当該クラスである確率が切屑情報として判定される。
例えば、切屑がない「クラス0」と、切屑が少ない「クラス1」と、切屑が多い「クラス2」の3クラスが設定されている場合、「クラス0」である確率P0と、「クラス1」である確率P1と、「クラス2」である確率P2とが判定される。このため、判定結果記憶部33には、上述したクラスごとの確率P0,P1,P2が判定結果として、各メッシュ画像に対応付けて記憶される。
なお、判定結果としては、クラスごとの確率に限定されるものではなく、最も確率の高いクラスを単純に判定結果として記憶するようにしてもよい。また、クラスの数は増やすほど判定が難しく、性能が向上しにくくなるため、数個程度に設定することが好ましい。最も単純なクラスの例としては、切屑がない「クラス0」と、切屑がある「クラス1」との2クラスになる。
洗浄条件記憶部34は、切屑の洗浄が必要か否かを判定するための洗浄条件を記憶するものである。本実施形態では、洗浄条件として、クラスごとの確率と、各メッシュ画像に対応するメッシュエリアの位置とを組み合わせた条件が設定されている。例えば、上述した3クラスが設定されている場合には、以下のような洗浄条件(1)〜(4)を降順に評価することにより、効率的で高性能な判定アルゴリズムが実現される。
(1)P0,P1,P2のうち、最大値がP2である:洗浄する(2)P1+P2≧99%である:洗浄する(3)メッシュエリアがテーブル12上であり、かつ、P1+P2≧P0である:洗浄する(4)上記条件(1)〜(3)に該当しない:洗浄しない
なお、本実施形態では、切屑情報とメッシュエリアの位置とを組み合わせた洗浄条件が設定されているが、これに限定されるものではなく、切屑情報を用いて設定されるものであればよい。例えば、上述した最も単純化された2クラスが設定されている場合は、メッシュエリアの位置に関わらず、クラス0(切屑なし)であれば洗浄せず、クラス1(切屑あり)であれば洗浄する、という洗浄条件を設定してもよい。
洗浄回数記憶部35は、切屑を連続して洗浄した洗浄回数を記憶するものである。本実施形態において、洗浄回数記憶部35には、対象エリア内を連続して洗浄した回数である連続洗浄回数と、同一のメッシュエリアを連続して洗浄した回数である局所連続洗浄回数とが記憶されている。そして、これらの洗浄回数を用いて、後述するとおり、自動洗浄動作がいつまでも終了しない事態を回避するようになっている。
つぎに、演算処理手段4は、CPU(Central Processing Unit)等によって構成されており、記憶手段3にインストールされた切屑検出プログラム1aを実行することにより、図1に示すように、対象エリア設定部41と、駆動制御部42と、画像データ取得部43と、メッシュサイズ選択部44と、メッシュ分割部45と、切屑情報判定部46と、洗浄要否判定部47と、洗浄処理部48と、ティーチング処理部49と、追加学習部50として機能するようになっている。以下、各構成部についてより詳細に説明する。
対象エリア設定部41は、切屑を検出しようとする対象エリアを設定するものである。本実施形態において、対象エリア設定部41は、ユーザによる表示入力手段2を用いた指示入力に応じて、機内全体、テーブル12上、プロテクタ上、ワーク周辺、これらの一部、もしくはこれらの組み合わせ等のように、任意の対象エリアを設定するようになっている。
なお、本実施形態において、対象エリア設定部41は、ユーザの手動によって対象エリアを設定しているが、この構成に限定されるものではなく、自動設定してもよい。具体的には、対象エリア設定部41は、加工プログラムを参照して各加工工程におけるワークの形状を取得し、ワーク全体が含まれるように対象エリアを自動設定してもよく、加工経路上のみを対象エリアとして自動設定してもよい。
駆動制御部42は、工作機械10に備えられた各軸のモータを駆動制御するものである。本実施形態において、駆動制御部42は、加工プログラムに基づいて、工作機械10に切削加工等を実行させる駆動制御信号を生成し、各軸のモータへ出力するようになっている。また、撮影手段11としてATCカメラを使用する場合、駆動制御部42は、図示しない自動工具交換装置(Automatic Tool Changer:ATC)を制御し、工具をATCカメラに交換させるようになっている。
画像データ取得部43は、対象エリアのエリア全体の画像を取得するものである。本実施形態において、画像データ取得部43は、あらかじめ設定した撮影タイミングで撮影手段11に撮影制御信号を出力し、エリア全体の画像を取得するようになっている。また、撮影手段11が対象エリアより小さい部分画像を取得する場合には、対象エリアをカバーするように複数の部分画像を撮影させ、それらを合成してエリア全体の画像を取得する。
なお、撮影タイミングは、ユーザが任意に手動設定してもよく、所定の設定条件に従って自動設定するようにしてもよい。設定条件としては、工程と工程との間、工具交換時、一定時間間隔、所定の加工量に達したタイミング等である。なお、当該加工量は、加工プログラム等から推定することができる。
メッシュサイズ選択部44は、エリア全体の画像を複数のメッシュ画像に分割する際のメッシュサイズを選択するものである。本実施形態において、メッシュサイズ選択部44は、所定の基準に基づいて、あらかじめ設定されたメッシュサイズの中から、一つまたは複数のメッシュサイズを候補として選択するようになっている。
なお、本発明は、エリア全体の画像をメッシュ画像に分割することにより、切屑の検出を簡単化かつ高精度化するものである。このため、メッシュサイズは、切屑の検出精度に影響を与える重要なファクターであり、その選択に際しては以下のような切屑の特徴を考慮することが好ましい。
具体的には、上述したとおり、切屑には様々なバリエーションやパターンがあるため、二次元画像上では完全に同一の切屑は存在しない。しかしながら、切屑の外形を構成するエッジ(稜線)は、比較的複雑で不規則であるという共通の特徴を有している。そして、当該特徴は、多数の切屑が堆積して折り重なり、個々の形状が認識できないような状態においても失われることがない。
一方、切屑の背景となるワークや治具については、一般的に、切屑のような不規則性はほとんどなく、切屑と同等のスケールで比較すると、エッジ形状が単純である。したがって、本実施形態において、メッシュサイズ選択部44は、切屑、ワークおよび治具の各サイズに基づいて、切屑の形状を認識しうる程度のメッシュサイズであって、かつ、メッシュ画像において切屑の背景となるワークや治具のエッジ形状が単純化される程度のメッシュサイズを選択することが好ましい。このようなメッシュサイズを選択することにより、ワークや治具のエッジ形状と切屑とが識別しやすくなり、誤検出が低減される。
なお、メッシュサイズ選択部44は、上記構成に限定されるものではなく、あらかじめ設定された複数のメッシュサイズの中からユーザが手動で選択してもよい。ただし、切屑情報を判定する切屑判定モデルでは、メッシュサイズを固定する必要があるため、複数のメッシュサイズを用意する場合には、各メッシュサイズのメッシュ画像によって学習させた切屑判定モデルが必要となる。一方、使用するメッシュサイズが常に固定であれば、メッシュサイズ選択部44を設ける必要はない。
メッシュ分割部45は、エリア画像を複数のメッシュ画像に分割処理するものである。本実施形態において、メッシュ分割部45は、メッシュサイズ選択部44によって選択されたメッシュサイズで、画像データ取得部43によって取得されたエリア画像を分割することにより複数のメッシュ画像を生成するようになっている。なお、本実施形態では、図2に示すように、碁盤目状や格子状のメッシュを採用しているが、この形状に限定されるものではなく、菱形、三角形、ハニカム形状等であってもよい。また、本実施形態では、エリア画像の全てをメッシュ画像に分割しているが、これに限定されるものではなく、切屑の検出が不要なエリアについては分割せず、エリア画像の少なくとも一部のみを分割するようにしてもよい。また、エリアを撮影した撮影画像と格子状のメッシュ情報とを別々に関連付けて保存されている状態でもよい。つまり、メッシュ分割部45は、個々のメッシュ画像を生成することに限定されず、撮影画像と格子情報とを重ねて、格子で区分けされている撮影画像の領域をメッシュ領域として処理してもよい。この場合のメッシュ領域が上述のメッシュ画像に相当する。
また、本実施形態において、画像データ取得部43が複数の部分画像を合成してエリア画像を取得する場合、メッシュ分割部45は、図4に示すように、分割処理に際して、以下のいずれかの処理を実行するようになっている。
(i)部分画像と他の部分画像との境界部分に重複がない場合、メッシュ画像の境界線を各部分画像の境界線と一致させる。
(ii)部分画像と他の部分画像との境界部分に重複がある場合、いずれか一方の部分画像のみから境界部分を含むメッシュ画像を切り出す。
メッシュ分割部45が上記(i)または(ii)の処理を実行することにより、同一のメッシュ画像内に、複数の異なる部分画像が混在することがない。このため、部分画像間における明度の相違や、位置ズレ等に起因する誤検出が低減される。
切屑情報判定部46は、メッシュ画像のそれぞれについて切屑情報を判定するものである。本実施形態において、切屑情報判定部46は、メッシュ分割部45によって分割処理されたメッシュ画像のそれぞれについて、判定用パラメータ記憶部32から読み出した判定用パラメータを用いて切屑情報を判定し、判定結果記憶部33に保存するようになっている。
また、本実施形態において、切屑情報判定部46は、切屑情報として、切屑の洗浄のし易さを示す「クラス」を判定するようになっている。このクラスは、切屑の量、密集度合、大きさ、長さ、形状等を総合的に勘案して決定される。具体的には、図5に示すように、切屑が少ない、散在している、小さい、短い、引っ掛かり難い等のように、洗浄し易い状態であるほど低いクラスとし、切屑が多い、密集している、大きい、長い、引っ掛かり易い等のように、洗浄し難い状態であるほど高いクラスとして分類される。
本実施形態において、切屑情報判定部46は、機械学習アルゴリズムである学習・推論モデルに学習パラメータを適用してなる切屑判定モデルによって構成されている。具体的には、環境変化に比較的強いディープラーニング手法のうち、とりわけ画像のクラス分類に特化したモデルである畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)を用いている。
上記のような切屑判定モデルを用いて切屑情報を判定する場合、まず、切屑情報判定部46は、各メッシュ画像に対して、ノイズの除去処理や、画像サイズの変換処理等のような、判定精度を向上させるための前処理を実行する。つぎに、切屑情報判定部46は、図6に示すように、判定用パラメータ記憶部32にあらかじめ用意された学習パラメータを適用した学習済の切屑判定モデルに、メッシュ画像を入力することにより、メッシュ画像のそれぞれについて、切屑情報として各クラスの確率を出力するようになっている。
なお、本実施形態では、機械学習アルゴリズムとして畳み込みニューラルネットワークを採用しているが、これに限定されるものではなく、他の機械学習アルゴリズムを用いてもよい。例えば、サポートベクターマシン(SVM:support vector machine)等のように、画像ではない入力データを用いる機械学習アルゴリズムを使用する場合、メッシュ画像に対してフィルタ処理等を実行し、各メッシュ画像が有する形状特徴量を算出する。そして、当該形状特徴量を学習済の切屑判定モデルに入力することにより、メッシュ画像のそれぞれについてクラスを判定してもよい。
また、本実施形態では、切屑情報判定部46として、機械学習アルゴズムを採用しているが、これに限定されるものではなく、決定的アルゴリズムのような非機械学習アルゴリズムを使用してもよい。例えば、メッシュ画像は、切屑が多いほど複雑になり、高い画像周波数成分が多くなる傾向がある。そこで、切屑情報判定部46は、図7に示すように、高速フーリエ変換(Fast Fourier Transform:FFT)等の周波数解析を実行し、各メッシュ画像のスペクトル統計量を特徴量として算出する。そして、当該特徴量とあらかじめ判定用パラメータとして設定した閾値との大小関係に基づいて、メッシュ画像のそれぞれについて切屑情報としてのクラスを判定してもよい。
ただし、高速フーリエ変換は環境依存度が高く、メッシュ画像内に切屑以外の小さなネジ穴や、クーラントの飛沫等が撮像されていると、高周波成分が多くなり、誤判定しやすくなる。このため、切屑がない状態でのエリア画像をあらかじめ用意しておき、これと判定対象であるエリア画像との差分画像をメッシュ分割し、高速フーリエ変換することにより、環境依存成分を排除するようにしてもよい。
さらに、本実施形態において、切屑情報判定部46は、単一のアルゴリズムを用いて切屑情報を判定しているが、この構成に限定されるものではなく、複数のアルゴリズムによる判定結果に基づいて総合的に判定してもよい。
なお、メッシュサイズ選択部44によって複数のメッシュサイズが選択された場合、切屑情報判定部46は、全てのメッシュサイズについて判定を実行する。そして、各メッシュサイズでの切屑情報を判定結果として判定結果記憶部33に記憶させるようになっている。
洗浄要否判定部47は、メッシュ画像のそれぞれについて、切屑の洗浄が必要か否かを判定するものである。本実施形態において、洗浄要否判定部47は、洗浄条件記憶部34に記憶されている洗浄条件と、判定結果記憶部33に記憶されている各メッシュ画像の切屑情報とを比較する。そして、洗浄条件を満たすメッシュ画像については洗浄が必要と判定するようになっている。
洗浄処理部48は、洗浄手段13を制御して切屑の洗浄を行わせるものである。本実施形態において、洗浄処理部48は、洗浄が必要と判定されたメッシュ画像に対応するメッシュエリアの位置(工作機械10内における実際の位置)を算出し、当該メッシュエリアに向けて、洗浄手段13から洗浄液を噴射させるようになっている。
なお、メッシュエリアの位置は、例えば、エリア画像を格納する画像メモリ(図示せず)を工作機械10内の座標系に対応させておくことにより、特定することができる。また、本実施形態において、洗浄手段13はプログラマブルノズルによって構成されるため、噴射方向を変えながら、洗浄が必要と判定された全てのメッシュエリアに対してクーラント液を噴射する。
また、本実施形態において、洗浄処理部48は、洗浄動作を実行するたびに、洗浄回数記憶部35に記憶されている、対象エリア内を連続して洗浄した連続洗浄回数、および同一のメッシュエリアを連続して洗浄し局所連続洗浄回数を更新する。そして、洗浄処理部48は、連続洗浄回数および局所連続洗浄回数が、所定の閾値未満の場合には洗浄を実施する。一方、連続洗浄回数および局所連続洗浄回数のうち少なくとも一方が、所定の閾値に到達した場合には、自動洗浄動作がいつまでも終了しない事態を回避するため、所定の異常時処理を実行する。
異常時処理は、自動洗浄動作がいつまでも終了しない事態を回避するための処理であれば特に限定されるものではなく、例えば、工作機械10の運転を停止するとともにアラームを報知してもよい。あるいは、閾値に到達した旨を記録、通知するとともに、そのメッシュエリアの洗浄はあらかじめユーザが設定した「洗浄中断期間」だけ中断し、他のメッシュエリアの洗浄や工作機械10の運転は継続してもよい。
なお、連続洗浄回数の閾値および局所連続洗浄回数の閾値は、ユーザによって個別に設定可能に構成されている。また、上記アラームを報知する方法としては、例えば、スピーカー(図示せず)から警告音を出力する方法が挙げられるが、ユーザに通知しうる方法であれば、これに限定されるものではない。具体的には、表示入力手段2にメッセージを表示させてもよく、ライト(図示せず)を点滅・点灯させてもよい。また、工作機械10の周囲にユーザがいない場合、ユーザの携帯端末等にエラーメッセージを通知してもよい。
ティーチング処理部49は、切屑情報判定部46による判定結果を確認・訂正するものである。本実施形態において、ティーチング処理部49は、まず、各メッシュ画像の判定結果を判定結果記憶部33から読み出し、図8(a)に示すように、表示入力手段2に表示させる。具体的には、異なる判定結果ごとに異なる着色等を施し、各メッシュ画像を識別可能な態様で表示する。
なお、判定結果の表示に際しては、切屑情報判定部46によってメッシュ画像ごとの判定確率を算出させ、どのクラスの判定確率もそれほど高くないメッシュ画像については、判定結果が誤っている可能性が高い(判定結果に自信がない)ものとして強調表示し、ユーザの訂正作業を補助するようにしてもよい。例えば、図8(a)に示す例では、クラス0(切屑なし)の判定確率P0、およびクラス1(切屑あり)の判定確率P1の値によって、以下に示す4グループに分類されている。
P1が0〜30%(P0が70〜100%):クラス0(切屑なし)の「自信あり」
P1が30〜50%(P0が50〜70%):「自信なし」
P1が50〜70%(P0が30〜50%):「自信なし」
P1が70〜100%(P0が0〜30%):クラス1(切屑あり)の「自信あり」
つぎに、上記判定結果を確認したユーザによって、誤って判定されている任意のメッシュ画像がタッチ選択され、正しい判定結果としての切屑情報が入力されると、ティーチング処理部49は当該判定結果を取得し、判定結果記憶部33に記憶されている判定結果を訂正する。そして、図8(b)に示すように、訂正後の判定結果を表示入力手段2に表示させる。
追加学習部50は、新たな教師データを用いて追加学習を行うものである。本実施形態において、追加学習部50は、ティーチング処理部49によって訂正された判定結果(正しい切屑情報)とメッシュ画像とのセットからなる教師データを切屑判定モデルに追加学習を実行させることにより、正しい判定結果が反映された学習パラメータを取得する。そして、当該学習パラメータを新たな判定用パラメータとして判定用パラメータ記憶部32内の判定用パラメータを更新するようになっている。
なお、本実施形態では、追加学習部50をローカルな切屑検出装置1に設け、バックグラウンドで追加学習を実行しているが、この構成に限定されるものではない。すなわち、ネットワーク上の学習サーバに教師データをアップロードして追加学習させ、得られた学習パラメータをダウンロードすることにより新たな判定用パラメータとして利用するようにしてもよい。
また、本実施形態では、切屑検出装置1による洗浄処理の運転モードとして、自動洗浄モードとティーチングモードとが用意されており、いずれかの運転モードに設定可能に構成されている。自動洗浄モードは、切屑情報判定部46による判定結果をそのまま用いて自動的に洗浄処理を実行するモードである。また、ティーチングモードは、ティーチング処理部49によって訂正された判定結果を用いて洗浄処理を実行するモードである。
つぎに、本実施形態の切屑検出装置1およびこれを備えた工作機械10の作用ならびに切屑検出方法について、図9を参照しつつ説明する。なお、以下の説明では、切屑を検出した後、当該切屑を洗浄する場合について説明する。
本実施形態の切屑検出装置1およびこれを備えた工作機械10を用いて切屑を検出する場合、あらかじめ、判定用パラメータ記憶部32に判定用パラメータを記憶させておく。このとき、まず切屑を撮影したサンプル画像を1または複数用意し、当該サンプル画像を所定のメッシュサイズで分割する。これにより、多数のメッシュ画像が切屑判定モデルに学習させるための教師データとして取得される。そして、当該教師データを切屑判定モデルに学習させ、最適化された判定用パラメータを判定用パラメータ記憶部32に記憶する。
なお、本実施形態の切屑検出装置1のように、機械学習を用いたシステムでは、運用前に学習モデルに対して事前に多くの教師データを用意し学習させておく必要がある。しかしながら、当該教師データを用意する作業には、手間や時間が非常にかかるため、導入の障壁となっているという問題がある。
この点、本実施形態で用いられる教師データは、メッシュ画像とそのクラスであり、ある程度の性能と汎用性を得るには大量の教師データが必要となるが、以下のような理由により、教師データの準備が容易である。(1)学習単位であるメッシュ画像は、1枚のエリア画像から多数得ることができる。(2)同一のエリア画像であっても、メッシュ画像の分割境界をずらしたり、回転させたりするなど、単純な処理を施すだけで、異なる教師データを簡単に増やすことができる。(3)Object DetectionやSemantic Segmentation等の物体検出アルゴリズムでは、エリア画像に映り込んでいる全切屑の位置情報が必要となる。これに対し、本実施形態では洗浄に必要十分なメッシュサイズで分割することにより、エリア画像内における切屑の正確な位置を特定する必要がなく、単純なクラス分類に帰着させることができる。(4)切屑情報としてクラス分類を用いた場合、各メッシュ画像に対して1つの数値(クラス)を割り当てるだけ教師データが作成される。
これにより、エリア画像を数枚撮影するだけで、少なくとも特定環境下において切屑を検知するための教師データを入力することができる。つまり、比較的少ない回数のティーチング作業によって個別の機械、環境、加工に最適化することができる。
つづいて、切屑を検出するにあたり、まず、対象エリア設定部41が、切屑を検出しようとする対象エリアを設定した後(ステップS1)、駆動制御部42が、工作機械10を制御しワークを加工する(ステップS2)。これにより、図1に示すように、テーブル12上やワーク上に切屑が散乱するため、画像データ取得部43が、撮影手段11から対象エリアのエリア画像を取得する(ステップS3)。
エリア画像が取得されると、本発明に係る切屑検出処理が実行される(ステップS4)。以下、ステップS4に係る切屑検出処理について、図10を参照しつつ説明する。
切屑検出処理では、まず、メッシュサイズ選択部44が、メッシュサイズを選択する(ステップS21)。本実施形態では、メッシュサイズ選択部44が、切屑の形状を認識しうる程度のメッシュサイズであって、かつ、切屑の背景となるワークや治具のエッジ形状が単純化される程度のメッシュサイズに該当しそうな候補を一つまたは複数選択する。これにより、切屑が背景と区別され易くなり、誤検出が抑制されるため、検出精度が向上する。
つぎに、メッシュ分割部45が、メッシュサイズ選択部44によって選択されたいずれかのメッシュサイズでエリア画像を複数のメッシュ画像に分割する(ステップS22)。これにより、切屑情報を利用する際には、各メッシュ画像に対応するメッシュエリアを特定するだけでよく、全ての切屑について正確な位置を特定する必要がない。このため、切屑の検出にかかる計算量が大幅に低減される。
また、本実施形態では、複数の部分画像を合成してエリア画像を取得する場合、メッシュ分割部45が、各部分画像の境界部分に重複が有るか無いかに応じて、上記(i)または(ii)の処理を実行する。これにより、同一のメッシュ画像内に、複数の異なる部分画像が混在することがなくなる。このため、部分画像間における明度の相違や、位置ズレ等に起因する誤検出が低減される。
つづいて、切屑情報判定部46が、1つのメッシュ画像について切屑情報を判定し(ステップS23)、対象エリア内の全てのメッシュ画像の判定が完了するまで繰り返す(ステップS24:NO)。これにより、所定のメッシュサイズに分割したメッシュ画像について切屑情報を判定するだけでよいため、切屑の検出処理が簡単化および高精度化する。
対象エリア内の全てのメッシュ画像について判定が完了すると(ステップS24:YES)、切屑情報判定部46が、対象エリア内の全てのメッシュサイズでの判定が完了したか否かを判定する(ステップS25)。そして、まだ判定していないメッシュサイズがあれば(ステップS25:NO)、ステップS21に戻り、当該メッシュサイズでの分割処理(ステップS22)および判定処理(ステップS23)を繰り返す。
一方、全てのメッシュサイズでの判定が完了すると(ステップS25:YES)、切屑情報判定部46が、各メッシュサイズでの判定結果を判定結果記憶部33に記憶し(ステップS26)、本処理を終了する。
つづいて、図9に戻り、運転モードがティーチングモードに設定されているか否かを判定し(ステップS5)、自動洗浄モードに設定されていれば(ステップS5:NO)、後述するステップ7の処理に進む。一方、ティーチングモードに設定されていれば(ステップS5:YES)、ティーチング処理部49がティーチング処理を実行する(ステップS6)。以下、ステップS6に係るティーチング処理について、図11を参照しつつ説明する。
ティーチング処理では、まず、ティーチング処理部49が表示入力手段2に判定結果を表示し(ステップS31)、ユーザによるメッシュ画像の選択を受け付ける。このとき、複数のメッシュサイズについての判定結果があれば、ユーザの目視によって最適なメッシュサイズを選択させ、当該メッシュサイズを用いることにより、切屑情報の判定精度が向上する。つづいて、いずれかのメッシュ画像が選択されたか否かを判定し(ステップS32)、メッシュ画像が選択されなければ(ステップS32:NO)、ティーチングモードを終了しない限り(ステップS35:NO)、メッシュ画像の選択を受け付ける。
一方、ユーザによっていずれかのメッシュ画像が選択されると(ステップS32:YES)、ティーチング処理部49は、選択されたメッシュ画像についての正しい切屑情報をユーザに入力させ、当該切屑情報を判定結果として取得する(ステップS33)。これにより、ユーザの目視によって確認・訂正された正しい判定結果が判定結果記憶部33に記憶されるとともに(ステップS34)、当該判定結果が表示入力手段2に表示される(ステップS35)。
その後、ティーチングモードの終了が指示されると(ステップS36:YES)、所定のタイミングで追加学習部50がバックグラウンドで追加学習を開始し、訂正された判定結果を反映させた判定用パラメータを取得するとともに、当該判定用パラメータによって判定用パラメータ記憶部32内の判定用パラメータを更新する(ステップS37)。以上のようなティーチング処理を実行することにより、判定結果の精度が向上するとともに、個別の機械、環境、加工向けに判定用パラメータを更新することで、切屑の判定性能が最適化される。
つぎに、図9に戻り、ティーチング処理(ステップS6)の実行後、または自動洗浄モードの場合(ステップS5:NO)、洗浄要否判定部47が、切屑の洗浄が必要か否かを判定する(ステップS7)。本実施形態では、洗浄条件が、切屑情報とメッシュエリアの位置とを組み合わせて設定されるため、検出された切屑の量や位置に応じて効率的に洗浄処理が実行される。
例えば、上述した3クラスのうち、クラス2(切屑が多い)と判定されたメッシュ画像に対応するメッシュエリアのみを洗浄する、という洗浄条件にしてもよく、テーブル12外のエリアであれば洗浄しない、という洗浄条件にしてもよい。このような洗浄条件を設定することにより、洗浄にかかる時間や洗浄液の消費量が抑制される。
ステップS7における判定の結果、洗浄の必要がなければ(ステップS7:NO)、洗浄処理部48が、連続洗浄回数および局所連続洗浄回数を初期化する(ステップS13)。そして、加工終了が指示されない限り(ステップS15:NO)、ステップS1へと戻り、それ以降の処理が繰り返される。これにより、切屑が除去された状態でワークを加工することが可能になる。
一方、ステップS7における判定の結果、洗浄が必要であれば(ステップS7:YES)、洗浄処理部48は、連続洗浄回数が所定の閾値に到達したか否かを判定する(ステップS8)。当該判定の結果、連続洗浄回数が閾値に到達した場合(ステップS8:YES)、洗浄処理部48は洗浄動作を行うことなく異常時処理を実行する(ステップS14)。これにより、洗浄したはずの切屑が別のメッシュエリアに移動しただけで、実際には除去されていないケースが繰り返され、いつまでも自動洗浄動作が終了しないケースが回避される。
また、ステップS8における判定の結果、連続洗浄回数が閾値未満でも(ステップS8:YES)、洗浄処理部48は、別途、局所連続洗浄回数が所定の閾値に到達したか否かを判定する(ステップS9)。当該判定の結果、局所連続洗浄回数が閾値に到達した場合にも(ステップS9:YES)、洗浄処理部48は洗浄動作を行うことなく異常時処理を実行する(ステップS14)。これにより、ワーク等にこびりついたり、引っ掛かったりしている等の理由で、洗浄による除去が難しい切屑を何回も洗浄しようとするケースや、治具のビスや機内の汚れ等を切屑と誤検知し、いつまでも洗浄しようとするケースが回避される。
一方、連続洗浄回数および局所連続洗浄回数の双方が閾値未満であれば(ステップS8:NO,ステップS9:NO)、洗浄処理部48は、洗浄が必要と判定されたメッシュ画像のそれぞれに対応するメッシュエリアを算出し(ステップS10)、各メッシュエリアを洗浄手段13によって洗浄する(ステップS11)。これにより、切屑情報に応じて切屑が自動的かつ効率的に洗浄される。また、洗浄が必要なメッシュエリアだけが洗浄されるため、機内全体を洗浄する場合と比較して、洗浄液の噴射量が抑制され経済的であり、環境にもやさしい。
最後に、洗浄処理部48が、洗浄回数記憶部35に記憶されている連続洗浄回数および局所連続洗浄回数のそれぞれを更新した後(ステップS12)、ステップS3へと戻り、それ以降の処理を繰り返す。これにより、連続洗浄回数および局所連続洗浄回数が閾値に到達しない限り、切屑情報が判定されて、洗浄条件に応じた洗浄が実行される。
なお、本実施形態では、加工終了が指示された場合(ステップS15:YES)、本処理が終了する。
以上のような本実施形態の切屑検出装置1、切屑検出プログラム1aおよび切屑検出方法によれば、以下のような効果を奏する。1.工作機械10によってワークを加工した際に生じる切屑を簡単かつ高精度に検出することができる。2.機械学習を用いて切屑を高精度に検出することができる。3.画像の特徴量を用いて切屑を簡単に検出することができる。4.使用環境や個別の加工に合わせて判定用パラメータを最適化し、切屑の検出性能を向上することができる。5.切屑の背景による影響を低減し、誤検出を抑制することができる。6.エリア画像として複数の部分画像を合成して使用する場合の誤検出を抑制することができる。7.切屑情報に応じて切屑を自動的かつ効率的に洗浄することができる。8.検出された切屑の量や位置に応じて効率的に洗浄することができる。9.切屑の誤検出等により洗浄動作がいつまでも繰り返されてしまうことを防止することができる。
なお、本発明に係る切屑検出装置1およびこれを備えた工作機械10、ならびに切屑検出方法は、上述した実施形態に限定されるものではなく、適宜変更することができる。
例えば、上述した本実施形態では、切屑情報を用いて切屑を洗浄しているが、この構成に限定されるものではなく、切屑検出装置1が洗浄機能を有している必要はない。切屑の洗浄機能を設けない場合、洗浄条件記憶部34、洗浄回数記憶部35、洗浄要否判定部47および洗浄処理部48が不要となり、図9に示すフローチャートでは、ステップS7からステップS14までの処理が不要となる。
なお、切屑情報は、切屑を洗浄するための情報として利用される以外にも、様々な場面で利用することが考えられる。例えば、切屑情報によって、切屑が大量または頻繁にたまりやすいメッシュエリアが特定できれば、当該メッシュエリアを早めにまたは常に洗浄する等の洗浄条件を設定する際の参考情報として利用される。同様に、切屑がたまりやすいメッシュエリアの情報に基づいて、工作機械のベンダが切屑のたまりにくい機械設計を行う際に利用することも考えられる。
また、上述した本実施形態では、切屑検出装置1がティーチングモードを有しているが、必須の構成ではない。ティーチングモードが不要であれば、ティーチング処理部49を設ける必要がなく、図9に示すフローチャートでは、ステップS5およびステップS6の処理が不要となる。また、図11に示すティーチング処理も不要となる。
さらに、上述した本実施形態では、連続洗浄回数および局所連続洗浄回数の双方を用いて洗浄動作を制御しているが、この構成に限定されるものではなく、どちらか一方のみを用いて制御してもよい。この場合、図9に示すフローチャートでは、ステップS8またはステップS9のうち、いずれか一方の処理が不要となる。
また、上述した本実施形態では、判定用パラメータとして、学習パラメータを用いているが、この構成に限定されるものではなく、メッシュ画像が有する各種の特徴量に基づいて、切屑情報を分類するための閾値であってもよい。上記特徴量は、切屑の特徴を表しうる特徴量であれば特に限定されるものではなく、メッシュ画像内のエッジ成分の複雑度合、メッシュ画像内のエッジ成分に占める直線成分の割合、メッシュ画像の明度、輝度統計量など、画像処理に利用される各種の特徴量が利用可能である。
なお、判定用パラメータとしての閾値は、サンプル画像を分割して得られたメッシュ画像のそれぞれについて特徴量のスコアを算出し、切屑情報の分類ごとにスコアの集計を行うなどして最適化することによって設定してもよく、複数の特徴量を組み合わせて設定するようにしてもよい。
また、上述した本実施形態では、切屑情報として、切屑の洗浄のし易さを示す「クラス」を判定しているが、これに限定されるものではなく、切屑の有無、切屑の量、切屑の形状、切屑の種類またはこれらの組み合わせ等でもよい。例えば、切屑の量および形状を切屑情報とした場合には、切屑の量が少ないメッシュエリアであっても、洗浄しにくい形状の切屑であれば洗浄する、という洗浄条件を設定することもできる。
さらに、上述した実施形態では、切屑検出装置1が新たな教師データをローカルで追加学習可能に構成されているが、この構成に限定されるものではなく、切屑検出装置1とネットワーク接続された学習装置に教師データを送信し、追加学習させるようにしてもよい。また、複数の切屑検出装置1から追加学習用の教師データを学習装置に集約し、追加学習させて得られた学習パラメータ(判定用パラメータ)を共有化し、汎用性を向上するようにしてもよい。
さらに、上述した切屑検出装置1で用いる判定用パラメータを導き出すための学習用画像を図12に示すような学習用画像合成装置1200で生成してもよい。学習用画像合成装置1200は、様々な切屑を表わす切屑画像を記憶する切屑画像記憶部1201と、様々な機内を撮像した背景画像を記憶する背景画像記憶部1202と、を有する。さらに、学習用画像合成装置1200は、切屑画像と背景画像をランダムに合成して学習用画像を生成する画像生成部1203を有する。
切屑画像は、実際の切屑を無背景で撮像した撮像画像でもよい。また、背景画像は、実際の機内を撮像した撮像画像でもよい。画像生成部1203は、切屑画像を、ランダムではあるが、できるだけ本当にばらまかれているように、機内の写真に合成して、複数の環境パターンを作り出し、数多くの学習用の教師データを自動的に作る。これにより学習データを容易に用意することが可能になる。
さらに、画像生成部1203は、背景画像に対して、傷などを作り出す。
できるだけたくさんのパターンを用意しておく。
学習用画像合成装置1200で生成された学習用画像は、学習装置1250に提供され、学習用画像記憶部1251に記憶される。そして、判定用パラメータ導出部1252によって、判定用パラメータの導出に用いられる。判定用パラメータは、切屑判定モデル導出部1253に提供され、切屑判定モデルを生成するために用いられる。
学習用画像合成装置1200は、ネットワーク1260を介して、切屑判定モデルを切屑検出装置1に提供してもよい。
なお、学習用画像合成装置1200および学習装置1250は、切屑検出装置1内に設けられてもよいが、その場合、切屑検出装置1に高速なGPUなどのリソースが備わっていることが必要になる。
さらに、工作機械の機内の実際の画像を、ネットワーク1260を介して学習用画像合成装置1200に送り、背景画像記憶部1202に記憶してもよい。その場合、より精度の高い教師データ(学習用画像)を生成することが可能になる。
切屑画像記憶部1201は、色、形、大きさが異なる様々な切屑の画像を記憶していることが好ましい。さらに、クーラントがかかっている切屑の画像、クーラントがかかっていない切屑の画像、を記憶していることが好ましい。
背景画像記憶部1202に記憶された背景画像は、切屑が多い領域、少ない領域、切屑がない領域に分類されており、切屑画像との合成時に、各領域で重み付けを変えて、合成してもよい。
画像生成部1203は、背景画像に、塗装はげ、傷、シミなどの加工を加えた上で、切屑画像と合成してもよい。合成する際に、切屑画像のサイズを変えたり回転させたりしてもよい。画像生成部1203は、合成後の画像の全体の色、明るさ、照明の当たり具合などを変えて複数種類の学習用画像を生成することが好ましい。
画像生成部1203は、合成時に、メッシュ画像の領域ごとに、切屑の有無を表わす正解データを用意して貼り付ける。
学習用画像合成装置1200は、様々な機種の背景画像と、様々な切屑画像と、様々に重み付けや密度を変えて組み合わせて、さらに様々な効果(明るさ、クーラントミストのかかりかた)をかけて、非常に多くの教師データを作る。学習用画像合成装置1200は、機種ごとに分類して学習用画像を生成してもよい。
以上の構成によれば、非常に効率的に教師データを生成することができる。
また、上述した本実施形態では、数値制御装置の一機能として切屑検出装置1を実現させているが、この構成に限定されるものではない。すなわち、数値制御装置とは別個独立のコンピュータによって切屑検出装置1を構成してもよい。
なお、上述した実施形態の説明は、全ての点で例示であって制限的なものではなく、当業者にとって変形および変更が適宜可能である。本発明の範囲は、上述した実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の範囲内での実施形態からの変更が含まれる。
この出願は、2019年2月25日に出願された日本出願特願2019−031127を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (12)

  1. 工作機械によってワークを加工した際に生じる切屑を検出する切屑検出装置であって、
    前記切屑を検出する対象エリアを撮影したエリア画像の少なくとも一部を所定のメッシュサイズで複数のメッシュ画像に分割処理するメッシュ分割部と、
    前記切屑に関する切屑情報を判定するためにあらかじめ設定された判定用パラメータを用いて、前記メッシュ画像のそれぞれについて前記切屑情報を判定する切屑情報判定部と、 を有する、切屑検出装置。
  2. 前記判定用パラメータは、前記メッシュ画像と前記切屑情報とのセットからなる教師データを用いた事前学習によって得られる学習パラメータであり、
    前記切屑情報判定部は、前記学習パラメータが適用された切屑判定モデルに、前記メッシュ画像を入力することにより、前記メッシュ画像のそれぞれについて前記切屑情報を出力する、請求項1に記載の切屑検出装置。
  3. 前記判定用パラメータは、前記メッシュ画像が有する特徴量に基づいて、前記切屑情報を分類するための閾値であり、
    前記切屑情報判定部は、前記特徴量と前記閾値との大小関係に基づいて、前記メッシュ画像のそれぞれについて前記切屑情報を出力する、請求項1に記載の切屑検出装置。
  4. 前記メッシュ画像のそれぞれについて、前記切屑情報判定部による判定結果を表示手段に表示させ、任意の前記メッシュ画像が選択された場合、当該メッシュ画像の正しい判定結果を取得して前記判定結果を訂正するティーチング処理部と、
    前記ティーチング処理部によって訂正された判定結果と前記メッシュ画像とのセットからなる教師データを前記切屑判定モデルに追加学習させ、得られた学習パラメータを新たな判定用パラメータとして取得する追加学習部と、
    を有する、請求項2に記載の切屑検出装置。
  5. 前記メッシュサイズを選択するメッシュサイズ選択部を有しており、
    前記メッシュサイズ選択部は、前記切屑、ワークおよび治具の各サイズに基づいて、前記切屑の形状を認識しうる程度のメッシュサイズであって、かつ、前記メッシュ画像において前記切屑の背景となるワークや治具のエッジ形状が単純化される程度のメッシュサイズを選択する、請求項1から請求項4のいずれかに記載の切屑検出装置。
  6. 前記エリア画像を取得する画像データ取得部を有しており、
    前記画像データ取得部が複数の部分画像を合成して前記エリア画像を取得する場合、前記メッシュ分割部は分割処理に際して、以下のいずれかの処理を実行する、請求項1から請求項5のいずれかに記載の切屑検出装置;
    (i)前記部分画像と他の部分画像との境界部分に重複がない場合、前記メッシュ画像の境界線を各部分画像の境界線と一致させる;
    (ii)前記部分画像と他の部分画像との境界部分に重複がある場合、いずれか一方の部分画像のみから前記境界部分を含むメッシュ画像を切り出す。
  7. 前記切屑情報を用いた洗浄条件に基づいて、前記メッシュ画像のそれぞれについて、前記切屑の洗浄が必要か否かを判定する洗浄要否判定部と、
    洗浄が必要と判定されたメッシュ画像に対応するメッシュエリアの位置を算出し、当該メッシュエリアに向けて、洗浄手段から洗浄液を噴射させる洗浄処理部と、
    を有する、請求項1から請求項6のいずれかに記載の切屑検出装置。
  8. 前記洗浄条件として、前記切屑情報と前記メッシュエリアの位置とを組み合わせた条件が設定されている、請求項7に記載の切屑検出装置。
  9. 前記洗浄処理部は、前記対象エリア内を連続して洗浄した連続洗浄回数、および同一の前記メッシュエリアを連続して洗浄した局所連続洗浄回数が、所定の閾値未満の場合に洗浄を実施し、前記連続洗浄回数および前記局所連続洗浄回数のうち少なくとも一方が、所定の閾値に到達した場合、所定の異常時処理を実行する、請求項7または請求項8に記載の切屑検出装置。
  10. 請求項1から請求項9のいずれかに記載の切屑検出装置を備える工作機械。
  11. 工作機械によってワークを加工した際に生じる切屑を検出する切屑検出方法であって、
    前記切屑を検出する対象エリアを撮影したエリア全体画像の少なくとも一部を所定のメッシュサイズで複数のメッシュ画像に分割処理するメッシュ分割ステップと、
    前記切屑に関する切屑情報を判定するためにあらかじめ設定された判定用パラメータを用いて、前記メッシュ画像のそれぞれについて前記切屑情報を判定する切屑情報判定ステップと、
    を有する、切屑検出方法。
  12. 工作機械の機内を撮影した画像の少なくとも一部を複数のメッシュ画像に分割するメッシュ分割部と、前記メッシュ画像のそれぞれについて、判定用パラメータを用いて、前記工作機械によってワークを加工した際に生じた切屑の有無を判定する判定部と、を有する切屑検出装置に提供する前記判定パラメータを導くための学習用画像を生成する学習用画像合成装置であって、
    切屑を表わす切屑画像を、機内を撮像した背景画像に対して、ランダムに合成して学習用画像を生成する学習用画像合成装置。
JP2020542668A 2019-02-25 2020-02-20 切屑検出装置、工作機械、切屑検出方法、学習用画像合成装置 Pending JPWO2020175308A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022083536A JP2022116122A (ja) 2019-02-25 2022-05-23 情報処理装置、情報処理方法およびプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019031127 2019-02-25
JP2019031127 2019-02-25
PCT/JP2020/006748 WO2020175308A1 (ja) 2019-02-25 2020-02-20 切屑検出装置、工作機械、切屑検出方法、学習用画像合成装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022083536A Division JP2022116122A (ja) 2019-02-25 2022-05-23 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JPWO2020175308A1 true JPWO2020175308A1 (ja) 2021-03-11

Family

ID=72238859

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020542668A Pending JPWO2020175308A1 (ja) 2019-02-25 2020-02-20 切屑検出装置、工作機械、切屑検出方法、学習用画像合成装置
JP2022083536A Pending JP2022116122A (ja) 2019-02-25 2022-05-23 情報処理装置、情報処理方法およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022083536A Pending JP2022116122A (ja) 2019-02-25 2022-05-23 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US20220237767A1 (ja)
JP (2) JPWO2020175308A1 (ja)
WO (1) WO2020175308A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7391625B2 (ja) * 2019-11-21 2023-12-05 ファナック株式会社 制御装置及びプログラム
WO2022244070A1 (ja) * 2021-05-17 2022-11-24 ファナック株式会社 稼働状況表示装置、およびコンピュータ読み取り可能な記憶媒体
KR102419738B1 (ko) * 2021-08-31 2022-07-12 주식회사 별하늘친구 인공지능을 이용하는 얼룩검사 학습을 위한 이미지 데이터를 생성하는 방법

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03184747A (ja) * 1989-12-13 1991-08-12 Osaka Kiko Co Ltd 工作機械における工作物の自動照合認識装置
JPH07108435A (ja) * 1993-10-06 1995-04-25 Toshiba Mach Co Ltd 工作機械の切屑除去装置
JP2004265252A (ja) * 2003-03-03 2004-09-24 Matsushita Electric Works Ltd 画像処理装置
JP2007114994A (ja) * 2005-10-20 2007-05-10 Hitachi Software Eng Co Ltd 画像間変化抽出支援システム及び方法
WO2011036892A1 (ja) * 2009-09-24 2011-03-31 パナソニック株式会社 運転支援表示装置
JP2015026369A (ja) * 2013-06-20 2015-02-05 株式会社パスコ 林相解析装置、林相解析方法及びプログラム
JP2016120580A (ja) * 2014-12-25 2016-07-07 ファナック株式会社 異物の有無を確認する視覚センサを備えたワーク着脱手段付加工装置
JP2016191979A (ja) * 2015-03-30 2016-11-10 エヌ・ティ・ティ・コムウェア株式会社 感性評価装置、感性評価方法、およびプログラム
WO2017078072A1 (ja) * 2015-11-06 2017-05-11 クラリオン株式会社 物体検知方法及び物体検知システム
JP2017094420A (ja) * 2015-11-20 2017-06-01 ファナック株式会社 工作機械
JP2017107455A (ja) * 2015-12-10 2017-06-15 キヤノン株式会社 情報処理装置、制御方法、及びプログラム
JP2018001288A (ja) * 2016-06-28 2018-01-11 ファナック株式会社 切削加工工具の寿命判定装置、寿命判定方法及びプログラム
JP2018024094A (ja) * 2017-11-14 2018-02-15 ファナック株式会社 工作機械の洗浄システム
JP2018097506A (ja) * 2016-12-12 2018-06-21 株式会社日立製作所 衛星画像処理システム及び方法
JP2018156317A (ja) * 2017-03-16 2018-10-04 阪神高速技術株式会社 ひび割れ検出処理装置、およびひび割れ検出処理プログラム
JP2019016249A (ja) * 2017-07-10 2019-01-31 住友電気工業株式会社 判定装置、判定方法および判定プログラム

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03184747A (ja) * 1989-12-13 1991-08-12 Osaka Kiko Co Ltd 工作機械における工作物の自動照合認識装置
JPH07108435A (ja) * 1993-10-06 1995-04-25 Toshiba Mach Co Ltd 工作機械の切屑除去装置
JP2004265252A (ja) * 2003-03-03 2004-09-24 Matsushita Electric Works Ltd 画像処理装置
JP2007114994A (ja) * 2005-10-20 2007-05-10 Hitachi Software Eng Co Ltd 画像間変化抽出支援システム及び方法
WO2011036892A1 (ja) * 2009-09-24 2011-03-31 パナソニック株式会社 運転支援表示装置
JP2015026369A (ja) * 2013-06-20 2015-02-05 株式会社パスコ 林相解析装置、林相解析方法及びプログラム
JP2016120580A (ja) * 2014-12-25 2016-07-07 ファナック株式会社 異物の有無を確認する視覚センサを備えたワーク着脱手段付加工装置
JP2016191979A (ja) * 2015-03-30 2016-11-10 エヌ・ティ・ティ・コムウェア株式会社 感性評価装置、感性評価方法、およびプログラム
WO2017078072A1 (ja) * 2015-11-06 2017-05-11 クラリオン株式会社 物体検知方法及び物体検知システム
JP2017094420A (ja) * 2015-11-20 2017-06-01 ファナック株式会社 工作機械
JP2017107455A (ja) * 2015-12-10 2017-06-15 キヤノン株式会社 情報処理装置、制御方法、及びプログラム
JP2018001288A (ja) * 2016-06-28 2018-01-11 ファナック株式会社 切削加工工具の寿命判定装置、寿命判定方法及びプログラム
JP2018097506A (ja) * 2016-12-12 2018-06-21 株式会社日立製作所 衛星画像処理システム及び方法
JP2018156317A (ja) * 2017-03-16 2018-10-04 阪神高速技術株式会社 ひび割れ検出処理装置、およびひび割れ検出処理プログラム
JP2019016249A (ja) * 2017-07-10 2019-01-31 住友電気工業株式会社 判定装置、判定方法および判定プログラム
JP2018024094A (ja) * 2017-11-14 2018-02-15 ファナック株式会社 工作機械の洗浄システム

Also Published As

Publication number Publication date
US20220237767A1 (en) 2022-07-28
JP2022116122A (ja) 2022-08-09
WO2020175308A1 (ja) 2020-09-03

Similar Documents

Publication Publication Date Title
JPWO2020175308A1 (ja) 切屑検出装置、工作機械、切屑検出方法、学習用画像合成装置
US7324682B2 (en) System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US7769222B2 (en) Arc tool user interface
JP4933771B2 (ja) 画像システムにおいてビデオツールを自動的にリカバリーするシステムおよび方法
EP1622082A2 (en) Method of measuring occluded features for high precision machine vision metrology
US8902307B2 (en) Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
JP6774588B1 (ja) 工作機械およびその制御方法
US8269830B1 (en) Inspecting potentially interfering features in a machine vision system
CN110261406A (zh) 检查系统、设定装置、图像处理装置、设定方法以及程序
JP2013134255A (ja) 高性能エッジフォーカスツール
JP2007026446A (ja) 適応型テンプレート分解による高速テンプレートマッチングのシステムと方法
JP6970319B1 (ja) 工作機械、制御方法、および制御プログラム
JP6921354B1 (ja) 情報処理装置
JP2013105501A (ja) マシンビジョンシステムのパートプログラム編集環境内で編集初期化ブロックを利用するシステム及び方法
JP2020530125A (ja) ディスプレイスクリーン周辺回路の検出方法、ディスプレイスクリーン周辺回路の検出装置、電子機器及び記憶媒体
JP6788758B1 (ja) 情報処理装置および工作機械
JP6774587B1 (ja) 工作機械
WO2021107076A1 (ja) 表示装置、工作機械および液体の放出方法
JP6788759B1 (ja) 情報処理装置及び情報処理システム
WO2017218718A1 (en) Method and system for articulation of a visual inspection device
WO2022044882A1 (ja) 情報処理装置及び工作機械
JP7083943B1 (ja) 情報処理装置
US20230028335A1 (en) Abnormality inspection system, abnormality inspection method and program
CN114746212A (zh) 显示装置、机床及液体的放出方法
JP2023140007A (ja) 切削加工システム、制御方法、プログラム及び制御システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200806

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200806

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200806

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210804

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210929

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220222

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220523

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220523

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220719

C116 Written invitation by the chief administrative judge to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C116

Effective date: 20220719

C272 Notice of ex officio correction

Free format text: JAPANESE INTERMEDIATE CODE: C272

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220815

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230127

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230609

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231204