WO2022163426A1 - 画像処理装置 - Google Patents

Abstract

画像処理装置は、工作機械のカメラから、工具の撮像画像を受信する受信部と、撮像画像において、工具に対応する領域のうち、工具中心から所定距離以上離れた部分の領域の面積である余剰面積を計算する面積算出部と、余剰面積の大きさに基づいて、工具の継続使用の適否を判定する検査部と、を備える。

Description

画像処理装置

　本発明は、工作機械における工具の検査技術、に関する。

　工作機械は、ワークを所望の形状に切削加工する装置や、金属粉末などを積層してワークを作る装置がある。切削加工する工作機械には、回転するワークに切削用の工具を当てることでワークを加工するターニングセンタと、回転する工具をワークに当てることでワークを加工するマシニングセンタ、これらの機能を複合的に備える複合加工機などがある。

　主軸あるいは刃物台などの工具保持部に工具は固定される。工作機械は、あらかじめ用意された加工プログラムにしたがって、工具を交換しつつ、工具保持部を動かしながらワークを加工する。

　加工中のワークからはひも状の切屑が飛散し、これが工具に巻き付くことがある。切屑に巻き付かれた工具は、同タイプの別の工具と交換する必要がある。交換後、新たな工具により加工は継続される。作業者は、加工終了後、工具から切屑を取り除く（特許文献１参照）。

特開平９－３２３２４０号公報

　工具に巻き付く切屑が少量であれば、その工具を継続使用できる場合も多い。少量の切屑は、主軸の移動中に工具から自然に外れることも多い。工具交換には時間がかかるため、工具に巻き付いている切屑の量（以下、「巻き付き量」とよぶ）に応じて、工具の交換要否を適切に判断する必要がある。

　本発明のある態様における画像処理装置は、カメラから、工具の撮像画像を受信する受信部と、撮像画像において、工具に対応する領域のうち、工具中心から所定距離以上離れた部分の領域の面積である余剰面積を計算する面積算出部と、余剰面積の大きさに基づいて、工具の継続使用の適否を判定する検査部と、を備える。

　本発明の別の態様における画像処理装置は、工具の長手方向に対してカメラと工具が相対移動し、カメラから複数の撮像画像を受信する受信部と、複数の撮像画像それぞれについて、撮像画像における工具に対応する領域を含む第１領域と、基準画像における工具に対応する領域を含む第２領域の差異点数を計算する算出部と、複数の撮像画像それぞれの差異点数に基づいて、工具の継続使用の適否を判定する検査部と、を備える。

　本発明によれば、巻き付き量に基づいて工具交換の要否を適切に判断しやすくなる。

工作機械の外観図である。 工具認識領域における工具、カメラおよび照明装置の位置関係を示す模式図である。 工作機械および画像処理装置のハードウェア構成図である。 画像処理装置の機能ブロック図である。 工具と撮像領域の位置関係を示す模式図である。 予備検査時の撮像画像の模式図である。 予備検査時における基準工具の黒画素数の計算方法を説明するための模式図である。 巻き付き検査時の撮像画像の模式図である。 巻き付き検査時における使用工具の黒画素数の計算方法を説明するための模式図である。 基準工具撮像画面の画面図である。 使用工具撮像画面の画面図である。 巻き付き量と黒画素数の関係を示すグラフである。 巻き付き量と差分画素数の関係を示すグラフである。 巻き付き検査の処理過程を示すフローチャートである。 図１４のＳ２６における画像検査の詳細を示すフローチャートである。 変形例における予備検査時の撮像画像の模式図である。 検査設定画面の画面図である。 変形例における使用工具撮像画面の第１の画面図である。 変形例における使用工具撮像画面の第２の画面図である。 変形例における使用工具撮像画面の第３の画面図である。

　図１は、工作機械１００の外観図である。
　本実施形態における工作機械１００は、加工領域２００内に配置されるワークを加工する複合加工機である。ワークは保持部１０４に固定され、別の保持部である主軸に取り付けられる工具１０２により切削される。ワークを保持する保持部１０４は駆動機構により回転駆動される。

　工具１０２が工具認識領域２１０内に挿入されたとき、下方の照明装置１０８は工具１０２を照明し、上方のカメラ１０６は工具１０２を撮像する。このときの撮像画像に基づいて後述の工具登録、工具検査、予備検査および巻き付き検査が実行される。工具認識領域２１０の構成については次の図２に関連して更に詳述する。

　工作機械１００は、外部を遮断するカバー２０２を備える。カバー２０２は、ドア２０４を備える。ユーザは、ドア２０４を開口して、加工領域２００へのワークの取り付けおよび加工領域２００からのワークの取り出しを行う。操作盤２０６は、作業者から、工作機械１００に対する各種操作を受け付ける。

　操作盤２０６は、画像処理装置１１０と接続される。作業者は、画像処理装置１１０により工作機械１００の作業状況を遠隔監視できる。本実施形態においては、工作機械１００本体と画像処理装置１１０は有線ケーブルを介して接続される。画像処理装置１１０は、工作機械１００の内部、たとえば、操作盤２０６の内部装置として形成されてもよい。

　工具格納部１３０は、複数の工具１０２を格納する。工具格納部１３０に格納される複数の工具１０２から工具交換部（後述）により工具１０２を取得し、これを主軸に装着する。なお、図１に示すように、水平方向にＹ軸とＺ軸、垂直方向にＸ軸を設定するものとする。Ｚ軸方向は、主軸およびワークの軸方向に対応する。

　図２は、工具認識領域２１０における工具１０２、カメラ１０６および照明装置１０８の位置関係を示す模式図である。
　工具１０２は、ワークの加工に利用される刃部１１２と、主軸１１６のホルダ１１８に固定されるシャンク部１１４を含む。主軸１１６は、工具１０２を保持しつつ、回転および移動可能に構成される。また、主軸１１６は、保持している工具を回転させることもできる。

　カメラ１０６は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge-Coupled Device）などのイメージセンサ（撮像素子）を備える。カメラ１０６は、主軸１１６に取り付けられた工具１０２を上（Ｘ軸方向）から撮像する。カメラ１０６は画像処理装置１１０と接続され、撮像画像は画像処理装置１１０に送信される。カメラ１０６は工具認識領域２１０に固定される。主軸１１６がＺ軸を軸心として工具１０２を回転させることにより、複数方向から工具１０２を撮像できる。また、主軸１１６が工具１０２を水平方向（ＹＺ方向）に動かすことにより、工具１０２の複数箇所を撮像できる。

　カメラ１０６に対向するように、下部には照明装置１０８が固定される。照明装置１０８は工具１０２を下から照明する。照明装置１０８による透過照明により、カメラ１０６は、工具１０２の輪郭位置を把握しやすい、コントラストの高い撮像画像を取得できる。

　ユーザは、工具１０２を新規登録するときには（以下、「工具登録」とよぶ）、操作盤２０６において工具登録モードに設定し、主軸１１６に新規の工具１０２を取り付ける。次に、任意の工具ＩＤを入力する。主軸１１６は工具１０２を移動・回転させ、固定されたカメラ１０６は工具１０２をさまざまな位置および方向から自動的に撮像する。カメラ１０６により得られた多数の撮像画像から、工具形状が認識され、工具ＩＤと工具形状が対応づけて登録される。このような制御方法により、工具１０２ごとに、工具形状を自動的に工具ＩＤに対応づけて登録できる。工具形状は、二次元データあるいは三次元データとして形成される。工具登録に際しては、後述の巻き付き検査の前提となる「予備検査」も実行されるが、詳細は後述する。

　また、加工中あるいは加工後の工具１０２について検査を実行するときにも、主軸１１６は工具１０２を工具認識領域２１０に進入させる。新規登録時と同様、主軸１１６は工具１０２を移動・回転させ、カメラ１０６は工具１０２をさまざまな位置および方向から自動的に撮像する。カメラ１０６により得られた多数の撮像画像から、工具形状が認識される。以下、このような加工中に適宜実行される検査を「工具検査」とよぶ。作業者は、工具登録時の工具形状データと工具検査時の工具形状データを比較することにより、工具１０２の摩耗度、欠損の有無を判定する。

　本実施形態におけるカメラ１０６は約１００万画素（１２２４×１０２４）の解像度を有する。撮像範囲は３００ミリメートル×３００ミリメートル程度である。また、カメラ１０６は１秒間に最大８０枚の撮像画像を取得可能である。

　本実施形態における工作機械１００は、工具１０２の欠損等を判定する工具検査とは別に、工具１０２への切屑の巻き付き量を検査する「巻き付き検査」も実行する。以下、巻き付き検査を中心として説明する。

　図３は、工作機械１００および画像処理装置１１０のハードウェア構成図である。
　工作機械１００は、操作制御装置１２０、加工制御部１２２、加工装置１２４、工具交換部１２６および工具格納部１３０を含む。数値制御装置として機能する加工制御部１２２は、加工プログラムにしたがって加工装置１２４に制御信号を送信する。加工装置１２４は、加工制御部１２２からの指示にしたがって主軸１１６を動かしてワークを加工する。

　操作制御装置１２０は、操作盤２０６を含み、加工制御部１２２を制御する。工具格納部１３０は工具を格納する。工具交換部１２６は、いわゆるＡＴＣ（Automatic Tool Changer）に対応する。工具交換部１２６は、加工制御部１２２からの交換指示にしたがって、工具格納部１３０から工具を取り出し、主軸１１６にある工具と取り出した工具を交換する。

　画像処理装置１１０は、主として、工具形状認識等の画像処理を行う。上述したように、画像処理装置１１０は操作制御装置１２０の一部として構成されてもよい。画像処理装置１１０は、一般的なラップトップＰＣ（Personal Computer）あるいはタブレット・コンピュータであってもよい。

　図４は、画像処理装置１１０の機能ブロック図である。
　画像処理装置１１０の各構成要素は、ＣＰＵ（Central Processing Unit）および各種コンピュータプロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。

　なお、操作制御装置１２０および加工制御部１２２も、プロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され演算器に処理命令を供給するソフトウェアやプログラムを画像処理装置１１０とは別個のオペレーティングシステム上で実現される形態でもよい。

　画像処理装置１１０は、ユーザインタフェース処理部１４０、データ処理部１４２、通信部３００およびデータ格納部１４４を含む。
　ユーザインタフェース処理部１４０は、作業者からの操作を受け付けるほか、画像表示や音声出力など、ユーザインタフェースに関する処理を担当する。通信部３００は、操作制御装置１２０との通信を担当する。データ処理部１４２は、ユーザインタフェース処理部１４０により取得されたデータおよびデータ格納部１４４に格納されているデータに基づいて各種処理を実行する。データ処理部１４２は、ユーザインタフェース処理部１４０、通信部３００およびデータ格納部１４４のインタフェースとしても機能する。データ格納部１４４は、各種プログラムと設定データを格納する。

　ユーザインタフェース処理部１４０は、入力部１４６および出力部１４８を含む。
　入力部１４６は、タッチパネル、マウス、キーボード等のハードデバイスを介してユーザからの入力を受け付ける。出力部１４８は、画像表示あるいは音声出力を介して、ユーザに各種情報を提供する。出力部１４８は、表示部１３８を含む。表示部１３８は、各種画像を画面表示させる。

　通信部３００は、操作制御装置１２０からデータを受信する受信部３０４と、操作制御装置１２０にデータおよびコマンドを送信する送信部３０６を含む。

　データ処理部１４２は、面積算出部１５０、検査部１５２、工具交換指示部１５４および撮像処理部１５６を含む。
　撮像処理部１５６は、カメラ１０６を制御して工具１０２を撮像させる。加工制御部１２２は主軸１１６をカメラ１０６の直下に移動させ、撮像処理部１５６は工具１０２を撮像する。撮像処理部１５６から加工制御部１２２に主軸１１６の移動方向を指示することもできる。検査部１５２は、撮像画像の各画素の輝度に応じて、撮像画像を白画素および黒画素に２値化する。検査部１５２は、工具登録、工具検査、予備検査および巻き付き検査を制御する。面積算出部１５０は、予備検査および巻き付き検査に際して得られた撮像画像から、工具１０２への切屑の巻き付き量として、後述の「余剰面積」を計算する。検査部１５２は、余剰面積に基づいて、工具の継続使用可否を判定する。工具交換指示部１５４は、検査部１５２により工具１０２の継続使用が不適切と判定されたとき（以下、「異常判定」ともよぶ）、操作制御装置１２０を介して加工制御部１２２に工具交換を指示する。加工制御部１２２は、異常判定された工具の交換を工具交換部１２６に指示する。

　図５は、工具１０２と撮像領域１７０の位置関係を示す模式図である。
　撮像領域１７０は、カメラ１０６の受光面直下に位置する。カメラ１０６は撮像領域１７０の範囲内にある物体を撮像する。加工制御部１２２は、主軸１１６を動かすことで工具１０２を撮像領域１７０に挿入する。撮像領域１７０は工具１０２に比べると小さいため、一度に工具１０２全体を撮像することはできない。

　撮像領域１７０を大きくするためにカメラ１０６のレンズを大きくした場合、カメラ１０６のコストアップにつながる。また、工具認識領域２１０に大きなカメラ１０６を設置した場合、加工領域２００のスペースが圧迫されるため好ましくない。このため、本実施形態においては、比較的小さなカメラ１０６により、工具１０２を複数回に分けて撮像し、複数の撮像画像に基づいて工具１０２全体の形状を認識する方式を採用している。
　以下、カメラ１０６により工具１０２の一部を撮像した撮像画像のことを「部分画像」とよぶ。

　予備検査および巻き付き検査時において、加工制御部１２２は、工具１０２（主軸１１６）をＺ軸正方向、すなわち、工具１０２の長手方向に沿って、一定速度にて移動させる。ここでいう長手方向とは、工具１０２の軸方向を意味する。図５においては、工具１０２の長手方向はＺ軸方向と一致する。また、本実施形態においては、工具１０２の工具長の方向と、長手方向とは一致する。撮像処理部１５６は撮像領域１７０を常時監視する。撮像領域１７０におけるライブビュー画像はカメラ１０６から画像処理装置１１０に伝送される。

　図６は、予備検査時の撮像画像の模式図である。
　検査部１５２は、所定のタイミングにて、加工中または加工後の工具１０２について巻き付き検査を実行する。巻き付き検査の実行タイミングは任意であるが、本実施形態においては、ある工具１０２Ａの連続使用時間が所定時間、たとえば、３分間を超えたときに巻き付き検査を実行するものとして説明する。いいかえれば、工具１０２Ａの連続使用時間が３分以内のときに別の工具１０２Ｂに交換されるときには工具１０２Ａの巻き付き検査は実行されない。工具１０２Ａについて巻き付き検査において異常と判定されたときには、工具１０２Ａと同タイプの予備の工具１０２Ａを交換した上で加工を継続する。

　また、検査部１５２は、工具登録の終了後に、巻き付き検査の前提となる予備検査を実行する。予備検査と巻き付き検査の内容は基本的に同じであるが詳細は後述する。検査部１５２は、予備検査の結果と、巻きつき検査の結果を比較することにより、巻き付き量を計算し、巻き付き量に基づいて異常／正常判定を行う。

　以下、工具登録時の工具１０２、いいかえれば、切屑がまったく巻き付いていない状態の工具１０２を「基準工具」とよぶ。また、工具登録完了後に実際にワークの加工に使用される工具１０２、いいかえれば、切屑が巻き付いている可能性のある工具１０２のことを「使用工具」とよぶ。図６は、ある工具１０２Ａ１（Ａタイプの工具１０２の一つ）の予備検査時の撮像画像を示す。以下、工具１０２Ａ１の中心線のＸ座標値を「Ｘ１」、工具１０２Ａ１の半径を「Ｒ」とする。したがって、工具１０２Ａの輪郭線のＸ座標値Ｘ２は「Ｘ１＋Ｒ」となる。

　工具１０２Ａ１を工具登録した後、検査部１５２は工具１０２Ａ１について予備検査を実行する。撮像処理部１５６は、主軸１１６をＺ軸方向に直線移動させるように操作制御装置１２０に指示する。撮像処理部１５６は撮像領域１７０（ライブビュー画像）において刃部１１２の先端の検出後、カメラ１０６に撮像画像（部分画像）の取得を指示する。カメラ１０６は、指示を受けたとき１枚目の部分画像を取得してメモリに固定する。図６においては、所定の開始位置Ｐ１において１枚目の部分画像が取得される。開始位置Ｐ１は、たとえば、工具１０２Ａ１の先端点と、撮像画像の中心点のＺ距離が所定値になったとき、として定義される。

　開始位置Ｐ１における部分画像の取得後、加工制御部１２２は主軸１１６（工具１０２Ａ１）をＺ軸正方向にゆっくりと直線移動させる。撮像処理部１５６は、工具１０２Ａ１の移動に連動して部分画像を連続的に取得する。所定の終了位置Ｐ２において最後の部分画像が取得される。開始位置Ｐ１から終了位置Ｐ２までに得られた部分画像群により、刃部１１２の一部の輪郭を含む撮像画像が得られる。

　面積算出部１５０は、得られた複数の部分画像を対象として、撮像範囲の一部としての検査領域Ｑを設定する。検査領域のＸ座標はＸ１～Ｘ３、Ｚ座標Ｚ１～Ｚ２の範囲に対応する。Ｚ１、Ｚ２の位置は任意であるが、Ｚ２はシャンク部１１４を含まない位置に設定されることが望ましい。Ｘ３の位置は、Ｘ３＞Ｘ２＝Ｘ１＋Ｒとなる任意の位置に設定される。

　カメラ１０６が広角の場合には、１回の撮像にて検査領域Ｑ全体を撮像してもよい。本実施形態のように撮像領域１７０がカメラ１０６に比べて小さい場合には、主軸１１６を動かすことで工具１０２を複数回撮像し、撮像処理部１５６は複数の部分画像から検査領域Ｑに対応する撮像画像を合成すればよい。

　予備検査および巻き付き検査においては、工具１０２に対応する領域の全部または一部が撮像対象となる。図６においては、「工具１０２に対応する領域」は、刃部１１２およびシャンク部１１４の全域であってもよいし、少なくとも、検査領域Ｑを含む領域であればよい。

　図７は、予備検査時における基準工具の黒画素数の計算方法を説明するための模式図である。
　面積算出部１５０は、検査領域Ｑに対応する撮像画像の各画素を輝度に基づいて２値化する。本実施形態においては、撮像画像の各画素は、黒色の画素（黒画素）と白色の画素（白画素）のいずれかとなる。基準工具の場合、黒画素は工具１０２の位置に対応する画素（以下、「工具画素」とよぶ）となる。

　以下、検査領域Ｑに対応する撮像画像における画素の座標（ｘ，ｚ）を画素座標とよぶ。また、ここでいうｘ，ｚをそれぞれＸ画素座標、Ｚ画素座標とよぶ。

　工具１０２Ａ１の中心軸に対応するＸ画素座標をｘ１とする。Ｘ画素座標＝ｘ１となる黒画素数はｎ個であるとする。いいかえれば、Ｘ座標がＸ１（中心軸）、Ｚ座標がＺ１～Ｚ２の位置に対応する黒画素の数はｎ個であるといえる。Ｘ画素座標＝ｘ１＋１の黒画素数もｎ個となる。Ｘ画素座標がＸ２（＝Ｘ１＋Ｒ）よりも大きいとき、いいかえれば、工具１０２Ａ１の輪郭線の外側においては、黒画素数は０となる。工具１０２Ａ１の外側においては撮像画像に映り込む物体が存在しないためである（図６も参照）。

　以下、検査領域ＱのＸ画素座標ｘにおいて検出される黒画素数を「Ｃ（ｘ）」と表記する。図７においては、Ｘ１≦ｘ≦Ｘ２においてはＣ（ｘ）＝ｎ、ｘ＞Ｘ２においてはＣ（ｘ）＝０となっている。実際には、工具１０２Ａ１の撮像に際してさまざまな画像ノイズが発生するため、ｘ＞Ｘ２においてもＣ（ｘ）＞０となるが、ノイズを含めた計測結果については図１２、図１３に関連して後述する。

　図８は、巻き付き検査時の撮像画像の模式図である。
　図６，７に関連して説明した予備検査により、工具１０２Ａ１の検査領域Ｑから黒画素が特定される。上述したように、検査部１５２は、所定のタイミングにて、工具１０２Ａ１について巻き付き検査を実行する。

　図８は、工具１０２Ａ１の巻き付き検査時の撮像画像を示す。工具１０２Ａ１には切屑１８０が付着している。巻き付き検査時においても、撮像処理部１５６は、工具１０２Ａ１をＺ軸方向に直線移動させるように操作制御装置１２０に指示する。撮像処理部１５６は撮像領域１７０（ライブビュー画像）において刃部１１２の先端の検出後、カメラ１０６に撮像画像（部分画像）の取得を指示する。カメラ１０６は、指示を受けたとき１枚目の部分画像を取得してメモリに固定する。

　加工制御部１２２は工具１０２Ａ１をＺ軸正方向にそのまま直線移動させる。撮像処理部１５６は、工具１０２Ａ１の移動に連動して部分画像を連続的に取得する。面積算出部１５０は、Ｘ１～Ｘ３、Ｚ１～Ｚ２の範囲において、工具１０２Ａの検査領域Ｑを設定する。予備検査時の検査領域Ｑと巻きつき検査時の検査領域Ｑは同一範囲である。

　巻き付き検査においては、撮像画像には工具１０２Ａ１のみならず、切屑１８０も映り込む。面積算出部１５０は撮像画像を２値化処理し、黒画素と白画素に分類する。このときの黒画素の大部分は工具１０２Ａ１に対応するが、一部は切屑１８０に対応する。

　図９は、巻き付き検査時における使用工具の黒画素数の計算方法を説明するための模式図である。
　切屑１８０の位置に対応する画素を「屑画素」とよぶ。Ｘ１≦ｘ≦Ｘ２においてはＣ（ｘ）＝ｎとなる。これは基準工具と同様である。Ｘ１≦ｘ≦Ｘ２の範囲において検出される黒画素は工具画素である。一方、ｘ＞Ｘ２においても、いいかえれば、工具１０２Ａ１の輪郭線の外側にも少数の黒画素が検出される。これは、切屑１８０に対応する屑画素である。以下、Ｘ２よりも外側において検出される工具画素を「余剰画素」とよぶ。余剰画素の多くは屑画素であるが切屑以外の物体あるいはノイズも少数ながら含まれているかもしれない。図９に示す余剰画素群１９０は余剰画素の集合を示す。余剰画素の総数を「余剰面積」とよぶ。

　面積算出部１５０は、予備検査時における工具１０２Ａ１（基準工具）の余剰面積Ｓ１と、巻き付き検査時における工具１０２Ａ１（使用工具）の余剰面積Ｓ２をそれぞれ求める。工具１０２Ａ１に対する切屑１８０の巻き付き量が多いほど、余剰面積Ｓ２は大きくなる。なお、図７に示したように、理想的には、基準工具の余剰面積Ｓ１は「０」である。

　あらかじめ閾値Ｔ１を設定しておく。検査部１５２は、Ｓ２（使用工具の余剰面積）－Ｓ１（基準工具の余剰面積）＞閾値Ｔ１となっているとき、工具１０２Ａ１を「異常」と判定する。この場合、工具１０２Ａ１は同タイプの別の工具１０２Ａ２と交換する必要がある。

　より具体的には、まず、基準工具について、検査領域Ｑを対象とした撮像画像を取得する。面積算出部１５０は、撮像画像に含まれる各画素（ｘ、ｚ）の輝度値を取得する。面積算出部１５０は、輝度値が所定の閾値以下となる黒画素の数を計数する。次に、使用工具についても同様にして、検査領域Ｑを対象とした撮像画像を取得する。面積算出部１５０は、撮像画像に含まれる各画素（ｘ、ｚ）の輝度値を取得する。面積算出部１５０は、輝度値が所定の閾値以下となる黒画素の数を計数する。検査部１５２は、使用工具の黒画素と基準工具の黒画素を座標ごとに比較し、相違する画素数を計数する。このときの差分が「Ｓ２－Ｓ１」に対応する。以下、余剰面積Ｓ２と余剰面積Ｓ１の差分値のことを「差分画素数Ｄ」または「差分値Ｄ」とよぶ。差分値Ｄが閾値Ｔ１以上となるとき、巻き付き量が非常に大きいと考えられるため、工具１０２Ａ１は異常（継続使用不可）と判定される。

　図１０は、基準工具撮像画面２３０の画面図である。
　撮像処理部１５６は、工具１０２を撮像し、表示部１３８は撮像画像を表示させる。基準工具撮像画面２３０は、切屑が巻き付いていない工具１０２、たとえば、予備検査時における基準工具の撮像画像である。上述したように、面積算出部１５０は撮像画像に基づいて余剰面積を計算する。表示部１３８は、基準工具撮像画面２３０において余剰面積Ｓ１を表示させてもよい。

　図１１は、使用工具撮像画面２２０の画面図である。
　使用工具撮像画面２２０は、切屑１８０が巻き付いている工具１０２の撮像画像である。巻き付き検査のときに使用工具を撮像したとき、使用工具撮像画面２２０が表示される。面積算出部１５０は、使用工具についても余剰面積Ｓ２を計算する。表示部１３８は、使用工具撮像画面２２０において余剰面積Ｓ２を表示させてもよい。画像処理装置１１０の表示部１３８は、基準工具撮像画面２３０および使用工具撮像画面２２０を並列表示させることもできる。このとき、表示部１３８は、基準工具の余剰面積Ｓ１と使用工具の余剰面積Ｓ２のほか、その差分値Ｄも表示させる。作業者は、基準工具撮像画面２３０（基準工具）とさまざまな巻き付き量に対応する使用工具撮像画面２２０を見比べながら、閾値Ｔ１を自由に設定する。入力部１４６は、閾値Ｔ１の入力を受け付け、検査部１５２の内部パラメータとしてこれを設定する。閾値Ｔ１をいったん設定したあとは、検査部１５２は閾値Ｔ１に基づいて使用工具の継続使用可否を判定する。

　図１２は、巻き付き量と黒画素数の関係を示すグラフである。
　横軸は工具径方向（Ｘ軸方向）、縦軸はＸ画素座標ごとの黒画素数である。黒画素は、工具１０２に対応する工具画素と切屑１８０に対応する屑画素の双方を含む。グラフ２３１は、切屑がほとんど巻き付いていない工具１０２Ａ１の黒画素数である。グラフ２３２は、切屑が少し巻き付いているが継続使用可能な工具１０２Ａ１の黒画素数である。グラフ２３４は、切屑が多量に巻き付いているため交換が必要な工具１０２Ａ１の黒画素数である。図１２のグラフは、図７、図９に模式的に示した図に対応する。

　図１２に示すように、工具中心からの距離がＲ（工具径）を超えると黒画素数が急減している。グラフ２３４に関しては工具中心からの距離がＲ以上となっても黒画素数が残っている。これは、工具輪郭よりも外側において屑画素が大量に検出されるためである。なお、基準工具撮像画面２３０に示したように切屑がまったく巻き付いていない工具１０２Ａ１であっても、少数ながら余剰画素が検出されている。これは、撮像条件の変動や、画像の２値化にともなってノイズが生じるためである。したがって、グラフ２３１においてもノイズとしての余剰画素が少量ながら検出されている。基準工具であっても、実際には余剰面積Ｓ１はゼロとはならない。

　図１３は、巻き付き量と差分画素数の関係を示すグラフである。
　図１３は、基準工具としての工具１０２Ａ１と、図１２におけるグラフ２３１、グラフ２３２、グラフ２３４に対応する使用工具としての工具１０２Ａ１との黒画素の差分値Ｄ（差分画素数）を示す。巻き付き量が大きいほど工具径Ｒを中心として、特に工具径Ｒより外部において余剰画素が多く検出されている。

　図１４は、巻き付き検査の処理過程を示すフローチャートである。
　巻き付き検査の実行タイミングにおいて、加工制御部１２２は、主軸１１６を工具認識領域２１０に移動させる（Ｓ２４）。加工制御部１２２は、主軸１１６を工具認識領域２１０に挿入したあと、操作制御装置１２０に準備完了を通知する。

　検査部１５２は、工具１０２の画像検査を行う（Ｓ２６）。画像検査により、使用工具の継続使用可否が判定される。画像検査の詳細は次の図１５に関連して説明する。

　画像検査の結果が異常判定だった場合には（Ｓ２８のＹ）、表示部１３８は使用工具に多量または大型の切屑が巻き付いていることを作業者に報知する（Ｓ３０）。続いて、撮像処理部１５６は、操作制御装置１２０を介して加工制御部１２２に工具交換を指示する（Ｓ３２）。工具交換部１２６は、使用工具（切屑の巻き付き量が大きい工具１０２Ａ１）と、工具格納部１３０に格納されている同タイプの予備の工具１０２Ａ２を交換する。

　画像検査の結果が正常判定だったときには（Ｓ２８のＮ）、Ｓ３０、Ｓ３２の処理はスキップされる。

　図１５は、図１４のＳ２６における画像検査の詳細を示すフローチャートである。
　撮像処理部１５６は、工具１０２を撮像し、検査領域Ｑに対応する撮像画像を取得する（Ｓ４０）。面積算出部１５０は使用工具の余剰面積Ｓ２を計算し、予備検査においてあらかじめ取得していた余剰面積Ｓ１と余剰面積Ｓ２の差分値Ｄを計算する（Ｓ４２）。検査部１５２は、差分値Ｄが閾値Ｔ１よりも大きいときには（Ｓ４４のＹ）、異常と判定する（Ｓ４６）。差分値Ｄが閾値Ｔ１以下のときには（Ｓ４４のＮ）、検査部１５２は使用工具を正常（継続使用可能）と判定する（Ｓ４８）。上述したように、異常判定のときに工具交換が実行される。

［総括］
　以上、実施形態に基づいて工作機械１００および画像処理装置１１０について説明した。
　工具１０２に巻き付いた切屑は、ワークを傷つけてしまう可能性がある。一方、切屑が少ししか巻き付いていない場合でも工具１０２を交換するとすれば加工効率が低下してしまう。本実施形態によれば、画像処理装置１１０は工具１０２の巻き付き量を画像認識し、使用工具の継続使用可否を自動的に判定できる。このような制御方法によれば、工作機械１００における加工効率と安全性を両立させることができる。

　また、作業者は、基準工具撮像画面２３０および使用工具撮像画面２２０において工具１０２の撮像画像とともに余剰面積Ｓ１，Ｓ２あるいは差分値Ｄを参照することにより、直観的に適切な閾値Ｔ１を設定できる。

　なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。

［変形例］
　本実施形態においては、差分値Ｄ（＝Ｓ２－Ｓ１）＞閾値Ｔ１となるとき、検査部１５２は工具１０２Ａ１を異常と判定をするものとして説明した。変形例として、検査部１５２は差分値Ｄ２＝Ｓ２／Ｓ１を計算してもよい。任意の閾値Ｔ２を設定し、Ｄ２＞Ｔ２のとき、検査部１５２は工具１０２Ａ１を異常と判定してもよい。

　画像処理装置１１０は、工具１０２に欠損が生じていないかを判定するために、定期的に工具検査を実行する。画像処理装置１１０は、工具検査のときに巻き付き検査を工作機械１００に実行指示してもよい。画像処理装置１１０の検査部１５２は、加工中になんらかの異常を検出したとき、巻き付き検査を実行するとしてもよい。たとえば、主軸１１６に加速度センサを内蔵しておき、カメラ１０６から画像処理装置１１０に加速度を定期的に通知する。画像処理装置１１０の検査部１５２は、カメラ１０６の加速度が所定の閾値以上となったとき、工具１０２の干渉が発生した可能性があるかもしれないので巻き付き検査を実行するとしてもよい。加工領域内に集音マイクを設け、異音（所定音量以上の音声、所定周波数帯の音声など）が発生したとき、画像処理装置１１０は巻き付き検査を実行するとしてもよい。

　工具１０２Ａ１による加工後、別の工具１０２Ｂに交換するタイミングにて巻き付き検査を実行してもよい。たとえば、工具１０２Ａ１と同タイプの工具である工具１０２Ａ２が工具格納部１３０に格納されているとする。工具１０２Ａ１を工具１０２Ｂに交換するとき、工具１０２Ａ１について巻き付き検査を実行する。工具１０２Ａ１が異常判定となったときには、工具交換部１２６が工具１０２Ａ１と工具１０２Ｂを交換したあと、操作制御装置１２０は工具１０２Ａ１の状態データを「使用不可」に設定する。次回、工具１０２Ａ１が必要となったときには、工具交換部１２６は、使用不可の工具１０２Ａ１ではなく、同タイプの工具１０２Ａ２を選ぶ。工具１０２Ａ２に切屑が巻き付いて異常判定となったときには、工具１０２Ａ２も「使用不可」に設定される。作業者は、一連の加工作業が終わったあと、工具格納部１３０において「使用不可」とされている工具１０２から切屑を除去する。このあと、作業者は、画像処理装置１１０または操作制御装置１２０から、工具１０２Ａ１，工具１０２Ａ２の状態を「使用不可」から「使用可能」に変更設定してもよい。

　本実施形態においては、工具径Ｒの位置を境界線として設定し、面積算出部１５０は境界線（工具径Ｒ）よりも外側に位置する黒画素を余剰画素として検出した。余剰画素と工具画素の境界線は、工具径Ｒに限らず、作業者が任意に設定してもよい。

　本実施形態においては、カメラ１０６を固定し、主軸１１６をカメラ１０６の近くに動かすことで工具１０２を撮像するとして説明した。変形例として、可動型のカメラ１０６を使用してもよい。データ処理部１４２はカメラ制御部（不図示）を備え、カメラ制御部は工具検査時にカメラ１０６を工具１０２のそばに移動させることで工具１０２を撮像させてもよい。

　余剰面積が大きいとき、たとえば、Ｓ２（使用工具の余剰面積）－Ｓ１（基準工具の余剰面積）＞閾値Ｔ３となっているとき、送信部３０６は主軸１１６を加工領域２００内の所定位置に移動させ、そこで主軸１１６を高速回転させることを指示する制御信号を操作制御装置１２０に送信してもよい。回転速度は任意であるが、たとえば、５００～２０００ｒｐｍ程度の範囲で設定されればよい。操作制御装置１２０は、この制御信号を受信したとき、加工制御部１２２に上記制御を実行させる。所定回数の回転後、検査部１５２は巻き付き検査を再実行してもよい。主軸１１６の回転運動により、工具１０２からは切屑１８０が除去される可能性がある。再度の巻き付き検査において余剰面積が小さいとき、たとえば、Ｓ２－Ｓ１≦Ｔ３となっているときには、検査部１５２はこの工具１０２を継続使用可能と判定してもよい。

　出力部１４８は、報知部（不図示）を備えてもよい。報知部は、巻き付き検査においてＳ１－Ｓ２＞Ｔ１が成立するとき、「切屑が工具に巻き付いている可能性があります」のようなメッセージを作業者に報知してもよい。報知方法は音声および文字の双方または一方であればよい。

　以下においては、工具１０２に対する切屑の巻き付きおよび工具１０２の折損の検出方法の変形例について説明する。

　図１６は、変形例における予備検査時の撮像画像の模式図である。
　変形例においても、検査部１５２は所定のタイミングにて、加工中または加工後の工具１０２について巻き付き検査を実行する。検査部１５２は、また、工具登録時には予備検査を実行する。

　図１６は、ある工具１０２Ａ２（Ａタイプの工具１０２の一つ）の予備検査時の撮像画像である。図１６においても、工具１０２Ａ２の中心線のＸ座標値を「Ｘ１」とする。

　工具１０２Ａ２を工具登録したあと、検査部１５２は工具１０２Ａ２について予備検査を実行する。予備検査に際しては、撮像処理部１５６は、主軸１１６をＺ軸方向、すなわち、工具１０２の長手方向に直線移動させる。ここで、撮像領域の中心線と工具１０２Ａ２の中心線の座標値の差分を「ＸＰ」とする。差分値ＸＰは、後述の方法によりユーザにより任意に設定可能である。

　加工制御部１２２は主軸１１６を差分値ＸＰにしたがってＸ軸方向に調整したあと、移動値ＺＰに基づいてＺ軸方向に移動させる。移動値ＺＰも後述の方法によりユーザにより任意に設定可能である。撮像処理部１５６は、工具１０２Ａ２の移動に連動して、部分画像を連続的に取得する。すなわち、工具１０２をその長手方向に移動させる過程において、複数の部分画像が撮像される。以下、予備検査時に得られる部分画像を「基準画像」とよぶ。

　このようにして、予備検査に際しては差分値ＸＰおよび移動値ＺＰにより定義される検査領域Ｑを対象として複数の部分画像が基準画像として取得される。予備検査のときには工具１０２に対する切屑の巻き付き、工具１０２の折損は生じていない。

　巻き付き検査時においても、予備検査時と同様の検査領域Ｑを対象として複数の部分画像が取得される。巻き付き検査時においても、１０２をその長手方向に移動させる過程において、複数の部分画像が撮像される。以下、巻き付き検査時の部分画像のことを「検証画像」とよぶ。巻き付き検査のときには工具１０２に切屑の巻き付きが生じている可能性がある。

　図１７は、検査設定画面３１０の画面図である。
　ユーザは、予備検査前に検査設定画面３１０において検査対象、検査範囲、検出感度を設定できる。表示部１３８により、検査設定画面３１０が画面表示される。検査設定画面３１０は、検査選択領域３１３、範囲設定領域３１４および検出感度設定領域３１６を含む。検査選択領域３１３において、ユーザは、検査項目として「折損検査」と「巻き付き検査」それぞれについて要否を設定する。図１７においては巻き付き検査のみが選択されている。折損検査については後述する。

　範囲設定領域３１４において、ユーザは差分値ＸＰおよび移動値ＺＰを設定することで検査領域Ｑを定義する。検出感度設定領域３１６において、ユーザは検査感度を「高」「中」「低」のいずれかから選択する。本変形例においては、検査部１５２は基準画像と検証画像を比較し、それぞれに含まれる黒画素数の差分量に基づいて切屑の巻き付きの大きさを判定する。

　検査感度は、たとえば、「高」では閾値としての画素数はＴ１、「中」では画素数Ｔ２（＞Ｔ１）、「低」では画素数Ｔ３（＞Ｔ２）に設定される。変形例においては、面積算出部１５２の代わりに「算出部」が余剰面積ではなく、差異点数（後述）を計算することで巻き付き判定を行う。すなわち、変形例における画像処理装置１１０の機能ブロック図は、図４に説明した機能ブロック図の「面積算出部」を「算出部」に変更したものである。算出部は、同一撮像位置における基準画像と検証画像を比較し、基準画像において黒画素となる第２領域と、検証画像において黒画素となる第１領域の画素数の差分である差異点数を算出する。ここでいう黒画素は、図７に関連して説明した方法と同一の方法により特定される。

　第１領域には、工具本体だけでなく、工具１０２に巻き付いている切屑が含まれる可能性がある。一方、予備検査時の工具１０２には切屑が巻き付いていないので、第２領域は工具１０２のみに対応する領域である。第１領域と第２領域の黒画素の数の差である差異点数に応じて、検査部１５２は工具１０２が正常（継続使用可能）であるか否かを判定する。切屑が巻き付いていない場合、理想的には第１領域と第２領域は完全一致し、差異点数はゼロとなる。すなわち、第１領域と第２領域は本来一致するべき、工具１０２に対応する領域であり、切屑等が工具１０２に巻き付いたときには第１領域は第２領域よりも大きくなる。

　ユーザは、入力した設定値を有効化するときには設定ボタン３１８をタッチする。このとき、撮像処理部１５６および検査部１５２は設定値をデータ格納部１４４に保存する。キャンセル時にはユーザはキャンセルボタン３２０をタッチする。

　折損検査方法については、後述し、まず巻き付き検査の方法について具体例を示しながら説明する。

　図１８は、変形例における使用工具撮像画面の第１の画面図である。
　図１８においては、検証画像Ｐ１～Ｐ４が取得されている。検証画像Ｐ１～Ｐ４と同じ撮像位置において基準画像Ｖ１～Ｖ４（不図示）があらかじめ取得されている。算出部は、基準画像Ｖ１における第２領域と、検証画像Ｐ１における第１領域を比較する。より具体的には、検査部１５２は検証画像Ｐ１において所定の閾値明度以下となる黒画素領域を第１領域、基準画像Ｖ１において閾値明度以下となる黒画素領域を第２領域とし、第１領域と第２領域の画素数の差異点数Ｄ１を計算する。

　工具１０２の先端に切屑の巻き付きが発生する場合には、差異点数Ｄ１は大きくなる。巻き付きが発生していないときには、画像ノイズ等の影響を考慮したとしても、差異点数Ｄ１は小さい値となる。図１８においてはＤ１＜Ｔ１となるので、検出感度が高・中・低のいずれであっても、検査部１５２は検証画像Ｐ１については巻き付きを検出しない。図１８において工具１０２の先端部には切屑の巻き付きがほとんど発生していないため、検証画像Ｐ１における第１領域とは基準画像Ｖ１における第２領域にほぼ完全に対応している。

　検証画像Ｐ４と基準画像Ｖ４の差異点数Ｄ４は、閾値Ｔ１よりも大きく閾値Ｔ３よりも小さい。したがって、検証感度が「高（Ｔ１）」に設定されているときには、検査部１５２は工具１０２に対して切屑が巻き付いているため、この工具１０２は継続使用に適さないと判定する。一方、検証感度が「中（Ｔ２）」または「低（Ｔ３）」に設定されているときには、検査部１５２は工具１０２を継続使用可能と判定する。検査部１５２は、検証画像Ｐ１～Ｐ４について順番に差異点数Ｄと閾値を比較し、いずれかの検証画像について閾値を超える差分値が検出されたときには工具１０２を使用不可と判定する。

　ユーザは検出感度を設定することで、工具１０２の継続使用に対する判断基準を自由に設定できる。

　図１９は、変形例における使用工具撮像画面の第２の画面図である。
　図１９においては、移動値ＺＰが図１８に示す検査時よりも大きく設定されているため、検証画像Ｐ１～Ｐ９および基準画像Ｖ１～Ｖ９（不図示）が取得される。検証画像Ｐ４の第１領域と基準画像Ｖ４の第２領域の画素数の差異点数Ｄ４は、閾値Ｔ２よりも大きく閾値Ｔ３よりも小さい。したがって、検出感度が「高（Ｔ１）」「中（Ｔ２）」に設定されているときには、検査部１５２は工具１０２を継続使用不可と判定する。検出感度が「低（Ｔ３）」に設定されているときには、検査部１５２は工具１０２を継続使用可能と判定する。

　図２０は、変形例における使用工具撮像画面の第３の画面図である。
　図２０においても、移動値ＺＰが図１８に示す検査時よりも大きく設定されているため、検証画像Ｐ１～Ｐ９および基準画像Ｖ１～Ｖ９（不図示）が取得される。検証画像Ｐ５の第１領域と基準画像Ｖ５の第２領域の画素数の差異点数Ｄ５は、閾値Ｔ３よりも大きい。したがって、検出感度が「高（Ｔ１）」「中（Ｔ２）」「低（Ｔ３）」のいずれに設定されているときでも、検査部１５２は検証画像Ｐ５に基づいて工具１０２を継続使用不可と判定する。

　このように、検査部１５２は検証画像の第１領域に含まれる黒画素数から基準画像の第２領域に含まれる黒画素数を減算し、その差異点数Ｄが閾値よりも大きいときには、工具１０２への切屑の巻き付き量が継続使用に適さないほど大きいと判定する。

　一方、工具１０２に欠損が生じたときには、検証画像の第１領域に含まれる黒画素数は、基準画像の第２領域に含まれる黒画素数よりも少なくなる。検査設定画面３１０において折損検出が選択されているときには、検査部１５２は基準画像の第２領域に含まれる黒画素数から検証画像の第１領域に含まれる黒画素数を減算し、その差異点数Ｅを閾値と比較する。検査部１５２は差異点数Ｅが閾値に比べて大きいときには、工具１０２は継続使用に適さないほど折損していると判定する。折損検査の閾値も、検査設定画面３１０における検出感度設定領域３１６の設定にしたがって変化する。

　上述したように、変形例においては、検査部１５２は、工具登録時の撮像画像である基準画像と検証画像と、巻き付き検査、折損検査時の撮像画像である検証画像を比較し、第１領域および第２領域の画素数の差異点数に基づいて、切屑の巻き付きあるいは工具１０２の折損が生じているか否かを判定する。検査部１５２は、ユーザによる検出感度の設定値に基づいて、工具１０２の継続使用可否を判定する。

Claims (3)

1. 　カメラから、工具の撮像画像を受信する受信部と、
   　前記撮像画像において、工具に対応する領域のうち、工具中心から所定距離以上離れた部分の領域の面積である余剰面積を計算する面積算出部と、
   　前記余剰面積の大きさに基づいて、前記工具の継続使用の適否を判定する検査部と、を備える、画像処理装置。
2. 　工具の長手方向に対してカメラと工具が相対移動し、カメラから複数の撮像画像を受信する受信部と、
   　複数の撮像画像それぞれについて、撮像画像における工具に対応する領域を含む第１領域と、基準画像における工具に対応する領域を含む第２領域の差異点数を計算する面積算出部と、
   　前記複数の撮像画像それぞれの差異点数に基づいて、前記工具の継続使用の適否を判定する検査部と、を備える、画像処理装置。
3. 　ユーザから、検出感度の指定を受付ける入力部、を更に備え、
   　前記検査部は、前記複数の撮像画像のうちのいずれかの差異点数が前記指定された検出感度にあらかじめ対応づけられる閾値以上となるとき、検査対象となる工具に切屑が巻き付いていることを報知する、請求項２に記載の画像処理装置。

Images