WO2023032662A1 - 情報処理装置および工作機械 - Google Patents

Abstract

ある態様の情報処理装置は、カメラにより撮像エリアを撮像し、撮像された撮像画像Ｐ０に基づいて目標に向けて流体を噴射する工作機械で用いられる撮像画像Ｐ０を処理する。この情報処理装置は、表示画像中に工作機械の特定エリアＳＡの輪郭に沿うラインＢＬを予め記憶する基準情報格納部と、撮像画像Ｐ０に表示される特定エリアＳＡの輪郭をラインＢＬに合わせるよう、撮像画像Ｐ０をカメラの光軸の回転方向に回転させる補正部と、補正部による補正後の撮像画像を表示部に表示させる表示制御部と、を備える。

Description

情報処理装置および工作機械

　本発明は、工作機械で用いられる撮像画像を処理する情報処理装置に関する。

　工作機械においてワークを加工すると切屑が生じる。加工室に切屑が多く堆積すると、加工の継続が困難となる。このため、従来は作業者が工作機械の運転を定期的に停止し、エアブローなどを使って切屑を除去するなどの対処をしていた。しかし、このような手作業による切屑の除去は、工作機械の稼働効率を低下させる。

　そこで近年、加工室にカメラを設置し、その撮像画像を解析することで切屑を自動的に除去するシステムが提案されている（特許文献１参照）。このシステムでは、解析結果に基づいて切屑の飛散位置を特定し、その飛散位置を目標としてクーラントを出射する制御（以下「清掃制御」ともいう）が行われる。また、モニタの画面に表示される撮像画像に切屑の飛散範囲を重ねて表示し、オペレータがその画面上でクーラントの出射範囲を指定できる技術も提案されている。清掃制御用のソフトウェアには、カメラによる撮像エリアの座標と、クーラントの制御指令に用いる座標との対応関係が予め設定される。

特許第６８８７０３３号公報

　ところで、このようなシステムを新たに導入する場合、既存の工作機械に後付けで組み込まれることも想定される。その場合、後付けされたカメラの取り付け誤差などにより、画面に表示される撮像エリアの座標と、ソフトウェアが認識する撮像エリアの座標とがずれる可能性がある。このため、工作機械の使用に先立ってカメラの角度を調整するなど、そのずれを解消しておく必要がある。しかし、後付けされるカメラの構造やその設置箇所によっては、カメラの角度調整に制約がかかる場合も想定される。

　本発明のある態様は、カメラにより撮像エリアを撮像し、撮像された撮像画像に基づいて目標に向けて流体を噴射する工作機械で用いられる撮像画像を処理する情報処理装置である。この情報処理装置は、表示画像中に工作機械の特定エリアの輪郭に沿うラインを予め記憶する基準情報格納部と、撮像画像に表示される特定エリアの輪郭をラインに合わせるよう、撮像画像をカメラの光軸の回転方向に回転させる補正部と、補正部による補正後の撮像画像を表示部に表示させる表示制御部と、を備える。

　本発明の別の態様は、カメラにより撮像エリアを撮像し、撮像された撮像画像の情報に基づいて目標に向けて流体を噴射する工作機械で用いられる撮像画像を処理する情報処理装置である。この情報処理装置は、工作機械の特定エリアの輪郭に沿うラインを表示部の特定の位置に表示制御する表示制御部と、撮像画像とラインとを重ねて表示部に表示させた状態で、撮像画像に撮像された工作機械の特定エリアの輪郭をラインに合わせるよう、撮像画像を回転させる補正部と、を備える。表示制御部は、補正部による補正後の撮像画像を表示部に表示させる。

　本発明のさらに別の態様は工作機械である。この工作機械は、加工室に設定される撮像エリアを撮像するカメラと、撮像された撮像画像を処理する情報処理装置と、処理された撮像画像に基づいて目標に向けて流体を噴射する噴射部と、を備える。情報処理装置は、表示画像中に加工室に設定された特定エリアの輪郭に沿うラインを予め記憶する基準情報格納部と、撮像画像に表示される特定エリアの輪郭をラインに合わせるよう、撮像画像をカメラの光軸の回転方向に回転させる補正部と、補正部による補正後の撮像画像を表示部に表示させる表示制御部と、を含む。

　本発明によれば、工作機械におけるカメラの角度調整に制約があったとしても、画面表示される撮像エリアとソフトウェアが認識する撮像エリアとの整合を図ることができる。

実施形態に係る工作機械の外観を表す斜視図である。 工作機械のハードウェア構成図である。 加工室内の構成を表す斜視図である。 カメラの構造を模式的に示す図である。 情報処理装置の機能ブロック図である。 認識部の構成を表すブロック図である。 画面表示の補正方法を表す図である。 画面表示の補正方法を表す図である。 画面表示の補正方法を表す図である。 画面表示の補正方法を表す図である。 オペレータが操作する画面の一例を表す図である。 補正処理の流れを表すフローチャートである。 清掃制御の流れを概略的に表すフローチャートである。 変形例に係る情報処理システムの構成を表す図である。 変形例に係る画像処理方法を表す図である。

　以下、図面を参照しつつ、本発明の一実施形態について説明する。
　図１は、実施形態に係る工作機械の外観を表す斜視図である。
　工作機械１は、工具を適宜交換しながらワークを所望の形状に加工する複合加工機として構成されている。工作機械１は、装置筐体の内部に加工室２が設けられる。加工室２には、ワークを加工する加工装置が設けられる。装置筐体の前面には、加工装置を操作するための操作盤４が設けられる。

　図２は、工作機械１のハードウェア構成図である。
　工作機械１は、情報処理装置１００、加工制御装置１０２、加工装置１０４、工具交換部１０６、工具格納部１０８および撮像部１１０を含む。加工制御装置１０２は、数値制御部として機能し、加工プログラム（ＮＣプログラム）にしたがって加工装置１０４に制御信号を出力する。加工装置１０４は、加工制御装置１０２からの指示にしたがって工具主軸（図示略：以下、単に「主軸」という）を動かしてワークを加工する。

　加工装置１０４は、主軸を駆動する機構のほか、クーラントを貯留する液体貯留部１１２、およびクーラントを噴射する液体噴射部１１４を備える。クーラントは、加工時における工具およびワークの除熱や潤滑のための切削油として用いられるが、加工室２内に飛散した切屑を除去するための洗浄液としても用いられる。液体噴射部１１４は、液体噴射部１１４からクーラントをくみ上げるポンプと、クーラントを噴射するノズルと、ノズルを駆動するアクチュエータを備える。

　情報処理装置１００は、操作盤４を含み、オペレータの操作入力に基づいて加工制御装置１０２に制御指令を出力する。情報処理装置１００は、また、オペレータの操作入力に応じて操作盤４のモニタに表示される画面を制御する。工具格納部１０８は工具を格納する。工具交換部１０６は、いわゆるＡＴＣ（Automatic Tool Changer）に対応し、加工制御装置１０２からの交換指示にしたがって、工具格納部１０８から工具を取り出し、主軸にある工具と取り出した工具とを交換する。

　撮像部１１０は、例えば、ＣＣＤやＣＭＯＳなどの撮像素子を備えたカメラであり、加工室２内に設定された撮像エリアを撮像する。「撮像エリア」として、ワークの加工により発生する切屑の存在が想定される領域が予め設定される。加工室２内の広い範囲で切屑の分布や堆積状況が把握できるよう、カメラの画角が設定されている。撮像部１１０は、撮像した画像を情報処理装置１００へ出力する。

　図３は、加工室２内の構成を表す斜視図である。図３（Ａ）は斜め上方からみた様子を示し、図３（Ｂ）は斜め下方からみた様子を示す。
　図３（Ａ）に示すように、加工室２は、四つの側面に囲まれており、その一側面において主軸１０が上下および左右に移動可能に設けられている。主軸１０は、水平方向の回転軸を有し、先端に工具Ｔが同軸状に取り付けられる。主軸１０と軸線方向に対向する側面は旋回扉１２を有する。旋回扉１２から水平に支持プレート１４が延出している。旋回扉１２は、鉛直方向の軸を中心に回転できる扉である。

　支持プレート１４の下方にテーブル１６が設けられている。テーブル１６にはパレット１８が着脱可能に取り付けられ、パレット１８にワークが載置され固定される。ワークを固定したパレット１８を複数用意しておくことで、パレット１８の変更によりワークを変更でき、時間の効率化を図ることができる。

　テーブル１６は、主軸１０の軸線方向に移動可能であり、また水平面内で回転できる。テーブル１６を回転駆動することで、パレット１８上のワークを回転させることができる。テーブル１６を直線駆動することで、ワークが工具Ｔに近接又は離間する。すなわち、テーブル１６の回転および移動と、主軸１０の移動を制御することにより、ワークを所望に形状に加工できる。

　テーブル１６が主軸１０から最も離間する位置において、支持プレート１４がパレット１８と嵌合する。この状態で旋回扉１２を回転させることで、支持プレート１４がパレット１８をテーブル１６から分離させ、パレット１８と一体に回転する。それにより、ワークの加工が終了したパレット１８を加工室２から搬出するとともに、次に加工するワークが固定されたパレット１８を加工室２に搬入できる。

　テーブル１６および主軸１０の下方には、切屑を加工室２の外に搬送するためのチップコンベア２０が設けられている。テーブル１６は、チップコンベア２０の上方を移動する。テーブル１６の下方にはシュータ２２が設けられている。シュータ２２は、洗浄によって上方から流れてくる切屑をチップコンベア２０上に導く。

　加工室２においてテーブル１６の両サイドに位置する底面は斜面２４となっており、加工中に飛散した切屑がシュータ２２へ流れやすくなるよう、シュータ２２へ向けて下向きに傾斜している。

　図３（Ｂ）に示すように、加工室２の上部はカバー２６（天井）により遮蔽されている。カバー２６には、クーラントを供給するための複数のノズル２８が設置される。本実施形態では、ノズル２８がカバー２６ごと交換可能な構造とされている。ノズル２８は、液体噴射部１１４を構成し、図示しない配管、バルブおよびポンプ等を介して液体貯留部１１２に接続される（図２参照）。ノズル２８は、三次元的に回転可能に構成されている。ノズル２８を回転させることで、クーラントの噴射方向を制御できる。ノズル２８の向きを特定してポンプを駆動することにより、加工室２内の目標に向けてクーラントを噴射できる。ワークの加工により生じた切屑はクーラントにより洗い流され、チップコンベア２０により加工室２の外に搬出される。本実施形態では２つのノズル２８を設置しているが、その数については適宜設定できる。

　加工室２の上部にはまた、加工室２内を上方から撮像する複数のカメラ３０が設置されている。すなわち、カメラ３０が工作機械１に固定されている。本実施形態では、加工室２におけるカバー２６のやや下方の側壁に２つのカメラ３０が取り付けられる。本実施形態では、カメラ３０は配線等の都合によりカバー２６と一体にできない構造とされている。カメラ３０は、撮像部１１０を構成し、工具Ｔによるワークの加工状況を撮像するとともに、加工により生じた切屑を撮像する（図２参照）。カメラ３０が２つ設けられることで、一方のカメラ３０では撮像できない領域を他方のカメラ３０で撮像できる。撮像部１１０は、撮像した画像を情報処理装置１００へ出力する。

　図４は、カメラ３０の構造を模式的に示す図である。
　本実施形態のカメラ３０は、その光軸Ｌ周りの回転が規制された構造を有する。すなわち、カメラ３０は、光軸Ｌに直交するヨー軸Ｌ１周りと、光軸Ｌおよびヨー軸Ｌ１に直交するピッチ軸Ｌ２周りには回動自在であるが、光軸Ｌ周りには回動できない。このため、カメラ３０の取り付け誤差などにより、画面に表示される撮像エリアの座標と、ソフトウェアが認識する撮像エリアの座標とがずれた場合、手作業での調整は困難となる。そこで、情報処理装置１００は、作業者によるカメラの角度調整に際し、それらの座標のずれを解消するための補正処理を実行する。

　図５は、情報処理装置１００の機能ブロック図である。
　情報処理装置１００の各構成要素は、ＣＰＵ（Central Processing Unit）および各種コンピュータプロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。

　情報処理装置１００は、ユーザインタフェース処理部１３０、データ処理部１３２およびデータ格納部１３４を含む。ユーザインタフェース処理部１３０は、オペレータからの操作入力を受け付けるほか、画像表示など、ユーザインタフェースに関する処理を担当する。データ処理部１３２は、ユーザインタフェース処理部１３０により取得されたデータおよびデータ格納部１３４に格納されているデータに基づいて各種処理を実行する。データ処理部１３２は、ユーザインタフェース処理部１３０およびデータ格納部１３４のインタフェースとしても機能する。データ格納部１３４は、各種プログラムと設定データを格納する。

　ユーザインタフェース処理部１３０は、入力部１４０および出力部１４２を含む。入力部１４０は、操作盤４におけるモニタのタッチパネル等を介してオペレータの操作入力を受け付ける。出力部１４２は、モニタの画面に画像等を表示する表示部１４４を含む。出力部１４２は、その表示によりオペレータに各種情報を提供する。表示部１４４は、撮像部１１０による撮像画像を表示する。

　データ処理部１３２は、取得部１５０、グリッド設定部１５２、検知部１５４、認識部１５６、補正部１５８、表示制御部１６０および噴射制御部１６２を含む。
　取得部１５０は、撮像部１１０により撮像された画像を取得する。グリッド設定部１５２は、撮像エリアにおける所定の物理量（切屑）の存在を判定（解析）するために撮像画像を複数のグリッドに区分（分割）する。グリッドは、特定形状（本実施形態では正方形であるが、幾何学的形状であればよい）を有する（詳細後述）。以下、撮像画像において複数のグリッドにより区分される領域を「グリッド領域」ともいう。また、複数のグリッドにより構成される画像を「グリッド画像」ともいう。

　検知部１５４は、入力部１４０を介したオペレータの操作入力を検知する。詳細については後述するが、オペレータは、表示部１４４に表示された撮像画像を参照することで、加工室２における切屑の堆積状況を把握できる。オペレータは、そのうえでタッチパネルを介してその撮像画像の領域を指定することで、クーラントによる清掃範囲（噴射範囲）を指示できる。検知部１５４は、このオペレータによる指示入力を撮像画像における指示位置として検知する。検知部１５４は、グリッド設定部１５２によって作成されたグリッド領域に基づいた指示位置を検知してもよい。

　認識部１５６は、撮像画像に設定されたグリッド領域に基づいて自動的に切屑を認識し、そのグリッド領域において切屑が存在しているか否かを判定し、また、存在する切屑の量を判定する。これらの判定を「切屑判定」ともいう。認識部１５６は、グリッド領域に切屑があると判定した場合、グリッド領域に対応する撮像画像上の位置を切屑の堆積位置として認識する。切屑の堆積位置を認識すると、自動検知信号を噴射制御部１６２へ出力する。自動検知信号は、撮像画像において切屑が堆積していると認識された所定位置に関する情報を少なくとも含む。

　補正部１５８は、清掃制御の実行に先立って、オペレータの操作に基づき、カメラ３０による撮像エリアの座標と、クーラントの制御指令に用いる座標とを整合させるための補正処理を実行する。この補正処理は、カメラ３０の取り付け誤差があることを前提とするものであるため、加工室２にカメラ３０を設置した際に行われる。その詳細については後述する。

　表示制御部１６０は、カメラ３０による撮像画像を表示部１４４に表示させる。補正部１５８による補正がなされる場合、表示制御部１６０は、その補正のための操作画面を表示させ、また補正後の撮像画像を表示させる。グリッド設定部１５２は、撮像画像を補正後にグリッドに区分する。表示制御部１６０は、補正後の撮像画像とグリッドとを重ねて表示部１４４に表示させる。認識部１５６は、グリッド内の目標の存在を解析する。この補正に関わる表示画面の例については後に詳述する。

　噴射制御部１６２は、清掃制御がなされる場合に加工制御装置１０２に対し、目標位置に向けたクーラントの噴射指令を出力する。この噴射指令には、クーラントを噴射する位置を特定する情報（噴射経路を特定する情報など）が含まれる。加工制御装置１０２は、この噴射指令を受けて液体噴射部１１４を駆動し、クーラントの噴射を制御する。

　この清掃制御は、クーラントにより加工室２内の切屑を洗い流すもの（つまり加工室２内を洗浄するもの）であり、本実施形態では、自動洗浄モードと手動洗浄モードが選択可能である。噴射制御部１６２は、自動洗浄モードにおいては、認識部１５６が出力した自動検知信号に基づいてクーラントを噴射する位置を自動的に設定し、噴射指令を出力する。また、手動洗浄モードにおいては、検知部１５４が検知したオペレータの領域指定に基づいてクーラントを噴射する位置を設定し、噴射指令を出力する。

　データ格納部１３４は、上述した補正処理を実行するための補正処理プログラム、清掃制御を実行するための清掃制御プログラムを含む各種プログラムのほか、これらの処理に必要な各種データを格納する。データ格納部１３４は、補正情報格納部１４６および基準情報格納部１４８を含む。補正情報格納部１４６は、補正処理に際して取得部１５０で取得された撮像画像、グリッド設定部１５２で作成されたグリッド領域（グリッド画像）、認識部１５６で切屑が存在していると認識された所定位置の情報および切屑の量に関する情報、検知部１５４で検知された位置情報などを格納する。補正情報格納部１４６は、また、後述する補正処理にて取得した補正情報（キャリブレーションデータ）を格納する。基準情報格納部１４８は、補正処理においてオペレータの操作入力をガイドするための画像を格納する。データ格納部１３４は、また、演算処理が行われる際のワークエリアとしても機能する。

　ここで、認識部１５６による切屑認識の概要について説明する。
　図６は、認識部１５６の構成を表すブロック図である。
　認識部１５６は、モデル学習部４１、算出部４３および判定部４４を備える。

　モデル学習部４１は、学習モデルを作成する。学習モデルは、入力としてグリッド設定部１５２で作成されたグリッド領域の一つを入力すると、当該グリッド領域内の切屑に関する所定の項目のうちどれに該当するか、その確率を算出して出力できるモデルである。この学習モデルは、例えば対となる入力データと出力データを教師データとし、予めＣＮＮ（畳み込みニューラルネットワーク）に入力して学習させることで作成できる。本実施形態においては、入力データにグリッド領域を、出力データに当該グリッド領域における切屑の有無および量に関する情報を用いることができる。

　データ格納部１３４はモデル記憶部４２を含む。モデル記憶部４２は、切屑の有無を自動的に判定する学習モデルを記憶する。学習モデルは、必要に応じて算出部４３に読み込まれる。

　算出部４３は、撮像画像に基づき、グリッド単位で切屑に関する所定項目の該当確率を算出する。具体的には、算出部４３は、モデル学習部４１で学習した学習モデルを用いて、グリッド領域について「切屑が多い（クラス２）」、「切屑が少ない（クラス１）」、「切屑がない（クラス０）」という３項目のどれに該当するかに関する確率を算出する。これらのクラスは、撮像エリアで認識された物質（切屑等）の存在度合いを示す。

　判定部４４は、入力されたグリッド領域に関して算出部４３が算出した確率から、当該グリッド領域の切屑がクラス０～２のどれに該当するかを判定する。判定部４４は、グリッド領域に切屑があると判定（つまり、クラス２またはクラス１であると判定）した場合、グリッド画像における当該グリッド領域の位置に対応した撮像画像上の位置情報を含む自動検知信号を表示制御部１６０および噴射制御部１６２に出力する。

　このようにして、認識部１５６は、ワークの加工中、または加工終了後、撮像部１１０で撮像された撮像画像に基づいて自動的に切屑を認識し、クーラントを噴射する自動洗浄を行うことができる。当該自動洗浄は、定期的に実行されてもよいし、作業者による指示など何らかの指示を与えることで実行されてもよい。

　次に、本実施形態における補正方法について詳細に説明する。
　既に述べたように、上述した清掃制御システムを導入する場合、画面に表示される撮像エリアの座標と、ソフトウェアが認識する撮像エリアの座標とがずれる可能性がある。このため、本実施形態では、工作機械１の使用に先立って作業者（オペレータ）がカメラ３０の角度を調整するなど、そのずれを解消する作業を行う。なお、説明の便宜上、両座標が一致した状態を「画面の整合状態」とも表現する。

　図４に関連して説明したように、本実施形態のカメラ３０は、光軸周りの回転が規制されているため、その調整には限界がある。このため、そのままではクーラントの噴射制御の目標に設定誤差を生じさせる可能性がある。そこで本実施形態では、補正部１５８がカメラ３０による撮像画像を回転させることで目標の設定誤差を補正する。以下、その詳細について説明する。

　図７～図１０は、画面表示の補正方法を表す図である。
　なお、本実施形態ではカメラ３０が複数設けられるため、それぞれのカメラ３０について補正が行われるが、便宜上、その一つについての補正を例に説明する。他のカメラ３０については同様であるので、説明を省略する。

　カメラ３０は、予め定める撮像エリアが画角に入るように加工室２に設置される。撮像エリアは、切屑の飛散および堆積が予測されるエリアを含む。ここでは、加工室２にカメラ３０が設置されたときに、表示部１４４の画面（参照画面１７０）に図７に示す撮像画像Ｐ０が表示されたとする。オペレータの操作入力により、画面表示を補正するためのメンテナンスモード（後述）に移行されると、表示制御部１６０は、撮像画像Ｐ０に重ねてベースラインＢＬ（太線）および補助線ＡＬ（一点鎖線）を表示させる。

　ベースラインＢＬは、画面が整合状態にあるときに加工室２における特定エリアＳＡの輪郭に沿うよう設定されたラインであり、基準情報格納部１４８に予め記憶されている。本実施形態では、斜面２４およびパレット１８のエッジによる境界線で囲まれる領域を特定エリアＳＡとしている。補助線ＡＬは、本実施形態では撮像画像Ｐ０の中心Ｃを通る十字補助線である。加工室２には画面が整合状態にあるときにその中心Ｃが重なるマーカＭが付されている。マーカＭは、撮像エリアに予め設定された中心設定位置に付される。

　図示の状態では、撮像画像Ｐ０の中心ＣがマーカＭからずれている。また、特定エリアＳＡの輪郭がベースラインＢＬからずれている。このため、画面は整合状態にない。そこで、オペレータは、まず手作業でカメラ３０の角度を可能な範囲で調整し、画面の整合状態に近づける。

　すなわち、オペレータがカメラ３０をヨー軸Ｌ１周りおよびピッチ軸Ｌ２周りに回動させることで、図８（Ａ）に示すように、撮像画像Ｐ０の中心ＣがマーカＭに重なるようにする。ここまでは手作業で容易に行える。しかし、図示の例ではこの段階でも特定エリアＳＡの輪郭がベースラインＢＬからずれている。このため、カメラ３０を光軸Ｌ周りに回動させることができればずれは解消できるが、本実施形態では上述のように、カメラ３０の光軸Ｌ周りの回動が規制されている。

　そこで、図８（Ｂ）に示すように、補正部１５８が特定エリアＳＡの輪郭をベースラインＢＬに合わせるよう、撮像画像Ｐ０を中心Ｃの周りに（つまりカメラ３０の光軸Ｌの回転方向に）回転させる。それにより、画面が整合状態となるようにし、クーラントの噴射制御における目標の設定誤差を補正する。ただし、このとき参照画面１７０に対して撮像画像Ｐ０が傾く結果、画面表示に違和感を生じさせる可能性がある。

　図９（Ａ）に示すように、グリッド領域ＧＡは、当初からカメラ３０の取り付け誤差がない理想的な状態を基準に設定されている。この理想的な状態において、撮像画像Ｐ０（点線参照）の縦横比（画面比率）は４：３、グリッド数は２８×２１とされている。このため、仮に撮像画像Ｐ０を光軸周りに回転した場合、撮像画像Ｐ０の周縁部においてグリッドに過不足が生じる場合がある。グリッドの一つひとつに画像が対応しなければ、切屑の堆積度合いを正確に判定することはできない。

　そこで、グリッド領域ＧＡにおいて、画像が確実に含まれる領域（二点鎖線参照）を判定領域ＪＡとし、その判定領域ＪＡのみを切屑判定に利用することとする。すなわち、図９（Ｂ）に示すように、表示制御部１６０は、画角を回転した後の撮像画像Ｐ０から外周部を切り取る形で特定形状の画像を抽出する。以下、このとき抽出された画像を「抽出画像Ｐ１」という。本実施形態では、「特定形状」を撮像画像Ｐ０と同じ縦横比（４：３）を有する長方形状とする。なお、ここでいう「切り取り」は、撮像画像Ｐ０の外周部を消去して判定領域ＪＡの画像部分を抽出画像Ｐ１のデータとして残すものでもよいし、外周部の消去はせずに判定領域ＪＡの画像部分を抽出して抽出画像Ｐ１のデータとするものでもよい。

　一方、切屑判定の画像処理がグリッド単位で行われるため、表示制御部１６０は、撮像画像Ｐ０からの外周部の切り取りをグリッドの行および列の少なくとも一方を単位として実行する。図示の例では、撮像画像Ｐ０の回転角θが３度とされており、外周一列分（つまり上下端の２行と左右端の２列分）のグリッド画像と、撮像画像Ｐ０においてその外周一列分のグリッド画像が重なる部分が切り取られている。その結果、グリッド数は２６×１９となっている。

　ただし、抽出画像Ｐ１をそのまま表示すると、参照画面１７０よりも小さくなり、周囲に余白が形成されて違和感を生じさせる可能性がある。そこで、図１０（Ａ）に示すように、抽出画像Ｐ１を予め設定した表示サイズに拡大して参照画面１７０に表示させる。ここでは、元の撮像画像Ｐ０と同じ縮尺で拡大する。その結果、図１０（Ｂ）に示すように、抽出画像Ｐ１は参照画面１７０と同じサイズとなり、その長方形の辺が元の撮像画像Ｐ０の長方形の辺と同じ位置となるように表示される。

　なお、認識部１５６による物質（切屑）の認識および判定は、当初に設定したグリッド領域（グリッド数：２６×１９）で行われる。撮像画像Ｐ０の外周が切り取られることで、表示制御部１６０による画面表示は、その一部となることがある。

　以上の補正処理により、参照画面１７０に表示される撮像エリアの座標と、ソフトウェアが認識する撮像エリアの座標とを整合させることができ、クーラントを目標位置に向けて正確認の噴射させることができる。グリッド設定部１５２が設定するグリッドの位置と、オペレータが画像から認識するグリッドの位置とが一致するようになる。オペレータがタッチパネルを介して指示する位置はいずれかのグリッドに対応し、そのグリッドが重なる画像の領域がクーラントの噴射対象（目標位置）として設定される。

　上述のようにグリッド領域の外周が切り取られて表示されたとしても、表示中のグリッドの位置と撮像エリアの実際の位置とが正確に対応する。このため、クーラントの噴射制御を高精度に保つことができる。

　図１１は、オペレータが操作する画面の一例を表す図である。
　操作盤４のモニタには、図１１（Ａ）に示す画面２００が表示される。画面２００は、上述した参照画面１７０と操作画面２０２とを横並びに含む。操作画面２０２には、自動洗浄ボタン２１０、手動洗浄ボタン２１２、洗浄経路調整ボタン２１４、詳細設定ボタン２１６が設けられる。

　自動洗浄ボタン２１０は、自動洗浄モードを実行する際に選択される。手動洗浄ボタン２１２は、手動洗浄モードを実行する際に選択される。洗浄経路調整ボタン２１４は、クーラントによる洗浄経路を調整する際に選択される。各ボタンを選択すると、それぞれプルダウンメニューが表示され、各洗浄モードにおける操作項目を選択できるが、その詳細については説明を省略する。

　詳細設定ボタン２１６を選択すると、図示のようにメンテナンスボタン２２０、補助線表示ボタン２２２および画像回転操作部２２４が表示される。オペレータによりメンテナンスボタン２２０が選択されることでメンテナンスモードへ移行され、撮像画像Ｐ０に重ねてベースラインＢＬが表示される。また、補助線表示ボタン２２２がオンにされると、補助線ＡＬが表示される。

　オペレータは、参照画面１７０を見ながら、上述のように撮像画像Ｐ０の中心ＣがマーカＭに重なるようにカメラ３０のヨー角およびピッチ角を調整する。その後、画像回転操作部２２４の＋ボタン又は－ボタンをタッチすることで撮像画像Ｐ０の回転角θを調整できる。補正部１５８は、オペレータにより＋ボタンがタッチされるごとに撮像画像Ｐ０を時計回りに０．１度ずつ回転させ、－ボタンがタッチされるごとに撮像画像Ｐ０を反時計回りに０．１度ずつ回転させる。図１１（Ｂ）に示すように、補助線表示ボタン２２２がオフにされると、補助線ＡＬが非表示とされる。

　図１２は、補正処理の流れを表すフローチャートである。
　本処理は、オペレータによるメンテナンスボタン２２０の選択を契機に実行される。
　表示制御部１６０は、メンテナンス画面として参照画面１７０に撮像画像Ｐ０を表示させ（Ｓ１０）、ベースラインＢＬを重ねるように表示させる（Ｓ１２）。

　このとき、オペレータにより補助線表示ボタン２２２がオンにされると（Ｓ１４のＹ）、表示制御部１６０は、補助線ＡＬを表示させる（Ｓ１６）。補助線表示ボタン２２２がオフであれば（Ｓ１４のＮ）、補助線ＡＬを非表示とする（Ｓ１８）。画像回転操作部２２４の操作により画像回転指示がなされると（Ｓ２０のＹ）、表示制御部１６０は、撮像画像Ｐ０を回転させる（Ｓ２２）。

　このようにして特定エリアＳＡの輪郭がベースラインＢＬに重なり、オペレータが図示略の確定ボタンを選択すると（Ｓ２４のＹ）、補正部１５８は、判定領域ＪＡを算出する（Ｓ２６）。すなわち、撮像画像Ｐ０の傾きに応じてグリッド領域ＧＡにおいて画像が確実に含まれる領域を判定領域ＪＡとして設定する。この判定領域ＪＡは、グリッド単位で切屑判定が実行される「ＡＩ推論領域」として機能する。

　表示制御部１６０は、その判定領域ＪＡに基づき、撮像画像Ｐ０から外周部を切り取る形で抽出画像Ｐ１を抽出し（Ｓ２８）、その抽出画像Ｐ１を調整（拡大）して参照画面１７０に表示させる（Ｓ３０）。補正部１５８は、この一連の補正情報をキャリブレーションデータとして補正情報格納部１４６に格納する（Ｓ３２）。この補正情報として、撮像画像Ｐ０の設定角度（回転角θ）、判定領域ＪＡの設定、抽出画像Ｐ１の拡大率（設定倍率）等が含まれる。確定ボタンを選択されなければ（Ｓ２４のＮ）、Ｓ２６～Ｓ３２の処理をスキップする。

　そして、オペレータにより他のボタンが選択されるなど、予め定めるメンテナンス終了条件が成立すると（Ｓ３４のＹ）、表示制御部１６０は、メンテナンス画面の表示を終了する（Ｓ３６）。メンテナンス終了条件が成立していなければ（Ｓ３４のＮ）、Ｓ１４に戻る。

　図１３は、清掃制御の流れを概略的に表すフローチャートである。
　自動洗浄モードおよび手動洗浄モードのいずれかにおいて清掃制御が開始されると、取得部１５０が、撮像画像Ｐ０を取得する（Ｓ４０）。続いて、補正部１５８が、補正情報格納部１４６に格納された補正情報（キャリブレーションデータ）を読み出し（Ｓ４２）、撮像画像Ｐ０に対して内部処理的に上述した補正処理を反映させる。

　すなわち、補正部１５８は、撮像画像Ｐ０を設定角度で回転させ（Ｓ４４）、判定領域を設定し（Ｓ４６）、抽出画像を抽出する（Ｓ４８）。続いて、設定倍率で抽出画像を拡大し（Ｓ５０）、それを撮像画像として画面に表示させる（Ｓ５２）。そして、オペレータの操作入力により切屑堆積状況の表示指示がなされれば（Ｓ５４のＹ）、表示制御部１６０は、撮像画像に重ねてグリッド画像を表示し（Ｓ５６）、さらに切屑の堆積状況を表示する（Ｓ５８）。この切屑堆積状況は、認識部１５６が判定したクラスに応じて色分けなどの手段により表示される。

　表示された画像に基づいてオペレータがクーラントの噴射位置（目標）を指示すると（Ｓ６０のＹ）、検知部１５４がこれを検知する。噴射制御部１６２は、その噴射位置に基づいてクーラントの噴射経路を設定し（Ｓ６２）、その噴射経路に基づいてクーラントを噴射するよう噴射指令を加工制御装置１０２へ出力する（Ｓ６４）。

　そして、オペレータにより他のボタンが選択されるなど、予め定める洗浄モード終了条件が成立すると（Ｓ６６のＹ）、表示制御部１６０は、洗浄操作画面の表示を終了する（Ｓ６８）。洗浄モード終了条件が成立していなければ（Ｓ６６のＮ）、Ｓ４０に戻る。

　以上、実施形態に基づいて工作機械について説明した。
　本実施形態では、加工室２におけるカメラ３０の設置に取り付け誤差があった場合、作業者（オペレータ）が撮像画像Ｐ０を確認しつつ、カメラ３０の角度（ヨー角、ピッチ角）を微調整できる。カメラ３０は構造上、光軸周りの回転（ロール角）を調整できないが、撮像画像Ｐ０を回転させることでその補正を行うことができる。すなわち、本実施形態によれば、工作機械１におけるカメラ３０の角度調整に制約があったとしても、画面表示される撮像エリアとソフトウェアが認識する撮像エリアとの整合を図ることができる。このため、オペレータが画面に表示された撮像画像に基づいてクーラントによる切屑の洗浄指示を行う場合であっても、その洗浄指示位置とクーラントの噴射位置とが整合する。つまり、洗浄制御の精度を高く維持することができる。

　本実施形態によれば、工作機械１におけるカメラ３０の角度調整に制約があったとしても、補正部１５８が、撮像画像に表示される工作機械の特定エリアの輪郭を予め設定したラインに合わせるよう、撮像画像をカメラの光軸の回転方向に回転させる補正を実行する。グリッド設定部１５２がその補正後の撮像画像に基づいてグリッドを区分し、表示制御部１６０が補正後の撮像画像とグリッドとを重ねて表示部に表示する。それにより、画面表示（グリッド表示）される撮像エリアとソフトウェアが認識する撮像エリアとの整合を図ることができる。撮像画像に設定するグリッドの位置と、オペレータが画像から認識可能なグリッドの位置とが一致するようになるため、グリッド内の目標に向けて流体を正確に噴射させることが可能となる。

　また、本実施形態では、撮像画像Ｐ０を補正する際に、回転により傾斜した撮像画像Ｐ０から外周部を切り取る形で抽出画像Ｐ１を抽出し、予め設定した表示サイズに拡大して表示させるようにした。このため、画面に表示される撮像画像の枠形状を長方形に維持したまま大きさを画面に整合させることができる。このため、補正の有無により（つまり設置するカメラの個体差により）撮像画像の見え方が大きく変化することがなく、補正後の画像によりオペレータに違和感を与えることもない。

［変形例］
　上記実施形態では、工作機械１を複合加工機として説明したが、ターニングセンタであってもよいし、マシニングセンタであってもよい。また、材料（例えば金属粉末）をレーザで溶かしながら加工する付加加工の機械であってもよい。その場合、加工時に飛散する材料が、物質認識部により認識される「物理量」となる。

　上記実施形態では、切屑除去のために噴射される流体としてクーラントを例示した。変形例においては、クーラント以外の液体（洗浄液）であってもよいし、空気のような気体であってもよい。その場合、液体噴射部に代えて気体を噴射する気体噴射部を設ける。

　上記実施形態では、補正処理において撮像画像Ｐ０の回転角θが３度となる例を示したが（図８（Ｂ））、回転角θはカメラ３０の設置状況に応じて変化することは言うまでもない。抽出画像Ｐ１の縦横比を４：３とした場合、例えばθ＝１°の場合にグリッド数を２７×２０、θ＝２°の場合にグリッド数を２６×２０、θ＝４°の場合にグリッド数を２５×１９、θ＝５°の場合にグリッド数を２５×１８とすることができる。

　上記実施形態では、情報処理装置１００を工作機械１の内部コンピュータとし、操作盤４と一体に構成する例を示したが、操作盤４とは独立に構成してもよい。その場合、情報処理装置は、操作盤のモニタをリモートディスクトップとし、表示部として機能させてもよい。あるいは、情報処理装置を工作機械に接続される外部コンピュータとしてもよい。その場合、情報処理装置は、一般的なラップトップＰＣ（Personal Computer）あるいはタブレット・コンピュータであってもよい。

　図１４は、変形例に係る情報処理システムの構成を表す図である。なお、上記実施形態と同様の構成については同一の符号を付し、その詳細な説明を省略する。
　本変形例では、情報処理装置が工作機械の外部に設置される。すなわち、情報処理システムは、工作機械３０１、データ処理装置３１０およびデータ格納装置３１２を備える。データ処理装置３１０が「情報処理装置」として機能する。

　工作機械３０１は、加工制御装置１０２、加工装置１０４、工具交換部１０６、工具格納部１０８、データ処理部３３０、操作盤３０４および撮像部１１０を備える。データ処理部３３０は、通信部３３２、グリッド設定部１５２、検知部１５４、認識部１５６および噴射制御部１６２を含む。通信部３３２は、受信部および送信部を有し、データ処理装置３１０およびデータ格納装置３１２を含む外部装置との通信を担当する。

　操作盤３０４は、ユーザインタフェース処理部１３０およびデータ処理部３３４を含む。データ処理部３３４は、オペレータの操作入力に基づいて加工制御装置１０２に制御指令を出力する。また、オペレータの操作入力に応じて表示部１４４に表示される画面を制御する。

　データ処理装置３１０は、通信部３２０、補正部１５８および表示制御部１６０を含む。通信部３２０は、受信部および送信部を有し、工作機械３０１との通信を担当する。データ格納装置３１２は、補正情報格納部１４６および基準情報格納部１４８を含む。データ格納装置３１２は、本変形例ではデータ処理装置３１０と有線接続されているが、無線接続されてもよい。他の変形例においては、データ格納装置３１２は、データ処理装置３１０の一部として組み込まれてもよい。

　本変形例ではこのように、上記実施形態における情報処理装置１００の機能を工作機械の内部と外部に分ける形で実現する。このような構成によっても上記実施形態と同様の効果を得ることができる。

　上記実施形態では述べなかったが、グリッドの大きさおよび形状は、必要に応じて変更できるように構成されてもよい。その場合も、撮像画像の外周部をグリッド単位で切り取って抽出画像を得るようにするとよい。

　上記実施形態では、カメラ３０の取り付け誤差を解消するために、作業員（オペレータ）が手作業で３０のヨー軸周りおよびピッチ軸周りの角度を調整する例を示した。変形例においては、情報処理装置が、カメラの角度制御に関し、ヨー軸周りの第１の回動と、ピッチ軸周りの第２の回動とを制御する駆動制御部を設けてもよい。駆動制御部は、補正部による補正に先立ってカメラの光軸が撮像エリアに予め設定された中心設定位置（マーカＭ）に位置するよう、第１の回動および第２の回動を制御する。

　上記実施形態では、カメラ３０の光軸周りの規制状態として、カメラ３０が光軸周りに回転できない構成を例示した。変形例においては、カメラ３０が光軸周りに所定量回転できるものの、その回転角が制限された状態でもよい。あるいは、カメラ３０そのものは回転可能な構造であるものの、周囲の構造物との干渉を避けるためにその回転が制限されている状態でもよい。

　上記実施形態では、図７および図８に示したように、撮像画像Ｐ０の中心Ｃとカメラ３０の光軸Ｌとが一致し、光軸Ｌを中心に撮像画像Ｐ０を回転させる構成を例示した。変形例においては、撮像画像を光軸とは無関係に回転させてもよい。その場合も、補正部は、特定エリアの輪郭をベースラインに合わせるよう撮像画像を回転させる。具体的には、撮像画像の面に直交し、かつ、撮像画像の中心を通る直交軸を中心に回転させる形態が好ましい。

　図１５は、変形例に係る画像処理方法を表す図である。
　本変形例では、図１５上段に示す撮像画像を図１５下段に示すように補正することができる。すなわち、グリッド設定部１５２は、撮像部１１０から受信した撮像画像の予め設定された位置にグリッド線を重ねる処理（グリッド線分割処理）を行う。そのように処理すると、グリッド線と撮像画像Ｐ１０との重なりが図１５上段の図のような関係になる場合がある。このグリット線と撮像画像Ｐ１０とを重ねたデータは、撮像画像Ｐ１０と重なる最外周のグリッドについて４辺のグリッド線が表れないグリッド領域が存在する。このような場合に、表示制御部１６０は、４辺すべてが撮像画像と重ならないグリッド領域を無視し、４辺すべてが撮像画像Ｐ１０と重なるグリッド区画だけを参照画面の大きさにあわせて表示する処理を行うことが可能である（図１５下段）。また、グリッド設定部１５２が、４辺が撮像画像Ｐ１０と重ならないグリッド領域（または４辺が表れないグリッド領域）があることを検出し、４辺が撮像画像Ｐ１０と重なるように網目状にあるグリッド線全体を上下左右に動かして調整するような処理を行ってもよい。

　なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。

　この特許出願は、日本の特願２０２１－１４４４２４（２０２１年９月６日出願）の優先権を主張し、その全体が参照により本明細書に組み込まれるものとする。

Claims (9)

1. 　カメラにより撮像エリアを撮像し、撮像された撮像画像に基づいて目標に向けて流体を噴射する工作機械で用いられる前記撮像画像を処理する情報処理装置であって、
   　表示画像中に工作機械の特定エリアの輪郭に沿うラインを予め記憶する基準情報格納部と、
   　撮像画像に表示される前記特定エリアの輪郭を前記ラインに合わせるよう、前記撮像画像を前記カメラの光軸の回転方向に回転させる補正部と、
   　前記補正部による補正後の撮像画像を表示部に表示させる表示制御部と、
   　を備える、情報処理装置。
2. 　カメラにより撮像エリアを撮像し、撮像された撮像画像の情報に基づいて目標に向けて流体を噴射する工作機械で用いられる前記撮像画像を処理する情報処理装置であって、
   　工作機械の特定エリアの輪郭に沿うラインを表示部の特定の位置に表示制御する表示制御部と、
   　前記撮像画像と前記ラインとを重ねて前記表示部に表示させた状態で、前記撮像画像に撮像された工作機械の特定エリアの輪郭を前記ラインに合わせるよう、前記撮像画像を回転させる補正部と、を備え、
   　前記表示制御部は、前記補正部による補正後の撮像画像を表示部に表示させる、情報処理装置。
3. 　前記カメラが前記光軸周りの回転が規制されたものであり、
   　前記補正部は、前記撮像画像の回転により前記目標の設定誤差を補正する、請求項１に記載の情報処理装置。
4. 　オペレータの操作入力を受け付ける入力部をさらに備え、
   　前記表示制御部は、前記補正部による補正に先立って前記撮像画像に前記ラインを重ねて表示させ、
   　前記補正部は、オペレータの操作入力に応じて前記撮像画像を回転させる、請求項１に記載の情報処理装置。
5. 　前記表示制御部は、オペレータの操作入力に応じて前記光軸を通る補助線を前記撮像画像に重ねて表示させる、請求項４に記載の情報処理装置。
6. 　前記カメラの角度制御に関し、前記光軸に直交するヨー軸周りの第１の回動と、前記光軸および前記ヨー軸に直交するピッチ軸周りの第２の回動と、を制御する駆動制御部をさらに備え、
   　前記駆動制御部は、前記補正部による補正に先立って前記カメラの光軸が前記撮像エリアに予め設定された中心設定位置に位置するよう、前記第１の回動および前記第２の回動を制御する、請求項１に記載の情報処理装置。
7. 　前記表示制御部は、画角を回転した後の撮像画像から外周部を切り取る形で長方形状の画像を前記表示部に表示させる、請求項１に記載の情報処理装置。
8. 　前記撮像エリアの撮影画像を複数のグリッドに区分するグリッド設定部と、
   　前記撮影画像に基づき、前記撮像エリアにおける予め定める物理量を前記グリッド単位で認識する認識部と、
   　前記流体を噴射する噴射部を制御する噴射制御部と、
   　を備え、
   　前記噴射制御部は、前記撮像エリア内で認識された前記物理量に基づいて前記目標を設定する、請求項１に記載の情報処理装置。
9. 　加工室に設定される撮像エリアを撮像するカメラと、
   　撮像された撮像画像を処理する情報処理装置と、
   　処理された撮像画像に基づいて目標に向けて流体を噴射する噴射部と、
   　を備える工作機械であって、
   　前記情報処理装置は、
   　表示画像中に前記加工室に設定された特定エリアの輪郭に沿うラインを予め記憶する基準情報格納部と、
   　撮像画像に表示される前記特定エリアの輪郭を前記ラインに合わせるよう、前記撮像画像を前記カメラの光軸の回転方向に回転させる補正部と、
   　前記補正部による補正後の撮像画像を表示部に表示させる表示制御部と、
   　を含む、工作機械。

Images