JP5337636B2

JP5337636B2 - 加工状況監視方法及び加工状況監視装置

Info

Publication number: JP5337636B2
Application number: JP2009201353A
Authority: JP
Inventors: 雅彦森; シャオドンティアン; ビンヤンチャオ; 誠藤嶋; ゼェジン
Original assignee: DMG Mori Co Ltd; Mori Seiki Co Ltd
Current assignee: DMG Mori Co Ltd
Priority date: 2008-09-05
Filing date: 2009-09-01
Publication date: 2013-11-06
Anticipated expiration: 2029-09-01
Also published as: US20100063615A1; JP2010061661A; US20100063616A1; DE102009029062A1; JP5399824B2; US8180477B2; JP2010061662A; US8355813B2; DE102009029064A1

Description

本発明は、工作機械におけるワーク加工状況の監視映像を画面表示装置に表示する加工状況監視方法及び加工状況監視装置に関する。

多くの工作機械では、カバーにより閉塞された内部領域でワークが加工されるようになっており、これによって、安全性が確保されている。その一方で、カバーには窓が設けられているものの、この窓を通してオペレータの視認することができる部分は限られているので、ワークの加工状況を監視するには限界がある。

このため、例えば、特開２００５−１９０１０２号公報に記載されているように、工作機械の内部領域にカメラを設置して、このカメラから得られる画像を画面表示装置に表示し、この表示画像によりオペレータがワークの加工状況を確認するといったことが行われている。

特開２００５−１９０１０２号公報

しかしながら、上記のようにカメラを設置した場合であっても、工具とワークの位置関係によっては工具がワークに隠れた画像しか得られないこともあるため、ワークの加工状況を十分に監視することができない場合があった。

本発明は、以上の実情に鑑みなされたものであって、撮像手段から得られる画像によってワークの加工状況を十分に監視することができる加工状況監視方法及び加工状況監視装置の提供をその目的とする。

上記目的を達成するための本発明は、
動作指令を基に、工具を保持する工具保持手段及びワークを保持するワーク保持手段の一方又は両方を動作させる工作機械に、前記工具及びワーク、或いは前記工具，ワーク及びワーク保持手段を互いに異なる視点から一定時間間隔で撮像してその２次元実画像データを順次生成する複数の実撮像手段を配設し、これらの各実撮像手段の内、少なくとも１つの実撮像手段により生成された２次元実画像データを画面表示手段に表示させて加工状況を監視する方法であって、
前記動作指令と、前記各保持手段，工具及びワークの３次元モデルに関するデータとを基に、前記各保持手段の一方又は両方を前記動作指令に従って動作させたときの前記各保持手段，工具及びワークのモデルデータを生成してこれらのモデルデータを更新するとともに、
前記工具及びワーク、或いは前記工具，ワーク及びワーク保持手段の２次元仮想画像データであって、３次元空間を仮想的に設定して、この仮想３次元空間内に前記工具及びワーク、或いは前記工具，ワーク及びワーク保持手段の３次元モデルを配置するとともに前記各実撮像手段と同条件且つ同数の撮像手段を仮想的に設定，配置し、これらの各仮想撮像手段により前記工具及びワーク、或いは前記工具，ワーク及びワーク保持手段を前記各実撮像手段とそれぞれ同視点から一定時間間隔で撮像したときに得られると想定される２次元仮想画像データを、前記更新したモデルデータを基に順次生成し、
前記生成した各２次元仮想画像データを基に、これら複数の２次元仮想画像の内、前記ワーク又はワーク保持手段によって前記工具の先端が隠れていない２次元仮想画像に対応した仮想撮像手段を少なくとも１つ選択し、選択した仮想撮像手段に対応する実撮像手段によって生成された２次元実画像データを前記画面表示手段に表示させるようにしたことを特徴とする加工状況監視方法に係る。

そして、この加工状況監視方法は、以下の加工状況監視装置によってこれを好適に実施することができる。
即ち、この加工状況監視装置は、
工具を保持する工具保持手段と、ワークを保持するワーク保持手段と、前記各保持手段の一方又は両方を動作させる駆動手段と、前記各保持手段の一方又は両方の動作指令を基に前記駆動手段の作動を制御する制御手段と、画像データの表示を行うための画面表示手段とを備えた工作機械に設けられる加工状況監視装置であって、
前記工具及びワーク、或いは前記工具，ワーク及びワーク保持手段を互いに異なる視点から一定時間間隔で撮像してその２次元実画像データを順次生成する複数の実撮像手段と、
前記制御手段から前記動作指令を受信して、受信した動作指令と、前記各保持手段，工具及びワークの３次元モデルに関するデータとを基に、前記各保持手段の一方又は両方を前記動作指令に従って動作させたときの前記各保持手段，工具及びワークのモデルデータを生成してこれらのモデルデータを更新するモデルデータ更新手段と、
前記モデルデータ更新手段によって更新されたモデルデータを基に前記工具及びワーク、或いは前記工具，ワーク及びワーク保持手段の２次元仮想画像データを生成する手段であって、３次元空間を仮想的に設定して、この仮想３次元空間内に前記工具及びワーク、或いは前記工具，ワーク及びワーク保持手段の３次元モデルを配置するとともに前記各実撮像手段と同条件且つ同数の撮像手段を仮想的に設定，配置し、これらの各仮想撮像手段により前記工具及びワーク、或いは前記工具，ワーク及びワーク保持手段を前記各実撮像手段とそれぞれ同視点から一定時間間隔で撮像したときに得られると想定される２次元仮想画像データを順次生成する仮想画像生成手段と、
前記仮想画像生成手段によってそれぞれ生成された２次元仮想画像データを基に、これら複数の２次元仮想画像の内、前記ワーク又はワーク保持手段によって前記工具の先端が隠れていない２次元仮想画像に対応した仮想撮像手段を少なくとも１つ選択し、選択した仮想撮像手段に対応する実撮像手段によって生成された２次元実画像データを前記画面表示手段に表示させる表示制御手段とを備えて構成される。

この加工状況監視装置によれば、制御手段により、工具保持手段及びワーク保持手段の一方又は両方の動作指令を基に駆動手段が制御されて各保持手段の一方又は両方が動作せしめられると、この各保持手段の実際の動作と並行して各保持手段，工具及びワークのモデルデータが更新される。

具体的には、制御手段からの動作指令と、各保持手段，工具及びワークのモデルデータとを基に、モデルデータ更新手段により、各保持手段の一方又は両方を前記動作指令に従って動作させたときの各保持手段，工具及びワークのモデルデータが生成され、これらのモデルデータが更新される。

そして、各保持手段の動作中においては、複数の実撮像手段により工具及びワーク、或いは工具，ワーク及びワーク保持手段が互いに異なる視点から一定時間間隔で撮像されてその２次元実画像データが順次生成される。また、仮想画像生成手段により、モデルデータ更新手段によって更新されたモデルデータを基に工具及びワーク、或いは工具，ワーク及びワーク保持手段の２次元仮想画像データが順次生成される。この２次元仮想画像データは、３次元空間を仮想的に設定して、この仮想３次元空間内に工具及びワーク、或いは工具，ワーク及びワーク保持手段の３次元モデルを配置するとともに各実撮像手段と同条件（例えば、内部パラメータが同じ）且つ同数の撮像手段を仮想的に設定，配置し、これらの各仮想撮像手段により工具及びワーク、或いは工具，ワーク及びワーク保持手段を各実撮像手段とそれぞれ同視点から一定時間間隔で撮像したときに得られると想定される画像データである。

尚、前記各２次元実画像及び２次元仮想画像には、少なくとも工具及びワークや、少なくとも工具，ワーク及びワーク保持手段が写っていれば良く、これらの他に、工具保持手段や、その他の工作機械構成要素が写り込んでいても良い。また、ワーク保持手段とは、例えば、工作機械がマシニングセンタであるときにはテーブルや治具などのことを言い、旋盤であるときには主軸やチャックなどのことを言う。

この後、表示制御手段により、仮想画像生成手段によってそれぞれ生成された２次元仮想画像データを基に、これらの２次元仮想画像の内、ワーク又はワーク保持手段によって工具の先端が隠れていない２次元仮想画像に対応した仮想撮像手段が少なくとも１つ選択され、選択された仮想撮像手段に対応する実撮像手段によって生成された２次元実画像データが画面表示手段に表示される。

尚、２次元仮想画像において、ワーク又はワーク保持手段によって工具の先端が隠れているか否かは、例えば、仮想３次元空間内におけるＺバッファの奥行き情報を参照することで判断することができる。また、工具の先端が隠れていない２次元仮想画像に対応した仮想撮像手段が複数ある場合には、これらの仮想撮像手段に対応する各実撮像手段によって生成された２次元実画像データをすべて画面表示させても良いし、これらの仮想撮像手段に対応する各実撮像手段の内、いくつかの実撮像手段（例えばランダムに決定される）によって生成された２次元実画像データのみを画面表示させても良い。

斯くして、本発明に係る加工状況監視方法及び加工状況監視装置によれば、複数の仮想撮像手段により工具及びワーク、或いは工具，ワーク及びワーク保持手段を異なる視点から撮像して生成された２次元仮想画像データを基に、工具の先端が隠れていない２次元仮想画像データを生成した仮想撮像手段を少なくとも１つ選択し、この仮想撮像手段に対応する実撮像手段により生成された２次元実画像データを画面表示手段に表示するようにしたので、工具の先端が隠れていない実画像を常に表示することができる。これにより、オペレータは、表示画像を通してワークの加工状況を常に視認することができ、十分な監視を行うことができる。

尚、前記加工状況監視装置は、前記モデルデータ更新手段によって更新されたモデルデータを基に、前記工具の先端を通る平面で少なくとも前記ワークが切断されたときに現れる断面形状と前記工具とを含む断面画像データを生成する断面画像生成手段を備え、前記表示制御手段は、前記仮想画像生成手段によってそれぞれ生成された２次元仮想画像データを基に、これらの２次元仮想画像のすべてにおいて前記工具の先端が前記ワークによって隠れているか否かを確認し、すべての２次元仮想画像で前記工具の先端が隠れていると判断したときには、前記断面画像生成手段によって生成された断面画像データを前記画面表示手段に表示させるように構成されていても良い。

穴加工や溝加工の場合、工具の先端がワークに隠れてしまうので、複数の実撮像手段を設けても、これらの各実撮像手段により生成された２次元実画像データのすべてで工具の先端がワークに隠れてしまう。そして、このようなときには、オペレータは、画面表示手段の表示画像を通してワークの加工状況を監視することができない。

そこで、上記のように、すべての２次元仮想画像において工具の先端が隠れているときには断面画像データを画面表示手段に表示させるようにすれば、オペレータはワークの加工状況を確認することができる。

また、前記断面画像生成手段は、前記断面画像データを生成するに当たり、前記工具の先端を通り且つ前記各実撮像手段のいずれか１つの光軸と垂直な平面を切断面とするように構成されていても良い。

このようにすれば、各実撮像手段のいずれか１つが向いている方向と同じ方向から工具及びワークを見たときの断面画像を表示することができるので、断面画像が表示された際に工具及びワークを見る方向が変わってどの方向から見ているのかがオペレータに分かり難くなるのを防止することができる。この意味で、前記切断面は、断面画像データが表示される直前まで（実画像データから断面画像データに切り替わる際に）表示されていた２次元実画像データを生成した実撮像手段の光軸と垂直であることが好ましい。

また、前記工作機械が旋盤であり、前記ワーク保持手段が主軸である場合において、前記断面画像生成手段は、前記断面画像データを生成するに当たり、前記工具の先端及び前記主軸の軸線を通る平面を切断面とするように構成されていても良い。

以上のように、本発明に係る加工状況監視方法及び加工状況監視装置によれば、各実撮像手段から得られる画像データの内、工具の先端が隠れていない画像データが常に表示されるので、オペレータは、ワークの加工状況を十分に監視することができる。

本発明の一実施形態に係る加工状況監視装置などの概略構成を示したブロック図である。本実施形態の加工状況監視装置が設けられる工作機械の概略構成を示した斜視図である。工作機械に配設された複数の実ＣＣＤカメラの配置関係を示した平面図である。本実施形態の実画像例を示した説明図である。本実施形態のモデルデータ更新処理部における一連の処理を示したフローチャートである。本実施形態の仮想画像生成処理部における一連の処理を示したフローチャートである。本実施形態の仮想画像例を示した説明図である。本実施形態のカメラ選択処理部における一連の処理を示したフローチャートである。本実施形態の表示画像切替処理部における一連の処理を示したフローチャートである。溝加工時の工具及びワークを示した斜視図である。本実施形態の断面画像例を示した説明図である。本発明の他の実施形態に係る断面画像例を示した説明図である。

以下、本発明の具体的な実施形態について、添付図面に基づき説明する。尚、図１は、本発明の一実施形態に係る加工状況監視装置などの概略構成を示したブロック図であり、図２は、本実施形態の加工状況監視装置が設けられる工作機械の概略構成を示した斜視図である。また、図３は、工作機械に配設された複数の実ＣＣＤカメラの配置関係を示した平面図である。

図１に示すように、本例の加工状況監視装置１は、複数（本例では４つ）の実ＣＣＤカメラ１１，１２，１３，１４、カメラパラメータ記憶部１５、モデルデータ記憶部１６、モデルデータ更新処理部１７、仮想画像生成処理部１８、表示制御処理部２３及び断面画像生成処理部２６を備え、例えば、図２に示すような、マシニングセンタと呼ばれる工作機械５０に設けられる。

ここで、まず、前記工作機械５０について説明する。この工作機械５０は、図１及び図２に示すように、ベッド５１と、ベッド５１に配設され、水平方向且つ前後方向（Ｙ軸方向）に移動自在となった第１サドル５２と、第１サドル５２に配設され、水平方向且つ左右方向（Ｘ軸方向）に移動自在となった第２サドル５３と、第２サドル５３に支持され、鉛直方向（Ｚ軸方向）に移動自在となった主軸頭５４と、軸線がＺ軸と平行且つ軸線中心に回転自在に主軸頭５４によって支持され、下端部に工具Ｔが装着される主軸５５と、ベッド５１に配設され、上面にワークＷが載置されるテーブル５６と、第１サドル５２，第２サドル５３及び主軸頭５４を各移動方向にそれぞれ移動させるＹ軸送り機構部５７，Ｘ軸送り機構部５８及びＺ軸送り機構部５９と、主軸５５を軸線中心に回転させる主軸モータ６０と、工具ＴとワークＷとの接触部に切削液を供給する切削液供給装置６１と、各送り機構部５７，５８，５９、主軸モータ６０及び切削液供給装置６１の作動を制御する制御装置６２と、制御装置６２に接続された操作盤６３とを備えている。

前記ベッド５１は、その左右両側及び奥側に側壁５１ａ，５１ｂ，５１ｃが設けられた構造を備えており、左右両側の側壁５１ａ，５１ｂの上部に前記第１サドル５２が配設され、奥側の側壁５１ｃに前記テーブル５６が配設されている。また、前記操作盤６３は、制御装置６２に対して各種信号を入力するための入力装置６４と、制御装置６２による制御状態を表示したり、前記各実ＣＣＤカメラ１１，１２，１３，１４や仮想画像生成処理部１８、断面画像生成処理部２６から得られる画像を表示するための画面表示装置６５とから構成される。

前記制御装置６２は、予め作成されたＮＣプログラムが格納されるプログラム記憶部６２ａを備え、このプログラム記憶部６２ａに格納されたＮＣプログラムに基づいて各送り機構部５７，５８，５９、主軸モータ６０及び切削液供給装置６１を制御する。具体的には、ＮＣプログラムをブロック毎に解析して、第１サドル５２，第２サドル５３及び主軸頭５４の移動位置及び送り速度や主軸５５の回転速度、切削液の供給に関する動作指令を順次抽出し、抽出した、第１サドル５２，第２サドル５３及び主軸頭５４の移動位置及び送り速度や主軸５５の回転速度に関する動作指令と、各送り機構部５７，５８，５９及び主軸モータ６０からのフィードバック信号とを基に各送り機構部５７，５８，５９及び主軸モータ６０を制御するとともに、抽出した切削液の供給に関する動作指令を基に切削液供給装置６１を制御する。

また、この制御装置６２は、オペレータによって入力装置６４から入力された入力信号に基づいて切削液供給装置６１（切削液の供給及び停止）を制御する。尚、制御装置６２は、前記抽出した動作指令を前記モデルデータ更新処理部１７に送信し、また、切削液の供給状態に係る信号（切削液が供給されていることを示す信号及び切削液が供給されていないことを示す信号）を前記表示制御処理部２３に送信する。

次に、前記加工状況監視装置１について説明する。この加工状況監視装置１は、上述のように、実ＣＣＤカメラ１１，１２，１３，１４（第１実ＣＣＤカメラ１１，第２実ＣＣＤカメラ１２，第３実ＣＣＤカメラ１３及び第４実ＣＣＤカメラ１４）、カメラパラメータ記憶部１５、モデルデータ記憶部１６、モデルデータ更新処理部１７、仮想画像生成処理部１８、表示制御処理部２３及び断面画像生成処理部２６を備えており、コンピュータがカメラパラメータ記憶部１５，モデルデータ記憶部１６，モデルデータ更新処理部１７，仮想画像生成処理部１８，表示制御処理部２３及び断面画像生成処理部２６として機能するようになっている。

図２及び図３に示すように、各実ＣＣＤカメラ１１，１２，１３，１４は、テーブル５６上のワークＷを囲むように配置されており、このワークＷを四方から撮像可能に構成される。具体的には、前記第１実ＣＣＤカメラ１１及び第２実ＣＣＤカメラ１２は、前記ベッド５１の左側壁５１ａの前側上部及び後側上部にブラケット１１ａ，１２ａを介してそれぞれ取り付けられ、前記第３実ＣＣＤカメラ１３及び第４実ＣＣＤカメラ１４は、前記ベッド５１の右側壁５１ｂの前側上部及び後側上部にブラケット１３ａ，１４ａを介してそれぞれ取り付けられる。そして、これらの実ＣＣＤカメラ１１，１２，１３，１４は、主軸５５に装着された工具Ｔ及びテーブル５６上のワークＷを一定時間間隔で撮像して２次元画像データ（実画像データ）を順次生成し、生成した２次元画像データを前記表示制御処理部２３に出力する。

このとき生成される実画像例を図４に示す。尚、図４（ａ）は、第１実ＣＣＤカメラ１１によって生成された実画像データを、図４（ｂ）は、第２実ＣＣＤカメラ１２によって生成された実画像データを、図４（ｃ）は、第３実ＣＣＤカメラ１３によって生成された実画像データを、図４（ｄ）は、第４実ＣＣＤカメラ１４によって生成された実画像データをそれぞれ示している。また、これらの実画像には、工具Ｔ及びワークＷの他、前記ベッド５１の一部、主軸頭５４の一部、主軸５５の一部、テーブル５６の一部も含まれている。

前記カメラパラメータ記憶部１５には、前記各実ＣＣＤカメラ１１，１２，１３，１４に関する内部パラメータ及び外部パラメータがそれぞれ格納される。内部パラメータは、各実ＣＣＤカメラ１１，１２，１３，１４に固有のものであり、例えば、主点座標、スケール因子、画像の２軸間の歪みなどが挙げられる。一方、外部パラメータは、工作機械５０の座標系における各実ＣＣＤカメラ１１，１２，１３，１４の位置及び姿勢を表す。尚、これらのパラメータは、キャリブレーション処理により予め算出される。

前記モデルデータ記憶部１６には、予め作成された、例えば、工作機械５０全体の３次元モデルに関するデータ（モデルデータ）が格納される。この工作機械５０全体のモデルデータは、前記ベッド５１，第１サドル５２，第２サドル５３，主軸頭５４，主軸５５及びテーブル５６といった工作機械５０の主要な構成要素のモデルデータと、前記主軸５５に装着される工具Ｔのモデルデータと、前記テーブル５６上に固定されるワークＷのモデルデータとを含み、前記各構成要素，工具Ｔ及びワークＷの各モデルデータがそれぞれ相互に関連付けられて構成される。

前記モデルデータ更新処理部１７は、図５に示すような一連の処理を実行して、前記モデルデータ記憶部１６に格納された工作機械５０全体のモデルデータを更新する。尚、この更新処理は、前記第１サドル５２，第２サドル５３及び主軸頭５４の実際の動作と同期するように実行される。

図５に示すように、モデルデータ更新処理部１７は、まず、モデルデータ記憶部１６に格納された工作機械５０全体のモデルデータを読み出した後（ステップＳ１）、カウンタｎを１にセットし（ステップＳ２）、加工プログラムの１ブロック目の動作指令を制御装置６２から受信する（ステップＳ３）。

次に、ステップＳ３で受信した動作指令を認識して補間点を算出する（ステップＳ４）。例えば、認識した動作指令が第１サドル５２，第２サドル５３及び主軸頭５４の移動指令であるとすると、移動開始点と移動終了点との間の移動経路上に複数の補間点を設定して各補間点の位置を算出する。このようにして補間することで、後述のように、第１サドル５２，第２サドル５３及び主軸頭５４が移動開始点から移動終了点に向けて徐々に移動するときのモデルデータが生成される。

ついで、カウンタｍを１にセットして（ステップＳ５）、移動経路上の１番目の点に第１サドル５２，第２サドル５３及び主軸頭５４を移動させたときのモデルデータを生成する（ステップＳ６）。このとき、工具ＴのモデルデータとワークＷのモデルデータとの間で重なり合う部分がある場合には、その重なり合う領域（切削領域）を算出して、この切削領域がワークＷから削除されるようにワークＷのモデルデータを生成する。この後、ステップＳ７では、生成したモデルデータをモデルデータ記憶部１６に格納して、このモデルデータ記憶部１６内のモデルデータを更新する。

そして、カウンタｍを更新しつつ、移動経路上の最後の点（即ち、移動指令に係る移動位置）に第１サドル５２，第２サドル５３及び主軸頭５４を移動させたときのモデルデータを生成してモデルデータ記憶部１６内のモデルデータを更新するまで、ステップＳ６及びＳ７の処理を繰り返す（ステップＳ８，Ｓ９）。

また、ステップＳ３〜Ｓ９の処理についても、カウンタｎを更新しつつ加工プログラムの全ブロックについて実施し（ステップＳ１０，Ｓ１１）、その後、一連の処理を終了する。

前記仮想画像生成処理部１８は、前記カメラパラメータ記憶部１５に格納された各パラメータと、前記モデルデータ更新処理部１７によって更新されたモデルデータとを基に、コンピュータ処理によって、例えば、テーブル５６の一部，工具Ｔ及びワークＷの２次元画像データ（仮想画像データ）を生成する。

具体的には、仮想画像生成処理部１８は、図６に示すような一連の処理を実行するようになっており、まず、カメラパラメータ記憶部１５内に格納された各パラメータを読み出し（ステップＳ２１）、ついで、モデルデータ更新処理部１７によって更新されたモデルデータを受信する（ステップＳ２２）。

次に、工作機械５０の座標系と同じ座標系の３次元空間を仮想的に設定した後（ステップＳ２３）、前記読み出した各パラメータと、受信したモデルデータ（工作機械５０全体のモデルデータの内、テーブル５６の一部，工具Ｔ及びワークＷのモデルデータ）とを基に、前記設定した仮想３次元空間内にテーブル５６の一部，工具Ｔ及びワークＷの３次元モデルを配置するとともに前記各実ＣＣＤカメラ１１，１２，１３，１４と同数の仮想ＣＣＤカメラ１９，２０，２１，２２（第１仮想ＣＣＤカメラ１９，第２仮想ＣＣＤカメラ２０，第３仮想ＣＣＤカメラ２１及び第４仮想ＣＣＤカメラ２２）を設定，配置する（ステップＳ２４）。

尚、前記第１仮想ＣＣＤカメラ１９は第１実ＣＣＤカメラ１１に、前記第２仮想ＣＣＤカメラ２０は第２実ＣＣＤカメラ１２に、前記第３仮想ＣＣＤカメラ２１は第３実ＣＣＤカメラ１３に、前記第４仮想ＣＣＤカメラ２２は第４実ＣＣＤカメラ１４にそれぞれ対応している。また、前記各仮想ＣＣＤカメラ１９，２０，２１，２２は、前記読み出した外部パラメータを基に前記各実ＣＣＤカメラ１１，１２，１３，１４と同じ位置に同じ姿勢でそれぞれ配置されるので、各仮想ＣＣＤカメラ１９，２０，２１，２２の視点は各実ＣＣＤカメラ１１，１２，１３，１４とそれぞれ一致している。また、前記各仮想ＣＣＤカメラ１９，２０，２１，２２は、その内部パラメータが、前記読み出した内部パラメータを基に前記各実ＣＣＤカメラ１１，１２，１３，１４の内部パラメータとそれぞれ同じに合わされるので、各仮想ＣＣＤカメラ１９，２０，２１，２２の条件は各実ＣＣＤカメラ１１，１２，１３，１４とそれぞれ一致している。

この後、前記各仮想ＣＣＤカメラ１９，２０，２１，２２により３次元モデルに係るテーブル５６の一部，工具Ｔ及びワークＷを一定時間間隔で撮像したとすれば得られると想定される２次元画像データを順次生成し、生成した２次元画像データを前記表示制御処理部２３に送信する（ステップＳ２５）。

このとき生成される仮想画像例を図７に示す。尚、図７（ａ）は、第１仮想ＣＣＤカメラ１９によって生成された仮想画像データを、図７（ｂ）は、第２仮想ＣＣＤカメラ２０によって生成された仮想画像データを、図７（ｃ）は、第３仮想ＣＣＤカメラ２１によって生成された仮想画像データを、図７（ｄ）は、第４仮想ＣＣＤカメラ２２によって生成された仮想画像データをそれぞれ示している。

前記表示制御処理部２３は、カメラ選択処理部２４及び表示画像切替処理部２５からなり、前記カメラ選択処理部２４は、前記仮想画像生成処理部１８から送信された仮想画像データを基に、各実ＣＣＤカメラ１１，１２，１３，１４及び各仮想ＣＣＤカメラ１９，２０，２１，２２の内、ワークＷによって工具Ｔの先端が隠れていない画像を取得可能な実ＣＣＤカメラ１１，１２，１３，１４及び仮想ＣＣＤカメラ１９，２０，２１，２２をそれぞれ１つ選択する。

具体的には、カメラ選択処理部２４は、図８に示すような一連の処理を実行するようになっており、まず、仮想画像生成処理部１８から送信された各仮想画像データをそれぞれ受信し（ステップＳ３１）、ついで、受信した仮想画像データを基に、すべての仮想画像において工具Ｔの先端がワークＷにより隠れているか否かを確認する（ステップＳ３２）。尚、工具Ｔの先端がワークＷによって隠れているか否かは、例えば、仮想３次元空間内におけるＺバッファの奥行き情報を参照することにより判断することができる。

そして、隠れていないと判断したときには、工具Ｔの先端が隠れていない仮想画像を認識する（ステップＳ３３）。尚、工具Ｔの先端が隠れていない仮想画像が複数ある場合には、いずれか１つの仮想画像を、例えばランダムに認識する。したがって、例えば、図７に示す仮想画像の場合には、図７（ｂ）又は図７（ｄ）の画像が認識される。

この後、認識した仮想画像に対応する仮想ＣＣＤカメラ１９，２０，２１，２２を特定して（ステップＳ３４）、この特定した仮想ＣＣＤカメラ１９，２０，２１，２２に対応する実ＣＣＤカメラ１１，１２，１３，１４を特定し（ステップＳ３５）、次に、特定した実ＣＣＤカメラ１１，１２，１３，１４を識別するためのカメラ識別信号、及びステップＳ３３で認識した仮想画像データを前記表示画像切替処理部２５に送信する（ステップＳ３６）。

一方、ステップＳ３２で、すべての仮想画像において工具Ｔの先端が隠れていると判断したときには、前記断面画像生成処理部２６に断面画像生成信号を送信するとともに、前記表示画像切替処理部２５に断面画像表示信号を送信する（ステップＳ３７）。この場合に該当する例としては、例えば、図１０に示すように、ワークＷに溝Ｗａを加工する場合が挙げられる。

前記表示画像切替処理部２５は、前記各実ＣＣＤカメラ１１，１２，１３，１４のいずれか１つから出力された実画像データ、前記カメラ選択処理部２４から送信された仮想画像データ、又は前記断面画像生成処理部２６から送信された断面画像データを前記画面表示装置６５に表示させるとともに、この画面表示装置６５に表示される画像を前記実画像データ，仮想画像データ及び断面画像データの間で切り替える。

具体的には、表示画像切替処理部２５は、図９に示すような一連の処理を実行するようになっており、まず、カメラ選択処理部２４から送信された、カメラ識別信号及び仮想画像データ、或いは断面画像表示信号を受信し（ステップＳ４１）、前記制御装置６２から送信された、切削液の供給状態に係る信号を受信する（ステップＳ４２）。

次に、断面画像表示信号を受信したか否かを確認し（ステップＳ４３）、受信したと判断したときには、断面画像生成処理部２６から送信された断面画像データを受信して、受信した断面画像データを画面表示装置６５に表示させる（ステップＳ４４）。尚、このとき表示される断面画像の一例としては、例えば、図１１に示す画像が挙げられる。

一方、ステップＳ４３で、受信していないと判断したときには、ステップＳ４２で受信した、切削液の供給状態に係る信号を基に、工具ＴとワークＷとの接触部に切削液が供給されているか否かを確認し（ステップＳ４５）、供給されていないと判断したときには、ステップＳ４１で受信したカメラ識別信号によって特定される実ＣＣＤカメラ１１，１２，１３，１４から出力された実画像データを画面表示装置６５に表示させ（ステップＳ４６）、供給されていると判断したときには、ステップＳ４１で受信した仮想画像データを画面表示装置６５に表示させる（ステップＳ４７）。尚、このとき表示される実画像の一例としては、例えば、図４（ｂ）又は図４（ｄ）に示す画像が挙げられ、仮想画像の一例としては、例えば、図７（ｂ）又は図７（ｄ）に示す画像が挙げられる。

前記断面画像生成処理部２６は、前記カメラ選択処理部２４から送信された断面画像生成信号を受信すると、前記カメラパラメータ記憶部１５に格納された各パラメータと、前記モデルデータ更新処理部１７によって更新されたモデルデータとを基に、コンピュータ処理によって、例えば、テーブル５６の一部と、工具Ｔと、少なくともワークＷが所定の切断面で切断されたときに現れる断面形状及び前記所定の切断面よりも奥側のワークＷの形状とが含まれる２次元仮想画像データを断面画像データとして生成し、生成した断面画像データを前記表示画像切替処理部２５に送信する。尚、この断面画像の生成手法は、特に限定されるものではないが、例えば、前記仮想画像生成処理部１８における仮想画像データと同様にして生成することができる。

前記所定の切断面は、工具Ｔの先端（工具Ｔの先端面と工具Ｔ（主軸５５）の軸線との交点）を少なくとも通るように設定される。前記切断面が、例えば、工具Ｔの先端を通り且つＸ軸及びＺ軸と平行な平面である場合に生成される断面画像の一例を示すと、図１１（ａ）に示すような断面画像が挙げられ、前記切断面が、例えば、工具Ｔの先端を通り且つ第１実ＣＣＤカメラ１１の光軸と垂直な平面である場合に生成される断面画像の一例を示すと、図１１（ｂ）に示すような断面画像が挙げられる。この他、前記切断面は、工具Ｔの先端を通り且つ各実ＣＣＤカメラ１２，１３，１４の光軸と垂直な平面であっても良い。

尚、前記切断面を、各実ＣＣＤカメラ１１，１２，１３，１４のいずれか１つの光軸と垂直にする場合、この切断面は、断面画像データが画面表示装置６５に表示される直前まで（実画像データ又は仮想画像データから断面画像データに切り替わる際に）表示されていた画像データに対応するＣＣＤカメラ１１，１２，１３，１４，１９，２０，２１，２２の光軸と垂直であることが好ましい。これは、例えば、カメラ選択処理部２４が前記カメラ識別信号を断面画像生成処理部２６に送信して、このカメラ識別信号を基にどの実ＣＣＤカメラ１１，１２，１３，１４が選択されているかを認識させておくことで、断面画像データが表示される直前まで表示されていた画像データに対応するＣＣＤカメラ１１，１２，１３，１４，１９，２０，２１，２２の光軸を判別することができる。

以上のように構成された本例の加工状況監視装置１によれば、まず、カメラパラメータ記憶部１５に実ＣＣＤカメラ１１，１２，１３，１４のカメラパラメータが、モデルデータ記憶部１６に工作機械５０全体のモデルデータがそれぞれ格納される。

そして、制御装置６２により各送り機構部５７，５８，５９が駆動されると、モデルデータ記憶部１６内の工作機械５０全体のモデルデータが、モデルデータ更新処理部１７により、制御装置６２から得られる動作指令を基に、第１サドル５２，第２サドル５３及び主軸頭５４の実際の動作と同期するように更新される。尚、工作機械５０では、ワークＷの加工中、加工内容に応じて工具Ｔ及びワークＷの接触部に切削液が供給される。

また、各実ＣＣＤカメラ１１，１２，１３，１４により工具Ｔ及びワークＷが撮像されて実画像データが生成されるとともに、仮想画像生成処理部１８により、カメラパラメータ記憶部１５内の各パラメータと、モデルデータ更新処理部１７によって更新されたモデルデータとを基に、テーブル５６の一部，工具Ｔ及びワークＷの仮想画像データが各仮想ＣＣＤカメラ１９，２０，２１，２２に対応してそれぞれ生成される。

各仮想画像データが生成されると、生成された各仮想画像データを基に、カメラ選択処理部２４によって、工具Ｔの先端がワークＷに隠れていない実画像又は仮想画像を取得可能な実ＣＣＤカメラ１１，１２，１３，１４及び仮想ＣＣＤカメラ１９，２０，２１，２２がそれぞれ１つ選択される、或いは、すべての仮想画像で工具Ｔの先端が隠れていると判断されて断面画像生成信号が生成される。

断面画像生成信号が生成されると、断面画像生成処理部２６により、カメラパラメータ記憶部１５内の各パラメータと、モデルデータ更新処理部１７によって更新されたモデルデータとを基に、テーブル５６の一部と、工具Ｔと、少なくともワークＷが切断されたときに現れる断面形状及び切断面より奥側のワークＷの形状とを含む断面画像データが生成される。

そして、表示画像切替処理部２５による制御の下、切削液が供給されていないときには、カメラ選択処理部２４によって選択された実ＣＣＤカメラ１１，１２，１３，１４により生成された実画像データが画面表示され、切削液が供給されているときには、カメラ選択処理部２４によって選択された仮想ＣＣＤカメラ１９，２０，２１，２２により生成された仮想画像データが画面表示され、また、断面画像生成処理部２６によって断面画像データが生成されたときには、この断面画像データが画面表示される。

このように、本例の加工状況監視装置１によれば、複数の仮想ＣＣＤカメラ１９，２０，２１，２２により工具Ｔ及びワークＷを異なる視点から撮像して生成された２次元仮想画像データを基に、工具Ｔの先端がワークＷによって隠れていない２次元仮想画像データを生成した仮想ＣＣＤカメラ１９，２０，２１，２２を特定し、この仮想ＣＣＤカメラ１９，２０，２１，２２に対応する実ＣＣＤカメラ１１，１２，１３，１４により生成された２次元実画像データを画面表示装置６５に表示するようにしたので、実画像を表示する際にはワークＷによって工具Ｔの先端が隠れていない実画像を常に表示することができる。これにより、オペレータは、画面表示装置６５に表示される画像を通してワークＷの加工状況を常に視認することができ、十分な監視を行うことができる。

また、各実ＣＣＤカメラ１１，１２，１３，１４によって生成された２次元実画像データをすべて画面表示装置６５に表示させるようにすると、コンピュータに大きな負荷が掛かって他の処理に悪影響を与えることになるが、ある１つの実ＣＣＤカメラ１１，１２，１３，１４によって生成された２次元実画像データのみを表示させているので、負荷を軽減することができる。

また、すべての２次元仮想画像において工具Ｔの先端がワークＷによって隠れているときには、断面画像生成処理部２６によって生成された断面画像データを画面表示装置６５に表示させるようにしたので、例えば、穴加工や溝加工といった、工具Ｔの先端がワークＷに隠れてしまうような加工のときであっても、オペレータは、表示画像を通してワークＷの加工状況を監視することができる。

また、断面画像データを生成するときの切断面を、工具Ｔの先端を通り且つ各実ＣＣＤカメラ１１，１２，１３，１４のいずれか１つの光軸と垂直な平面とすれば、各実ＣＣＤカメラ１１，１２，１３，１４及び仮想ＣＣＤカメラ１９，２０，２１，２２のいずれか１つが向いている方向と同じ方向から工具Ｔ及びワークＷを見たときの断面画像を表示することができるので、オペレータは、工具Ｔ及びワークＷを見る方向が変わってどの方向から見ているのかが分かり難くなるのを防止することができる。

また、オペレータは、工具Ｔ及びワークＷの接触部に切削液が供給されているときには仮想画像を通して、供給されていないときには実画像を通してワークＷの加工状況を視認することができるので、オペレータは、切削液が供給されている場合であってもワークＷの加工状況を監視することができる。

以上、本発明の一実施形態について説明したが、本発明の採り得る具体的な態様は、何らこれに限定されるものではない。

例えば、ワークＷを切断するときの切断面は、上述したものに限定されず、例えば、工具Ｔの先端を通り且つＹ軸及びＺ軸と平行な平面であっても良いし、工具Ｔが直線移動しているときには、工具Ｔの軸線を通り且つ工具Ｔの移動方向と平行な平面であっても良く、また、工具Ｔが円を描くように移動しているときには、工具Ｔの軸線を通り且つ円の中心を通る平面であっても良い。尚、工具Ｔの移動方向は、例えば、断面画像生成処理部２６が、ＮＣプログラムを先読みして認識したり、制御装置６２から得られる工具Ｔの予測移動位置を基に認識する。

また、上例では、カメラ選択処理部２４が、前記ステップＳ３３で、工具Ｔの先端が隠れていない仮想画像を１つ認識するように構成したが、工具Ｔの先端が隠れていない仮想画像をすべて認識したり、工具Ｔの先端が隠れていない仮想画像の内のいくつかを認識するように構成することもできる。このようにすれば、工具Ｔの先端が隠れていない複数の実画像又は仮想画像を画面表示装置６５に表示させることができる。

また、上例では、各実ＣＣＤカメラ１１，１２，１３，１４により工具Ｔ及びワークＷを撮像し、仮想画像生成処理部１８によりテーブル５６の一部，工具Ｔ及びワークＷの仮想画像データを生成するようにしたが、通常、ワークＷをテーブル５６に固定する際には治具が使用されるため、各実ＣＣＤカメラ１１，１２，１３，１４により工具Ｔ，ワークＷ及び治具を撮像し、仮想画像生成処理部１８によりテーブル５６の一部，工具Ｔ，ワークＷ及び治具の仮想画像データを生成するようにしても良い。この場合、工具Ｔの先端がワークＷにも治具にも隠れていない実画像又は仮想画像が画面表示される。

また、前記加工状況監視装置１が設けられる工作機械５０は、何ら限定されるものではなく、どのような工作機械５０であっても良い。例えば、上例のようなマシニングセンタではなく、旋盤などに設けるようにしても良い。旋盤の場合、断面画像データを生成するときの切断面は、図１２に示すように、工具Ｔの先端（刃部）を通り且つ主軸７０（チャック７１）の軸線を通る平面とすると良い。尚、図１２において、符号７１は、主軸７０の先端に装着され、ワークＷを把持するチャックを、符号７１ａは、チャック７０の把持爪を、符号７２は、工具Ｔを保持する刃物台をそれぞれ示している。

１加工状況監視装置
１１，１２，１３，１４実ＣＣＤカメラ
１５カメラパラメータ記憶部
１６モデルデータ記憶部
１７モデルデータ更新処理部
１８仮想画像生成処理部
１９，２０，２１，２２仮想ＣＣＤカメラ
２３表示制御処理部
２４カメラ選択処理部
２５表示画像切替処理部
２６断面画像生成処理部
５０工作機械
５５主軸
５６テーブル
６１切削液供給装置
Ｗワーク
Ｔ工具

Claims

動作指令を基に、工具を保持する工具保持手段及びワークを保持するワーク保持手段の一方又は両方を動作させる工作機械に、前記工具及びワーク、或いは前記工具，ワーク及びワーク保持手段を互いに異なる視点から一定時間間隔で撮像してその２次元実画像データを順次生成する複数の実撮像手段を配設し、これらの各実撮像手段の内、少なくとも１つの実撮像手段により生成された２次元実画像データを画面表示手段に表示させて加工状況を監視する方法であって、
前記動作指令と、前記各保持手段，工具及びワークの３次元モデルに関するデータとを基に、前記各保持手段の一方又は両方を前記動作指令に従って動作させたときの前記各保持手段，工具及びワークのモデルデータを生成してこれらのモデルデータを更新するとともに、
前記工具及びワーク、或いは前記工具，ワーク及びワーク保持手段の２次元仮想画像データであって、３次元空間を仮想的に設定して、この仮想３次元空間内に前記工具及びワーク、或いは前記工具，ワーク及びワーク保持手段の３次元モデルを配置するとともに前記各実撮像手段と同条件且つ同数の撮像手段を仮想的に設定，配置し、これらの各仮想撮像手段により前記工具及びワーク、或いは前記工具，ワーク及びワーク保持手段を前記各実撮像手段とそれぞれ同視点から一定時間間隔で撮像したときに得られると想定される２次元仮想画像データを、前記更新したモデルデータを基に順次生成し、
前記生成した各２次元仮想画像データを基に、これら複数の２次元仮想画像の内、前記ワーク又はワーク保持手段によって前記工具の先端が隠れていない２次元仮想画像に対応した仮想撮像手段を少なくとも１つ選択し、選択した仮想撮像手段に対応する実撮像手段によって生成された２次元実画像データを前記画面表示手段に表示させるようにしたことを特徴とする加工状況監視方法。
工具を保持する工具保持手段と、ワークを保持するワーク保持手段と、前記各保持手段の一方又は両方を動作させる駆動手段と、前記各保持手段の一方又は両方の動作指令を基に前記駆動手段の作動を制御する制御手段と、画像データの表示を行うための画面表示手段とを備えた工作機械に設けられる加工状況監視装置であって、
前記工具及びワーク、或いは前記工具，ワーク及びワーク保持手段を互いに異なる視点から一定時間間隔で撮像してその２次元実画像データを順次生成する複数の実撮像手段と、
前記制御手段から前記動作指令を受信して、受信した動作指令と、前記各保持手段，工具及びワークの３次元モデルに関するデータとを基に、前記各保持手段の一方又は両方を前記動作指令に従って動作させたときの前記各保持手段，工具及びワークのモデルデータを生成してこれらのモデルデータを更新するモデルデータ更新手段と、
前記モデルデータ更新手段によって更新されたモデルデータを基に前記工具及びワーク、或いは前記工具，ワーク及びワーク保持手段の２次元仮想画像データを生成する手段であって、３次元空間を仮想的に設定して、この仮想３次元空間内に前記工具及びワーク、或いは前記工具，ワーク及びワーク保持手段の３次元モデルを配置するとともに前記各実撮像手段と同条件且つ同数の撮像手段を仮想的に設定，配置し、これらの各仮想撮像手段により前記工具及びワーク、或いは前記工具，ワーク及びワーク保持手段を前記各実撮像手段とそれぞれ同視点から一定時間間隔で撮像したときに得られると想定される２次元仮想画像データを順次生成する仮想画像生成手段と、
前記仮想画像生成手段によってそれぞれ生成された２次元仮想画像データを基に、これら複数の２次元仮想画像の内、前記ワーク又はワーク保持手段によって前記工具の先端が隠れていない２次元仮想画像に対応した仮想撮像手段を少なくとも１つ選択し、選択した仮想撮像手段に対応する実撮像手段によって生成された２次元実画像データを前記画面表示手段に表示させる表示制御手段とを備えてなることを特徴とする加工状況監視装置。
前記モデルデータ更新手段によって更新されたモデルデータを基に、前記工具の先端を通る平面で少なくとも前記ワークが切断されたときに現れる断面形状と前記工具とを含む断面画像データを生成する断面画像生成手段を備え、
前記表示制御手段は、前記仮想画像生成手段によってそれぞれ生成された２次元仮想画像データを基に、これらの２次元仮想画像のすべてにおいて前記工具の先端が前記ワークによって隠れているか否かを確認し、すべての２次元仮想画像で前記工具の先端が隠れていると判断したときには、前記断面画像生成手段によって生成された断面画像データを前記画面表示手段に表示させるように構成されてなることを特徴とする請求項２記載の加工状況監視装置。
前記断面画像生成手段は、前記断面画像データを生成するに当たり、前記工具の先端を通り且つ前記各実撮像手段のいずれか１つの光軸と垂直な平面を切断面とするように構成されてなることを特徴とする請求項３記載の加工状況監視装置。
前記工作機械が旋盤であり、前記ワーク保持手段が主軸である場合において、
前記断面画像生成手段は、前記断面画像データを生成するに当たり、前記工具の先端及び前記主軸の軸線を通る平面を切断面とするように構成されてなることを特徴とする請求項３記載の加工状況監視装置。