JPWO2008026723A1

JPWO2008026723A1 - ３次元モデルデータ確認方法及び３次元モデルデータ確認装置

Info

Publication number: JPWO2008026723A1
Application number: JP2008532131A
Authority: JP
Inventors: シャオドンティアン; 藤嶋　誠; 誠藤嶋
Original assignee: DMG Mori Co Ltd; Mori Seiki Co Ltd
Current assignee: DMG Mori Co Ltd
Priority date: 2006-09-01
Filing date: 2007-08-31
Publication date: 2010-01-21
Anticipated expiration: 2027-08-31
Also published as: US20090070077A1; WO2008026723A1; JP5049975B2; JP5049976B2; US8310534B2; US20090015668A1; WO2008026722A1; US8335666B2; DE112007001964B4; JPWO2008026722A1; DE112007001964T5; DE112007001977T5

Abstract

本発明は、工作機械に取り付けられた被取付物及び少なくとも工作機械の一部を含む３次元モデルデータが正確であるかどうかを容易且つ効率的に、しかも精度良く確認することができる３次元モデルデータ確認装置などに関する。３次元モデルデータ確認装置（１）は、工作機械（３０）に取り付けられた実際の被取付物を撮像して被取付物の実画像データを生成するＣＣＤカメラ（１３，１４）と、工作機械（３０）に取り付けられた被取付物及び少なくとも工作機械（３０）の一部を含むモデルデータで予め作成されたものを記憶するモデルデータ記憶部（１７）と、コンピュータ処理により、モデルデータ記憶部（１７）に格納されたモデルデータを基に被取付物の仮想画像データたる２次元画像データを生成する仮想画像データ生成部（１９）と、コンピュータ処理により、被取付物の実画像データと仮想画像データとを比較してこれらが一致しているか否かを判断する画像データ比較部（２１）とを備える。

Description

本発明は、予め作成されたモデルデータであって、工作機械に取り付けられたワークやワーク取付具などの被取付物、及び少なくとも工作機械の一部を含む３次元モデルデータが正確であるかどうかを確認する３次元モデルデータ確認方法及び確認装置に関する。

工作機械は、例えば、ワーク取付具によって上面にワークが載置，固定されるテーブルと、工具を保持する主軸と、テーブル及び主軸（ワーク及び工具）を相対移動させる駆動機構部と、予め作成されたＮＣプログラムに基づいて駆動機構部を制御する制御装置などから構成される。

前記ＮＣプログラムは、オペレータやプログラミング装置などによって作成されるものであるが、これに誤りがあると、工具とワーク又はワーク取付具とが干渉するといった事故が起こる恐れがある。このため、特開２００６−４１２８号公報に開示されているように、工作機械の３次元モデルデータを用いてコンピュータ上で干渉シミュレーションを行うことによりＮＣプログラムに誤りがあるか否かを確認している。

特開２００６−４１２８号公報

ところで、３次元モデルデータを用いた干渉シミュレーションでは、加工対象となるワーク（テーブル上のワーク）やこれを取り付けるためのワーク取付具を変更すると、これに合わせて、工作機械の３次元モデルデータの少なくともワーク部分やワーク取付具部分を修正，更新しなければならない。

ところが、修正，更新に使用されるワークやワーク取付具などの被取付物の３次元モデルデータは、例えば、これを作成したオペレータのミスや、被取付物の３次元モデルデータ作成後における設計変更などによって実際の形状と一致していないことがあり、このような場合には、正確な干渉シミュレーションを行うことができない。また、工作機械の３次元モデル上における被取付物の取付状態と実際の取付状態とが異なっている場合もあり、このような場合にも干渉シミュレーションを正確に行うことができない。

したがって、被取付物を含む工作機械の３次元モデルデータが正確であるかどうか、即ち、工作機械の実際の状態に即したものであるかどうかを容易且つ効率的に確認することができれば好都合である。

本発明は、以上の実情に鑑みなされたものであって、工作機械に取り付けられた被取付物及び少なくとも工作機械の一部を含む３次元モデルデータで予め作成されたものが正確であるかどうかを容易且つ効率的に、しかも精度良く確認することができる３次元モデルデータ確認方法及び確認装置の提供をその目的とする。

上記目的を達成するための本発明は、
予め作成された、工作機械に取り付けられた被取付物及び少なくとも工作機械の一部を含む３次元モデルに関するデータであり、これらの形状を定義する形状データを少なくとも含んだモデルデータが正確であるかどうかを確認する方法であって、
撮像カメラにより、前記工作機械に取り付けられた実際の被取付物を予め設定された視点から撮像して２次元画像データを生成する実画像データ生成工程と、
コンピュータ処理により、前記予め作成された、被取付物及び少なくとも工作機械の一部を含むモデルデータを基に前記被取付物の２次元データを生成する工程であって、３次元空間を仮想的に設定して、この空間内に前記被取付物及び少なくとも工作機械の一部を含む３次元モデルを配置するとともに前記撮像カメラと同じ条件のカメラを仮想的に設定，配置し、このカメラにより、３次元モデルに係る被取付物を前記実際の被取付物と同様に前記予め設定された視点と同じ視点から撮像したとすれば得られると想定される２次元画像データを生成する仮想画像データ生成工程と、
コンピュータ処理により、前記実画像データ生成工程で生成された実際の被取付物に係る２次元画像データと、前記仮想画像データ生成工程で生成された３次元モデルに係る被取付物の２次元画像データとを比較して一致しているか否かを判断する画像データ比較工程とからなることを特徴とする３次元モデルデータ確認方法に係る。

そして、このモデルデータ確認方法は、以下のモデルデータ確認装置によってこれを好適に実施することができる。
即ち、このモデルデータ確認装置は、
予め作成された、前記工作機械に取り付けられた被取付物及び少なくとも工作機械の一部を含む３次元モデルに関するデータであり、これらの形状を定義する形状データを少なくとも含んだモデルデータが正確であるかどうかを確認する装置であって、
前記工作機械に取り付けられた実際の被取付物を予め設定された視点から撮像して２次元画像データを生成する撮像カメラと、
前記撮像カメラが接続されたコンピュータとからなり、
前記コンピュータは、
前記予め作成された、被取付物及び少なくとも工作機械の一部を含むモデルデータを記憶するモデルデータ記憶手段と、
前記モデルデータ記憶手段に格納されたモデルデータを基に前記被取付物の２次元データを生成する手段であって、３次元空間を仮想的に設定して、この空間内に前記被取付物及び少なくとも工作機械の一部を含む３次元モデルを配置するとともに前記撮像カメラと同じ条件のカメラを仮想的に設定，配置し、このカメラにより、３次元モデルに係る被取付物を前記実際の被取付物と同様に前記予め設定された視点と同じ視点から撮像したとすれば得られると想定される２次元画像データを生成する仮想画像データ生成手段と、
前記撮像カメラにより生成された実際の被取付物に係る２次元画像データと、前記仮想画像データ生成手段により生成された３次元モデルに係る被取付物の２次元画像データとを比較して一致しているか否かを判断する画像データ比較手段として機能するように構成されてなることを特徴とする３次元モデルデータ確認装置に係る。

この３次元モデルデータ確認装置によれば、工作機械に取り付けられた被取付物及び少なくとも工作機械の一部を含むモデルデータ（３次元モデルデータ）（例えば、ワークが載置されるテーブルを少なくとも含むマシニングセンタのモデルデータ、或いはワークを保持する主軸を少なくとも含む旋盤のモデルデータ）が予め作成され、モデルデータ記憶手段に格納される。尚、前記被取付物としては、例えば、ワークやワーク取付具などを挙げることができるが、これらに限定されるものではない。前記被取付物を、ワークやワーク取付具とした場合、前記モデルデータ記憶手段には、工作機械に取り付けられたワーク及び少なくとも工作機械の一部を含むモデルデータ、工作機械に取り付けられたワーク取付具及び少なくとも工作機械の一部を含むモデルデータ、又は、工作機械に取り付けられたワーク及びワーク取付具並びに少なくとも工作機械の一部を含むモデルデータが格納される。

そして、撮像カメラにより、工作機械に取り付けられた実際の被取付物が撮像され、その２次元画像データが生成されるとともに、仮想画像データ生成手段により、モデルデータ記憶手段に格納されたモデルデータを基に被取付物の２次元データが生成される。この２次元データは、３次元空間を仮想的に設定して、この空間内に被取付物及び少なくとも工作機械の一部を含む３次元モデルを配置するとともに撮像カメラと同じ条件（例えば、焦点距離、主点の座標値、撮像面の中心座標値、撮像面の中心座標値と主点の座標値とのずれ量、放射方向歪補正係数、接線方向歪補正係数などのパラメータが同じである）のカメラを仮想的に設定，配置し、このカメラにより、３次元モデルに係る被取付物を実際の被取付物と同様に前記予め設定された視点と同じ視点から撮像したとすれば得られると想定される２次元画像データである。

この後、画像データ比較手段により、撮像カメラによって生成された実際の被取付物に係る２次元画像データ（被取付物の実画像）と、仮想画像データ生成手段によって生成された３次元モデルに係る被取付物の２次元画像データ（被取付物の仮想画像）とが比較され、これらが一致しているか否かが判断される。これは、例えば、撮像カメラ及び仮想画像データ生成手段によってそれぞれ生成された２次元画像データにおける各ピクセルの濃淡レベル値が同じであるかどうかを確認することで行ったり、各２次元画像データから被取付物のエッジをそれぞれ検出して、検出したエッジの位置や長さが同じであるかどうかなどを確認することで行うことができる。

実画像と仮想画像とが一致していれば、被取付物及び少なくとも工作機械の一部を含む３次元モデルデータは正確である、即ち、被取付物の形状，取付位置及び取付姿勢が実際のものと合っていると判断され、一致していなければ、被取付物及び少なくとも工作機械の一部を含む３次元モデルデータは間違っている、即ち、被取付物の形状，取付位置及び取付姿勢が実際のものと合っていないと判断される。そして、間違っていると判断されたときには、例えば、その旨のメッセージが画面表示されたり、加工開始が不可となるような措置が取られる。

斯くして、本発明に係る３次元モデルデータ確認方法及び確認装置によれば、撮像カメラにより得られる被取付物の実画像と、被取付物及び少なくとも工作機械の一部を含む３次元モデルデータを基に生成される被取付物の仮想画像とを比較して、被取付物及び少なくとも工作機械の一部を含む３次元モデルデータが工作機械の実際の状態に即したものであるかどうかを判断しているので、この被取付物及び少なくとも工作機械の一部を含む３次元モデルデータが正確なものであるかどうかを容易且つ効率的に、しかも精度良く確認することができる。

また、例えば、不正確な３次元モデルデータを用いて干渉シミュレーションが行われるのを防止したり、間違った３次元モデルデータでの干渉シミュレーションによりＮＣプログラムに誤りがないと判断され、このようなＮＣプログラムに従って加工が行われるのを防止することができる。

尚、前記コンピュータは、更に、工作機械の実際の動作に合わせて少なくとも工作機械の一部に係るモデルデータを更新するモデルデータ更新手段として機能するように構成されていても良い。

また、上記モデルデータ確認方法及び確認装置では、ワークを１以上の視点から撮像するようにしても良い。例えば、２つの視点から撮像する場合、撮像カメラにより、工作機械に取り付けられた実際の被取付物を、第１視点及びこれと離れた第２視点の２つの視点から撮像し、各視点における２次元画像データを生成するとともに、仮想画像データ生成手段により、被取付物及び少なくとも工作機械の一部を含む３次元モデルデータを基に、前記第１視点及び第２視点と同視点から３次元モデルに係る被取付物を撮像したとすれば得られると想定される２次元画像データを生成する。そして、撮像カメラによって生成された第１視点からの２次元画像データと、仮想画像データ生成手段によって生成された第１視点からの２次元画像データ、及び、撮像カメラによって生成された第２視点からの２次元画像データと、仮想画像データ生成手段によって生成された第２視点からの２次元画像データをそれぞれ比較し、これらが一致しているか否かを判断する。

以上のように、本発明に係る３次元モデルデータ確認方法及び確認装置によれば、工作機械に取り付けられた被取付物及び少なくとも工作機械の一部を含む３次元モデルデータが正確であるかどうかを容易且つ高精度に確認することができ、効率的である。

本発明の一実施形態に係る３次元モデルデータ確認装置などの概略構成を示したブロック図である。本実施形態の３次元モデルデータ確認装置及びこれが設けられる工作機械を示した斜視図である。本実施形態の仮想画像データ生成部における一連の処理を示したフローチャートである。本実施形態の仮想画像データ生成部における一連の処理を示したフローチャートである。ワークの仮想画像データの生成を説明するための説明図である。ワークの仮想画像データの生成を説明するための説明図である。本実施形態の画像データ比較部における一連の処理を示したフローチャートである。

符号の説明

１３次元モデルデータ確認装置
１０コンピュータ
１１入力装置
１２画面表示装置
１３第１ＣＣＤカメラ
１４第２ＣＣＤカメラ
１５実画像データ記憶部
１６カメラパラメータ記憶部
１７モデルデータ記憶部
１８モデルデータ更新部
１９仮想画像データ生成部
２０仮想画像データ記憶部
２１画像データ比較部
３０工作機械
３１ベッド
３２基部
３３左側壁
３４右側壁
３５後側壁
３６第１サドル
３７第２サドル
３８主軸頭
３９主軸
４０テーブル
Ｔ工具
Ｗワーク

以下、本発明の具体的な実施形態について、添付図面に基づき説明する。尚、図１は、本発明の一実施形態に係る３次元モデルデータ確認装置などの概略構成を示したブロック図である。

図１に示すように、本例の３次元モデルデータ確認装置１は、図２に示す工作機械３０に付設されたコンピュータ１０，第１ＣＣＤカメラ１３及び第２ＣＣＤカメラ１４からなり、コンピュータ１０は、マウス１１ａやキーボード１１ｂなどの入力装置１１と画面表示装置１２とを備え、実画像データ記憶部１５，カメラパラメータ記憶部１６，モデルデータ記憶部１７，モデルデータ更新部１８，仮想画像データ生成部１９，仮想画像データ記憶部２０，画像データ比較部２１として機能するようになっている。

まず、前記工作機械３０について説明する。

図１及び図２に示すように、前記工作機械３０は、立形マシニングセンタと呼ばれるタイプのものであり、ベッド３１と、ベッド３１に配設され、前後方向（Ｙ軸方向）に移動自在となった第１サドル３６と、第１サドル３６に配設され、左右方向（Ｘ軸方向）に移動自在となった第２サドル３７と、第２サドル３７に配設され、鉛直方向（Ｚ軸方向）に移動自在となった主軸頭３８と、主軸頭３８によって軸線中心に回転自在に支持され、工具Ｔを保持する主軸３９と、ベッド３１に配設され、ワークＷが上面に載置，固定されるテーブル４０などを備え、テーブル４０は、ワークＷの載置，固定される載置部４０ａがＺ軸と平行な回転中心軸回り（Ｃ軸方向）に回転自在となるように構成されている。

また、工作機械３０は、更に、第１サドル３６をＹ軸方向に移動（直線移動）させるＹ軸送り機構４１と、第２サドル３７をＸ軸方向に移動（直線移動）させるＸ軸送り機構４２と、主軸頭３８をＺ軸方向に移動（直線移動）させるＺ軸送り機構４３と、主軸３９をその軸線中心に回転させる主軸回転駆動機構４４と、テーブル４０の載置部４０ａをＣ軸方向に回転（回転移動）させて所定の回転角度位置に割り出すテーブル回転駆動機構４５と、これらＹ軸送り機構４１，Ｘ軸送り機構４２，Ｚ軸送り機構４３，主軸回転駆動機構４４及びテーブル回転駆動機構４５の作動を制御する制御装置４６と、この制御装置４６に接続された操作盤４７とを備えている。

前記ベッド３１は、平面視矩形状をした基部３２と、基部３２の左右両側に立設された側壁３３，３４（左側壁３３及び右側壁３４）と、基部３２の奥側に立設され、左右両側の側壁３３，３４間に設けられる側壁（後側壁）３５とからなる。前記テーブル４０は、後側壁３５の前面に設けられ、各側壁３３，３４，３５に囲まれた空間に配置される。

前記第１サドル３６は、Ｙ軸方向に移動自在に前記左側壁３３及び右側壁３４に支持され、前記第２サドル３７は、Ｘ軸方向に移動自在に第１サドル３６に支持され、前記主軸頭３８は、Ｚ軸方向に移動自在に第２サドル３７に支持され、前記主軸３９は、テーブル４０の上面よりも上方で軸線がＺ軸と平行に配置され、主軸頭３８の下端部に軸線中心に回転自在に支持される。

前記操作盤４７は、制御装置４６に対して各種信号を入力するための入力装置（操作キーやキーボード、手動パルス発生器など）（図示せず）と、制御装置４６による制御状態などを画面表示するための画面表示装置（図示せず）とからなる。

前記制御装置４６は、予め作成されたＮＣプログラムが格納されるプログラム記憶部４６ａを備え、このＮＣプログラムに基づいて各送り機構４１，４２，４３や各回転駆動機構４４，４５を制御する。具体的には、ＮＣプログラムから、第１サドル３６，第２サドル３７及び主軸頭３８の移動位置や送り速度、主軸３９の回転速度、テーブル４０（載置部４０ａ）の回転角度位置などに関する移動指令を抽出し、抽出した移動指令、各送り機構４１，４２，４３からフィードバックされる現在位置データ、主軸回転駆動機構４４からフィードバックされる現在回転速度データ、及びテーブル回転駆動機構４５からフィードバックされる現在回転角度位置データに基づいて制御する。

また、制御装置４６は、操作盤４７の入力装置（図示せず）から入力された操作信号（移動指令に係る信号）を受信して、受信した操作信号を基に各送り機構４１，４２，４３や各回転駆動機構４４，４５を制御する。

また、更に、制御装置４６は、ＮＣプログラムから抽出した移動指令、操作盤４７の入力装置（図示せず）から入力された操作信号、各送り機構４１，４２，４３からフィードバックされる現在位置データ、或いはテーブル回転駆動機構４５からフィードバックされる現在回転角度位置データを前記モデルデータ更新部１８に送信する処理を行う。

次に、前記３次元モデルデータ確認装置１について説明する。

上記のように、前記３次元モデルデータ確認装置１は、第１ＣＣＤカメラ１３，第２ＣＣＤカメラ１４，実画像データ記憶部１５，カメラパラメータ記憶部１６，モデルデータ記憶部１７，モデルデータ更新部１８，仮想画像データ生成部１９，仮想画像データ記憶部２０及び画像データ比較部２１を備える。

前記第１ＣＣＤカメラ１３及び第２ＣＣＤカメラ１４は、ベッド３１の左側壁３３と後側壁３５との隅部であって左側壁３３及び後側壁３５の上部にブラケット２４を介して取り付けられ、光軸が斜め下方に傾いてテーブル４０（載置部４０ａ）の上面に載置，固定された実際のワークＷを撮像する。第２ＣＣＤカメラ１４は、光軸が第１ＣＣＤカメラ１３の光軸と平行となるように、撮像面が第１ＣＣＤカメラ１３の撮像面と同一平面内に位置するように、且つ第１ＣＣＤカメラ１３と一定間隔を隔てるように設けられる。尚、ワークＷの撮像時には、ワークＷだけでなく、テーブル４０の一部も撮像される。

前記各ＣＣＤカメラ１３，１４は、多行多列の２次元に配置された複数の光電変換素子を備え、受光強度に応じて各光電変換素子から出力される電圧信号をデジタル化した後、これを濃淡レベル値に変換して、前記光電変換素子の配列と同配列の２次元濃淡画像データとして出力する。そして、前記実画像データ記憶部１５には、前記各ＣＣＤカメラ１３，１４から出力された２次元濃淡画像データ（ワークＷの実画像データ）がそれぞれ格納される。

前記カメラパラメータ記憶部１６は、各ＣＣＤカメラ１３，１４固有のパラメータである内部パラメータ（例えば、焦点距離，主点の座標値，撮像面の中心座標値，撮像面の中心座標値と主点の座標値とのずれ量，放射方向歪補正係数及び接線方向歪補正係数など）と、工作機械３０の座標系におけるＣＣＤカメラ１３，１４の位置や姿勢を表す外部パラメータ（例えば、回転行列及び平行移動ベクトルなど）とを記憶する。これらのパラメータは、例えば、較正処理により予め算出されて格納される。

前記モデルデータ記憶部１７には、テーブル４０（載置部４０ａ）に載置，固定されたワークＷを含む工作機械３０全体の３次元モデルに関するデータであり、この工作機械３０全体の形状を定義する形状データを少なくとも含んだモデルデータ（本例では、工作機械３０のカバーや扉などを除き、工作機械３０の主要な構成要素とワークＷとを含む３次元モデルデータ）が格納される。このモデルデータは、オペレータやモデルデータ生成装置などによって予め作成されたものである。尚、この工作機械３０全体のモデルデータは、例えば、ベッド３１，第１サドル３６，第２サドル３７，主軸頭３８，主軸３９（工具Ｔを含む）及びテーブル４０といった工作機械３０の構成要素並びにワークＷの各モデルデータがそれぞれ相互に関連付けられて構成される。また、工作機械３０全体のモデルデータは、その座標系が実際の工作機械３０と同じになるように設定されている。

前記モデルデータ更新部１８は、制御装置４６から送信された移動指令，操作信号，現在位置データ或いは現在回転角度位置データを受信すると、モデルデータ記憶部１７に格納された工作機械３０全体のモデルデータを読み出し、前記受信した移動指令，操作信号，現在位置データ或いは現在回転角度位置データ、及び読み出したモデルデータを基に、第１サドル３６，第２サドル３７，主軸頭３８及びテーブル４０の載置部４０ａが移動指令や操作信号に従って移動（直線移動や回転移動）した状態となるように又は現在位置データや現在回転角度位置データに係る位置に移動（直線移動や回転移動）した状態となるように工作機械３０全体のモデルデータを更新する。そして、更新後のモデルデータを前記モデルデータ記憶部１７に格納し、更新後のモデルデータで更新前のモデルデータを書き換える。

前記仮想画像データ生成部１９は、図３に示すような一連の処理を行い、カメラパラメータ記憶部１６に格納された各ＣＣＤカメラ１３，１４の外部パラメータ（ＣＣＤカメラ１３，１４の位置や姿勢を示すパラメータ）及び内部パラメータ（焦点距離，主点の座標値，撮像面の中心座標値，撮像面の中心座標値と主点の座標値とのずれ量，放射方向歪補正係数及び接線方向歪補正係数を示すパラメータ）、並びにモデルデータ記憶部１７に格納されたモデルデータを基にワークＷの２次元データ（後述のようにワークＷの仮想画像データ）を生成する。

尚、第１ＣＣＤカメラ１３に対応した仮想画像の生成と、第２ＣＣＤカメラ１４に対応した仮想画像の生成とは同じようにして行われるので、以下の説明では、第１ＣＣＤカメラ１３に対応した仮想画像の生成を中心に説明し、第２ＣＣＤカメラ１４に対応した仮想画像の生成については省略する。

仮想画像データ生成部１９は、まず、カメラパラメータ記憶部１６に格納された各パラメータを読み出し（ステップＳ１）、ついで、モデルデータ記憶部１７に格納された工作機械３０全体のモデルデータを読み出す（ステップＳ２）。

そして、読み出した各パラメータ及びモデルデータを基に、工作機械３０全体のモデルデータの座標系を、ＣＣＤカメラ１３（１４）に設定された座標系と同じ座標系に変換する（ステップＳ３）。具体的には、下式（数１）を用いて変換する。下式中、Ｒ及びＴは、工作機械３０の座標系をＣＣＤカメラ１３（１４）の座標系に変換するためのパラメータであり、ＲはＣＣＤカメラ１３（１４）の姿勢を示す回転行列で、ＴはＣＣＤカメラ１３（１４）の位置を示す平行移動ベクトルである。これにより、例えば、図５に示すように、ワークＷ上のある点が、工作機械３０の座標系での座標値Ｐ_ｓ（Ｐ_ｓｘ，Ｐ_ｓｙ，Ｐ_ｓｚ）からＣＣＤカメラ１３（１４）の座標系での座標値Ｐ_ｃ（Ｐ_ｃｘ，Ｐ_ｃｙ，Ｐ_ｃｚ）に変換され、工作機械３０全体のモデルデータがＣＣＤカメラ１３（１４）の座標系と同じ座標系で認識される。

尚、前記ステップＳ３の処理は、３次元空間を仮想的に設定して、この空間内に工作機械３０全体の３次元モデルを配置するとともに、各ＣＣＤカメラ１３，１４の視点と同じ視点からそれぞれ撮像可能な第１ＣＣＤカメラ１９ａ及び第２ＣＣＤカメラ１９ｂを仮想的に設定，配置するための処理である。

次に、座標系を変換したモデルデータによって特定されるワークＷ周辺部分の形状を、下式（数２）を用いて、ＣＣＤカメラ１９ａの撮像面１９ｃ（ＣＣＤカメラ１９ｂの撮像面１９ｄ）上に投影する、即ち、ＣＣＤカメラ１９ａ（１９ｂ）により３次元モデルに係るワークＷを撮像する（ステップＳ４）。これにより、例えば、図６に示すように、３次元空間内の座標値Ｐ_ｃ（Ｐ_ｃｘ，Ｐ_ｃｙ，Ｐ_ｃｚ）が撮像面１９ｃ（１９ｄ）内の座標値Ｐ_ｉｐ（Ｐ_ｉｐｘ，Ｐ_ｉｐｙ）に変換され、２次元濃淡画像データが生成される。尚、図６は、ＣＣＤカメラ１９ａによるワークＷの撮像を簡略的に示した概念図として図示している。

ついで、撮像面１９ｃ（１９ｄ）上に投影した形状（即ち、２次元画像）を歪ませる処理を行う（ステップＳ５）。これは、ＣＣＤカメラ１３（１４）によって生成される実画像が歪んでいることから、仮想画像を実画像と同じように歪ませる必要があるからである。具体的には、下式（数３）を用いて行う。下式中、Ｋ_１，Ｋ_２は、ＣＣＤカメラ１３（１４）の放射方向歪補正係数であり、Ｐ_１，Ｐ_２は、ＣＣＤカメラ１３（１４）の接線方向歪補正係数である。これにより、ある座標値Ｐ_ｉｐ（Ｐ_ｉｐｘ，Ｐ_ｉｐｙ）が座標値Ｐ_ｉｐｄ（Ｐ_ｉｐｄｘ，Ｐ_ｉｐｄｙ）に変換される。

この後、下式（数４）を用い、歪ませた形状の撮像面１９ｃ（１９ｄ）上における座標値Ｐ_ｉｐｄ（Ｐ_ｉｐｄｘ，Ｐ_ｉｐｄｙ）を画素位置Ｐ_ｉｓ（Ｐ_ｉｓｘ，Ｐ_ｉｓｙ）として算出する（ステップＳ６）。下式中、ｕ_０はＣＣＤカメラ１３（１４）の撮像面の中心座標値と主点の座標値のＸ軸方向におけるずれ量、ｖ_０はＣＣＤカメラ１３（１４）の撮像面の中心座標値と主点の座標値のＹ軸方向におけるずれ量、ｆ_ｘはＣＣＤカメラ１３（１４）のＸ軸方向の焦点距離、ｆ_ｙはＣＣＤカメラ１３（１４）のＹ軸方向の焦点距離である。

尚、前記ステップＳ５及びＳ６の処理は、仮想的なＣＣＤカメラ１９ａ（１９ｂ）の条件を実際のＣＣＤカメラ１３（１４）の条件と一致させるための処理である。

このようにしてステップＳ１〜Ｓ６までの処理を行うことにより、３次元空間を仮想的に設定して、この空間内に工作機械３０全体の３次元モデルを配置するとともにＣＣＤカメラ１３（１４）と同じ条件のカメラ１９ａ（１９ｂ）を仮想的に設定，配置し、このカメラ１９ａ（１９ｂ）により、３次元モデルに係るワークＷを実際のワークＷと同様にＣＣＤカメラ１３（１４）と同じ視点から撮像したとすれば得られると想定される２次元濃淡画像データ（テーブル４０を一部含んだワークＷの２次元濃淡画像データ）を生成すると、生成した２次元濃淡画像データをワークＷの仮想画像データとして前記仮想画像データ記憶部２０に格納し（ステップＳ７）、一連の処理を終了する。尚、この仮想画像データ記憶部２０には、第１ＣＣＤカメラ１３に対応した仮想画像データと、第２ＣＣＤカメラ１４に対応した仮想画像データとがそれぞれ格納される。

尚、仮想画像データ生成部１９は、上記ステップＳ５及びステップＳ６の処理に代えて、以下に説明するステップＳ５’及びステップＳ６’の処理を行うようにしても良い（図４参照）。即ち、ステップＳ５’では、下式（数５）を用いて、投影した形状（２次元画像）の撮像面１９ｃ（１９ｄ）上における座標値Ｐ_ｉｐ（Ｐ_ｉｐｘ，Ｐ_ｉｐｙ）を画素位置Ｐ_ｖ（Ｐ_ｖｘ，Ｐ_ｖｙ）として算出する。下式中、ｆはＣＣＤカメラ１３（１４）の焦点距離、Ｃ_ｘはＣＣＤカメラ１３（１４）の撮像面の中心にある画素のＸ軸座標値、Ｃ_ｙはＣＣＤカメラ１３（１４）の撮像面の中心にある画素のＹ軸座標値である。

一方、ステップＳ６’では、上記の数４と数５とを組み合わせて得られる下式（数６）を用いて、ステップＳ５’で得られた形状（２次元画像）をシフトするとともに拡大する。これにより、ステップＳ５’で得られた画素位置Ｐ_ｖ（Ｐ_ｖｘ，Ｐ_ｖｙ）が新たな画素位置Ｐ_ｉｓ（Ｐ_ｉｓｘ，Ｐ_ｉｓｙ）に変換される。尚、下式において、上側の（Ｘ軸に関する）成分は整数になるが、下側の（Ｙ軸に関する）成分は小数になる。したがって、このままでは、Ｙ軸方向における画素位置が求まらないので、Ｙ軸方向の画素位置については、整数の値を得るべく（小数部分を無くすべく）一次補間を行う。

前記画像データ比較部２１は、図７に示すような一連の処理を行い、カメラパラメータ記憶部１６に格納された各ＣＣＤカメラ１３，１４の内部パラメータ（焦点距離，主点の座標値，撮像面の中心座標値，撮像面の中心座標値と主点の座標値とのずれ量，放射方向歪補正係数及び接線方向歪補正係数を示すパラメータ）、実画像データ記憶部１５に格納された実際のワークＷに係る２次元濃淡画像データ（ワークＷの実画像）、及び仮想画像データ記憶部２０に格納された３次元モデルに係るワークＷの２次元濃淡画像データ（ワークＷの仮想画像）を基に、ワークＷを含む工作機械３０全体のモデルデータが正確であるかどうかを確認する。

即ち、画像データ比較部２１は、カメラパラメータ記憶部１６に格納された各ＣＣＤカメラ１３，１４の内部パラメータを読み出し（ステップＳ１１）、次に、実画像データ記憶部１５に格納されたワークＷの実画像データ（各ＣＣＤカメラ１３，１４により得られた実画像データ）をそれぞれ読み出す（ステップＳ１２）。

この後、読み出した内部パラメータ及び各実画像データを基に、各実画像の歪をそれぞれ除去し（ステップＳ１３）、更に、各実画像のずれをそれぞれ無くす（ステップＳ１４）。これは、ＣＣＤカメラ１３，１４のレンズによって画像が歪んだり、主点と撮像面の中心とがずれているからである。実画像の歪は、例えば、放射方向歪補正係数及び接線方向歪補正係数を基に除去することができ、実画像のずれは、例えば、主点のずれ量を基に無くすことができる。

次に、仮想画像データ記憶部２０に格納されたワークＷの仮想画像データ（各ＣＣＤカメラ１３，１４に対応するように生成された仮想画像データ）をそれぞれ読み出し（ステップＳ１５）、読み出した各仮想画像データ及びステップＳ１１で読み出した内部パラメータを基に、実画像と同様、各仮想画像の歪をそれぞれ除去し（ステップＳ１６）、更に、各仮想画像のずれをそれぞれ無くす（ステップＳ１７）。

尚、前記仮想画像データ生成部１９における処理で、ステップＳ５及びＳ６の処理に代えて、ステップＳ５’及びＳ６’の処理を行うようにした場合には、前記ステップＳ１６の処理は省略することができる。

そして、第１ＣＣＤカメラ１３により得られた実画像データと、第１ＣＣＤカメラ１３に対応するように生成された仮想画像データとを、第２ＣＣＤカメラ１４により得られた実画像データと、第２ＣＣＤカメラ１４に対応するように生成された仮想画像データとをそれぞれ比較し、これらが一致しているか否かを判断する（ステップＳ１８）。

具体的には、例えば、実画像データにおける各ピクセルの濃淡レベル値と、仮想画像データにおける各ピクセルの濃淡レベル値とがそれぞれ同じであるかどうかを確認したり、実画像データ及び仮想画像データからワークＷのエッジをそれぞれ検出して、検出したエッジの位置や長さが同じであるかどうかを確認することなどにより行う。実画像データ及び仮想画像データの各ピクセルの濃淡レベル値がそれぞれ同じである場合、実画像データ及び仮想画像データから検出されたエッジの位置や長さが同じである場合には、実画像データと仮想画像データとが一致していると判断する。尚、実画像データと仮想画像データとが一致していると言えるためには、２組の実画像データ及び仮想画像データの内、いずれか一方だけでなく、２組ともそれぞれ一致している必要がある。

そして、実画像データと仮想画像データとが一致していれば、工作機械３０全体の３次元モデルデータは正確である、即ち、ワークＷの形状，取付位置及び取付姿勢が実際のものと合っていると判断し（ステップＳ１８）、上記一連の処理を終了する。一方、一致していなければ、工作機械３０全体の３次元モデルデータは間違っている、即ち、ワークＷの形状，取付位置及び取付姿勢が実際のものと合っていないと判断し（ステップＳ１８）、例えば、その旨のメッセージを操作盤４７の画面表示装置（図示せず）やコンピュータ１０の画面表示装置１２に表示させて（ステップＳ１９）、上記一連の処理を終了する。

以上のように構成された本例の３次元モデルデータ確認装置１によれば、カメラパラメータ記憶部１６に各ＣＣＤカメラ１３，１４の内部パラメータ及び外部パラメータが、モデルデータ記憶部１７にワークＷを含む工作機械３０全体のモデルデータが予め格納される。尚、モデルデータ記憶部１７に格納されたモデルデータは、モデルデータ更新部１８により、制御装置４６から送信される移動指令や操作信号、現在位置データ、現在回転角度位置データを基に随時更新される。

そして、各ＣＣＤカメラ１３，１４によりテーブル４０上の実際のワークＷが撮像されると、テーブル４０を一部含んだワークＷの実画像データが生成され、実画像データ記憶部１５に格納される。

また、仮想画像データ生成部１９によって、カメラパラメータ記憶部１６に格納された各ＣＣＤカメラ１３，１４の外部パラメータ及び内部パラメータ、並びにモデルデータ記憶部１７に格納されたモデルデータを基に、各ＣＣＤカメラ１３，１４と同視点から３次元モデルに係るワークＷをそれぞれ撮像したとすれば得られると想定されるワークＷの仮想画像データが生成され、仮想画像データ記憶部２０に格納される。

この後、画像データ比較部２１によって、カメラパラメータ記憶部１６に格納された各ＣＣＤカメラ１３，１４の内部パラメータ、実画像データ記憶部１５に格納されたワークＷの実画像データ、及び仮想画像データ記憶部２０に格納されたワークＷの仮想画像データを基に、ワークＷを含む工作機械３０全体のモデルデータが正確であるかどうかが判断され、間違っていると判断された場合には、例えば、その旨のメッセージが操作盤４７の画面表示装置（図示せず）やコンピュータ１０の画面表示装置１２に表示される。

このように、本例の３次元モデルデータ確認装置１によれば、ＣＣＤカメラ１３，１４により得られるワークＷの実画像と、工作機械３０全体の３次元モデルデータを基に生成されるワークＷの仮想画像とを比較して、ワークＷを含む工作機械３０全体の３次元モデルデータが工作機械３０の実際の状態に即したものであるかどうかを判断しているので、この工作機械３０全体の３次元モデルデータが正確なものであるかどうかを容易且つ効率的に、しかも精度良く確認することができる。

以上、本発明の一実施形態について説明したが、本発明の採り得る具体的な態様は、何らこれに限定されるものではない。

上例では、テーブル４０上のワークＷを含む工作機械３０全体の３次元モデルデータが正確であるかどうかを確認するようにしたが、通常、ワークＷをテーブル４０に固定する際にはワーク取付具が使用されるため、ワークＷとこれを固定するワーク取付具とを含む工作機械３０全体の３次元モデルデータが正確であるかどうかを確認するようにしても良い。また、この他、ワーク取付具を含む工作機械３０全体の３次元モデルデータが正確であるかどうかを確認することもできる。

ワークＷとワーク取付具とを含む工作機械３０全体の３次元モデルデータが正確であるかどうかを確認する場合には、このワークＷ及びワーク取付具を含む工作機械３０全体の３次元モデルデータをモデルデータ記憶部１７に格納し、各ＣＣＤカメラ１３，１４により前記ワークＷ及びワーク取付具を撮像してその実画像データを生成するとともに、仮想画像データ生成部１９により前記ワークＷ及びワーク取付具の仮想画像データを生成し、画像データ比較部２１により実画像データと仮想画像データとを比較して、ワークＷ及びワーク取付具を含む工作機械３０全体の３次元モデルデータが正確であるかどうかを判断する。一方、ワーク取付具を含む工作機械３０全体の３次元モデルデータが正確であるかどうかを確認する場合には、ワーク取付具を含む工作機械３０全体の３次元モデルデータをモデルデータ記憶部１７に格納し、各ＣＣＤカメラ１３，１４によりワーク取付具を撮像してその実画像データを生成するとともに、仮想画像データ生成部１９によりワーク取付具の仮想画像データを生成し、画像データ比較部２１により実画像データと仮想画像データとを比較して、ワーク取付具を含む工作機械３０全体の３次元モデルデータが正確であるかどうかを判断する。

また、各ＣＣＤカメラ１３，１４により実際のワークＷを撮像してその実画像データを生成する処理と、仮想画像データ生成部１９によりワークＷの仮想画像データを生成する処理の実行順序は、特に限定されず、どちらを先に行っても良い。

また、テーブル４０の載置部４０ａをＣ軸方向に回転させて複数の回転角度位置でワークＷを撮像し、各回転角度位置で撮像した実画像と仮想画像とを比較するようにすれば、より精度良く工作機械３０全体のモデルデータが正確であるかどうかを判断することができる。

また、工作機械３０全体のモデルデータが正確であるかどうかをどのような時に確認するかについては、特に限定されるものではない。例えば、操作盤４７に設けられた加工開始ボタンがオペレータによって押されたときに行うようにすることができる。この場合、加工動作の実行前に確認処理を行い、工作機械３０全体のモデルデータは間違っていると判断したときには、アラーム出力をして加工動作を中止させる。この他、オペレータが加工準備を終わらせ、操作盤４７に設けられた確認ボタンを押したときに行うようにすることもできる。

また、ＣＣＤカメラ１３，１４は、必ずしも２台設ける必要はなく、第２ＣＣＤカメラ１４を省略するようにしても良い。この場合、第１ＣＣＤカメラ１３により得られた実画像データと、第１ＣＣＤカメラ１３に対応するように生成された仮想画像データとを比較することで、工作機械３０全体のモデルデータが正確であるかどうかを判断することができるが、前記第１ＣＣＤカメラ１３の配置位置に相当する位置と、前記第２ＣＣＤカメラ１４の配置位置に相当する位置とにおいてワークＷを撮像するようにすれば、上記と同様、異なる２視点での２次元濃淡画像を基に工作機械３０全体のモデルデータが正確であるかどうかを判断することができる。

また、前記３次元モデルデータ確認装置１が設けられる工作機械３０は、何ら限定されるものではなく、どのような工作機械３０であっても良い。例えば、上例のような立形マシニングセンタではなく、旋盤などに設けるようにしても良い。

また、ＣＣＤカメラ１３，１４が２次元濃淡画像データではなく、２次元のカラー画像を出力するように構成するとともに、仮想画像データ生成部１９が２次元濃淡画像データではなく、２次元のカラー画像を生成するように構成し、これらのカラー画像を基に、ワークＷを含む工作機械３０全体のモデルデータが正確であるかどうかを判断するようにしても良い。

以上詳述したように、本発明は、予め作成されたモデルデータであって、工作機械に取り付けられた被取付物及び少なくとも工作機械の一部を含む３次元モデルデータが正確であるかどうかを確認する３次元モデルデータ確認方法及び確認装置に好適に適用することができる。

Claims

予め作成された、工作機械に取り付けられた被取付物及び少なくとも工作機械の一部を含む３次元モデルに関するデータであり、これらの形状を定義する形状データを少なくとも含んだモデルデータが正確であるかどうかを確認する方法であって、
撮像カメラにより、前記工作機械に取り付けられた実際の被取付物を予め設定された１以上の視点から撮像して２次元画像データを生成する実画像データ生成工程と、
コンピュータ処理により、前記予め作成された、被取付物及び少なくとも工作機械の一部を含むモデルデータを基に前記被取付物の２次元データを生成する工程であって、３次元空間を仮想的に設定して、この空間内に前記被取付物及び少なくとも工作機械の一部を含む３次元モデルを配置するとともに前記撮像カメラと同じ条件のカメラを仮想的に設定，配置し、このカメラにより、３次元モデルに係る被取付物を前記実際の被取付物と同様に前記予め設定された視点と同じ視点から撮像したとすれば得られると想定される２次元画像データを生成する仮想画像データ生成工程と、
コンピュータ処理により、前記実画像データ生成工程で生成された実際の被取付物に係る２次元画像データと、前記仮想画像データ生成工程で生成された３次元モデルに係る被取付物の２次元画像データとを比較して一致しているか否かを判断する画像データ比較工程とからなることを特徴とする３次元モデルデータ確認方法。
予め作成された、前記工作機械に取り付けられた被取付物及び少なくとも工作機械の一部を含む３次元モデルに関するデータであり、これらの形状を定義する形状データを少なくとも含んだモデルデータが正確であるかどうかを確認する装置であって、
前記工作機械に取り付けられた実際の被取付物を予め設定された１以上の視点から撮像して２次元画像データを生成する撮像カメラと、
前記撮像カメラが接続されたコンピュータとからなり、
前記コンピュータは、
前記予め作成された、被取付物及び少なくとも工作機械の一部を含むモデルデータを記憶するモデルデータ記憶手段と、
前記モデルデータ記憶手段に格納されたモデルデータを基に前記被取付物の２次元データを生成する手段であって、３次元空間を仮想的に設定して、この空間内に前記被取付物及び少なくとも工作機械の一部を含む３次元モデルを配置するとともに前記撮像カメラと同じ条件のカメラを仮想的に設定，配置し、このカメラにより、３次元モデルに係る被取付物を前記実際の被取付物と同様に前記予め設定された視点と同じ視点から撮像したとすれば得られると想定される２次元画像データを生成する仮想画像データ生成手段と、
前記撮像カメラにより生成された実際の被取付物に係る２次元画像データと、前記仮想画像データ生成手段により生成された３次元モデルに係る被取付物の２次元画像データとを比較して一致しているか否かを判断する画像データ比較手段として機能するように構成されてなることを特徴とする３次元モデルデータ確認装置。
移動可能に構成され、被取付物が取り付けられる構造体と、前記構造体を駆動する駆動手段と、前記構造体の移動指令を基に前記駆動手段の作動を制御し、前記構造体の移動を制御する制御手段とを備えた工作機械に設けられ、
予め作成された、前記工作機械に取り付けられた被取付物及び少なくとも工作機械の一部を含む３次元モデルに関するデータであり、これらの形状を定義する形状データを少なくとも含んだモデルデータが正確であるかどうかを確認する装置であって、
前記工作機械に取り付けられた実際の被取付物を予め設定された１以上の視点から撮像して２次元画像データを生成する撮像カメラと、
前記撮像カメラが接続されたコンピュータとからなり、
前記コンピュータは、
前記予め作成された、被取付物及び少なくとも工作機械の一部を含むモデルデータを記憶するモデルデータ記憶手段と、
前記制御手段から前記移動指令又は前記構造体の位置情報を受信し、受信した移動指令又は位置情報、及び前記モデルデータ記憶手段に格納されたモデルデータを基に、前記構造体が前記移動指令に係る移動を行った状態となるように又は前記構造体が前記位置情報に係る位置に移動した状態となるように前記少なくとも工作機械の一部に係るモデルデータを更新するモデルデータ更新手段と、
前記モデルデータ更新手段によって更新されたモデルデータを基に前記被取付物の２次元データを生成する手段であって、３次元空間を仮想的に設定して、この空間内に前記被取付物及び少なくとも工作機械の一部を含む３次元モデルを配置するとともに前記撮像カメラと同じ条件のカメラを仮想的に設定，配置し、このカメラにより、３次元モデルに係る被取付物を前記実際の被取付物と同様に前記予め設定された視点と同じ視点から撮像したとすれば得られると想定される２次元画像データを生成する仮想画像データ生成手段と、
前記撮像カメラにより生成された実際の被取付物に係る２次元画像データと、前記仮想画像データ生成手段により生成された３次元モデルに係る被取付物の２次元画像データとを比較して一致しているか否かを判断する画像データ比較手段として機能するように構成されてなることを特徴とする３次元モデルデータ確認装置。
前記画像データ比較手段は、前記撮像カメラにより生成された２次元画像データにおける各ピクセルの濃淡レベル値と、前記仮想画像データ生成手段により生成された２次元画像データにおける各ピクセルの濃淡レベル値とを比較して一致しているか否かを判断するように構成されてなることを特徴とする請求項２又は３記載の３次元モデルデータ確認装置。