JPWO2008026722A1

JPWO2008026722A1 - ３次元モデルデータ生成方法及び３次元モデルデータ生成装置

Info

Publication number: JPWO2008026722A1
Application number: JP2008532130A
Authority: JP
Inventors: シャオドンティアン; 藤嶋　誠; 誠藤嶋
Original assignee: DMG Mori Co Ltd; Mori Seiki Co Ltd
Current assignee: DMG Mori Co Ltd
Priority date: 2006-09-01
Filing date: 2007-08-31
Publication date: 2010-01-21
Anticipated expiration: 2027-08-31
Also published as: JPWO2008026723A1; DE112007001964T5; US20090070077A1; WO2008026722A1; JP5049975B2; JP5049976B2; DE112007001977T5; US20090015668A1; US8310534B2; US8335666B2; WO2008026723A1; DE112007001964B4

Abstract

本発明は、工作機械に取り付けられた被取付物及び少なくとも工作機械の一部を含む３次元モデルデータを正確且つ効率的に生成することができる３次元モデルデータ生成装置などに関する。３次元モデルデータ生成装置（１）は、所定間隔を隔てて配置され、工作機械に取り付けられた被取付物を撮像して２次元画像データを生成するＣＣＤカメラ（１３，１４）と、被取付物のモデルデータを記憶する第１モデルデータ記憶部（１９）と、少なくとも工作機械の一部に係るモデルデータを記憶する第２モデルデータ記憶部（２１）と、エッジを検出するエッジ検出部（１７）と、形状特徴を認識する形状特徴認識部（１８）と、認識された形状特徴を備えた被取付物のモデルデータを認識するオブジェクト認識部（２０）と、認識された被取付物のモデルデータ及び工作機械のモデルデータを基に、被取付物と少なくとも工作機械の一部とを含む３次元モデルデータを生成するモデルデータ生成部（２２）とを備える。

Description

本発明は、工作機械に取り付けられたワークやワーク取付具などの被取付物、及び少なくとも工作機械の一部を含む３次元モデルデータを生成する３次元モデルデータ生成方法及び生成装置に関する。

工作機械は、例えば、ワーク取付具によって上面にワークが載置，固定されるテーブルと、工具を保持する主軸と、テーブル及び主軸（ワーク及び工具）を相対移動させる駆動機構部と、予め作成されたＮＣプログラムに基づいて駆動機構部を制御する制御装置などから構成される。

前記ＮＣプログラムは、オペレータやプログラミング装置などによって作成されるものであるが、これに誤りがあると、工具とワーク又はワーク取付具とが干渉するといった事故が起こる恐れがある。このため、特開２００６−４１２８号公報に開示されているように、工作機械の３次元モデルデータを用いてコンピュータ上で干渉シミュレーションを行うことによりＮＣプログラムに誤りがあるか否かを確認している。

特開２００６−４１２８号公報

ところで、３次元モデルデータを用いた干渉シミュレーションでは、加工対象となるワーク（テーブル上のワーク）やこれを取り付けるためのワーク取付具を変更すると、これに合わせて、工作機械の３次元モデルデータの少なくともワーク部分やワーク取付具部分を修正，更新しなければならない。

しかしながら、ワークやワーク取付具などの被取付物の３次元モデルデータを新規に作成し、作成した３次元モデルデータを用いて工作機械の３次元モデルデータを修正，更新していたのでは、非効率である。また、修正，更新に使用される被取付物の３次元モデルデータは、例えば、これを作成したオペレータのミスや、被取付物の３次元モデルデータ作成後における設計変更などによって実際の形状と一致していないことがあり、このような場合には、正確な干渉シミュレーションを行うことができない。また、更に、工作機械の３次元モデル上における被取付物の取付状態と実際の取付状態とが異なっている場合もあり、このような場合にも干渉シミュレーションを正確に行うことができない。

したがって、工作機械の実際の状態に即した３次元モデルデータを容易且つ効率的に生成することができれば好都合である。

本発明は、以上の実情に鑑みなされたものであって、工作機械に取り付けられた被取付物及び少なくとも工作機械の一部を含む３次元モデルデータを正確且つ効率的に生成することができる３次元モデルデータ生成方法及び生成装置の提供をその目的とする。

上記目的を達成するための本発明は、
工作機械に取り付けられた被取付物及び少なくとも工作機械の一部を含む３次元モデルデータを生成する方法であって、
前記少なくとも工作機械の一部及び前記工作機械に取り付けられる被取付物の３次元モデルに関するデータであり、これらの形状を定義する形状データを少なくとも含んだモデルデータをそれぞれ記憶手段に格納する第１工程と、
撮像手段を用いて、前記工作機械に取り付けられた被取付物を、第１視点及びこれと離れた第２視点の２つの視点から撮像し、各視点における２次元画像データを生成する第２工程と、
前記第２工程で生成した２つの２次元画像データを基に前記被取付物の形状特徴を認識する第３工程と、
前記第３工程で認識した形状特徴及び前記記憶手段に格納した被取付物のモデルデータを基に、この形状特徴を備えた被取付物のモデルデータを認識する第４工程と、
前記第３工程及び第４工程でそれぞれ認識した形状特徴及びモデルデータを基に、前記被取付物３次元モデルの、前記工作機械３次元モデル上における位置及び姿勢を算出した後、算出した位置及び姿勢、前記第４工程で認識したモデルデータ、並びに前記記憶手段に格納した前記少なくとも工作機械の一部に係るモデルデータを基に、前記被取付物と少なくとも工作機械の一部とを含む３次元モデルデータを生成する第５工程とを順次行うようにしたことを特徴とする３次元モデルデータ生成方法に係る。

そして、このモデルデータ生成方法は、以下のモデルデータ生成装置によってこれを好適に実施することができる。
即ち、このモデルデータ生成装置は、
工作機械に取り付けられた被取付物及び少なくとも工作機械の一部を含む３次元モデルデータを生成する装置であって、
前記工作機械に取り付けられた被取付物を撮像して２次元画像データを生成する第１撮像手段と、
前記第１撮像手段と間隔を隔てて配置され、前記工作機械に取り付けられた被取付物を撮像して２次元画像データを生成する第２撮像手段と、
前記工作機械に取り付けられる被取付物の３次元モデルに関するデータであり、この被取付物の形状を定義する形状データを少なくとも含んだモデルデータを記憶する第１モデルデータ記憶手段と、
前記少なくとも工作機械の一部に係る３次元モデルに関するデータであり、少なくとも工作機械の一部に係る形状を定義する形状データを少なくとも含んだモデルデータを記憶する第２モデルデータ記憶手段と、
前記第１撮像手段及び第２撮像手段によってそれぞれ生成された２次元画像データを基に前記被取付物の形状特徴を認識する画像処理手段と、
前記第１モデルデータ記憶手段に格納されたモデルデータ、及び前記画像処理手段によって認識された形状特徴を基に、この形状特徴を備えた被取付物のモデルデータを認識するオブジェクト認識手段と、
前記オブジェクト認識手段によって認識されたモデルデータ、及び前記画像処理手段によって認識された形状特徴を基に、前記被取付物３次元モデルの、前記工作機械３次元モデル上における位置及び姿勢を算出した後、算出した位置及び姿勢、前記オブジェクト認識手段によって認識されたモデルデータ、並びに前記第２モデルデータ記憶手段に格納されたモデルデータを基に、前記被取付物と少なくとも工作機械の一部とを含む３次元モデルデータを生成するモデルデータ生成手段とを備えてなることを特徴とする３次元モデルデータ生成装置に係る。

この３次元モデルデータ生成装置によれば、第１モデルデータ記憶手段に、工作機械に取り付けられる被取付物のモデルデータ（３次元モデルデータ）が、第２モデルデータ記憶手段に、少なくとも工作機械の一部に係るモデルデータ（３次元モデルデータ）（例えば、ワークが載置されるテーブルを少なくとも含むマシニングセンタのモデルデータ、或いはワークを保持する主軸を少なくとも含む旋盤のモデルデータ）が予め格納される。尚、第１モデルデータ記憶手段には、１種類の被取付物についてのみモデルデータが格納されていても、工作機械に取り付けられる可能性のある複数の被取付物についてモデルデータが格納されていても良い。また、前記被取付物としては、例えば、ワークやワーク取付具などを挙げることができるが、これらに限定されるものではない。前記被取付物を、ワークやワーク取付具とした場合、前記第１モデルデータ記憶手段には、ワークのモデルデータ、ワーク取付具のモデルデータ、ワーク及びワーク取付具が一体的に構成されたモデルデータの内の少なくとも１つが格納される。

第１撮像手段及び第２撮像手段によって、工作機械に取り付けられた被取付物が撮像され、２次元画像データが生成されると、それぞれ生成された２次元画像データを基に、画像処理手段によって被取付物の形状特徴が認識される。この後、オブジェクト認識手段によって、第１モデルデータ記憶手段に格納されたモデルデータ、及び画像処理手段によって認識された形状特徴を基に、この形状特徴を備えた被取付物のモデルデータが認識される。

ついで、モデルデータ生成手段によって、まず、オブジェクト認識手段によって認識されたモデルデータ、及び画像処理手段によって認識された形状特徴を基に、被取付物３次元モデルの、工作機械３次元モデル上における位置及び姿勢が算出された後、算出された位置及び姿勢、オブジェクト認識手段によって認識されたモデルデータ、並びに第２モデルデータ記憶手段に格納されたモデルデータを基に、被取付物と少なくとも工作機械の一部とを含む３次元モデルデータが生成される。

斯くして、本発明に係る３次元モデルデータ生成方法及び生成装置によれば、撮像手段から得られる２次元画像データを基に、工作機械に取り付けられた被取付物と少なくとも工作機械の一部とを含む３次元モデルデータを生成しているので、被取付物の形状，取付位置及び取付姿勢が実際の状態に合った正確な３次元モデルデータを容易且つ効率的に生成することができる。また、工作機械の実際の状態に即した３次元モデルデータを用いて干渉シミュレーションを行うことが可能となり、高精度なシミュレーション結果を得ることができる。

尚、前記画像処理手段は、前記第１撮像手段及び第２撮像手段によってそれぞれ生成された２次元画像データを基に前記被取付物のコーナを抽出して、抽出したコーナ間を結ぶエッジを検出することにより、前記各２次元画像における前記被取付物のエッジをそれぞれ検出するエッジ検出手段と、前記エッジ検出手段によって検出された各２次元画像におけるエッジを基にこの２次元画像間におけるエッジの対応関係を求め、対応関係があると判断したエッジを基に被取付物の形状特徴を認識する形状特徴認識手段とから構成されていても良い。

この場合、被取付物のコーナを抽出するに当たっては、例えば、まず、各２次元画像において、被取付物を含む、撮像された対象物のコーナを検出した後、検出したコーナと、被取付物が工作機械に取り付けられていないときに撮像される対象物のコーナとを比較することで、被取付物のコーナのみを抽出することができる。また、被取付物の形状特徴を認識するに当たっては、例えば、対応関係があると判断したエッジを基に三角測量の原理により３次元空間内における被取付物エッジ部分の位置情報を算出することで、被取付物の形状特徴を認識することができる。

また、前記オブジェクト認識手段は、前記第１モデルデータ記憶手段に格納されたモデルデータを基にモデルデータに係る被取付物の形状特徴を抽出して、抽出した形状特徴と前記画像処理手段によって認識された形状特徴とが一致しているか否かを確認することにより、前記第１モデルデータ記憶手段に格納されたモデルデータの中から、前記画像処理手段によって認識された形状特徴と一致する形状特徴を備えた被取付物のモデルデータを認識するように構成されていても良い。

また、前記モデルデータ生成手段は、前記画像処理手段によって認識された被取付物の形状特徴、及び前記オブジェクト認識手段によって認識された被取付物のモデルデータを基に、これらによって特定される形状の互いに対応する部分が重なるように回転移動及び平行移動させたときの、回転角度を表す行列及び平行移動量を表す行列の各成分を算出して、算出した各行列の成分を基に、前記被取付物３次元モデルの、前記工作機械３次元モデル上における姿勢及び位置を算出するように構成されていても良い。

また、前記第２撮像手段は、その光軸が前記第１撮像手段の光軸と平行となるように且つ前記第１撮像手段の光軸と直交する方向にこの第１撮像手段と間隔を隔てて配置されていても良い。

尚、本発明において、ワーク及びワーク取付具を含む工作機械の３次元モデルデータを生成する場合には、例えば、ワークのモデルデータ及びワーク取付具のモデルデータを第１モデルデータ記憶手段にそれぞれ格納し、まず、ワークを撮像手段により撮像して、ワークを含む工作機械の３次元モデルデータを生成した後、ワーク取付具を撮像手段により撮像して、ワーク及びワーク取付具を含む工作機械の３次元モデルデータを生成したり、逆に、まず、ワーク取付具を撮像手段により撮像して、ワーク取付具を含む工作機械の３次元モデルデータを生成した後、ワークを撮像手段により撮像して、ワーク及びワーク取付具を含む工作機械の３次元モデルデータを生成すると良い。また、この他、ワーク及びワーク取付具が一体的に構成されたモデルデータを第１モデルデータ記憶手段に格納し、ワーク及びワーク取付具を撮像手段により撮像して、ワーク及びワーク取付具を含む工作機械の３次元モデルデータを生成するようにしても良い。

以上のように、本発明に係る３次元モデルデータ生成方法及び生成装置によれば、工作機械に取り付けられた被取付物及び少なくとも工作機械の一部を含む３次元モデルデータを正確且つ効率的に生成することができる。

本発明の一実施形態に係る３次元モデルデータ生成装置の概略構成を示したブロック図である。本実施形態の３次元モデルデータ生成装置及びこれが設けられる工作機械を示した斜視図である。本実施形態のエッジ検出部における一連の処理を示したフローチャートである。本実施形態のエッジ検出部における一連の処理を示したフローチャートである。コーナの検出を説明するための説明図である。コーナの検出を説明するための説明図である。コーナの検出を説明するための説明図である。エッジの検出を説明するための説明図である。エッジの検出を説明するための説明図である。本実施形態の形状特徴認識部における一連の処理を示したフローチャートである。ワークの形状特徴の認識を説明するための説明図である。ワークの形状特徴の認識を説明するための説明図である。ワークの形状特徴の認識を説明するための説明図である。三角測量の原理を用いた位置情報の算出を説明するための説明図である。本実施形態のオブジェクト認識部における一連の処理を示したフローチャートである。本実施形態のモデルデータ生成部における一連の処理を示したフローチャートである。ワークの位置及び姿勢の算出を説明するための説明図である。三角測量の原理を用いた位置情報の算出を説明するための説明図である。

符号の説明

１３次元モデルデータ生成装置
１０コンピュータ
１１入力装置
１２画面表示装置
１３第１ＣＣＤカメラ
１４第２ＣＣＤカメラ
１５画像データ記憶部
１６カメラパラメータ記憶部
１７エッジ検出部
１８形状特徴認識部
１９第１モデルデータ記憶部
２０オブジェクト認識部
２１第２モデルデータ記憶部
２２モデルデータ生成部
２３第３モデルデータ記憶部
３０工作機械
３１ベッド
３２基部
３３左側壁
３４右側壁
３５後側壁
３６第１サドル
３７第２サドル
３８主軸頭
３９主軸
４０テーブル
Ｔ工具
Ｗワーク

以下、本発明の具体的な実施形態について、添付図面に基づき説明する。尚、図１は、本発明の一実施形態に係る３次元モデルデータ生成装置の概略構成を示したブロック図である。

図１に示すように、本例の３次元モデルデータ生成装置１は、図２に示す工作機械３０に付設されたコンピュータ１０，第１ＣＣＤカメラ１３及び第２ＣＣＤカメラ１４からなり、コンピュータ１０は、マウス１１ａやキーボード１１ｂなどの入力装置１１と画面表示装置１２とを備え、画像データ記憶部１５，カメラパラメータ記憶部１６，エッジ検出部１７，形状特徴認識部１８，第１モデルデータ記憶部１９，オブジェクト認識部２０，第２モデルデータ記憶部２１，モデルデータ生成部２２及び第３モデルデータ記憶部２３として機能するようになっている。

まず、前記工作機械３０について説明する。

図２に示すように、前記工作機械３０は、立形マシニングセンタと呼ばれるタイプのものであり、ベッド３１と、ベッド３１に配設され、前後方向（Ｙ軸方向）に移動自在となった第１サドル３６と、第１サドル３６に配設され、左右方向（Ｘ軸方向）に移動自在となった第２サドル３７と、第２サドル３７に配設され、鉛直方向（Ｚ軸方向）に移動自在となった主軸頭３８と、主軸頭３８によって自身の中心軸を中心に回転自在に支持され、工具Ｔを保持する主軸３９と、ベッド３１に配設され、ワークＷが上面に載置，固定されるテーブル４０などを備え、テーブル４０は、ワークＷの載置，固定される載置部４０ａがＺ軸と平行な回転中心軸回り（Ｃ軸方向）に回転自在となるように構成されている。

また、工作機械３０は、更に、第１サドル３６をＹ軸方向に移動させるＹ軸送り機構４１と、第２サドル３７をＸ軸方向に移動させるＸ軸送り機構４２と、主軸頭３８をＺ軸方向に移動させるＺ軸送り機構４３と、主軸３９をその軸線中心に回転させる第１回転駆動機構（図示せず）と、テーブル４０の載置部４０ａをＣ軸方向に回転させて所定の回転角度位置に割り出す第２回転駆動機構（図示せず）とを備えている。

前記ベッド３１は、平面視矩形状をした基部３２と、基部３２の左右両側に立設された側壁３３，３４（左側壁３３及び右側壁３４）と、基部３２の奥側に立設され、左右両側の側壁３３，３４間に設けられる側壁（後側壁）３５とからなる。前記テーブル４０は、後側壁３５の前面に設けられ、各側壁３３，３４，３５に囲まれた空間に配置される。

前記第１サドル３６は、Ｙ軸方向に移動自在に前記左側壁３３及び右側壁３４に支持され、前記第２サドル３７は、Ｘ軸方向に移動自在に第１サドル３６に支持され、前記主軸頭３８は、Ｚ軸方向に移動自在に第２サドル３７に支持され、前記主軸３９は、テーブル４０の上面よりも上方で軸線がＺ軸と平行に配置され、主軸頭３８の下端部に前記中心軸を中心に回転自在に支持される。

次に、前記３次元モデルデータ生成装置１について説明する。

上記のように、前記３次元モデルデータ生成装置１は、第１ＣＣＤカメラ１３，第２ＣＣＤカメラ１４，画像データ記憶部１５，カメラパラメータ記憶部１６，エッジ検出部１７，形状特徴認識部１８，第１モデルデータ記憶部１９，オブジェクト認識部２０，第２モデルデータ記憶部２１，モデルデータ生成部２２及び第３モデルデータ記憶部２３を備える。

前記第１ＣＣＤカメラ１３及び第２ＣＣＤカメラ１４は、ベッド３１の左側壁３３と後側壁３５との隅部であって左側壁３３及び後側壁３５の上部にブラケット２４を介して取り付けられ、光軸が斜め下方に傾いてテーブル４０（載置部４０ａ）の上面に載置，固定されたワークＷを撮像する。第２ＣＣＤカメラ１４は、光軸が第１ＣＣＤカメラ１３の光軸と平行となるように、撮像面が第１ＣＣＤカメラ１３の撮像面と同一平面内に位置するように、且つ第１ＣＣＤカメラ１３と一定間隔を隔てるように設けられる。尚、ワークＷの撮像時には、ワークＷだけでなく、テーブル４０の一部も撮像される。また、第１ＣＣＤカメラ１３の光軸と第２ＣＣＤカメラ１４の光軸との間の距離が光軸間距離記憶部（図示せず）に格納される。

前記各ＣＣＤカメラ１３，１４は、多行多列の２次元に配置された複数の光電変換素子を備え、受光強度に応じて各光電変換素子から出力される電圧信号をデジタル化した後、これを濃淡レベル値に変換して、前記光電変換素子の配列と同配列の２次元濃淡画像データとして出力する。そして、前記画像データ記憶部１５には、前記各ＣＣＤカメラ１３，１４から出力された２次元濃淡画像データがそれぞれ格納される。

前記カメラパラメータ記憶部１６は、各ＣＣＤカメラ１３，１４固有のパラメータである内部パラメータ（例えば、焦点距離，主点の座標値，放射方向歪補正係数及び接線方向歪補正係数など）と、工作機械３０の座標系におけるＣＣＤカメラ１３，１４の位置や姿勢を表す外部パラメータ（例えば、回転行列及び平行移動ベクトルなど）とを記憶する。これらのパラメータは、例えば、較正処理により予め算出されて格納される。

前記エッジ検出部１７は、図３及び図４に示すような一連の処理を行って、画像データ記憶部１５に格納された各２次元濃淡画像データ、及びカメラパラメータ記憶部１６に格納された各ＣＣＤカメラ１３，１４の内部パラメータを基に、各２次元濃淡画像のそれぞれについてワークＷのエッジを検出する。

即ち、エッジ検出部１７は、まず、画像データ記憶部１５に格納された各２次元濃淡画像データを読み出し（ステップＳ１）、各２次元濃淡画像の歪補正を行う（ステップＳ２）。この歪補正は、例えば、カメラパラメータ記憶部１６に格納された内部パラメータ（放射方向歪補正係数及び接線方向歪補正係数など）を基に行ったり、双線形補間により行う。

この後、各２次元濃淡画像において撮像対象物（ワークＷ及びテーブル４０の一部）のコーナを検出する（図５参照）（ステップＳ３）。これは、例えば、ハリスのコーナ検出式（数１）を用いて検出することができる。尚、数１において、Ｉ（ｘ，ｙ）は、濃淡レベル値を示す。また、図５において、（ａ）は２次元濃淡画像を、（ｂ）は検出されたコーナをそれぞれ示す。

次に、ワークＷがテーブル４０（載置部４０ａ）に載置，固定されていないときの、即ち、テーブル４０のみの２次元濃淡画像データをテーブルデータ記憶部（図示せず）から読み出し（ステップＳ４）、読み出した各２次元濃淡画像においてテーブル４０のコーナを検出する（図６参照）（ステップＳ５）。尚、図６において、（ａ）は２次元濃淡画像を、（ｂ）は検出されたコーナをそれぞれ示す。

尚、前記テーブルデータ記憶部（図示せず）には、各ＣＣＤカメラ１３，１４によりテーブル４０のみが撮像されて生成される２次元濃淡画像データであって歪補正が行われた後の２次元濃淡画像データを格納するようにしても、テーブル４０の３次元モデルデータを基に生成されるテーブル４０の仮想画像データであって、前記各ＣＣＤカメラ１３，１４と同視点からテーブル４０をそれぞれ撮像したときに得られる２次元濃淡画像データを格納するようにしても良い。前者の場合には、テーブルデータ記憶部（図示せず）からテーブル４０の２次元濃淡画像データを読み出した後、上記と同様にしてコーナを検出する。一方、後者の場合には、テーブルデータ記憶部（図示せず）からテーブル４０の２次元濃淡画像データを読み出した後、テーブル４０の３次元モデルデータを基にコーナを検出する。また、この他、前記テーブルデータ記憶部（図示せず）にテーブル４０のコーナに関する情報を予め格納しておき、上記ステップＳ４及びＳ５の処理に代えて、テーブル４０のコーナに関する情報をテーブルデータ記憶部（図示せず）から読み出すようにしても良い。

ついで、ステップＳ３で検出されたコーナ（ワークＷ及びテーブル４０の一部のコーナ）と、ステップＳ５で検出されたコーナ（テーブル４０のコーナ）とを比較して、同じ位置に存在していないコーナ、即ち、ワークＷのコーナのみを抽出する（図７参照）（ステップＳ６）。尚、図７において、（ａ）はワークのみの２次元濃淡画像を、（ｂ）は抽出されたワークＷのコーナをそれぞれ示す。

この後、抽出したコーナを基に２つのコーナの組み合わせをすべて認識し、認識したすべてのコーナの組み合わせについて各コーナ間を結ぶエッジが存在すると仮定する（ステップＳ７）。そして、カウンタｎを１に設定し（ステップＳ８）、１番目の組み合わせについて仮定が正しいかどうか、即ち、各コーナ間にエッジが存在しているか否かを検証する（ステップＳ９）。

この検証は、以下のようにして行う。即ち、まず、図８に示すように、コーナ（ｘ_ｉ，ｙ_ｉ）、（ｘ_ｊ，ｙ_ｊ）間を結ぶエッジＬ_ｉｊの方向及び長さ、エッジＬ_ｉｊ上のすべてのピクセルＰを検出する。ついで、検出した各ピクセルＰについてそのＸ軸方向及びＹ軸方向における両隣の計４つのピクセルを認識し、検出及び認識した各ピクセルを基に濃淡レベル値の勾配（変化量）の最大値をそれぞれ算出する。

次に、エッジＬ_ｉｊ上のすべてのピクセルＰとこれに隣接するすべてのピクセルの濃淡レベル値の勾配を基にしきい値を設定する。この後、エッジＬ_ｉｊ上の各ピクセルＰについて、勾配の最大値を示すピクセルと隣接しており且つ勾配の最大値がしきい値よりも高いかどうか、及び、隣接する８つのピクセルの内、少なくとも１つはしきい値よりも濃淡レベル値の勾配が大きいかどうかを確認し、勾配の最大値を示すピクセルと隣接しており且つ勾配の最大値がしきい値よりも高い場合、又は、隣接するピクセルの内、その少なくとも１つがしきい値よりも濃淡レベル値の勾配が大きい場合に該当するピクセルＰの数をカウントする。

そして、エッジＬ_ｉｊ上のピクセルＰの総数に対する、カウントされたピクセルＰの数の割合がエッジＬ_ｉｊの長さに応じて決定される所定の割合よりも高い場合には、仮定は正しい（コーナ間にエッジが存在する）と判断し、低い場合には、仮定は間違っている（コーナ間にエッジは存在しない）と判断する。

このようにして検証を行い、仮定は正しいと判断したときには（ステップＳ１０）、エッジＬ_ｉｊを実在するエッジとして認識して（ステップＳ１１）、ステップＳ１２に進む。このとき、既に認識しているエッジ（実在するエッジ）がある場合には、今回認識したエッジと既に認識しているエッジとの間の幾何学的関係についても認識する。一方、仮定は間違っていると判断すると（ステップＳ１１）、ステップＳ１２に進む。

以降、カウンタｎを更新しながら、認識したすべてのコーナの組み合わせについて仮定が正しいかどうかを検証する（ステップＳ１２，Ｓ１３）。そして、すべての組み合わせについて検証すると、ステップＳ１１で認識した、実在する各エッジを、濃淡レベル値の勾配が最大であるピクセルを基に最小二乗法によりそれぞれ最適化して形状特徴認識部１８に送信し（ステップＳ１４）、上記一連の処理を終了する。このようにして、例えば、図９に示すように、ワークＷのエッジが検出される。図９において、（ａ）は、第１ＣＣＤカメラ１３により生成された２次元濃淡画像データから得られるエッジ（符号Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４，Ｌ２１，Ｌ２２，Ｌ２３，Ｌ２４，Ｌ２５，Ｌ３１）を、（ｂ）は、第２ＣＣＤカメラ１４により生成された２次元濃淡画像データから得られるエッジ（符号Ｒ１１，Ｒ１２，Ｒ１３，Ｒ１４，Ｒ２１，Ｒ２２，Ｒ２３，Ｒ２４，Ｒ２５，Ｒ３１）をそれぞれ示している。

尚、前記エッジ検出部１７は、自動的にコーナやエッジを検出する他、オペレータの入力に基づいてコーナやエッジを検出するように構成することもできる。この場合、エッジ検出部１７は、コーナ選択画面やエッジ選択画面を画面表示装置１２に表示させるとともに、入力装置１１から入力される信号を基に、オペレータによって選択されたコーナやエッジを認識して、認識したコーナを検出コーナとして追加したり、認識したコーナを検出コーナから削除し、或いは、認識したエッジを検出エッジとして追加したり、認識したエッジを検出エッジから削除する。

コーナやエッジが追加されると、追加されたコーナやエッジを、前記ステップＳ６で抽出したコーナや、前記ステップＳ７でコーナ間に存在していると仮定したエッジとみなして上記処理を行う。また、コーナが削除されると、このコーナに接続しているエッジも削除する。また、コーナの追加や削除、エッジの削除は、例えば、画面表示装置１２に表示されたカーソルをマウス１１ａにより動かしてコーナやエッジをクリックすることで行うことができ、エッジの追加は、画面表示装置１２に表示されたカーソルをマウス１１ａにより動かして、エッジの両端となる各コーナを連続してクリックすることで行うことができる。

前記形状特徴認識部１８は、図１０に示すような一連の処理を行い、エッジ検出部１７によって各２次元濃淡画像からそれぞれ検出されたワークＷのエッジを基に、ワークＷの形状特徴を認識する。

即ち、形状特徴認識部１８は、まず、エッジ検出部１７から、各２次元濃淡画像で検出されたワークＷのエッジを受信し（ステップＳ２１）、図９に示すように、検出されたエッジを第１クラス，第２クラス及び第３クラスの３つのクラスに分類する（ステップＳ２２）。第１クラスには、エッジの両端が他のエッジと接続しているものが、第２クラスには、エッジの一端のみが他のエッジと接続しているものが、第３クラスには、エッジの端部がどのエッジとも接続していないものが属する。図９では、符号Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４，Ｒ１１，Ｒ１２，Ｒ１３，Ｒ１４で示したエッジが第１クラスに、符号Ｌ２１，Ｌ２２，Ｌ２３，Ｌ２４，Ｌ２５，Ｒ２１，Ｒ２２，Ｒ２３，Ｒ２４，Ｒ２５で示したエッジが第２クラスに、符号Ｌ３１，Ｒ３１で示したエッジが第３クラスに属する。

次に、第１クラスのエッジについて、以下に説明するようないくつかの拘束条件をすべて満たすエッジの組み合わせ（一方の２次元濃淡画像で検出されたエッジＬ_ｉと、他方の２次元濃淡画像で検出されたエッジＲ_ｊとの組み合わせ）を求める（ステップＳ２３）。

１つ目は、エピポーラ拘束である。図１１に示すように、一方の２次元濃淡画像で検出されたエッジをＬ_ｉと、他方の２次元濃淡画像で検出されたエッジをＲ_ｊと、エッジＬ_ｉとエッジＲ_ｊの各中間点のＹ軸座標値の差をΔＹ_ｉｊと、エッジＬ_ｉのＹ軸方向の長さをΔＹＬ_ｉと、エッジＲ_ｊのＹ軸方向の長さをΔＹＲ_ｊとし、下式（数２）により得られる値（ＥＣ（Ｌ_ｉ，Ｒ_ｊ）の値）が所定のしきい値よりも大きい場合にこれを満たす。

２つ目は、長さの拘束である。前記エッジＬ_ｉの長さをＬ（Ｌ_ｉ）と、前記エッジＲ_ｊの長さをＬ（Ｒ_ｊ）とし、下式（数３）により得られる値（ＬＣ（Ｌ_ｉ，Ｒ_ｊ）の値）が所定のしきい値よりも大きい場合にこれを満たす。

３つ目は、方位の拘束である。前記エッジＬ_ｉと前記エッジＲ_ｊとの間の角度をγ_ｉｊとし、下式（数４）により得られる値（ＯＣ（Ｌ_ｉ，Ｒ_ｊ）の値）が所定のしきい値よりも小さい場合にこれを満たす。

そして、これらの拘束条件をすべて満たすエッジの組み合わせが求まると、この組み合わせに係るエッジＬ_ｉ，Ｒ_ｊが対応関係にあると判断する。図９では、符号Ｌ１１とＲ１１のエッジが、符号Ｌ１２とＲ１２のエッジが、符号Ｌ１３とＲ１３のエッジが、符号Ｌ１４とＲ１４のエッジがそれぞれ対応関係にあると判断される。尚、このようにしてエッジの組み合わせを求めるに当たっては、すべての組み合わせの中からこれらの条件を満足するものを求める。

この後、第２クラスのエッジについて、上記１〜３の拘束条件（エピポーラ拘束，長さの拘束及び方位の拘束）をすべて満たすエッジの組み合わせ（一方の２次元濃淡画像で検出されたエッジＬ_ｉと、他方の２次元濃淡画像で検出されたエッジＲ_ｊとの組み合わせ）を求める（ステップＳ２４）。

尚、上記１〜３の拘束条件の内、１つでも満たさないものがあると、相対的な方位の拘束を満たすかどうかを確認する。この拘束は、１〜３の拘束条件の１つ以上を満たさない組み合わせに係るエッジと、第１クラスのエッジであって１〜３の拘束条件をすべて満たす組み合わせに係るエッジとの間における相対的な方位の拘束である。図１２及び図１３に示すように、１〜３の拘束条件をすべて満たす、第１クラスに属するエッジの組み合わせの数をｋと、１〜３の拘束条件をすべて満たす組み合わせに係る第１クラスのエッジをＬ_ｐ及びＲ_ｐと、エッジＬ_ｐの中点を通りエッジＬ_ｉに平行な線とエッジＬ_ｐとの間の角度をθ_Ｌ（Ｌ_ｐ，Ｌ_ｉ）と、エッジＲ_ｐの中点を通りエッジＲ_ｊに平行な線とエッジＲ_ｐとの間の角度をθ_Ｒ（Ｒ_ｐ，Ｒ_ｊ）と、エッジＬ_ｐ及びＬ_ｉにそれぞれ平行な線がなす角度をφ_Ｌ（Ｌ_ｐ，Ｌ_ｉ）と、エッジＲ_ｐ及びＲ_ｊにそれぞれ平行な線がなす角度をφ_Ｒ（Ｒ_ｐ，Ｒ_ｊ）とし、下式（数５）により得られる値（ＬＯＣ（Ｌ_ｉ，Ｒ_ｊ）の値）が所定のしきい値よりも小さい場合にこれを満たす。

そして、前記１〜３の拘束条件をすべて満たすエッジの組み合わせ、又は、前記相対的な方位の拘束を満たすエッジの組み合わせが求まると、この組み合わせに係るエッジＬ_ｉ，Ｒ_ｊが対応関係にあると判断する。図９では、符号Ｌ２１とＲ２１のエッジが、符号Ｌ２２とＲ２２のエッジが、符号Ｌ２３とＲ２３のエッジが、符号Ｌ２４とＲ２４のエッジが、符号Ｌ２５とＲ２５のエッジがそれぞれ対応関係にあると判断される。尚、第１クラスと同様、すべての組み合わせの中からこれらの条件を満足するものが求められる。

そして、最後に、第３クラスのエッジについて、第２クラスと同様にしてエッジの組み合わせ（一方の２次元濃淡画像で検出されたエッジＬ_ｉと、他方の２次元濃淡画像で検出されたエッジＲ_ｊとの組み合わせ）を求める（ステップＳ２５）。尚、この第３クラスにおいて、前記相対的な方位の拘束は、１〜３の拘束条件の１つ以上を満たさない組み合わせに係るエッジと、第１クラス及び第２クラスのエッジであって１〜３の拘束条件をすべて満たす組み合わせ（第２クラスについては、１〜３の拘束条件のいずれか１つを満たさなくても、前記相対的な方位の拘束を満たす組み合わせが含まれる）に係るエッジとの間における相対的な方位の拘束となる。

そして、前記１〜３の拘束条件をすべて満たすエッジの組み合わせ、又は、前記相対的な方位の拘束を満たすエッジの組み合わせが求まると、この組み合わせに係るエッジＬ_ｉ，Ｒ_ｊが対応関係にあると判断する。図９では、符号Ｌ３１とＲ３１のエッジが対応関係にあると判断される。尚、第１クラス及び第２クラスと同様、すべての組み合わせの中からこれらの条件を満足するものが求められる。

このようにして、一方の２次元濃淡画像で検出されたエッジＬ_ｉと、他方の２次元濃淡画像で検出されたエッジＲ_ｊとの対応関係を認識する（各２次元濃淡画像間におけるエッジの対応関係が求まる）と、カメラパラメータ記憶部１６に格納された内部パラメータを読み出すとともに、第１ＣＣＤカメラ１３の光軸と第２ＣＣＤカメラ１４の光軸との間の距離を前記光軸間距離記憶部（図示せず）から読み出した後（ステップＳ２６）、対応関係があると判断したエッジ、読み出した内部パラメータ及び光軸間の距離を基に、三角測量の原理により３次元空間内におけるワークＷのエッジ部分の位置情報を算出して、算出した位置情報を基にワークＷの形状特徴を認識し、認識したワークＷの形状特徴をオブジェクト認識部２０に送信して（ステップＳ２７）、上記一連の処理を終了する。

尚、ここで、三角測量の原理を用いた３次元空間内における位置情報（座標位置）を算出する手法について簡単に説明する。図１４に示すように、空間中のある点Ｐ（Ｘ，Ｙ，Ｚ）が、各ＣＣＤカメラ１３，１４の撮像面１３ａ，１４ａ上の点Ｐ_Ｌ（Ｘ_Ｌ，Ｙ_Ｌ）及びＰ_Ｒ（Ｘ_Ｒ，Ｙ_Ｒ）に投影されたとき、各ＣＣＤカメラ１３，１４の焦点距離をｆと、各ＣＣＤカメラ１３，１４の光軸１３ｂ，１４ｂ間の距離をＢとすると、前記点Ｐ（Ｘ，Ｙ，Ｚ）は以下のように表され、これにより、各ＣＣＤカメラ１３，１４を基準にした点Ｐの位置を算出することができる。

図示例では、各ＣＣＤカメラ１３，１４の光軸１３ｂ，１４ｂと撮像面１３ａ，１４ａとの交点を撮像面１３ａ，１４ａ上における座標系の原点とし、第１ＣＣＤカメラ１３の焦点をＸ，Ｙ，Ｚ座標系の原点とした。また、撮像面１３ａ，１４ａ上における座標系は、Ｘ軸及びＹ軸と平行とした。

前記第１モデルデータ記憶部１９には、テーブル４０（載置部４０ａ）に載置，固定されるワークＷの３次元モデルに関するデータであり、このワークＷの形状を定義する形状データを少なくとも含んだモデルデータが格納される。尚、この第１モデルデータ記憶部１９には、１種類のワークＷについてのみモデルデータを格納するようにしても、テーブル４０に載置，固定される複数のワークＷについてモデルデータを格納するようにしても良い。

前記オブジェクト認識部２０は、図１５に示すような一連の処理を行い、前記形状特徴認識部１８によって認識されたワークＷの形状特徴、及び前記第１モデルデータ記憶部１９に格納されたワークＷのモデルデータを基に、この形状特徴を備えたワークＷのモデルデータを認識する。

即ち、オブジェクト認識部２０は、形状特徴認識部１８から送信されるワークＷ（テーブル４０に載置，固定されたワークＷ）の形状特徴を受信し（ステップＳ３１）、次に、第１モデルデータ記憶部１９に格納されたワークＷのモデルデータを読み出して、読み出したモデルデータを基に、モデルデータに係るワークＷの形状特徴（例えば、エッジに関するデータ）を抽出する（ステップＳ３２）。

この後、マッチング処理を行い、抽出した形状特徴と受信した形状特徴とを比較して、これらが一致しているか否かを確認する（ステップＳ３３）。具体的には、５つの拘束条件をすべて満たす場合に、抽出した形状特徴と受信した形状特徴とが一致すると判断する。１つ目は、エッジの長さ、２つ目はエッジの接続関係、３つ目はエッジの角度関係、４つ目はエッジの距離関係、５つ目はエッジの共通平面関係に関する拘束である。

そして、一致していると判断したときには（ステップＳ３４）、前記抽出した形状特徴を備えたモデルデータを認識した後（ステップＳ３５）、ステップＳ３６に進み、一致していないと判断したときには（ステップＳ３４）、ステップＳ３６に進む。

ステップＳ３６では、第１モデルデータ記憶部１９に格納されたすべてのワークＷのモデルデータについてマッチング処理を行ったかどうかを確認し、行っていないと判断したときには、ステップＳ３２以降の処理を繰り返す。一方、行ったと判断したときには、ステップＳ３１で受信したワークＷの形状特徴、ステップＳ３５で認識したモデルデータを前記モデルデータ生成部２２に送信して（ステップＳ３７）、上記一連の処理を終了する。このようにして、第１モデルデータ記憶部１９に格納されたワークＷのモデルデータの中から、形状特徴認識部１８によって認識された形状特徴と一致する形状特徴を備えたワークＷのモデルデータを認識する。

前記第２モデルデータ記憶部２１は、工作機械３０の３次元モデルに関するデータであり、この工作機械３０の形状を定義する形状データを少なくとも含んだモデルデータが格納される。尚、この工作機械３０のモデルデータは、例えば、ベッド３１，第１サドル３６，第２サドル３７，主軸頭３８，主軸３９（工具Ｔを含む）及びテーブル４０といった工作機械３０の構成要素に係るモデルデータがそれぞれ相互に関連付けられて構成される。また、工作機械３０のモデルデータは、その座標系が実際の工作機械３０と同じになるように設定されている。

前記モデルデータ生成部２２は、図１６に示すような一連の処理を行い、前記カメラパラメータ記憶部１６に格納された各ＣＣＤカメラ１３，１４の外部パラメータ（ＣＣＤカメラ１３，１４の位置や姿勢を示すパラメータ）、形状特徴認識部１８によって認識されたワークＷの形状特徴、オブジェクト認識部２０によって認識されたワークＷのモデルデータ、第２モデルデータ記憶部２１に格納された工作機械３０のモデルデータを基に、ワークＷを含む工作機械３０全体の３次元モデルデータ（本例では、工作機械３０のカバーや扉などを除き、工作機械３０の主要な構成要素とワークＷとを含む３次元モデルデータ）を生成する。

即ち、モデルデータ生成部２２は、まず、オブジェクト認識部２０から送信されるワークＷのモデルデータ及びワークＷの形状特徴を受信し（ステップＳ４１）、図１７に示すように、ワークＷのモデルデータ２２ａについてはＸｍ，Ｙｍ，Ｚｍ座標系で認識するとともに、ワークＷの形状特徴２２ｂについてはＸｓ，Ｙｓ，Ｚｓ座標系で認識する（ステップＳ４２）。

ついで、ワークＷのモデルデータ２２ａ及びワークＷの形状特徴２２ｂについてそれぞれ中心点（基準点）を算出し、これを原点とする（ステップＳ４３）。この後、ワークＷのモデルデータ２２ａ及びワークＷの形状特徴２２ｂを基に、これらによって特定される形状の互いに対応する部分間の距離が最小となるとき、即ち、これらによって特定される形状の互いに対応する部分が重なるように回転移動させたときの、回転角度を表す回転行列の各成分を算出する（ステップＳ４４）（図１７参照）。尚、前記距離を最小とするに当たっては、最小二乗法を用いて最小値を求めることができる。

次に、前記ワークＷのモデルデータ２２ａの中心点とワークＷの形状特徴２２ｂの中心点との差を基に平行移動行列の各成分を算出する、即ち、ワークＷのモデルデータ２２ａ及びワークＷの形状特徴２２ｂによって特定される形状の互いに対応する部分が重なるように平行移動させたときの、平行移動量を表す平行移動行列の各成分を算出する（ステップＳ４５）。

そして、カメラパラメータ記憶部１６に格納された各ＣＣＤカメラ１３，１４の外部パラメータを読み出し（ステップＳ４６）、ステップＳ４４で算出した回転行列の各成分及びステップＳ４６で読み出した外部パラメータを基に、ワーク３次元モデルの、工作機械３次元モデル上における姿勢（工作機械３０の座標系における姿勢）を算出するとともに、ステップＳ４５で算出した平行移動行列の各成分及びステップＳ４６で読み出した外部パラメータを基に、ワーク３次元モデルの、工作機械３次元モデル上における位置（工作機械３０の座標系における位置）を算出する（ステップＳ４７）。

この後、第２モデルデータ記憶部２１に格納された工作機械３０のモデルデータを読み出し（ステップＳ４８）、読み出した工作機械３０のモデルデータ、ステップＳ４１で受信したワークＷのモデルデータ、及びステップＳ４７で算出した、ワーク３次元モデルの姿勢及び位置を基に、工作機械３０のモデルデータとワークＷのモデルデータとを組み合わせて、ワークＷを含む工作機械３０全体の３次元モデルデータを生成し、生成した３次元モデルデータを前記第３モデルデータ記憶部２３に格納して（ステップＳ４９）、上記一連の処理を終了する。

以上のように構成された本例の３次元モデルデータ生成装置１によれば、カメラパラメータ記憶部１６に各ＣＣＤカメラ１３，１４の内部パラメータ及び外部パラメータが、第１モデルデータ記憶部１９にワークＷのモデルデータが、第２モデルデータ記憶部２１に工作機械３０のモデルデータが予め格納される。

そして、各ＣＣＤカメラ１３，１４によりテーブル４０上のワークＷが撮像されると、テーブル４０を一部含んだワークＷの２次元濃淡画像データが生成され、画像データ記憶部１５に格納される。

ついで、エッジ検出部１７により、画像データ記憶部１５に格納された各２次元濃淡画像データ、及びカメラパラメータ記憶部１６に格納された各ＣＣＤカメラ１３，１４の内部パラメータを基に各２次元濃淡画像のそれぞれについてワークＷ部分のエッジが検出され、形状特徴認識部１８により、エッジ検出部１７によって検出されたワークＷ部分のエッジを基にワークＷの形状特徴が認識される。

この後、オブジェクト認識部２０により、形状特徴認識部１８によって認識されたワークＷの形状特徴、及び第１モデルデータ記憶部１９に格納されたワークＷのモデルデータを基に、この形状特徴を備えたワークＷのモデルデータが認識される。

次に、モデルデータ生成部２２により、カメラパラメータ記憶部１６に格納された各ＣＣＤカメラ１３，１４の外部パラメータ、形状特徴認識部１８によって認識されたワークＷの形状特徴、オブジェクト認識部２０によって認識されたワークＷのモデルデータ、第２モデルデータ記憶部２１に格納された工作機械３０のモデルデータを基に、ワークＷを含む工作機械３０全体の３次元モデルデータが生成され、生成された３次元モデルデータが第３モデルデータ記憶部２３に格納される。

このように、本例の３次元モデルデータ生成装置１によれば、ＣＣＤカメラ１３，１４から得られる２次元濃淡画像データを基に、テーブル４０上に固定されたワークＷを含む工作機械３０全体の３次元モデルデータを生成しているので、ワークＷの形状，取付位置及び取付姿勢が実際の状態に合った正確な３次元モデルデータを容易且つ効率的に生成することができる。また、工作機械３０の実際の状態に即した３次元モデルデータを用いて干渉シミュレーションを行うことが可能となり、高精度なシミュレーション結果を得ることができる。

以上、本発明の一実施形態について説明したが、本発明の採り得る具体的な態様は、何らこれに限定されるものではない。

上例では、テーブル４０上のワークＷを含む工作機械３０全体の３次元モデルデータを生成するようにしたが、これに限られるものではない。通常、ワークＷをテーブル４０に固定するにはワーク取付具が使用されるため、このワーク取付具及びこれによって固定されたワークＷを含む工作機械３０全体の３次元モデルデータを生成するようにしても良い。この場合、例えば、テーブル４０上にワークＷを載置してＣＣＤカメラ１３，１４により撮像し、上述のようにして、まず、ワークＷを含む工作機械３０全体の３次元モデルデータを生成する。次に、テーブル４０上にワーク取付具を設けてワーク取付具及びワークＷをＣＣＤカメラ１３，１４により撮像し、エッジ検出部１７によりワーク取付具部分のエッジを検出し、形状特徴認識部１８によりワーク取付具の形状特徴を認識し、オブジェクト認識部２０によりワーク取付具の３次元モデルデータを特定し、モデルデータ生成部２２によりワーク取付具及びワークＷを含む工作機械３０全体の３次元モデルデータを生成する。また、これとは逆に、まず、テーブル４０上にワーク取付具を設けてワーク取付具をＣＣＤカメラ１３，１４により撮像し、モデルデータ生成部２２によりワーク取付具を含む工作機械３０全体の３次元モデルデータを生成した後、テーブル４０上にワークＷを設けてワーク取付具及びワークＷをＣＣＤカメラ１３，１４により撮像し、モデルデータ生成部２２によりワーク取付具及びワークＷを含む工作機械３０全体の３次元モデルデータを生成しても良い。尚、第１モデルデータ記憶部１９には、ワークＷのモデルデータに加えてワーク取付具のモデルデータも格納される。

また、この他、第１モデルデータ記憶部１９に、ワークＷ及びワーク取付具が一体的に構成されたモデルデータを格納し、テーブル４０上のワークＷ及びワーク取付具をＣＣＤカメラ１３，１４により撮像し、エッジ検出部１７により前記ワークＷ及びワーク取付具のエッジを検出し、形状特徴認識部１８により前記ワークＷ及びワーク取付具の形状特徴を認識し、オブジェクト認識部２０により前記ワークＷ及びワーク取付具の３次元モデルデータを特定し、モデルデータ生成部２２により前記ワークＷ及びワーク取付具を含む工作機械３０全体の３次元モデルデータを生成するようにしても良い。

また、第１モデルデータ記憶部１９に格納されたワークＷのモデルデータの中から、ＣＣＤカメラ１３，１４によって撮像されたワークＷのモデルデータを特定するに当たっては、テーブル４０の載置部４０ａをＣ軸方向に回転させてワークＷを複数の視点から撮像し、各視点におけるワークＷの形状特徴をそれぞれ認識して、これらの形状特徴をすべて備えたワークＷのモデルデータを特定するようにすれば、より精度良くワークＷのモデルデータを特定することができる。

また、ＣＣＤカメラ１３，１４は、必ずしも２台設ける必要はない。１台のＣＣＤカメラ１３，１４を用いる場合には、前記第１ＣＣＤカメラ１３の配置位置に相当する位置と、前記第２ＣＣＤカメラ１４の配置位置に相当する位置とにおいてワークＷを撮像するようにすれば、異なる２視点での２次元濃淡画像を得ることができる。

また、形状特徴認識部１８が各２次元濃淡画像間におけるエッジの対応関係を求めたり、オブジェクト認識部２０が、第１モデルデータ記憶部１９に格納されたワークＷのモデルデータの中から、形状特徴認識部１８によって認識された形状特徴と一致する形状特徴を備えたワークＷのモデルデータを特定するに当たっては、上記以外の拘束条件のみを用いたり、上記以外の拘束条件を追加的に用いたり、上記拘束条件の一部を省略するようにしても良い。

また、前記３次元モデルデータ生成装置１が設けられる工作機械３０は、何ら限定されるものではなく、どのような工作機械３０であっても良い。例えば、上例のような立形マシニングセンタではなく、旋盤などに設けるようにしても良い。

また、ＣＣＤカメラ１３，１４が２次元濃淡画像データを出力するのではなく、２次元のカラー画像を出力するように構成し、この２次元カラー画像を基にワークＷのエッジを検出したり、ワークＷの形状特徴を認識するように構成しても良い。

また、上例では、第１ＣＣＤカメラ１３及び第２ＣＣＤカメラ１４を、これらの光軸が平行となるように配置したが、これに限られるものではなく、光軸が平行となる状態から所定角度傾いた状態に配置しても良い。例えば、図１８に示すように、第２ＣＣＤカメラ１４を、その光軸１４ｂ’が第１ＣＣＤカメラ１３の光軸と平行となる状態からαの角度だけ傾いた状態で配置した場合を考え、このとき、空間中のある点Ｐ（Ｘ，Ｙ，Ｚ）が、第２ＣＣＤカメラ１４の撮像面１４ａ’上の点Ｐ_Ｒ’（Ｘ_Ｒ’，Ｙ_Ｒ’）に投影されたとすると、下式により、第２ＣＣＤカメラ１４の光軸１４ｂが第１ＣＣＤカメラ１３の光軸と平行であるときに撮像面１４ａ上に投影されるべき点Ｐ_Ｒ（Ｘ_Ｒ，Ｙ_Ｒ）を算出することができる。このように、下式を用いて、第２ＣＣＤカメラ１４の光軸１４ｂ’が第１ＣＣＤカメラ１３の光軸と平行でないときに撮像面１４ａ’上に投影される点を補正し、第２ＣＣＤカメラ１４の光軸１４ｂが第１ＣＣＤカメラ１３の光軸と平行であるときに撮像面１４ａ上に投影されるべき点の座標値を算出するようにしても、上述した数６〜数８の式により点Ｐ（Ｘ，Ｙ，Ｚ）を求めることができる。尚、符号ｆは焦点距離であり、符号Ｂは焦点での、各ＣＣＤカメラ１３，１４の光軸１３ｂ，１４ｂ間の距離である。

以上詳述したように、本発明は、工作機械に取り付けられた被取付物及び少なくとも工作機械の一部を含む３次元モデルデータを生成する３次元モデルデータ生成方法及び生成装置に好適に適用することができる。

Claims

工作機械に取り付けられた被取付物及び少なくとも工作機械の一部を含む３次元モデルデータを生成する方法であって、
前記少なくとも工作機械の一部及び前記工作機械に取り付けられる被取付物の３次元モデルに関するデータであり、これらの形状を定義する形状データを少なくとも含んだモデルデータをそれぞれ記憶手段に格納する第１工程と、
撮像手段を用いて、前記工作機械に取り付けられた被取付物を、第１視点及びこれと離れた第２視点の２つの視点から撮像し、各視点における２次元画像データを生成する第２工程と、
前記第２工程で生成した２つの２次元画像データを基に前記被取付物の形状特徴を認識する第３工程と、
前記第３工程で認識した形状特徴及び前記記憶手段に格納した被取付物のモデルデータを基に、この形状特徴を備えた被取付物のモデルデータを認識する第４工程と、
前記第３工程及び第４工程でそれぞれ認識した形状特徴及びモデルデータを基に、前記被取付物３次元モデルの、前記工作機械３次元モデル上における位置及び姿勢を算出した後、算出した位置及び姿勢、前記第４工程で認識したモデルデータ、並びに前記記憶手段に格納した前記少なくとも工作機械の一部に係るモデルデータを基に、前記被取付物と少なくとも工作機械の一部とを含む３次元モデルデータを生成する第５工程とを順次行うようにしたことを特徴とする３次元モデルデータ生成方法。
工作機械に取り付けられた被取付物及び少なくとも工作機械の一部を含む３次元モデルデータを生成する装置であって、
前記工作機械に取り付けられた被取付物を撮像して２次元画像データを生成する第１撮像手段と、
前記第１撮像手段と間隔を隔てて配置され、前記工作機械に取り付けられた被取付物を撮像して２次元画像データを生成する第２撮像手段と、
前記工作機械に取り付けられる被取付物の３次元モデルに関するデータであり、この被取付物の形状を定義する形状データを少なくとも含んだモデルデータを記憶する第１モデルデータ記憶手段と、
前記少なくとも工作機械の一部に係る３次元モデルに関するデータであり、少なくとも工作機械の一部に係る形状を定義する形状データを少なくとも含んだモデルデータを記憶する第２モデルデータ記憶手段と、
前記第１撮像手段及び第２撮像手段によってそれぞれ生成された２次元画像データを基に前記被取付物の形状特徴を認識する画像処理手段と、
前記第１モデルデータ記憶手段に格納されたモデルデータ、及び前記画像処理手段によって認識された形状特徴を基に、この形状特徴を備えた被取付物のモデルデータを認識するオブジェクト認識手段と、
前記オブジェクト認識手段によって認識されたモデルデータ、及び前記画像処理手段によって認識された形状特徴を基に、前記被取付物３次元モデルの、前記工作機械３次元モデル上における位置及び姿勢を算出した後、算出した位置及び姿勢、前記オブジェクト認識手段によって認識されたモデルデータ、並びに前記第２モデルデータ記憶手段に格納されたモデルデータを基に、前記被取付物と少なくとも工作機械の一部とを含む３次元モデルデータを生成するモデルデータ生成手段とを備えてなることを特徴とする３次元モデルデータ生成装置。
前記第２撮像手段は、その光軸が前記第１撮像手段の光軸と平行となるように且つ前記第１撮像手段の光軸と直交する方向にこの第１撮像手段と間隔を隔てて配置されてなることを特徴とする請求項２記載の３次元モデルデータ生成装置。
前記画像処理手段は、
前記第１撮像手段及び第２撮像手段によってそれぞれ生成された２次元画像データを基に前記被取付物のコーナを抽出して、抽出したコーナ間を結ぶエッジを検出することにより、前記各２次元画像における前記被取付物のエッジをそれぞれ検出するエッジ検出手段と、
前記エッジ検出手段によって検出された各２次元画像におけるエッジを基にこの２次元画像間におけるエッジの対応関係を求め、対応関係があると判断したエッジを基に被取付物の形状特徴を認識する形状特徴認識手段とから構成されてなることを特徴とする請求項２記載の３次元モデルデータ生成装置。
前記オブジェクト認識手段は、前記第１モデルデータ記憶手段に格納されたモデルデータを基にモデルデータに係る被取付物の形状特徴を抽出して、抽出した形状特徴と前記画像処理手段によって認識された形状特徴とが一致しているか否かを確認することにより、前記第１モデルデータ記憶手段に格納されたモデルデータの中から、前記画像処理手段によって認識された形状特徴と一致する形状特徴を備えた被取付物のモデルデータを認識するように構成されてなることを特徴とする請求項２記載の３次元モデルデータ生成装置。
前記モデルデータ生成手段は、前記画像処理手段によって認識された被取付物の形状特徴、及び前記オブジェクト認識手段によって認識された被取付物のモデルデータを基に、これらによって特定される形状の互いに対応する部分が重なるように回転移動及び平行移動させたときの、回転角度を表す行列及び平行移動量を表す行列の各成分を算出して、算出した各行列の成分を基に、前記被取付物３次元モデルの、前記工作機械３次元モデル上における姿勢及び位置を算出するように構成されてなることを特徴とする請求項２記載の３次元モデルデータ生成装置。