特許文献1に記載の方法を、表面に凹凸のある鋳物などの工作物に適用しようとした場合、凹凸のある表面から測定された特徴点同士を結ぶ直線から推定される工作物の姿勢と実際の工作物の姿勢との間の姿勢ずれによって、工作物の一部において削り代以上の取り付け誤差が生じてしまう恐れがある。さらに、工作物が大型である場合は、推定される工作物の姿勢と実際の工作物との間の姿勢ズレが大きくなるため、削り代以上の取り付け誤差が生じる可能性が高くなる。このため、特許文献1に記載の方法では不十分で、同一の加工を要する工作物を複数加工する場合には、工作物ごとに計測用接触プローブにより工作物の姿勢を求めて補正を行うとともに、工作物ごとに上記姿勢ズレがないかを確認し、必要に応じて再度計測用接触プローブにより工作物の姿勢を求めたり、補正量を調整したりしなければならない。このため、より効率的な工作物の姿勢の調整方法が求められている。
本願に開示される技術の課題は、複数の工作物の姿勢を効率的に調整できる加工装置のためのワークの据え付け方法、ワーク据え付け支援システム、及び、ワーク据え付け支援プログラムを提供することにある。
本開示の第1態様に係る加工装置のためのワークの据え付け方法は、基準ワークを載置台に載置し、基準ワークの姿勢がワーク基準姿勢となるように、基準ワークの姿勢を載置台上で調整し、載置台を撮影するカメラの視点位置及び視線方向が、それぞれ、基準視点位置及び基準視線方向となる目標コンフィギュレーションにカメラを設定し、目標コンフィギュレーションに設定されたカメラによって撮影された、姿勢が調整された基準ワークを表示する基準画像を取得し、基準画像において基準ワークが占める第1画像領域の境界に複数のワーク基準線を設定し、複数のワーク基準線がそれぞれ位置する基準画像内の複数の位置を、複数のワーク基準線位置としてメモリに記憶し、基準ワークの形状およびサイズと実質的に同じ形状およびサイズを有するワークを、基準ワークを取り外した載置台と、載置台と入れ替えて配置された、載置台と異なる追加載置台のうちの一方の台の上に載置し、目標コンフィギュレーションに設定されたカメラによって撮影された、ワークを表示する計測画像を取得し、プロセッサによって、複数のワーク基準線を計測画像に重畳した計測合成画像を、複数のワーク基準線が計測合成画像において複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、計測合成画像においてワークが占める第2画像領域の境界と、複数のワーク基準線とが、実質的に平行になる、または、実質的に一致するように、一方の台の上においてワークの姿勢を調整する。
本開示の第2態様によれば、第1態様によるワークの据え付け方法では、載置台及び追加載置台は、加工装置によってワークが加工される加工位置、及び、加工位置から離間した段取位置に移動可能である。カメラは、段取位置に移動した一方の台の上に載置された基準ワーク及びワークのいずれかを撮影する。ワークの姿勢は、段取位置に移動した、載置台または追加載置台上で調整される。
本開示の第3態様によれば、第2態様によるワークの据え付け方法では、ワーク基準姿勢となるように姿勢が調整された基準ワークが載置された載置台が加工位置に移動したとき、基準ワークの形状の複数の特徴点である複数の基準特徴点の全ての位置は予め定められた許容範囲内に存在する。
本開示の第4態様によれば、第3態様によるワークの据え付け方法は、姿勢が調整されたワークが載置された一方の台を加工位置に移動し、複数の基準特徴点にそれぞれ対応する、ワークの実質的に同じ形状の複数の特徴点である、複数の加工基準点の位置を加工装置の位置計測センサによって測定し、加工装置によって、複数の加工基準点の位置が、それぞれ、許容範囲内に存在するかを判定する、ことをさらに含む。
本開示の第5態様によれば、第4態様によるワークの据え付け方法は、複数の加工基準点の全ての位置が許容範囲内に存在すると判定したとき、加工装置によって加工許可とする判定結果を出力してワークを加工し、複数の加工基準点のうちの少なくとも1つの位置が許容範囲内に存在しないと判定したとき、加工不許可とする判定結果を出力し、加工位置に移動した、ワークが載置された一方の台を段取位置に移動する、ことをさらに含む。
本開示の第6態様によれば、第1態様から第5態様のいずれかによるワークの据え付け方法では、基準ワークの姿勢及びワークの姿勢は、加工装置が加工プログラムを実行するために設定する座標系の座標軸周りの回転角、または、載置台の旋回中心軸によって規定される。
本開示の第7態様によれば、第1態様から第6態様のいずれかによるワークの据え付け方法では、ワーク基準線は、プロセッサによる画像処理によって求められた、第1画像領域の境界のエッジである。
本開示の第8態様によれば、第1態様から第7態様のいずれかによるワークの据え付け方法では、ワーク基準線は直線または円である。
本開示の第9態様によれば、第1態様から第8態様のいずれかによるワークの据え付け方法は、基準画像の背景において静止物体が占める第3画像領域の境界に複数のカメラ設定基準線を設定することをさらに含む。当該ワークの据え付け方法では、複数のカメラ設定基準線がそれぞれ位置する基準画像内の複数の位置が、複数のカメラ設定基準線位置としてメモリにさらに記憶され、プロセッサによって、複数のカメラ設定基準線を計測画像に重畳した計測合成画像が、複数のカメラ設定基準線が計測合成画像において複数のカメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成される。計測合成画像において静止物体が占める第4画像領域の境界が複数のカメラ設定基準線と重なるように、カメラの視点位置及び視線方向が調整されることによって、目標コンフィギュレーションにカメラが設定される。
本開示の第10態様によれば、第9態様によるワークの据え付け方法では、カメラ設定基準線は、プロセッサによる画像処理によって求められた、第3画像領域の境界のエッジである。本開示の第11態様によれば、第9態様または第10態様によるワークの据え付け方法では、カメラ設定基準線は直線である。
本開示の第12態様によれば、第1態様から第11態様のいずれかによるワークの据え付け方法は、載置台を撮影する第1追加カメラの視点位置並びに視線方向が、それぞれ、基準視点位置とは異なる第1追加基準位置並びに基準視線方向と非平行な第1追加基準視線方向となる第1追加目標コンフィギュレーションに第1追加カメラを設定し、載置台を撮影する第2追加カメラの視点位置並びに視線方向が、それぞれ、基準視点位置及び第1追加基準位置とは異なる第2追加基準位置、並びに、基準視線方向及び第1追加基準視線方向と非平行な第2追加基準視線方向となる第2追加目標コンフィギュレーションに第2追加カメラを設定し、第1追加目標コンフィギュレーションに設定された第1追加カメラによって撮影された、姿勢が調整された基準ワークを表示する第1追加基準画像を取得し、第2追加目標コンフィギュレーションに設定された第2追加カメラによって撮影された、姿勢が調整された基準ワークを表示する第2追加基準画像を取得し、第1追加基準画像において基準ワークが占める第5画像領域の境界に複数の第1追加ワーク基準線を設定し、第2追加基準画像において基準ワークが占める第6画像領域の境界に複数の第2追加ワーク基準線を設定し、複数の第1追加ワーク基準線がそれぞれ位置する第1追加基準画像内の複数の位置を、複数の第1追加ワーク基準線位置としてメモリに記憶し、複数の第2追加ワーク基準線がそれぞれ位置する第2追加基準画像内の複数の位置を、複数の第2追加ワーク基準線位置としてメモリに記憶し、第1追加目標コンフィギュレーションに設定された第1追加カメラによって撮影された、ワークを表示する第1追加計測画像を取得し、第2追加目標コンフィギュレーションに設定された第2追加カメラによって撮影された、ワークを表示する第2追加計測画像を取得し、プロセッサによって、複数の第1追加ワーク基準線を第1追加計測画像に重畳した第1追加計測合成画像を、複数の第1追加ワーク基準線が第1追加計測合成画像において複数の第1追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、プロセッサによって、複数の第2追加ワーク基準線を第2追加計測画像に重畳した第2追加計測合成画像を、複数の第2追加ワーク基準線が第2追加計測合成画像において複数の第2追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、第1追加計測合成画像においてワークが占める第7画像領域の境界と、複数の第1追加ワーク基準線とが実質的に平行になる、または、実質的に一致するように、一方の台上においてワークの姿勢を調整し、第2追加計測合成画像においてワークが占める第8画像領域の境界と、複数の第2追加ワーク基準線とが実質的に平行になる、または、実質的に一致するように、一方の台上においてワークの姿勢を調整する、ことをさらに含む。本開示の第13態様によれば、第12態様によるワークの据え付け方法では、基準視線方向、第1追加基準視線方向、及び、第2追加基準視線方向のうちの2つの視線方向が互いに実質的に垂直であって、2つの視線方向の両方に対して平行な平面と2つの視線方向以外の残りの視線方向との成す角は、45度よりも大きい。
本開示の第14態様によれば、第5態様によるワークの据え付け方法は、計測画像と複数のワーク基準線とを入力とし、判定結果、複数の加工基準点がそれぞれ許容範囲内に存在するか否かを判定した結果、及び、複数の加工基準点とそれぞれの許容範囲の中心値とのずれ量の少なくとも1つを出力とする教師データを用いて学習した機械学習モデルを用い、目標コンフィギュレーションに設定されたカメラによって撮影された、基準ワークの形状およびサイズと実質的に同じ形状およびサイズを有する第1追加ワークを表示する第3追加計測画像から、第1追加ワークが載置された一方の台が加工位置に移動されたときに、複数の基準特徴点にそれぞれ対応する、第1追加ワークの実質的に同じ形状の複数の特徴点である、複数の第1追加加工基準点の全ての位置が許容範囲内に存在するか否かを判定する、ことをさらに含む。本開示の第15態様によれば、第14態様によるワークの据え付け方法では、計測画像から検出されるエッジ、複数のワーク基準線位置の画像中心からのずれ量、カメラのレンズの焦点距離、カメラの歪曲収差パラメータの少なくとも1つをさらに入力とする教師データを用いて機械学習モデルが学習される。
本開示の第16態様によれば、第1態様から第15態様のいずれかによるワークの据え付け方法は、基準ワークを取り外した載置台と、載置台と入れ替えて配置された追加載置台のうちの他方の台に基準ワークの形状およびサイズと実質的に同じ形状およびサイズを有する第2追加ワークを載置し、目標コンフィギュレーションに設定されたカメラによって撮影された、第2追加ワークを表示する第4追加計測画像を取得し、プロセッサによって、複数のワーク基準線を第4追加計測画像に重畳した第4追加計測合成画像を、複数のワーク基準線が第4追加計測合成画像において複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、第4追加計測合成画像において第2追加ワークが占める第9画像領域の境界と、複数のワーク基準線とが、実質的に平行になる、または、実質的に一致するように、他方の台上において第2追加ワークの姿勢を調整する。
本開示の第17態様に係るワーク据え付け支援システムは、載置台と、カメラと、入力装置と、メモリと、プロセッサと、ディスプレイと、を備える。載置台は、基準ワークの形状およびサイズと実質的に同じ形状およびサイズを有するワークの姿勢と基準ワークの姿勢とを調整するために、基準ワークまたはワークを択一的に載置するよう構成される。カメラは、載置台上の基準ワーク及びワークを撮影するように構成される。入力装置を介して、カメラで撮影された、基準ワークの姿勢がワーク基準姿勢になるように調整された基準ワークを表示する基準画像において基準ワークが占める第1画像領域の境界に複数のワーク基準線が設定される。メモリは、複数のワーク基準線がそれぞれ位置する基準画像内の複数の位置を、複数のワーク基準線位置として記憶するように構成される。プロセッサは、載置台上でワークの姿勢が調整される際にカメラで撮影されたワークを表示する計測画像に複数のワーク基準線を重畳した計測合成画像を、複数のワーク基準線が計測合成画像において複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。ディスプレイは、計測画像が撮影される際に計測合成画像を表示するように構成される。
本開示の第18態様によれば、第17態様によるワーク据え付け支援システムは、基準画像を撮影する際に、カメラの視点位置及び視線方向が、それぞれ、基準視点位置及び基準視線方向となる目標コンフィギュレーションにカメラが設定され、計測画像を撮影する際に、目標コンフィギュレーションにカメラが設定されるように構成される。
本開示の第19態様によれば、第18態様によるワーク据え付け支援システムは、加工装置と、追加載置台とをさらに備える。加工装置は、ワークを加工するように構成される。追加載置台は、基準ワークまたはワークを択一的に載置するよう構成される。載置台及び追加載置台は、加工装置によってワークが加工される加工位置、及び、加工位置から離間した段取位置に移動可能である。カメラは、段取位置に移動した、載置台と追加載置台とのうちの一方の台を撮影する。基準ワークの姿勢は、段取位置に移動した載置台上で調整される。ワークの姿勢は、段取位置に移動した、載置台または追加載置台上で調整される。
本開示の第20態様によれば、第19態様によるワーク据え付け支援システムでは、加工装置が、ワーク基準姿勢となるように姿勢が調整された基準ワークが載置された載置台が加工位置に移動したとき、基準ワークの形状の複数の特徴点である複数の基準特徴点の位置を計測するように構成された位置計測センサと、複数の基準特徴点の全ての位置が予め定められた許容範囲内に存在するかどうかを判定するように構成された電子回路とを含む。
本開示の第21態様によれば、第20態様によるワーク据え付け支援システムでは、姿勢が調整されたワークが載置された一方の台が加工位置に移動したとき、位置計測センサが、複数の基準特徴点にそれぞれ対応する、ワークの実質的に同じ形状の複数の特徴点である、複数の加工基準点の位置を測定するように構成され、電子回路が、複数の加工基準点の位置が、それぞれ、許容範囲内に存在するかを判定するように構成されている。
本開示の第22態様によれば、第21態様によるワーク据え付け支援システムでは、電子回路が、複数の加工基準点の全ての位置が許容範囲内に存在すると判定したとき、加工許可とする判定結果を出力して、加工装置にワークを加工させるように構成される。電子回路が、複数の加工基準点のうちの少なくとも1つの位置が許容範囲内に存在しないと判定したとき、加工不許可とする判定結果を出力して、加工装置に移動したワークが載置された一方の台を段取位置に移動させるように構成される。
本開示の第23態様によれば、第18態様から第22態様のいずれかによるワーク据え付け支援システムは、基準ワークの姿勢及びワークの姿勢が、加工装置が加工プログラムを実行するために設定する座標系の座標軸周りの回転角、または、載置台の旋回中心軸によって規定されるように構成される。
本開示の第24態様によれば、第18態様から第23態様のいずれかによるワーク据え付け支援システムは、ワーク基準線は、プロセッサによる画像処理によって求められた、第1画像領域の境界のエッジであるように構成される。本開示の第25態様によれば、第18態様から第24態様のいずれかによるワーク据え付け支援システムは、ワーク基準線は直線または円であるように構成される。
本開示の第26態様によれば、第18態様から第24態様のいずれかによるワーク据え付け支援システムは、基準画像の背景において静止物体が占める第3画像領域の境界に複数のカメラ設定基準線が入力装置を介して設定されるように構成される。メモリは、複数のカメラ設定基準線がそれぞれ位置する基準画像内の複数の位置を、複数のカメラ設定基準線位置としてさらに記憶するように構成される。プロセッサは、複数のカメラ設定基準線を計測画像に重畳した計測合成画像を、複数のカメラ設定基準線が計測合成画像において複数のカメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。計測合成画像において静止物体が占める第4画像領域の境界が複数のカメラ設定基準線と重なる。
本開示の第27態様によれば、第26態様によるワーク据え付け支援システムは、カメラ設定基準線が、プロセッサによる画像処理によって求められた、第3画像領域の境界のエッジであるように構成される。本開示の第28態様によれば、第26態様または第27態様によるワーク据え付け支援システムは、カメラ設定基準線は直線であるように構成される。
本開示の第29態様によれば、第18態様から第28態様のいずれかによるワーク据え付け支援システムは、第1追加カメラと、第2追加カメラとをさらに備える。第1追加カメラは、載置台上の基準ワーク及びワークを撮影するように構成される。第2追加カメラは、載置台上の基準ワーク及びワークを撮影するように構成される。第1追加カメラの視点位置並びに視線方向が、それぞれ、基準視点位置とは異なる第1追加基準位置並びに基準視線方向と非平行な第1追加基準視線方向となる第1追加目標コンフィギュレーションに、第1追加カメラが設定される。第2追加カメラの視点位置並びに視線方向が、それぞれ、基準視点位置及び第1追加基準位置とは異なる第2追加基準位置、並びに、基準視線方向及び第1追加基準視線方向と非平行な第2追加基準視線方向となる第2追加目標コンフィギュレーションに、第2追加カメラが設定される。第1追加カメラによって撮影された、基準ワークの姿勢がワーク基準姿勢になるように調整された基準ワークを表示する第1追加基準画像において基準ワークが占める第5画像領域の境界に、複数の第1追加ワーク基準線が入力装置を介して設定される。第2追加カメラによって撮影された、基準ワークの姿勢がワーク基準姿勢になるように調整された基準ワークを表示する第2追加基準画像において基準ワークが占める第6画像領域の境界に、複数の第2追加ワーク基準線が入力装置を介して設定される。メモリは、複数の第1追加ワーク基準線がそれぞれ位置する第1追加基準画像内の複数の位置を、複数の第1追加ワーク基準線位置として記憶するように構成される。メモリは、複数の第2追加ワーク基準線がそれぞれ位置する第2追加基準画像内の複数の位置を、複数の第2追加ワーク基準線位置として記憶するように構成される。プロセッサは、第1追加カメラによって撮影された、ワークを表示する第1追加計測画像に複数の第1追加ワーク基準線を重畳した第1追加計測合成画像を、複数の第1追加ワーク基準線が第1追加計測合成画像において複数の第1追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。プロセッサは、第2追加カメラによって撮影された、ワークを表示する第2追加計測画像に複数の第2追加ワーク基準線を重畳した第2追加計測合成画像を、複数の第2追加ワーク基準線が第2追加計測合成画像において複数の第2追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。ディスプレイは、第1追加計測画像が撮影される際に第1追加計測合成画像を表示するように構成され、第2追加計測画像が撮影される際に第2追加計測合成画像を表示するように構成される。本開示の第30態様によれば、第29態様によるワーク据え付け支援システムは、基準視線方向、第1追加基準視線方向、及び、第2追加基準視線方向のうちの2つの視線方向が互いに実質的に垂直であって、2つの視線方向の両方に対して平行な平面と2つの視線方向以外の残りの視線方向との成す角は、45度よりも大きいように構成される。
本開示の第31態様によれば、第22態様によるワーク据え付け支援システムでは、プロセッサが、計測画像と複数のワーク基準線とを入力とし、判定結果、複数の加工基準点がそれぞれ許容範囲内に存在するか否かを判定した結果、及び、複数の加工基準点とそれぞれの許容範囲の中心値とのずれ量の少なくとも1つを出力とする教師データを用いて学習した機械学習モデルを用い、目標コンフィギュレーションに設定されたカメラによって撮影された、基準ワークの形状およびサイズと実質的に同じ形状およびサイズを有する第1追加ワークを表示する第3追加計測画像から、第1追加ワークが載置された一方の台が加工位置に移動されたときに、複数の基準特徴点にそれぞれ対応する、第1追加ワークの実質的に同じ形状の複数の特徴点である、複数の第1追加加工基準点の全ての位置が許容範囲内に存在するか否かを判定するように構成される。本開示の第32態様によれば、第31態様によるワーク据え付け支援システムは、計測画像から検出されるエッジ、複数のワーク基準線位置の画像中心からのずれ量、カメラのレンズの焦点距離、カメラの歪曲収差パラメータの少なくとも1つをさらに入力とする教師データを用いて機械学習モデルが学習されるように構成される。
本開示の第33態様に係るワーク据え付け支援プログラムは、カメラの視点位置及び視線方向が、それぞれ、基準視点位置及び基準視線方向となる目標コンフィギュレーションに設定されたカメラによって撮影された、姿勢がワーク基準姿勢となるように調整された、載置台上の基準ワークを表示する基準画像を取得し、基準画像において基準ワークが占める第1画像領域の境界に複数のワーク基準線を設定し、複数のワーク基準線がそれぞれ位置する基準画像内の複数の位置を、複数のワーク基準線位置としてメモリに記憶させ、目標コンフィギュレーションに設定されたカメラによって撮影された、基準ワークを取り外した載置台と、載置台と入れ替えて配置された、載置台と異なる追加載置台のうちの一方の台の上に載置された、基準ワークの形状およびサイズと実質的に同じ形状およびサイズを有するワークを表示する計測画像を取得し、複数のワーク基準線を計測画像に重畳した計測合成画像を、複数のワーク基準線が計測合成画像において複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、計測合成画像をディスプレイに表示させる、処理をプロセッサに実行させる。
本開示の第34態様によれば、第33態様によるワーク据え付け支援プログラムでは、基準ワークの姿勢及びワークの姿勢は、加工装置が加工プログラムを実行するために設定する座標系の座標軸周りの回転角、または、載置台の旋回中心軸によって規定される。
本開示の第35態様によれば、第33態様または第34態様によるワーク据え付け支援プログラムは、画像処理によって求められた第1画像領域の境界のエッジを、ワーク基準線として検出する処理をプロセッサにさらに実行させる。本開示の第36態様によれば、第33態様から第35態様のいずれかによるワーク据え付け支援プログラムでは、ワーク基準線は直線または円である。
本開示の第36態様によれば、第33態様から第35態様のいずれかによるワーク据え付け支援プログラムは、基準画像の背景において静止物体が占める第3画像領域の境界に複数のカメラ設定基準線を設定し、複数のカメラ設定基準線がそれぞれ位置する基準画像内の複数の位置を、複数のカメラ設定基準線位置としてメモリにさらに記憶させ、複数のカメラ設定基準線を計測画像に重畳した計測合成画像を、複数のカメラ設定基準線が計測合成画像において複数のカメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する、処理をプロセッサにさらに実行させる。
本開示の第37態様によれば、第36態様によるワーク据え付け支援プログラムは、画像処理によって求められた第3画像領域の境界のエッジを、カメラ設定基準線として検出する処理をプロセッサにさらに実行させる。本開示の第38態様によれば、第35態様または第36態様によるワーク据え付け支援プログラムでは、カメラ設定基準線は直線である。
本開示の第39態様によれば、第33態様から第38態様によるワーク据え付け支援プログラムは、第1追加カメラの視点位置並びに視線方向が、それぞれ、基準視点位置とは異なる第1追加基準位置並びに基準視線方向と非平行な第1追加基準視線方向となる第1追加目標コンフィギュレーションに設定された第1追加カメラによって撮影された、姿勢が調整された基準ワークを表示する第1追加基準画像を取得し、第2追加カメラの視点位置並びに視線方向が、それぞれ、基準視点位置及び第1追加基準位置とは異なる第2追加基準位置、並びに、基準視線方向及び第1追加基準視線方向と非平行な第2追加基準視線方向となる第2追加目標コンフィギュレーションに設定された第2追加カメラによって撮影された、姿勢が調整された基準ワークを表示する第2追加基準画像を取得し、第1追加基準画像において基準ワークが占める第5画像領域の境界に複数の第1追加ワーク基準線を設定し、第2追加基準画像において基準ワークが占める第6画像領域の境界に複数の第2追加ワーク基準線を設定し、複数の第1追加ワーク基準線がそれぞれ位置する第1追加基準画像内の複数の位置を、複数の第1追加ワーク基準線位置としてメモリに記憶させ、複数の第2追加ワーク基準線がそれぞれ位置する第2追加基準画像内の複数の位置を、複数の第2追加ワーク基準線位置としてメモリに記憶させ、第1追加目標コンフィギュレーションに設定された第1追加カメラによって撮影された、ワークを表示する第1追加計測画像を取得し、第2追加目標コンフィギュレーションに設定された第2追加カメラによって撮影された、ワークを表示する第2追加計測画像を取得し、複数の第1追加ワーク基準線を第1追加計測画像に重畳した第1追加計測合成画像を、複数の第1追加ワーク基準線が第1追加計測合成画像において複数の第1追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、複数の第2追加ワーク基準線を第2追加計測画像に重畳した第2追加計測合成画像を、複数の第2追加ワーク基準線が第2追加計測合成画像において複数の第2追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、第1追加計測合成画像と第2追加計測合成画像とをディスプレイに表示させる、処理をプロセッサにさらに実行させる。本開示の第40態様によれば、第39態様によるワーク据え付け支援プログラムでは、基準視線方向、第1追加基準視線方向、及び、第2追加基準視線方向のうちの2つの視線方向が互いに実質的に垂直であって、2つの視線方向の両方に対して平行な平面と2つの視線方向以外の残りの視線方向との成す角は、45度よりも大きい。
本開示の第41態様によれば、第33態様によるワーク据え付け支援プログラムは、計測画像と複数のワーク基準線とを入力とし、複数の加工基準点の全ての位置が許容範囲内に存在するか否かを判定した判定結果、複数の加工基準点がそれぞれ許容範囲内に存在するか否かを判定した結果、及び、複数の加工基準点とそれぞれの許容範囲の中心値とのずれ量の少なくとも1つを出力とする教師データを用いて学習した機械学習モデルを用い、目標コンフィギュレーションに設定されたカメラによって撮影された、基準ワークの形状およびサイズと実質的に同じ形状およびサイズを有する第1追加ワークを表示する第3追加計測画像から、第1追加ワークが載置された一方の台が加工位置に移動されたときに、複数の基準特徴点にそれぞれ対応する、第1追加ワークの実質的に同じ形状の複数の特徴点である、複数の第1追加加工基準点の全ての位置が許容範囲内に存在するか否かを判定する、処理をプロセッサにさらに実行させる。本開示の第42態様によれば、第41態様によるワーク据え付け支援プログラムでは、計測画像から検出されるエッジ、複数のワーク基準線位置の画像中心からのずれ量、カメラのレンズの焦点距離、カメラの歪曲収差パラメータの少なくとも1つをさらに入力とする教師データを用いて機械学習モデルが学習される。
第1態様に係るワークの据え付け方法、第17態様に係るワーク据え付け支援システム、及び、第33態様に係るワーク据え付け支援プログラムでは、姿勢がワーク基準姿勢となるように調整された基準ワークの複数の基準線位置を参照して、ワークの姿勢を調整することができる。このため、複数の工作物の姿勢を効率的に調整できる。第1態様に係るワークの据え付け方法、第18態様に係るワーク据え付け支援システム、及び、第33態様に係るワーク据え付け支援プログラムでは、カメラのずれによる基準線位置のずれが生じないように、カメラが目標コンフィギュレーションに設定することが可能である。したがって、工作物の姿勢をさらに効率的に調整できる。
第2態様に係るワークの据え付け方法、及び、第19態様に係るワーク据え付け支援システムでは、加工位置においてワークを加工すると同時に、段取位置において別のワークの姿勢を調整することが可能となる。これによって、加工装置による加工中に、段取位置において次に加工するワークの姿勢を調整することで、加工装置の加工停止時間が短くなるよう複数の工作物の姿勢を効率的に調整できる。
第3態様に係るワークの据え付け方法、及び、第20態様に係るワーク据え付け支援システムでは、許容範囲を基準ワーク及びワークの削り代に合わせて設定することによって、ワーク基準姿勢が適切に設定される。このため、加工装置は、ワーク基準姿勢に設定された基準ワークを加工することができる。
第4態様に係るワークの据え付け方法、及び、第21態様に係るワーク据え付け支援システムでは、姿勢が調整されたワークを、加工装置が加工することが可能か否か判定することができる。これにより、ワークの姿勢が不良であるか否かを加工前に判定するため、工作物の姿勢を効率的に調整できる。
第5態様に係るワークの据え付け方法、及び、第22態様に係るワーク据え付け支援システムでは、加工装置が加工できないと判定されたワークは段取位置に戻される。したがって、ワークの姿勢の再調整が容易となる。
第6態様に係るワークの据え付け方法、第23態様に係るワーク据え付け支援システム、及び、第34態様に係るワーク据え付け支援プログラムでは、加工プログラムにおいて座標変換の基準となる座標軸の回転角とすることによって、加工プログラムの座標変換の量を少なくすることができる。
第7態様に係るワークの据え付け方法、第24態様に係るワーク据え付け支援システム、及び、第35態様に係るワーク据え付け支援プログラムでは、エッジ検出処理によってワーク基準線を設定することができるため、ワーク基準線の設定作業が容易となる。
第8態様に係るワークの据え付け方法、第25態様に係るワーク据え付け支援システム、及び、第36態様に係るワーク据え付け支援プログラムでは、ワーク基準線が円もしくは直線といった単純図形のため、第2画像領域の境界をワーク基準線に合わせることが容易となる。
第9態様に係るワークの据え付け方法、第26態様に係るワーク据え付け支援システム、及び、第36態様に係るワーク据え付け支援プログラムでは、計測合成画像を利用してカメラを目標コンフィギュレーションに調整することができる。
第10態様に係るワークの据え付け方法、第27態様に係るワーク据え付け支援システム、及び、第37態様に係るワーク据え付け支援プログラムでは、エッジ検出処理によってカメラ設定基準線を設定することができるため、カメラ設定基準線の設定作業が容易となる。
第11態様に係るワークの据え付け方法、第28態様に係るワーク据え付け支援システム、及び、第38態様に係るワーク据え付け支援プログラムでは、カメラ設定基準線が直線のため、第4画像領域の境界をカメラ設定基準線に合わせることが容易となる。
第12態様に係るワークの据え付け方法、第29態様に係るワーク据え付け支援システム、及び、第39態様に係るワーク据え付け支援プログラムでは、ワークの3次元での姿勢調整が可能となる。
第13態様に係るワークの据え付け方法、第30態様に係るワーク据え付け支援システム、及び、第40態様に係るワーク据え付け支援プログラムでは、3つのカメラが互いに概ね垂直に向くように配置されるため、ワークの3次元での高精度の姿勢調整が可能となる。
第14態様に係るワークの据え付け方法、第31態様に係るワーク据え付け支援システム、及び、第41態様に係るワーク据え付け支援プログラムでは、一方の台を加工位置に移動させなくても、人手で行われたワークの姿勢調整が適切かどうか判定することができる。このため、姿勢調整に要する時間をさらに短縮することができ、同一の加工を要する複数の工作物の姿勢をさらに効率的に調整できる。
第15態様に係るワークの据え付け方法、第32態様に係るワーク据え付け支援システム、及び、第42態様に係るワーク据え付け支援プログラムでは、計測画像から検出されるエッジが入力され、機械学習モデルが学習される。ワーク基準線とエッジとの位置関係は、ワークの姿勢を表す重要な特徴量であるため、機械学習モデルによる高精度の判定が期待できる。さらに、第15態様に係るワークの据え付け方法、第32態様に係るワーク据え付け支援システム、及び、第42態様に係るワーク据え付け支援プログラムでは、ワーク基準線位置の画像中心からのずれ量、カメラのレンズの焦点距離、カメラの歪曲収差パラメータが入力され、機械学習モデルが学習される。ワーク基準線を直線としたときに、ワーク基準線は、画像中心から離れるほど収差の影響を強く受けるため、誤差が大きくなる。したがって、これらのパラメータを機械学習モデルに学習させることによって、機械学習モデルによる高精度の判定が期待できる。
第16態様に係るワークの据え付け方法、及び、第19態様に係るワーク据え付け支援システムでは、載置台及び追加載置台のいずれにもワークを配置し、ワークの姿勢調整を行うことができる。
本願に開示される技術によれば、例えば、姿勢がワーク基準姿勢となるように調整された基準ワークの複数の基準線位置を参照して、ワークの姿勢を調整することができる。このため、複数の工作物の姿勢を効率的に調整できる。
以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。なお、図中において同じ符号は、対応するまたは実質的に同一の構成を示している。
<第1実施形態>
<システム構成>
図1は、本発明の実施形態に係るワーク据え付け支援システム1の概略構成を示す。ワーク据え付け支援システム1は、加工装置10と、カメラ4と、第1追加カメラ4Aと、第2追加カメラ4Bと、画像処理装置200と、入力装置7と、ディスプレイ8を備える。加工装置10は、例えば、フライス加工が可能なマシニングセンタ(machining center)を含む。加工装置10は、数値制御装置100と、載置台2と、追加載置台2Aとを含む。ここで、追加載置台2Aは、加工装置10とは別に配置し、加工装置10と接続可能に構成してもよい。画像処理装置200は、プロセッサ5とメモリ6とを含む。画像処理装置200は、カメラ4、第1追加カメラ4A、及び、第2追加カメラ4Bからの映像を処理する専用の画像処理装置であってもよく、汎用のコンピュータであってもよい。画像処理装置200は、HDMI(登録商標)などの周知のカメラ入出力インタフェース201を介してカメラ4、第1追加カメラ4A、及び、第2追加カメラ4Bからの映像を取り込む。図1では、入力装置7とディスプレイ8とは、画像処理装置200と無線ネットワークNWで接続されたタッチパネルディスプレイで実現された例を示している。しかし、入力装置7とディスプレイ8とは、例えば、モニタとマウスのように別々の端末であってもよく、画像処理装置200とケーブルで接続されていてもよい。なお、入力装置7の信号を画像処理装置200に送信するインタフェースを第1通信インタフェース202と呼んでもよい。また、画像処理装置200を介して処理された映像、もしくは、カメラ入出力インタフェース201を介して画像処理装置200に取り込まれた映像をディスプレイ8に出力するインタフェースを映像出力インタフェース203と呼んでもよい。図1の例では、第1通信インタフェース202と映像出力インタフェース203とは無線通信インタフェースによって実現されている。プロセッサ5、メモリ6、カメラ入出力インタフェース201、第1通信インタフェース202、及び、映像出力インタフェース203はバス205を介して接続されている。
加工装置10は、第1方向D1に延びるガイドレール2G1と、第2方向D2に延びるガイドレール2G2とを備える。載置台2及び追加載置台2Aは、加工装置10によってワークWが加工される加工位置MP、及び、加工位置MPから離間した段取位置APに移動可能である。より具体的には、加工位置MPと段取位置APとは、第1方向D1において互いに離間しており、載置台2及び追加載置台2Aは第1方向D1に延びるガイドレール2G1に沿って移動可能である。載置台2及び追加載置台2Aは、段取位置APから追加段取位置AAPにさらに移動可能であってもよい。より具体的には、段取位置APと追加段取位置AAPとは、第1方向D1とは概ね垂直な第2方向D2において互いに離間しており、載置台2及び追加載置台2Aは第2方向D2に延びるガイドレール2G2に沿って移動可能である。
載置台2は、基準ワークRWまたはワークWを択一的に載置するように構成される。載置台2上では、基準ワークRWの姿勢またはワークWの姿勢を調整することが可能である。基準ワークRWは、ワークWの姿勢を調整するために参照されるワーク基準姿勢を決定するために用いられる。ワークWは、基準ワークRWの形状及びサイズと実質的に同じ形状及びサイズを有する。これは、ワークWの形状及びサイズと、基準ワークRWの形状及びサイズとの差異は、ワークW及び基準ワークRWの製造工程で生じうる誤差の範囲内にある、ということを意味する。例えば、基準ワークRW及びワークWが同一の鋳型により製造される鋳物である場合、当該差異は、鋳型成形により生じうる誤差(例えば、大型加工物であると5mm程度)の範囲内にある。
基準ワークRW及びワークWは、追加段取位置AAPに移動した載置台2(追加載置台2A)に載置され、載置台2(追加載置台2A)に仮止めされて、段取位置APに送られる。基準ワークRWの姿勢は、段取位置APに移動した載置台2上で調整される。ワークWの姿勢は、段取位置APに移動した、載置台2または追加載置台2A上で調整される。カメラ4、第1追加カメラ4A、及び、第2追加カメラ4Bは、載置台2上の基準ワークRW及びワークWを撮影するように構成される。より具体的には、カメラ4、第1追加カメラ4A、及び、第2追加カメラ4Bは、段取位置APに移動した、載置台2と追加載置台2Aとのうちの一方の台を撮影する。
カメラ4は、カメラ4の視点位置及び視線方向が、それぞれ、基準視点位置及び基準視線方向となる目標コンフィギュレーションにカメラが設定される。第1追加カメラ4Aは、第1追加カメラ4Aの視点位置並びに視線方向が、それぞれ、基準視点位置とは異なる第1追加基準位置並びに基準視線方向と非平行な第1追加基準視線方向となる第1追加目標コンフィギュレーションに設定される。第2追加カメラ4Bは、第2追加カメラ4Bの視点位置並びに視線方向が、それぞれ、基準視点位置及び第1追加基準位置とは異なる第2追加基準位置、並びに、基準視線方向及び第1追加基準視線方向と非平行な第2追加基準視線方向となる第2追加目標コンフィギュレーションに設定される。図1の例では、基準視線方向は第1方向D1と平行であって、第1追加基準視線方向は第2方向D2と平行であって、第2追加基準視線方向(図1では第3方向D3と示す)は、第1方向D1と第2方向D2とのそれぞれに対して平行な平面に対して傾斜している。このように、基準視線方向、第1追加基準視線方向、及び、第2追加基準視線方向のうちの2つの視線方向が互いに実質的に垂直であって、2つの視線方向の両方に対して平行な平面と2つの視線方向以外の残りの視線方向との成す角は、45度よりも大きいことが望ましい。なお、カメラ4、第1追加カメラ4A、及び、第2追加カメラ4Bの位置及び視線方向は、図1に示される位置及び視線方向に限定されず、変更されてもよい。
加工装置10は、ワークWを加工するように構成される。加工装置10は、基準ワークRWも加工してもよい。加工装置10は、ワークを加工する工具を取り付ける主軸9Aと、主軸移動機構9Bと、位置計測センサ9と、を含む。数値制御装置100は、電子回路110と入力インタフェース111とを含む。位置計測センサ9は、例えば、接触式プローブである。位置計測センサ9は主軸9Aに取り付けられ、主軸移動機構9Bが主軸9Aを移動させる。例えば、位置計測センサ9は、主軸9Aに取り付けられた工具と交換して、主軸9Aに取り付けられる。電子回路110とは、例えば、加工プログラムを実行するコントローラである。位置計測センサ9、電子回路110、入力インタフェース111、主軸9A、及び、主軸移動機構9Bは、バス113及び/または図示しないケーブルを介して互いに接続されている。位置計測センサ9は、ワーク基準姿勢となるように姿勢が調整された基準ワークRWが載置された載置台2が加工位置MPに移動したとき、基準ワークRWの形状の複数の特徴点である複数の基準特徴点の位置を計測するように構成されている。また、位置計測センサ9は、姿勢が調整されたワークWが載置された一方の台が加工位置MPに移動したとき、複数の基準特徴点にそれぞれ対応する、ワークの実質的に同じ形状の複数の特徴点である、複数の加工基準点の位置を測定するように構成される。ワーク基準姿勢及び複数の基準特徴点の詳細は後述する。電子回路110は、複数の基準特徴点の全ての位置が、それぞれ、予め定められた許容範囲内に存在するかどうかを判定するように構成される。さらに、電子回路110は、複数の加工基準点の位置が、それぞれ、許容範囲内に存在するかを判定するように構成されている。この許容範囲は基準ワークRW及びワークWの削り代に合わせて設定される。電子回路110による判定を行うプログラムを計測プログラムと呼んでもよい。電子回路110は、複数の加工基準点の全ての位置が許容範囲内に存在すると判定したとき、加工許可とする判定結果を出力して、加工装置10にワークWを加工させるように構成される。電子回路110は、複数の加工基準点のうちの少なくとも1つの位置が許容範囲内に存在しないと判定したとき、加工不許可とする判定結果を出力して、加工位置MPに移動したワークWが載置された一方の台を段取位置APに移動させるように構成される。
複数の基準特徴点の全ての位置が予め定められた許容範囲内に存在するように、基準ワークRWの姿勢が加工位置MPに移動した載置台2上で調整される。複数の基準特徴点の全ての位置が予め定められた許容範囲内に存在すると判定されたときの基準ワークRWの姿勢がワーク基準姿勢となる。したがって、ワーク基準姿勢となるように姿勢が調整された基準ワークRWが載置された載置台2が加工位置MPに移動したとき、基準ワークRWの形状の複数の特徴点である複数の基準特徴点の全ての位置は予め定められた許容範囲内に存在する。
基準ワークRWの姿勢がワーク基準姿勢に調整された後、カメラ4は、基準ワークRWの姿勢がワーク基準姿勢になるように調整された基準ワークRWを表示する基準画像IBを撮影(capture)する。第1追加カメラ4Aは、基準ワークRWの姿勢がワーク基準姿勢になるように調整された基準ワークRWを表示する第1追加基準画像IBAを撮影する。第2追加カメラ4Bは、基準ワークRWの姿勢がワーク基準姿勢になるように調整された基準ワークRWを表示する第2追加基準画像IBBを撮影する。ディスプレイ8は、基準画像IB、第1追加基準画像IBA、及び、第2追加基準画像IBBを表示する。
まず、後の撮影において、カメラ4のコンフィギュレーション(視点位置及び視線方向)が、それぞれ、目標コンフィギュレーションからずれているかどうか確認できるようにするために、ユーザは、基準画像IBの背景において静止物体が占める第3画像領域IR3の境界に複数のカメラ設定基準線CRL1〜CRL2を、入力装置7を介して設定する。つまり、基準画像IBの背景において静止物体が占める第3画像領域IR3の境界に複数のカメラ設定基準線CRL1〜CRL2が入力装置7を介して設定される。同様に、ユーザは、第1追加基準画像IBAの背景において静止物体が占める画像領域BG1の境界に複数の第1追加カメラ設定基準線CRL3〜CRL4を、入力装置7を介して設定する。つまり、第1追加基準画像IBAの背景において静止物体が占める画像領域BG1の境界に複数の第1追加カメラ設定基準線CRL3〜CRL4が入力装置7を介して設定される。ユーザは、第2追加基準画像IBBの背景において静止物体が占める画像領域BG2の境界に複数の第2追加カメラ設定基準線CRL5〜CRL6を、入力装置7を介して設定する。つまり、第2追加基準画像IBBの背景において静止物体が占める画像領域BG2の境界に複数の第2追加カメラ設定基準線CRL5〜CRL6が入力装置7を介して設定される。なお、図2〜図4では、基準画像IB、第1追加基準画像IBA、第2追加基準画像IBBにおいて、それぞれ、静止物体が占める第3画像領域IR3、画像領域BG1、画像領域BG2にはハッチングが付されている。
なお、図2〜図4に示すように、カメラ設定基準線CRL1〜CRL6は、直線であることが望ましい。また、カメラ設定基準線CRL1〜CRL2は、プロセッサ5による画像処理によって求められた、第3画像領域IR3の境界のエッジであってもよい。同様に、第1追加カメラ設定基準線CRL3〜CRL4は、プロセッサ5による画像処理によって求められた、画像領域BG1の境界のエッジであってもよい。第2追加カメラ設定基準線CRL5〜CRL6は、プロセッサ5による画像処理によって求められた、画像領域BG2の境界のエッジであってもよい。この場合、入力装置7を介してエッジ検出を行う基準画像IB、第1追加基準画像IBA、及び、第2追加基準画像IBBの領域が決定されてもよく、入力装置7を介して基準画像IB、第1追加基準画像IBA、及び、第2追加基準画像IBBから検出された複数のエッジのうちのいずれかが選択されてもよい。
つぎに、ユーザは、ディスプレイ8に表示された、図2に示されるような基準画像IBを見ながら、入力装置7を介して、基準画像IBにおいて基準ワークRWが占める第1画像領域IR1の境界に複数のワーク基準線RL1〜RL3を設定する。つまり、入力装置7を介して、基準画像IBにおいて基準ワークRWが占める第1画像領域IR1の境界に複数のワーク基準線RL1〜RL3が設定される。ユーザは、ディスプレイ8に表示された、図3に示されるような第1追加基準画像IBAを見ながら、入力装置7を介して、第1追加基準画像IBAにおいて基準ワークRWが占める第5画像領域IR5の境界に複数の第1追加ワーク基準線RL4〜RL5を設定する。つまり、図3に示すように、第1追加基準画像IBAにおいて基準ワークRWが占める第5画像領域IR5の境界に、複数の第1追加ワーク基準線RL4〜RL5が入力装置7を介して設定される。ユーザは、ディスプレイ8に表示された、図4に示されるような第2追加基準画像IBBを見ながら、入力装置7を介して、第2追加基準画像IBBにおいて基準ワークRWが占める第6画像領域IR6の境界に複数の第2追加ワーク基準線RL6〜RL7を設定する。つまり、第2追加基準画像IBBにおいて基準ワークRWが占める第6画像領域IR6の境界に、複数の第2追加ワーク基準線RL6〜RL7が入力装置7を介して設定される。なお、図2〜図4では、基準画像IB、第1追加基準画像IBA、第2追加基準画像IBBにおいて、それぞれ、基準ワークRWが占める基準ワークRWが占める第1画像領域IR1、第5画像領域IR5、第6画像領域IR6には水玉模様が付されている。
なお、図2〜図4に示すように、ワーク基準線RL1〜RL7は、直線または円であることが望ましい。また、ワーク基準線RL1〜RL3は、プロセッサ5による画像処理によって求められた、第1画像領域IR1の境界のエッジであってもよい。同様に、第1追加ワーク基準線RL4〜RL5は、プロセッサ5による画像処理によって求められた、第5画像領域IR5の境界のエッジであってもよい。同様に、第2追加ワーク基準線RL6〜RL7は、プロセッサ5による画像処理によって求められた、第6画像領域IR6の境界のエッジであってもよい。この場合、入力装置7を介してエッジ検出を行う基準画像IB、第1追加基準画像IBA、第2追加基準画像IBBの領域が決定されてもよく、入力装置7を介して基準画像IB、第1追加基準画像IBA、第2追加基準画像IBBから検出された複数のエッジのうちのいずれかが選択されてもよい。
メモリ6は、複数のワーク基準線RL1〜RL3がそれぞれ位置する基準画像IB内の複数の位置を、複数のワーク基準線位置として記憶するように構成される。メモリ6は、複数のカメラ設定基準線CRL1〜CRL2がそれぞれ位置する基準画像IB内の複数の位置を、複数のカメラ設定基準線位置としてさらに記憶するように構成される。これらの基準線位置は、例えば、基準線が直線である場合、その端点(図2の例では、RP1〜RP4、CRP1〜CRP4)の基準画像IBの画像座標系における座標、基準線が円である場合、円形状を指定するための点(図2の例では、例えば中心RP5、円周上の点RP6〜RP8などのいずれか)の基準画像IBの画像座標系における座標によって定義される。なお、これらの点の座標は、サブピクセル単位の値で表されてもよい。同様に、メモリ6は、複数の第1追加ワーク基準線RL4〜RL5がそれぞれ位置する第1追加基準画像IBA内の複数の位置を、複数の第1追加ワーク基準線位置として記憶するように構成される。メモリ6は、複数の第1追加カメラ設定基準線CRL3〜CRL4がそれぞれ位置する第1追加基準画像IBA内の複数の位置を、複数の第1追加カメラ設定基準線位置としてさらに記憶するように構成される。メモリ6は、複数の第2追加ワーク基準線RL6〜RL7がそれぞれ位置する第2追加基準画像IBB内の複数の位置を、複数の第2追加ワーク基準線位置として記憶するように構成される。メモリ6は、複数の第2追加カメラ設定基準線CRL5〜CRL6がそれぞれ位置する第2追加基準画像IBB内の複数の位置を、複数の第2追加カメラ設定基準線位置としてさらに記憶するように構成される。
以上の処理の後、基準ワークRWが載置された載置台2は、加工位置MPまたは追加段取位置AAPに移動する。当該載置台2が加工位置MPに移動される場合、基準ワークRWが加工装置10によって加工される。それから、ワークWが載置された追加載置台2Aと、基準ワークRWと入れ替えてワークWが載置された載置台2とのうちの一方の台が段取位置APに移動する。カメラ4は、当該一方の台上でワークWの姿勢が調整される際に、ワークWを表示する計測画像を撮影する。同様に、第1追加カメラ4Aは、ワークWを表示する第1追加計測画像を撮影する。第2追加カメラ4Bは、ワークWを表示する第2追加計測画像を撮影する。
プロセッサ5は、複数のカメラ設定基準線CRL1〜CRL2を計測画像に重畳した計測合成画像ISを、複数のカメラ設定基準線CRL1〜CRL2が計測合成画像ISにおいて複数のカメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。さらに、プロセッサ5は、上述する一方の台上でワークWの姿勢が調整される際にカメラ4で撮影されたワークWを表示する計測画像に複数のワーク基準線RL1〜RL3を重畳した計測合成画像ISを、複数のワーク基準線RL1〜RL3が計測合成画像ISにおいて複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。ディスプレイ8は、計測画像が撮影される際に計測合成画像ISを表示するように構成される。
図5は、第1実施形態に係る計測合成画像ISの一例を示す。図5では、計測合成画像ISにおいてワークWが占める第2画像領域IR2は水玉模様で示されている。また、計測合成画像ISにおいて第3画像領域IR3に対応する静止物体が占める第4画像領域IR4の境界はハッチングで示されている。ユーザは、まず、計測合成画像ISを参照しながら、計測合成画像ISにおいて当該静止物体が占める第4画像領域IR4の境界が複数のカメラ設定基準線CRL1〜CRL2と重なるようにカメラ4のコンフィギュレーションを調整する。これによって、計測画像を撮影する際に、目標コンフィギュレーションにカメラ4が設定される。
つぎに、ユーザは、計測合成画像ISにおいてワークWが占める第2画像領域IR2の境界と、複数のワーク基準線RL1〜RL3とが実質的に平行になる、または、実質的に一致するように、上述する一方の台の上においてワークWの姿勢を調整する。図6及び図7は、このように姿勢が調整されたワークWを表示する計測合成画像ISの例を示す。図6は、複数のワーク基準線RL1〜RL3が第2画像領域IR2の境界と実質的に一致する場合の例を示す。図7は、複数のワーク基準線RL1〜RL3が第2画像領域IR2の境界と実質的に平行となる場合の例を示す。図7では、ワーク基準線RL1と第2画像領域IR2の境界線BL1は平行になるように離隔しているが、ワーク基準線RL2と第2画像領域IR2の境界線BL2は実質的に一致している。このように、「第2画像領域IR2の境界と、複数のワーク基準線RL1〜RL3とが実質的に平行になる」とは、第2画像領域IR2の境界と、複数のワーク基準線RL1〜RL3の一部が実質的に一致してもよく、複数のワーク基準線RL1〜RL3の夫々と、第2画像領域IR2の境界線との距離は互いに異なっていてもよい。
プロセッサ5及びディスプレイ8は、第1追加計測画像、第2追加計測画像についても同様の処理を行う。すなわち、図8に示されるように、プロセッサ5は、複数の第1追加カメラ設定基準線CRL3〜CRL4を第1追加計測画像に重畳した第1追加計測合成画像ISAを、複数の第1追加カメラ設定基準線CRL3〜CRL4が第1追加計測合成画像ISAにおいて複数の第1追加カメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。プロセッサ5は、第1追加計測画像に複数の第1追加ワーク基準線RL4〜RL5を重畳した第1追加計測合成画像ISAを、複数の第1追加ワーク基準線RL4〜RL5が第1追加計測合成画像ISAにおいて複数の第1追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。図9に示されるように、プロセッサ5は、複数の第2追加カメラ設定基準線CRL5〜CRL6を第2追加計測画像に重畳した第2追加計測合成画像ISBを、複数の第2追加カメラ設定基準線CRL5〜CRL6が第2追加計測合成画像ISBにおいて複数の第2追加カメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。プロセッサ5は、第2追加計測画像に複数の第2追加ワーク基準線RL6〜RL7を重畳した第2追加計測合成画像ISBを、複数の第2追加ワーク基準線RL6〜RL7が第2追加計測合成画像ISBにおいて複数の第2追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。ディスプレイ8は、第1追加計測画像が撮影される際に第1追加計測合成画像ISAを表示するように構成される。ディスプレイ8は、第2追加計測画像が撮影される際に第2追加計測合成画像ISBを表示するように構成される。
ユーザは、第1追加計測合成画像ISAを参照しながら、第1追加計測合成画像ISAにおいて静止物体(画像領域BG1に対応する静止物体)が占める画像領域BG3の境界が複数の第1追加カメラ設定基準線CRL3〜CRL4と重なるように第1追加カメラ4Aのコンフィギュレーションを調整する。これによって、第1追加計測画像を撮影する際に、第1追加目標コンフィギュレーションに第1追加カメラ4Aが設定される。ユーザは、第2追加計測合成画像ISBを参照しながら、第2追加計測合成画像ISBにおいて静止物体(画像領域BG2に対応する静止物体)が占める画像領域BG4の境界が複数の第2追加カメラ設定基準線CRL5〜CRL6と重なるように第2追加カメラ4Bのコンフィギュレーションを調整する。これによって、第2追加計測画像を撮影する際に、第2追加目標コンフィギュレーションに第2追加カメラ4Bが設定される。ユーザは、第1追加計測合成画像ISAにおいてワークWが占める第7画像領域IR7の境界と、複数の第1追加ワーク基準線RL4〜RL5とが実質的に平行になる、または、実質的に一致するように、上述する一方の台の上においてワークWの姿勢を調整する。ユーザは、第2追加計測合成画像ISBにおいてワークWが占める第8画像領域IR8の境界と、複数の第2追加ワーク基準線RL6〜RL7とが実質的に平行になる、または、実質的に一致するように、上述する一方の台の上においてワークWの姿勢を調整する。
上述のプロセッサ5の処理は、典型的には、プロセッサ5がメモリ6に記憶されたワーク据え付け支援プログラム6pを実行し、カメラ4、第1追加カメラ4A、及び、第2追加カメラ4Bからの画像を取得することによって実現される。しかし、プロセッサ5は、専用の画像処理プロセッサや集積回路によって実現されてもよい。以下では、プロセッサ5がワーク据え付け支援プログラム6pを実行する場合を例に挙げて、ワーク据え付け支援システム1を利用したワーク据え付け方法についての詳細を説明する。
<ワークの据え付け方法>
図10は、第1実施形態に係るワークの据え付け方法を示すフローチャートである。当該方法では、ステップS1において、ユーザが、基準ワークRWを載置台2に載置し、基準ワークRWの姿勢がワーク基準姿勢となるように、基準ワークRWの姿勢を載置台2上で調整する。図11は、ステップS1の具体的な処理のフローチャートである。まず、ステップS101において、加工装置10の主軸9A(図1参照)に、ダイヤルゲージ101(図12〜図13参照)を取り付ける。ステップS102において、図12に示すように、加工プログラムではワーク座標系(加工装置10が加工プログラムを実行するために設定する座標系)のX−Y平面に平行な平面(X−Y基準面)上に位置すべきはずのY方向に離間した2点をダイヤルゲージ101で測定する。ダイヤルゲージ101は、これら2点のZ座標に対応する値を示す。この2点は、Y方向においてできるだけ離間していることが望ましい。もし、2点のダイヤルゲージ値が異なる場合(ステップS103でNo)、同じになるようにジャッキで調整する(ステップS103でYesとなるまでステップS104→S102→S103の処理を繰り返す)。ステップS101〜S104の処理によって、X方向から見たときの、X−Y平面とワーク座標系の原点を通るように平行移動したときのX−Y基準面とのなす角(ロール角)が実質的に0度となる。
ロール角の設定が終わると(ステップS103でYes)、ステップS105において、図13に示すように、加工プログラムではワーク座標系のX−Y平面に平行な平面(X−Y基準面)上に位置すべきはずのX方向に離間した2点をダイヤルゲージ101で測定する。ステップS105のX−Y基準面は、ステップS102のX−Y基準面と同じであっても異なっていてもよい。この2点は、X方向においてできるだけ離間していることが望ましい。この場合においても、ダイヤルゲージ101は、これら2点のZ座標に対応する値を示す。もし、2点のダイヤルゲージ値が異なる場合(ステップS106でNo)、同じになるようにジャッキで調整する(ステップS106でYesとなるまでステップS107→S105→S106の処理を繰り返す)。ステップS105〜S106の処理によって、Y方向から見たときの、X−Y平面とワーク座標系の原点を通るように平行移動したときのX−Y基準面とのなす角(ピッチ角)が実質的に0度となる。
ピッチ角の設定が終わると(ステップS106でYes)、加工装置10の主軸9A(図1参照)に、棒102(図14参照)を取り付ける。ステップS109において、図14に示すように、基準ワークRWのうちの、加工プログラムではワーク座標系のX−Z平面に対して平行な平面に対して面対称となるように配置されるべき部分(対称部分SP)の一点へ移動する。対称部分SPは、X方向へ延伸していることが望ましい。つぎに、ステップS110において、棒102と基準ワークRWのY方向の両側エッジ距離を定規103で測定する。両側エッジ距離が異なる場合(ステップS111でNo)、同じになるように主軸9Aを移動する(ステップS111でYesとなるまでステップS112→S110→S111の処理を繰り返す)。図14では、両側エッジ距離が等しくなった場所をP1として図示している。両側エッジ距離が等しくなると(ステップS111でYes)、ステップS113において、場所P1から対称部分SP上で主軸9AをX方向へ平行移動させる。ステップS114において、棒102と基準ワークRWのY方向の両側エッジ距離を定規103で測定する。両側エッジ距離が異なる場合(ステップS115でNo)、同じになるようにジャッキで調整する(ステップS115でYesとなるまでステップS116→S114→S115の処理を繰り返す)。ステップS108〜S116の処理によって、Z方向から見たときの、Z−X平面と対称部分SPの対称面とのなす角(ヨー角)が実質的に0度となる。このように設定された基準ワークRWの姿勢をワーク基準姿勢と呼ぶ。したがって、基準ワークRWの姿勢は、加工装置10が加工プログラムを実行するために設定する座標系(ワーク座標系)の座標軸周りの回転角(ロール角、ピッチ角、ヨー角)によって規定される。ワークWの姿勢もワーク基準姿勢に基づいて定められるため、ワークWの姿勢は、加工装置10が加工プログラムを実行するために設定する座標系(ワーク座標系)の座標軸周りの回転角(ロール角、ピッチ角、ヨー角)によって規定される。
図10に戻り、ステップS1において基準ワークRWの姿勢がワーク基準姿勢に調整されると、ステップS2において基準ワークRWにおいて加工原点MO、基準ワークRWの形状の複数の特徴点である、複数の基準特徴点BP1〜BPnのそれぞれの許容範囲を設定する。この設定について図15を利用して説明する。図15においては説明の便宜上、加工原点MOと基準特徴点BP1及びBPnのみを図示している。図15では、基準ワークRW及びワークWの理想的な配置位置及び配置姿勢を点線で示している。さらに、図15において点線で示された基準ワークRW及びワークWは設計値通りに製造誤差がなく製造されたものであるとする。加工装置10により実行される加工プログラムは、点線で占められた空間を占めるワークに対して削り代部分を削る命令を有している。加工プログラムで管理されているこのようなワークのモデルをワークモデルと呼ぶ。しかし、基準ワークRW及びワークWをこのような理想的な配置位置及び配置姿勢に設定するのは作業負担が大きく、且つ、現実には製造誤差も存在するため、位置の平行ずれについては許容されるように加工装置10は動作する。具体的には、基準ワークRW及びワークWのうち、加工されない一点もしくは基準としやすい点(例えば、最高点など)を加工原点MOとして、位置計測センサ9で加工原点MOのワーク座標系での座標を測定し、その座標と、ワークモデル上の加工原点MOとの座標との差を利用して、平行移動のみを考慮した座標変換を行い、座標変換された座標系において加工プログラムが実行され、加工作業が実行される。図15では、もとのワーク座標系がXYZ座標系で示されており、変換されたワーク座標系がX'Y'Z'座標系で示されている。
したがって、例えば、基準特徴点BP1のワークモデル上の位置をBP1o(Xo1,Yo1,Zo1)とすると、理想的には、X'Y'Z'座標系において(Xo1,Yo1,Zo1)で表される位置BP1iに基準特徴点BP1が位置するはずであるが、基準ワークRW及びワークWの製造誤差やロール角、ピッチ角、ヨー角が微妙に0度からずれることによって、BP1の実際の位置BP1rはBP1iからずれることとなる。したがって、例えば、BP1rのX'Y'Z'座標系で表される座標値を(Xr1,Yr1,Zr1)とすれば、(Xr1-Xo1)の絶対値、(Yr1-Yo1)の絶対値、(Zr1-Zo1)の絶対値が削り代から定められる閾値よりも小さい値であれば、基準特徴点BP1において加工可能であるとする。別の言い方をすれば、(Xr1-Xo1)の絶対値、(Yr1-Yo1)の絶対値、(Zr1-Zo1)の絶対値が上述する閾値よりも小さい値であれば、基準特徴点BP1の位置が予め定められた許容範囲内に存在するという。他の基準特徴点BP2(図示せず)〜BPnについても同様に、許容範囲を定めることができる。
ただし、閾値は、基準特徴点BPnのように、加工原点MOから最も遠い面上の点であれば、例えば、削り代の半分より小さい値に設定されることが好ましい。しかし、基準特徴点BP1のように加工原点MOに対してその基準特徴点BP1よりも遠い面が存在するときには、ワークモデル上のMOからBP1oを通る半直線Lと、加工原点MOから最も遠い面との交点BF1oを求め、加工原点MOからBP1oまでの距離DP1と加工原点MOからBF1oまでの距離DF1に基づいて、削り代の半分にD1/DF1を乗じた値よりも小さい値に設定することが望ましい。これにより、加工原点MOから最も遠い面において加工不能となることを抑止することができる。閾値は、上述する条件を満たすように経験的に定めてもよい。なお、削り代の大きさが、上述するX方向(X'方向)、Y方向(Y'方向)Z方向(Z'方向)によって異なる場合、X方向(X'方向)、Y方向(Y'方向)Z方向(Z'方向)に別々に閾値を定めてもよい。
ステップS2では、加工可能かどうか判定する上で十分な数の基準特徴点BP1〜BPnを選択する。基準特徴点BP1〜BPnは、接触式プローブによって位置が識別しやすいエッジやコーナーであることが望ましい。また、基準特徴点BP1〜BPnは、加工原点MOからできるだけ離れた点であることが望ましい。加工原点MOと基準特徴点BP1〜BPnとを決定すると、上述の方法で基準特徴点ごとに閾値を定めることにより、許容範囲を決定することができる。なお、姿勢がワーク基準姿勢となるように調整された、載置台2上の基準ワークRWについては、ロール角、ピッチ角、ヨー角が0度となるように調整されており、製造誤差程度の誤差しかないため、ワーク基準姿勢となるように姿勢が調整された基準ワークRWが載置された載置台2が加工位置MPに移動したとき、複数の基準特徴点BP1〜BPnの全ての位置が許容範囲内に存在する。
ステップS3において、基準画像IBを撮影する際に、載置台2を撮影するカメラ4の視点位置及び視線方向が、それぞれ、基準視点位置及び基準視線方向となる目標コンフィギュレーションにカメラ4が設定される。同様に、第1追加基準画像IBAを撮影する際に、載置台2を撮影する第1追加カメラ4Aの視点位置並びに視線方向が、それぞれ、基準視点位置とは異なる第1追加基準位置並びに基準視線方向と非平行な第1追加基準視線方向となる第1追加目標コンフィギュレーションに第1追加カメラ4Aが設定される。同様に、第2追加基準画像IBBを撮影する際に、載置台2を撮影する第2追加カメラ4Bの視点位置並びに視線方向が、それぞれ、基準視点位置及び第1追加基準位置とは異なる第2追加基準位置、並びに、基準視線方向及び第1追加基準視線方向と非平行な第2追加基準視線方向となる第2追加目標コンフィギュレーションに第2追加カメラ4Bが設定される。
ステップS4において、目標コンフィギュレーションに設定されたカメラ4によって撮影された、姿勢が調整された基準ワークRWを表示する基準画像IBが取得される。具体的には、ワーク据え付け支援プログラム6pは、カメラ4の視点位置及び視線方向が、それぞれ、基準視点位置及び基準視線方向となる目標コンフィギュレーションに設定されたカメラ4によって撮影された、姿勢がワーク基準姿勢となるように調整された、載置台2上の基準ワークRWを表示する基準画像IBを取得する処理をプロセッサ5に実行させる。第1追加目標コンフィギュレーションに設定された第1追加カメラ4Aによって撮影された、姿勢が調整された基準ワークRWを表示する第1追加基準画像IBAが取得される。具体的には、ワーク据え付け支援プログラム6pは、第1追加カメラ4Aの視点位置並びに視線方向が、それぞれ、基準視点位置とは異なる第1追加基準位置並びに基準視線方向と非平行な第1追加基準視線方向となる第1追加目標コンフィギュレーションに設定された第1追加カメラ4Aによって撮影された、姿勢が調整された基準ワークRWを表示する第1追加基準画像IBAを取得する処理をプロセッサ5に実行させる。第2追加目標コンフィギュレーションに設定された第2追加カメラ4Bによって撮影された、姿勢が調整された基準ワークRWを表示する第2追加基準画像IBBが取得される。具体的には、ワーク据え付け支援プログラム6pは、第2追加カメラ4Bの視点位置並びに視線方向が、それぞれ、基準視点位置及び第1追加基準位置とは異なる第2追加基準位置、並びに、基準視線方向及び第1追加基準視線方向と非平行な第2追加基準視線方向となる第2追加目標コンフィギュレーションに設定された第2追加カメラ4Bによって撮影された、姿勢が調整された基準ワークRWを表示する第2追加基準画像IBBを取得する処理をプロセッサ5に実行させる。
ステップS5において、基準画像IBの背景において静止物体が占める第3画像領域IR3の境界に複数のカメラ設定基準線CRL1〜CRL2が設定される。複数のカメラ設定基準線CRL1〜CRL2がそれぞれ位置する基準画像IB内の複数の位置が、複数のカメラ設定基準線位置としてメモリ6に記憶される。具体的には、ワーク据え付け支援プログラム6pは、基準画像IBの背景において静止物体が占める第3画像領域IR3の境界に複数のカメラ設定基準線CRL1〜CRL2を設定し、複数のカメラ設定基準線CRL1〜CRL2がそれぞれ位置する基準画像IB内の複数の位置を、複数のカメラ設定基準線位置としてメモリ6に記憶させる処理をプロセッサ5に実行させる。さらに具体的には、ワーク据え付け支援プログラム6pは、入力装置7からの入力を受け付け、ユーザが設定しようとするカメラ設定基準線CRL1〜CRL2を基準画像IBに重畳させて表示し、表示されているカメラ設定基準線CRL1〜CRL2の設定の入力を入力装置7から受け付けると、複数のカメラ設定基準線CRL1〜CRL2がそれぞれ位置する基準画像IB内の複数の位置を、複数のカメラ設定基準線位置としてメモリ6に記憶させる処理をプロセッサ5に実行させる。あるいは、ワーク据え付け支援プログラム6pは、画像処理によって求められた第3画像領域IR3の境界のエッジを、カメラ設定基準線CRL1〜CRL2として検出する処理をプロセッサ5に実行させる。そして、ワーク据え付け支援プログラム6pは、検出したエッジを基準画像IBに重畳させて表示し、入力装置7からエッジの選択の入力を受け付けると、そのエッジに係る複数のカメラ設定基準線CRL1〜CRL2がそれぞれ位置する基準画像IB内の複数の位置を、複数のカメラ設定基準線位置としてメモリ6に記憶させる処理をプロセッサ5に実行させる。
同様に、第1追加基準画像IBAの背景において静止物体が占める画像領域BG1の境界に複数の第1追加カメラ設定基準線CRL3〜CRL4が設定される。複数の第1追加カメラ設定基準線CRL3〜CRL4がそれぞれ位置する第1追加基準画像IBA内の複数の位置が、複数の第1追加カメラ設定基準線位置としてメモリ6に記憶される。第2追加基準画像IBBの背景において静止物体が占める画像領域BG2の境界に複数の第2追加カメラ設定基準線CRL5〜CRL6が設定される。複数の第2追加カメラ設定基準線CRL5〜CRL6がそれぞれ位置する第2追加基準画像IBB内の複数の位置が、複数の第2追加カメラ設定基準線位置としてメモリ6に記憶される。これらの場合においても、具体的には、複数のカメラ設定基準線CRL1〜CRL2を設定し、メモリ6に記憶させるためのワーク据え付け支援プログラム6pの処理と同様の処理を、ワーク据え付け支援プログラム6pはプロセッサ5に実行させる。
ステップS6において、基準画像IBにおいて基準ワークRWが占める第1画像領域IR1の境界に複数のワーク基準線RL1〜RL3が設定される。複数のワーク基準線RL1〜RL3がそれぞれ位置する基準画像IB内の複数の位置が、複数のワーク基準線位置としてメモリ6に記憶される。具体的には、ワーク据え付け支援プログラム6pは、基準画像IBにおいて基準ワークRWが占める第1画像領域IR1の境界に複数のワーク基準線RL1〜RL3を設定し、複数のワーク基準線RL1〜RL3がそれぞれ位置する基準画像IB内の複数の位置を、複数のワーク基準線位置としてメモリ6に記憶させる処理をプロセッサ5に実行させる。さらに具体的には、ワーク据え付け支援プログラム6pは、入力装置7からの入力を受け付け、ユーザが設定しようとするワーク基準線RL1〜RL3を基準画像IBに重畳させて表示し、表示されているワーク基準線RL1〜RL3の設定の入力を入力装置7から受け付けると、複数のワーク基準線RL1〜RL3がそれぞれ位置する基準画像IB内の複数の位置を、複数のワーク基準線位置としてメモリ6に記憶させる処理をプロセッサ5に実行させる。あるいは、ワーク据え付け支援プログラム6pは、画像処理によって求められた第1画像領域IR1の境界のエッジを、ワーク基準線RL1〜RL3として検出する処理をプロセッサ5に実行させる。そして、ワーク据え付け支援プログラム6pは、検出したエッジを基準画像IBに重畳させて表示し、入力装置7からエッジの選択の入力を受け付けると、そのエッジに係る複数のワーク基準線RL1〜RL3がそれぞれ位置する基準画像IB内の複数の位置を、複数のワーク基準線位置としてメモリ6に記憶させる処理をプロセッサ5に実行させる。
同様に、第1追加基準画像IBAにおいて基準ワークRWが占める第5画像領域IR5の境界に複数の第1追加ワーク基準線RL4〜RL5が設定される。複数の第1追加ワーク基準線RL4〜RL5がそれぞれ位置する第1追加基準画像IBA内の複数の位置が、複数の第1追加ワーク基準線位置としてメモリ6に記憶される。具体的には、ワーク据え付け支援プログラム6pは、第1追加基準画像IBAにおいて基準ワークRWが占める第5画像領域IR5の境界に複数の第1追加ワーク基準線RL4〜RL5を設定し、複数の第1追加ワーク基準線RL4〜RL5がそれぞれ位置する第1追加基準画像IBA内の複数の位置を、複数の第1追加ワーク基準線位置としてメモリ6に記憶させる処理をプロセッサ5に実行させる。第2追加基準画像IBBにおいて基準ワークRWが占める第6画像領域IR6の境界に複数の第2追加ワーク基準線RL6〜RL7が設定される。複数の第2追加ワーク基準線RL6〜RL7がそれぞれ位置する第2追加基準画像IBB内の複数の位置が、複数の第2追加ワーク基準線位置としてメモリ6に記憶される。さらに、第2追加基準画像IBBにおいて基準ワークRWが占める第6画像領域IR6の境界に複数の第2追加ワーク基準線RL6〜RL7を設定し、複数の第2追加ワーク基準線RL6〜RL7がそれぞれ位置する第2追加基準画像IBB内の複数の位置を、複数の第2追加ワーク基準線位置としてメモリ6に記憶させる処理をプロセッサ5に実行させる。これらの場合においても、具体的には、複数の複数のワーク基準線RL1〜RL3を設定し、メモリ6に記憶させるためのワーク据え付け支援プログラム6pの処理と同様の処理を、ワーク据え付け支援プログラム6pはプロセッサ5に実行させる。
ステップS7において、基準ワークRWの形状およびサイズと実質的に同じ形状およびサイズを有するワークWを、基準ワークRWを取り外した載置台2と、載置台2と入れ替えて配置された、載置台2と異なる追加載置台2Aのうちの一方の台の上に載置する。典型的な例としては、基準ワークRWを載置した載置台2を加工位置MPに移動させ、基準ワークRWが加工されている間に、ワークWを載置した追加載置台2Aを段取位置APに移動させる。あるいは、基準ワークRWを載置した載置台2を加工位置MPに移動させ、基準ワークRWを加工し、加工後の基準ワークRWを載置台2から取り外した後、ワークWを載置した載置台2を段取位置APに移動させる。
ステップS8において、目標コンフィギュレーションに設定されたカメラ4によって撮影された、ワークWを表示する計測画像が取得される。具体的には、ワーク据え付け支援プログラム6pは、目標コンフィギュレーションに設定されたカメラ4によって撮影された、基準ワークRWを取り外した載置台2と、載置台2と入れ替えて配置された、載置台2と異なる追加載置台2Aのうちの一方の台の上に載置された、基準ワークRWの形状およびサイズと実質的に同じ形状およびサイズを有するワークWを表示する計測画像を取得する処理をプロセッサ5に実行させる。さらに、第1追加目標コンフィギュレーションに設定された第1追加カメラ4Aによって撮影された、ワークWを表示する第1追加計測画像が取得される。具体的には、ワーク据え付け支援プログラム6pは、第1追加目標コンフィギュレーションに設定された第1追加カメラ4Aによって撮影された、ワークWを表示する第1追加計測画像を取得する処理をプロセッサ5に実行させる。第2追加目標コンフィギュレーションに設定された第2追加カメラ4Bによって撮影された、ワークWを表示する第2追加計測画像が取得される。具体的には、ワーク据え付け支援プログラム6pは、第2追加目標コンフィギュレーションに設定された第2追加カメラ4Bによって撮影された、ワークWを表示する第2追加計測画像を取得する処理をプロセッサ5に実行させる。
ステップS9において、ワーク据え付け支援プログラム6pは、複数のワーク基準線RL1〜RL3を計測画像に重畳した計測合成画像ISを、複数のワーク基準線L1〜RL3が計測合成画像ISにおいて複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する処理をプロセッサ5に実行させる。さらに、ワーク据え付け支援プログラム6pは、複数のカメラ設定基準線CRL1〜CRL2を計測画像に重畳した計測合成画像ISを、複数のカメラ設定基準線CRL1〜CRL2が計測合成画像ISにおいて複数のカメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する処理をプロセッサ5にさらに実行させる。ワーク据え付け支援プログラム6pは、計測合成画像ISをディスプレイ8に表示させる処理をプロセッサ5に実行させる。これによって、プロセッサ5が複数のワーク基準線RL1〜RL3を計測画像に重畳した計測合成画像ISを、複数のワーク基準線RL1〜RL3が計測合成画像ISにおいて複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する。さらに、プロセッサ5は、複数のカメラ設定基準線CRL1〜CRL2を計測画像に重畳した計測合成画像ISを、複数のカメラ設定基準線CRL1〜CRL2が計測合成画像ISにおいて複数のカメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する。ディスプレイ8は、計測合成画像ISを表示する。
同様に、ワーク据え付け支援プログラム6pは、複数の第1追加ワーク基準線RL4〜RL5を第1追加計測画像に重畳した第1追加計測合成画像ISAを、複数の第1追加ワーク基準線RL4〜RL5が第1追加計測合成画像ISAにおいて複数の第1追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する処理をプロセッサ5に実行させる。さらに、ワーク据え付け支援プログラム6pは、複数の第1追加カメラ設定基準線CRL3〜CRL4を第1追加計測画像に重畳した第1追加計測合成画像ISAを、複数の第1追加カメラ設定基準線CRL3〜CRL4が第1追加計測合成画像ISAにおいて複数の第1追加カメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する処理をプロセッサ5にさらに実行させる。ワーク据え付け支援プログラム6pは、第1追加計測合成画像ISAをディスプレイ8に表示させる処理をプロセッサ5に実行させる。これによって、プロセッサ5は、複数の第1追加ワーク基準線RL4〜RL5を第1追加計測画像に重畳した第1追加計測合成画像ISAを、複数の第1追加ワーク基準線RL4〜RL5が第1追加計測合成画像ISAにおいて複数の第1追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する。さらに、プロセッサ5は、複数の第1追加カメラ設定基準線CRL3〜CRL4を第1追加計測画像に重畳した第1追加計測合成画像ISAを、複数の第1追加カメラ設定基準線CRL3〜CRL4が第1追加計測合成画像ISAにおいて複数の第1追加カメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する。ディスプレイ8は、第1追加計測合成画像ISAを表示する。
さらに、ワーク据え付け支援プログラム6pは、複数の第2追加ワーク基準線RL6〜RL7を第2追加計測画像に重畳した第2追加計測合成画像ISBを、複数の第2追加ワーク基準線RL6〜RL7が第2追加計測合成画像ISBにおいて複数の第2追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する処理をプロセッサ5に実行させる。ワーク据え付け支援プログラム6pは、複数の第2追加カメラ設定基準線CRL5〜CRL6を第2追加計測画像に重畳した第2追加計測合成画像ISBを、複数の第2追加カメラ設定基準線CRL5〜CRL6が第2追加計測合成画像ISBにおいて複数の第2追加カメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する処理をプロセッサ5にさらに実行させる。ワーク据え付け支援プログラム6pは、第2追加計測合成画像ISBをディスプレイ8に表示させる処理をプロセッサ5に実行させる。これによって、プロセッサ5が複数の第2追加ワーク基準線RL6〜RL7を第2追加計測画像に重畳した第2追加計測合成画像ISBを、複数の第2追加ワーク基準線RL6〜RL7が第2追加計測合成画像ISBにおいて複数の第2追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する。プロセッサ5は、複数の第2追加カメラ設定基準線CRL5〜CRL6を第2追加計測画像に重畳した第2追加計測合成画像ISBを、複数の第2追加カメラ設定基準線CRL5〜CRL6が第2追加計測合成画像ISBにおいて複数の第2追加カメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する。ディスプレイ8は、第2追加計測合成画像ISBを表示する。
ステップS10において、ユーザは、ディスプレイ8に表示された計測合成画像ISにおいて静止物体が占める第4画像領域IS4の境界が複数のカメラ設定基準線CRL1〜CRL2と重なっているか否かに基づいて、目標コンフィギュレーションにカメラ4が設定されているか確認する。ユーザは、ディスプレイ8に表示されている第1追加計測合成画像ISAにおいて静止物体が占める画像領域BG3の境界が複数の第1追加カメラ設定基準線CRL3〜CRL4と重なっているか否かに基づいて、第1追加目標コンフィギュレーションに第1追加カメラ4Aが設定されているか確認する。ユーザは、ディスプレイ8に表示されている第2追加計測合成画像ISBにおいて静止物体が占める画像領域BG4の境界が複数の第2追加カメラ設定基準線CRL5〜CRL6と重なっているか否かに基づいて、第2追加目標コンフィギュレーションに第2追加カメラ4Bが設定されているか確認する。目標コンフィギュレーションにカメラ4が設定されていない場合(ステップS10でNo)、ステップS11によって、ユーザは、計測合成画像ISにおいて静止物体が占める第4画像領域IS4の境界が複数のカメラ設定基準線CRL1〜CRL2と重なるように、カメラ4の視点位置及び視線方向を調整する。ステップS8〜S11の処理を繰り返すことによって、目標コンフィギュレーションにカメラ4が設定される。同様に、第1追加目標コンフィギュレーションに第1追加カメラ4Aが設定されていない場合(ステップS10でNo)、ステップS11において、ユーザは、第1追加計測合成画像ISAにおいて静止物体が占める画像領域BG3の境界が複数の第1追加カメラ設定基準線CRL3〜CRL4と重なるように、第1追加カメラ4Aの視点位置及び視線方向を調整する。ステップS8〜S11の処理を繰り返すことによって、第1追加目標コンフィギュレーションに第1追加カメラ4Aが設定される。第2追加目標コンフィギュレーションに第2追加カメラ4Bが設定されていない場合(ステップS10でNo)、ステップS11において、ユーザは、第2追加計測合成画像ISBにおいて静止物体が占める画像領域BG4の境界が複数の第2追加カメラ設定基準線CRL5〜CRL6と重なるように、第2追加カメラ4Bの視点位置及び視線方向を調整する。ステップS8〜S11の処理を繰り返すことによって、第2追加目標コンフィギュレーションに第2追加カメラ4Bが設定される。
目標コンフィギュレーションにカメラ4が設定され、第1追加目標コンフィギュレーションに第1追加カメラ4Aが設定され、第2追加目標コンフィギュレーションに第2追加カメラ4Bが設定されているとき(ステップS10でYes)、ステップS12において、ユーザは、計測合成画像ISにおいてワークWが占める第2画像領域IR2の境界と、複数のワーク基準線RL1〜RL3とが、実質的に平行か、実質的に一致するかを確認する。第2画像領域IR2の境界と、複数のワーク基準線RL1〜RL3とが、一致しておらず、平行でもない場合(ステップS12でNo)、ステップS13において、ユーザは、計測合成画像ISにおいてワークWが占める第2画像領域IR2の境界と、複数のワーク基準線RL1〜RL3とが、実質的に平行になる、または、実質的に一致するように、上述する一方の台の上においてワークWの姿勢を調整する。ステップS8〜S10とステップS12とS13の処理を繰り返すことによって、計測合成画像ISにおいてワークWが占める第2画像領域IR2の境界と、複数のワーク基準線RL1〜RL3とが、実質的に平行になるか、実質的に一致する。同様に、ステップS12において、ユーザは、第1追加計測合成画像ISAにおいてワークWが占める第7画像領域IR7の境界と、複数の第1追加ワーク基準線RL4〜RL5とが実質的に平行か、実質的に一致するかを確認する。第7画像領域IR7の境界と、複数の第1追加ワーク基準線RL4〜RL5とが、一致しておらず、平行でもない場合(ステップS12でNo)、ステップS13において、ユーザは、第1追加計測合成画像ISAにおいてワークWが占める第7画像領域IR7の境界と、複数の第1追加ワーク基準線RL4〜RL5とが実質的に平行になる、または、実質的に一致するように、上述する一方の台上においてワークWの姿勢を調整する。ステップS8〜S10とステップS12とS13の処理を繰り返すことによって、第1追加計測合成画像ISAにおいてワークWが占める第7画像領域IR7の境界と、複数の第1追加ワーク基準線RL4〜RL5とが、実質的に平行になるか、実質的に一致する。さらに、ステップS12において、ユーザは、第2追加計測合成画像ISBにおいてワークWが占める第8画像領域IR8の境界と、複数の第2追加ワーク基準線RL6〜RL7とが実質的に平行か、実質的に一致するかを確認する。第8画像領域IR8の境界と、複数の第2追加ワーク基準線RL6〜RL7とが、一致しておらず、平行でもない場合(ステップS12でNo)、ステップS13において、ユーザは、第2追加計測合成画像ISBにおいてワークWが占める第8画像領域IR8の境界と、複数の第2追加ワーク基準線RL6〜RL7とが実質的に平行になる、または、実質的に一致するように、上述する一方の台上においてワークWの姿勢を調整する。ステップS8〜S10とステップS12とS13の処理を繰り返すことによって、第2追加計測合成画像ISBにおいてワークWが占める第8画像領域IR8の境界と、複数の第2追加ワーク基準線RL6〜RL7とが、実質的に平行になるか、実質的に一致する。
ワークWの姿勢の調整が終了すると(ステップS12でYes)、ステップS14において、姿勢が調整されたワークWが載置された一方の台が加工位置MPに移動する。ステップS15において、加工装置10の位置計測センサ9は、複数の基準特徴点BP1〜BPnにそれぞれ対応する、ワークWの実質的に同じ形状の複数の特徴点である、複数の加工基準点CP1〜CPnの位置を測定する。図16は、加工基準点CP1〜CPnを示したものであるが、図15及び図16に示すように、複数の加工基準点CP1〜CPnは、複数の基準特徴点BP1〜BPnにそれぞれ対応する。加工基準点CP1〜CPnは、接触式プローブによって位置が識別しやすいエッジやコーナーであり、位置の大きなズレがないことを考慮すれば、位置計測センサ9は、加工基準点CP1〜CPnの位置を自動で探索することが可能である。そして、数値制御装置100(電子回路110)は、複数の加工基準点CP1〜CPnの位置が、それぞれ、許容範囲内に存在するかを判定する。この判定方法は、基準特徴点BP1〜BPnが許容範囲内に存在するかを判定するのと同じ判定方法である。
複数の加工基準点CP1〜CPnの全ての位置が許容範囲内に存在すると電子回路110が判定したとき(ステップS15でYes)、ステップS17において、加工装置10は、加工許可とする判定結果を出力してワークWを加工する。複数の加工基準点CP1〜CPnのうちの少なくとも1つの位置が許容範囲内に存在しないと判定したとき(ステップS15でNo)、ステップS16において、加工装置10は、加工不許可とする判定結果を出力し、加工位置MPに移動したワークWが載置された一方の台は段取位置APに移動する、もしくは段取位置に戻らずに、加工位置で再調整を行う。
<第1実施形態の変形例>
上述の方法において、計測合成画像ISにおいてワークWが占める第2画像領域IR2の境界と、複数のワーク基準線RL1〜RL3とが、実質的に平行になる、または、実質的に一致するように、ワークWの姿勢を調整するのは、ユーザが計測合成画像ISを視認しながら行われるため、正確に行うことは難しい。特に、第2画像領域IR2の境界と、複数のワーク基準線RL1〜RL3とが実質的に平行か否かを正確に判定することは容易ではない。したがって、この判定を機械学習によって行ってもよい。
図17は、第1実施形態の変形例に係るワーク据え付け支援システム1aのブロック図である。本変形例では、ワーク据え付け支援プログラム6pは機械学習プログラム6mを含み、メモリ6は、機械学習プログラム6mに利用される計測画像データDA1、画像処理データDA2、基準線データDA3、カメラパラメータDA4、学習済パラメータDA5をさらに記憶する。また、画像処理装置200aと加工装置10aとは、それぞれ、互いに通信可能な第2通信インタフェース204と通信インタフェース112とを有する。第2通信インタフェース204及び通信インタフェース112は、イーサネット(登録商標)インタフェースや無線通信インタフェースなど、互いに通信可能なインタフェースであれば、どのようなインタフェースであってもよい。加工装置10aは、複数の加工基準点CP1〜CPnの全ての位置が許容範囲内に存在するか否かを判定した判定結果(総合判定結果DA6)、複数の加工基準点CP1〜CPnがそれぞれ許容範囲内に存在するか否かを判定した結果(加工基準点別判定結果DA7)、及び、複数の加工基準点CP1〜CPnとそれぞれの許容範囲の中心値とのずれ量(加工基準点別判定結果DA7)を、第2通信インタフェース204と通信インタフェース112とを介して画像処理装置200aに送信してもよい。メモリ6は、総合判定結果DA6、加工基準点別判定結果DA7、及び、加工基準点別ずれ量DA8をさらに記憶してもよい。機械学習プログラム6m、計測画像データDA1、画像処理データDA2、基準線データDA3、カメラパラメータDA4、学習済パラメータDA5、総合判定結果DA6、加工基準点別判定結果DA7、及び、加工基準点別ずれ量DA8は、画像処理装置200aではなく、クラウドサービスなどの外部サーバに記憶され、機械学習プログラム6mが外部サーバで実行され、実行結果のみを画像処理装置200aに返信してもよい。
計測画像データDA1は、カメラ4によって撮影された計測画像、第1追加カメラ4Aによって撮影された第1追加計測画像、及び、第2追加カメラ4Bによって撮影された第2追加計測画像の少なくとも1つのデータである。画像処理データDA2は、計測画像、第1追加計測画像、及び、第2追加計測画像のそれぞれを、エッジ検出処理をして得られた2値画像と背景差分等によってワークWを検出した2値画像との少なくとも1つのデータである。基準線データDA3は、複数のワーク基準線RL1〜RL3のワーク基準線位置、複数の第1追加ワーク基準線RL4〜RL5の第1追加ワーク基準線位置、及び、複数の第2追加ワーク基準線RL6〜RL7の第2追加ワーク基準線位置の少なくとも1つのデータである。カメラパラメータDA4は、計測画像、第1追加計測画像、及び、第2追加計測画像画像のそれぞれの画像中心位置及び歪曲収差パラメータと、カメラ4、第1追加カメラ4A、及び、第2追加カメラ4Bのそれぞれの焦点距離とを含む。総合判定結果DA6は、上述するステップS15の判定結果である。加工基準点別判定結果DA7は複数の加工基準点CP1〜CPnのそれぞれにおける、位置計測センサ9によって測定された位置とワークモデルから求められる複数の加工基準点CP1〜CPnの理想的位置との差の絶対値が閾値以下かどうか判定された結果である。加工基準点別ずれ量DA8は、複数の加工基準点CP1〜CPnのそれぞれにおける、位置計測センサ9によって測定された位置とワークモデルから求められる複数の加工基準点CP1〜CPnの理想的位置との差の値である。
機械学習プログラム6mは、例えば、ニューラルネットワーク、より好ましくは、深層学習に使用される三層以上のニューラルネットワークを学習モデルとして用い、計測画像データDA1と、基準線データDA3とを入力とし、総合判定結果DA6、加工基準点別判定結果DA7、及び、加工基準点別ずれ量DA8のうちの少なくとも1つのデータを出力とする教師データを用いて機械学習モデルを学習する処理をプロセッサ5に実行させる。画像処理データDA2とカメラパラメータDA4との少なくとも1つがさらに入力され、機械学習モデルが学習されてもよい。学習済パラメータDA5は、このように学習されたニューラルネットワークの各層のニューロン間の重みパラメータなどのデータが格納される。したがって、ワーク据え付け支援プログラム6pは、計測画像と複数のワーク基準線RL1〜RL3とを入力とし、複数の加工基準点CP1〜CPnの全ての位置が許容範囲内に存在するか否かを判定した判定結果、複数の加工基準点CP1〜CPnがそれぞれ許容範囲内に存在するか否かを判定した結果、及び、複数の加工基準点CP1〜CPnとそれぞれの許容範囲の中心値(ワークモデルから求められる複数の加工基準点CP1〜CPnの理想的位置とのずれ量)の少なくとも1つを出力とする教師データを用いて学習した機械学習モデルを用いる。つまり、プロセッサ5は、計測画像と複数のワーク基準線RL1〜RL3とを入力とし、判定結果、複数の加工基準点CP1〜CPnがそれぞれ許容範囲内に存在するか否かを判定した結果、及び、複数の加工基準点CP1〜CPnとそれぞれの許容範囲の中心値とのずれ量の少なくとも1つを出力とする教師データを用いて学習した機械学習モデルを用いるように構成される。ワークの据え付け方法は、計測画像と複数のワーク基準線RL1〜RL3とを入力とし、判定結果、複数の加工基準点CP1〜CPnがそれぞれ許容範囲内に存在するか否かを判定した結果、及び、複数の加工基準点CP1〜CPnとそれぞれの許容範囲の中心値とのずれ量の少なくとも1つを出力とする教師データを用いて学習した機械学習モデルを用いる。計測画像から検出されるエッジ、複数のワーク基準線位置の画像中心からのずれ量、カメラのレンズの焦点距離、カメラの歪曲収差パラメータの少なくとも1つをさらに入力とする教師データを用いて機械学習モデルが学習される。
機械学習プログラム6mは、このように学習された学習済みの機械学習モデルを用い、基準ワークRWの形状およびサイズと実質的に同じ形状およびサイズを有する第1追加ワークAWを撮影した、カメラ4の画像(第3追加計測画像)、第1追加カメラ4Aの画像(第5追加計測画像)、第2追加カメラ4Bの画像(第6追加計測画像)の少なくとも1つと、基準線データDA3とを入力し、第1追加ワークAWが載置された一方の台が加工位置MPに移動されたときに、複数の基準特徴点BP1〜BPnにそれぞれ対応する、第1追加ワークAWの実質的に同じ形状の複数の特徴点である、複数の第1追加加工基準点の全ての位置が許容範囲内に存在するか否かを判定する処理をプロセッサ5にさらに実行させる。機械学習プログラム6mには、第3追加計測画像、第5追加計測画像、第6追加計測画像からエッジ検出処理がされた2値画像、背景差分により第1追加ワークAWが検出された2値画像、及び、カメラパラメータDA4のうちの少なくとも1つががさらに入力されてもよい。図18では、第3追加計測画像の判定結果を表示した合成画像ISCの一例である。この合成画像ISCでは、第3追加計測画像に複数のワーク基準線RL1〜RL3と複数のカメラ設定基準線CRL1〜CRL2と判定結果表示ウィンドウDWを重畳して表示している。したがって、ワーク据え付け支援プログラム6pは、目標コンフィギュレーションに設定されたカメラ4によって撮影された、基準ワークRWの形状およびサイズと実質的に同じ形状およびサイズを有する第1追加ワークAWを表示する第3追加計測画像から、第1追加ワークAWが載置された一方の台が加工位置MPに移動されたときに、複数の基準特徴点BP1〜BPnにそれぞれ対応する、第1追加ワークAWの実質的に同じ形状の複数の特徴点である、複数の第1追加加工基準点の全ての位置が許容範囲内に存在するか否かを判定する処理をプロセッサ5にさらに実行させる。つまり、プロセッサ5は、目標コンフィギュレーションに設定されたカメラ4によって撮影された、基準ワークRWの形状およびサイズと実質的に同じ形状およびサイズを有する第1追加ワークAWを表示する第3追加計測画像から、第1追加ワークAWが載置された一方の台が加工位置MPに移動されたときに、複数の基準特徴点BP1〜BPnにそれぞれ対応する、第1追加ワークAWの実質的に同じ形状の複数の特徴点である、複数の第1追加加工基準点の全ての位置が許容範囲内に存在するか否かを判定するように構成される。ワークの据え付け方法は、目標コンフィギュレーションに設定されたカメラ4によって撮影された、基準ワークRWの形状およびサイズと実質的に同じ形状およびサイズを有する第1追加ワークAWを表示する第3追加計測画像から、第1追加ワークAWが載置された一方の台が加工位置MPに移動されたときに、複数の基準特徴点BP1〜BPnにそれぞれ対応する、第1追加ワークAWの実質的に同じ形状の複数の特徴点である、複数の第1追加加工基準点の全ての位置が許容範囲内に存在するか否かを判定する。この場合、上述のステップS12において、機械学習プログラム6mが実行されるとよい。
また、ワークWは、載置台2及び追加載置台2Aの両方に載置されてもよい。このため、上述するワークの据え付け方法は、基準ワークRWを取り外した載置台2と、載置台2と入れ替えて配置された追加載置台2Aのうちの他方の台に基準ワークRWの形状およびサイズと実質的に同じ形状およびサイズを有する第2追加ワークBWを載置し、目標コンフィギュレーションに設定されたカメラ4によって撮影された、第2追加ワークBWを表示する第4追加計測画像を取得し、プロセッサ5によって、複数のワーク基準線を第4追加計測画像に重畳した第4追加計測合成画像ISDを、複数のワーク基準線RL1〜RL3が第4追加計測合成画像ISDにおいて複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するようにしてもよい。そして、ユーザは、第4追加計測合成画像ISDにおいて第2追加ワークBWが占める第9画像領域IR9の境界と、複数のワーク基準線RL1〜RL3とが、実質的に平行になる、または、実質的に一致するように、他方の台上において第2追加ワークの姿勢を調整するようにしてもよい。図19は、第4追加計測合成画像ISDの一例である。
カメラ4、第1追加カメラ4A、第2追加カメラ4Bの位置姿勢が変化することがない環境においては、第1実施形態において、複数のカメラ設定基準線CRL1〜CRL2の設定、及び、複数のカメラ設定基準線CRL1〜CRL2の計測合成画像ISでの表示が省略されてもよい。同様に、複数の第1追加カメラ設定基準線CRL3〜CRL4の設定、及び、複数の第1追加カメラ設定基準線CRL3〜CRL4の第1追加計測合成画像ISAでの表示が省略されてもよい。複数の第2追加カメラ設定基準線CRL5〜CRL6の設定、及び、複数の第2追加カメラ設定基準線CRL5〜CRL6の第2追加計測合成画像ISBでの表示が省略されてもよい。この場合、図10において、ステップS3、S5、S10、S11が省略されてもよい。
上述のワーク据え付け支援プログラム6p、機械学習プログラム6mは、画像処理装置200、200aに内蔵されたメモリ6にとどまらず、フロッピーディスク、光ディスク、CDROMおよび磁気ディスク等のディスク、SDカード、USBメモリ、外付けハードディスクなど画像処理装置200、200aから取り外し可能で、画像処理装置200、200aに読み取り可能な記憶媒体に記録されたものであってもよい。
<第1実施形態の作用及び効果>
第1実施形態に係るワーク据え付け支援システム1、1a及びワーク据え付け支援システム1、1aを利用したワーク据え付け方法は、姿勢がワーク基準姿勢となるように調整された基準ワークRWの複数の基準線位置を参照して、ワークWの姿勢を調整することができる。このため、工作物の姿勢を効率的に調整できる。
<第2実施形態>
本ワーク据え付け方法は、上述の加工装置10に限らず、他の加工装置においても適用可能である。図20は、第2実施形態に係るワーク据え付け支援システム11の概略構成を示す図である。第2実施形態では、加工装置10mは、フライス加工と旋削加工をともに行える加工装置である。載置台2mは、係止爪21〜24によって基準ワークRW及びワークWを固定する。載置台2mは、旋回中心軸Axを有し、旋回中心軸Axの周りに回動可能である。図20では、加工位置MPと段取位置APとが同一である例を示しているが、第1実施形態と同様、載置台2mは、基準ワークRW及びワークWが加工される加工位置MP、及び、加工位置MPから離間した段取位置APに移動可能であってもよい。係止爪21〜24は旋回中心軸Axの周りに90度ずつ回転した位置に順に時計回りに配置されている。つまり、旋回中心軸Axの軸方向から見て、旋回中心軸Axから係止爪21に向かう方向と、旋回中心軸Axから係止爪22に向かう方向とのなす角は90度である。旋回中心軸Axの軸方向から見て、旋回中心軸Axから係止爪22に向かう方向と、旋回中心軸Axから係止爪23に向かう方向とのなす角は90度である。旋回中心軸Axの軸方向から見て、旋回中心軸Axから係止爪23に向かう方向と、旋回中心軸Axから係止爪24に向かう方向とのなす角は90度である。旋回中心軸Axの軸方向から見て、旋回中心軸Axから係止爪24に向かう方向と、旋回中心軸Axから係止爪21に向かう方向とのなす角は90度である。カメラ4の光軸は、旋回中心軸Axに実質的に平行に向くように配置される。ワーク据え付け支援システム11において、ワーク据え付け支援システム1の構成から第1追加カメラ4A、及び、第2追加カメラ4Bが省略される。ただし、第1実施形態と同様、加工装置10mは、載置台2mと同一の形状及び機能を有する追加載置台2mAを備えてもよい。また、図20において図示されていないが、加工装置10mは、第1実施形態に示された位置計測センサ9を有し、画像処理装置200は、機械学習プログラム6mの機能を備えてもよい。第2実施形態の説明においては、第1実施形態と同じ構成、処理については同一の符号を使用して詳細な説明を省略する。また、本実施形態にて説明していない構成は、第1実施形態の構成と実質的に同一である。
図21及び図22は、本実施形態の基準ワークRW及びワークWの姿勢を説明するための図である。図21に示すように、本実施形態の基準ワークRW及びワークWは、中心軸線Cxを有し、中心軸線Cxに対して概ね線対称な形状を有している。本実施形態の姿勢調整においては、図21に示すように基準ワークRW及びワークWの中心軸線Cxを旋回中心軸Axに一致させることと、その後、図22に示すように、基準ワークRW及びワークWの位相(旋回中心軸Axの周りの回転角)を所定の位相に合わせることの2つを要する。したがって、基準ワークRW及びワークWの姿勢は、載置台2の旋回中心軸Axによって規定される。
図23は、第2実施形態に係るワークWの据え付け方法を示すフローチャートである。当該方法では、ステップS1aにおいて、ユーザが、基準ワークRWを載置台2に載置し、基準ワークRWの姿勢がワーク基準姿勢となるように、基準ワークRWの姿勢を載置台2上で調整する。図24は、ステップS1aの具体的な処理のフローチャートである。まず、ステップS121において、図25に示されるように、芯だし棒(位置計測センサ9の一例)に長尺棒30が取り付けられる。長尺棒30の中心軸は、旋回中心軸Axに対して平行になるように調整されている。長尺棒30の半径は、長尺棒30の中心軸の軸方向に対して一様である。つぎに、ステップS122において、載置台2が角度0度に回転される。この角度0度とは、旋回中心軸Axの軸方向から見て、長尺棒30が旋回中心軸Axと係止爪21との間に位置する回転角を規定する。ステップS123において、角度0度において、長尺棒30と第1測定面WP1の隙間が目測で計測される。ここで、第1測定面WP1は、基準ワークRWの表面のうち、基準ワークRWを図22のように姿勢調整したときに旋回中心軸Axに対して平行となる面である。したがって、長尺棒30と第1測定面WP1の隙間の距離は、長尺棒30の中心軸の軸方向に対して一様となるように、基準ワークRWの姿勢が調整される。
つぎに、ステップS124において、載置台2が角度180度に回転される。このとき、図26に示されるように、長尺棒30が旋回中心軸Axと係止爪23との間に位置するように、基準ワークRW及び載置台2は旋回中心軸Axの周りに回転される。ただし、長尺棒30は、図25に示される位置・姿勢を保っている。このとき、旋回中心軸Axに対して第1測定面WP1と反対の面である第2測定面WP2が長尺棒30と面している。ステップS125において、角度180度において、長尺棒30と第2測定面WP2の隙間が目測で計測される。このとき、第2測定面WP2は、旋回中心軸Axに対して実質的に平行となっている。ステップS126において、角度0度と180度の隙間の距離が等しいか否かが判定される。角度0度と180度の隙間の距離が等しくない場合(ステップS126でNo)、図21のように芯ずれを起こしているため、ステップS127において、旋回中心軸Axに対して垂直な方向に基準ワークRWをスライドさせるように係止爪21及び23を調整する。その後、角度0度と180度の隙間の距離が等しくなるまで(ステップS126でYes)、ステップS127、ステップS122〜S126の処理を繰り返す。
角度0度と180度の隙間の距離が等しくなると(ステップS126でYes)、ステップS128において、載置台2が角度90度に回転される。このとき、図27に示されるように、長尺棒30が旋回中心軸Axと係止爪22との間に位置するように、基準ワークRW及び載置台2は旋回中心軸Axの周りに回転される。ただし、長尺棒30は、図25に示される位置・姿勢を保っている。ステップS129において、角度90度において、長尺棒30と第3測定面WP3の隙間が目測で計測される。第3測定面は、基本的に第1測定面と同様に、基準ワークRWの表面のうち、基準ワークRWを図22のように姿勢調整したときに旋回中心軸Axに対して平行となる面である。したがって、長尺棒30と第3測定面WP3の隙間の距離は、長尺棒30の中心軸の軸方向に対して一様となるように、基準ワークRWの姿勢が調整される。
つぎに、ステップS130において、載置台2が角度270度に回転される。このとき、図28に示されるように、長尺棒30が旋回中心軸Axと係止爪24との間に位置するように、基準ワークRW及び載置台2は旋回中心軸Axの周りに回転される。ただし、長尺棒30は、図25に示される位置・姿勢を保っている。このとき、旋回中心軸Axに対して第3測定面WP3と反対の面である第4測定面WP4が長尺棒30と面している。ステップS131において、角度270度において、長尺棒30と第4測定面WP4の隙間が目測で計測される。このとき、第4測定面WP4は、旋回中心軸Axに対して実質的に平行となっている。ステップS132において、角度90度と270度の隙間の距離が等しいか否かが判定される。角度90度と270度の隙間の距離が等しくない場合(ステップS132でNo)、図21のように芯ずれを起こしているため、ステップS133において、旋回中心軸Axに対して垂直な方向に基準ワークRWをスライドさせるように係止爪22及び24を操作する。その後、角度90度と270度の隙間の距離が等しくなるまで(ステップS132でYes)、ステップS133、ステップS128〜S132の処理を繰り返す。
図23に戻り、ステップS2〜S5まで第1実施形態と同様の処理が行われ、ステップS6aにおいてワーク基準線の設定が行われる。図29は、第2実施形態における基準画像IBの一例である。ステップS6aにおいて、ユーザは、ディスプレイ8に表示された、図29に示されるような基準画像IBを見ながら、入力装置7を介して、基準画像IBにおいて基準ワークRWが占める第1画像領域IR1の境界に複数のワーク基準線RL1〜RL4を設定する。なお、この設定においては、位相ずれによる影響をうけないワーク基準線RL1とRL4と、位相ずれによる影響をうけるワーク基準線RL2とRL3とをともに設定することが望ましい。その後、ステップS7〜S11まで第1実施形態と同様の処理が行われ、ステップS12a、S13aにおいてワークWの姿勢の調整が行われる。
図30は、第2実施形態に係る計測合成画像ISの一例を示す。図30では、計測合成画像ISにおいてワークWが占める第2画像領域IR2は水玉模様で示されている。また、計測合成画像ISにおいて第3画像領域IR3に対応する静止物体が占める第4画像領域IR4の境界はハッチングで示されている。第1実施形態では、計測合成画像ISにおいてワークWが占める第2画像領域IR2の境界と、複数のワーク基準線RL1〜RL3とが実質的に平行になる場合が許容されているが、第2実施形態では、ユーザは、計測合成画像ISにおいてワークWが占める第2画像領域IR2の境界と、複数のワーク基準線RL1〜RL4とが実質的に一致するように、載置台2上においてワークWの姿勢を調整する。図30では、図21に示される芯ずれと、図22に示される位相ずれがともに生じているため、まず位相ずれによる影響をうけないワーク基準線RL1とRL4と、それに対応する第2画像領域IR2の境界線BL1とBL2とが実質的に一致するように、係止爪21〜24を操作することによってワークWの姿勢を調整する。このような調整がされた計測合成画像ISの表示例を図31に示す。つぎに、残りのワーク基準線RL2とRL3とそれに対応する第2画像領域IR2の境界線と、BL1とBL2とが実質的に一致するように、旋回中心軸Ax周りにワークW及び載置台2を回転させる。図32は、このように姿勢が調整されたワークWを表示する計測合成画像ISの例を示す。なお、図29〜31は、複数のワーク基準線RL1〜RL4がすべて円の場合を示しているが、直線のワーク基準線を含んでいてもよい。
図23に戻り、ステップS12aでは、計測合成画像ISにおいて全ての複数のワーク基準線RL1〜RL4が、ワークWが占める第2画像領域IR2の境界と実質的に一致するか否かが判定される。全ての複数のワーク基準線RL1〜RL4が第2画像領域IR2の境界と実質的に一致しない場合(ステップS12aでNo)、ステップS13aにおいて、係止爪21〜24を操作するか、旋回中心軸Ax周りにワークW及び載置台2を回転させる。その後、全ての複数のワーク基準線RL1〜RL4が第2画像領域IR2の境界と実質的に一致するまで、ステップS13a、ステップS8〜S13aまでの処理が繰り返される。全ての複数のワーク基準線RL1〜RL4が第2画像領域IR2の境界と実質的に一致する場合(ステップS12aでYes)、ステップS15〜S17の処理が実行される。
<第2実施形態の作用及び効果>
第2実施形態に係るワーク据え付け支援システム11及びワーク据え付け支援システム11を利用したワーク据え付け方法は、4つ爪の載置台へのワークWの据え付けのような手間がかかるワークWの据え付けに対し、合成画像を利用して据え付け時間を短縮することができる。
本願においては、「備える」およびその派生語は、構成要素の存在を説明する非制限用語であり、記載されていない他の構成要素の存在を排除しない。これは、「有する」、「含む」およびそれらの派生語にも適用される。
「〜部材」、「〜部」、「〜要素」、「〜体」、および「〜構造」という文言は、単一の部分や複数の部分といった複数の意味を有し得る。
「第1」や「第2」などの序数は、単に構成を識別するための用語であって、他の意味(例えば特定の順序など)は有していない。例えば、「第1要素」があるからといって「第2要素」が存在することを暗に意味するわけではなく、また「第2要素」があるからといって「第1要素」が存在することを暗に意味するわけではない。
程度を表す「実質的に」、「約」、および「およそ」などの文言は、実施形態に特段の説明がない限りにおいて、最終結果が大きく変わらないような合理的なずれ量を意味し得る。本願に記載される全ての数値は、「実質的に」、「約」、および「およそ」などの文言を含むように解釈され得る。
本願において「A及びBの少なくとも一方」という文言は、Aだけ、Bだけ、及びAとBの両方を含むように解釈されるべきである。
上記の開示内容から考えて、本発明の種々の変更や修正が可能であることは明らかである。したがって、本発明の趣旨を逸脱しない範囲で、本願の具体的な開示内容とは別の方法で本発明が実施されてもよい。