JP7093881B1 - システム、及び自動搬送車 - Google Patents

Abstract

【課題】ロボットの姿勢を補正する構成を容易に構築でき、また、当該姿勢を正確に補正できるシステムを提供する。【解決手段】工作機械１０と、ステレオカメラ３１を備えるロボット２５と、ロボット２５を作業位置に移動させる搬送装置３５と、ロボット２５を制御する制御装置４０とを備える。制御装置４０は、ティーチング操作時に、ステレオカメラ３１により工作機械１０が備える構造体を撮像し、この構造体の３次元点群位置データからなる基準データを生成するとともに、ロボット２５を実動作させる際に、ステレオカメラ３１により構造体を撮像して、構造体の３次元点群位置データからなる現データを生成し、得られた現データ及び基準データに基づいて、ロボット２５の現在の姿勢とティーチング操作時の姿勢との間のステレオカメラ３１の位置誤差量及び回転誤差量を推定し、推定された位置誤差量及び回転誤差量に基づいてロボット２５の姿勢を補正する。【選択図】図２

Description

本開示は、ワークを加工する工作機械、並びに工作機械に対して作業を行うロボット、ロボットを搭載し、工作機械に対して設定された作業位置に移動可能な搬送装置、及び制御装置から構成される自動搬送車を備えたシステムに関する。

従来、上述したシステムの一例として、特開２０１７－１３２００２号公報（下記特許文献１）に開示されたシステムが知られている。このシステムでは、ロボットを搭載した無人搬送車が、工作機械に対して設定された作業位置に移動し、当該作業位置において、ロボットにより工作機械に対してワークの着脱等の作業が実行される。

このようなシステムでは、無人搬送車によって移動する一台のロボットにより、複数の工作機械に対してワークの着脱等の作業を実施することができるので、工作機械に対してロボットを固定した状態で配設する場合に比べて、工作機械のレイアウトの自由度が増すため、工作機械のレイアウトをより生産効率を高めることが可能なレイアウトに設定することができる。また、ロボットを固定状態で配設した旧来のシステムに比べて、一台のロボットにより、より多くの工作機械に対して作業を行うことができるので、設備費用の低廉化を図ることができる。

その一方、無人搬送車は車輪を用いて自走する構造であるが故に、前記作業位置に停止するその位置決め精度は必ずしも高いものとは言えない。このため、ロボットが工作機械に対して正確な作業を行うためには、無人搬送車を前記作業位置へ位置決めした際のロボットの姿勢と、制御上の基準となる所謂ティーチング時に設定されたロボットの基準姿勢とを比較して、その誤差量を検出し、当該誤差量に応じてロボットの作業姿勢を補正する必要がある。

このようなロボットの姿勢を補正する技術として、従来、特開２０１６－２２１６２２号公報（下記特許文献２）に開示されるような位置補正手法が知られている。具体的には、この位置補正手法は、２つの較正用マーカからなる視覚ターゲットを工作機械の外表面に配設し、ロボットの可動部に設けられたカメラにより、前記視覚ターゲットを撮像し、得られた画像と、カメラの位置及び姿勢とを基に、ロボットと工作機械との相対的な位置関係を測定し、測定された位置関係に基づいて、ロボットの作業姿勢を補正するというものである。

特開２０１７－１３２００２号公報 特開２０１６－２２１６２２号公報

ところが、上述した従来の位置補正手法では、例えば、ロボットのハンドなどを工作機械内に進入させ、当該ハンドを用いて工作機械のチャックなどに対してワークの着脱を行う際に、この着脱作業を行うロボットの姿勢を正確に補正することができなかった。

即ち、前記無人搬送車は、比較的自由度の高い車輪の動作によって移動するように構成されているため、ロボットが搭載された載置面は床面に対して傾き易く、また、搭載するロボットの姿勢の変化に応じて、言い換えれば、ロボットの重心位置の変化に応じて、当該傾きが変動し易いという特性を有している。

このため、上述したワークの着脱を行う際に、ロボットがそのハンドを工作機械内に進入させた姿勢を取るとき、言い換えれば、ロボットのアームが前記無人搬送車から大きくオーバハングした状態となるときの前記載置面の傾きは、ロボットのハンドが工作機械の機外に在り、アームが前記無人搬送車からオーバハングしていないか、或いはオーバハングしていたとしても少量である場合の傾きよりも大きなものとなる。

したがって、上述した従来の位置補正手法のように、較正用マーカである視覚ターゲットを工作機械の外表面に配設し、ロボットが工作機械の機外に在る状態で、ロボットの位置補正量（姿勢補正量）を取得しても、得られた位置補正量を用いては、ロボットのハンドが工作機械内にあるときに実行されるワークの着脱動作については、当該ロボットの姿勢を正確には補正することができない。

そして、ワークを着脱する際のロボットの姿勢を正確に補正することができなければ、チャックに対してロボットハンドを正確に位置決めすることができず、例えば、前記チャックがコレットチャックなど、把持部の動き代（ストローク）が極僅か、即ち、ワークとチャックとの間のクリアランスが極僅かであるチャックの場合には、当該チャックに対してワークを確実に把持させることができない可能性が生じる。

そして、ワークの着脱を確実に実行することができなければ、当該システムの稼働率が低下することになる。当該システムにおいては、生産効率の良い無人化を実現することはできない。

さらに、特許文献２に開示された位置補正手法では、２つの較正用マーカをそれぞれカメラによって撮像するようにしているので、較正用マーカを撮像するためのロボットの動作時間が長く、このため、当該システムにおける生産効率が低くなる。

また、前記カメラとして、２つのカメラを備えた所謂ステレオカメラが公知であるが、このような公知のステレオカメラを用い、一方、従来のような特別な視覚ターゲットを用いることなく、ロボットの姿勢を補正することができれば、便利である。

そこで、本発明は、特許請求の範囲に記載したシステムを提供するものである。

本発明によれば、ロボットが実際に作業する工作機械を構成する、又はこの工作機械に設けられた構造体をステレオカメラにより撮像し、得られた画像を基に、ロボットの姿勢を補正するようにしているので、当該姿勢を正確に補正することができ、これにより、ロボットは、高い動作精度が求められる作業でも、当該作業を精度良く実行することができる。また、ロボットの姿勢を補正するための構成を容易に構築することができる。

本発明の一実施形態に係るシステムの概略構成を示した平面図である。 本実施形態に係るシステムの構成を示したブロック図である。 本実施形態に係る無人搬送車及びロボットを示した斜視図である。 本実施形態に係る工作機械を構成する構造体である主軸及びチャックを示した斜視図である。 ロボットの撮像姿勢を説明するための説明図である。 ロボットの姿勢を補正する補正量の算出処理について説明するための説明図である。

以下、本発明の具体的な実施の形態について、図面を参照しながら説明する。

図１及び図２に示すように、このシステム１は、工作機械１０、周辺装置としての材料ストッカ２０及び製品ストッカ２１、無人搬送車３５、この無人搬送車３５に搭載されるロボット２５、ロボット２５に装着されるステレオカメラ３１、並びにロボット２５及び無人搬送車３５を制御する制御装置４０などから構成される。

前記工作機械１０は、公知の横形のＮＣ（数値制御）旋盤であって、図４に示すように、ワークＷを把持するチャック１２が装着される主軸１１を備えており、適宜工具により、当該ワークＷに対して旋削加工を行うことができるようになっている。尚、図４では、工作機械１０の構成物として、主軸１１及びチャック１２のみを示しているが、当然のことながら、工作機械１０は、往復台や刃物台などの当該分野において公知の他の構成物を備えている。

前記材料ストッカ２０は、図１において工作機械１０の左隣に配設され、当該工作機械１０で加工される複数の材料（加工前ワークＷ）をストックする装置である。また、前記製品ストッカ２１は、図１において工作機械１０の右隣に配設され、当該工作機械１０で加工された複数の製品、又は半製品（加工済ワークＷ’）をストックする装置である。

図１に示すように、前記無人搬送車３５には、その上面である載置面３６に前記ロボット２５が搭載され、また、オペレータが携帯可能な操作盤３７が付設されている。尚、この操作盤３７は、データの入出力を行う入出力部、当該無人搬送車３５及びロボット２５を手動操作する操作部、並びに画面表示可能なディスプレイなどを備えている。

また、無人搬送車３５は、工場内における自身の位置を認識可能なセンサ（例えば、レーザ光を用いた距離計測センサ）を備えており、前記制御装置４０による制御の下で、前記工作機械１０、材料ストッカ２０及び製品ストッカ２１が配設される領域を含む工場内を無軌道で走行するように構成され、本例では、前記工作機械１０、材料ストッカ２０及び製品ストッカ２１のそれぞれに対して設定された各作業位置に経由する。

図１及び図３に示すように、本例のロボット２５は、第１アーム２６、第２アーム２７及び第３アーム２８の３つのアームを備えた多関節型のロボットであり、第３アーム２８の先端部にはエンドエフェクタとしてのハンド２９が装着され、また、支持バー３０を介して２つのカメラ３１ａ，３１ｂが装着されている。この２つのカメラ３１ａ，３１ｂはその撮像光軸が交差するように配置された所謂ステレオカメラ３１である。

尚、本発明に適用可能なロボットの態様は、本例のロボット２５の態様に限られるものでは無く、ロボットは、(i)カメラと、(ii)ワークまたは工具を把持するためのハンド部と、(iii)前記ハンド部を可動可能に繋いでいる第２アーム部と、(iv)第２アーム部と可動可能に繋いでいる第１アーム部とを有していればよい。本実施形態のロボット２５と対比すると、ハンド部はハンド２９に相当し、第２アーム部は、第２アーム２７と回転可能（可動可能）に結合するジョイント部とに相当し、第１アーム部は、第１アーム２６と回転可能（可動可能）に結合するジョイント部とに相当する。また、本実施形態のロボットの第３アーム２８と回転可能や進退可能（可動可能）に結合するジョイント部とが第２アーム部に相当すると解してもよい。つまり、本例のロボット２５では、３つのアーム備えているが、ロボットは、少なくとも２つのアームを備えていればよい。

図２に示すように、前記制御装置４０は、動作プログラム記憶部４１、移動位置記憶部４２、動作姿勢記憶部４３、マップ情報記憶部４４、基準データ憶部４５、手動運転制御部４６、自動運転制御部４７、マップ情報生成部４８、位置認識部４９、点群データ算出部５０、補正量算出部５１及び入出力インターフェース５２から構成される。そして、制御装置４０は、この入出力インターフェース５２を介して、前記工作機械１０、材料ストッカ２０、製品ストッカ２１、ロボット２５、ステレオカメラ３１、無人搬送車３５及び操作盤３７に接続している。なお、制御装置４０は、この態様に限定されるものではない。制御装置４０は、少なくとも、ロボット２５のハンド３０の位置を制御する制御部を有していればよく、他の記憶部等は別の装置が有していてもよい。

本例の制御装置４０は、ＣＰＵ、ＲＡＭ、ＲＯＭなどを含むコンピュータから構成され、前記手動運転制御部４６、自動運転制御部４７、マップ情報生成部４８、位置認識部４９、点群データ算出部５０、補正量算出部５１及び入出力インターフェース５２は、コンピュータプログラムによってその機能が実現され、後述する処理を実行する。また、動作プログラム記憶部４１、移動位置記憶部４２、動作姿勢記憶部４３、マップ情報記憶部４４及び基準データ記憶部４５はＲＡＭなどの適宜記憶媒体から構成される。本例では、制御装置４０は無人搬送車３５に付設され、適宜通信手段によって工作機械１０、材料ストッカ２０及び製品ストッカ２１と接続されるとともに、ロボット２５、ステレオカメラ３１、無人搬送車３５及び操作盤３７とは有線又は無線によって接続されている。但し、このような態様に限られるものではなく、制御装置４０は無人搬送車３５以外の適宜位置に配設されていても良い。この場合、制御装置４０は適宜通信手段によって各部と接続される。

前記手動運転制御部４６は、オペレータにより前記操作盤３７から入力される操作信号に従って、前記無人搬送車３５、ロボット２５及びステレオカメラ３１を動作させる機能部である。即ち、オペレータは、この手動運転制御部４６による制御の下で、操作盤３７を用いた、前記無人搬送車３５、ロボット２５及びステレオカメラ３１の手動操作を実行することができる。

前記動作プログラム記憶部４１は、生産時に前記無人搬送車３５及び前記ロボット２５を自動運転するための自動運転用プログラム、並びに後述する工場内のマップ情報を生成する際に前記無人搬送車３５を動作させるためのマップ生成用プログラムを記憶する機能部である。自動運転用プログラム及びマップ生成用プログラムは、例えば、前記操作盤３７に設けられた入出力部から入力され、当該動作プログラム記憶部４１に格納される。

尚、この自動運転用プログラムには、無人搬送車３５が移動する目標位置としての移動位置、移動速度及び無人搬送車３５の向きに関する指令コードが含まれ、また、ロボット２５が順次動作する当該動作に関する指令コード、及び前記ステレオカメラ３１の操作に関する指令コードが含まれる。また、マップ生成用プログラムは、前記マップ情報生成部４８においてマップ情報を生成できるように、無人搬送車３５を無軌道で工場内を隈なく走行させるための指令コードが含まれる。

前記マップ情報記憶部４４は、無人搬送車３５が走行する工場内に配置される機械、装置、機器など（装置等）の配置情報を含むマップ情報を記憶する機能部であり、このマップ情報は前記マップ情報生成部４８によって生成される。

前記マップ情報生成部４８は、詳しくは後述する前記制御装置４０の自動運転制御部４７による制御の下で、前記動作プログラム記憶部４１に格納されたマップ生成用プログラムに従って無人搬送車３５を走行させた際に、前記センサによって検出される距離データから工場内の空間情報を取得するとともに、工場内に配設される装置等の平面形状を認識し、例えば、予め登録された装置等の平面形状を基に、工場内に配設された具体的な装置、本例では、工作機械１０、材料ストッカ２０及び製品ストッカ２１の位置、平面形状等（配置情報）を認識する。そして、マップ情報生成部４８は、得られた空間情報及び装置等の配置情報を工場内のマップ情報として前記マップ情報記憶部４４に格納する。

前記位置認識部４９は、前記センサによって検出される距離データ、及び前記マップ情報記憶部４４に格納された工場内のマップ情報を基に、工場内における無人搬送車３５の位置を認識する機能部であり、この位置認識部４９によって認識される無人搬送車３５の位置に基づいて、当該無人搬送車３５の動作が前記自動運転制御部４７によって制御される。

前記移動位置記憶部４２は、前記無人搬送車３５が移動する具体的な目標位置としての移動位置であって、前記動作プログラム中の指令コードに対応した具体的な移動位置を記憶する機能部であり、この移動位置には、上述した工作機械１０、材料ストッカ２０及び製品ストッカ２１に対して設定される各作業位置が含まれる。尚、この移動位置は、例えば、前記手動運転制御部４６による制御の下、前記操作盤３７により前記無人搬送車３５を手動運転して、目標とする各位置に移動させた後、前記位置認識部４９によって認識される位置データを前記移動位置記憶部４２に格納する操作によって設定される。この操作は所謂ティーチング操作と呼ばれる。

前記動作姿勢記憶部４３は、前記ロボット２５が所定の順序で動作することによって順次変化するロボット２５の姿勢（動作姿勢）であって、前記動作プログラム中の指令コードに対応した動作姿勢に係るデータを記憶する機能部である。この動作姿勢に係るデータは、前記手動運転制御部４６による制御の下で、前記操作盤３７を用いたティーチング操作により、当該ロボット２５を手動運転して、目標とする各姿勢を取らせたときの、当該各姿勢におけるロボット２５の各関節（モータ）の回転角度データであり、この回転角度データが動作姿勢に係るデータとして前記動作姿勢記憶部４３に格納される。

ロボット２５の具体的な動作姿勢は、前記材料ストッカ２０、工作機械１０及び製品ストッカ２１において、それぞれ設定される。例えば、材料ストッカ２０では、当該材料ストッカ２０において作業を開始するときの作業開始姿勢（取出開始姿勢）、当該材料ストッカ２０に収納された加工前ワークＷをハンド２９により把持して、当該材料ストッカ２０から取り出すための各作業姿勢（各取出姿勢）及び取出を完了したときの姿勢（取出完了姿勢であり、本例では、取出開始姿勢と同じ姿勢）が取出動作姿勢として設定される。

また、工作機械１０では、加工済のワークＷ’を工作機械１０から取り出すワーク取出動作姿勢、及び加工前ワークＷを工作機械１０に取り付けるワーク取付動作姿勢が設定される。

具体的には、ワーク取出動作姿勢では、例えば、工作機械１０に進入する前の作業開始姿勢、ハンド２９及びステレオカメラ３１を工作機械１０の加工領域内に進入させて、当該ステレオカメラ３１によってチャック１２を撮像する姿勢（撮像姿勢）（図５参照）、チャック１２に把持された加工済ワークＷ’に対してハンド２９を対向させた姿勢（取出準備姿勢）、ハンド２９をチャック１２側に移動させて、当該チャック１２に把持された加工済ワークＷ’をハンド２９によって把持する姿勢（把持姿勢）、ハンド２９をチャック１２から離隔させて加工済ワークＷ’をチャック１２から取り外した姿勢（取外姿勢）、ハンド２９及びカメラ３１を工作機械１０から抜け出させた姿勢（作業完了姿勢）の各姿勢が設定される。

また、ワーク取付動作姿勢では、例えば、工作機械１０に進入する前の作業開始姿勢、ハンド２９及びステレオカメラ３１を工作機械１０の加工領域内に進入させて、当該ステレオカメラ３１によってチャック１２を撮像する姿勢（撮像姿勢）（図５参照）、工作機械１０のチャック１２に対してハンド２９に把持された加工前ワークＷを対向させた姿勢（取付準備姿勢）、ハンド２９をチャック１２側に移動させて、加工前ワークＷを当該チャック１２によって把持可能にした姿勢（取付姿勢）、ハンド２９をチャック１２から離隔させた姿勢（離隔姿勢）、ハンド２９及びカメラ３１を工作機械１０から抜け出させた姿勢（作業完了姿勢）の各姿勢が設定される。尚、図５では、ステレオカメラ３１をチャック１２に対して正対させた状態を図示しているが、撮像姿勢は、これに限られるものではなく、ステレオカメラ３１がチャック１２に対して斜めになる姿勢であっても良い。また、図５において示した二点鎖線は、ステレオカメラ３１の撮像視野である。

前記製品ストッカ２１では、当該製品ストッカ２１において作業を開始するときの作業開始姿勢（収納開始姿勢）、ハンド２９に把持した加工済ワークＷ’を製品ストッカ２１内に収納するための各作業姿勢（収納姿勢）及び収納を完了したときの姿勢（収納完了姿勢であり、本例では、収納開始姿勢と同じ姿勢）が収納動作姿勢として設定される。

前記自動運転制御部４７は、前記動作プログラム記憶部４１に格納された自動運転用プログラム及びマップ生成用プログラムの何れかを用い、当該プログラムに従って無人搬送車３５、ロボット２５及びカメラ３１を動作させる機能部である。その際、前記移動位置記憶部４２及び動作姿勢記憶部４３に格納されたデータが必要に応じて使用される。

前記点群データ算出部５０は、前記カメラ３１ａ，３１ｂによって撮像された２つの画像を基に、各カメラ３１ａ，３１ｂの焦点距離、カメラ３１ａ，３１ｂ間の距離及び２つのカメラ３１ａ，３１ｂ間の視差から、撮像対象物を所定の大きさで分割した各要素について、当該ステレオカメラ３１に対して設定されるカメラ座標系の３次元空間における位置を算出する。前記各要素は撮像対象物を形成する点群として認識されるものであり、その位置データは、カメラ座標系の３次元空間における点群の位置データ（３次元点群位置データ）である。

尚、本例では、前記点群データ算出部５０は、前記無人搬送車３５が工作機械１０に対して設定された作業位置に在り、前記ロボット２５が上述した撮像姿勢を取るときに、前記ステレオカメラ３１によって撮像されたチャック１２の２つの画像を基に、これらの画像から、当該チャック１２のカメラ座標系における３次元点群位置データを算出する。

前記基準データ記憶部４５は、ティーチング操作時に、前記無人搬送車３５が工作機械１０に対して設定された作業位置に在り、前記ロボット２５が前記撮像姿勢にあるときに、前記ステレオカメラ３１により撮像して得られたチャック１２の画像を基に、前記点群データ算出部５０によって算出されたチャック１２の３次元点群位置データを基準データとして記憶する機能部である。

また、この基準データ記憶部４５には、上記基準データの他に、チャック１２のＣＡＤデータから得られる３次元点群位置データであって、このチャック１２に対して設定された座標系であるオブジェクト座標系における３次元点群位置データが格納されている。尚、このオブジェクト座標系は、例えば、チャック１２の軸線と直交する平面内において設定される直交２軸のｘ軸及びｙ軸、並びにこれらｘ軸及びｙ軸と直交するｚ軸の直交３軸によって定義することができる。

前記補正量算出部５１は、前記自動運転制御部４７による制御の下で、前記動作プログラム記憶部４１に格納された自動運転用プログラムに従って前記ロボット２５が自動運転される際に、当該ロボット２５が撮像姿勢に在り、ステレオカメラ３１によりチャック１２が撮像されて、前記点群データ算出部５０によりチャック１２の現在の３次元点群位置データが算出されると、この現在の３次元点群位置データと、前記基準データ記憶部４５に格納された基準データ（ティーチング操作時に算出されたチャック１２の３次元点群位置データ）とに基づいて、ロボット２５の現在の姿勢とティーチング操作時の姿勢との間におけるステレオカメラ３１の位置誤差量及び回転誤差量を推定し、推定された各誤差量に基づいて、前記作業姿勢における前記作用部に対する補正量を算出する。

具体的には、補正量算出部５１は、自動運転時に得られたチャック１２の現在の３次元点群位置データと、前記基準データ記憶部４５に格納された基準データ等に基づいて、以下の処理を実行して、ロボット２５の現在の姿勢とティーチング操作時の姿勢との間におけるステレオカメラ３１の位置誤差量であって、チャック１２の軸線と直交する平面内で設定される相互に直交するｘ軸及びｙ軸、並びにこれらｘ軸及びｙ軸に直交するｚ軸方向におけるステレオカメラ３１の位置誤差量と、ｘ軸、ｙ軸及びｚ軸回りのステレオカメラ３１の回転誤差量とを推定するとともに、推定した位置誤差量及び回転誤差量に基づいて、ロボット２５の各作業姿勢を補正する。

（前処理）
前記補正量算出部５１は、まず、前処理として、前記ティーチング操作時に得られた前記基準データに基づいて、ステレオカメラ３１に対応した座標系であるカメラ座標系から、前記チャック１２に対して設定された座標系であるオブジェクト座標系に変換するための座標変換行列

を取得する。尚、カメラ座標系は、例えば、カメラ３１ａ，３１ｂの撮像素子（例えば、ＣＭＯＳセンサ）を含む平面内において、各撮像素子間の中間位置を中心として設定される直交３軸で定義することができる。

具体的には、この座標変換行列

は、以下の手順により、算出することができる。即ち、まず、前記基準データ記憶部４５に格納された、ＣＡＤデータから得られるチャック１２のオブジェクト座標系における３次元点群位置データ、ステレオカメラ３１の内部パラメータ（例えば、カメラの焦点距離など）及び外部パラメータ（カメラ３１ａ，３１ｂ間の距離、視差など）に基づいて、カメラ座標系からＣＡＤデータに係るオブジェクト座標系への座標変換行列

を取得する。

次に、補正量算出部５１は、前記基準データ記憶部４５に格納された、ＣＡＤデータから得られるチャック１２のオブジェクト座標系における３次元点群位置データと、同じく前記基準データ記憶部４５に格納された、ティーチング操作時のカメラ座標系におけるチャック１２の３次元点群位置データである基準データとを用い、例えば、これらを、ＲＡＮＳＡＣアルゴリズム（大域的位置合わせ）及びＩＣＰアルゴリズム（局所的位置合わせ）に従って、ＣＡＤデータに係る３次元点群位置データを、前記基準データに重ね合わせる処理を行うことにより、ＣＡＤデータに係るオブジェクト座標系からティーチング操作時のチャック１２に係るオブジェクト座標系への座標変換行列

を取得する。図６において概念的に示すように、一点鎖線で示した図形がＣＡＤデータから得られるチャック１２のオブジェクト座標系における３次元点群位置データに係る図形とし、実線で示した図形がティーチング操作時に得られたチャック１２のオブジェクト座標系における３次元点群位置データに係る図形であるとすると、一点鎖線の図形が実線の図形に重ね合わさるように処理することで、上記の座標変換行列

が得られる。

次に、上記のようにして得られた座標変換行列

、及び座標変換行列

から、以下の数式１に従って、上述した座標変換行列

を算出する。
（数式１）

以上のようにして、座標変換行列

を算出した後、補正量算出部５１は、算出した座標変換行列

と、前記カメラ座標系におけるカメラ位置であって、前記ティーチング操作における撮像時のカメラ位置

とに基づいて、前記オブジェクト座標系におけるティーチング操作時のカメラ位置

を以下の数式２によって算出する。
（数式２）

（ティーチング操作時のカメラ位置算出処理）
次に、補正量算出部５１は、ティーチング操作時のロボット座標系におけるカメラ位置

を以下の数式３によって算出する。尚、ロボット座標系は、制御装置４０がロボット２５を制御するために設定された３次元の座標系であり、適宜位置に原点が設定される直交３軸で定義される。
（数式３）

続いて、補正量算出部５１は、ティーチング操作時のカメラ座標系からティーチング操作時のロボット座標系へ変換するための座標変換行列

を以下の数式４によって算出する。
（数式４）

ここで、

の回転行列成分

を基に、ｘ軸、ｙ軸及びｚ軸回りの各回転角度

、

、

を算出する。

尚、

は、オブジェクト座標系からティーチング操作時のロボット座標系へ変換するための座標変換行列である。例えば、オブジェクト座標系からティーチング操作時のカメラ座標系へ変換するための座標変換行列

と、前記カメラ座標系からティーチング操作時のロボット座標系へ変換するための座標変換行列

に基づいて、以下の数式５によって取得することができる。
（数式５）

（自動運転時のカメラ位置算出処理）
次に、補正量算出部５１は、自動運転時（実動作時）に前記点群データ算出部５０によって算出された現在のチャック１２のカメラ座標系における３次元点群位置データに基づいて、上記と同様にして、カメラ座標系からオブジェクト座標系に変換するための座標変換行列

を、以下の数式６に従って算出する。
（数式６）

尚、カメラ座標系からティーチング操作時のオブジェクト座標系への座標変換行列

は、上記と同様に、前記基準データ記憶部４５に格納された、ティーチング操作時のチャック１２のオブジェクト座標系における３次元点群位置データ、ステレオカメラ３１の内部パラメータ（例えば、カメラの焦点距離など）及び外部パラメータ（カメラ３１ａ，３１ｂ間の距離、視差など）に基づいて算出することができる。

また、ティーチング操作時のオブジェクト座標系から自動運転時のオブジェクト座標系への座標変換行列

は、前記基準データ記憶部４５に格納された、ティーチング操作時のカメラ座標系におけるチャック１２の３次元点群位置データである基準データと、自動運転時に前記点群データ算出部５０によって算出されたチャック１２の３次元点群位置データを用い、例えば、これらを、ＲＡＮＳＡＣアルゴリズム（大域的位置合わせ）及びＩＣＰアルゴリズム（局所的位置合わせ）に従って、ティーチング操作時の３次元点群位置データを、自動運転時の３次元点群位置データに重ね合わせる処理を行うことにより算出することができる。図６を用いて説明すると、一点鎖線で示した図形がティーチング操作時のオブジェクト座標系におけるチャック１２の３次元点群位置データに係る図形とし、実線で示した図形が自動運転時のオブジェクト座標系におけるチャック１２の３次元点群位置データに係る図形であるとすると、一点鎖線の図形が実線の図形に重ね合わさるように処理することで、上記の座標変換行列

が得られる。

以上のようにして、座標変換行列

を算出した後、補正量算出部５１は、算出した座標変換行列

と、前記カメラ座標系におけるカメラ位置であって、自動運転における撮像時のカメラ位置

とに基づいて、前記オブジェクト座標系における自動運転時のカメラ位置

を以下の数式７によって算出する。
（数式７）

次に、補正量算出部５１は、自動運転時のオブジェクト座標系における現在のカメラ位置

を以下の数式８によって算出するとともに、自動運転時のロボット座標系における現在のカメラ位置

を以下の数式９によって算出する。
（数式８）

（数式９）

続いて、補正量算出部５１は、現在のカメラ座標系からティーチング操作時のロボット座標系へ変換するための座標変換行列

を以下の数式１０によって算出する。
（数式１０）

ここで、

の回転行列成分

を基に、ｘ軸、ｙ軸及びｚ軸回りの各回転角度

、

、

を算出する。

（誤差量算出処理）
次に、補正量算出部５１は、上記のようにして算出したティーチング操作時の座標系におけるティーチング操作時のカメラ角度

、

、

と、ティーチング操作時の座標系における現在のカメラ角度

、

、

とに基づいて、これらの差分を算出することによって、ｘ軸、ｙ軸及びｚ軸回りの各回転誤差Δｒｘ、Δｒｙ及びΔｒｚを算出する。
但し、

次に、補正量算出部５１は、上記のようにして算出した各回転誤差Δｒｘ、Δｒｙ及びΔｒｚに基づいて、ティーチング操作時におけるロボット座標系と、現在のロボット座標系との間の回転行列

、即ち、回転誤差量を以下の数式１１によって算出するとともに、ティーチング操作時のロボット座標系から現在のロボット座標系への並進行列

、即ち、位置誤差量を以下の数式１２により算出する。
（数式１１）

（数式１２）

（補正量算出処理）
次に、補正量算出部５１は、上記のようにして算出した誤差量に基づいて、この誤差量を補正するための補正量

を以下の数式１３によって算出する。
（数式１３）

そして、前記自動運転制御部４７は、補正量算出部５１により算出された補正量に基づいて、以降のロボット２５の動作姿勢におけるハンド２９の位置

を以下の数式１４に従って補正する。
（数式１４）

以上の構成を備えた本例のシステム１によれば、以下のようにして、無人自動生産が実行される。

即ち、前記制御装置４０の自動運転制御部４７による制御の下で、前記動作プログラム記憶部４１に格納された自動運転用プログラムが実行され、この自動運転用プログラムに従って、例えば、無人搬送車３５及びロボット２５が以下のように動作する。

まず、無人搬送車３５は、工作機械１０に対して設定された作業位置に移動するとともに、ロボット２５は上述したワーク取出動作の作業開始姿勢を取る。尚、この時、工作機械１０は所定の加工を完了して、ロボット２５が加工領域内に侵入可能なようにドアカバーを開いているものとする。

ついで、ロボット２５は前記撮像姿勢に移行し、前記チャック１２をステレオカメラ３１によって撮像する。そして、このようにして、ステレオカメラ３１によってチャック１２が撮像されると、前記点群データ算出部５０によって、チャック１２の３次元点群位置データが算出されるとともに、前記補正量算出部５１において、当該３次元点群位置データと、前記基準データ記憶部４５に格納された基準データとを基に、上記数式１１及び１２に従ってロボット２５のティーチング操作時における撮像姿勢と、現在の撮像姿勢との間の誤差量が推定され、推定された各誤差量に基づき、上述した数式１３に従って、ロボット２５の以降のワーク取出動作姿勢に対する補正量が算出される。

そして、自動運転制御部４７は、補正量算出部５１により算出された各補正量に基づいて、以降のワーク取出動作姿勢、即ち、上述した取出準備姿勢、把持姿勢、取外姿勢及び作業完了姿勢におけるハンド２９の位置を数式１４に従って補正して、工作作機械１０のチャック１２に把持された加工済ワークＷ’をハンド２９に把持して当該工作機械１０から取り出す。尚、ロボット２５に前記把持姿勢を取らせた後に、自動運転制御部４７から工作機械１０にチャック開指令を送信することで、当該チャック１２が開かれる。

次に、自動運転制御部４７は、無人搬送車３５を、製品ストッカ２１に対して設定された作業位置に移動させるとともに、ロボット２５に、当該製品ストッカ２１において作業を開始するときの収納開始姿勢、ハンド２９に把持した加工済ワークを製品ストッカ２１内に収納するための各収納姿勢及び収納を完了したときの収納完了姿勢を順次取らせて、ハンド２９に把持した加工済ワークを製品ストッカ２１に収納する。

ついで、自動運転制御部４７は、無人搬送車３５を、材料ストッカ２０に対して設定された作業位置に移動させるとともに、ロボット２５に、当該材料ストッカ２０において作業を開始するときの取出開始姿勢、当該材料ストッカ２０に収納された加工前ワークをハンド２９によって把持して、当該材料ストッカ２０から取り出すための各取出姿勢及び取出を完了したときの取出完了姿勢を順次取らせて、ハンド２９に加工前ワークを把持させる。

次に、自動運転制御部４７は、再度、無人搬送車３５を工作機械１０に対して設定された作業位置に移動させるとともに、ロボット２５に上述したワーク取付動作の作業開始姿勢を取らせる。ついで、ロボット２５を前記撮像姿勢に移行させ、ステレオカメラ３１によってチャック１２を撮像させる。そして、このようにして、ステレオカメラ３１によってチャック１２が撮像されると、前記点群データ算出部５０によって、チャック１２の３次元点群位置データが算出されるとともに、前記補正量算出部５１において、当該３次元点群位置データと、前記基準データ記憶部４５に格納された基準データとを基に、上記数式１１及び１２に従ってロボット２５のティーチング操作時における撮像姿勢と、現在の撮像姿勢との間の誤差量が推定され、推定された各誤差量に基づき、上述した数式１３に従って、ロボット２５の以降のワーク取出動作姿勢に対する補正量が算出される。

この後、自動運転制御部４７は、補正量算出部５１により算出された各補正量に基づいて、以降のロボット２５のワーク取付動作姿勢、即ち、上述した取付準備姿勢、取付姿勢、離隔姿勢及び作業完了姿勢におけるハンド２９の位置を数式１４に従って補正して、ロボット２５に、ハンド２９に把持された加工前ワークＷを工作機械１０のチャック１２に取り付けた後、機外に退出する動作を行わせる。この後、自動運転制御部４７は、工作機械１０に加工開始指令を送信して、工作機械１０に加工動作を行わせる。尚、ロボット２５に前記取付姿勢を取らせた後に、自動運転制御部４７から工作機械１０にチャック閉指令を送信することで、当該チャック１２が閉じられ、当該チャック１２によって加工前ワークＷが把持される。

そして、以上を繰り返すことにより、本例のシステム１では、無人自動生産が連続して実行される。

このように、本例のシステム１では、ロボット２５が実際に作業する工作機械１０を構成する構造体であるチャック１２をステレオカメラ３１により撮像し、得られた画像を基に、ロボット２５の作業姿勢を補正するようにしているので、当該作業姿勢を正確に補正することができ、これにより、ロボット２５は、高い動作精度が求められる作業でも、当該作業を精度良く実行することができる。

また、このように、ロボット２５が精度の良い作業を実行することで、当該システム１は不要な中断を招くことなく高い稼働率で稼働し、結果、当該システム１によれば、信頼性が高く、生産効率の高い無人化を図ることが可能となる。

また、動作プログラムに従って動作するロボット２５は、ステレオカメラ３１によってチャック１２を撮像する際に、一度の動作でこれを実行するように構成されているので、従来に比べて、短時間で精度の良い補正を行うことができる。

また、本例では、カメラとして、２つのカメラを備えた公知のステレオカメラ３１を用いるともに、このステレオカメラ３１の撮像対象を工作機械１０の構造体であるチャック１２にとしたので、ロボットの姿勢を補正するための構成を容易に構築することができる。

以上、本発明の一実施の形態について説明したが、本発明が採り得る具体的な態様は、何らこれに限定されるものではない。

例えば、上例では、ステレオカメラ３１によって撮像する対象としての構造体をチャック１２としたが、これに限られるものでは無く、工作機械１０を構成する他の構造体、例えば、刃物台や往復台など撮像対象としても良く、或いは、工作機械１０に設けられる工具などの構造体を撮像対象としても良い。

また、上述した実施形態では、無人搬送車３５を用いた態様を例示したが、これに限定されるものではなく、従来公知の一般的な台車のように、人が押すことによって移動するように構成された搬送装置でもよい。そして、この搬送装置上にロボット２５を搭載して、人力により当該搬送装置を工作機械１０の作業位置に搬送し、当該ロボット２５により工作機械１０に対してワークの着脱を実行させるような態様としても良い。

また、上記の実施形態では、工作機械として横形の旋盤を例示したが、これに限られるものではなく、立形の旋盤、立形及び横形のマシニングセンタの他、工具主軸とワーク主軸を備えた複合加工型の加工機械など、従前公知のあらゆる工作機械を適用することができる。

繰り返しになるが、上述した実施形態の説明は、すべての点で例示であって、制限的なものではない。当業者にとって変形および変更が適宜可能である。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲内と均等の範囲内での実施形態からの変更が含まれる。

１ システム
１０ 工作機械
１１ 主軸
１２ チャック
２０ 材料ストッカ
２１ 製品ストッカ
２５ ロボット
２９ ハンド
３１ ステレオカメラ
３５ 無人搬送車
３７ 操作盤
４０ 制御装置
４１ 動作プログラム記憶部
４２ 移動位置記憶部
４３ 動作姿勢記憶部
４４ マップ情報記憶部
４５ 基準データ記憶部
４６ 手動運転制御部
４７ 自動運転制御部
４８ マップ情報生成部
４９ 位置認識部
５０ 点群データ算出部
５１ 補正量算出部
５２ 入出力インターフェース
Ｗ 加工前ワーク
Ｗ’ 加工済ワーク

Claims (5)

1. ワークに対して所定の加工を行う工作機械と、
   画像を撮像する２つのカメラを有するステレオカメラ、及び前記ワークに対して作用する作用部を備え、前記工作機械に対して作業を行うロボットと、
   前記ロボットを搭載し、前記工作機械に対して設定された作業位置に移動可能に構成された搬送装置と、
   予め設定された動作指令を含む動作プログラムに従って、前記ロボットに、作業開始姿勢、前記ステレオカメラ及び作用部を前記工作機械の加工領域内に進入させて、前記工作機械を構成する、又は前記工作機械に設けられた構造体を前記ステレオカメラよって撮像する撮像姿勢、前記ワークに対して前記作用部を作用させるための１以上の作業姿勢を順次取らせるように構成された制御装置とを備え、
   前記作業開始姿勢、撮像姿勢及び作業姿勢は、前記ロボットをティーチング操作することによって予め設定されるシステムであって、
   前記制御装置は、
   前記ティーチング操作時に、前記ロボットを撮像姿勢に移行させた状態で、前記ステレオカメラにより前記構造体を撮像し、得られた画像を基に、前記ステレオカメラに対して設定されたカメラ座標系における前記構造体の３次元点群位置データからなる基準データを生成する処理を実行し、
   前記動作プログラムに従って、前記ロボットを実動作させる際に、前記搬送装置が前記作業位置に移動した状態で、前記ロボットを、前記作業開始姿勢から前記撮像姿勢に移行させた後、前記ステレオカメラにより前記構造体を撮像し、得られた画像を基に、前記カメラ座標系における前記構造体の３次元点群位置データからなる現データを生成する処理を実行するとともに、得られた現データ及び前記基準データに基づいて、前記ロボットの現在の姿勢とティーチング操作時の姿勢との間における前記ステレオカメラの位置の誤差量であって、相互に直交する所定の第１軸及び第２軸方向、並びに前記第１軸及び第２軸と直交する第３軸方向における前記ステレオカメラの各位置誤差量と、前記第１軸、第２軸及び第３軸回りの前記ステレオカメラの各回転誤差量とを推定し、推定された各位置誤差量及び各回転誤差量に基づいて、前記作業姿勢における前記作用部の位置を補正するように構成されたシステム。
2. 前記制御装置は、
   前記基準データに基づいて、前記ロボットに対して設定されたロボット座標系であって、前記ティーチング操作時のロボット座標系における、該ティーチング操作による撮像時のカメラ位置
   

   

   を算出する処理と、
   前記実動作時に得られる前記現データに基づいて、前記ティーチング操作時のロボット座標系における、該実動作による撮像時のカメラ位置
   

   

   を算出する処理と、
   前記ティーチング操作時のロボット座標系における前記カメラ位置
   

   

   、及び前記カメラ位置
   

   

   に基づいて、前記実動作時のロボット座標系における前記ステレオカメラの前記第１軸、第２軸及び第３軸方向の位置誤差量、並びに前記第１軸、第２軸及び第３軸回りの回転誤差量を推定する処理と、
   推定された前記位置誤差量及び回転誤差量に基づいて、前記作業姿勢における前記作用部の位置を補正する処理とを実行するように構成された請求項１記載のシステム。
3. 前記制御装置は、
   前記ティーチング操作時のロボット座標系における前記カメラ位置
   

   

   、及び前記カメラ位置
   

   

   を算出した後、
   ティーチング操作時の座標系におけるティーチング操作時のカメラ角度
   

   

   、
   

   

   、
   

   

   と、ティーチング操作時の座標系における現在のカメラ角度
   

   

   、
   

   

   、
   

   

   とに基づいて、これらの差分を算出することによって、前記第１軸をｘ軸、第２軸をｙ軸、第３軸をｚ軸として、ｘ軸、ｙ軸及びｚ軸回りの各回転誤差量Δｒｘ、Δｒｙ及びΔｒｚを算出し、算出した前記回転誤差量Δｒｘ、Δｒｙ及びΔｒｚに基づいて、前記実動作時のロボット座標系における前記ステレオカメラの前記回転誤差量として、ティーチング操作時のロボット座標系と実動作時のロボット座標系との間の回転行列
   

   

   を算出する処理と、
   前記実動作時のロボット座標系における前記ステレオカメラの位置誤差量として、前記ティーチング操作時のロボット座標系から前記実動作時のロボット座標系への並進行列
   

   

   を算出する処理と、
   前記回転行列
   

   

   及び並進行列
   

   

   に基づいて、補正量
   

   

   を算出する処理と、
   前記補正量
   

   

   に基づいて、前記作業姿勢における前記作用部の補正された位置
   

   

   を算出する処理とを実行するように構成された請求項２記載のシステム。
4. 前記制御装置は、前記回転行列
   

   

   、並進行列
   

   

   、補正量
   

   

   及び補正位置
   

   

   を以下の算出式によって算出するように構成された請求項３記載のシステム。
   

   

   =
   

   

   

   =
   

   

   -
   

   

   ・
   

   

   

   =
   

   

   

   =
   

   

   ・
   

   

   但し、
   

   

   は、ティーチング操作時のロボット座標系におけるティーチング操作時の作用部の位置である。
5. 画像を撮像する２つのカメラを有するステレオカメラ、及びワークに対して作用する作用部を備え、工作機械に対して作業を行うロボットと、
   前記ロボットを搭載し、前記工作機械に対して設定された作業位置に移動可能に構成された搬送装置と、
   予め設定された動作指令を含む動作プログラムに従って前記ロボットを制御し、前記ロボットに、作業開始姿勢、前記ステレオカメラ及び作用部を前記工作機械の加工領域内に進入させて、前記工作機械を構成する、又は前記工作機械に設けられた構造体を前記ステレオカメラよって撮像する撮像姿勢、前記ワークに対して前記作用部を作用させるための１以上の作業姿勢を順次取らせるとともに、前記搬送装置を制御するように構成された制御装置とを備え、
   前記作業開始姿勢、撮像姿勢及び作業姿勢は、前記ロボットをティーチング操作することによって予め設定される自動搬送装置であって、
   前記制御装置は、
   前記ティーチング操作時に、前記ロボットを撮像姿勢に移行させた状態で、前記ステレオカメラにより前記構造体を撮像し、得られた画像を基に、前記ステレオカメラに対して設定されたカメラ座標系における前記構造体の３次元点群位置データからなる基準データを生成する処理を実行し、
   前記動作プログラムに従って、前記ロボットを実動作させる際に、前記搬送装置が前記作業位置に移動した状態で、前記ロボットを、前記作業開始姿勢から前記撮像姿勢に移行させた後、前記ステレオカメラにより前記構造体を撮像し、得られた画像を基に、前記カメラ座標系における前記構造体の３次元点群位置データからなる現データを生成する処理を実行するとともに、得られた現データ及び前記基準データに基づいて、前記ロボットの現在の姿勢とティーチング操作時の姿勢との間における前記ステレオカメラの位置の誤差量であって、相互に直交する所定の第１軸及び第２軸方向、並びに前記第１軸及び第２軸と直交する第３軸方向における前記ステレオカメラの各位置誤差量と、前記第１軸、第２軸及び第３軸回りの前記ステレオカメラの各回転誤差量とを推定し、推定された各位置誤差量及び各回転誤差量に基づいて、前記作業姿勢における前記作用部の位置を補正するように構成された自動搬送装置。

Images