JP6843050B2 - ロボットシステム - Google Patents

Description

本発明は、ロボットシステムに関する。

従来から、製造現場では溶接、塗装、部品の組付け、シール剤の塗布などの繰り返し作業が産業用ロボットにより自動で行われている。ロボットに作業を行わせるためには、作業に必要な情報をロボットに指示し、記憶させる教示が必要になる。例えば特許文献１には、ダイレクト教示によりロボットアームに作業の軌道を記憶させる教示作業の一例が開示されている。

特開２０１３−７１２３１号公報

ロボットは、教示された情報に基づいて同じ作業の繰り返しを高速且つ高精度で実現することが可能である。しかしながら、作業対象物にばらつきがある場合や作業環境が変化した場合には、同じ軌道では作業品質を確保できなくなることがある。他方、マスタースレーブ方式のロボットシステムでは、マスターアームをオペレータが手動操作することにより、その操作に追従してスレーブアームが動作するように構成されたものがある。このようなシステムによる作業は、オペレータが作業対象物ごとにマスターアームを操作して、臨機応変にスレーブアームに作業させることが可能であるが、その反面、作業に多大な時間と労力を要する。

そこで、本発明は、作業ごとに臨機応変に対応可能であり、且つ、オペレータの労力を削減できるロボットシステムを提供する。

前記課題を解決するために、本発明者等は、予め設定されたプログラムに基づいてロボットアームが自動で動作している途中に、ロボットアームを遠隔操作可能な装置をオペレータが操作することにより、その操作を反映させてロボットアームの軌道を修正できるシステムを考えた。しかしながら、このシステムでは、予め設定されたロボットアームの軌道をオペレータがどのように軌道修正すればよいかを事前に把握できなければ、適切な軌道修正が実現されない。本発明は、このような観点からなされたものである。

すなわち、本発明のロボットシステムは、作業対象物に対して作業するためのエンドエフェクタを有するロボットアームと、前記エンドエフェクタを移動させるための情報が予定軌道情報として記憶された記憶部と、前記予定軌道情報を用いて前記ロボットアームを動作させて前記エンドエフェクタを移動させる動作制御部と、操作されることにより、移動中にある前記エンドエフェクタの軌道を修正するための操作情報を生成する軌道修正装置と、前記作業対象物を撮像するカメラと、前記カメラから送られた撮像画像に、前記予定軌道情報から得られる前記エンドエフェクタの予定軌道を合成した合成画像を生成する画像生成部と、前記合成画像を表示するモニタと、を備える。

上記の構成によれば、画像生成部により作業対象物が撮像された撮像画像にエンドエフェクタの予定軌道を合成した合成画像がモニタに表示される。これにより、オペレータは、作業対象物に対して所定の作業を行うようエンドエフェクタが適切に移動するかどうかを予め把握することができる。また、移動中にあるエンドエフェクタの軌道を軌道修正装置によりリアルタイムで修正することができるため、オペレータがモニタ上の合成画像を見ながら軌道修正が必要な箇所でエンドエフェクタの軌道の修正を行うことができる。このように、モニタ上の合成画像から軌道修正が必要な箇所を認識できるため、作業ごとに臨機応変に対応可能であり、また、必要な箇所のみ手動操作で軌道修正を行うことができるため、オペレータの労力を削減することができる。

上記のロボットシステムにおいて、前記画像生成部は、前記エンドエフェクタの現在位置情報を取得し、前記現在位置情報に基づいて、前記撮像画像に合成される前記エンドエフェクタの予定軌道を更新してもよい。この構成によれば、軌道修正装置により軌道修正された後のエンドエフェクタの予定軌道がモニタに表示される。このため、オペレータは、軌道修正装置により軌道修正された後も、作業対象物に対して所定の作業を行うようエンドエフェクタが移動するかどうかを予め把握することができる。

上記のロボットシステムにおいて、前記エンドエフェクタの予定軌道は、前記軌道修正装置が現時点から操作されなかった場合に予定される前記エンドエフェクタの軌道である第１予定軌道であり、前記画像生成部は、前記撮像画像に、前記軌道修正装置が操作された状態が現時点から維持された場合に予定される前記エンドエフェクタの軌道である第２予定軌道を更に合成してもよい。この構成によれば、軌道修正装置が現時点から操作されなかった場合と軌道修正装置が操作された状態が現時点から維持された場合の２つの予定軌道がモニタに示されるため、オペレータは、軌道修正装置をどのように操作すべきかについてより正確に判断することができる。

上記のロボットシステムにおいて、前記画像生成部は、前記エンドエフェクタが前記予定軌道上の所定の位置に到達したときの前記エンドエフェクタの姿勢を、当該所定の位置に表してもよい。この構成によれば、エンドエフェクタが予定軌道をたどったときにエンドエフェクタが作業対象物に対して適切に作業を行うことができる姿勢をとっているかを予め把握することができる。

本発明は、作業ごとに臨機応変に対応可能であり、且つ、オペレータの労力を削減できるロボットシステムを提供することができる。

実施形態に係るロボットシステムの構成を示す模式図である。 図１に示すロボットシステムの制御系統の構成を示す模式図である。 図２に示す動作制御部の制御系のブロック図の一例を示す図である。 図１に示すロボットシステムによるロボットアームの軌道修正の状況を示す図であり、（ａ）はモニタに表示される合成画像を示し、（ｂ）は手動操作装置の状態を示す。 図４に示された状況の少し後のロボットアームの軌道修正の状況を示す図であり、（ａ）はモニタに表示される合成画像を示し、（ｂ）は手動操作装置の状態を示す。

以下、本発明の一実施形態に係るロボットシステムについて図面を参照して説明する。本実施形態に係るロボットシステム１００は、所定の作業を繰り返し行うロボットアーム１と、手動操作によりロボットアーム１の動作を操作可能な手動操作装置２を備えたシステムである。ロボットシステム１００では、ロボットアーム１の作業領域から離れた位置（作業領域外）にいるオペレータが手動操作装置２を動かして指令を入力することで、ロボットアーム１が該指令に対応した動作を行い、特定の作業を行うことができる。また、ロボットシステム１００では、ロボットアーム１は、オペレータによる手動操作装置２の操作なしに、所定の作業を自動的に行うこともできる。

本明細書では、手動操作装置２を介して入力された指令に従って、ロボットアーム１を動作させる運転モードを「手動モード」と称する。なお、上述の「手動モード」には、オペレータが手動操作装置２を操作することによって入力された指令に基づいて動作中のロボットアーム１の動作の一部が自動で動作補正される場合も含む。また、予め設定されたタスクプログラムに従ってロボットアーム１を動作させる運転モードを「自動モード」と称する。

更に、本実施形態のロボットシステム１００では、ロボットアーム１が自動で動作している途中に、手動操作装置２の操作をロボットアーム１の自動の動作に反映させて、自動で行うことになっていた動作を修正することができるように構成されている。本明細書では、手動操作装置２を介して入力された指令を反映可能な状態で、予め設定されたタスクプログラムに従ってロボットアーム１を動作させる運転モードを「修正自動モード」と称する。なお、上述の「自動モード」は、ロボットアーム１を動作させる運転モードが自動モードであるときは手動操作装置２の操作がロボットアーム１の動作に反映されないという点で、「修正自動モード」と区別される。

まず、図１を参照して、本実施形態に係るロボットシステム１００の構成について説明する。図１は、本実施形態に係るロボットシステム１００の構成の一例を示す模式図である。図１に示すように、ロボットシステム１００は、産業用ロボット１０と、手動操作装置２と、カメラ４と、モニタ５と、入力装置７とを備える。以下、ロボットシステム１００の各構成要素について詳細に説明する。

（産業用ロボット１０の構成）
産業用ロボット１０は、ロボットアーム１と、ロボットアーム１の先端に装着されるエンドエフェクタ１６と、ロボットアーム１及びエンドエフェクタ１６の動作を司る制御装置３とを備えている。本実施形態では、産業用ロボット１０は、作業対象物（以下、「ワーク」と称する。）Ｗに対して溶接作業を行う溶接ロボットであり、エンドエフェクタ１６は溶接トーチである。ワークＷは、例えば溶接により互いに接合される２つの被溶接材であり、例えば板金である。産業用ロボット１０は、溶接トーチに電気及びシールドガスを供給する溶接機や、溶接トーチの先端にワイヤ状の溶加材を送給する溶加材送給装置などを備えている（いずれも図示略）。産業用ロボット１０は、架台１７にセットされたワークＷに対して溶接作業を行う。但し、産業用ロボット１０は、特に限定されず、例えば、組み立てロボットや塗装ロボット、塗布ロボット、検査ロボットなどであってもよい。

ロボットアーム１は、基台１５と、基台１５に支持された腕部１３と、腕部１３の先端に支持され、エンドエフェクタ１６が装着される手首部１４とを備えている。ロボットアーム１は、図１に示すように３以上の複数の関節ＪＴ１〜ＪＴ６を有する多関節ロボットアームであって、複数のリンク１１ａ〜１１ｆが順次連結されて構成されている。より詳しくは、第１関節ＪＴ１では、基台１５と、第１リンク１１ａの基端部とが、鉛直方向に延びる軸回りに回転可能に連結されている。第２関節ＪＴ２では、第１リンク１１ａの先端部と、第２リンク１１ｂの基端部とが、水平方向に延びる軸回りに回転可能に連結されている。第３関節ＪＴ３では、第２リンク１１ｂの先端部と、第３リンク１１ｃの基端部とが、水平方向に延びる軸回りに回転可能に連結されている。第４関節ＪＴ４では、第３リンク１１ｃの先端部と、第４リンク１１ｄの基端部とが、第４リンク１１ｃの長手方向に延びる軸回りに回転可能に連結されている。第５関節ＪＴ５では、第４リンク１１ｄの先端部と、第５リンク１１ｅの基端部とが、リンク１１ｄの長手方向と直交する軸回りに回転可能に連結されている。第６関節ＪＴ６では、第５リンク１１ｅの先端部と第６リンク１１ｆの基端部とが、捻れ回転可能に連結されている。そして、第６リンク１１ｆの先端部にはメカニカルインターフェースが設けられている。このメカニカルインターフェースには、ロボットアーム１の作業内容に対応したエンドエフェクタ１６が着脱可能に装着される。

上記の第１関節ＪＴ１、第１リンク１１ａ、第２関節ＪＴ２、第２リンク１１ｂ、第３関節ＪＴ３、及び第３リンク１１ｃから成るリンクと関節の連結体によって、ロボットアーム１の腕部１３が形成されている。また、上記の第４関節ＪＴ４、第４リンク１１ｄ、第５関節ＪＴ５、第５リンク１１ｅ、第６関節ＪＴ６、及び第４リンク１１ｆから成るリンクと関節の連結体によって、ロボットアーム１の手首部１４が形成されている。

関節ＪＴ１〜ＪＴ６には、それが連結する２つの部材を相対的に回転させるアクチュエータの一例としての駆動モータＭ１〜Ｍ６（図２及び図３参照）が設けられている。駆動モータＭ１〜Ｍ６は、例えば、制御装置３によってサーボ制御されるサーボモータである。また、関節ＪＴ１〜ＪＴ６には、駆動モータＭ１〜Ｍ６の回転位置を検出するための回転センサＥ１〜Ｅ６（図２及び図３参照）と、駆動モータＭ１〜Ｍ６の回転を制御する電流を検出するための電流センサＣ１〜Ｃ６（図３参照）とが設けられている。回転センサＥ１〜Ｅ６は、例えばエンコーダである。なお、上記の駆動モータＭ１〜Ｍ６、回転センサＥ１〜Ｅ６、及び電流センサＣ１〜Ｃ６の記載では、各関節ＪＴ１〜ＪＴ６に対応してアルファベットに添え字の１〜６が付されている。以下では、関節ＪＴ１〜ＪＴ６のうち任意の関節を示す場合には添え字を省いて「ＪＴ」と称し、駆動モータＭ、回転センサＥ及び電流センサＣについても同様とする。

制御装置３は、例えば、マイクロコントローラ、ＭＰＵ、ＰＬＣ（Programmable Logic Controller）、論理回路等からなる演算部（図示せず）と、ＲＯＭやＲＡＭ等からなるメモリ部（図示せず）とにより構成されている。

図２は、ロボットシステム１００の制御系統の構成を示す模式図である。なお、図２では、簡略化のため、駆動モータＭ及び回転センサＥを１つずつ示し、電流センサＣは省略している。図２に示すように、制御装置３は、機能ブロックとして、動作制御部３１、記憶部３２及び画像生成部３３を備えている。例えば、制御装置３が備える機能ブロックは、制御装置３の演算部がメモリ部に格納されているプログラムを読み出し実行することにより実現できる。

記憶部３２には、エンドエフェクタ１６を自動で移動させるための情報が予定軌道情報３４として記憶されている。予定軌道情報３４は、例えば、教示作業により所定の作業を行うようロボットアーム１を動作させて記憶された教示情報である。予定軌道情報３４は、時系列データを含む軌道情報であってもよいし、飛び飛びの点のポーズを表した経路情報であってもよい。なお、本実施形態に係るロボットシステム１００では、記憶部３２は、制御装置３に設けられているが、制御装置３と別体として設けられていてもよい。動作制御部３１は、ロボットアーム１の動作を制御する。動作制御部３１及び画像生成部３３について、詳細は後述する。

（手動操作装置２）
図１に戻って、手動操作装置２は、オペレータからの操作指示を受け付ける装置である。手動操作装置２は、ロボットアーム１の作業領域外に設置されている。手動操作装置２は、オペレータにより手動で操作される操作部２１を有する。本実施形態における手動操作装置２は、例えばジョイスティックであり、操作部２１は、揺動式の操作レバーである。手動操作装置２の操作部２１が操作されることにより、操作情報が生成される。操作情報は、操作部２１の操作量及び操作方向に関する情報を含む。本実施形態では、操作部２１の操作量は、操作レバーの傾倒操作量であり、操作部２１の操作方向は、操作レバーの傾倒操作方向である。生成された操作情報は、制御装置３に送られる。

本実施形態のロボットシステム１００では、ロボットアーム１を動作させる運転モードが手動モードであるときに操作情報が制御装置３に送られると、ロボットアーム１は、操作情報に応じた、すなわち操作部２１の操作量や操作方向に応じた動作を行う。また、ロボットアーム１を動作させる運転モードが修正自動モードであるときに操作情報が制御装置３に送られると、自動で動作している途中のロボットアーム１の軌道が、操作情報に応じて、すなわち操作部２１の操作量や操作方向に応じて修正される。後述するように、本実施形態では、手動操作装置２は、移動中にあるエンドエフェクタ１６の軌道を修正する軌道修正装置として機能する。

操作部２１からオペレータが手を離したとき、操作部２１は、ばねなどの付勢部材により、どの方向にも操作されていないニュートラルな状態に戻るように構成されている。以下、操作部２１がオペレータにより操作されている状態（すなわち、操作部２１がニュートラルにない状態）を、手動操作装置２の「操作状態」と称し、操作部２１がオペレータにより操作されていない状態（すなわち、操作部２１がニュートラルにある状態）を、手動操作装置２の「無操作状態」と称する。但し、操作部２１は、操作部２１からオペレータが手を離したときにニュートラルな状態に戻るように構成されていなくてもよく、例えば、操作部２１からオペレータが手を離したときに、操作部２１が手を離す前の状態を維持するように構成されていてもよい。この場合、オペレータが操作部２１から手を離していても、操作部２１がニュートラルな状態にない限り、操作部２１が操作されているものとみなす。

（カメラ４及びモニタ５）
カメラ４は、ワークＷと、ワークＷに対して所定の作業を行うエンドエフェクタ１６を撮像する。カメラ４は、ロボットアーム１が設けられている空間に設置されている。カメラ４は、それにより撮像される画像に、ワークＷと、ワークＷに対して直接働きかけるエンドエフェクタ１６の先端部（溶接トーチの先端部）が含まれるようセットされる。より詳しくは、カメラ４は、ワークＷにおける作業箇所と、ワークＷに対して作業するエンドエフェクタ１６の軌道が認識可能な位置にセットされている。本実施形態では、カメラ４は、ワークＷを上方から撮像するように設けられているが、特に限定されず、斜め上方からワークＷを撮像するように設けられてもよい。例えば、架台１７にセットされたワークＷにおける作業箇所が鉛直方向に延びており、エンドエフェクタ１６が鉛直方向に移動しながらワークＷに対して作業する場合には、カメラ４はワークＷに対して横向きに撮像するようにセットされてもよい。また、本実施形態では、カメラ４は、架台１７にセットされたワークＷに対して相対的な位置が一定となるように設けられている。

カメラ４は、制御装置３に接続されている。カメラ４と制御装置３は、互いに有線により接続されてもよいし、無線により接続されてもよい。

カメラ４により撮像された撮像画像は、制御装置３の画像生成部３３に送られる。また、画像生成部３３には、記憶部３２から予定軌道情報３４が送られる。画像生成部３３は、カメラ４から送られた撮像画像に、予定軌道情報３４から得られるエンドエフェクタ１６の予定軌道を合成した合成画像を生成する。より詳しくは、画像生成部３３は、カメラ４から送られる撮像画像を背景として、この撮像画像上にエンドエフェクタ１６の先端部の予定軌道を重畳させる。

また、画像生成部３３は、撮像画像上のエンドエフェクタ１６の現在位置情報を取得し、現在位置情報に基づいて、撮像画像に合成されるエンドエフェクタ１６の予定軌道を更新する。本実施形態では、画像生成部３３は、回転センサＥから送られる各駆動モータＭの回転位置情報から撮像画像上の現在位置を算出する。但し、現在位置情報の取得方法はいかなる方法であってもよく、例えば画像生成部３３は、動作制御部３１から現在位置情報を取得してもよい。

本実施形態では、画像生成部３３は、第１予定軌道Ｌ₁と第２予定軌道Ｌ₂の２つの予定軌道を撮像画像に合成する。

第１予定軌道Ｌ₁は、現時点での手動操作装置２の状態を無操作状態にしたときにエンドエフェクタ１６がたどる予定の軌道である。言い換えれば、第１予定軌道Ｌ₁は、手動操作装置２が現時点から操作されなかった場合に予定されるエンドエフェクタ１６の軌道である。第１予定軌道Ｌ₁は、記憶部３２から送られた予定軌道情報３４及びエンドエフェクタ１６の現在位置情報に基づいて、画像生成部３３により生成される。

また、第２予定軌道Ｌ₂は、現時点での手動操作装置２の操作状態（操作部２１の操作量及び操作方向を含む）が維持されたときにエンドエフェクタ１６がたどる予定の軌道である。言い換えれば、第２予定軌道Ｌ₂は、手動操作装置２が操作された状態が現時点から維持された場合に予定されるエンドエフェクタ１６の軌道である。第２予定軌道Ｌ₂は、記憶部３２から送られた予定軌道情報３４、エンドエフェクタ１６の現在位置情報、及び現時点で送られた操作情報に基づいて、画像生成部３３により生成される。

現時点で手動操作装置２が無操作状態にある場合、第２予定軌道Ｌ₂と第１予定軌道Ｌ₁とは同じ軌道となる。このため、画像生成部３３は、重複を避けるため、第１予定軌道Ｌ₁のみを撮像画像に合成する。

撮像画像に合成される第１及び第２予定軌道Ｌ₁，Ｌ₂は、オペレータが見て分かるものであれば、いかなる態様であってもよい。例えば、合成画像上の第１及び第２予定軌道Ｌ₁，Ｌ₂は、エンドエフェクタ１６の先端部を代表点として、予定軌道情報３４から該代表点が撮像画像上でたどると予想される線を、実線や破線などで表したものであってもよい。本実施形態では、画像生成部３３は、撮像画像上に、第１予定軌道Ｌ₁を細い破線で表示し、第２予定軌道Ｌ₂を太い破線で表示する。

また、画像生成部３３は、エンドエフェクタ１６の姿勢を表す画像である姿勢画像を撮像画像に合成する。具体的には、画像生成部３３は、エンドエフェクタ１６がその予定軌道上の所定の位置に到達したときのエンドエフェクタ１６の姿勢を、当該所定の位置に表す。本実施形態では、エンドエフェクタ１６が第１予定軌道Ｌ₁上の所定の位置に到達したときのエンドエフェクタ１６の姿勢画像Ｐ₁が、撮像画像の当該所定の位置に合成される。また、エンドエフェクタ１６が第２予定軌道Ｌ₂上の所定の位置に到達したときのエンドエフェクタ１６の姿勢画像Ｐ₂が、撮像画像の当該所定の位置に合成される。

ここで、エンドエフェクタ１６の姿勢画像が表示される「予定軌道上の所定の位置」は、特に限定されず、例えば、エンドエフェクタ１６の現在位置から予定軌道に沿って所定距離だけエンドエフェクタ１６が進んだときに予定されるエンドエフェクタ１６の位置でもよいし、現時点から所定時間経過したときに予定されるエンドエフェクタ１６の位置でもよい。また、姿勢画像Ｐ₁，Ｐ₂は、それぞれ複数であってもよい。例えば、複数の姿勢画像Ｐ₁が、第１予定軌道Ｌ₁に沿って互いに間隔をあけて撮像画像に合成されてもよい。

エンドエフェクタ１６の姿勢を表す画像Ｐ₁，Ｐ₂は、ワークＷに対するエンドエフェクタ１６の向きを示すものであればいかなる態様であってもよく、例えば、ワークＷに対する矢印表示であってもよいし、エンドエフェクタ１６を模した図形であってもよい。あるいは、エンドエフェクタ１６の姿勢を表す画像Ｐ₁，Ｐ₂は、カメラ４とは別のカメラによってエンドエフェクタ１６を撮像した実際の撮像画像であってもよい。本実施形態では、エンドエフェクタ１６の姿勢を表す画像Ｐ₁，Ｐ₂は、エンドエフェクタ１６である溶接トーチの先端部を模式的に表したものであり、該溶接トーチをその進行方向から見たときのワークＷに対する溶接トーチの向きを表したものである。

なお、本実施形態に係るロボットシステム１００では、画像生成部３３は、制御装置３に設けられているが、制御装置３と別体として設けられていてもよい。

制御装置３は、モニタ５に接続されており、画像生成部３３で生成された合成画像は、モニタ５に送られ出力される。モニタ５と制御装置３は、互いに有線により接続されてもよいし、無線により接続されてもよい。モニタ５は、手動操作装置２が設けられている空間に設置されている。オペレータは、モニタ５に出力された合成画像を見て、ワークＷの作業されるべき箇所とエンドエフェクタ１６の先端部の予定軌道とを比較し、ワークＷに対し適切に作業が行われるよう手動操作装置２を操作する。

（入力装置７）
入力装置７は、手動操作装置２とともに作業領域外に設置され、オペレータからの操作指示を受け付け、受け付けた操作指示を制御装置３に入力する入力装置である。本実施形態では、入力装置７は、コンピュータであるが、特に限定されず、例えば、スイッチ、調整ツマミ、操作レバー又はタブレットなどの携帯端末であってもよい。

図２に示すように、入力装置７は、モード選択部７１と表示操作部７２を備えている。モード選択部７１は、ロボットアーム１を動作させる運転モードを、上述した自動モード、修正自動モード及び手動モードからオペレータが選択するために使用される。モード選択部７１で選択された運転モードに関する情報は、制御装置３の動作制御部３１に送られる。動作制御部３１は、モード選択部７１から送られた情報に基づき、すなわちモード選択部７１で選択されている運転モードに従い、ロボットアーム１を動作させる。

具体的に、動作制御部３１には、記憶部３２に記憶された予定軌道情報３４が、ロボットアーム１に自動で動作させるための情報として送られる。また、動作制御部３１には、手動操作装置２を操作することにより生成された操作情報が送られる。動作制御部３１は、モード選択部７１で選択されている運転モードに従い、予定軌道情報３４及び操作情報の一方又は両方を用いる。

モード選択部７１で選択されている運転モードが手動モードであるとき、動作制御部３１は操作情報を用いる。より詳しくは、動作制御部３１は、ロボットアーム１を動作させる運転モードが手動モードであるとき、記憶部３２から送られた予定軌道情報３４を用いず、手動操作装置２を操作することにより送られた操作情報（入力指令）を用いて、ロボットアーム１の動作を制御する。

また、モード選択部７１で選択されている運転モードが自動モードであるとき、動作制御部３１は予定軌道情報３４を用いる。より詳しくは、動作制御部３１は、ロボットアーム１を動作させる運転モードが自動モードであるとき、手動操作装置２から送られた操作情報を用いず、予め設定されたタスクプログラムに従って記憶部３２から送られた予定軌道情報３４を用いてロボットアーム１の動作を制御する。

また、モード選択部７１で選択されている運転モードが修正自動モードであるとき、動作制御部３１は、予定軌道情報３４と操作情報の両方を用いる。なお、運転モードが修正自動モードであるときに、操作情報が動作制御部３１に送られていない場合は、動作制御部３１は予定軌道情報３４のみを用いる。より詳しくは、動作制御部３１は、ロボットアーム１を動作させる運転モードが修正自動モードであるとき、ロボットアーム１が予定軌道情報３４を用いて自動で動作している途中に操作情報を受けると、予定軌道情報３４と操作情報の両方を用いてロボットアーム１の動作を制御する。これにより、ロボットアーム１が予定軌道情報３４に基づき自動でたどることになっていた予定の軌道が修正される。

表示操作部７２は、モニタ５に表示される画像を操作するために使用される。例えば、オペレータは、表示操作部７２を操作して、モニタ５に表示される画像の拡大又は縮小したり、予定軌道の表示方法などを変更したりすることができる。

以下では、ロボットアーム１を動作させる運転モードが修正自動モードであるときのロボットアーム１の軌道修正について、図３を参照して説明する。図３は、動作制御部３１の制御系のブロック図の一例を示す図である。この例では、予定軌道情報３４及び操作情報は、例えば時系列データを含む軌道情報である。

動作制御部３１は、加算器３１ａ、減算器３１ｂ，３１ｅ，３１ｇ、位置制御器３１ｃ、微分器３１ｄ、速度制御器３１ｆを備え、予定軌道情報３４に基づく指令値及び操作情報に基づく指令値により、ロボットアーム１の駆動モータＭの回転位置を制御する。

加算器３１ａは、予定軌道情報３４に基づく位置指令値に、操作情報に基づく修正指令値を加算することによって、修正された位置指令値を生成する。加算器３１ａは、修正された位置指令値を減算器３１ｂに送る。

減算器３１ｂは、修正された位置指令値から、回転センサＥで検出された位置現在値を減算して、角度偏差を生成する。減算器３１ｂは、生成した角度偏差を位置制御器３１ｃに送る。

位置制御器３１ｃは、予め定められた伝達関数や比例係数に基づいた演算処理により、減算器３１ｂから送られた角度偏差から速度指令値を生成する。位置制御器３１ｃは、生成した速度指令値を減算器３１ｅに送る。

微分器３１ｄは、回転センサＥで検出された位置現在値情報を微分して、駆動モータＭの回転角度の単位時間あたりの変化量、すなわち速度現在値を生成する。微分器３１ｄは、生成した速度現在値を減算器３１ｅに送る。

減算器３１ｅは、位置制御器３１ｃから送られた速度指令値から、微分器３１ｄから送られた速度現在値を減算して、速度偏差を生成する。減算器３１ｅは、生成した速度偏差を速度制御器３１ｆに送る。

速度制御器３１ｆは、予め定められた伝達関数や比例係数に基づいた演算処理により、減算器３１ｅから送られた速度偏差からトルク指令値（電流指令値）を生成する。速度制御器３１ｆは、生成したトルク指令値を減算器３１ｇに送る。

減算器３１ｇは、速度制御器３１ｆから送られたトルク指令値から、電流センサＣで検出された電流現在値を減算して、電流偏差を生成する。減算器３１ｇは、生成した電流偏差を駆動モータＭに送り、駆動モータＭを駆動する。

このように動作制御部３１は駆動モータＭを制御して、予定軌道情報３４に関する軌道から修正された軌道で動作を行うようロボットアーム１を制御する。なお、ロボットアーム１の運転モードが自動モードであるときは、減算器３１ｂに予定軌道情報３４に基づく位置指令値が送られ、ロボットアーム１の運転モードが手動モードであるときは、減算器３１ｂに操作情報に基づく位置指令値が送られる。

以下、図４及び図５を参照して、ロボットアーム１の軌道修正の一例として、溶接作業を行うロボットアーム１の軌道修正を説明する。図４及び図５には、ロボットアーム１を動作させる運転モードとして修正自動モードが選択されているときにロボットアーム１の軌道（すなわち、エンドエフェクタ１６の軌道）を手動操作装置２により修正する様子が示される。

図４（ａ）には、ある時点でのモニタ５上の合成画像が示されている。また、図４（ｂ）には、当該時点での手動操作装置２の状態が示される。具体的には、図４（ａ）には、モニタ５に表示される２つのワークＷ（Ｗ_A，Ｗ_B）とエンドエフェクタ１６の予定軌道が示されている。なお、実際には、モニタ５にエンドエフェクタ１６の先端部が映し出されているが、図４（ａ）では省略している。２つのワークＷ_A，Ｗ_Bは、溶接されて互いに接合される被溶接材である。図４（ａ）に示された細線は、２つのワークＷ_A，Ｗ_Bの接合箇所であって、溶接されることになる部分（以下、「接合線」と称する。）である。図４（ａ）に示された太線は、２つのワークＷ_A，Ｗ_Bの接合箇所であって、既に溶接された部分である。図４（ａ）に示された太線と細線の継ぎ目である黒点は、エンドエフェクタ１６の先端部の現在位置である。

図４（ｂ）に示すように、この時点で手動操作装置２は無操作状態にある。このため、図４（ａ）に示すように、合成画像には、現在位置からのエンドエフェクタ１６の予定軌道として、第２予定軌道Ｌ₂は示されず、第１予定軌道Ｌ₁のみが細い破線で示されている。また、図４（ａ）には、エンドエフェクタ１６が第１予定軌道Ｌ₁上の所定の位置に到達したときのエンドエフェクタ１６の姿勢画像Ｐ₁が当該位置に表示されている。図４（ａ）に示すように、第１予定軌道Ｌ₁は、エンドエフェクタ１６の先端部の現在位置から本図の紙面下方に直線状に延びている。他方、接合線は、エンドエフェクタ１６の先端部の現在位置から本図の紙面下方に第１予定軌道Ｌ₁に沿って延びているが、途中から紙面左方に曲がっている。すなわち、第１予定軌道Ｌ₁は、その軌道の途中から接合線との間に乖離が生じている。このような第１予定軌道Ｌ₁と接合線との乖離は、例えば被溶接材であるワークごとのばらつきから生じ得る。

ワークＷ_A，Ｗ_Bに対して適切に溶接作業を行うために、エンドエフェクタ１６の実際の軌道は接合線に沿わせる必要がある。オペレータは、モニタ５を見て、手動操作装置２で軌道修正すべきか否かを確認する。エンドエフェクタ１６の先端部の第１予定軌道Ｌ₁は、図４（ａ）に示した現在位置からの軌道の途中までは接合線に沿っているため、オペレータは、第１予定軌道Ｌ₁が接合線から逸脱する箇所までは、手動操作装置２を操作しない。その結果、動作制御部３１は、予定軌道情報３４のみを用いてロボットアーム１の動作を制御し、エンドエフェクタ１６の先端部は予定軌道に沿って、すなわち接合線に沿って移動する。

また、図５（ａ）には、図４（ａ）の合成画像が示された時点の少し後の時点のモニタ５上の合成画像が示されており、図５（ｂ）には、図５（ａ）の合成画像が示された時点での手動操作装置２の状態が示される。図５（ｂ）に示すように、この時点で手動操作装置２は操作状態にある。このため、図５（ａ）に示すように、合成画像には、現在位置からのエンドエフェクタ１６の予定軌道として、第１予定軌道Ｌ₁が細い破線で、第２予定軌道Ｌ₂が太い破線で示されている。図５（ａ）には、参考のため、図４（ａ）に示した第１予定軌道Ｌ₁が二点鎖線で示されている。また、図５（ａ）には、エンドエフェクタ１６が第１予定軌道Ｌ₁上の所定の位置に到達したときのエンドエフェクタ１６の姿勢画像Ｐ₁が当該位置に表示されており、エンドエフェクタ１６が第２予定軌道Ｌ₂上の所定の位置に到達したときのエンドエフェクタ１６の姿勢画像Ｐ₂が当該位置に表示されている。

オペレータは、モニタ５を見て、図４（ａ）に示した第１予定軌道Ｌ₁（図５（ａ）で二点鎖線で示した軌道）が接合線から逸脱する箇所にエンドエフェクタ１６の先端部が到達した時点から、手動操作装置２を操作して、図５（ａ）に示すように、エンドエフェクタ１６の先端部の軌道が接合線に沿うように軌道修正する。また、エンドエフェクタ１６の先端部の移動と共に、その現在位置からの第１及び第２予定軌道Ｌ₁，Ｌ₂は、随時更新されてモニタ５に表示されている。このため、オペレータは、現在位置からの第１及び第２予定軌道Ｌ₁，Ｌ₂と、撮像画像上の作業を適切に遂行するために要求される軌道（この例では接合線に沿った軌道）との乖離を随時確認することができる。従って、オペレータは、モニタ５を見て、手動操作装置２の操作開始タイミングや操作停止タイミング、手動操作装置２の操作方向や操作量（操作の程度）を判断することができる。また、オペレータは、エンドエフェクタ１６である溶接トーチの姿勢画像Ｐ₁，Ｐ₂を見て、予定軌道Ｌ₁，Ｌ₂をたどったときの接合線に対する溶接トーチの角度が適切に溶接作業を行う角度となっているかを予め判断することができる。

以上説明したように、本実施形態に係るロボットシステム１００では、画像生成部３３によりワークＷが撮像された撮像画像にエンドエフェクタ１６の予定軌道を合成した合成画像がモニタ５に表示されるため、オペレータは、ワークＷに対して所定の作業を行うようエンドエフェクタ１６が適切に移動するかどうかを予め把握することができる。また、移動中にあるエンドエフェクタ１６の軌道を軌道修正装置としての手動操作装置２によりリアルタイムで修正することができるため、オペレータがモニタ５上の合成画像を見ながら軌道修正が必要な箇所でエンドエフェクタ１６の軌道の修正を行うことができる。

このように、本実施形態に係るロボットシステム１００では、モニタ５上の合成画像から軌道修正が必要な箇所を認識できるため、作業ごとに臨機応変に対応可能であり、また、必要な箇所のみ手動操作でエンドエフェクタ１６の軌道修正を行うことができるため、オペレータの労力を削減することができる。

また、本実施形態では、手動操作装置２により軌道修正された後のエンドエフェクタ１６の予定軌道がモニタ５に表示される。このため、オペレータは、手動操作装置２により軌道修正された後も、ワークＷに対して所定の作業を行うようエンドエフェクタ１６が移動するかどうかを予め把握することができる。

また、本実施形態では、モニタ５に、手動操作装置２が現時点から操作されなかった場合と軌道修正装置が操作された状態が現時点から維持された場合の２つの予定軌道Ｌ₁，Ｌ₂が示されるため、オペレータは、手動操作装置２をどのように操作すべきかについてより正確に判断することができる。

また、本実施形態では、エンドエフェクタ１６が予定軌道Ｌ₁，Ｌ₂上の所定の位置に到達したときのエンドエフェクタ１６の姿勢がモニタに表示されるため、エンドエフェクタ１６が予定軌道Ｌ₁，Ｌ₂をたどったときにエンドエフェクタ１６がワークＷに対して適切に作業を行うことができる姿勢をとっているかを予め把握することができる。

本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変形が可能である。

例えば、上記実施形態では、画像生成部３３が現在位置情報に基づいて撮像画像に合成されるエンドエフェクタ１６の予定軌道を更新したが、画像生成部３３は、エンドエフェクタ１６の予定軌道を更新せずに、予定軌道情報３４に基づいて合成画像に当初示された予定軌道を常に表示するように構成されてもよい。また、上記実施形態では、撮像画像に合成される予定軌道として、第１予定軌道Ｌ₁と第２予定軌道Ｌ₂が示されたが、画像生成部３３は、第１予定軌道Ｌ₁と第２予定軌道Ｌ₂のいずれか一方のみを撮像画像に合成するように構成されてもよい。また、画像生成部３３は、エンドエフェクタ１６の姿勢を表す画像である姿勢画像Ｐ₁，Ｐ₂を撮像画像に合成しなくてもよい。

また、上記実施形態では、手動操作装置２はジョイスティックであったが、別の構成の手動操作装置２であってもよく、例えば操作部２１として方向キーを備えた手動操作装置２であってもよい。また、手動操作装置２は、複数の装置により構成されていてもよく、例えば２つのジョイスティックにより構成されてもよい。

また、ロボットシステム１００は、マスタースレーブ方式のロボットを利用したシステムであってもよく、手動操作装置２は、スレーブアームとしてのロボットアーム１と相似構造をしたマスターアームであってもよい。この場合、ロボットアーム１を動作させる運転モードが手動モードであるとき、手動で動かされたマスターアーム２の動きに追随してロボットアーム１が動作する。また、この場合、画像生成部３３は、第１予定軌道Ｌ₁のみを撮像画像に合成するように構成されてもよい。

また、上記実施形態では、ロボットシステム１００が１つのカメラ４を備える構成であったが、ロボットシステム１００は複数のカメラを備えてもよい。例えば、ロボットシステム１００は、上方からワークＷの作業箇所を撮像するカメラ４に加えて、横方向からワークＷの作業箇所を撮像するカメラを備えた構成であってもよい。この場合、画像生成部３３は、横方向から撮像するカメラから送られた撮像画像上にも予定軌道を合成し、モニタ５に合成画像を送ってもよい。上方から撮像するカメラ４に関する合成画像と、横方向に撮像するカメラに関する合成画像の両方は、１つのモニタ５に表示されてもよいし、別々のモニタに表示されてもよい。この構成によれば、オペレータが、複数の合成画像からワークＷと予定軌道との関係を３次元的に把握できるため、より適切な軌道修正を行うことができる。

上記の実施形態では、モード選択部７１や表示操作部７２などの各入力部は、１つの入力装置７に備えられているが、別々の入力装置に設けられてもよい。また、手動操作装置２と入力装置７が一体的に構成されてもよい。

また、上記実施形態では、手動操作装置２を操作して手動モードでロボットアーム１を動作させることができるように構成されていたが、ロボットアーム１を動作させる運転モードは、手動モードを含まなくてもよい。この場合、手動操作装置２は、修正自動モードのときのみ使用される軌道修正装置として利用され、モード選択部７１は、ロボットアーム１を動作させる運転モードを、自動モードと修正自動モードのいずれかからオペレータが選択するために使用されてもよい。

１ ロボットアーム
１６ エンドエフェクタ
２ 手動操作装置（軌道修正装置）
３ 制御装置
３１ 動作制御部
３２ 記憶部
３３ 画像生成部
３４ 予定軌道情報
４ カメラ
５ モニタ
７１ モード選択部

Claims (3)

1. 作業対象物に対して作業するためのエンドエフェクタを有するロボットアームと、
   前記エンドエフェクタを移動させるための情報が予定軌道情報として記憶された記憶部と、
   前記予定軌道情報を用いて前記ロボットアームを動作させて前記エンドエフェクタを移動させる動作制御部と、
   操作されることにより、移動中にある前記エンドエフェクタの軌道を修正するための操作情報を生成する軌道修正装置と、
   前記作業対象物を撮像するカメラと、
   前記カメラから送られた撮像画像に、前記予定軌道情報から得られる前記エンドエフェクタの予定軌道を合成した合成画像を生成する画像生成部と、
   前記合成画像を表示するモニタと、を備え、
   前記画像生成部は、前記エンドエフェクタの現在位置情報を取得し、前記現在位置情報に基づいて、前記撮像画像に合成される前記エンドエフェクタの予定軌道を更新し、
   前記エンドエフェクタの前記予定軌道は、前記軌道修正装置が操作された状態が現時点から維持された場合に予定される前記エンドエフェクタの軌道である、ロボットシステム。
2. 前記画像生成部は、前記撮像画像に、前記軌道修正装置が現時点から操作されなかった場合に予定される前記エンドエフェクタの軌道を更に合成する、請求項１に記載のロボットシステム。
3. 前記画像生成部は、前記エンドエフェクタが前記予定軌道上の所定の位置に到達したときの前記エンドエフェクタの姿勢を、当該所定の位置に表す、請求項１または２に記載のロボットシステム。

Images