JP6669714B2

JP6669714B2 - 教示操作盤およびロボット制御システム

Info

Publication number: JP6669714B2
Application number: JP2017227509A
Authority: JP
Inventors: 徳光上村; 正明上松
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 2017-11-28
Filing date: 2017-11-28
Publication date: 2020-03-18
Anticipated expiration: 2037-11-28
Also published as: US10766135B2; CN109834697B; US20190160655A1; JP2019093535A; DE102018129292A1; DE102018129292B4; CN109834697A

Description

本発明は、ロボットの教示操作盤およびロボット制御システムに関する。

産業用ロボットの使用環境下では、治具やワークの誤差、生産ラインとロボットの位置関係のずれ等を要因として、ロボットの加工位置や動作軌跡に予めオフラインで作成した位置からのずれが生じる場合があるため、教示操作盤を用いた現場での修正作業が必要となる。このような動作教示の操作におけるオペレータの負担を減らすための技術として、オペレータの身体座標系での動作指示をロボットの動作を規定する座標系に変換する技術が知られている（例えば、特許文献１参照）。

特開２００９−１１９５７９号公報

しかしながら、生産ラインの現場では、ロボットが照明が落とされた暗い環境下で使用される場合があり、このような現場でオペレータがロボットの加工位置や動作軌跡を目視確認しながら教示操作盤を用いて修正指示を行うことは、オペレータにとって負担が大きく作業に時間を要することとなる。また、例えば、ワークによっては、ロボットによる加工位置がオペレータが覗き込まなければ目視することができない部位にある場合がある。このような状況下でオペレータが加工位置を目視確認しながら教示操作盤を用いて修正指示を行うのは、オペレータにとって負担が大きい。これらの場面でも、確認や修正指示の作業の負担を軽減し作業効率を向上させることが望まれる。

本開示の一態様は、ロボットの教示を行う教示操作盤であって、前記教示操作盤の第１の面に配置された、操作入力を行うための操作部と、前記教示操作盤における前記第１の面と反対側の第２の面に配置されたカメラと、前記第１の面に配置され、前記カメラで撮像された画像を表示する表示部と、ワークに対する前記ロボットの加工点に関する情報と、前記ワークの形状モデルに関する情報とに基づいて、前記カメラで撮影されている前記ワークの部分の撮影画像の前記形状モデル内での位置を特定すると共に、前記撮影画像内に含まれる加工点に最も近い位置にある未修正の加工点であって前記撮影画像の範囲外に存在する加工点の位置を示す情報を前記撮影画像に表示する画像処理部と、を備える教示操作盤である。

また、本開示の他の態様は、上記教示操作盤と、教示操作盤と接続されたロボット制御装置と、ロボット制御装置と接続され、ロボット制御装置の制御下で動作するロボットと、を備えるロボット制御システムである。

上記構成によれば、オペレータによる加工点の確認や修正の作業負担を軽減し、作業効率を向上させることができる。

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。

一実施形態に係る教示操作盤１の正面図である。図１の教示操作盤を側面側からみた場合の模式図である。ロボット制御システムの全体構成を表すブロック図である。図１の教示操作盤のハードウェア構成の一例を示す図である。スポット溶接の打点修正を行う場合の動作を表すフローチャートである。オペレータの打点確認・修正の作業をアシストする画像の第１の例を示す図である。オペレータの打点確認・修正の作業をアシストする画像の第２の例を示す図である。教示操作盤の前面にカメラを配置した構成例を表す図である。教示操作盤にカメラインタフェースを設け、外部カメラを装着した場合の構成を表す参考図である。

次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。

図１は一実施形態に係る教示操作盤１の正面図である。図１に示すように、教示操作盤１は、オペレータが各種操作入力を行うための操作部１０と、グラフィック表示を行うことのできる液晶表示装置（ＬＣＤ）２０とを有する。オペレータは、操作部１０を操作することによって教示点の指定などの各種操作入力を行うことができる。本実施形態に係る教示操作盤１は、操作部１０およびＬＣＤ２０が設けられた面を前面と定義すると、背面側にカメラ３０を有する。なお、カメラ３０は被写体を照明する照明機能、およびズーム機能を有するように構成されていても良い。

図２は、教示操作盤１を側面側からみた場合の模式図であり背面側に配置されたカメラ３０の位置を示している。図２に示すように、カメラ３０は、教示操作盤１の背面側の被写体Ｓを撮像することができる。カメラ３０によって撮影された画像は、ＬＣＤ２０に表示される。カメラ３０は、教示操作盤１の背面上の、上側の位置に配置されている。操作部１０は、教示操作盤１の前面において下側に配置されているので、オペレータが教示操作盤１を手で把持して各種操作入力を行う際に、カメラ３０の視野がオペレータの手で遮られることがないようになっている。また、カメラ３０は、ＬＣＤ２０の真裏に配置されているので、カメラ３０の視界とオペレータの視界を概ね一致させることができ、オペレータとっての利便性を高めることができる構成となっている。

教示操作盤１の代表的な使用例は、自動車生産ラインにおけるスポット溶接ロボットの打点修正の作業である。自動車生産ラインでは、通常はスポット溶接ロボットは照明が暗く落とされた環境下で使用されるため、スポット溶接ロボットの打点修正の作業では、オペレータは暗い環境での作業を強いられる。従来は、このような環境でのスポット溶接ロボットの打点修正の作業は、オペレータが打点を直接、目視確認して修正指示を入力するというものであった。それに対し、本実施形態の教示操作盤１を用いることで、オペレータはワークの打点付近を、認識しやすい画像としてＬＣＤ２０に表示させた上で打点が正しいかの確認を行うことができるので、オペレータの負担が減ると共に、いっそう確実に打点の確認及び修正を行うことができるようになる。スポット溶接の部位は、ワークにおけるヒトの頭が入りにくいような箇所にある場合も少なくないが、本実施形態によれば、このような場合にも、オペレータは教示操作盤１をヒトの頭が入りにくいような場所に手で持って進入させて打点付近の画像を表示させて、確実に打点の確認を行うことができる。

図３は、上述のような生産ラインで使用されるスポット溶接ロボット等の制御を行うロボット制御システム１００の全体構成を表すブロック図である。図３に示すようにロボット制御システム１００は、ロボット制御装置５０にロボット７０と教示操作盤１とが接続された構成となっている。ロボット制御装置５０には、ロボット７０の動作を制御するロボットプログラムやワークの形状データ等の各種データが記憶装置内に格納されており、このロボットプログラムを実行することでロボット７０の制御が行われる。また、教示操作盤１を用いて入力された打点位置等の各種動作教示データは、ロボット制御装置５０側に送られてロボット７０の制御に反映される。なお、ロボット制御装置５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク等の記憶装置、通信インタフェース等を有するコンピュータによって構成されていても良い。

図４は、教示操作盤１のハードウェア構成の一例を示す図である。図４に示すように、教示操作盤１は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、フラッシュメモリ１４と、ＩＣカード１５ａを装着する為のＰＣＭＣＩＡ（Personal Computer Memory Card International Association）規格のＰＣＭＣＩＡソケット１５と、液晶表示装置（ＬＣＤ）インタフェース１６と、タッチパネルインタフェース１７と、ロボット制御装置５０と接続する為の通信インタフェース１８と、操作部インタフェース１９とを備え、これらの構成要素はそれぞれバス２１を介して接続されている。教示操作盤１は、さらに、ＬＣＤインタフェース１６に接続されたＬＣＤ２０と、ＬＣＤ２０の表示面に装着され、タッチパネルインタフェース１７に接続されたタッチパネル２０ａと、操作部インタフェース１９に接続された操作部１０とを備えている。

さらに、本実施形態の教示操作盤１では、バス２１にカメラインタフェース３１が接続され、このカメラインタフェース３１にカメラ３０が接続されている。カメラ３０は、カメラ制御部３２と、ズーム機能付きの撮影レンズ３３と、撮像素子３４と、照明装置３５例えば、ＬＥＤライト）とを有する。撮影レンズ３３と撮像素子３４は、カメラ制御部３２に接続され、カメラ制御部３２によって駆動制御される。カメラ制御部３２は、撮影レンズ３３と撮像素子３４を駆動制御することによって、オートフォーカス、ズーミング、リアルタイム映像の取り込み、静止画取り込み等の各種動作を実行する。この構成において、オペレータが操作部１０を操作することで、操作入力したカメラ３０に対する各種の操作命令（カメラ３０の起動、静止画の取り込み、ズーミング等）が、ＣＰＵ１１を介してカメラ制御部３２に入力され、操作命令に応じた動作が実行される。

次に、図５を参照して、ロボット制御システム１００においてロボット７０として溶接ロボットが用いられる場合にスポット溶接の打点修正を行う場合の動作フローの例について説明する。図５は、スポット溶接の打点修正の動作フローを示している。例えば、自動車の生産ラインを例として取りあげると、新しい車種をラインで流す場合には、各種治具やワークの誤差、生産ラインとロボットの位置関係を要因として、打点や姿勢についての教示修正を行う必要が生じる。また、溶接ロボットのメンテナンスにより、モータや減速機が交換された場合にもロボットの原点位置の偏差等に伴い、打点や姿勢についての教示修正を行う必要が生じる。図５の打点修正処理は、このような場合に実行される。

はじめに、ステップＳ１では、ワークのモデルデータ等に基づいてシミュレーションにより作成された、打点や動作軌跡のデータを含むプログラムをロボット制御装置５０にロードする。これにより、ロボット７０は、ロードされたプログラムに従って動作可能となる。次に、オペレータは、教示操作盤１を操作して極低速でロボット７０を動作させ、ロボット７０のスポット溶接ガンを打点の位置まで移動させ、打点やスポット溶接ガンを閉じる前の姿勢が正しいかを確認し、必要であれば教示操作盤１を用いて打点位置、姿勢の調整を行う（ステップＳ２）。この場合、オペレータは、教示操作盤１のカメラ３０でスポット溶接ガンのチップ近辺の画像を撮像しＬＣＤ２０上に表示させて確認を行うことができる。また、オペレータは、必要に応じ、カメラ３０のズーム機能を用いてスポット溶接ガンのチップ近辺を拡大表示させたり、照明機能を用いて明るく撮影することで、打点や溶接ガンの姿勢を見やすい画像で確認することができる。また、オペレータが覗き込まなければ目視することができないような部位の打点に関しても、オペレータが教示操作盤１を手で持ってその打点に接近させることで打点付近の画像をＬＣＤ２０上に表示させて打点や姿勢の確認を行うことができ、オペレータの負担を軽減することができる。

打点の確認及び修正が終了すると、ガンを閉じて試し打ち（スポット溶接）を行う（ステップＳ３）。次に、ワーク（ボディ）をラインから取り出してスポットの品質確認（ズレ量等の確認）を行い（ステップＳ４）、品質に問題があれば（Ｓ５：ＮＯ）、打点修正（ステップＳ２）からの処理を繰り返す。溶接品質に問題がなければ（Ｓ５：ＹＥＳ）、本処理を終了する。

以上説明した教示操作盤１を用いた打点修正処理によれば、オペレータはＬＣＤ２０に表示された認識しやすい画像を見ながら打点や姿勢の確認と修正を行うことができるので、打点修正のオペレータへの負担が軽減して作業効率が上がり、作業時間短縮も達成することができる。

次に、オペレータが打点や姿勢の確認を行う際に、オペレータをアシストする為にＬＣＤ２０上に表示する情報（以下、アシスト情報ともいう）の例について説明する。

アシスト情報の第１の例は、オペレータが一つの溶接スポット（打点）について確認と修正の処理を終了した際に、その打点の近辺にある打点であって次に処理すべきものについてのガイダンス情報を表示する例である。ガイダンスの例としては、次に処理すべき打点の方向（すなわち、次にカメラ３０を向けるべき方向）を示すアイコン（矢印等）を表示することが挙げられる。この機能を実現するために、教示操作盤１には、ロボット７０による打点や動作軌跡を含んだロボットプログラムや、ワーク（ボディ）のモデルデータが例えばＲＡＭ１３に予め格納される。例えばオペレータが操作部１０に対して所定の操作を行うことによってアシスト情報を表示する動作モードが指定されると、カメラ３０から取り込まれてＬＣＤ２０上に表示されているワーク（ボディ）の一部の二次元画像と、教示操作盤１内に格納されているワーク（ボディ）のモデルデータとの照合が行われ、表示画像のワークモデル内での位置が特定され、それにより表示画像上での打点の位置が特定される。なお、カメラ３０から取り込まれた２次元画像とワークのモデルデータとを照合して２次元画像のワークモデル内での位置を特定する画像処理としては、２次元画像とワークモデルデータからそれぞれの特徴（エッジ、輪郭等）を抽出して照合を行う当技術分野で一般に知られた画像照合の技術が用いられても良い。特定された打点の位置は表示画像上にアイコン等により重畳して表示されても良い。そして、オペレータが修正を終了した打点を例えば表示画面のタッチ操作によって指定すると、一例としてその打点に最も近い位置にある未修正の打点（例えば、表示画像の範囲外にあるもの）が次に作業すべき打点として特定される。そして、現在表示されている表示画像における次の打点の位置を示す情報が例えば矢印アイコンとして表示画像上に重畳表示される。

図６は、ガイダンス情報の表示例である。図６において、ワークＷ上の打点ＳＰは修正作業が終了した打点であり、ユーザが打点ＳＰを修正作業が終了した打点としてタッチ操作で指定すると、次に作業をすべき打点（図６の表示画像の範囲外にある打点）のある方向を示す矢印アイコンＫが表示画像上に重畳表示される。以上の動作は、教示操作盤１のＣＰＵ１１によって実行される画像処理プログラムとして実現することができる。

アシスト情報の第２の例は、実際のスポット溶接跡の位置とデータ上のスポット溶接位置（目標加工点）とのずれ量に関する情報を画像上に重畳表示する例である。この機能を実現するためにも、上述の第１の例の場合と同様に、教示操作盤１にはロボット７０による打点や動作軌跡を含んだロボットプログラムや、ワーク（ボディ）のモデルデータが例えばＲＡＭ１３に予め格納される。オペレータが操作部１０に対して所定の操作を行うことによってこの動作モードが指定されると、カメラ３０から取り込まれてＬＣＤ２０上に表示されているワーク（ボディ）の一部の二次元画像と、教示操作盤１内に格納されているワーク（ボディ）との照合が行われ、表示画像のワークモデル内での位置が特定され、表示画像上での打点の位置が特定される。さらに、表示画像を解析して実際のスポット溶接跡の位置が特定され、その実際のスポット溶接跡の位置（図７において符合３０１を付している）とデータ上でのスポット位置（図７において符合４０１を付している）とのずれ量に関する情報が表示画像上に重畳表示される（図７において“ずれ量＝１ｍｍ”との表示）。図７は、上記動作の表示画面例である。図７において、符号３０１は実際のスポット溶接の位置を示し、符号４０１は本来のスポット溶接の位置に表示されたアイコンを示している。また、実際のスポット溶接の位置３０１と本来のスポット溶接の位置４０１間のずれ量に関する情報４１０が表示画像上に重畳表示されている。以上のようなオペレータによる打点の確認・修正作業をアシストする画像を表示することで打点の修正の作業効率を一層高めることができる。以上の動作は、教示操作盤１のＣＰＵ１１によって実行される画像処理プログラムとして実現することができる。

以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

上述の実施形態における教示操作盤１は、背面にカメラを有するものであったが、背面のカメラ３０に加えて前面側にもカメラを具備する構成も考えられる。図８は、背面側のカメラ３０に加えて前面側にもカメラ１３０を具備する構成とした教示操作盤１Ａの正面図である。前面側のカメラ１３０は、例えば、オペレータの顔認証の為に用いられても良い。この構成により、セキュリティ性能を向上させることができる。なお、顔認証処理としては、一例として、カメラ１３０の撮影画像中のオペレータの顔の画像の特徴（輪郭、目鼻の位置関係等）を画像データベースと照合して人物を特定する当分野で一般的な技術が用いられても良い。このような顔認証処理は、教示操作盤１のＣＰＵ１１が実行するプログラムとして構成することができる。

また、本開示の課題を解決するために、以下のような各種の態様とその効果を提供することができる。なお、以下の態様の説明文における括弧内の番号は本開示の図面の参照符号に対応する。

例えば、本開示の第一態様は、ロボットの教示を行う教示操作盤（１）であって、前記教示操作盤の第１の面に配置された、操作入力を行うための操作部（１０）と、前記第１の面に配置された表示部（２０）と、前記教示操作盤（１）における前記第１の面と反対側の第２の面に配置されたカメラ（３０）と、を備える。前記カメラ（３０）で撮像された画像は前記表示部（２０）に表示される。

上記第一態様によれば、オペレータによる加工点の確認や修正の作業負担を軽減し、作業効率を向上させることができる。

また、本開示の第二態様は、上記第一態様の教示操作盤であって、前記操作部（１０）は前記教示操作盤（１）の操作状態において前記第１の面の下側に配置され、前記カメラ（３０）は前記操作状態において前記第２の面の上側に配置されている。

また、本開示の第三態様は、上記第一又は第二態様の教示操作盤であって、前記カメラ（３０）はズーム機能を有する。

また、本開示の第四態様は、上記第一から第三態様のいずれかの教示操作盤であって、前記カメラ（３０）は照明機能を有する。

また、本開示の第五態様は、上記第一から第四態様のいずれかの教示操作盤であって、前記第１の面に配置された第１面側カメラ（１３０）をさらに備える。前記第１面側カメラ（１３０）は、オペレータの顔認証を行うために使用される。

また、本開示の第六態様は、上記第五態様の教示操作盤であって、前記第１画面カメラで撮像された画像に基づいて顔認証処理を実行する顔認証処理部（１１）をさらに備える。

また、本開示の第七態様は、上記第一から第六態様のいずれかの教示操作盤（１）であって、ワークに対する前記ロボットの加工点に関する情報と前記ワークの形状モデルに関する情報とに基づいて、前記カメラ（３０）で撮影されている前記ワークの部分の撮影画像の前記形状モデル内での位置を特定すると共に、前記撮影画像内に含まれる加工点に隣接する加工点であって前記撮影画像の範囲外に存在する加工点の位置を示す情報を前記撮影画像に表示する画像処理部（１１）と、をさらに備える。

また、本開示の第八態様は、上記第一から第六態様のいずれかの教示操作盤（１）であって、ワークに対する前記ロボットによる加工点に関する情報と前記ワークの形状モデルに関する情報とに基づいて、前記カメラ（３０）で撮影されている前記ワークの部分の撮影画像の前記形状モデル内での位置を特定すると共に、前記撮影画像に含まれる実際の加工点跡の位置と、前記実際の加工点跡に対応する目標加工点の位置とのずれに関する情報を、前記撮影画像に表示する画像処理部（１１）と、をさらに備える。

また、本開示の第九態様は、上記第一から第八態様のいずれかの教示操作盤（１）と、前記教示操作盤（１）と接続されたロボット制御装置（５０）と、前記ロボット制御装置（５０）と接続され前記ロボット制御装置（５０）の制御下で動作するロボット（７０）と、を備えるロボット制御システム（１００）である。

次に、本発明の実施例を構成するものではないが、教示操作盤が外部カメラを接続するためのカメラインタフェースを有するように構成された構成例を参考例として説明する。図９は、このような教示操作盤１Ｂの構成を表す正面図である。図９に示すように、教示操作盤１Ｂは、カメラインタフェース２３１を備えている。このカメラインタフェース２３１に外部カメラ２５０が接続されている。外部カメラ２５０は、例えば、教示操作盤１Ｂの背面側の映像を撮像するように構成されている。このような構成の場合にも、上述の実施形態の場合と同様の効果を達成することができる。

１教示操作盤
１０操作部
１１ＣＰＵ
１２ＲＯＭ
１３ＲＡＭ
１４フラッシュメモリ
１５ＰＣＭＣＩＡソケット
１５ａＩＣカード
１６ＬＣＤインタフェース
１７タッチパネルインタフェース
１８通信インタフェース
１９操作部インタフェース
２０ＬＣＤ
２０ａタッチパネル
３０カメラ
３１カメラインタフェース
３２カメラ制御部
３３撮影レンズ
３４撮像素子
３５照明装置
５０ロボット制御装置
７０ロボット

Claims

ロボットの教示を行う教示操作盤であって、
前記教示操作盤の第１の面に配置された、操作入力を行うための操作部と、
前記教示操作盤における前記第１の面と反対側の第２の面に配置されたカメラと、
前記第１の面に配置され、前記カメラで撮像された画像を表示する表示部と、
ワークに対する前記ロボットの加工点に関する情報と、前記ワークの形状モデルに関する情報とに基づいて、前記カメラで撮影されている前記ワークの部分の撮影画像の前記形状モデル内での位置を特定すると共に、前記撮影画像内に含まれる加工点に最も近い位置にある未修正の加工点であって前記撮影画像の範囲外に存在する加工点の位置を示す情報を前記撮影画像に表示する画像処理部と、を備える教示操作盤。
前記操作部は前記教示操作盤の操作状態において前記第１の面の下側に配置され、
前記カメラは前記操作状態において前記第２の面の上側に配置されている、請求項１に記載の教示操作盤。
前記カメラはズーム機能を有する、請求項１又は２に記載の教示操作盤。
前記カメラは照明機能を有する、請求項１から３のいずれか一項に記載の教示操作盤。
前記第１の面に配置された第１面側カメラをさらに備える、請求項１から４のいずれか一項に記載の教示操作盤。
前記第１面側カメラで撮像された画像に基づいて顔認証処理を実行する顔認証処理部をさらに備える、請求項５に記載の教示操作盤。
請求項１から６のいずれか一項に記載の教示操作盤と、
前記教示操作盤と接続されたロボット制御装置と、
前記ロボット制御装置と接続され前記ロボット制御装置の制御下で動作するロボットと、を備えるロボット制御システム。