JPWO2013150596A1 - ロボットシステム及び作業設備 - Google Patents

Abstract

【課題】センサの検出情報を用いてロボットにより作業をより好適に行う。【解決手段】ロボットシステム１は、複数の作業設備１００と、中央画像処理装置２００とを有している。各作業設備１００は、ボルト穴３に対しボルト２をねじ込む動作を含むボルト締め作業を行うロボット１１０、ロボットコントローラ１２０、及び、カメラ１３０を有している。中央画像処理装置１００は、各作業設備１００のカメラ１３０で生成された画像情報を受け付ける。そして、アルゴリズム記憶部２０３ａに記憶された処理アルゴリズムに基づいて、上記受け付けた画像情報を画像解析する。そして、上記受け付けた画像情報に含まれるボルト穴３の位置情報を、対応する作業設備１００のロボットコントローラ１２０へ送信する。ロボットコントローラ１２０は、中央画像処理装置１００から送信されたボルト穴３の位置情報に基づいて、ロボット１１０の動作を制御する。

Description

開示の実施形態は、ロボットシステム及び作業設備に関する。

特許文献１には、ロボットハンドを有するロボットを制御してピッキング作業を行うピッキングシステムが開示されている。このピッキングシステムには、作業設備として、上記ロボット、カメラ、画像処理装置、及び、制御装置等が設けられている。画像処理装置は、カメラが撮像したワークの画像データを用いてワークの位置情報を求める。制御装置は、画像処理装置が求めたワークの位置情報を用いてロボットを制御して、ピッキング作業を実行させる。

特開２０１０−２４０７８５号公報

上記従来技術では、ロボットにより作業を行う現場に、センサとしてのカメラと、このカメラの検出情報としての画像データを解析する情報処理装置としての画像処理装置とを設け、ロボット制御装置としての制御装置が、画像処理装置による画像データの解析情報に基づいて、ロボットの動作を制御している。これにより、ロボットにより作業を精度よく確実に行うことができる。しかしながら、一般に情報処理装置は高価である上、処理内容を教示（プログラム）するのに比較的大きな手間がかかるという課題がある。

本発明はこのような問題に鑑みてなされたものであり、センサの検出情報を用いてロボットにより作業をより好適に行うことができるロボットシステム及び作業設備を提供することを目的とする。

上記課題を解決するため、本発明の一の観点によれば、所定の作業を行うロボット、前記ロボットの動作を制御するロボット制御装置、及び、前記ロボットに対応して設けられるセンサ、を有する１以上の作業設備と、前記１以上の作業設備のそれぞれに対しデータ通信可能に接続された中央情報処理装置と、を有し、前記中央情報処理装置は、各作業設備の前記センサの検出情報を受け付ける情報受付部と、各作業設備における前記検出情報に対する処理アルゴリズムが記憶されたアルゴリズム記憶部と、前記アルゴリズム記憶部に記憶された前記処理アルゴリズムに基づいて、前記情報受付部が受け付けた前記検出情報を解析する情報解析部と、前記情報解析部による前記検出情報の解析情報を、対応する前記作業設備の前記ロボット制御装置に対し出力する解析情報出力部と、を有し、前記ロボット制御装置は、前記解析情報出力部から出力された前記解析情報に基づいて、前記ロボットの動作を制御するロボットシステムが適用される。

本発明によれば、センサの検出情報を用いてロボットにより作業をより好適に行うことができる。

一実施の形態のロボットシステムの全体構成を模式的に表すシステム構成図である。 中央画像処理装置の別の例を表す説明図である。 一現場の作業設備の構成を模式的に表す模式図である。 一現場のロボットコントローラ及びカメラと中央画像処理装置との機能的構成を表す機能ブロック図である。 一現場のロボットコントローラ及びカメラと中央画像処理装置との間で実行される制御手順を表すシーケンス図である。

以下、一実施の形態について図面を参照しつつ説明する。

図１に示すように、本実施形態のロボットシステム１は、例えば生産ラインを備えた工場等の複数の現場（図１中では「現場Ａ」「現場Ｂ」「現場Ｃ」「現場Ｄ」「現場Ｅ」・・・と記載）のそれぞれに設けられた複数の作業設備１００（図１中では図示省略。後述の図３参照）と、中央画像処理装置２００（中央情報処理装置）とを有している。中央画像処理装置２００は、複数の現場の作業設備１００間で共通（共有）化された画像処理装置である。この中央画像処理装置２００は、ネットワーククラウドＮＷ１（ネットワーク）で連結された１以上の演算装置及び記憶装置の集合体として構成されており、複数の作業設備１００のそれぞれに対しデータ通信可能に接続されている。なお、図２に示すように、中央画像処理装置２００として、各作業設備１００と適宜のネットワークＮＷ２を介して接続される単一の演算装置を用いることもできる。この場合、中央画像処理装置２００は、例えばロボットシステム１の管理会社の社屋等に設置される。

図３に示すように、一現場には、作業設備１００として、ロボット１１０と、ロボットコントローラ１２０（ロボット制御装置）と、レンズ１３１を備えたカメラ１３０（画像センサ、センサ）と、インターフェイス装置１４０（以下、「ＩＦ装置１４０」と略記する）とが設けられている。なお、図３中では、一現場だけを図示しているが、他の現場についてもこれと同様である。各現場のロボットコントローラ１２０と、上記中央画像処理装置２００とは、上記ネットワーククラウドＮＷ１を介しそれぞれ相互にデータ通信可能に接続されている。

ロボット１１０は、所定の作業として、例えば図示しないコンベアにより搬送され所定の位置に配置されたワークＷ、に設けられたボルト穴３（作業目標）に対し、ボルト２をねじ込む動作を含むボルト締め作業を行う。このロボット１１０は、アーム１１１と、このアーム１１１を駆動するためのサーボモータをそれぞれ備えたアクチュエータＡｃ１，Ａｃ２，Ａｃ３，Ａｃ４，Ａｃ５，Ａｃ６とを有している。アーム１１１の先端側には、ボルト穴３に対しボルト２をねじ込むためのツール１１２（例えば電動ドライバやナットランナ等）が取り付けられている。

ロボットコントローラ１２０は、上記アーム１１１に設けられた各アクチュエータＡｃ１〜Ａｃ６のサーボモータと相互通信可能に接続されており、これら各サーボモータの駆動制御を行う。これにより、各アクチュエータＡｃ１〜Ａｃ６の全体の動作、すなわちロボット１１０の動作を制御する。また、ロボットコントローラ１２０は、上記ツール１１２の動作（例えば電動ドライバ等のオン・オフ等）を制御する。

カメラ１３０は、上記アーム１１１の先端側に適宜の連結部材を介し固定されている。なお、カメラ１３０をこれ以外の位置（例えばワークＷの搬送経路上方等）に設けてもよい。このカメラ１３０は、上記ボルト穴３をレンズ１３１を介し撮像し、その撮像したボルト穴３の画像を含む画像情報を生成する。生成された画像情報は、検出情報として、ロボットコントローラ１２０へ出力され、後述の通信制御部１２２の送信部１２２ａにより上記ネットワーククラウドＮＷ１を介し中央画像処理装置２００へ送信される。なお、カメラ１３０が画像情報を中央サーバ２００へ直接送信してもよい。

ＩＦ装置１４０は、パーソナルコンピュータやティーチングペンダント等で構成されており、各種情報を表示する表示装置、及び、操作者による各種情報の入力を受け付ける入力装置等（いずれも図示省略）を有している。操作者がＩＦ装置１４０を介し入力した中央画像処理装置２００への情報（後述）は、ロボットコントローラ１２０へ出力され、後述の通信制御部１２２の送信部１２２ａにより上記ネットワーククラウドＮＷ１を介し中央画像処理装置２００へ送信される。なお、ＩＦ装置１４０が上記中央画像処理装置２００への情報を中央画像処理装置２００へ直接送信してもよい。

中央画像処理装置２００は、各現場のロボットコントローラ１２０から送信された画像情報をそれぞれ受け付け、受け付けた画像情報を画像解析して、上記ボルト穴３の位置を検知する（詳細は後述）。検知されたボルト穴３の位置情報は、画像情報の画像解析情報として、上記ネットワーククラウドＮＷ１を介し、対応する現場のロボットコントローラ１２０へ送信される（戻される）。

図４に示すように、一現場に設けられた作業設備１００のカメラ１３０は、機能的構成として、上記レンズ１３１と、制御部１３２と、入出力部１３３とを備えている。

制御部１３２は、カメラ１３０全体の制御を行う。例えば、制御部１３２は、レンズ１３１を介し撮像した上記ボルト穴３の画像を含む画像情報を生成する。

入出力部１３３は、ロボットコントローラ１２０との間で行われる情報通信の制御を行う。例えば、入出力部１３３は、制御部１３２により生成された画像情報をロボットコントローラ１２０へ出力する際の情報通信の制御を行う。

ロボットコントローラ１２０は、機能的構成として、制御部１２１と、通信制御部１２２と、入出力部１２３と、記憶装置１２４とを備えている。

制御部１２１は、ロボットコントローラ１２０全体の制御を行う。

入出力部１２３は、ロボット１１０、カメラ１３０、ＩＦ装置１４０との間で行われる情報通信の制御を行う。例えば、入出力部１２３は、カメラ１３０から出力された画像情報を入力する際の情報通信の制御を行う。

通信制御部１２２は、送信部１２２ａ（送信機）及び受信部１２２ｂ（受信機）を備えており、中央画像処理装置２００との間でネットワーククラウドＮＷ１を介し行われる情報通信の制御を行う。例えば、送信部１２２ａは、入出力部１２３で入力された、カメラ１３０からの画像情報や、ＩＦ装置１４０からの中央画像処理装置２００への情報（後述）を、ネットワーククラウドＮＷ１を介し中央画像処理装置２００へ送信する際の情報通信の制御を行う。受信部１２２ｂは、中央画像処理装置２００から送信された上記ボルト穴３の位置情報をネットワーククラウドＮＷ１を介し受信する際の、情報通信の制御を行う。

記憶装置１２４は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等で構成されており、各種情報等を記憶する。例えば、記憶装置１２４には、予め教示者がＩＦ装置１４０を操作してロボット１１０を動作させることにより教示した、実際のボルト締め作業に関するロボット１１０の動作情報等を含む教示情報が記憶されている。

中央画像処理装置２００は、機能的構成として、制御部２０１と、通信制御部２０２（情報受付部、解析情報出力部）と、大容量記憶装置２０３とを備えている。

制御部２０１は、中央画像処理装置２００全体の制御を行う。例えば、制御部２０１は、後述のように通信制御部２０２で受信された画像情報を画像解析して、上記ボルト穴３の位置を検知する情報解析部としての構成を有している。

通信制御部２０２は、各現場のロボットコントローラ１２０との間でネットワーククラウドＮＷ１を介し行われる情報通信の制御を行うように構成されている。この通信制御部２０２は、各現場のロボットコントローラ１２０から送信された画像情報を受け付ける（受信する）情報受付部としての構成と、制御部２０１により検知された上記ボルト穴３の位置情報を、対応する現場のロボットコントローラ１２０へ送信（出力）する解析情報出力部としての構成とを有している。

大容量記憶装置２０３は、ネットワーククラウドＮＷ１内に存在する複数の記憶媒体の集合として構成されており、記憶容量等を可変に設定することができる。この大容量記憶装置２０３には、アルゴリズム記憶部２０３ａが構成されている。アルゴリズム記憶部２０３ａには、被検出対象物の形状パターンが関連付けられた複数種類の処理アルゴリズムが記憶されている。

処理アルゴリズムとしては、通信制御部２０２で受信された画像情報から円形の領域を切り出して、その切り出された各領域の位置情報を出力するもの（円形の穴が開いた対象を検出する場合に適する）や、画像情報から各物体の長軸の長さ及び位置姿勢を検出するもの（ボルト等の細長い対象を検出する場合に適する）が含まれる。また、単純に画像情報を条件に沿って２値化するだけのものや、画像情報に基づいて領域分割をするだけのものも含まれ、複数の処理アルゴリズムの組み合わせにより１つの処理アルゴリズムを構成するものも含まれる。

本実施形態では、制御部２０１がアルゴリズム構成部としての構成を有している。すなわち、制御部２０１は、各現場から送信されたＩＦ装置１４０からの中央画像処理装置２００への情報、具体的には、画像処理の処理アルゴリズムを指示する情報（以下適宜、「指示情報」と称する）に応じて、アルゴリズム記憶部２０３ａに記憶された複数種類の処理アルゴリズムから、画像処理に用いる処理アルゴリズムを選択して構成すると共に、処理アルゴリズムに用いるパラメータ等を設定する。特に、本実施形態では、制御部２０１は、現場からの画像情報に対し上記ボルト穴３の位置を検知する処理アルゴリズムを構成する。なお、各現場において同様の処理を行う場合、制御部２０１により構成された処理アルゴリズムが、各現場からの画像情報に対し共通の処理アルゴリズム（以下適宜、「共通画像処理アルゴリズム」と称する）として用いられる。

なお、以上では、一現場の作業設備１００について説明したが、他の現場についてもこれと同様に、作業設備１００として、ロボット１１０、ロボットコントローラ１２０、カメラ１３０、及び、ＩＦ装置１４０（いずれも上記現場とは異なる構造・構成を備えたタイプでもよい）が少なくとも設けられている。

以下、図５を用いて、一現場のロボットコントローラ１２０及びカメラ１３０と中央画像処理装置２００との間で実行される制御手順を説明する。なお、図５中では、基本的に図中上側から下側に向かっての時系列変化で各手順を示している。

図５に示すように、操作者がＩＦ装置１４０を操作して上記指示情報を入力すると、まずステップＳＡ２で、ロボットコントローラ１２０の制御部１２１は、ＩＦ装置１４０からの指示情報を入出力部１２３により入力する。

その後、ステップＳＡ４で、ロボットコントローラ１２０の制御部１２１は、上記ステップＳＡ２で入力された指示情報を、送信部１２２ａによりネットワーククラウドＮＷ１を介し中央画像処理装置２００へ送信する。

これにより、ステップＳＣ２で、中央画像処理装置２００の制御部２０１は、上記ステップＳＡ４でロボットコントローラ１２０の送信部１２２ａから送信された指示情報を、通信制御部２０２により受信する。

そして、ステップＳＣ４に移り、中央画像処理装置２００の制御部２０１は、上記ステップＳＣ２で受信された指示情報に応じて、アルゴリズム記憶部２０３ａに記憶された複数種類の処理アルゴリズムから、画像処理に用いる処理アルゴリズムを選択して、上記共通画像処理アルゴリズムを構成する。このステップＳＣ４の手順が、アルゴリズム構成部として機能する。

そして、ステップＳＡ１０で、ロボットコントローラ１２０の制御部１２１は、記憶装置１２４に記憶された教示情報に基づくプレイバック制御により、予め教示された動作をロボット１１０に実行させる。これにより、ロボット１１０は、予め教示された姿勢（アーム１１２の先端側のカメラ１３０により、所定の位置に配置されるワークＷのボルト穴３を撮像可能な姿勢）となる。

そして、ワークＷが所定の位置に配置されると、ステップＳＢ１０で、カメラ１３０の制御部１３２は、レンズ１３１を介しそのワークＷのボルト穴３を撮像する。

その後、ステップＳＢ２０で、カメラ１３０の制御部１３２は、上記ステップＳＢ１０で撮像されたボルト穴３の画像を含む画像情報を生成する。

そして、ステップＳＢ３０に移り、カメラ１３０の制御部１３２は、上記ステップＳＢ２０で生成された画像情報を、入出力部１３３によりロボットコントローラ１２０へ出力する。

これにより、ステップＳＡ１２で、ロボットコントローラ１２０の制御部１２１は、上記ステップＳＢ３０でカメラ１３０から出力された画像情報を、入出力部１２３により入力する。

その後、ステップＳＡ１４で、ロボットコントローラ１２０の制御部１２１は、上記ステップＳＡ１２で入力された画像情報を、送信部１２２ａによりネットワーククラウドＮＷ１を介し中央画像処理装置２００へ送信する。

これにより、ステップＳＣ１０で、中央画像処理装置２００の制御部２０１は、上記ステップＳＡ１４でロボットコントローラ１２０の送信部１２２ａから送信された画像情報を、通信制御部２０２により受信する。

その後、ステップＳＣ２０で、中央画像処理装置２００の制御部２０１は、上記ステップＳＣ４で構成された共通画像処理アルゴリズムに基づいて、上記ステップＳＣ１０で受信された画像情報を画像解析して、ボルト穴３の位置を検知する。ボルト穴３の位置を検知は、例えば、教示の際に大容量記憶装置２０３に登録された登録モデル（ボルト穴３の画像パターン）を用いて、公知の適宜のパターンマッチング（正規化相関）処理により行われる。このステップＳＣ２０の手順が、情報解析部として機能する。

そして、ステップＳＣ３０に移り、中央画像処理装置２００の制御部２０１は、上記ステップＳＣ２０で検知されたボルト穴３の位置情報を、通信制御部２０２によりネットワーククラウドＮＷ１を介し、対応する現場のロボットコントローラ１２０へ送信する。

これにより、ステップＳＡ２０で、ロボットコントローラ１２０の制御部１２１は、上記ステップＳＣ３０で中央画像処理装置２００の通信制御部２０２から送信されたボルト穴３の位置情報を、受信部１２２ｂにより受信する。

その後、ステップＳＡ３０で、ロボットコントローラ１２０の制御部１２１は、上記ステップＳＡ２０で受信されたボルト穴３の位置情報に基づいて、実際のボルト穴３の位置と基準位置（教示の際のボルト３の位置）との位置ずれ量を算出する。そして、その位置ずれ量を補償するための位置補正量を算出する。そして、その位置補正量に基づいて、記憶装置１２４に記憶された教示情報における、ロボット１１０がツール１１２を用いてボルト２のねじ込み動作を行う位置を、実際のボルト穴３の位置に補正する。

その後、ステップＳＡ４０で、ロボットコントローラ１２０の制御部１２１は、上記ステップＳＡ３０で補正された教示情報に基づく制御により、ツール１１２を用いてボルト穴３に対しボルト２をねじ込む動作を含むボルト締め作業をロボット１１０に実行させる。これにより、図５に示すシーケンスが終了する。

以上説明した本実施形態のロボットシステム１においては、カメラ１３０が生成した画像情報を画像解析してボルト穴３の位置情報をロボットコントローラ１２０へ出力する画像処理装置を複数の現場のそれぞれに設けるのではなく、これら複数の現場の作業設備１００間で共通化された画像処理装置である中央画像処理装置２００を設けている。これにより、各現場に高能力の演算装置を設置することや、各現場で画像処理のための処理アルゴリズムの設定を行うという手間を省くことができる。したがって、本実施形態によれば、カメラ１３０で生成された画像情報を用いてロボット１１０によりボルト締め作業をより好適に行うことができる。また、複数の現場において共通の処理アルゴリズムを実行することにより、処理アルゴリズムの運用頻度が増大することによって、各現場での運用結果に基づいて処理アルゴリズムの改善を促すことも期待できる。

なお、実施の形態は、上記内容に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。例えば、上記実施形態においては、ロボット１１０によりボルト締め作業を行う場合を説明したが、これに限られず、ロボットによりワークのハンドリング、ワークの塗装、ワークの溶接等を行う場合にも適用可能である。この場合、上記ワークのハンドリング、ワークの塗装、ワークの溶接等が、所定の作業に相当する。

また、上記以外にも、センサとしてのマイクを備えたロボットにより人との会話を含むコミュニケーション（例えば、会社の社屋や会場等での来訪者の受付や、現実世界又は仮想世界でのサービス等）を行う場合にも適用可能である。この場合、上記人との会話を含むコミュニケーションが、所定の作業に相当する。

また以上では、現場の作業設備の一部としてカメラ１３０やマイク等を設けていたが、これに限られず、その他のセンサ（例えば触覚センサ等）を設けてもよい。

また、前述の図５に示すシーケンスは実施の形態を図示する手順に限定するものではなく、趣旨及び技術的思想を逸脱しない範囲内で手順の追加・削除又は順番の変更等をしてもよい。

また、以上既に述べた以外にも、上記実施形態等による手法を適宜組み合わせて利用してもよい。

その他、一々例示はしないが、上記実施形態等は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。

１ ロボットシステム
１００ 作業設備
１１０ ロボット
１２０ ロボットコントローラ（ロボット制御装置）
１２１ 制御部
１２２ａ 送信部（送信機）
１２２ｂ 受信部（受信機）
１３０ カメラ（画像センサ、センサ）
１３２ 制御部
１４０ ＩＦ装置（インターフェイス装置）
２００ 中央画像処理装置（中央情報処理装置）
２０１ 制御部
２０２ 通信制御部（情報受付部、解析情報出力部）
２０３ａ アルゴリズム記憶部
ＮＷ１ ネットワーククラウド（ネットワーク）

Claims (5)

1. 所定の作業を行うロボット、前記ロボットの動作を制御するロボット制御装置、及び、前記ロボットに対応して設けられるセンサ、を有する１以上の作業設備と、
   前記１以上の作業設備のそれぞれに対しデータ通信可能に接続された中央情報処理装置と、
   を有し、
   前記中央情報処理装置は、
   各作業設備の前記センサの検出情報を受け付ける情報受付部と、
   各作業設備における前記検出情報に対する処理アルゴリズムが記憶されたアルゴリズム記憶部と、
   前記アルゴリズム記憶部に記憶された前記処理アルゴリズムに基づいて、前記情報受付部が受け付けた前記検出情報を解析する情報解析部と、
   前記情報解析部による前記検出情報の解析情報を、対応する前記作業設備の前記ロボット制御装置に対し出力する解析情報出力部と、
   を有し、
   前記ロボット制御装置は、
   前記解析情報出力部から出力された前記解析情報に基づいて、前記ロボットの動作を制御する
   ことを特徴とする、ロボットシステム。
2. 前記センサは、
   前記検出情報として、前記ロボットの作業目標の画像情報を生成する画像センサであり、
   前記中央情報処理装置の前記情報受付部は、
   各作業設備の前記画像センサにより生成された前記画像情報を受け付け、
   前記アルゴリズム記憶部には、
   各作業設備における前記画像情報に対する処理アルゴリズムが記憶され、
   前記情報解析部は、
   前記アルゴリズム記憶部に記憶された前記処理アルゴリズムに基づいて、前記情報受付部が受け付けた前記画像情報を画像解析し、
   前記解析情報出力部は、
   前記情報解析部による前記画像情報の画像解析情報を、対応する前記作業設備の前記ロボット制御装置に対し出力し、
   前記ロボット制御装置は、
   前記解析情報出力部から出力された前記画像解析情報に基づいて、前記ロボットの動作を制御する
   ことを特徴とする、請求項１に記載のロボットシステム。
3. 前記中央情報処理装置は、
   ネットワークで連結された１以上の演算装置及び記憶装置の集合体として構成される
   ことを特徴とする、請求項１又は２に記載のロボットシステム。
4. 前記作業設備は、
   前記中央情報処理装置への情報を入力するためのインターフェイス装置を有し、
   前記中央情報処理装置は、
   前記インターフェイス装置からの前記情報に応じて、前記アルゴリズム記憶部に記憶された前記処理アルゴリズムから、前記情報解析部において実行される処理アルゴリズムを構成するアルゴリズム構成部を有し、
   前記情報解析部は、
   前記アルゴリズム構成部により構成された前記処理アルゴリズムに基づいて、前記検出情報を解析する
   ことを特徴とする、請求項１乃至３のいずれか１項に記載のロボットシステム。
5. 所定の作業を行うロボット、前記ロボットの動作を制御するロボット制御装置、及び、前記ロボットに対応して設けられるセンサ、を有する、請求項１乃至４のいずれか１項に記載のロボットシステムに用いられる作業設備であって、
   前記センサの検出情報をネットワークを介し当該検出情報を解析する中央情報処理装置へ送信する送信機と、
   前記中央情報処理装置から送信された前記検出情報の解析情報をネットワークを介し受信する受信機と、
   を有し、
   前記ロボット制御装置は、
   前記受信機により受信された前記解析情報に基づいて、前記ロボットの動作を制御する
   ことを特徴とする、作業設備。

Images