JP6677198B2 - ロボットの故障診断支援システム及び故障診断支援方法 - Google Patents

ロボットの故障診断支援システム及び故障診断支援方法 Download PDF

Info

Publication number
JP6677198B2
JP6677198B2 JP2017051116A JP2017051116A JP6677198B2 JP 6677198 B2 JP6677198 B2 JP 6677198B2 JP 2017051116 A JP2017051116 A JP 2017051116A JP 2017051116 A JP2017051116 A JP 2017051116A JP 6677198 B2 JP6677198 B2 JP 6677198B2
Authority
JP
Japan
Prior art keywords
robot
image
unit
failure
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017051116A
Other languages
English (en)
Other versions
JP2018153880A (ja
Inventor
和都 村瀬
和都 村瀬
優香 橋口
優香 橋口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017051116A priority Critical patent/JP6677198B2/ja
Priority to US15/904,605 priority patent/US10713486B2/en
Publication of JP2018153880A publication Critical patent/JP2018153880A/ja
Application granted granted Critical
Publication of JP6677198B2 publication Critical patent/JP6677198B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0095Means or methods for testing manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Description

本発明は、ロボットの故障診断を支援するロボットの故障診断支援システム及び故障診断支援方法に関する。
ロボットのアームを動作させ、アームの距離を検出するセンサの出力信号の変化に基づいて、故障診断を行う故障診断支援装置が知られている(例えば、特許文献1参照)。
特開2007−152470号公報
上記故障診断支援装置は、センサなどが故障しているか否かの判断を行うことは可能であるが、部品の歪みや噛み込み等の外的要因による故障原因を判断するのは困難である。この場合、メンテナンスを行う人が直接的にロボットを確認すれば、故障原因も容易に判断できる。しかしながら、ロボットの傍に、常時、メンテナンスを行う人を配置するというのは、人的負荷が大きい。
本発明は、かかる課題を解決するためになされたものであり、人的負荷を軽減して、ロボットの故障原因を容易に判断できるロボットの故障診断支援システム及び故障診断支援方法を提供することを主たる目的とする。
上記目的を達成するための本発明の一態様は、ロボットに搭載され、該ロボットの画像を取得する第1画像取得手段と、前記第1画像取得手段の位置及び姿勢を制御する制御手段と、を備え、該ロボット自身の一部が故障しているか否かを診断することを支援するロボットの故障診断支援システムであって、前記制御手段は、所定のタイミングで、前記第1画像取得手段が前記ロボット自身の所定部位に向くように、該第1画像取得手段の位置及び姿勢を制御し、前記第1画像取得手段は、前記制御手段により制御された位置及び姿勢で、前記所定部位の画像を取得する、ことを特徴とするロボットの故障診断支援システムであってもよい。
この一態様において、前記ロボットの故障部位を特定する部位特定手段と、前記ロボットの故障部位と、該故障部位の画像を取得できる前記第1画像取得手段の位置及び姿勢と、を対応付けたテーブル情報を記憶する記憶手段と、を更に備え、前記制御手段は、前記記憶手段のテーブル情報に基づいて、前記部位特定手段により特定された故障部位に対応した位置及び姿勢に、前記第1画像取得手段の位置及び姿勢を制御してもよい。
この一態様において、前記部位特定手段により特定されたロボットの故障部位に基づいて、前記第1画像取得手段が該故障部位の画像を取得可能か否かを判定する取得判定手段を更に備え、前記取得判定手段が前記部位特定手段により特定された故障部位の画像を取得不可であると判定した場合、前記制御手段は、前記第1画像取得手段が前記ロボットが移動する環境内に配置された反射部材に映る前記故障部位の画像を取得できるように、前記第1画像取得手段及び前記ロボットの位置及び姿勢を制御してもよい。
この一態様において、前記ロボットが移動する環境内に配置され、該ロボットの画像を取得する第2画像取得手段と、前記部位特定手段により特定されたロボットの故障部位に基づいて、前記第1画像取得手段が該故障部位の画像を取得可能か否かを判定する取得判定手段と、を更に備え、前記取得判定手段は、前記第1画像取得手段が前記部位特定手段により特定された故障部位の画像を取得不可であると判定した場合、前記第2画像取得手段は、前記部位特定手段により特定された故障部位の画像を取得してもよい。
この一態様において、前記第2画像取得手段は、前記環境内に配置された設置部材又は他ロボットに設けられており、前記記憶手段は、前記ロボットの故障部位と、前記第2画像取得手段が該ロボットの故障部位の画像を取得する際の、前記ロボットの位置及び姿勢と、が対応付けられたテーブル情報を記憶しており、前記制御手段は、前記記憶手段のテーブル情報に基づいて、前記取得判定手段により画像取得が不可と判定された故障部位に対応する位置及び姿勢に、前記ロボットの位置及び姿勢を制御してもよい。
上記目的を達成するための本発明の一態様は、 ロボットの所定部位に故障があるか否かを診断することを支援するロボットの故障診断支援方法であって、前記ロボットに搭載され該ロボットの画像を取得する第1画像取得手段がロボット自身の所定部位に向くように、該第1画像取得手段の位置及び姿勢を所定のタイミングで制御するステップと、前記第1画像取得手段が、前記制御された位置及び姿勢で、前記所定部位の画像を取得するステップと、を含む、ことを特徴とするロボットの故障診断支援方法であってもよい。
本発明によれば、人的負荷を軽減して、ロボットの故障原因を容易に判断できるロボットの故障診断支援システム及び故障診断支援方法を提供することができる。
本発明の実施形態1に係るロボットの概略的な構成を示す概略図である。 本発明の実施形態1に係るロボットの概略的な構成を示すブロック図である。 本発明の実施形態1に係る故障診断支援システムの概略的な構成を示すブロック図である。 第1環境センサが位置姿勢制御部により制御された位置及び姿勢で故障部位の画像を取得する状態を示す図である。 本発明の実施形態1に係る故障診断支援方法の処理フローの一例を示すフローチャートである。 本発明の実施形態2に係る故障診断支援システムの概略的なシステム構成を示すブロック図である。 第1環境センサが移動環境内に配置された反射部材に映る故障部位の画像を取得する状態を示す図である。 本発明の実施形態2に係る故障診断支援方法の処理フローの一例を示すフローチャートである。 本発明の実施形態3に係る故障診断支援システムの概略的な構成を示すブロック図である。 設置部材に配置された第2環境センサが自ロボットの故障部位の画像を取得する状態を示す図である。 他ロボットの第2環境センサが自ロボットの故障部位の画像を取得する状態を示す図である。
実施形態1
以下、図面を参照して本発明の実施形態について説明する。図1は、本発明の実施形態1に係るロボットの概略的な構成を示す概略図である。ロボット1は、例えば、自律的に作業を行う自律型作業ロボットとして構成されている。本実施形態1に故障診断支援システムは、そのようなロボット自身の一部が故障しているか否かを診断することを支援する。故障診断支援システムは、例えば、ロボット1を安定的に稼働させるために、ロボット1の故障を診断し、その復帰に有効な情報を自動で取得し、メンテナンス担当者などのユーザに提供するものである。
図2は、本実施形態1に係るロボットの概略的な構成を示すブロック図である。ロボット1は、ロボット本体2と、ロボット本体2を移動させる移動装置3と、物体を把持し移動させる把持操作装置4と、移動装置3及び把持操作装置4を制御する制御装置5と、第1環境センサ6と、通信装置7と、を備えている。
移動装置3は、制御装置5からの制御信号に応じて、例えば、モータなどを駆動させることで複数の車輪を回転させ、ロボット本体2を所望の位置に移動させる。
把持操作装置4は、例えば、物体を把持する把持部41と、手首関節、肘関節、肩関節などの関節部42を介して連結される複数のリンク43と、各関節部42を駆動するモータなどの複数のアクチュエータと、からなる多関節型アームとして構成されている。
制御装置5は、操作端末8から送信される操作信号に基づいて移動装置3及び把持操作装置4を制御することで、ロボット1に作業を実行させる。
通信装置7は、操作端末8から送信される操作信号を受信し、受信した操作信号を制御装置5に送信する。操作端末8は、例えば、タブレット端末、PC(PersonalComputer)、スマートフォンなどの携帯端末である。操作端末8は、例えば、ロボット1を操作する操作者や、ロボット1をメンテナンスする担当者などのユーザが保持している。操作端末8にはタッチパネルやメカニカルスイッチが設けられている。ユーザは、これらタッチパネルやメカニカルスイッチなどを操作することで、ロボット1を操作するための操作情報を操作端末8に入力することができる。
通信装置7は、第1環境センサ6により取得されたロボット1の画像情報などを操作端末8に送信する。操作端末8は、通信装置7から送信されるロボット1の画像情報などを受信し、表示させる機能を有している。操作端末8と通信装置7は、無線(WiFi(登録商標)、Bluetooth(登録商標)、無線LANなど)で通信接続されており、相互にデータの送受信を行う。操作端末8は、ユーザにより入力された作業情報に応じた操作信号を通信装置7に出力する。一方、操作端末8は、通信装置7から送信される画像情報などを受信し、表示する。これにより、ユーザは、遠隔的に、ロボット1を操作しつつ、同時に、ロボット1からの画像情報などを確認することができる。
第1環境センサ6は、ロボット1自身や周囲の環境情報を取得する。第1環境センサ6は、例えば、ロボット本体2に首関節を介して連結された頭部や、把持操作装置4などに搭載されているが、これに限られない。第1環境センサ6は、ロボット1の任意の位置に複数設けられていてもよい。
第1環境センサ6は、例えば、カメラ(RGB−Dカメラ、ステレオカメラ)、レーザレンジファインダ、超音波センサなどの距離センサである。第1環境センサ6は、障害物との距離を示す距離情報(画像情報を含む)を取得する。第1環境センサ6は、取得した距離情報などの環境情報を制御装置5に送信する。
ところで、例えば、メンテナス担当者などが、遠隔的に、ロボットのセンサなどが故障しているか否かを容易に判断できるが、部品の歪みや噛み込み等の外的要因による故障原因を判断するのが困難となる場合がある。この場合、メンテナンス担当者などが直接的にロボットを確認すれば、故障原因も容易に判断できる。しかしながら、ロボットの傍に、常時、人を配置するというのは、人的負荷が大きい。
これに対し、本実施形態1に係る故障診断支援システム10は、所定のタイミングで、第1環境センサ6がロボット1自身の所定部位に向くように、第1環境センサ6の位置及び姿勢を制御する。第1環境センサ6は、制御された位置及び姿勢で、所定部位の画像を取得する。
これにより、ユーザは、所定のタイミングで、第1環境センサ6により取得されたロボット1の所定部位の画像を確認できる。したがって、ロボット1の傍にいなくても、故障原因などを容易に判断できる。すなわち、ロボット1の傍に人を配置する必要がないため人的負荷を軽減でき、ロボット1の故障原因を容易に判断できる。
図3は、本実施形態1に係る故障診断支援システムの概略的な構成を示すブロック図である。本実施形態1に係る故障診断支援システム10は、例えば、ロボット1に搭載され、該ロボット1の画像を取得する第1環境センサ6と、第1環境センサ6の位置及び姿勢を制御する位置姿勢制御部11と、ロボット1の故障部位を特定する部位特定部12と、ロボット1の故障部位と、該故障部位の画像を取得できる第1環境センサ6の位置及び姿勢と、を対応付けたテーブル情報を記憶する記憶部13と、を備えている。
位置姿勢制御部11は、記憶部13のテーブル情報に基づいて、部位特定部12により特定された故障部位に対応した位置及び姿勢に、第1環境センサ6の位置及び姿勢を制御する(図4)。第1環境センサ6は、位置姿勢制御部11により制御された位置及び姿勢で、故障部位の画像を取得する。
これにより、ユーザは、第1環境センサ6により取得されたロボット1の故障部位の画像を確認することで、ロボット1の傍にいなくても、故障原因を容易に判断できる。すなわち、ロボット1の傍に人を配置する必要がないため人的負荷を軽減でき、ロボット1の故障原因を容易に判断できる。
故障診断支援システム10は、例えば、制御処理、演算処理等を行うCPU(Central Processing Unit)、CPUによって実行される制御プログラム、演算プログラム等が記憶されたROM(Read Only Memory)やRAM(Random Access Memory)からなるメモリ、外部と信号の入出力を行うインターフェイス部(I/F)、などからなるマイクロコンピュータを中心にして、ハードウェア構成されている。CPU、メモリ、及びインターフェイス部は、データバスなどを介して相互に接続されている。
第1環境センサ6は、第1画像取得手段の一具体例である。第1環境センサ6は、例えば、ロボット1の把持操作装置4の把持部41に設けられたハンドカメラ、やロボット1の頭部に設けられた頭部カメラである。
位置姿勢制御部11は、制御手段の一具体例である。位置姿勢制御部11は、例えば、把持操作装置4の各関節部42のアクチュエータや首関節のアクチュエータを制御することで、各第1環境センサ6の位置及び姿勢を制御する。
部位特定部12は、部位特定手段の一具体例である。部位特定部12は、例えば、記憶部13に設定された自己診断プログラムを実行し、自己診断テーブルを参照して、ロボット1の故障診断を行う。
例えば、自己診断テーブルには、自己診断を行うロボット1の診断部位と、診断部位の診断方法、診断部位の位置情報(3次元座標系など)、などが夫々対応付けられて設定されている。ロボット1の診断部位は、例えば、センサに関係する部位(カメラ(レンズ、カバーなど)、レーザ(投光面、カバーなど)、バンパ(カバーなど)、バッテリ(コネクタなど))、把持操作装置4に関係する部位(関節部、リンク、アクチュエータ、把持部など)、移動装置3に関係する部位、ロボット1の入出力に関係する部位(ディスプレイ(液晶)、LED、マイク、スピーカ)、ロボット本体2の各部位などを含む。なお、診断部位の診断方法は、目視チェック、動作チェック、信号処理チェック(信号と閾値との比較など)などを含む。
例えば、部位特定部12は、予め設定された所定日時、所定処理時(ロボット1のバッテリ充電時)に上記自己診断プログラムを自動的に実行する。部位特定部12は、操作端末8などを介して入力された診断部位に対して、上記自己診断プログラムを実行してもよい。操作端末8は、ロボット1の3次元モデルを表示し、ユーザがその3次元モデル上で診断部位を指示することで、診断部位が入力されてもよい。ユーザは、第3者からの不具合情報に基づいて、操作端末8などに診断部位を入力してもよい。
さらに、部位特定部12は、ロボット1のセンサ情報に基づいて、自己診断プログラムを自動的に実行してもよい。部位特定部12は、例えば、ロボット1のセンサから出力されるセンサ値(温度、モータトルクなど)が閾値以上あるいは以下になったと判断すると、自己診断プログラムを自動的に実行する。
部位特定部12は、自己診断プログラムを実行すると、上述の如く、自己診断テーブルに設定された診断部位を、対応する診断方法に従って、診断部位の故障診断を行い、故障部位を特定する。
ここで、部位特定部12は、上記故障診断の結果、故障部位の特定(正常及び異常の判断のみ)を行うことは可能であるが、詳細な故障内容までを把握するのが困難となる場合がある。また、その故障部位に対して、修理などのいかなる対策が必要であるかまでは判断が難しい場合もある。
そこで、本実施形態1においては、上述の如く、記憶部13は、さらに、故障診断により故障と判断された故障部位と、該故障部位の画像を取得できる第1環境センサ6の位置及び姿勢と、を対応付けた故障テーブル情報を記憶している。位置姿勢制御部11は、記憶部13の故障テーブル情報に基づいて、部位特定部12により特定された故障部位に対応した位置及び姿勢に、第1環境センサ6の位置及び姿勢を制御する。
故障テーブル情報は、テーブル情報の一具体例である。第1環境センサ6は、位置姿勢制御部11により制御された位置及び姿勢で、故障部位の画像を取得する。ユーザは、操作端末8や記憶部13などを介して、この故障部位の画像を参照することで、遠隔的に、故障部位の故障原因、さらには、その故障原因に対して、修理などの対策を考えることができる。
例えば、故障テーブル情報に設定される第1環境センサ6の位置及び姿勢は、故障部位に対する相対的な位置及び姿勢であり、3次元座標系などで設定されている。
部位特定部12は、記憶部13の故障テーブル情報に基づいて、部位特定部12により特定された故障部位に対応した第1環境センサ6の位置及び姿勢を特定する。位置姿勢制御部11は、把持操作装置4の各関節部42のアクチュエータや首関節のアクチュエータを制御することで、第1環境センサ6を、部位特定部12により特定された位置及び姿勢にする。
記憶部13は記憶手段の一具体例である。記憶部13は、例えば、メモリなどにより構成されている。記憶部13は、第1環境センサ6から送信されるロボット1の画像情報などを逐次記憶する。メンテナンス担当者などは、記憶部13に記憶されたこのロボット1の画像情報を、随時、表示装置などに表示させ、確認することができる。
なお、例えば、予め故障が疑われる、あるいは故障する可能性が高いため、ユーザが定期的に確認した方がよいロボット1の部位が、操作端末8などを介して記憶部13に予め設定されていてもよい。部位特定部12は、上記故障診断を行うことなく、この記憶部13に設定された部位の情報に基づいて、上記故障部位を特定してもよい。
図5は、本実施形態1に係る故障診断支援方法の処理フローの一例を示すフローチャートである。
部位特定部12は、記憶部13に設定された自己診断プログラムを実行する(ステップS101)。部位特定部12は、記憶部13の自己診断テーブルに設定された診断部位を、対応する診断方法に従って、各診断部位の故障診断を行い、故障部位を特定する(ステップS102)。
部位特定部12は、記憶部13の故障テーブル情報に基づいて、特定した故障部位に対応した第1環境センサ6の位置及び姿勢を特定する(ステップS103)。
位置姿勢制御部11は、把持操作装置4の各関節部42のアクチュエータや首関節のアクチュエータを制御することで、部位特定部12により特定された位置及び姿勢に、第1環境センサ6の位置及び姿勢を制御する(ステップS104)。
第1環境センサ6は、位置姿勢制御部11により制御された位置及び姿勢で、故障部位の画像情報を取得する(ステップS105)。
通信装置7は、第1環境センサ6により取得された故障部位の画像情報を操作端末8に送信する(ステップS106)。操作端末8は、通信装置7から送信される故障部位の画像情報を受信し、表示画面上に表示する。これにより、ユーザは、故障部位の画像情報を参照することで、遠隔的に、故障内容などを詳細に把握し、故障原因を容易に判断できる。
なお、通信装置7は、第1環境センサ6により取得された故障部位の画像情報を、ロボット1を管理するサーバなどに送信するようにしてもよい。さらに、通信装置7は、第1環境センサ6により取得された故障部位の画像情報を、メールなどに添付してメンテナス担当者の操作端末8に送信してもよい。
以上、本実施形態1に係る故障診断支援システム10において、位置姿勢制御部11は、記憶部13のテーブル情報に基づいて、部位特定部12により特定された故障部位に対応した位置及び姿勢に、第1環境センサ6の位置及び姿勢を制御する。第1環境センサ6は、位置姿勢制御部11により制御された位置及び姿勢で、故障部位の画像を取得する。
これにより、ユーザは、第1環境センサ6により取得されたロボット1の故障部位の画像を確認することで、ロボット1の傍にいなくても、故障原因を容易に判断できる。すなわち、ロボット1の傍に人を配置する必要がないため人的負荷を軽減でき、ロボット1の故障原因を容易に判断できる。
実施形態2
図6は、本発明の実施形態2に係る故障診断支援システムの概略的な構成を示すブロック図である。本実施形態2に係る故障診断支援システム20は、上記実施形態1に係る故障診断支援システム10の構成に加えて、更に、部位特定部12により特定されたロボット1の故障部位と、記憶部13に記憶された故障テーブル情報と、に基づいて、第1環境センサ6が該故障部位の画像を取得可能か否かを判定する取得判定部21を備えている。
取得判定部21は、部位特定部12により特定された故障部位の画像取得が不可であると判定した場合、その不可の判定結果を位置姿勢制御部11に出力する。位置姿勢制御部11は、取得判定部21からの不可の判定結果に応じて、第1環境センサ6がロボット1が移動する環境内に配置された反射部材Mに映る故障部位の画像を取得できるように、第1環境センサ6及びロボット1の位置及び姿勢を制御する(図7)。これにより、第1環境センサ6が故障部位の画像を直接的に取得できない場合でも、反射部材Mを利用して、故障部位の画像を間接的に取得できる。したがって、この故障部位の画像を利用して故障原因を容易に判断できる。
取得判定部21は、取得判定手段の一具体例である。例えば、取得判定部21は、部位特定部12により特定されたロボット1の故障部位が、故障テーブルにおいて、第1環境センサ6の位置及び姿勢と、対応付けられていない場合、部位特定部12により特定された故障部位の画像取得が不可であると判定する。
これは、上述の如く、故障テーブル情報には、故障診断により故障と判断された故障部位と、該故障部位の画像を取得できる第1環境センサ6の位置及び姿勢と、を対応付けられている。したがって、故障テーブル情報において、故障診断により故障と判断された故障部位が、第1環境センサ6の位置及び姿勢と、対応付けられていない場合、第1環境センサ6はその故障部位の画像を取得できないからである。
また、取得判定部21は、各第1環境センサ6からの出力信号に基づいて、部位特定部12により特定されたロボット1の故障部位に対応付けられた全第1環境センサ6が異常であると判断した場合、部位特定部12により特定された故障部位の画像取得が不可であると判定してもよい。
反射部材Mは、例えば、ロボット1の移動環境内に予め配置されたミラーである。記憶部13は、故障部位と、第1環境センサ6が反射部材Mに映る故障部位の画像を取得する際の、ロボット1及び第1環境センサ6の位置及び姿勢と、が対応付けられたミラーテーブル情報を記憶している。
例えば、ミラーテーブル情報に設定されるロボット1及び第1環境センサ6の位置及び姿勢は、反射部材Mに対する相対的な位置及び姿勢であり、3次元座標系などで設定されている。反射部材Mの位置、姿勢、形状などに基づいて、第1環境センサ6が反射部材Mに映る故障部位の画像を取得可能となる、ロボット1及び第1環境センサ6の位置及び姿勢、が算出され、ミラーテーブル情報に設定されている。
位置姿勢制御部11は、記憶部13のミラーテーブル情報に基づいて、取得判定部21により画像取得不可と判定された故障部位に対応する位置及び姿勢に、第1環境センサ6及びロボット1の位置及び姿勢を制御する。第1環境センサ6は、位置姿勢制御部11により制御された位置及び姿勢で、反射部材Mに映る故障部位の画像を取得する。
なお、本実施形態2に係る故障診断支援システム20において、上記実施形態1に係る故障診断支援システム10と同一部分には同一符号を付して詳細な説明は省略する。
図8は、本実施形態2に係る故障診断支援方法の処理フローの一例を示すフローチャートである。
部位特定部12は、記憶部13に設定された自己診断プログラムを実行する(ステップS201)。部位特定部12は、記憶部13の自己診断テーブルに設定された診断部位を、対応する診断方法に従って、各診断部位の故障診断を行い、故障部位を特定する(ステップS202)。
取得判定部21は、部位特定部12により特定されたロボット1の故障部位と、記憶部13に記憶された故障テーブル情報と、に基づいて、第1環境センサ6が該故障部位の画像を取得可能か否かを判定する(ステップS203)。
取得判定部21は、部位特定部12により特定された故障部位の画像取得が可能であると判定した場合(ステップS203のYES)、部位特定部12は、記憶部13の故障テーブル情報に基づいて、特定した故障部位に対応した第1環境センサ6の位置及び姿勢を特定する(ステップS204)。位置姿勢制御部11は、部位特定部12により特定された位置及び姿勢に、第1環境センサ6の位置及び姿勢を制御する(ステップS205)。第1環境センサ6は、位置姿勢制御部11により制御された位置及び姿勢で、故障部位の画像情報を取得し(ステップS206)、後述の(ステップS209)に移行する。
一方、取得判定部21は、部位特定部12により特定された故障部位の画像取得が不可であると判定した場合(ステップS203のNO)、位置姿勢制御部11は、記憶部13のミラーテーブル情報に基づいて、取得判定部21により画像取得不可と判定された故障部位に対応した位置及び姿勢に、第1環境センサ6及びロボット1の位置及び姿勢を制御する(ステップS207)。第1環境センサ6は、位置姿勢制御部11により制御された位置及び姿勢で、反射部材Mに映る故障部位の画像を取得し(ステップS208)、後述の(ステップS209)に移行する。
通信装置7は、第1環境センサ6により取得された故障部位の画像情報を、操作端末8に送信する(ステップS209)。操作端末8は、通信装置7から送信される故障部位の画像情報を受信し、表示画面上に表示する。これにより、ユーザは、第1環境センサ6が故障部位の画像を直接的に取得できない場合でも、反射部材Mを利用して、故障部位の画像を間接的に取得し、その故障部位の画像情報を参照することで、遠隔的に、故障内容などを詳細に把握し、故障原因を容易に判断できる。
実施形態3
図9は、本実施形態3に係る故障診断支援システムの概略的な構成を示すブロック図である。本実施形態3に係る故障診断支援システム30は、上記実施形態1に係る故障診断支援システムの構成に加えて、更に、移動環境内に配置され、第1環境センサ6が設けられたロボット(以下、自ロボット)1の画像を取得する第2環境センサ31と、第1環境センサ6が該故障部位の画像を取得可能か否かを判定する取得判定部21と、を更に備えている。
取得判定部21が、部位特定部12により特定された故障部位の画像取得が不可であると判定した場合、第2環境センサ31は、部位特定部12により特定された故障部位の画像を取得する。第2環境センサ31は、取得した故障部位の画像を操作端末8や自ロボット1などに送信する。
これにより、第1環境センサ6が自ロボット1の故障部位の画像を取得できない場合でも、第2環境センサ31が、自ロボット1の故障部位の画像を取得できる。したがって、この第2環境センサ31の故障部位の画像を参照して自ロボット1の故障原因を容易に判断できる。
第2環境センサ31は、例えば、自ロボット1の移動環境内に配置された他のロボット(他ロボット)や、支柱、壁、天井などの設置部材に、単数あるいは複数設けられている。第2環境センサ31は、取得した自ロボット1の画像情報などを無線を介して、自ロボット1の通信装置7などに送信する。
まず、図10に示す如く、第2環境センサ31が設置部材に配置されている場合について説明する。
記憶部13は、自ロボット1の故障部位と、第2環境センサ31が自ロボット1の故障部位の画像を取得する際の、自ロボット1の位置及び姿勢と、が対応付けられたセンサテーブル情報を記憶している。
例えば、センサテーブル情報に設定される自ロボット1の位置及び姿勢は、第2環境センサ31に対する相対的な位置及び姿勢であり、3次元座標系などで設定されている。例えば、第2環境センサ31の位置及び姿勢に基づいて、自ロボット1の各故障部位の画像を取得可能となる、自ロボット1の位置及び姿勢が算出され、センサテーブル情報に設定されている。
位置姿勢制御部11は、記憶部13のセンサテーブル情報に基づいて、取得判定部21により画像取得が不可と判定された故障部位に対応する位置及び姿勢に、自ロボット1の位置及び姿勢を制御する。位置姿勢制御部11は、通信装置7を介して、第2環境センサに対して制御信号を送信する。第2環境センサ31は、位置姿勢制御部11からの制御信号に応じて、位置姿勢制御部11により制御された自ロボット1の故障部位の画像を取得する。
なお、位置姿勢制御部11は、記憶部13のセンサテーブル情報に基づいて、自ロボット1の位置及び姿勢だけでは、故障部位の画像取得が不可であると判断した場合、自ロボット1の位置及び姿勢に加えて、第2環境センサ31の位置及び姿勢を制御してもよい。
続いて、図11に示す如く、第2環境センサ31が他ロボットに配置されている場合について説明する。
自ロボット1の故障部位と、他ロボットの第2環境センサ31が自ロボット1の故障部位の画像を取得する際の、自ロボット1、第2環境センサ31及び他ロボットの位置及び姿勢と、が対応付けられたセンサテーブル情報が記憶されている。
例えば、センサテーブル情報に設定される自ロボット1、第2環境センサ31及び他ロボットの位置及び姿勢は、3次元座標系などで設定されている。例えば、第2環境センサ31及び他ロボットの位置及び姿勢に基づいて、自ロボット1の各故障部位の画像を取得可能となる、自ロボット1の位置及び姿勢が算出され、センサテーブル情報に設定されている。
位置姿勢制御部11は、記憶部13のセンサテーブル情報に基づいて、取得判定部21により画像取得が不可と判定された故障部位に対応する位置及び姿勢に、自ロボット1の位置及び姿勢を制御する。
なお、位置姿勢制御部11は、記憶部13のセンサテーブル情報に基づいて、自ロボット1の位置及び姿勢だけでは、故障部位の画像取得が不可であると判断した場合、自ロボット1の位置及び姿勢だけでなく、他ロボット及び第2環境センサ31の位置及び姿勢を制御してもよい。また、位置姿勢制御部11は、自ロボット1の制御が困難と判断した場合などにおいて、他ロボット及び第2環境センサ31の位置及び姿勢のみを制御してもよい。
位置姿勢制御部11は、通信装置7を介して、第2環境センサに対して制御信号を送信する。他ロボットの第2環境センサ31は、位置姿勢制御部11からの制御信号に応じて、位置姿勢制御部11により制御された自ロボット1の故障部位の画像を取得する。
また、移動環境内に複数の第2環境センサ31がある場合、位置姿勢制御部11は、自ロボット1から最も近い第2環境センサ31に対して、上述の位置及び姿勢の制御を行ってもよい。この最も近い第2環境センサが、自ロボット1の故障部位の画像を取得する。これにより、より効率的に自ロボット1の故障部位の画像を取得できる。
本実施形態3に係る故障診断支援システム30において、上記実施形態1及び2に係る故障診断支援システム10、20と同一部分には同一符号を付して詳細な説明は省略する。
本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、上記実施形態において、ロボット1は、通信装置7を有しない構成であってもよい。この場合、操作端末とロボット1とは有線で接続されてもよい。あるいは、操作端末はロボット1に搭載される構成であってもよい。
上記実施形態1乃至3を任意に組み合わせてもよい。
本発明は、例えば、図5及び図8に示す処理を、CPUにコンピュータプログラムを実行させることにより実現することも可能である。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。
プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
1 ロボット、2 ロボット本体、3 移動装置、4 把持操作装置、5 制御装置、6 第1環境センサ、7 通信装置、8 操作端末、10 故障診断支援システム、11 位置姿勢制御部、12 部位特定部、13 記憶部、20 故障診断支援システム、21 取得判定部、30 故障診断支援システム、31 第2環境センサ、41 把持部、42 関節部、43 リンク

Claims (4)

  1. ロボットに搭載され、該ロボットの画像を取得する第1画像取得手段と、
    前記第1画像取得手段の位置及び姿勢を制御する制御手段と、
    前記ロボットの故障部位を特定する部位特定手段と、
    前記ロボットの故障部位と、該故障部位の画像を取得できる前記第1画像取得手段の位置及び姿勢と、を対応付けたテーブル情報を記憶する記憶手段と、
    を備え、該ロボット自身の一部が故障しているか否かを診断することを支援するロボットの故障診断支援システムであって、
    前記制御手段は、前記記憶手段のテーブル情報に基づいて、前記部位特定手段により特定された故障部位に対応した位置及び姿勢に、該第1画像取得手段の位置及び姿勢を制御し、
    前記第1画像取得手段は、前記制御手段により制御された位置及び姿勢で、前記故障部位の画像を取得し、
    前記部位特定手段により特定されたロボットの故障部位に基づいて、前記第1画像取得手段が該故障部位の画像を取得可能か否かを判定する取得判定手段を更に備え、
    前記取得判定手段が前記部位特定手段により特定された故障部位の画像を取得不可であると判定した場合、前記制御手段は、前記第1画像取得手段が前記ロボットが移動する環境内に配置された反射部材に映る前記故障部位の画像を取得できるように、前記第1画像取得手段及び前記ロボットの位置及び姿勢を制御する、
    ことを特徴とするロボットの故障診断支援システム。
  2. 請求項記載のロボットの故障診断支援システムであって、
    前記ロボットが移動する環境内に配置され、該ロボットの画像を取得する第2画像取得手段と、
    前記部位特定手段により特定されたロボットの故障部位に基づいて、前記第1画像取得手段が該故障部位の画像を取得可能か否かを判定する取得判定手段と、
    を更に備え、
    前記取得判定手段は、前記第1画像取得手段が前記部位特定手段により特定された故障部位の画像を取得不可であると判定した場合、前記第2画像取得手段は、前記部位特定手段により特定された故障部位の画像を取得する、
    ことを特徴とするロボットの故障診断支援システム。
  3. 請求項記載のロボットの故障診断支援システムであって、
    前記第2画像取得手段は、前記環境内に配置された設置部材又は他ロボットに設けられており、
    前記記憶手段は、前記ロボットの故障部位と、前記第2画像取得手段が該ロボットの故障部位の画像を取得する際の、前記ロボットの位置及び姿勢と、が対応付けられたテーブル情報を記憶しており、
    前記制御手段は、前記記憶手段のテーブル情報に基づいて、前記取得判定手段により画像取得が不可と判定された故障部位に対応する位置及び姿勢に、前記ロボットの位置及び姿勢を制御する、
    ことを特徴とするロボットの故障診断支援システム。
  4. ロボットの所定部位に故障があるか否かを診断することを支援するロボットの故障診断支援方法であって、
    前記ロボットの故障部位を特定するステップと、
    前記ロボットの故障部位と、前記ロボットに搭載され該故障部位の画像を取得できる第1画像取得手段の位置及び姿勢と、を対応付けたテーブル情報を記憶する記憶手段と、
    前記記憶手段のテーブル情報に基づいて、前記特定された故障部位に対応した位置及び姿勢に、該第1画像取得手段の位置及び姿勢制御するステップと、
    前記第1画像取得手段が、前記制御された位置及び姿勢で、前記故障部位の画像を取得するステップと、
    前記特定された故障部位の画像を取得不可であると判定した場合、前記第1画像取得手段が前記ロボットが移動する環境内に配置された反射部材に映る前記故障部位の画像を取得できるように、前記第1画像取得手段及び前記ロボットの位置及び姿勢を制御するステップと、
    を含む、ことを特徴とするロボットの故障診断支援方法。
JP2017051116A 2017-03-16 2017-03-16 ロボットの故障診断支援システム及び故障診断支援方法 Active JP6677198B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017051116A JP6677198B2 (ja) 2017-03-16 2017-03-16 ロボットの故障診断支援システム及び故障診断支援方法
US15/904,605 US10713486B2 (en) 2017-03-16 2018-02-26 Failure diagnosis support system and failure diagnosis support method of robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017051116A JP6677198B2 (ja) 2017-03-16 2017-03-16 ロボットの故障診断支援システム及び故障診断支援方法

Publications (2)

Publication Number Publication Date
JP2018153880A JP2018153880A (ja) 2018-10-04
JP6677198B2 true JP6677198B2 (ja) 2020-04-08

Family

ID=63519509

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017051116A Active JP6677198B2 (ja) 2017-03-16 2017-03-16 ロボットの故障診断支援システム及び故障診断支援方法

Country Status (2)

Country Link
US (1) US10713486B2 (ja)
JP (1) JP6677198B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6500867B2 (ja) * 2016-09-23 2019-04-17 カシオ計算機株式会社 ロボット、故障診断システム、故障診断方法及びプログラム
JP7021895B2 (ja) 2017-10-03 2022-02-17 川崎重工業株式会社 異常の生じた部位の推定方法及び異常の生じた部位の推定を行わせるプログラム
JP7200991B2 (ja) * 2018-06-05 2023-01-10 ソニーグループ株式会社 情報処理装置、情報処理システム、プログラム、及び情報処理方法
CN112384344A (zh) * 2018-07-13 2021-02-19 索尼公司 控制设备、控制方法和程序
JP2021084177A (ja) * 2019-11-28 2021-06-03 ファナック株式会社 無人搬送ロボットシステム
CN114153190A (zh) * 2021-11-03 2022-03-08 北京三快在线科技有限公司 一种无人设备控制方法、装置、存储介质及电子设备
US20230176581A1 (en) * 2021-12-07 2023-06-08 Otis Elevator Company Robot configured for performing a self-assessment of its external surface
CN114734438A (zh) * 2022-04-02 2022-07-12 中科新松有限公司 一种机器人关节的故障诊断方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61226289A (ja) * 1985-03-29 1986-10-08 株式会社神戸製鋼所 ロボツト・マニピユレ−タの診断装置
JP2001150374A (ja) * 1999-11-25 2001-06-05 Sony Corp ロボットの故障診断システム
JP2002049414A (ja) * 2000-05-26 2002-02-15 Yutaka Electronics Industry Co Ltd 産業用機械の保全方法及び保全システム
JP2002018680A (ja) * 2000-07-10 2002-01-22 Mitsubishi Electric Corp 工作機械
US20040186622A1 (en) * 2001-07-12 2004-09-23 Takashi Aiuchi Wafer processing apparatus and transfer device adjustment system
JP2007152470A (ja) * 2005-12-02 2007-06-21 Mitsubishi Heavy Ind Ltd 自己診断機能付きロボット
KR20090043088A (ko) * 2007-10-29 2009-05-06 삼성전자주식회사 영상 기반의 로봇 고장 자가 진단 장치 및 방법
JP2011206871A (ja) * 2010-03-29 2011-10-20 Eager Co Ltd ロボット用事故解析システム
JP5857747B2 (ja) * 2012-01-05 2016-02-10 富士通株式会社 撮像装置を搭載したロボットの動作設定法。
JP2015216482A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 撮像制御方法、および撮像装置
JP6288586B2 (ja) * 2015-03-31 2018-03-07 カワダロボティクス株式会社 ロボット用撮像方向変更装置
JP6088679B1 (ja) * 2016-02-19 2017-03-01 ファナック株式会社 カメラの画像により故障を判定するロボットシステムの故障診断装置
JP6607162B2 (ja) * 2016-09-23 2019-11-20 カシオ計算機株式会社 ロボット、状態判定システム、状態判定方法及びプログラム

Also Published As

Publication number Publication date
US10713486B2 (en) 2020-07-14
JP2018153880A (ja) 2018-10-04
US20180268217A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
JP6677198B2 (ja) ロボットの故障診断支援システム及び故障診断支援方法
JP7030518B2 (ja) 産業用遠隔操作ロボットシステム
US9898815B2 (en) Fault diagnostic device of robot system for judging fault by camera image
JP6581056B2 (ja) ロボット制御部と通信する教示操作盤を備えたロボットシステム
JP2018160232A (ja) 対話形式で認知する作業支援システム及び方法
US11472038B2 (en) Multi-device robot control
EP2460628A2 (en) Robot apparatus and gripping method for use in robot apparatus
JP2020137000A (ja) 映像記録装置およびヘッドマウントディスプレイ
US11794359B1 (en) Manual operation of a remote robot assembly
CN112469538B (zh) 数据生成装置及方法、数据生成程序、以及远程操作系统
US20210272269A1 (en) Control device, control method, and program
WO2013150596A1 (ja) ロボットシステム及び作業設備
KR101378305B1 (ko) 로봇맵 생성 방법 및 시스템
KR20220100865A (ko) 제어 방법, 제어 장치, 로봇 시스템, 프로그램 및 기록 매체
JP7392154B2 (ja) ロボット制御装置
US11931885B2 (en) Touch sensing method and serial manipulator using the same
KR20140008659A (ko) 로봇을 모니터링하는 교시조작 시스템 및 교시조작 방법
JP2010191875A (ja) プログラマブルコントローラにおける接点系統異常の音声報知方式
JP2024135099A (ja) ロボット制御システム
JP2024130677A (ja) 情報処理装置、操作装置、制御装置、ロボットシステム、情報処理装置の情報処理方法、操作装置の情報処理方法、制御装置の制御方法、物品の製造方法、プログラム、及び記録媒体
JP2024130678A (ja) 情報処理装置、制御装置、ロボットシステム、情報処理装置の情報処理方法、制御装置の制御方法、物品の製造方法、プログラム、及び記録媒体
JP2020163474A (ja) ロボット装置
JPWO2019220734A1 (ja) ロボット装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200225

R151 Written notification of patent or utility model registration

Ref document number: 6677198

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151