JP6866673B2 - 監視システム、監視装置、および監視方法 - Google Patents

Description

本技術は、作業者とロボットとが作業する作業領域内で、作業者が安全に作業できるように作業者およびロボットの動作を監視する監視システム、監視装置、および監視方法に関する。

従来から、作業者とロボットとが協働して作業する作業領域内で、作業者およびロボットの動作を監視する監視システムが提案されている。たとえば、特許文献１記載の発明は、複数の撮像装置で作業領域の全領域を撮像し、該撮像された画像について画像処理を行うことにより、作業者の位置とロボットとの位置を検出する。特許文献１記載の発明は、検出された作業者の位置とロボットとの位置に基づいて、作業者が安全に作業できるように、ロボットの動作を制御する。

特表２００６−５０１４８７号公報

上述の特許文献１では、作業領域の全領域の画像について画像処理を行う必要があることから、画像処理の負担が増大するという問題があった。

本技術は、このような問題に鑑み、画像処理の負担を軽減する監視システム、監視装置、および監視方法を提供する。

本発明のある局面によれば、作業者とロボットとが作業する作業領域内で、作業者が安全に作業できるように作業者およびロボットの動作を監視する監視装置を含む監視システムであって、作業領域内に侵入した作業者の位置を検出する検出部と、検出部で検出した作業者の位置に基づき作業者が可動する範囲を表す作業者可動領域を特定する第１特定部と、第１特定部で特定した作業者可動領域と、ロボットの予め定められたロボット占有領域とを少なくとも含む領域を撮像する撮像部と、撮像部で撮像された領域の画像からロボットの可動部分が可動する範囲を表すロボット可動領域を特定する第２特定部と、撮像部で撮像された領域の画像から作業者の人体領域を特定する第３特定部と、第２特定部で特定されたロボット可動領域と、第３特定部で特定された人体領域との距離を測定する測定部と、測定部で測定された距離が、予め定められた距離以下となったときに、該ロボットの動きを制限する制限部とを備える。

好ましくは、第１特定部は、検出部で検出された作業者の位置に基づき特定される作業者可動領域から、作業者が存在し得ない領域を除外することにより、新たな作業者可動領域として特定する。

好ましくは、作業者可動領域と、作業者可動領域と少なくとも一部が重なるロボット占有領域とを合成した領域を合成領域と設定する設定部をさらに備え、第２特定部は、撮像部で撮像された領域のうち合成領域の画像からロボット可動領域を特定し、第３特定部は、撮像部で撮像された領域のうち合成領域の画像から人体領域を特定する。

好ましくは、撮像部は、作業者可動領域と、作業者可動領域と少なくとも一部が重なるロボット占有領域とを合成した合成領域に限定して撮像する。

好ましくは、第２特定部は、ロボットの可動部分に設けられたマーカに基づき、ロボット可動領域を特定する。

好ましくは、ロボットの可動部分に設けられたマーカに基づき、撮像部で撮像された画像からロボットの可動部分の位置を特定する第４特定部と、第４特定部で特定したロボットの可動部分の位置と、ロボットの制御部に入力された動作情報で示される動作とを比較する比較部とをさらに備える。

好ましくは、ロボットは移動可能であり、検出部は、ロボットの位置を特定し、第１特定部は、検出部で検出したロボットの位置に基づきロボット占有領域を特定する。

本発明の別の局面に従う監視装置は、作業者とロボットとが作業する作業領域内で、作業者が安全に作業できるように作業者およびロボットの動作を監視する監視装置であって、作業領域内に侵入した作業者の位置を検出する検出部で検出した作業者の位置に基づき作業者が可動する範囲を表す作業者可動領域を特定する第１特定部と、第１特定部で特定した作業者可動領域と、ロボットの予め定められたロボット占有領域とを少なくとも含む領域を撮像する撮像部で撮像された領域の画像からロボットの可動部分が可動する範囲を表すロボット可動領域を特定する第２特定部と、撮像部で撮像された領域の画像から作業者の人体領域を特定する第３特定部と、第２特定部で特定されたロボット可動領域と、第３特定部で特定された人体領域との距離を測定する測定部と、測定部で測定された距離が、予め定められた値以下となったときに、該ロボットの動きを制限する制限部とを備える。

本発明の別の局面に従う監視方法は、作業者とロボットとが作業する作業領域内で、作業者が安全に作業できるように作業者およびロボットの動作を監視する監視方法であって、作業領域内に侵入した作業者の位置を検出する検出部で検出した作業者の位置に基づき作業者が可動する範囲を表す作業者可動領域を特定するステップと、特定した作業者可動領域と、ロボットの予め定められたロボット占有領域とを少なくとも含む領域を撮像する撮像部で撮像された領域の画像からロボットの可動部分が可動する範囲を表すロボット可動領域を特定するステップと、撮像部で撮像された領域の画像から作業者の人体領域を特定するステップと、ロボット可動領域と、人体領域との距離を測定するステップと、測定された距離が、予め定められた値以下となったときに、該ロボットの動きを制限するステップとを備える。

本技術に係る監視システム、監視装置、および監視方法によれば、画像処理の負担を軽減できる。

本実施の形態に従う監視システム１の構成例を示す図である。 コントローラのハードウェア構成を示す図である。 監視装置の機能構成例を示す図である。 作業者可動領域を示す図である。 ロボット占有領域を示す図である。 作業者可動領域と、ロボット占有領域との重なる領域を示す図である。 合成領域６００Ｂを示す図である。 ロボット可動領域を示す図である。 対応付けられた発光態様を示す図である。 ロボット可動領域と、人体領域とを示す図である。 クラスタ情報の集合体を示す図である。 作業領域などの各領域を示す図である。 監視装置のフローチャートを示す図である。 該動作エラーの検出手法を示す図である。 座標変換パラメータの算出手法を示す図である。 変形例の監視装置の機能構成例を示す図である。 作業者の位置を特定するための他の手法を示す図である。 アームの位置を特定するための他の手法を示す図である。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

＜監視システム１の構成例＞
まず、本実施の形態に従う監視装置を含む監視システム１の構成例について説明する。

図１は、本実施の形態に従う監視システム１の構成例を示す図である。図１を参照して、本実施の形態に従う監視システム１は、監視装置１００と、１以上の撮像部としてのカメラ４と、１以上の検出部としてのセンサ２とを有する。監視装置１００は、ビジョンコントローラ１２０と、セーフティコントローラ１５０とを含む。本実施形態では、ビジョンコントローラ１２０と、セーフティコントローラ１５０と、後述するロボットコントローラとは独立的に設けられている。換言すると、ビジョンコントローラ１２０と、セーフティコントローラ１５０と、ロボットコントローラとはそれぞれ別の筐体で構成されている。図１の例では、カメラ４は２台設置されており、センサ２は２台設置されている。

監視システム１は、作業者３００とロボット４００とが作業する作業領域α内で、作業者３００が安全に作業できるように作業者３００およびロボット４００の動作を監視する。本実施形態では、ロボット４００は移動せずにその場で固定された状態で動作を行なう（作業を行なう）。センサ２は、作業領域αに侵入した作業者３００の位置を検出する。本実施形態では、作業者３００の位置を検出する手法として、電波を出力するＲＦ（radio frequency）タグを用いる。センサ２は、ＲＦタグを検出可能である。作業者３００は、ＲＦタグ３０２を体の一部に取付けることにより、センサ２は、ＲＦタグ３０２（該作業者３００）の位置を特定する。作業者３００の位置とは、たとえば、作業領域αにおける三次元的な座標である。たとえば、「センサ２が該作業者３００の位置を特定する」とは、「センサ２が、作業者３００に取付けられているＲＦタグ３０２の作業領域αにおける三次元的な座標を取得する」ということである。

また、ＲＦタグではなく、超音波を出力するタグを用いるようにしてもよい。この場合には、センサ２は該超音波を受信することにより、センサ２は、ＲＦタグ３０２の位置を検出する。また、タグが出力するものおよびセンサ２が受信するものは、電波および超音波などに限られず他のものであってもよい。

作業領域α内には、複数のロボット４００が設置されている。図１の例では、ロボット４００は、載置台４０２に載置されている。作業領域α内において、作業者３００は、ロボット４００との協同作業が可能となる。

作業領域α内には、構造物５００が設置されている。構造物５００は、作業者３００が立ち入ることができないものである。構造物５００とは、たとえば、ロボット４００を制御するロボットコントローラを含む制御装置としてもよい。また、構造物５００は、作業者３００の荷物などを載置可能な棚としてもよい。

カメラ４は、主に、作業領域α内の作業者３００およびロボット４００などを動画として撮像する。カメラ４は、レンズなどの光学系と、撮像素子とを含む。撮像素子は、ＣＣＤ（Coupled Charged Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどである。また、本実施形態では、カメラ４は２台設けられている。該２台のカメラ４により、作業領域α内の画像を三次元的に撮像できる。

＜監視装置１００のハードウェア構成例＞
図２は、ビジョンコントローラ１２０のハードウェア構成例の一例を示したものである。図２を参照して、ビジョンコントローラ１２０は、プログラムを実行するＣＰＵ（Central Processing Unit）１０１と、データを不揮発的に格納するＲＯＭ（Read Only Memory）１０２と、データを揮発的に格納するＲＡＭ（Random Access Memory）１０３と、フラッシュメモリ１０４と、入力部１０７と、情報および信号を送受信する通信ＩＦ（interface）１０８と、エラー報知などを行なう報知装置１０９とを備える。ＲＯＭ１０２に、ＣＰＵ１０１が実行するプログラムなどが格納されている。また、セーフティコントローラ１５０と、ロボットコントローラそれぞれについても、図２と同様のハードウェア構成を採用している。

＜監視装置１００の機能構成例＞
次に、監視装置１００の機能構成例を示す。図３は、監視装置１００の機能構成例を示した図である。ビジョンコントローラ１２０は、第２特定部８と、第３特定部１０と、第４特定部１６と、設定部１７とを含む。セーフティコントローラ１５０は、第１特定部６と、測定部１２と、制限部１４と、比較部１８と、発光制御部１５４とを備える。

センサ２は、作業領域α内に侵入した作業者３００の位置を、該作業者３００に取付けられているＲＦタグ３０２に基づいて検出する。該センサ２により検出された作業者３００の位置を示す検出情報が第１特定部６に入力される。第１特定部６は、センサ２で検出したＲＦタグ３０２（作業者３００の位置）を示す検出情報に基づき、作業者可動領域３００Ａを特定する。

図４は、作業者可動領域３００Ａを示す図である。作業者可動領域３００Ａとは、作業者３００が可動する範囲を表す。一般的に、作業領域α内での作業者の動作スピードは推定されている。作業者可動領域３００Ａとは、所定時間（たとえば、１秒間）以内に、作業者３００または作業者３００の一部（たとえば、作業者３００の腕）が動作することにより通過すると推測される領域である。

また、作業者可動領域３００Ａは、センサ２により検知されたＲＦタグ３０２の位置を含む領域である。したがって、センサ２の検知誤差が生じた場合であっても、作業者可動領域３００Ａは、該検知誤差を吸収できる領域である。このように、本実施形態の作業者可動領域３００Ａは、センサ２の検知誤差を考慮した領域でもある。また、作業者可動領域３００Ａは、侵入者（つまり作業者３００）が存在する可能性がある侵入者存在可能領域ともいう。また、カメラ４が撮像する画像におけるＲＯＩ（Region of Interest）は、カメラ４が撮像する画像のうち監視において関心ある領域であって、第１特定部６により特定された作業者可動領域３００Ａに対応する領域である。

第１特定部６により特定された作業者可動領域３００Ａは、設定部１７に入力される。また、本明細書において、作業者可動領域３００Ａなどの領域については、該領域を示す情報という意味でも用いる。したがって、たとえば、「作業者可動領域３００Ａが設定部１７に入力される」とは、「作業者可動領域３００Ａを示す情報が設定部１７に入力される」ということである。また、ＲＡＭ１０３に格納されているロボット占有領域４００Ａは、設定部１７に入力される。

ここで、ロボット占有領域４００Ａについて説明する。図５は、ロボット占有領域４００Ａを示す図である。ロボット占有領域４００Ａは、ロボット４００が実行可能な全ての作業において、ロボット４００の一部（たとえば、図８に示すアーム４０６）およびロボット４００の全てが通過し得る領域である。また、ロボット占有領域４００Ａは、所定の記憶領域（本実施形態では、ＲＡＭ１０３）に格納されている情報である。各ロボットの位置は予め定められていることから、ロボット占有領域４００Ａは予め定められている領域である。ロボット占有領域４００Ａは、３次元の座標（ｘ座標、ｙ座標、ｚ座標）の範囲により特定される領域である。

監視装置１００の管理者、たとえば、作業領域αの監督者などは、各ロボット４００の位置を入力部１０７に入力する。監視装置１００に含まれる変換部（特に図示せず）は、入力された各ロボット４００の位置から、ロボット占有領域に変換する。変換されたロボット占有領域は、各ロボット毎にＲＡＭ１０３に格納される。

一般的に、作業領域αでの作業内容によっては、各ロボットの位置が変更される。監視装置１００の管理者により入力された各ロボット４００の位置から、ロボット占有領域４００Ａは生成される。したがって、ロボットの位置が変更されたとしても、該変更に応じて、柔軟に、監視装置１００は、ロボット占有領域４００Ａを生成できる。

設定部１７は、第１特定部６からの作業者可動領域３００Ａと、該作業者可動領域３００Ａと少なくとも一部が重なるロボット占有領域４００Ａとを合成した領域を合成領域として設定する。図６は、作業者可動領域３００Ａと、該作業者可動領域３００Ａと少なくとも一部が重なるロボット占有領域４００Ａとを示した図である。図６の例では、作業者可動領域３００Ａとロボット占有領域４００Ａの一部とが、領域６００Ａ（ハッチングの箇所）において重なっている。また、作業者可動領域３００Ａとロボット占有領域４００Ａとのうちいずれか一方の全てが他方に含まれる場合には、作業者可動領域３００Ａとロボット占有領域４００Ａとのうち大きい方の領域を合成領域としてもよい。

図７は、設定部１７により設定される合成領域６００Ｂを示した図である。図７の例では、設定部１７は、作業者可動領域３００Ａとロボット占有領域４００Ａとの論理和の領域（ＯＲの領域）から、除外領域５００Ａを除外した領域を合成領域６００Ｂとして設定する。ここで、除外領域５００Ａは、構造物５００の領域である。また、作業者３００は、構造物５００内に立ち入ることができない。したがって、除外領域５００Ａは、作業者３００が存在し得ない領域であるといえる。設定された合成領域６００Ｂは、第２特定部８、第３特定部１０、および第４特定部１６に入力される。なお、本実施形態では、設定部１７は、作業者可動領域３００Ａから除外領域５００Ａを除外し、該除外後の作業者可動領域３００Ａと、ロボット占有領域４００Ａとの論理和の領域（ＯＲの領域）を合成領域６００Ｂとして設定する。

また、構造物５００の位置は予め定まっている。したがって、該構造物５００の除外領域５００Ａについては、予め学習されており、かつ所定の記憶領域（たとえば、ＲＡＭ１０３）に予め格納されている。設定部１７は、該格納されている除外領域５００Ａの情報（座標）を用いて、作業者可動領域３００Ａから除外領域５００Ａを除外する。また、該学習などの手法については、如何なる手法を用いてもよい。該手法については、たとえば、「米国特許出願公開２０１１−２４２２８３号明細書」などに記載されている。

第２特定部８は、カメラ４で撮像された領域の撮像画像からロボット４００の可動部分（本実施形態では、アーム）が可動する範囲を表すロボット可動領域を特定する。該ロボット４００は、カメラ４で撮像された領域の撮像画像のうち、合成領域６００Ｂに含まれるロボット４００である。図８は、ロボット可動領域を示す図である。

図８を用いて、まず、ロボット４００の詳細な構造を説明する。ロボット４００は、台部４０４と、アーム４０６とを含む。アーム４０６は、第１アーム４１１と、第２アーム４１２と、第３アーム４１３と、該第１アーム４１１と該第２アーム４１２とを接続する関節部４１４と、該第２アーム４１２と該第３アーム４１３とを接続する関節部４１５と、該第３アーム４１３と台部４０４とを接続する関節部４１６とを含む。このような構成により、アーム４０６は３次元的な動作が可能となる。

第２特定部８は、ロボット４００の可動部分としてのアーム４０６に設けられたマーカに基づき、ロボット可動領域を特定する。本実施形態のマーカは、発光するＬＥＤである。本実施形態では、第１ＬＥＤ４２１が、第１アーム４１１の延伸方向の中央部に設けられる。第２ＬＥＤ４２２が、第２アーム４１２の延伸方向の中央部に設けられる。第３ＬＥＤ４２３が、第３アーム４１３の延伸方向の中央部に設けられる。各ＬＥＤは、セーフティコントローラ１５０内の発光制御部１５４の制御により発光する。

また、各ＬＥＤは、ロボット４００の動作によってロボット４００自身の影に入ることによりカメラ４が撮像できない位置に入ることがないように、各アームに巻き付けるような形で取り付けられることが好ましい。

第１ＬＥＤ４２１、第２ＬＥＤ４２２、および第３ＬＥＤ４２３は、それぞれ対応付けられた発光態様で発光する。図９は、対応付けられた発光態様を示す図である。図９の例では、第１ＬＥＤ４２１は、継続して発光し（継続発光し）、第２ＬＥＤ４２２は、１秒毎に発光し（１秒点滅し）、第３ＬＥＤ４２３は、２秒毎に発光する（２秒点滅する）。第１ＬＥＤ４２１、第２ＬＥＤ４２２、および第３ＬＥＤ４２３それぞれの発光態様（以下、「ＬＥＤ発光態様」という。）は、予め定められた記憶領域（本実施形態では、ＲＯＭ１０２）に記憶されている。

カメラ４で撮像された撮像画像は、第２特定部８に入力される。第２特定部８は、撮像画像のうち、合成領域６００Ｂに含まれる画像を抽出する。その後、第２特定部８は、該抽出した画像内において、ＲＯＭ１０２に記憶されているＬＥＤ発光態様に基づいて、第１アーム４１１、第２アーム４１２、および第３アーム４１３の動作を認識できる。つまり、第２特定部８は、継続発光しているＬＥＤを第１ＬＥＤ４２１と認識し、該第１ＬＥＤ４２１の軌跡を認識することにより、第１アーム４１１の動作を認識できる。また、第２特定部８は、１秒点滅発光しているＬＥＤを第２ＬＥＤ４２２と認識し、該第２ＬＥＤ４２２の軌跡を認識することにより、第２アーム４１２の動作を認識できる。また、第２特定部８は、２秒点滅発光しているＬＥＤを第３ＬＥＤ４２３と認識し、該第３ＬＥＤ４２３の軌跡を認識することにより、第３アーム４１３の動作を認識できる。

第２特定部８は、第１アーム４１１の動作を認識することにより、第１アーム４１１が動作可能な第１アーム領域４１１Ａ（第１アーム４１１が存在していると推定される領域）を認識できる。第２特定部８は、第２アーム４１２の動作を認識することにより、第２アーム４１２が動作可能な第２アーム領域４１２Ａ（第２アーム４１２が存在していると推定される領域）を認識できる。第２特定部８は、第３アーム４１３の動作を認識することにより、第３アーム４１３が動作可能な第３アーム領域４１３Ａ（第３アーム４１３が存在していると推定される領域）を認識できる。

さらに、第２特定部８は、第１アーム領域４１１Ａ、第２アーム領域４１２Ａ、および第３アーム領域４１３Ａを合成することにより、ロボット可動領域４００Ｂを特定する。本実施形態では、第２特定部８は、第１アーム領域４１１Ａ、第２アーム領域４１２Ａ、および第３アーム領域４１３Ａの論理和の領域（ＯＲの領域）をロボット可動領域４００Ｂとして特定する。ロボット可動領域４００Ｂは、ロボット４００の可動部分（つまり、アーム４０６）の動作に基づいて、アーム４０６が可動する範囲を示す範囲である。換言すれば、ロボット可動領域４００Ｂは、ロボット４００のアーム４０６が動作することにより通過すると推測される領域である。また、ロボット可動領域４００Ｂは、第２特定部８により認識された各ＬＥＤの位置を含む領域である。したがって、第２特定部８の認識誤差が生じた場合であっても、ロボット可動領域４００Ｂは、該認識誤差を吸収できる領域である。また、ロボット占有領域４００Ａは、ロボット４００が実行可能な全ての作業において、ロボット４００の一部（たとえば、図８に示すアーム４０６）およびロボット４００の全てが通過し得る領域である。一方、ロボット可動領域４００Ｂは、アーム４０６の現在の動作に基づいて該アーム４０６が通過すると予測される領域である。したがって、ロボット可動領域４００Ｂは、ロボット占有領域４００Ａよりも狭い領域である。

このように、第２特定部８は、撮像画像において合成領域６００Ｂ内に含まれる各ＬＥＤ（第１ＬＥＤ４２１、第２ＬＥＤ４２２、および第３ＬＥＤ４２３）の動作を認識することにより、ロボット４００の可動部分が動作する範囲を示すロボット可動領域４００Ｂを特定することができる。特定されたロボット可動領域４００Ｂは、測定部１２に入力される。ロボット可動領域４００Ｂは、３次元の座標（ｘ座標、ｙ座標、ｚ座標）の範囲により特定される領域である。

第３特定部１０は、カメラ４で撮像された撮像画像の領域のうち、合成領域６００Ｂの画像から作業者３００の人体領域を特定する。図１０は、合成領域６００Ｂ内の画像において、ロボット可動領域４００Ｂと、人体領域３００Ｂとを示した図である。たとえば、第３特定部１０は、合成領域６００Ｂの画像の最小単位の画像（たとえば、ピクセル単位）の特徴量を抽出する。また、ＲＯＭ１０２には、人体の特徴量がモデルとして予め格納されている。ここで、特徴量とは、作業者３００の顔、および作業者３００が着用している作業服などを示す特徴量である。第３特定部１０は、抽出された特徴量と、ＲＯＭ１０２に格納されている特徴量との差分に応じて一致度を算出する。たとえば、この差分が大きければ、第３特定部１０により算出される一致度は小さくなり、この差分が小さければ、第３特定部１０により算出される一致度は大きくなる。第３特定部１０は、一致度が予めさめられた閾値よりも高い特徴量の領域を人体領域として特定する。なお、人体領域の特定の手法は、これに限らず、他の手法を用いるようにしてもよい。

また、第３特定部１０は、合成領域６００Ｂのうち、ＲＦタグ３０２の領域の特徴量、および該ＲＦタグ３０２周辺の領域の特徴量を抽出し、他の領域の特徴量を抽出しないようにしてもよい。このような構成によれば、合成領域６００Ｂの全ての領域の特徴量を抽出する構成と比較して、特徴量を抽出する領域を狭めることができることから、特徴量を抽出する処理の負担を軽減できる。特定された人体領域３００Ｂは、測定部１２に入力される。人体領域３００Ｂは、３次元の座標（ｘ座標、ｙ座標、ｚ座標）の範囲により特定される領域である。

測定部１２は、第２特定部８で特定されたロボット可動領域４００Ｂと、第３特定部１０で特定された人体領域３００Ｂとの距離Ｌを測定する。測定部１２は、該測定のために、人体領域３００Ｂを最小単位の領域に分割することにより、クラスタ情報の集合体３００Ｃを生成する。図１１は、クラスタ情報の集合体３００Ｃを示す図である。測定部１２は、クラスタ情報の集合体３００Ｃのうち、ロボット可動領域４００Ｂに最も近いクラスタ情報３００Ｃａと、ロボット可動領域４００Ｂとの距離Ｌ（３次元距離）を測定する。測定された距離Ｌは、制限部１４に入力される。

制限部１４は、入力された距離Ｌが、予め定められた距離Ｌｃ（閾値）以下となったときに、制限信号をロボットコントローラ２００に対して送信することにより、ロボット４００の動作を制限する。ロボットコントローラ２００は、各ロボット４００の動作を制御するコントローラである。制限信号は、ロボット４００の動作を制限するための信号である。

ここで、動作が制限されるロボット４００（以下、「制御対象のロボット」ともいう。）とは、クラスタ情報３００Ｃａとの距離Ｌが、距離Ｌｃ以下と判断されたロボットである。また、ロボットの動作の制限とは、たとえば、ロボット４００の動作速度を低下させる処理と、ロボット４００の動作を完全に停止させる処理とを含む。また、予め定められた距離Ｌｃは、予めＲＯＭ１０２に格納されている。距離Ｌｃはたとえば、１ｍであるとする。

たとえば、制限部１４により、距離Ｌが距離Ｌｃ以下と判断されたときにおいて、さらに、距離Ｌと距離Ｌｃとの差分ΔＬが第１の所定値Ｔｈ１以下であると判断されたときには、制限部１４は、ロボット４００の動作速度を低下させる旨の制限信号をロボットコントローラ２００に対して送信する。これにより、ロボットコントローラ２００は、該制限信号を受信すると、動作が制限される対象のロボット４００の動作速度を遅くすることができる。

また、制限部１４により、距離Ｌが距離Ｌｃ以下と判断されたときにおいて、さらに、距離Ｌと距離Ｌｃとの差分ΔＬが第２の所定値Ｔｈ２（Ｔｈ２＜Ｔｈ１）以下であると判断されたときには、制限部１４は、ロボット４００の動作を完全に停止させる旨の制限信号をロボットコントローラ２００に対して送信する。これにより、ロボットコントローラ２００は、該制限信号を受信すると、動作が制限される対象のロボット４００の動作を完全に停止させることができる。

このように、監視装置１００は、距離Ｌが距離Ｌｃ以下と判断されたときにおいて、作業者３００とロボット４００との距離Ｌに応じてロボット４００の制御内容を異ならせる。具体的には、監視装置１００は、たとえば、作業者３００とロボット４００との距離Ｌが比較的長ければ、ロボット４００の動作速度を低下させる制御を行なう。また、監視装置１００は、作業者３００とロボット４００との距離Ｌが短ければ、ロボット４００の動作を完全に停止させる制御を行なう。

［監視システム１の効果について］
次に、本実施形態の監視システム１の効果を説明する。簡潔に説明すると、監視システム１は、作業者３００の大まかな位置を特定し、該特定された位置周辺に限定して画像処理を行う。より詳細に説明すると、監視システム１は、カメラ４で撮像された画像のうち合成領域６００Ｂの画像から、画像処理を行なうことにより、ロボット可動領域４００Ｂ（図８参照）と、人体領域３００Ｂ（図１０参照）とを特定する。その後、監視システム１は、ロボット可動領域４００Ｂと、人体領域３００Ｂとの距離Ｌが予め定められた距離Ｌｃ以下となったときに、制御対象のロボット４００の動作が制限される。このように、ロボット４００の動作が制限されるか否かの判断が行われる画像（以下、「画像処理が実行される画像」という。）は、合成領域の画像に限る（狭める）ことができる。したがって、従来の作業領域の全領域の画像を判断対象の画像とする従来の監視システムと比較して、本実施形態の監視システム１によれば画像処理の負担を軽減することができる。

また、第３特定部１０は、カメラ４が撮像する画像におけるＲＯＩのみを処理することにより人体領域３００Ｂを特定することから、人体領域３００Ｂを特定するための処理負荷を下げることができる。また、該処理負担を下げることができることから、監視システム１が画像処理を行なう対象のフレームレートを上げることができる。したがって、監視システム１の応答性能を上げることができる。

また、本実施形態の監視システム１では、合成領域６００Ｂ内に含まれるロボット、つまり、作業者３００から距離Ｌｃ以下の距離分離れたロボットのみを検出し、該ロボットの動作を制限する。換言すれば、該ロボット以外のロボットについては動作を制限しないこと。したがって、作業領域α内の全てのロボットの動作を制限する監視システムと比較して、作業領域α内のロボットの稼働率を向上させることができる。

また、画像処理が行われる画像の領域である合成領域６００Ｂは、作業者可動領域３００Ａとロボット占有領域４００Ａとの論理和の領域から、除外領域５００Ａを除外した領域である。したがって、「作業者可動領域３００Ａとロボット占有領域４００Ａとの論理和の領域から、除外領域５００Ａを除外しない領域について画像処理を行う」監視システムと比較して、画像処理を行なう画像の領域を狭めることができることから、画像処理の負担を軽減できる。

また、本実施形態の監視システム１は、ロボット占有領域４００Ａよりも狭いロボット可動領域４００Ｂと、人体領域３００Ｂ（クラスタ情報の集合体３００Ｃ）との距離Ｌを測定する。したがって、「ロボット可動領域４００Ｂよりも広いロボット占有領域４００Ａと、人体領域３００Ｂとの距離Ｌを測定する監視システム」と比較して、距離Ｌを測定する際の画像処理を行なう画像の領域を狭めることができる。したがって、該画像処理の負担を軽減できる。

また、本実施形態の監視システム１は、ロボット４００のアーム４０６に取り付けられたマーカ（本実施形態では、第１ＬＥＤ４２１、第２ＬＥＤ４２２、および第３ＬＥＤ４２３）に基づいて、ロボット可動領域４００Ｂを特定可能である。したがって、本実施形態の監視システム１は、正確に、ロボット可動領域４００Ｂを特定可能である。

［領域について］
次に、作業領域αの他に設けられている領域を説明する。図１２は、作業領域αなどの各領域を示した図である。図１２の例では、各領域を真上から見たものである。図１２の例では、作業領域αの全てを含む領域として、侵入検出領域βが設けられている。さらに、侵入検出領域βの全てを含む領域として警告領域γが設けられている。

警告領域γは、ＲＦタグ３０２が取付けられているかに関わらず侵入者が侵入することにより、報知装置１０９により警告報知が実行される領域である。該侵入は、カメラ４で検出するようにしてもよく、カメラ４とは他の検出装置（図示せず）で検出するようにしてもよい。侵入検出領域βは、センサ２が、ＲＦタグ３０２が取付けられた侵入者などを検出・認証可能な領域である。侵入検出領域βに侵入した作業者が、ＲＦタグ３０２の不所持などで検出・認証が失敗した場合には、所定の警告を出力する。また、この場合には、安全性の観点から、監視システム１は、作業システム（ロボット４００の制御など）を停止させるようにしてもよい。

［フローチャートについて］
次に、監視装置１００のフローチャートについて説明する。図１３は、監視装置１００のフローチャートを説明するための図である。また、各ステップの主体は、監視装置１００に含まれる各構成部で示す。

Ｓ２において、第１特定部６は、センサ２により侵入検出領域βでの検出が開始されることにより、作業者の侵入を検出する検出処理を実行する。Ｓ４において、Ｓ２の該検出処理により、侵入検出領域βへの作業者の侵入が検出された場合には（Ｓ４のＹＥＳ）、Ｓ６に進む。

Ｓ６において、第１特定部６は、センサ２の検出対象を検出する。Ｓ８において、第１特定部６は、Ｓ６における検出処理によりセンサ２の検出対象が検出されたか否かを判断する。Ｓ８において、ＮＯと判断された場合には、Ｓ３２に進む。Ｓ３２において、制限部１４は、ロボットコントローラ２００に対して、制御信号を送信することにより、全てのロボット４００の動作を制限する。ここでの制限は、全てのロボット４００の動作を完全に停止させるものである。このように、Ｓ４において、侵入検出領域への作業者の侵入が検出されたと判断されたが、Ｓ８において、センサ２の検出対象が検出されなかったと判断された場合というのは、センサ２の故障および監視装置１００などの少なくとも一方が故障している可能性が高い。したがって、このような場合には、全てのロボット４００の動作を完全に停止させることにより、安全性を担保することができる。

Ｓ１０において、第１特定部６は、センサ２により作業者３００の位置を検出する。次に、Ｓ１２において、第１特定部６は、後述する座標変換パラメータに基づいて、作業者可動領域３００Ａを特定（設定）する。次に、Ｓ１４において、設定部１７は、作業者可動領域３００Ａから、構造物５００の３次元構造情報を用いて、作業者可動領域３００Ａを絞り込み処理を行なう。３次元構造情報は、構造物５００の３次元的な座標を含む情報である。設定部１７は、絞り込み処理として、作業者可動領域３００Ａから、除外領域５００Ａを除外する。

次に、Ｓ１６において、設定部１７は、ロボット占有領域４００Ａを用いて、合成領域６００Ｂを設定する。次に、Ｓ１８において、第２特定部８は、合成領域６００Ｂ内のロボット４００のアーム４０６に設けられたＬＥＤ（第１ＬＥＤ４２１、第２ＬＥＤ４２２、および第３ＬＥＤ４２３）の発光を検出する。次に、Ｓ２０において、Ｓ１８の検出によりＬＥＤの発光が検出されたと第２特定部８により判断された場合には（Ｓ２０のＹＥＳ）、Ｓ２２において、第２特定部８は、検出されたＬＥＤは取り付けられているロボットを「制御対象のロボット」と判断する。一方、Ｓ２０においてＮＯと判断された場合には、Ｓ１０に戻る。

Ｓ２４において、第２特定部８は、検出されたＬＥＤの位置に基づいて、ロボット可動領域４００Ｂを特定する。次に、Ｓ２６において、第３特定部１０は、合成領域６００Ｂ内の人体領域３００Ｂ（クラスタ情報の集合体３００Ｃ）を特定する。次に、Ｓ２８において、測定部１２は、人体領域３００Ｂ（クラスタ情報の集合体３００Ｃ）とロボット可動領域４００Ｂの距離Ｌ（３次元距離）を算出する。次に、Ｓ３０において、制限部１４は、算出された距離Ｌが、予め定められた距離Ｌｃ以下となったか否かを判断する。Ｓ３０において、ＹＥＳと判断された場合には、Ｓ３２において、制御対象のロボットの動作を制限させる。また、Ｓ３０において、ＮＯと判断された場合には、Ｓ１０に戻る。

［ロボットの動作エラーについて］
次に、ロボットの動作エラーの検出手法について説明する。図１４は、該動作エラーの検出手法を説明するための図である。図３および図１４を用いて、該動作エラーの検出手法を説明する。

図１４に示すように、ビジョンコントローラ１２０の第４特定部１６は、発光パターン特定部１２４と、ロボット位置特定部１２２とを含む。また、ロボットコントローラ２００は、制御クロック生成部２０２と、ロボット制御指令生成部２０４とを含む。

制御クロック生成部２０２は、制御クロックを生成する。生成された制御クロックは、ロボット制御指令生成部２０４および発光制御部１５４に入力される。ロボット制御指令生成部２０４は、該クロック信号に基づいて、指令信号を生成し、該指令信号をロボット４００に対して送信する。ロボット４００は、該指令信号に基づいて動作する。

また、発光制御部１５４は、クロック信号に基づいて、発光制御信号をロボット４００に対して送信する。ここで、発光制御信号は、図９の発光態様を示す信号である。第１ＬＥＤ４２１、第２ＬＥＤ４２２、および第３ＬＥＤ４２３は、該発光制御信号に基づいて発光する。このように、クロック信号に基づいて、第１ＬＥＤ４２１、第２ＬＥＤ４２２、および第３ＬＥＤ４２３を発光させ、かつロボット４００を動作させることから、「第１ＬＥＤ４２１、第２ＬＥＤ４２２、および第３ＬＥＤ４２３の発光」と、「ロボット４００（アーム４０６）の動作」とで同期をとることができる。

また、発光制御部１５４は、図９に示す発光パターン情報を比較部１８に送信する。ロボット制御指令生成部２０４は、ロボット位置情報を比較部１８に送信する。ロボット位置情報は、ロボット制御指令生成部２０４がロボット４００に対して指令した各アームの位置情報（作業領域αにおける各アームの位置を示す情報）である。

また、ロボット位置特定部１２２は、カメラ４が撮像した撮像画像から、第１ＬＥＤ４２１、第２ＬＥＤ４２２、および第３ＬＥＤ４２３の発光に基づいて、アーム４０６の位置を特定（測定）する。ロボット位置特定部１２２はロボット位置特定情報を比較部１８に送信する。ロボット位置特定情報は、各アームに取り付けられた各ＬＥＤが実際に存在する位置（該各ＬＥＤの挙動）を示した情報（ロボット位置特定部１２２が特定した各ＬＥＤを示す情報）である。

また、発光パターン特定部１２４は、カメラ４が撮像した撮像画像から、各ＬＥＤの発光パターンを特定する。ここで、発光パターン特定部１２４は、発光パターンは特定できるものの、特定した発光パターンが各ＬＥＤのうちのどのＬＥＤに対応するものであるかは特定できない。発光パターン特定部１２４とロボット位置特定部１２２とは、発光パターン特定情報と、該発光パターン特定情報から特定される発光パターンで発光しているＬＥＤの挙動（ロボット位置特定情報）とを対応付けて比較部１８に対して送信する。また、図３の第４特定部から出力されている「動作情報」は、ロボット位置特定情報と発光パターン特定情報とを含むものである。

比較部１８は、発光制御部１５４からの発光パターン情報と、発光パターン特定部１２４からの発光パターン特定情報とを比較する。これにより、比較部１８は実際の発光パターン（発光パターン特定部１２４により特定された発光パターン）に対応するＬＥＤを認識することができる。比較部１８は、実際の発光パターンがたとえば継続発光である場合には、該継続発光しているＬＥＤが第１ＬＥＤ４２１であると認識する。同様に比較部１８は、他のＬＥＤである第２ＬＥＤ４２２および第３ＬＥＤ４２３を認識する。その後、比較部１８は、認識した各ＬＥＤについて、ロボット位置特定情報と、ロボット位置情報とを比較して、該認識したＬＥＤの挙動（位置情報）が一致しているか否かを判断する。該判断処理の一例として、比較部１８は、ロボット位置特定情報を数値化したものと、ロボット位置情報を数値化したものとの差分を算出する。比較部１８は、該差分が閾値未満であれば、双方の位置情報に差異がないと判断し、比較部１８は、該差分が閾値以上であれば、双方の位置情報に差異があると判断する。

比較部１８は、差異がありと判断した場合には、ロボット４００への制御などに異常があるとして判断し、該異常がある旨を示す異常信号を報知装置１０９に送信する。報知装置１０９は、異常信号に基づいて、異常報知を実行する。たとえば、比較部１８は、ロボットのアームの位置が異常である旨を判断した場合には、報知装置１０９は、「アームに異常あり」という表示を行う。また、比較部１８により異常ありと判断されたロボットについては、動作を制限するようにしてもよい。このような構成によれば、ロボット４００の各アームのうち少なくとも１のアームに異常があると判断された場合には、異常報知が実行される。したがって、作業者の安全性を担保することができる。

また、監視システム１は、動作エラーの有無を検出する対象のロボットを、合成領域６００Ｂに含まれるロボットに限定するようにしてもよい。このような構成によれば、動作エラーの有無を検出する対象のロボットを、作業領域α内にある全てのロボットとする構成と比較して、動作エラーの有無を検出する処理を削減できる。また、監視システム１は、動作エラーの有無を検出する対象のロボットを、作業領域α内にある全てのロボットとしてもよい。このような構成によれば、作業領域α内に存在する作業者３００の安全性を担保できる。

なお、ここで、ロボット４００が固定されている場合について説明したが、移動可能であるロボットについても同様に動作エラーを検出可能である。

［座標変換パラメータについて］
次に、図１３のＳ１２でも説明した座標変換パラメータの算出手法の一例について説明する。センサ２の座標系とビジョンコントローラ１２０の座標系とのキャリブレーションを実行することにより、座標変換パラメータを算出することができる。座標変換パラメータは、第１特定部６が、センサ２により検出された作業者３００の位置から、作業者可動領域３００Ａを特定するために用いるパラメータである。

図１５は、座標変換パラメータの算出手法を説明するための図である。まず、作業領域α内に、原点用の参照マーカ６０１と、他点用の参照マーカ６０２、６０３、および６０４を配置する。また、参照マーカ６０１〜６０４それぞれに重畳するように、センサ２の検出対象を配置する。本実施形態では検出対象は、ＲＦタグとする。参照マーカ６０１〜６０４それぞれに重畳するように、ＲＦタグ３０２１、３０２２、３０２３、３０２４を配置する。なお、他点用の参照マーカは３つに限られず、他の個数、たとえば、３個以上としてもよい。

ビジョンコントローラ１２０は、他点用の参照マーカ６０２〜６０４を抽出することにより、第１参照平面Ｈ１を構築する。第１参照平面Ｈ１は、参照マーカ６０２〜６０４を含む平面である。さらに、ビジョンコントローラ１２０は、原点用の参照マーカ６０１を抽出することにより、第１参照平面Ｈ１における第１座標原点Ｐ１を特定する。

次に、セーフティコントローラ１５０は、他点用の参照マーカ６０２、６０３、および６０４それぞれに重畳するように配置されたＲＦタグ３０２２〜３０２４それぞれを検出したセンサ２から得られた検出情報（３次元位置情報）に基づいて第２参照平面Ｈ２を構築する。また、セーフティコントローラ１５０は、原点用の参照マーカ６０１に重畳するように配置されたＲＦタグ３０２１を検出したセンサ２から得られた検出情報（３次元位置情報）に基づいて第２座標原点Ｐ２を特定する。その後、監視装置１００に含まれる監視装置（特に図示せず）は、第１参照平面Ｈ１、第１座標原点Ｐ１、第２参照平面Ｈ２および第２座標原点Ｐ２に基づいて、座標変換パラメータを算出する。該算出された座標変換パラメータは、所定の記憶領域（たとえば、ＲＡＭ１０３）に格納される。

［変形例］
以上、本発明の実施例を図面により説明してきたが、本発明はこの実施例に限定されるものではない。本発明は、上記の実施例に限られず、種々の変形、応用が可能である。以下、本発明に適用可能な変形例などについて説明する。

［撮像画像について］
本実施形態では、カメラ４は、作業領域α内の全ての画像を撮像するとして説明した。本変形例では、カメラ４は、合成領域６００Ｂの箇所のみを撮像する。図１６は、本変形例の監視装置１１０の機能構成例を示した図である。図３と図１６とを比較すると、ビジョンコントローラの構成が異なっている。本変形例（図１６）のビジョンコントローラ１２１は、図３に示すビジョンコントローラ１２０内の設定部１７が、カメラ指示部１２３に代替されている点で、図３と図１６とは異なる。

カメラ指示部１２３は、作業者可動領域３００Ａとロボット占有領域４００Ａなどから合成領域６００Ｂを求める。カメラ指示部１２３は、該合成領域６００Ｂに限定してカメラ４の撮像させるための指示信号をカメラ４に対して送信する。カメラ４は、該指示信号に基づいて、合成領域６００Ｂに限定して撮像する。指示信号は、カメラ４の位置、カメラのレンズの光軸の向き、カメラ４のピントなどを示した信号である。該撮像された撮像画像、つまり合成領域６００Ｂに限定して撮像された撮像画像は、第２特定部８、第３特定部１０、および第４特定部１６に入力される。第２特定部８は、合成領域６００Ｂに含まれるロボット４００のロボット可動領域を特定する。第３特定部１０は、合成領域６００Ｂに含まれる作業者３００の人体領域を特定する。第４特定部１６は、合成領域６００Ｂに含まれるロボット４００の動作情報を特定する。以降の処理は、本実施形態と同様の処理であることから、説明を繰り返さない。

本変形例の構成によれば、合成領域６００Ｂに限定して撮像することから、作業領域αの全ての領域を撮像する監視システムと比較して、カメラの台数を軽減できる。また、本変形例の構成によれば、合成領域が発生したときに、カメラ４は撮像することから、カメラ４が常時撮像する監視システムと比較して、撮像処理の負担を軽減できる。

［ロボットが移動可能である場合］
作業領域α内のロボットのうち少なくとも１のロボットが移動可能である場合にも、本願発明は、適用可能である。以下、図３を用いて説明する。

この場合には、センサ２は、移動可能ロボットの位置を検出する。該移動可能ロボットの位置を検出する手法として、たとえば、移動可能ロボットにＲＦタグを取り付け、センサ２が該ＲＦタグを検出するようにすればよい。なお、作業者３００に取り付けられたＲＦタグからの電波の周波数と、移動可能ロボットに取り付けられたＲＦタグからの電波の周波数とは、異ならせておくことが好ましい。これにより、監視システムは、作業者３００と移動可能ロボットとの混同しないように明確に特定することができる。

その後、第１特定部６は、作業者可動領域を特定するとともに、移動可能ロボットのロボット占有領域を特定する。第１特定部６により特定された作業者可動領域およびロボット占有領域は設定部１７に入力される。設定部１７は、作業者可動領域とロボット占有領域との合成領域を特定する。以降の処理は、本実施形態と同様の処理であることから、説明を繰り返さない。

このような構成によれば、作業領域α内に、移動可能ロボットが存在している場合であっても、作業者３００の安全性を担保できる。

［ＲＦタグについて］
本実施形態では、センサ２が、作業者３００の位置を特定するために、図１に示すように、作業者３００にＲＦタグ３０２を取り付けるとして説明した。しかしながら、監視システム１が作業者３００の位置を特定できるのであれば、他の手法を用いてもよい。図１７は、作業者３００の位置を特定するための他の手法を説明するための図である。図１７の例では、発光するＬＥＤ３０４を各作業者の一部に取り付ける。図１７では、作業者が装着するヘルメットにＬＥＤ３０４が取り付けられた例を示す。

また、該ＬＥＤ３０４の検出については、センサ２ではなく、カメラ４が行う。したがって、センサ２の処理をカメラ４に兼用させることができる。このような構成によれば、センサ２を備える必要がないことから、部品点数を削減できる。また、作業者３００に取り付けられたＬＥＤの発光態様と、移動可能ロボットに取り付けられたＬＥＤの発光態様とは、異ならせておくことが好ましい。これにより、作業者３００と移動可能ロボットとの混同しないように明確に特定することができる。また、作業者３００の位置を特定できるのであれば、上述の手法に限らず、他の手法を用いるようにしてもよい。

［アームに取り付けられたＬＥＤについて］
本実施形態では、図８に示したように、ロボット４００のアーム４０６にＬＥＤを取り付けるとして説明した。しかしながら、監視システム１がアーム４０６の位置を特定できるのであれば、他の手法を用いてもよい。本変形例では、アーム４０６に反射マーカを取り付けた例を説明する。反射マーカは、照明が当てられることにより、反射するマーカである。

図１８は、アーム４０６の位置を特定するための他の手法を説明するための図である。図１８では、第１アーム４１１、第２アーム４１２、および第３アーム４１３にそれぞれ第１反射マーカ４８１、第２反射マーカ４８２、および第３反射マーカ４８３が取り付けられた例を示す。

また、該反射マーカからの反射光を得るために、外部照明７００が発光する。第１反射マーカ４８１、第２反射マーカ４８２、および第３反射マーカ４８３それぞれは、外部照明７００からの光を、それぞれ異なるパターンで反射する。たとえば、第１反射マーカ４８１は青色で反射し、第２反射マーカ４８２は黄色で反射し、第３反射マーカ４８３は赤色で反射する。また、この反射態様（反射色）は、予めＲＯＭ１０２に記憶されている。

第２特定部８は、合成領域６００Ｂ内の画像内において、ＲＯＭ１０２に記憶されている反射態様に基づいて、第１アーム４１１、第２アーム４１２、および第３アーム４１３の動作を認識できる。

また、反射マーカの反射光が、カメラ４に対して回帰するように反射マーカを構成するようにしてもよい。また、反射マーカの反射光が、拡散するように反射マーカを構成するようにしてもよい。

また、本実施形態および本変形例では、第１アーム４１１、第２アーム４１２、および第３アーム４１３に取り付けられた各マーカの発光または反射の態様をパターンにより異ならせるとして説明した。反射の態様を異ならせる手法としては、パターンに限られず、他の要素を異ならせるようにしてもよい。他の要素とは、たとえば、周波数としてもよい。また、他の要素とは、色としてもよい。このような構成であっても、第２特定部８は第１アーム４１１、第２アーム４１２、および第３アーム４１３それぞれの位置を特定できる。

また、ロボット４００に取り付けられているマーカの態様（たとえば、発光態様）と、作業者３００に取り付けられているマーカの態様（たとえば、発光態様）とは異ならせることが好ましい。これにより、監視システムは、ロボット４００および作業者３００を見分けることができることから、安全性を担保できる。

［その他］
また、ロボットを監視する監視システムとして、安全柵、セーフティライトカーテン、セーフティレーザースキャナ、セーフティリミットスイッチなどを用いるものがある。しかし、防護領域が固定的で作業領域内のラインのレイアウト変更等に柔軟に対応できないという課題がある。これに対し、本発明は、安全柵、セーフティライトカーテンなどを用いずに、作業者の安全性を担保できることから、レイアウト変更に柔軟に対応できる。

また、センサを用いて、複数のロボットに対してそれぞれの周辺に３次元的に防護領域を構成しようとすると、複数のセンサを３次元的に複雑に配置して用いる必要がある。これに対し、本発明は、複数のロボットそれぞれにセンサを設けることなく、作業者の安全性を担保できることから、センサの配置の簡素化を図ることができる。

また、監視装置１００における処理は、各ハードウェアおよびＣＰＵ１０１により実行されるソフトウェアによって実現される。このようなソフトウェアは、フラッシュメモリ１０４に予め記憶されている場合がある。また、ソフトウェアは、メモリカードその他の記録媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、ＩＣカードリーダライタその他の読取装置によりその記録媒体から読み取られて、あるいは、通信ＩＦを介してダウンロードされた後、フラッシュメモリ１０４に一旦格納される。そのソフトウェアは、ＣＰＵ１０１によってフラッシュメモリ１０４から読み出され、さらにフラッシュメモリ１０４に実行可能なプログラムの形式で格納される。ＣＰＵ１０１は、そのプログラムを実行する。

図２に示される監視装置１００を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、フラッシュメモリ１０４、メモリカードその他の記録媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。

なお、記録媒体としては、ＤＶＤ-ＲＯＭ、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Electronically Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。また、記録媒体は、当該プログラム等をコンピュータが読取可能な一時的でない媒体である。

ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 監視システム、２ センサ、４ カメラ、６ 第１特定部、８ 第２特定部、１０ 第３特定部、１２ 測定部、１４ 制限部、１６ 第４特定部、１７ 設定部、１８ 比較部、１００ 監視装置、１０２ ＲＯＭ、１０３ ＲＡＭ、１０４ フラッシュメモリ、１０７ 入力部、１０９ 報知装置、１２０，１２１ ビジョンコントローラ、１２２ ロボット位置特定部、１２３ カメラ指示部、１２４ 発光パターン特定部、１５０ セーフティコントローラ、１５４ 発光制御部、２００ ロボットコントローラ、２０２ 制御クロック生成部、２０４ ロボット制御指令生成部、３００ 作業者。

Claims (8)

1. 作業者とロボットとが作業する作業領域内で、前記作業者が安全に作業できるように前記作業者および前記ロボットの動作を監視する監視装置を含む監視システムであって、
   前記作業領域内に侵入した前記作業者の位置を検出する検出部と、
   前記検出部で検出した前記作業者の位置に基づき前記作業者が可動する範囲を表す作業者可動領域を特定する第１特定部と、
   前記第１特定部で特定した前記作業者可動領域と、前記ロボットの予め定められたロボット占有領域とを少なくとも含む領域を撮像する撮像部と、
   前記作業者可動領域と、前記作業者可動領域と少なくとも一部が重なる前記ロボット占有領域とを合成した合成領域を設定する設定部と、
   前記合成領域の画像から前記ロボットの可動部分が可動する範囲を表すロボット可動領域を特定する第２特定部と、
   前記合成領域の画像から前記作業者の人体領域を特定する第３特定部と、
   前記第２特定部で特定された前記ロボット可動領域と、前記第３特定部で特定された前記人体領域との距離を測定する測定部と、
   前記測定部で測定された距離が、予め定められた距離以下となったときに、該ロボットの動きを制限する制限部とを備える、監視システム。
2. 作業者とロボットとが作業する作業領域内で、前記作業者が安全に作業できるように前記作業者および前記ロボットの動作を監視する監視装置を含む監視システムであって、
   前記作業領域内に侵入した前記作業者の位置を検出する検出部と、
   前記検出部で検出した前記作業者の位置に基づき前記作業者が可動する範囲を表す作業者可動領域を特定する第１特定部と、
   前記第１特定部で特定した前記作業者可動領域と、前記ロボットの予め定められたロボット占有領域とを少なくとも含む領域を撮像する撮像部とを備え、
   前記撮像部は、前記作業者可動領域と、前記作業者可動領域と少なくとも一部が重なる前記ロボット占有領域とを合成した合成領域に限定して撮像し、
   前記監視システムは、さらに、
   前記合成領域の画像から前記ロボットの可動部分が可動する範囲を表すロボット可動領域を特定する第２特定部と、
   前記合成領域の画像から前記作業者の人体領域を特定する第３特定部と、
   前記第２特定部で特定された前記ロボット可動領域と、前記第３特定部で特定された前記人体領域との距離を測定する測定部と、
   前記測定部で測定された距離が、予め定められた距離以下となったときに、該ロボットの動きを制限する制限部とを備える、監視システム。
3. 前記第１特定部は、前記検出部で検出された前記作業者の位置に基づき特定される前記作業者可動領域から、前記作業者が存在し得ない領域を除外することにより、新たな前記作業者可動領域として特定する、請求項１または請求項２に記載の監視システム。
4. 前記第２特定部は、前記ロボットの可動部分に設けられたマーカに基づき、前記ロボット可動領域を特定する、請求項１〜３のいずれか１項に記載の監視システム。
5. 前記ロボットの可動部分に設けられたマーカに基づき、前記撮像部で撮像された画像から前記ロボットの可動部分の位置を特定する第４特定部と、
   前記第４特定部で特定した前記ロボットの可動部分の位置と、前記ロボットの制御部に入力された動作情報で示される動作とを比較する比較部とをさらに備える、請求項１〜４のいずれか１項に記載の監視システム。
6. 前記ロボットは移動可能であり、
   前記検出部は、前記ロボットの位置を特定し、
   前記第１特定部は、前記検出部で検出した前記ロボットの位置に基づき前記ロボット占有領域を特定する、請求項１〜５のいずれか１項に記載の監視システム。
7. 作業者とロボットとが作業する作業領域内で、前記作業者が安全に作業できるように前記作業者および前記ロボットの動作を監視する監視装置であって、
   前記作業領域内に侵入した前記作業者の位置を検出する検出部で検出した前記作業者の位置に基づき前記作業者が可動する範囲を表す作業者可動領域を特定する第１特定部と、
   前記第１特定部で特定した前記作業者可動領域と、前記ロボットの予め定められたロボット占有領域とを少なくとも含む領域を撮像する撮像部で撮像された領域の画像から、前記作業者可動領域と、前記作業者可動領域と少なくとも一部が重なる前記ロボット占有領域とを合成した合成領域を設定する設定部と、
   前記合成領域の画像から前記ロボットの可動部分が可動する範囲を表すロボット可動領域を特定する第２特定部と、
   前記合成領域の画像から前記作業者の人体領域を特定する第３特定部と、
   前記第２特定部で特定された前記ロボット可動領域と、前記第３特定部で特定された前記人体領域との距離を測定する測定部と、
   前記測定部で測定された距離が、予め定められた値以下となったときに、該ロボットの動きを制限する制限部とを備える、監視装置。
8. 作業者とロボットとが作業する作業領域内で、前記作業者が安全に作業できるように前記作業者および前記ロボットの動作を監視する監視方法であって、
   前記作業領域内に侵入した前記作業者の位置を検出する検出部で検出した前記作業者の位置に基づき前記作業者が可動する範囲を表す作業者可動領域を特定するステップと、
   特定した前記作業者可動領域と、前記ロボットの予め定められたロボット占有領域とを少なくとも含む領域を撮像する撮像部で撮像された領域の画像から、前記作業者可動領域と、前記作業者可動領域と少なくとも一部が重なる前記ロボット占有領域とを合成した合成領域を設定するステップと、
   前記合成領域の画像から前記ロボットの可動部分が可動する範囲を表すロボット可動領域を特定するステップと、
   前記合成領域の画像から前記作業者の人体領域を特定するステップと、
   前記ロボット可動領域と、前記人体領域との距離を測定するステップと、
   測定された距離が、予め定められた値以下となったときに、該ロボットの動きを制限するステップとを備える、監視方法。

Images