JP6838027B2

JP6838027B2 - ロボットシステム

Info

Publication number: JP6838027B2
Application number: JP2018204895A
Authority: JP
Inventors: 祐輝高橋; 渡邉　淳; 淳渡邉; 中村　稔; 稔中村
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 2018-10-31
Filing date: 2018-10-31
Publication date: 2021-03-03
Anticipated expiration: 2038-10-31
Also published as: JP2020069572A; CN111113374A; DE102019128458A1; US20200134322A1; US11126859B2

Description

本発明は、ロボットシステムに関するものである。

従来、作業台の上方に配置された距離画像センサによって連続的に取得される距離画像において、ロボットの動作領域の周囲に、境界を有する監視エリアを設定し、境界を経由した監視エリア内への作業者等の検出により、ロボットに危険回避動作を行わせるロボットシステムが知られている（例えば、特許文献１参照。）。

特開２０１７−２２１９８５号公報

特許文献１のロボットシステムでは、監視エリア内に配置されている作業台等の物体が監視エリアの境界を超えていない。このため、境界を経由して監視エリア内に入る作業者等あるいは作業台の下に隠れている作業者等については確実に監視することができる。

しかしながら、現実の作業現場では、距離画像センサの視界における境界を遮る位置に作業台等の物体が配置されることがあり、物体を挟んで距離画像センサとは反対側には死角が形成される。このため、死角を経由した監視エリア内への進入については距離画像センサによって監視することができないという不都合がある。

本発明は、距離画像センサの視界における監視エリアの境界が遮られる位置に物体が設置されても、物体により形成される死角を経由した進入の可能性を把握することができるロボットシステムを提供することを目的としている。

本発明の一態様は、ロボットと、該ロボットの動作領域の上方から該動作領域の周囲の距離画像情報を時間的に連続して取得する距離画像センサと、該距離画像センサにより取得された前記距離画像情報を処理する画像処理装置とを備え、該画像処理装置が、外部から前記動作領域内への進入を可能とする境界を備えた監視エリアを前記動作領域の周囲に画定し、前記監視エリア内に物体が存在しない状態での該監視エリアの前記境界の前記距離画像情報である基準距離画像情報を記憶する記憶部を備え、前記距離画像センサにより取得された前記距離画像情報と、前記記憶部に記憶されている前記基準距離画像情報とに基づいて、前記監視エリア内に存在する静止物体が、前記距離画像センサの視野内において前記境界を遮っているか否かを検出するロボットシステムである。

本態様によれば、距離画像センサによって、ロボットの動作領域の上方から動作領域の周囲の距離画像情報が時間的に連続して取得されると、取得された距離画像情報が画像処理装置により処理される。画像処理装置は、ロボットの動作領域の周囲に、外部からの動作領域内への進入を可能とする境界を備えた監視エリアを画定する。これにより、作業者等が境界を越えて監視エリア内に進入したときには、距離画像情報におけるいずれかの画素における距離情報が経時的に変化することにより、監視エリア内への作業者等の進入を検出することができる。

一方、監視エリア内に静止物体が配置されている場合には、距離画像情報における距離情報の経時的な変化はなく、静止物体を進入物として検出することはない。
この場合において、本態様によれば、記憶部に、監視エリア内に物体が存在しない状態での監視エリアの境界の距離画像情報である基準距離画像情報を記憶し、基準距離画像情報と距離画像センサにより取得された距離画像情報とに基づいて監視エリア内に存在する静止物体が距離画像センサの視野内において境界を遮っているか否かが検出される。

静止物体が境界を遮っている場合には、遮られている境界部分から静止物体によって隠れた死角を経由して、距離画像センサによって検出されることなく監視エリア内に作業者等が進入することができる可能性がある。すなわち、静止物体によって遮られている境界部分から死角を経由すれば、距離画像情報における距離情報の経時的変化は発生せず、作業者等の進入を検出することができない。したがって、静止物体によって遮られた境界の有無を検出することにより、静止物体により形成される死角を経由した進入の可能性の有無を把握することができる。そして、進入の可能性があると判断できる場合には、進入を防止する対策を施すことができる。

上記態様においては、前記画像処理装置は、前記静止物体が前記境界を遮っていると判定した場合に、前記静止物体により遮られている空間の大きさを算出し、算出された前記空間の大きさが所定の閾値を超えている場合に報知する報知部を備えていてもよい。
この構成により、静止物体によって形成される死角を作業者等が通過したり隠れたりすることができるか否かを判定することができ、空間の大きさが所定の閾値を超えている場合には報知部によりその旨が報知される。報知された場合には進入を防止する対策を施すことができる。

また、上記態様においては、前記画像処理装置は、前記空間の大きさとして、前記空間の前記境界に沿う横断面の面積である最小横断面積を算出してもよい。
この構成により、静止物体によって形成される死角を作業者等が通過あるいは身体の一部を進入させることができるか否かを判定することができ、空間の大きさが所定の閾値を超えている場合には報知部によりその旨が報知される。報知された場合には進入を防止する対策を施すことができる。

また、上記態様においては、前記画像処理装置は、前記空間の大きさとして、前記空間の前記境界に沿う横断面の最小寸法を算出してもよい。
この構成により、静止物体によって形成される死角を作業者等が通過あるいは身体の一部を進入させることができるか否かを判定することができ、空間の大きさが所定の閾値を超えている場合には報知部によりその旨が報知される。報知された場合には進入を防止する対策を施すことができる。

また、上記態様においては、前記画像処理装置が、前記静止物体が前記境界を遮っていると判定した場合に、前記静止物体により遮られている空間を表示する表示部を備えていてもよい。
この構成により、静止物体によって形成される死角が表示部に表示されるので、表示された死角に対して進入を防止する対策を容易に施すことができる。

また、上記態様においては、前記画像処理装置は、前記空間の３次元モデルを生成する３次元モデル生成部を備え、前記表示部は、前記３次元モデル生成部により生成された前記空間の３次元モデルを表示してもよい。
この構成により、静止物体によって形成される死角が表示部に３次元モデルとして表示されるので、死角の角度を変えて表示し、死角に対して進入を防止する対策を容易に施すことができる。

また、上記態様においては、前記ロボットおよびその周辺を撮影する撮影部を備え、前記表示部が、前記撮影部により取得された画像に前記３次元モデルを重畳して表示してもよい。
この構成により、静止物体によって形成される死角が表示部に３次元モデルとして、実際に撮像部により取得されたロボット等の画像に重畳されて表示されるので、ロボット等に対する死角の位置を把握しやすく、死角に対して進入を防止する対策を容易に施すことができる。

本発明によれば、距離画像センサの視界における監視エリアの境界が遮られる位置に物体が設置されても、物体により形成される死角を経由した進入の可能性を把握することができるという効果を奏する。

本発明の一実施形態に係るロボットシステムを示す全体構成図である。図１のロボットシステムを示す側面図である。図１のロボットシステムにより取得された監視エリアの外面および底面の距離画像の一例を示す図である。図２のロボットシステムにおいて、監視エリア内に静止物体が配置されている場合の一例を示す側面図である。図４の場合の監視エリアの外面および底面の距離画像の一例を示す図である。図５の距離画像と、図３の距離画像との差分画像を示す図である。図４の監視エリア内に配置された静止物体により形成される死角の一例を示す斜視図である。

本発明の一実施形態に係るロボットシステム１について、図面を参照して以下に説明する。
本実施形態に係るロボットシステム１は、図１に示されるように、ロボット２と、ロボット２の動作範囲（動作領域）Ｇの上方に配置される安全カメラ（距離画像センサ）３と、安全カメラ３に接続された画像処理装置４とを備えている。

ロボット２は、図１に示す例では、例えば、６軸多関節型ロボットであり、球体状の動作範囲Ｇを備えている。
安全カメラ３は、ステレオカメラあるいはＴＯＦ（Ｔｉｍｅｏｆｆｌｉｇｈｔ）方式の距離画像センサを用いることができる。安全カメラ３は、画素毎に、安全カメラ３のレンズ中心からの距離を検出した距離画像（距離画像情報）を取得することができる。

安全カメラ３は、図１および図２に示されるように、ロボット２の動作範囲Ｇと干渉せず、ロボット２の動作範囲Ｇを全周にわたって取り囲む範囲を撮影可能な視界Ｖを有している。すなわち、安全カメラ３の視界Ｖは、レンズ中心から放射状に延び、ロボット２の動作範囲Ｇを含まない環状の範囲に広がっている。安全カメラ３により取得される距離画像は、例えば、図３に示される通りである。図中、斜線で示す領域が距離画像である。

画像処理装置４は、プロセッサおよびメモリにより構成されている。画像処理装置４は、安全カメラ３により取得された距離画像において、図２に示されるように監視エリアＡを画定する。監視エリアＡは、例えば、長方形状の一定の横断面形状を有し、図２に示されるように、ロボット２の動作範囲Ｇの外側を全周にわたって取り囲む位置に配置される正方形の環状の領域である。図３において、距離画像は、図２に示される監視エリアＡの外面Ａ１および監視エリアＡの底面Ａ２に対応している。

安全カメラ３は視界Ｖ内に存在する物体までの距離情報を各画素について取得するが、監視エリアＡの外面（境界）Ａ１よりも外側の領域および監視エリアＡの底面Ａ２よりも下側の領域については、距離情報の大きさによって、監視対象から除外している。
すなわち、画像処理装置４は、図２の監視エリアＡの外面Ａ１よりも外側に存在する点Ｂ１については、その点Ｂ１と安全カメラ３のレンズ中心とを結ぶ直線Ｌ１において、監視エリアＡの外面Ａ１よりも遠い位置に配置されているため、距離画像において対応する画素の距離情報は、同一画素に対応する監視エリアＡの外面Ａ１における点Ｂ２よりも大きくなり、監視エリアＡ外の点であるとして監視対象から除外することができる。

また、図２の監視エリアＡの底面Ａ２よりも下側に存在する点Ｃ１については、その点Ｃ１と安全カメラ３のレンズ中心とを結ぶ直線Ｌ２において、監視エリアＡの底面Ａ２よりも遠い位置に配置されているため、距離画像において対応する画素の距離情報は、同一画素に対応する監視エリアＡの底面Ａ２における点Ｃ２よりも大きくなり、監視エリアＡ外の点であるとして監視対象から除外することができる。

また、監視エリアＡ内に存在する静止物体（図５参照）Ｘ、例えば、テーブルあるいは制御装置等、静止した状態に維持されている物体については、静止物体Ｘとして設定されることにより監視対象から除外される。

この場合において、本実施形態においては、画像処理装置４は、安全カメラ３により取得された距離画像を用いて、監視エリアＡ内に存在する静止物体Ｘが、安全カメラ３の視界（視野）Ｖ内において監視エリアＡの外面（境界）Ａ１を遮っているか否かを検出する。
具体的には、画像処理装置４は、静止物体Ｘが配置されていない状態での監視エリアＡの外面Ａ１および底面Ａ２の距離画像である第１基準距離画像を記憶する記憶部（図示略）を備え、安全カメラ３により取得された距離画像と基準距離画像との差分から静止物体Ｘを検出することができる。

そして、画像処理装置４は、静止物体Ｘが検出された場合には、検出された静止物体Ｘが、本来、監視エリアＡの外面Ａ１または内面Ａ３であるべき領域の一部に差し掛かっているか否かを検出する。
図３に基準距離画像の例を示す。そして、図４に監視エリアＡ内に静止物体Ｘが配置されている場合の側面図、図５に監視エリアＡの外面Ａ１および底面Ａ２の距離画像の例を示す。また、図６に図３の基準距離画像と図５の距離画像との差分画像を示す。

図４において、監視エリアＡ内にハッチングが施された領域は、静止物体Ｘによって監視エリアＡ内に形成された死角である。図４の例では、死角は、監視エリアＡの外面Ａ１の一部の一部に差し掛かるように形成されている。
また、図６において、ハッチングが施された領域は、静止物体Ｘによって監視エリアＡの外面Ａ１が遮られている領域を示している。

この領域においては、静止物体Ｘが監視エリアＡの外面Ａ１よりも安全カメラ３に近い位置に配置されているため、これらの領域内の各画素には、外面Ａ１よりも小さい距離情報が取得される。これにより、静止物体Ｘによって監視エリアＡの外面Ａ１が遮られていることを検出することができる。

すなわち、監視エリアＡの外面Ａ１となるべき領域に静止物体Ｘが差し掛かることにより、視界Ｖが遮られている場合には、遮られている外面Ａ１部分から静止物体Ｘによって隠れた死角を経由して、距離画像センサによって検出されることなく監視エリアＡ内に作業者等が進入することができる可能性がある。

したがって、静止物体Ｘによって遮られた外面Ａ１の有無を検出することにより、静止物体Ｘにより形成される死角を経由した進入の可能性の有無を把握することができる。そして、進入の可能性があると判断できる場合には、静止物体Ｘが視界Ｖにおいて外面Ａ１または内面Ａ３を遮らない位置に移動したり、監視エリアＡの外面Ａ１の外側に、死角に繋がる経路を予め塞ぐ壁を設けたりして、作業者等の進入を防止する対策を施すことができる。

このように、本実施形態に係るロボットシステム１によれば、監視エリアＡ内に配置されている静止物体Ｘによって、監視エリアＡの外面Ａ１に重なる領域で安全カメラ３の視界Ｖが遮られているか否かを検出するので、静止物体Ｘにより形成される死角を経由した作業者等の進入の可能性の有無を把握することができるという利点がある。

なお、本実施形態においては、画像処理装置４が静止物体Ｘによって遮られている空間の大きさを算出し、ロボットシステム１が、算出された空間の大きさが所定の閾値を超えている場合にその旨を報知する報知部を備えていてもよい。報知部としては、音声、光あるいは画面表示等の任意の方法によって報知するものを採用することができる。

空間の大きさとしては、図７に示されるように、監視エリアＡ内において静止物体Ｘによって遮られている空間（ハッチングされている領域）の容積Ｓ、空間の最小横断面積Ｄ、空間の横断面の最小寸法Ｅ等を挙げることができる。図７において、死角となる空間としては、監視エリアＡの底面Ａ２よりも下方の空間をも加えた空間としている。

静止物体Ｘが監視エリアＡの内面Ａ３において安全カメラ３の視界Ｖを遮っている場合に、空間が人間の潜むことができるより大きな容積を有する場合には、ロボットシステム１起動前に静止物体Ｘによる死角に潜んでいた人間が、安全カメラ３によって検出されることなくロボット２の動作範囲Ｇに進入することができてしまう。このため、空間の容積Ｓが十分に小さく抑えられている必要がある。

また、空間の最小横断面積Ｄあるいは空間の横断面の最小寸法Ｅが、人間あるいは人間の体の一部、例えば、腕や脚を通過可能な大きさを有している場合には、安全カメラ３によって検出されることなくロボット２の動作範囲Ｇに進入することができてしまう。このため、空間の最小横断面積Ｄあるいは横断面の最小寸法Ｅも十分に小さく抑えられている必要がある。

また、画像処理装置４が表示部を備えていてもよい。表示部はモニタである。表示部は、静止物体Ｘにより遮られている空間を表示する。距離画像において空間の色を異ならせて表示してもよい。
また、画像処理装置４が、空間の３次元モデルを生成する３次元モデル生成部を備え、生成された空間の３次元モデルを表示部が表示することにしてもよい。

空間の３次元モデルとしては、空間自体の３次元モデルを直接的に生成してもよいし、監視エリアＡの３次元モデルを生成することにより、監視エリアＡの３次元モデルが欠落している領域の有無によって、静止物体Ｘにより遮られている空間を間接的に表示することにしてもよい。
３次元モデルを表示することにより、静止物体Ｘにより遮られている空間の形状を、見る角度を異ならせて確認することができる。

また、ロボットシステム１が、ロボット２およびその周辺を撮影する撮影部を備え、表示部が、撮影部により取得された画像に３次元モデルを重畳して表示してもよい。これにより、静止物体Ｘによって形成される死角が表示部に３次元モデルとして、実際に撮像部により取得されたロボット２等の画像に重畳されて表示されるので、ロボット２等に対する死角の位置を把握しやすく、死角に対して進入を防止する対策を容易に施すことができる。

また、２以上の安全カメラ３を有する場合に、いずれか１つの安全カメラ３に対して静止物体Ｘにより遮られている空間を死角と定義する場合には、各安全カメラ３について算出された死角の空間の和集合を死角として算出すればよい。また、すべての安全カメラ３に対して静止物体Ｘにより遮られている空間を死角と定義する場合には、各安全カメラ３について算出された死角の空間の積集合を死角として算出すればよい。

１ロボットシステム
２ロボット
３安全カメラ（距離画像センサ）
４画像処理装置
Ａ監視エリア
Ａ１外面（境界）
Ａ３内面（境界）
Ｄ最小横断面積
Ｅ最小寸法
Ｇ動作範囲（動作領域）
Ｖ視界（視野）
Ｘ静止物体

Claims

ロボットと、
該ロボットの動作領域の上方から該動作領域の周囲の距離画像情報を時間的に連続して取得する距離画像センサと、
該距離画像センサにより取得された前記距離画像情報を処理する画像処理装置とを備え、
該画像処理装置が、外部から前記動作領域内への進入を可能とする境界を備えた監視エリアを前記動作領域の周囲に画定し、前記監視エリア内に物体が存在しない状態での該監視エリアの前記境界の前記距離画像情報である基準距離画像情報を記憶する記憶部を備え、前記距離画像センサにより取得された前記距離画像情報と、前記記憶部に記憶されている前記基準距離画像情報とに基づいて、前記監視エリア内に存在する静止物体が、前記距離画像センサの視野内において前記境界を遮っているか否かを検出するロボットシステム。
前記画像処理装置は、前記静止物体が前記境界を遮っていると判定した場合に、前記静止物体により遮られている空間の大きさを算出し、算出された前記空間の大きさが所定の閾値を超えている場合に報知する報知部を備える請求項１に記載のロボットシステム。
前記画像処理装置は、前記空間の大きさとして、前記空間の前記境界に沿う横断面の面積である最小横断面積を算出する請求項２に記載のロボットシステム。
前記画像処理装置は、前記空間の大きさとして、前記空間の前記境界に沿う横断面の最小寸法を算出する請求項２に記載のロボットシステム。
前記画像処理装置が、前記静止物体が前記境界を遮っていると判定した場合に、前記静止物体により遮られている空間を表示する表示部を備える請求項１に記載のロボットシステム。
前記画像処理装置は、前記空間の３次元モデルを生成する３次元モデル生成部を備え、
前記表示部は、前記３次元モデル生成部により生成された前記空間の３次元モデルを表示する請求項５に記載のロボットシステム。
前記ロボットおよびその周辺を撮影する撮影部を備え、
前記表示部が、前記撮影部により取得された画像に前記３次元モデルを重畳して表示する請求項６に記載のロボットシステム。