JP6746902B2 - 作業者用頭部装着型ディスプレイの情報表示システム - Google Patents

Description

本発明は、作業者が頭部に装着するタイプのディスプレイの表示部に、生産設備の稼働情報を表示させるシステムに関する。

作業者が頭部に装着する表示部に画像を投影可能に構成される頭部装着型ディスプレイを用いて、例えば仮想現実の画像や様々な情報を表示する技術が例えば特許文献１等で提案されている。この技術を、ロボットが作業する領域に立ち入る作業者に、ロボットの動作情報等を表示して伝達するために適用することを想定する。

特開２０１４−９５９０３号公報

例えば頭部装着型ディスプレイが眼鏡型であり、眼鏡のレンズに相当する部分が透明の表示部になっているとする。この場合、上記動作情報としての例えば文字等が常に表示部の一定領域に表示されると、その情報の画像が、作業者が表示部を透過して見ている実景に重畳されることも想定される。すると、作業者の視界を妨げることになり、作業効率の低下が懸念される。

本発明は上記事情に鑑みてなされたものであり、その目的は、作業者の視界を極力妨げることなく、透過型の表示部に必要な情報を表示可能とする作業者用頭部装着型ディスプレイの情報表示システムを提供することにある。

請求項１記載の作業者用頭部装着型ディスプレイの情報表示システムによれば、計算部は、生産設備の位置及び３次元的な形態情報と、位置方向情報取得部を介して取得した作業者の位置及び視線方向の情報から、頭部装着型ディスプレイの表示部を介して前記作業者の視界に入る生産設備の態様を計算する。表示制御部は、前記生産設備の態様の情報及び生産設備の稼働情報を取得すると、表示部において作業者の視界に入る生産設備の部分を表示禁止領域に設定し、その表示禁止領域以外の領域に稼働情報を表示させる。

このように構成すれば、頭部装着型ディスプレイの表示部を介した作業者の視界には、当該表示部を介して見る生産設備の実景に重ならない態様で、つまりそれらの背景となる部分にのみ生産設備の稼働情報が表示される。したがって、作業者は、常に生産設備の視認性を確保した状態で、表示部に表示された生産設備の稼働情報も視認することができる。

尚、発明が解決しようとする課題において記載した「作業者の視界を妨げる」とは、作業者の視界に入るような近距離にある設備やロボット等に重ねて情報を表示すると、それら近距離にある設備やロボット等が見え難くなることを意味する。作業者の作業は殆ど作業者の近傍，周辺で行うことになるが、その作業の遂行に際して近距離にある設備やロボット等が視認し難い状態にあると、作業者が思うように作業を進められず極めて不都合である。

一方、かなり遠方に存在する設備やロボット等は、その作業者の作業に関与する可能性はまず無いので、そこに情報の表示を重ねることは特に作業の不都合とはならない。したがって、作業者の近傍に位置する設備やロボットに等に情報の表示が重ねられる状態が、作業者の視界が妨げられている状態である。
また、計算部は、作業者より一定距離以上離れている生産設備については表示禁止領域として設定しない。すなわち、一定距離以上離れている生産設備は作業者の視界内で非常に小さく捉えられるので、視覚情報として排除しても問題はない。したがって、その領域に稼働情報を表示させるようにすれば、情報の表示可能領域をより広く確保できる。

また、計算部は、生産設備にロボットが含まれているとそのロボット本体の姿勢情報を取得し、ロボット本体の姿勢の変化に応じて生産設備の態様を変化させる。すなわち、例えば多軸型ロボットのように、ロボット本体であるアームの姿勢が動的に変化するものが生産設備に含まれている場合には、ロボットアームの姿勢の変化を生産設備の態様に反映させる。したがって、表示部を介した作業者の視界内でロボットアームが動く場合でも、その動きを考慮して表示禁止領域が設定されるので、作業者は、アームの動きに妨げられることなく稼働情報を視認できる。

請求項２又は３記載の作業者用頭部装着型ディスプレイの情報表示システムによれば、表示制御部は、作業者の視線方向が俯角側に一定角度以上傾くと稼働情報の表示を禁止する。すなわち、作業者が俯くことで視線が下方に向くと、作業者の視界には生産設備が設置されている床面が入るようになる。そのような状態で表示禁止領域以外の領域に稼働情報を表示すると、作業者の足元の視界を妨げるおそれがある。したがって、稼働情報の表示を禁止することにより、作業者は足元の視界を良好に確保できる。

請求項４記載の作業者用頭部装着型ディスプレイの情報表示システムによれば、表示制御部は、表示禁止領域が増大したことで表示部における稼働情報の表示可能領域が一定以上小さくなると、稼働情報の表示を禁止する。すなわち、表示可能領域が小さくなり過ぎると、作業者が視認可能な状態で稼働情報を表示することができなくなる。したがって、稼働情報の表示を禁止することで、作業者の視界をより拡げるようにする。

請求項５記載の作業者用頭部装着型ディスプレイの情報表示システムによれば、表示制御部は、表示禁止領域の位置に応じて稼働情報の表示可能領域を複数設定可能であると、稼働情報を複数の表示可能領域に表示する。このように構成すれば、例えば２つの生産設備がある場合に、それぞれの稼働情報を２つの表示可能領域に表示し分けることができる。

請求項６記載の作業者用頭部装着型ディスプレイの情報表示システムによれば、計算部は、作業者と生産設備との位置関係を画像データとして生成し、その画像データを稼働情報に含ませる。このように構成すれば、作業者は、表示部に表示される画像により、現在の自身と生産設備との位置関係を簡単に認識できるようになる。したがって、作業の安全性をより高めることができる。

一実施形態であり、情報表示システムの構成を概略的に示す機能ブロック図 工場座標系の一例を示す図 視界距離領域を説明する図 ロボット安全コントローラ及びスマートグラスによる処理内容を中心に示すフローチャート 工場座標系においてジャイロセンサにより検出されるピッチ角を示す図 工場座標系においてジャイロセンサにより検出されるヨー角を示す図 ステップＳ３の判断により稼働情報の表示を禁止した場合の視界イメージ例を示す図（その１） ステップＳ３の判断により稼働情報の表示を禁止した場合の視界イメージ例を示す図（その２） ステップＳ９におけるハッチング処理のイメージを示す図 表示部における稼働情報の表示領域設定例を示す図 表示部における具体的な表示イメージ例を示す図（その１） 表示部における具体的な表示イメージ例を示す図（その２） 表示部における具体的な表示イメージ例を示す図（その３） 表示部における具体的な表示イメージ例を示す図（その４） 表示部における具体的な表示イメージ例を示す図（その５） 稼働情報として、作業者と設備等との位置関係をグラフィックに画像で表示したイメージ例を示す図

以下、一実施形態について図面を参照して説明する。図１に示すように、本実施形態の情報表示システム１は、例えば組立用のロボットアーム２，ロボット安全コントローラ３，スマートグラス４及びセンサ部５より構成されている。ロボット本体であるロボットアーム２は、例えば６軸の垂直多関節型ロボットとして構成されている。一般的な構成につき詳しい説明は省略するが、このロボットアーム２は、夫々サーボモータにより駆動される６軸のアームを有し、第６軸アームの先端部に、例えばパレット内に収容されているワークを把持するためのハンド等を備えている。ロボットアーム２は、図示しないロボットコントローラに接続され、前記各軸のサーボモータがこのロボットコントローラにより制御される。

計算部に相当するロボット安全コントローラ３は、前記ロボットコントローラにケーブル６を介して接続されており、ロボットコントローラが保持しているロボットアーム２の３次元位置座標（ｘ，ｙ，ｚ）の情報や、各軸に配置されている図示しないエンコーダからのエンコーダ値を取得する。また、ロボット安全コントローラ３は、ロボットアーム２の形態や、その周辺に配置されているその他の生産設備等の形態を３次元的にモデリングしたデータである３Ｄモデル画像データを内部のメモリに記憶して保持している。

更に、ロボット安全コントローラ３は、ロボットアーム２を含む生産設備の稼働情報を、上記のロボットコントローラ等を介して取得する。ここで「稼働情報」とは、例えば動作中のロボットアーム２については
・状態：自動運転中
・速度：５００ｍ／ｓ
・距離：２ｍ
・電源：２００Ｖ
・トルク：６５Ｎ
等の情報である。また、動作を停止しているロボットアームについては、「状態：停止中」，「速度：０ｍ／ｓ」，「トルク：０Ｎ」等が表示される。

頭部装着型ディスプレイであるスマートグラス４は、作業者７が頭部に眼鏡のように装着するもので、眼鏡のレンズ部分に相当する透明な表示部４Ｄに、図示しない表示制御部部を介して画像を投影可能な所謂透過型のディスプレイである。表示部４Ｄについては図３を参照。スマートグラス４のフレームの一側部には、位置方向情報出力部であるセンサ部５が内蔵されている。

センサ部５は、例えばジャイロセンサ，加速度センサ等からなり、作業者７の相対位置情報や、スマートグラス４を頭部に装着した状態で、作業者７の頭部正面，つまり視線が向いている方向の情報である視線情報を出力する。尚、後述するように、作業者７の作業開始時における原点位置情報は、別途取得可能であるものとする。

スマートグラス４は、図１ではアンテナのシンボルで示す無線通信部８をフレームに内蔵しており、同じく図１においてアンテナのシンボルで示すロボット安全コントローラ３の無線通信部９と通信可能となっている。無線通信部８は、センサ部５の各センサ信号をロボット安全コントローラ３に送信し、無線通信部９は、ロボット安全コントローラ３が保持している前記３Ｄモデル画像データを、後述するように加工してからスマートグラス４に送信する。

次に、本実施形態の作用について図２から図１６も参照して説明する。図２に示すように、ロボット安全コントローラ３は、工場内においてロボットアーム２（１）及び２（２）や、その他の生産設備Ｍ（Ａ）〜Ｍ（Ｃ）が配置されている２次元座標の情報である工場座標系の情報を有している。作業者７は、工場座標系の原点位置（ｘ０，ｙ０）から作業を開始するように規定されており、スマートグラス４に内蔵されている情報処理部は、上記原点位置を認識している。

図３は、スマートグラス４を装着した作業者７が、表示部４Ｄを介して見た視界の状態を示している。スマートグラス４については、ロボットアーム２等を後述する表示禁止領域の対象にする視界距離領域が設定されている。例えば図３に示す例では、視界距離領域に位置するロボットアーム２（１）については表示禁止領域の対象になるが、視界距離領域外に位置する設備Ｍ（Ｂ）については表示禁止領域の対象にしない。設備Ｍ（Ｂ）は、表示部４Ｄを介した作業者７の視界内では小さく、且つその一部しか見えないため、視覚情報として排除しても問題が無いからである。尚、視界距離領域における「視界距離」は請求項３における「一定距離」に相当する。

図４は、ロボット安全コントローラ３及びスマートグラス４による処理内容を中心に示すフローチャートである。このフローチャートは、一定周期で繰り返し実行される。先ず、安全コントローラ３は、スマートグラス４を介して作業者７の工場内における原点位置情報を取得し（Ｓ１）、続いてセンサ部５よりジャイロセンサ等のセンサ情報を取得する（Ｓ２）。図２に示す工場の平面をＸＹ平面とすると、図６に示すようにＸＹ平面内における方位角がヨー角γであり、図５に示すように、水平面を基準とするＺ軸方向の傾きがピッチ角βとなる。尚、ロール角αについても考慮して良いが、ロール角αは常に０度であることを前提として無視しても良い。

次に、上記のピッチ角βにより、作業者７の視線が俯角方向に４５度以上傾いているか否かを判断する（Ｓ３）。４５度以上傾いている場合は（ＹＥＳ）処理を終了する。すなわち、作業者７が俯くことで視線が下方に向くと、図７や図８に示すように、作業者７の視界にはロボットアーム２や設備Ｍが設置されている床面が入るようになる。そのような状態で、後述するように表示部４Ｄに稼働情報を表示すると作業者７の足元の視界を妨げるおそれがある。したがって、稼働情報の表示を禁止することで作業者７の足元の視界を確保する。

作業者７の視線方向の俯角が４５度未満であれば（Ｓ３：ＮＯ）、その時点の作業者７の位置により、作業者７が設備等の外にいるか否かを判断する（Ｓ４）。ここで「設備等」とは設備Ｍ及びロボットアーム２等である。ロボットアーム２については、作業者７がロボットアーム２の周辺に設置されている安全柵の外にいるか否かを判断する。

作業者７が設備等の外にいる場合は（Ｓ４：ＹＥＳ）、スマートグラス４の表示部４Ｄを介した作業者７の視界に設備等が存在するか否かを判断する（Ｓ５）。具体的には、作業者７の視線を中心とするピッチ角−６０度から６０度の範囲内で、且つ同視線を中心とするヨー角−６０度から６０度の範囲内に設備等があるか否かを判断する。設備等があれば（ＹＥＳ）、作業者７の視界内にある最も近い設備等の３Ｄモデル画像データを取得する（Ｓ６）。図３に示す例では、ロボットアーム２（１）となる。尚、ステップＳ４において「ＮＯ」と判断した場合は、そのままステップＳ６に移行する。そして、前記設備等がロボットアーム２であれば、その姿勢情報であるエンコーダ値を取得する（Ｓ７）。安全コントローラ３は、取得した各情報をスマートグラス４に送信する。

スマートグラス４は、表示部４Ｄを介した作業者７の視界に映る設備等の態様を３Ｄモデル画像データにより生成すると、設備等が映る領域を表示禁止領域に設定し、ハッチング処理する（Ｓ８）。図９はハッチング処理のイメージを示すが、図９（ｂ）に示すハッチングされた領域には、実際の作業者７の視界には設備等の実景が映る。その上で、表示部４Ｄに設備等の稼働情報を表示可能なスペースがあるか否かを判断し（Ｓ９）、前記スペースがあれば（ＹＥＳ）情報が表示可能であると判断し、図１０（ｂ）に示すように当該スペースに稼働情報を表示する（Ｓ１０）。

以下、図１１〜図１６に具体的な稼働情報の表示形態例を示す。図１１は、表示部４Ｄの左上方部分に空きがあり、当該部分に稼働情報を表示した場合である。図１２は、表示部４Ｄの左上方部分に空きがあり、図１２と同様に稼働情報を表示しようとした際に、ロボットアーム２の姿勢が変化したことにより表示禁止領域が設定された場合である。この場合、稼働情報を表示部４Ｄの右上方部分に表示する。

図１３は、表示部４Ｄの中心部分から上方にかけて大きな空きがある場合に、当該部分に情報を表示した場合である。図１４は、表示部４Ｄの中心部分にロボットアーム２が位置しており、その両側に空きがあるので２箇所に分けて稼働情報を表示している。この場合は、それぞれ近傍にある設備等の稼働情報を表示し分けても良い。また、図１５は、図１４における左上方部分を更に２分割することで、３箇所に分けて稼働情報を表示した例である。

また、図１６は、稼働情報として、作業者７と設備等との位置関係をグラフィックに画像で表示した例である。作業者７の視界距離領域内になるロボットアーム２（１）の位置を示すと共に、ロボットアーム２（１）が動作する領域を危険領域として表示している。また、視界距離領域外についても、当該領域を視覚的に三角形の領域で表示している。

以上のように本実施形態によれば、安全コントローラ３は、ロボットアーム２や設備Ｍの位置及びそれらの３次元的な形態情報と、センサ部５を介して取得した作業者７の位置及び視線方向の情報から、スマートグラス４の表示部４Ｄを介して作業者７の視界に入る設備等の表示態様を計算する。スマートグラス４は、前記表示態様の情報及び設備等の稼働情報を取得すると、表示部４Ｄにおいて作業者７の視界に入る設備等の部分を表示禁止領域に設定し、その表示禁止領域以外の領域に稼働情報を表示させる。

このように構成すれば、スマートグラス４の表示部４Ｄを介した作業者７の視界には、当該表示部４Ｄを介して見る設備等の実景に重ならない態様で、設備等の稼働情報が表示される。したがって、作業者７は、常に設備等の視認性を確保した状態で、表示部４Ｄに表示された設備等の稼働情報も視認することができる。

また、安全コントローラ３は、設備等にロボットが含まれているとそのロボットアーム２の姿勢情報を取得し、ロボットアーム２の姿勢の変化に応じて設備等の表示態様を変化させる。したがって、表示部４Ｄを介した作業者７の視界内でロボットアーム２が動く場合でも、その動きを考慮して表示禁止領域が設定されるので、作業者７は、ロボットアーム２の動きに妨げられることなく稼働情報を視認できる。

また、安全コントローラ３は、作業者７より一定距離以上離れている設備等については表示禁止領域として設定しない。すなわち、一定距離以上離れている設備等は作業者７の視界内で非常に小さく捉えられるので視覚情報として排除しても問題はない。したがって、その領域に稼働情報を表示させるようにすれば、情報の表示可能領域をより広く確保できる。

また、スマートグラス４は、作業者７の視線方向が俯角側に一定角度以上傾くと稼働情報の表示を禁止する。したがって、稼働情報の表示を禁止することにより、作業者７は足元の視界を良好に確保できる。また、スマートグラス４は、表示禁止領域が増大したことで表示部４Ｄにおける稼働情報の表示可能領域が一定以上小さくなると、稼働情報の表示を禁止する。すなわち、作業者７が視認可能な状態で表示できない稼働情報を表示せず、作業者７の視界をより拡げることができる。

そして、スマートグラス４は、表示部４Ｄにおける表示禁止領域の位置に応じて稼働情報の表示可能領域を複数設定可能であると、稼働情報を複数の表示可能領域に表示するので、例えば２つの設備等がある場合にそれぞれの稼働情報を２つの表示可能領域に表示し分けることができる。

加えて、安全コントローラ３は、作業者７と設備等との位置関係を画像データとして生成し、その画像データを稼働情報に含ませる。このように構成すれば、作業者７は、表示部４Ｄに表示される画像により、現在の自身と設備等との位置関係を簡単に認識できるようになる。したがって、作業の安全性をより高めることができる。

本発明は上記した、又は図面に記載した実施形態にのみ限定されるものではなく、以下のような変形又は拡張が可能である。
表示禁止領域を設定する際に、必ずしも設備等の３Ｄモデル画像を用いる必要はない。３次元座標値のマッピングデータを用いても良いし、設備等の外形で頂点，突端となる点の座標値のみを用いても良い。
図１６に示す表示形態は、必要に応じて実施すれば良い。
ロボット本体はロボットアーム２に限ることなく、その他例えば水平４軸構成のロボットアーム，自走式のロボットや人型のロボットでも良い。

作業者７の作業開始時における原点位置情報が取得可能でなければ、センサ部５にＧＰＳセンサを加えて作業者のワールド座標情報を取得して、工場座標系とのマッチングを行っても良い。
ロボット安全コントローラ３の機能を、ロボットコントローラに搭載しても良い。
ステップＳ３，Ｓ５における角度の具体数値については、個別の設計に応じて適宜変更すれば良い。

位置方向情報取得部に、レーザセンサや赤外センサを用いても良い。そして、これらのセンサ信号をロボット安全コントローラ３に直接入力しても良い。
計算部及び表示制御部の機能を、全て安全コントローラ３に持たせても良いし、全てスマートグラス４に持たせても良い。
頭部装着型ディスプレイは、必ずしもスマートグラス４である必要はなく、作業者が頭部に装着する表示部に画像を投影可能に構成されるものであれば良い。

図面中、１は情報表示システム、２はロボットアーム、３はロボット安全コントローラ、４はスマートグラス、４Ｄは表示部、５はセンサ部、７は作業者、８及び９は無線通信部を示す。

Claims (6)

1. 作業者が頭部に装着する透過型の表示部に、画像を投影可能に構成される頭部装着型ディスプレイと、
   前記作業者の位置及び前記作業者の視線方向の情報を取得する位置方向情報取得部と、
   生産設備の位置及び３次元的な形態情報と、前記作業者の位置及び視線方向の情報から、前記表示部を介して前記作業者の視界に入る前記生産設備の態様を計算する計算部と、
   前記生産設備の稼働情報を取得する稼働情報取得部と、
   前記生産設備の態様の情報及び前記稼働情報を取得すると、前記表示部において前記作業者の視界に入る生産設備の部分を表示禁止領域に設定し、前記表示禁止領域以外の領域に前記稼働情報を表示させる表示制御部とで構成され、
   前記計算部は、前記作業者より一定距離以上離れている前記生産設備については、前記表示禁止領域として設定せず、
   前記生産設備にロボットが含まれていると前記ロボット本体の姿勢情報を取得し、前記ロボット本体の姿勢の変化に応じて前記生産設備の態様を変化させる作業者用頭部装着型ディスプレイの情報表示システム。
2. 作業者が頭部に装着する透過型の表示部に、画像を投影可能に構成される頭部装着型ディスプレイと、
   前記作業者の位置及び前記作業者の視線方向の情報を取得する位置方向情報取得部と、
   生産設備の位置及び３次元的な形態情報と、前記作業者の位置及び視線方向の情報から、前記表示部を介して前記作業者の視界に入る前記生産設備の態様を計算する計算部と、
   前記生産設備の稼働情報を取得する稼働情報取得部と、
   前記生産設備の態様の情報及び前記稼働情報を取得すると、前記表示部において前記作業者の視界に入る生産設備の部分を表示禁止領域に設定し、前記表示禁止領域以外の領域に前記稼働情報を表示させる表示制御部とで構成され、
   前記計算部は、前記生産設備にロボットが含まれていると前記ロボット本体の姿勢情報を取得し、前記ロボット本体の姿勢の変化に応じて前記生産設備の態様を変化させ、
   前記表示制御部は、前記作業者の視線方向が俯角側に一定角度以上傾くと、前記稼働情報の表示を禁止する作業者用頭部装着型ディスプレイの情報表示システム。
3. 前記表示制御部は、前記作業者の視線方向が俯角側に一定角度以上傾くと、前記稼働情報の表示を禁止する請求項１記載の作業者用頭部装着型ディスプレイの情報表示システム。
4. 前記表示制御部は、前記表示禁止領域が増大したことで、前記表示部における前記稼働情報の表示可能領域が一定以上小さくなると、前記稼働情報の表示を禁止する請求項１から３の何れか一項に記載の作業者用頭部装着型ディスプレイの情報表示システム。
5. 前記表示制御部は、前記表示禁止領域の位置に応じて、前記稼働情報の表示可能領域を複数設定可能であると、前記稼働情報を前記複数の表示可能領域に表示する請求項１から４の何れか一項に記載の作業者用頭部装着型ディスプレイの情報表示システム。
6. 前記計算部は、前記作業者と、前記生産設備との位置関係を画像データとして生成し、前記画像データを前記稼働情報に含ませる請求項１から５の何れか一項に記載の作業者用頭部装着型ディスプレイの情報表示システム。

Images