JP6834620B2 - 情報表示システム - Google Patents

Description

本発明は、ユーザの頭部に装着するタイプのディスプレイにより、ユーザの視界内に監視対象に関する情報を表示する情報表示システムに関する。

近年、ユーザの頭部に装着可能な頭部装着型ディスプレイいわゆるヘッドマウントディスプレイ（以下、ＨＭＤと称する）を用いて、例えば仮想現実の画像や様々な情報を表示する技術が提案されている。この技術の適用として、例えばロボット等の作業領域内やその近傍で作業するユーザに対して監視対象であるロボット等に関する情報を提示するために、そのロボット等に関する情報を、ユーザが装着したＨＭＤに表示することが想定される。これによれば、ユーザは、ティーチィングペンダントやタブレット端末等を覗き込むことなく、視線を上げたままロボット等に関する情報を取得することができるようになるため、作業効率の向上が予想される。

しかしながら、一般的なＨＭＤの多くは、ユーザの視界と重なる場所に透過型の表示部を配置し、その表示部に各種情報を表示させる構成である。この場合、表示部に表示される情報と、ユーザが表示部を通して見ている実景とが重なることになる。このため、表示部に表示される情報の位置やサイズによっては、ユーザの視界を妨げることになり、かえって作業効率の低下が懸念される。

特開２０１５−２２８２０１号公報

本発明は上記事情に鑑みてなされたものであり、その目的は、装着型ディスプレイを用いてユーザに情報を提示するものにおいて、ユーザの視界を妨げ難い情報提示が可能な情報表示システムを提供することにある。

（請求項１）
請求項１の情報表示システムは、監視対象となるロボットの駆動を制御するロボットコントローラと、前記ロボットコントローラから前記ロボットの動作状態及び制御状態を特定可能な情報を取得する安全装置と、前記安全装置から前記ロボットに関する情報である監視対象情報を取得可能な監視対象情報取得部と、ユーザが装着可能であってユーザの視界内に前記監視対象情報を表示可能な装着型ディスプレイと、ユーザの視界内にユーザの手が入っている場合においてその手が特定の形状であるときにユーザの操作が入力されていることを検出する操作検出部と、前記操作検出部で操作が検出された場合に、視界内における手の位置に基づいて前記監視対象情報を表示するための表示領域の位置を設定する、又は視界内における手のサイズに基づいて前記表示領域のサイズを設定する表示領域設定部と、前記表示領域設定部で設定された表示領域内に前記監視対象情報を表示する表示制御部と、を備える。前記表示領域設定部は、視界内にある手の全部に重ねて前記表示領域を設定する。

これによれば、ユーザは、例えば機械的なコントローラ等を触って操作することなく、自己の視界内に手を入れて操作することで、ユーザの視界内において監視対象情報が表示される表示領域の位置又はサイズを設定することができる。そのため、ユーザは、自己の手を動かして操作することによって、任意のタイミングで監視対象情報を表示させることが出来ると共に、例えば監視対象情報と実景とが重ならないように表示領域の位置又はサイズを設定することができる。これにより、表示領域に表示される監視対象情報が視界を妨げないようにすることができ、その結果、ユーザの視界を妨げ難い情報提示が可能になる。

（請求項２）
ここで、表示領域を操作する場合だけでなく通常の作業時にも、ユーザの視界内に手が入ることが想定される。この場合、ユーザが操作を意図していないにもかかわらず、視界内に手が入ったというだけで装着型ディスプレイに監視対象情報が表示されたり、表示領域の位置やサイズが変更されたりすると、かえってユーザの視界を妨げることになる。そこで、請求項２の情報表示システムにおいて、操作検出部は、操作時のユーザの手の形状を前記特定の形状として予め登録可能であって、ユーザの視界内に入っている手の形状が前記予め登録された手の形状に一致している場合にユーザの操作が入力されていることを検出する。

これによれば、ユーザは、予め登録した手の形状で操作している場合に限り、つまりユーザが操作の意図を明確に示している場合に限り、監視対象情報の表示や、表示領域の位置又はサイズを操作することができる。つまり、これによれば、ユーザが操作を意図していないにもかかわらず、視界内に手が入ったというだけでユーザの視界内に監視対象情報が表示されたり、表示領域の位置やサイズが変更されたりすることを防ぐことができる。その結果、ユーザの視界を妨げ難く、より安全性の高い情報提示が可能になる。

更には、例えば本構成の情報表示システムを複数人のユーザで共用する場合、各ユーザ間において、手の形状の違いや、手の握り方及び開き方の癖等、個人差があることが想定される。そのため、操作に使用する手の形状を、ユーザ毎の個人差を考慮せずに画一的に設定してしまうと、人によっては操作として認識されない可能性がある。これに対し、本構成によれば、操作に使用する手の形状を、ユーザ毎に個別に登録することで、個人差を吸収することができる。その結果、操作性が高く、より安全性の高い情報提示が可能になる。

（請求項３）
請求項３の情報表示システムにおいて、前記操作検出部は、ユーザの操作を検出していない状態においてユーザの視界内に手が入ってからその手の位置及び形状が所定期間変化しなかった場合に初めてユーザの操作が入力されたことを検出する。これによれば、表示部に監視対象情報が表示されていない状態から表示させる状態に移行する際に、操作検出部は、ユーザの操作の意図をより明確に検出することができる。したがって、例えば視界内を手が通過しただけのような場合に監視対象情報が表示されることをより確実に防ぐことができ、その結果、ユーザの視界を更に妨げ難く、より安全性の高い情報提示が可能になる。

（請求項１）
請求項１の情報表示システムにおいて、前記表示領域設定部は、ユーザの視界内に入っているユーザの手の全部に重ねて前記表示領域を設定する。これによれば、ユーザは、例えば自己の手のひらを見る感覚で、監視対象情報を見ることができる。そのため、直感的な操作が可能になり、その結果、操作性の向上を図ることができる。

（請求項４）
請求項４の情報表示システムにおいて、前記表示領域設定部は、前記操作検出部で検出された操作において、ユーザの手が視界内で大きくなった場合には前記表示領域を拡大し、ユーザの手が視界内で小さくなった場合には前記表示領域を縮小させる。そして、前記表示制御部は、前記表示領域が拡大された場合には前記表示領域に表示させる前記監視対象情報の情報量を増やし、前記表示領域が縮小された場合には前記表示領域に表示させる前記監視対象情報の情報量を減らす。

これによれば、ユーザは、自己の操作によって表示領域のサイズを変更することで、表示領域内に表示される監視対象情報の情報量を任意に調整することができる。したがって、ユーザは、現在の視界の状況に応じて監視対象情報の情報量を調整することができ、その結果、ユーザの視界を妨げ難くかつ適切な情報提示が可能となる。

（請求項５）
また、請求項５の情報表示システムにおいて、前記表示領域設定部は、前記操作検出部で検出された操作において、ユーザの手が視界内で大きくなった場合には前記表示領域を拡大し、ユーザの手が視界内で小さくなった場合には前記表示領域を縮小させる。そして、前記表示制御部は、前記表示領域が拡大された場合には前記表示領域に表示させる前記監視対象情報の表示態様を大きくし、前記表示領域が縮小された場合には前記表示領域に表示させる前記監視対象情報の表示態様を小さくする。

これによれば、ユーザは、自己の操作によって表示領域のサイズを変更することで、表示領域内に表示される監視対象情報の表示態様つまりサイズを任意に調整することができる。これにより、ユーザは、監視対象情報の表示サイズを自己の視力等に併せて任意に調整することができ、その結果、更に見易く適切な情報提示が可能となる。

（請求項６）
請求項６の情報表示システムにおいて、前記表示領域設定部は、前記操作検出部で検出されたユーザの手の位置に追従させて前記表示領域を移動させる。これによれば、ユーザは、自己の操作によって、監視対象情報の表示位置を任意の位置に変更することができる。例えばユーザは、監視対象情報が実景に重なっている場合等に、その監視対象情報を、実景と重ならないような見易い位置に移動させることができる。これにより、ユーザは、監視対象情報によって視界を妨げないようにすることがより容易にでき、その結果、ユーザの視界を更に妨げ難い情報提示が可能になる。

（請求項７）
請求項７の情報表示システムにおいて、前記表示制御部は、前記表示領域内を不透明に表示する。これによれば、表示領域内に表示された監視対象情報が、表示領域の後ろの実景に紛れ込む事を防ぐことができ、その結果、監視対象情報をより見易くすることができる。

（請求項８）
請求項８の情報表示システムにおいて、操作検出部は、前記装着型ディスプレイに取り付けられたカメラを介して、ユーザの視界内にある手の位置及び形状に関する情報を取得することができる。この場合、装着型ディスプレイに取り付けられたカメラの撮像範囲は、ユーザの視界と共に動く。このため、本構成によれば、カメラで取得したユーザの手の位置及び形状を、ユーザの実際の視界内における手の位置及び形状に極力近づけることができる。これにより、ユーザの視界内で実際に行われる操作を、表示部内における表示領域の操作に正確に反映することができる。その結果、更に直感的な操作が可能になって、より安全性が高くユーザの視界を妨げ難い情報提示が可能になる。

一実施形態による情報表示システムの概略構成を模式的に示す図 一実施形態による情報表示システムの電気的構成を模式的に示すブロック図 一実施形態について、操作に用いる手の形状を登録する際に、表示部を透過してユーザに見える視界の一例を示す図 一実施形態について、非操作時に表示部を透過してユーザに見える視界の一例を示す図（その１） 一実施形態について、非操作時に表示部を透過してユーザに見える視界の一例を示す図（その２） 一実施形態について、非操作時に表示部を透過してユーザに見える視界の一例を示す図（その３） 一実施形態について、視界内に手を入れて操作を開始する際に表示部を透過してユーザに見える視界の一例を示す図 一実施形態について、図７の状態において表示領域設定部によって設定された表示領域の概念を示す図 一実施形態について、図８の状態において表示領域内に監視対象情報を表示した場合を示す図 一実施形態について、図８の状態から手を動かして操作領域を移動させた際の概念を示す図 一実施形態について、図８の状態から手を近づけて操作領域を拡大させた際の概念を示す図 一実施形態について、図１１の状態において表示領域内に監視対象情報を表示させた状態を示すものであって、監視対象情報の情報量を増やした場合を示す図 一実施形態について、図８の状態から手を遠ざけて操作領域を縮小させた際の概念を示す図 一実施形態について、図１３の状態において表示領域内に監視対象情報を表示させた状態を示すものであって、監視対象情報の情報量を減らした場合を示す図 一実施形態について、図１１の状態において表示領域内に監視対象情報を表示させた状態を示すものであって、監視対象情報の表示態様を大きくした場合を示す図 一実施形態について、ディスプレイ制御装置の制御部で実行される処理内容を示すフローチャート

以下、一実施形態について図面を参照しながら説明する。
図１及び図２に示すように、情報表示システム１０は、監視対象である少なくとも１台この場合２台のロボット１１と、各ロボット１１に対応して設けられたロボットコントローラ１２と、安全装置１３と、いわゆるヘッドマウントディスプレイと称される頭部装着型ディスプレイ２０（以下、ＨＭＤ２０と称する）と、ディスプレイ制御装置３０と、を含んで構成されている。なお、監視対象としては、ロボット１１に限られない。

以下の説明において、これら２台のロボット１１を区別する際には、第１ロボット１１１及び第２ロボット１１２と称する。また、第１ロボットロボット１１１及び第２ロボット１１２に対応するロボットコントローラ１２を、それぞれ第１ロボットコントローラ１２１及び第２ロボットコントローラ１２２と称する。

ロボット１１は、例えば６軸の垂直多関節型ロボットで構成されている。一般的な構成につき詳しい説明は省略するが、ロボット１１は、サーボモータにより駆動される６軸のアームを有し、第６軸アームの先端部に、例えばパレット内に収容されているワークを把持するためのハンド等を備えている。ロボット１１は、ロボットコントローラ１２に図示しない接続ケーブルを介して接続される。各軸のサーボモータは、このロボットコントローラ１２により制御される。

ロボットコントローラ１２は、図示しない制御回路やサーボ制御部、電源装置等を備えている。制御回路はマイコンを主体として構成されている。ロボットコントローラ１２は、予め記憶された動作プログラムや、図示しないティーチングペンダント等により設定された教示データ、各種パラメータ等に従って、サーボ制御部を介してロボット１１の各軸サーボモータを制御する。これにより、ロボットコントローラ１２は、ワークの組付け作業等を各ロボット１１に自動で実行させる。

各ロボットコントローラ１２は、それぞれ安全装置１３に通信可能に接続されている。安全装置１３は、ロボットコントローラ１２側から各ロボット１１の動作状態及び各ロボットコントローラ１２による制御状態を特定可能な各種の情報を取得可能に構成されている。そのため、安全装置１３は、ロボット１１のアームの回転角度やモータの通電状態等、ロボット１１の動作状態を示す動作情報及びコントローラ１２の制御状態を示す制御情報をリアルタイムで取得することができる。

また、安全装置１３は、各ロボットコントローラ１２から取得した各ロボット１１の情報に基づいて、ロボット１１の現在の形態つまり姿勢を３次元的にモデリングした３Ｄモデル画像データを生成することができる。また、安全装置１３は、各ロボット１１が設置されている領域、例えば工場内における基準位置を原点とした２次元座標系における各ロボット１１の座標つまりはロボット１１の設置位置も記憶している。

ＨＭＤ２０は、ユーザの頭部に装着可能な形態に構成されており、ユーザの視界内に各種情報を表示させることができる。ＨＭＤ２０は、両目を覆う両眼型、又は一方の目のみを覆う単眼型のいずれでも良いが、本実施形態は、ユーザの視界を奪い易い両眼型により適している。また、ＨＭＤ２０の形状は、眼鏡のように装着する眼鏡型や帽子のように装着する帽子型などが想定されるが、いずれも形状であっても良い。本実施形態のＨＭＤ２０は、眼鏡型を想定している。

ＨＭＤ２０は、図２にも示すように、表示部２１及びカメラ２２を有している。表示部２１は、ユーザがＨＭＤ２０を装着した状態において、そのユーザの視界と重なる位置に設けられている。本実施形態の場合、表示部２１は、眼鏡のレンズ部分に相当する部分であり、画像などの情報を表示することができるいわゆる透過型のディスプレイで構成されている。このため、ＨＭＤ２０に表示される画像は、ユーザの視界に重なって表示されることになる。換言すると、ユーザは、自身の目で見た現実の風景と、ＨＭＤ２０によって表示された仮想的な画像とを併せて見ることになる。

カメラ２２は、小型のＣＣＤカメラやＣＭＯＳカメラで構成されており、ＨＭＤ２０に一体的に取り付けられている。このカメラ２２は、ユーザの顔の向きと一致するように、ＨＭＤ２０のフレームの一側部に設けられている。カメラ２２は、図１に示すように、ユーザ９０がＨＭＤ２０を頭部に装着した状態で、ユーザ９０の頭部正面が向いている方向の画像を撮像する。そのため、カメラ２２によって撮像される画像は、ユーザ９０の視界とほぼ同一の画角となっている。換言すると、カメラ２２は、ユーザ９０が見ている風景とほぼ同一の風景を撮像する。

なお、表示部２１は、透過型のディスプレイに限られず、非透過型のディスプレイで構成しても良い。この場合、ＨＭＤ２０は、カメラ２２で撮影した画像をリアルタイムで表示部２１に表示させることで、カメラ２２が撮影した風景をユーザに対し仮想的に提示、すなわちユーザの視界を表示部２１に再現すれば良い。また、ＨＭＤ２０は、表示部２１を有するものに限られず、仮想的な画像をユーザの網膜に直接投影する網膜投影型であっても良い。

本実施形態の場合、操作検出部３５は、ＨＭＤ２０に取り付けられたカメラ２２を介して、ユーザの視界９１内にある手の位置及び形状に関する情報を取得することができる。すなわち、本実施形態において、ユーザの視界９１内の手の位置及び形状に関する情報（以下、手情報と称する）を取得する手情報取得部として機能する。本実施形態において、ユーザの手の位置とは、ユーザの視界内における奥行き方向の位置、及び視界に対して平行方向の位置つまり顔面に対して平行方向の位置を意味する。

ここで、ユーザの視界内にある手は、奥行き方向に対する手の位置つまり顔からの距離が変化すると、ユーザの視界内に占める手のサイズも変化する。すなわち、ユーザの顔に手を近づけると、ユーザが見る手のサイズは大きくなり、逆にユーザの顔から手を遠ざけると、ユーザが見る手のサイズは小さくなる。このため、本実施形態では、ユーザの視界内における奥行き方向の位置は、ユーザの視界内において占める手のサイズつまりユーザが見る手のサイズと同義とする。また、ユーザの手の形状とは、手を開いているか閉じているか等に基づく手の形状を意味する。

なお、手情報取得部は、カメラ２２に限られず、例えばユーザの手の位置や形状を検出可能なセンサ付きグローブいわゆるデータキャプチャーグローブ等で構成することもできる。すなわち、操作検出部３５は、ユーザの手に装着されるセンサ付きグローブいわゆるデータキャプチャーグローブによって、ユーザの視界内にある手の位置及び形状に関する情報を取得するようにしても良い。

ＨＭＤ２０は、ディスプレイ制御装置３０に無線又は有線で接続されている。なお、ディスプレイ制御装置３０は、ＨＭＤ２０と一体に構成されていても良い。図２に示すように、ディスプレイ制御装置３０は、マイクロコンピュータ等で構成された制御部３１を内蔵しており、ＨＭＤ２０の表示部２１に表示する画像データを送信したり、カメラ２２により撮影された画像データを受信したりする。また、ディスプレイ制御装置３０は、安全装置１３と有線又は無線通信が可能となっている。

図２に示すように、ディスプレイ制御装置３０は、制御部３１の他、監視対象情報取得部３２、視界情報取得部３３、監視対象識別部３４、操作検出部３５、表示領域設定部３６、及び表示制御部３７を有している。制御部３１は、例えばＣＰＵ３１１や、ＲＯＭ、ＲＡＭ、及び書き換え可能なフラッシュメモリなどの記憶領域３１２を有するマイクロコンピュータを主体に構成されており、ＨＤＭ２０の全体の制御を司っている。

記憶領域３１２は、情報表示プログラムを記憶している。制御部３１は、ＣＰＵ３１１において情報表示プログラムを実行することにより、監視対象情報取得部３２、視界情報取得部３３、監視対象識別部３４、操作検出部３５、表示領域設定部３６、及び表示制御部３７等を、ソフトウェア的に実現する。なお、これら監視対象情報取得部３２、視界情報取得部３３、監視対象識別部３４、操作検出部３５、表示領域設定部３６、及び表示制御部３７は、例えば制御部３１と一体の集積回路としてハードウェア的に実現してもよい。

監視対象情報取得部３２は、安全装置１３から、監視対象である各ロボット１１に関する情報として、監視対象情報をリアルタイムで取得することができる。監視対象情報は、各ロボット１１の動作によって随時変化する情報や、各ロボット１１の動作によっても変化しない情報等、各種情報によって構成することができる。例えば監視対象情報は、各ロボット１１の動作によって随時変化する情報として、上述した３Ｄモデル画像データを含む各ロボット１１の動作状態を示す動作情報や、コントローラ１２の制御状態を示す制御情報などを含んでいる。また、監視対象情報は、各ロボット１１の動作によっても変化しない情報として、各ロボット１１の取扱説明書等の情報を含んでいても良い。

視界情報取得部３３は、ＨＭＤ２０を装着したユーザ９０の視界を特定するための視界情報を取得する処理を行うことができる。ユーザ９０の視界とは、ユーザ９０がＨＭＤ２０を装着した状態においてユーザ９０の目に映る風景を意味する。本実施形態の場合、ユーザ９０の視界とは、眼鏡のレンズ部分である表示部２１を通してユーザ９０の目に映る風景を意味する。視界情報取得部３３は、例えばカメラ２２で撮像した画像から、ユーザ９０の視界情報を取得する。本実施形態では、例えば図４等に示すように、カメラ２２の撮像範囲２２１及び表示部２１の領域を、ユーザ９０の視界９１と擬制している。

図２に示す監視対象識別部３４は、視界情報取得部３３で取得した視界情報に基づいてユーザ９０の視界９１内に存在する監視対象であるロボット１１を識別する処理を行うことができる。すなわち、監視対象識別部３４は、ユーザの視界内に存在する監視対象つまりロボット１１が、ロボット１１１、１１２のいずれであるかを識別つまり特定することができる。監視対象識別部３４は、例えば次のようにして各ロボット１１を識別することができる。すなわち、例えば各ロボット１１に、それぞれ個体を特定するためのマーカーを付しておく。そして、監視対象識別部３４は、カメラ２２で撮像された画像を基にロボット１１に付されたマーカーを認識することで、各ロボット１１を識別することができる。

また、他の方法としては、監視対象識別部３４は、例えば次のようにして各ロボット１１を識別することができる。すなわち、監視対象識別部３４は、安全装置１３から各ロボット１１の現在の３Ｄモデル画像データを取得する。そして、監視対象識別部３４は、各ロボット１１の３Ｄモデル画像データと、カメラ２２で撮像されたロボット１１の形態とを照合することで、各ロボット１１を識別することができる。

操作検出部３５は、カメラ２２で取得された手情報つまり視界情報取得部３３で取得した視界情報に基づいて、ユーザの操作を検出する処理を行うことができる。すなわち、操作検出部３５は、カメラ２２を介して取得されたユーザの視界内の映像から、ユーザの視界内に入っている手の形状及び手の位置に関する情報を取得する。そして、操作検出部３５は、ユーザの視界内に入っている手の形状及び手の位置から、操作開始のトリガー及び操作の内容を検出する。このため、ユーザは、特定の形状にした手を自己の視界内つまりカメラ２２の前で動かすことで、ＨＭＤ２０の表示部２１に表示される内容を操作することができる。

具体的には、例えば図３に示すように、操作検出部３５は、表示部２１の表示内容を操作する際に用いるユーザの手９２の形状を、操作に使用する特定の形状として予め記憶領域３１２に記憶させることで登録する。以下の説明では、特定の形状として登録したユーザの手の形状つまり操作に用いる手９２の形状を、登録手形状と称する。すなわち、登録手形状は、ユーザが操作に用いる手の形状として操作検出部３５に認識させたい手の形状である。本実施形態では、例えば図３に示すように、ユーザは、自己の手９２この場合左手を開いてその手のひらをユーザ側に向けた状態を、ディスプレイ制御装置３０に登録するものとする。

なお、操作検出部３５は、複数の登録手形状を登録可能であっても良い。また、操作検出部３５に登録可能な手の形状は、図３の例に限られない。また、操作に使用する手の形状つまり操作検出部３５が操作として認識する手の形状は、操作検出部３５に登録した形状に限られず、例えばメーカー等によって予め規定された形状であっても良い。

図２に示す操作検出部３５は、視界情報取得部３３で取得した視界情報から、例えば画像処理によってユーザの手９２の形状を抽出することで、その抽出した手９２の形状の位置や具体的な形状に関する情報を取得する。なお、以下の説明では、視界情報取得部３３で抽出したユーザの手９２の形状を、抽出手形状と称する。操作検出部３５は、手９２の抽出手形状が、予め登録された登録手形状に一致している場合に、ユーザ９０の操作が入力されていることを検出する。

この場合、抽出手形状と登録手形状とが一致するとは、両者が所定の割合で相似していることを意味し、手のサイズや角度までが完全一致することを要しない。すなわち、操作検出部３５は、図７に示すように、視界９１内の手９２の姿勢やサイズ、つまり角度やカメラ２２からの距離が、図３に示す登録手形状と異なっていても、視界９１内に入った手９２の形状が登録手形状と所定の割合で相似していれば、視界９１内に入った手９２の形状は登録手形状と一致していると判断し、操作が入力されたことを検出する。この場合、手形状の一致を判断する所定の割合は、誤検出と操作性との兼ね合いを考慮して適宜設定すれば良い。

操作検出部３５は、視界９１内に手が入っておらず操作が入力されていない非操作状態から、視界９１内に手が入って操作が入力されている操作状態に切り替えるために、次の処理を行う。すなわち、操作検出部３５は、ユーザの操作を検出していない非操作状態において、カメラ２２で取得された手情報の手の位置及び形状が所定期間変化しなかった場合に、初めてユーザの操作が入力されたことを検出する。つまり、操作検出部３５は、非操作状態から操作状態に切り替えるための条件として、単に視界９１内に手が入っただけでは足りず、視界９１内に入った手の位置及び形状が、登録手形状と一致した状態で所定期間維持されることを要している。所定期間は、例えば１〜３秒程度であるが、これに限られない。

すなわち、操作検出部３５は、視界９１内に手が入っていない非操作状態から初めて視界９１内に手が入った場合に、その視界９１内に入った手の形状が、１〜３秒程度の期間、登録手形状と一致していなければ、操作が入力されたことを検出しない。このため、操作検出部３５は、視界９１内に手が入っていない非操作状態から初めて視界９１内に手が入った場合であっても、例えば図５、図６に示すように、その視界９１内に入った手９２の形状が図３の登録手形状と異なっていたり、単に視界９１内を手９２が通過したりしたというだけでは、操作が入力されたと判断しない。また、ユーザは、操作を終了する場合には、例えば図４に示すように視界９１内から手を外すか、又は例えば図５、図６に示すように、視界９１内の手９２を登録手形状とは異なる形状に変化させる。

図２に示す表示領域設定部３６は、例えば図７に示すような視界９１内における操作を検出すると、操作検出部３５で検出した操作に基づいて、例えば図８に示すように、表示領域２１１を設定する。表示領域２１１とは、ＨＭＤ２０の表示部２１において仮想的に設定される領域であって、監視対象情報を表示させるための領域である。すなわち、表示領域設定部３６は、例えば図８に示すように、操作検出部３５で操作が検出された場合に、その操作に係る手９２の位置及び形状に基づいて、表示領域２１１の位置及びサイズを設定する。

表示領域設定部３６は、操作検出部３５で操作が検出された場合に、視界９１内における手９２の位置に基づいて表示領域２１１の位置を設定し、視界９１内における手９２のサイズに基づいて表示領域２１１のサイズを設定する。この場合、表示領域設定部３６は、操作検出部３５で検出された操作において、例えば図８に対して図１１に示すように、ユーザの手９２が視界９１内つまり表示部２１内で大きくなった場合には、ユーザの手９２のサイズに合わせて表示領域２１１を拡大する。

一方、表示領域設定部３６は、操作検出部３５で検出された操作において、例えば図８に対して図１３に示すように、ユーザの手９２が視界９１内で小さくなった場合には、ユーザの手９２のサイズに合わせて表示領域２１１を縮小させる。すなわち、ユーザは、操作検出部３５による操作検出が開始された後、自己の手９２を登録手形状に維持したまま奥行き方向に前後させて視界９１内における手９２のサイズを変化させることで、表示領域２１１のサイズを変化させることができる。

また、表示領域設定部３６は、視界９１内つまり表示部２１内に入っているユーザの手９２の一部又は全部に重ねて表示領域２１１を設定する。本実施形態の場合、表示領域設定部３６は、図８等に示すように、視界９１内にある手９２の全体を覆うようにして、表示領域２１１を設定する。そして、表示領域設定部３６は、例えば図１０に示すように、操作検出部３５で検出された手９２の位置に追従させて、表示領域２１１を移動させる。すなわち、ユーザは、操作検出部３５によって操作検出が開始されると、自己の手９２を視界９１内で動かす事で、その手９２に追従させて、視界９１内において表示領域２１１を動かすことができる。

図２に示す表示制御部３７は、例えば図９に示すように、表示領域設定部３６で設定された表示領域２１１内に、監視対象情報２１２を構成する文字情報や数字、図形、記号情報を表示する。本実施形態の場合、表示制御部３７は、表示領域２１１内を、例えば監視対象情報２１２とは反対色で不透明に表示することで、表示領域２１１の後ろの実景を覆い隠している。これにより、表示領域２１１内に表示された監視対象情報２１２が、表示領域２１１の後ろの実景に紛れ込む事を防ぐことができるため、監視対象情報２１２が見易くなる。なお、表示領域２１１は、監視対象情報２１２を表示させるための領域であるため、表示制御部３７は、表示領域２１１を示す枠及び表示領域２１１内の色彩を、必ずしも表示部２１に表示する必要はない。

図２に示す表示制御部３７は、表示領域２１１の拡大縮小に伴って、表示領域２１１に表示させる監視対象情報２１２の情報量を増減する。例えば図８に対して図１１に示すように表示領域２１１が拡大された場合には、例えば図９に対して図１２に示すように表示領域２１１に表示させる監視対象情報２１２の情報量を増やす。一方、表示制御部３７は、例えば図８に対して図１３に示すように表示領域２１１が縮小された場合には、例えば図９に対して図１４に示すように、表示領域２１１に表示させる監視対象情報２１２の情報量を減らす。

また、表示制御部３７は、表示領域２１１の拡大縮小に伴って、表示領域２１１に表示させる監視対象情報２１２の表示態様を拡大縮小しても良い。すなわち、表示制御部３７は、図９と図１５とを対比して示すように、表示領域２１１が拡大された場合には表示領域２１１に表示させる監視対象情報２１２の表示態様を大きくし、表示領域２１１が縮小された場合には表示領域２１１に表示させる監視対象情報２１２の表示態様を小さくしても良い。

なお、表示制御部３７は、例えば安全装置１３に接続されている全てのロボット１１に関する監視対象情報を表示部２１に表示させるようにしても良いし、監視対象識別部３４と協働して、視界９１内に入っているロボット１１に関する監視対象情報のみを表示部２１に表示させるようにしても良い。

次に、ディスプレイ制御装置３０の制御部３１において行われる制御フローについて、図１６も参照して説明する。制御部３１は、情報表示プログラムを実行すると、図１６の制御フローを実行する。制御部３１は、まず、ステップＳ１１において、視界９１内で登録手形状と一致する手の形状が検出されたか否かを判断する。例えば図４に示すように手形状自体が抽出されない場合、又は図５、図６に示すように手形状は抽出されたがその抽出手形状が登録手形状と一致しない場合（いずれも図１６のステップＳ１１でＮＯ）、制御部３１は、ステップＳ１２へ処理を移行させる。そして、制御部３１は、操作が入力されていない又は操作が終了されたと判断し、ステップＳ１１へ処理を戻す。

一方、例えば図７に示すように、視界９１内に手９２が抽出され、かつ、その手９２の抽出手形状が登録手形状と一致した（図１６のステップＳ１１でＹＥＳ）、制御部３１は、ステップＳ１３へ処理を移行させる。次に、ステップＳ１３において、制御部３１は、現在の状態が、表示部２１の表示内容が操作されている操作状態であるか又は操作されていない非操作状態であるかを判断する。制御部３１は、現在の状態が操作状態であれば（ステップＳ１３でＹＥＳ）、操作状態を継続するため、ステップＳ１４を実行することなく、ステップＳ１５へ処理を移行させる。一方、制御部３１は、現在の状態が非操作状態であれば（ステップＳ１３でＮＯ）、ステップＳ１４へ処理を移行させる。

制御部３１は、ステップＳ１４において、操作検出部３５の処理により、ステップＳ１１で検出された手９２の抽出手形状の位置及び形状が所定時間維持されたか否かを判断する。非操作状態において初めて登録手形状に一致する抽出手形状を検出してからその抽出手形状の位置及び形状が所定時間経過する前に変化した場合（ステップＳ１４でＮＯ）、制御部３１は、ステップＳ１２へ処理を移行させる。そして、ステップＳ１２において、制御部３１は、操作が入力されなかったと判断し、ステップＳ１１へ処理を戻す。また、非操作状態において初めて登録手形状に一致する手形状を検出してからその手形状の位置及び形状が所定時間維持された場合（ステップＳ１４でＹＥＳ）、制御部３１は、操作状態を開始するため、ステップＳ１５へ処理を移行させる。

次に、制御部３１は、ステップＳ１６へ処理を移行させ、操作検出部３５の処理により、視界情報取得部３３で取得した視界情報を画像処理すること等によって、視界９１内における手９２の位置及びサイズつまり抽出手形状の位置及びサイズを測定する。そして、制御部３１は、ステップＳ１７へ処理を移行させ、表示領域設定部３６の処理により、図８、図１０、図１１、及び図１３に示すように、表示領域２１１の位置及びサイズを設定する。

そして、制御部３１は、図１６のステップＳ１８へ処理を移行させ、図９、図１２、図１４、又は図１５に示すように、ステップＳ１７で設定された表示領域２１１のサイズに応じた情報量又は表示サイズで、表示領域２１１内に監視対象情報２１２を表示させる。そして、制御部３１は、図１６のステップＳ１１へ処理を戻し、ステップＳ１１からＳ１８を繰り返す。

以上説明した実施形態によれば、情報表示システム１０において、操作検出部３５は、ユーザの視界９１内にユーザの手が入っている場合においてその手が特定の形状であるときにユーザの操作が入力されていることを検出する。そして、表示領域設定部３６は、操作検出部３５で操作が検出された場合に、視界９１内における手９２の位置に基づいて監視対象情報２１２を表示するための表示領域２１１の位置を設定する。また、表示領域設定部３６は、操作検出部３５で操作が検出された場合に、視界９１内における手９２のサイズに基づいて表示領域２１１のサイズを設定する。そして、表示制御部３７は、表示領域設定部３６で設定された表示領域２１１内に監視対象情報２１２を表示する。

これによれば、ユーザは、例えば機械的なコントローラ等を触って操作することなく、自己の視界９１内に手９２を入れて操作することで、表示部２１において監視対象情報２１２が表示される表示領域２１１の位置又はサイズを設定することができる。そのため、ユーザは、自己の手９２を動かして操作することによって、任意のタイミングで監視対象情報２１２を視界９１内に表示させることが出来る。更に、ユーザは、自己の手９２を動かして操作することによって、例えば監視対象情報２１２と実景とが重ならないように表示領域２１１の位置やサイズを設定することができる。これにより、表示領域２１１に表示される監視対象情報２１２が視界を妨げないようにすることができ、その結果、ユーザの視界を妨げ難い情報提示が可能になる。

ここで、表示領域２１１を操作する場合だけでなく通常の作業時にも、ユーザの視界９１内に手９２が入ることが想定される。この場合、ユーザが操作を意図していないにもかかわらず、視界９１内に手９２が入ったというだけで監視対象情報２１２が表示されたり、表示領域２１１の位置やサイズが変更されたりすると、かえってユーザの視界９１を妨げることになる。そこで、操作検出部３５は、操作時のユーザの手９２の形状を操作に使用する特定の形状として予め登録可能である。そして、操作検出部３５は、ユーザの視界９１内に入っている手の形状つまりカメラ２２で取得された手９２の形状が、予め登録された手の形状つまり登録手形状に一致している場合にユーザの操作が入力されていることを検出する。

これによれば、ユーザは、予め登録した手の形状で操作している場合に限り、つまりユーザが操作の意図を明確に示している場合に限り、監視対象情報２１２の表示や、表示領域２１１の位置又はサイズを操作することができる。つまり、これによれば、ユーザが操作を意図していないにもかかわらず、視界９１内に手９２が入ったというだけで監視対象情報２１２が表示されたり、表示領域２１１の位置やサイズが変更されたりすることを防ぐことができる。その結果、ユーザの視界９１を妨げ難く、より安全性の高い情報提示が可能になる。

また、操作検出部３５は、ユーザの操作を検出していない状態においてユーザの視界９１内に手が入ってからその手の位置及び形状が所定期間変化しなかった場合に初めてユーザの操作が入力されたことを検出する。これによれば、表示部２１に監視対象情報２１２が表示されていない状態から表示させる状態に移行する際に、操作検出部３５は、ユーザの操作の意図をより明確に検出することができる。したがって、例えば視界９１内を手９２が通過しただけのような場合に監視対象情報２１２が表示されることをより確実に防ぐことができ、その結果、ユーザの視界９１を更に妨げ難く、より安全性の高い情報提示が可能になる。

また、表示領域設定部３６は、ユーザの視界９１内に入っているユーザの手９２の一部又は全部に重ねて表示領域２１１を設定する。これによれば、ユーザは、例えば自己の手のひらを見る感覚で、監視対象情報２１２を見ることができる。そのため、直感的な操作が可能になり、その結果、操作性の向上を図ることができる。

また、表示領域設定部３６は、操作検出部３５で検出された操作において、ユーザの手９２が視界９１内で大きくなった場合には表示領域２１１を拡大し、ユーザの手９２が視界９１内で小さくなった場合には表示領域２１１を縮小させる。そして、表示制御部３７は、表示領域２１１が拡大された場合には表示領域２１１に表示させる監視対象情報２１２の情報量を増やし、表示領域２１１が縮小された場合には表示領域２１１に表示させる監視対象情報２１２の情報量を減らす。

これによれば、ユーザは、自己の操作によって表示領域２１１のサイズを変更することで、表示領域２１１内に表示される監視対象情報２１２の情報量を任意に調整することができる。したがって、ユーザは、現在の視界９１の状況に応じて監視対象情報２１２の情報量を調整することができ、その結果、ユーザの視界９１を妨げ難くかつ適切な情報提示が可能となる。

また、この場合、表示制御部３７は、表示領域２１１が拡大された場合には表示領域２１１に表示させる監視対象情報２１２の表示態様つまり表示サイズを大きくし、表示領域２１１が縮小された場合には表示領域２１１に表示させる監視対象情報２１２の表示態様つまり表示サイズを小さくしても良い。

これによれば、ユーザは、自己の操作によって表示領域２１１のサイズを変更することで、表示領域２１１内に表示される監視対象情報２１２の表示態様つまりサイズを任意に調整することができる。これにより、ユーザは、監視対象情報２１２の表示サイズを自己の視力等に併せて任意に調整することができ、その結果、更に見易く適切な情報提示が可能となる。

表示領域設定部３６は、操作検出部３５で検出されたユーザの手９２の位置に追従させて表示領域２１１を移動させる。これによれば、ユーザは、自己の操作によって、監視対象情報２１２の表示位置を任意の位置に変更することができる。例えばユーザは、監視対象情報２１２が実景に重なっている場合等に、その監視対象情報２１２を、実景と重ならないような見易い位置に移動させることができる。これにより、ユーザは、監視対象情報２１２によって視界を妨げないようにすることがより容易にでき、その結果、ユーザの視界９１を更に妨げ難い情報提示が可能になる。

表示制御部３７は、表示領域２１１内を例えば監視対象情報２１２の反対色で塗りつぶすように表示することで、表示領域２１１を不透明に表示する。これによれば、表示領域２１１内に表示された監視対象情報２１２が、表示領域２１１の後ろの実景に紛れ込む事を防ぐことができ、その結果、監視対象情報２１２をより見易くすることができる。

カメラ２２は、ＨＭＤ２０に取り付けられている。この場合、ＨＭＤ２０に取り付けられたカメラ２２の撮像範囲は、ユーザの視界９１と共に動く。これによれば、カメラ２２で取得したユーザの手９２の位置及び形状を、ユーザの実際の視界内における手の位置及び形状に極力近づけることができる。これにより、ユーザの視界内で実際に行われる操作を、表示部２１内における表示領域２１１の操作に正確に反映することができる。その結果、更に直感的な操作が可能になって、より安全性が高くユーザの視界を妨げ難い情報提示が可能になる。

なお、本発明の実施形態は、上記し又図面に記載した態様に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形や拡張をすることができる。
例えば制御部３１、監視対象情報取得部３２、視界情報取得部３３、監視対象識別部３４、操作検出部３５、表示領域設定部３６、及び表示制御部３７を、それぞれ安全装置１３側又はＨＭＤ２０側に分散させて設けても良い。
監視対象であるロボット１１は、特定の場所に固定されているものに限られず、例えば自走可能な構成であってもよい。更に、監視対象は、ロボットに限られず、例えばフォークリフト等のように人が運転する有人搬送車や、自動で走行可能な無人搬送車等の移動体等であっても良い。

図面中、１０は情報表示システム、１１はロボット（監視対象）、２０はヘッドマウントディスプレイ（装着型ディスプレイ）、２２はカメラ、３２は監視対象情報取得部、３５は操作検出部、３６は表示領域設定部、３７は表示制御部、を示す。

Claims (8)

1. 監視対象となるロボットの駆動を制御するロボットコントローラと、
   前記ロボットコントローラから前記ロボットの動作状態及び制御状態を特定可能な情報を取得する安全装置と、
   前記安全装置から前記ロボットに関する情報である監視対象情報を取得可能な監視対象情報取得部と、
   ユーザが装着可能であってユーザの視界内に前記監視対象情報を表示可能な装着型ディスプレイと、
   ユーザの視界内にユーザの手が入っている場合においてその手が特定の形状であるときにユーザの操作が入力されていることを検出する操作検出部と、
   前記操作検出部で操作が検出された場合に、視界内における手の位置に基づいて前記監視対象情報を表示するための表示領域の位置を設定する、又は視界内における手のサイズに基づいて前記表示領域のサイズを設定する表示領域設定部と、
   前記表示領域設定部で設定された表示領域内に前記監視対象情報を表示する表示制御部と、
   を備え、
   前記表示領域設定部は、視界内にある手の全部に重ねて前記表示領域を設定する、
   情報表示システム。
2. 前記操作検出部は、操作時のユーザの手の形状を前記特定の形状として予め登録可能であって、ユーザの視界内に入っている手の形状が前記予め登録された手の形状に一致している場合にユーザの操作が入力されていることを検出する、
   請求項１に記載の情報表示システム。
3. 前記操作検出部は、ユーザの操作を検出していない状態においてユーザの視界内に手が入ってからその手の位置及び形状が所定期間変化しなかった場合に初めてユーザの操作が入力されたことを検出する、
   請求項１又は２に記載の情報表示システム。
4. 前記表示領域設定部は、前記操作検出部で検出された操作において、ユーザの手が視界内で大きくなった場合には前記表示領域を拡大し、ユーザの手が視界内で小さくなった場合には前記表示領域を縮小させ、
   前記表示制御部は、前記表示領域が拡大された場合には前記表示領域に表示させる前記監視対象情報の情報量を増やし、前記表示領域が縮小された場合には前記表示領域に表示させる前記監視対象情報の情報量を減らす、
   請求項１から３のいずれか一項に記載の情報表示システム。
5. 前記表示領域設定部は、前記操作検出部で検出された操作において、ユーザの手が視界内で大きくなった場合には前記表示領域を拡大し、ユーザの手が視界内で小さくなった場合には前記表示領域を縮小させ、
   前記表示制御部は、前記表示領域が拡大された場合には前記表示領域に表示させる前記監視対象情報の表示態様を大きくし、前記表示領域が縮小された場合には前記表示領域に表示させる前記監視対象情報の表示態様を小さくする、
   請求項１から３のいずれか一項に記載の情報表示システム。
6. 前記表示領域設定部は、前記操作検出部で検出されたユーザの手の位置に追従させて前記表示領域を移動させる、
   請求項１から５のいずれか一項に記載の情報表示システム。
7. 前記表示制御部は、前記表示領域内を不透明に表示する、
   請求項１から６のいずれか一項に記載の情報表示システム。
8. 前記操作検出部は、前記装着型ディスプレイに取り付けられたカメラを介して、ユーザの視界内にある手の位置及び形状に関する情報を取得することができる、
   請求項１から７のいずれか一項に記載の情報表示システム。

Images