JP7000364B2

JP7000364B2 - ロボットシステム

Info

Publication number: JP7000364B2
Application number: JP2019013403A
Authority: JP
Inventors: 崇紘岡元
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 2019-01-29
Filing date: 2019-01-29
Publication date: 2022-01-19
Anticipated expiration: 2039-01-29
Also published as: US11267132B2; DE102020000390B4; JP2020121351A; CN111487946A; CN111487946B; US20200238536A1; DE102020000390A1

Description

本発明は、ロボットシステムに関する。

近年、拡張現実（Augmented Reality：ＡＲ）技術の産業用ロボットへの応用が期待されている。例えば、特許文献１は、撮像装置を備えたヘッドマウントディスプレイに表示された実環境のロボットの画像上に、ツール先端点におけるジョグ操作の方向を示す操作ガイドを重畳表示するロボットシステムを記載する。特許文献２は、ユーザの注視対象をヘッドマウントディスプレイに備えられた視線追跡装置で認識することで、実環境の映像に重畳して表示されたアプリケーションランチャーを、ユーザが視線をマウスカーソルのように使用して操作するシステムを記載する。

特開２０１６－１０７３７９号公報特表２０１７－５３８２１８号公報

一般に、ロボットシステムにおいてユーザが教示操作盤の表示部等に表示されたユーザインタフェース画面を介して目的の情報にアクセスするためには、階層的に提示される選択メニューを順次選択して目的の情報を見つけ出す操作を行う必要がある。ユーザがより効率的に所望の情報にアクセス可能な構成を有するロボットシステムが望まれている。

本開示の一態様は、ロボットと、前記ロボットを制御するロボット制御装置と、前記ロボット及び前記ロボット制御装置を含む作業空間の現実の映像を取得する映像取得装置と、装着者の視線情報を取得する視線追跡部を備えた頭部装着型の映像表示装置とを具備し、前記ロボット制御装置は、前記ロボットの制御に用いる情報を、前記作業空間に存在する物体の種類と関連付けて格納する情報格納部と、前記映像表示装置の装着者が前記作業空間において見ている注視対象を、前記視線情報に基づいて前記映像の中で特定する注視対象特定部と、特定された前記注視対象に対応する前記物体に関連付けされた前記情報を、前記映像表示装置に、前記装着者が視覚により内容の把握、選択又は設定を実行できる１つの画像の形態で、前記注視対象に並べて表示させる表示処理部とを備え、前記注視対象特定部が、前記ロボットの手首フランジに取り付けたツールを前記注視対象として特定したときに、前記表示処理部は、前記ツールのツール座標系が設定済か否かに応じて、前記装着者が視覚により、前記ツール座標系の設定状態の把握、及び、前記ツール座標系の新規設定又は変更設定のうち、少なくともいずれかを実行できる前記画像を、前記映像表示装置に表示させる、ロボットシステムである。本開示の別の態様は、ロボットと、前記ロボットを制御するロボット制御装置と、前記ロボット及び前記ロボット制御装置を含む作業空間の現実の映像を取得する映像取得装置と、装着者の視線情報を取得する視線追跡部を備えた頭部装着型の映像表示装置とを具備し、前記ロボット制御装置は、前記ロボットの制御に用いる情報を、前記作業空間に存在する物体の種類と関連付けて格納する情報格納部と、前記映像表示装置の装着者が前記作業空間において見ている注視対象を、前記視線情報に基づいて前記映像の中で特定する注視対象特定部と、特定された前記注視対象に対応する前記物体に関連付けされた前記情報を、前記映像表示装置に、前記装着者が視覚により内容の把握、選択又は設定を実行できる１つの画像の形態で、前記注視対象に並べて表示させる表示処理部とを備え、前記注視対象特定部が、前記ロボットの手首フランジに取り付けたツールを前記注視対象として特定したときに、前記表示処理部は、前記ツールに応じた負荷が設定済か否かに応じて、前記装着者が視覚により、前記負荷の設定状態の把握、及び、前記負荷の新規設定又は変更設定のうち、少なくともいずれかを実行できる前記画像を、前記映像表示装置に表示させる、ロボットシステムである。本開示の更に別の態様は、ロボットを制御するロボット制御装置であって、前記ロボットの制御に用いる情報を、前記ロボット及び前記ロボット制御装置を含む作業空間に存在する物体の種類と関連付けて格納する情報格納部と、映像表示装置の装着者が前記作業空間において見ている注視対象を、前記映像表示装置の視線追跡部により取得された前記装着者の視線情報に基づいて、前記作業空間の現実の映像を取得する映像取得装置により取得された前記映像の中で特定する注視対象特定部と、特定された前記注視対象に対応する前記物体に関連付けされた前記情報を、前記映像表示装置に、前記装着者が視覚により内容の把握、選択又は設定を実行できる１つの画像の形態で、前記注視対象に並べて表示させる表示処理部とを備え、前記注視対象特定部が、前記ロボットの手首フランジに取り付けたツールを前記注視対象として特定したときに、前記表示処理部は、前記ツールのツール座標系が設定済か否かに応じて、前記装着者が視覚により、前記ツール座標系の設定状態の把握、及び、前記ツール座標系の新規設定又は変更設定のうち、少なくともいずれかを実行できる前記画像を、前記映像表示装置に表示させる、ロボット制御装置である。本開示の更に別の態様は、ロボットを制御するロボット制御装置であって、前記ロボットの制御に用いる情報を、前記ロボット及び前記ロボット制御装置を含む作業空間に存在する物体の種類と関連付けて格納する情報格納部と、映像表示装置の装着者が前記作業空間において見ている注視対象を、前記映像表示装置の視線追跡部により取得された前記装着者の視線情報に基づいて、前記作業空間の現実の映像を取得する映像取得装置により取得された前記映像の中で特定する注視対象特定部と、特定された前記注視対象に対応する前記物体に関連付けされた前記情報を、前記映像表示装置に、前記装着者が視覚により内容の把握、選択又は設定を実行できる１つの画像の形態で、前記注視対象に並べて表示させる表示処理部とを備え、前記注視対象特定部が、前記ロボットの手首フランジに取り付けたツールを前記注視対象として特定したときに、前記表示処理部は、前記ツールに応じた負荷が設定済か否かに応じて、前記装着者が視覚により、前記負荷の設定状態の把握、及び、前記負荷の新規設定又は変更設定のうち、少なくともいずれかを実行できる前記画像を、前記映像表示装置に表示させる、ロボット制御装置である。

上記構成によれば、ユーザがより効率的に所望の情報にアクセスすることが可能となる。

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。

本開示の一実施形態に係るロボットシステムの構成を表す図である。ロボットシステムの機能ブロック図である。情報表示処理を表すフローチャートである。ツール座標系を新たに設定する否かを選択する選択メニューが映像に重畳された表示画面例である。選択メニューを視線により選択操作する状態を表す図である。負荷情報に関する内容が表示画面に重畳された表示画面例である。ツール座標に関する情報が表示画面に重畳された表示画面例である。ロボットの速度や軌跡に関する情報が映像に重畳された表示画面例である。ジョグ操作に関連する情報が映像に重畳表示された表示画面例である。関節の現在位置及び可動域に関する情報が映像に重畳表示された表示画面例である。進入禁止区域に関する情報が映像に重畳表示された表示画面例である。電源再投入のための選択メニューが映像に重畳表示された表示画面例である。運転モード切り替えに関する選択メニューが映像に重畳された表示画面例である。動作プログラムに動作状態に関する情報が映像に重畳された表示画面例である。ツール座標系設定処理を説明するための図である。ツール座標系設定処理を説明するための図である。

次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。

図１は本開示の一実施形態に係るロボットシステム１００の構成を表す図である。図２は、ロボットシステム１００の機能ブロック図である。図１－２に示すようにロボットシステム１００は、ロボット１０と、ロボット１０を制御するロボット制御装置５０と、ロボット１０及びロボット制御装置５０を含む作業空間の現実の映像を取得する映像取得装置９１と、装着者の視線情報を取得する視線追跡部９２を備えた頭部装着型の映像表示装置９０とを具備する。ロボット制御装置５０は、ロボット１０の制御に用いる情報を、作業空間に存在する物体（ロボット１０、ロボット制御装置５０及び周辺装置等）の種類と関連付けて格納する情報格納部８０と、映像表示装置９０の装着者が作業空間において見ている注視対象を、視線情報に基づいて映像の中で特定する注視対象特定部５１と、特定された注視対象に対応する物体に関連付けされた情報を、映像表示装置９０に、装着者が視覚により内容の把握、選択又は設定を実行できる１つの画像の形態で、注視対象に並べて表示させる表示処理部５３とを備える。本実施形態では、映像取得装置９１は、映像表示装置９０に一体的に組み込まれているが、これは例示であり、映像取得装置９１は映像表示装置９０と別体に設けられていても良い。

ロボット１０は本実施形態では垂直多関節ロボットであり、アーム先端部にはツール１２が装着されている。なお、ロボット１０は他のタイプのロボットでも良い。例えば、ロボット１０が６軸のロボットである場合、ロボット制御装置５０はロボット１０から各軸（Ｊ１－Ｊ６）の位置をロボット１０の現在位置を表す情報として取得する。ロボット制御装置５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置等を有する一般的なコンピュータとしての構成を有していても良い。

映像表示装置９０は、装着者の両眼前部に配置されたディスプレイ９４を有し、映像取得装置９１により取得された映像をディスプレイ９４に表示する。視線追跡部９２として、視線を計測する当分野で知られた一般的な構成の装置を用いることができる。一例として、視線追跡部９２は、映像表示装置９０の装着者の両眼前方の位置に配置された赤外ＬＥＤ及び赤外カメラにより装着者の両眼の角膜反射（基準点）と瞳孔（動点）との位置関係を取得しそれにより視線方向（図１において破線の矢印Ｅで示す）を求める。映像取得装置９１により取得された映像と、視線追跡部９２により得られた視線情報はロボット制御装置５０に送信される。画像処理部９３は、ロボット制御装置５０から提供される注視対象に関する情報を、映像取得装置９１からの映像内において注視対象に並べて重畳表示する画像処理を実行する。

本実施形態では、映像取得装置９１及び視線追跡部９２は、映像表示装置９０に一体的に設けられており、装着者の頭部に対し位置が固定されている。したがって、視線追跡部９２により計測された視線情報（眼球の向き）を用いることにより映像内での装着者の注視対象を特定することができる。ロボット制御装置５０は、作業空間内の各物体（ロボット１０、ロボット制御装置５０及び周辺装置等）をモデル化した物体モデルを格納する物体モデル格納部８１を有する。注視対象特定部５１は、一例として、物体モデル格納部８１に格納された物体モデルを用いた画像認識処理により、映像内での物体の位置及び物体上の注視対象部位を特定しても良い。

ロボット制御装置５０は、特徴識別部５２と、ツール座標系設定部５４とを更に備える。各物体に予め定めた特徴部ごとに該特徴部固有の情報を映像表示装置９０に表示可能とするために、情報格納部８０は、物体に予め定めた各特徴部に対し特徴部固有の情報を関連付けて格納する。下記表１は、情報格納部９０に格納された情報の一例である。下記表１に示されるように、ロボット１０に予め定めた特徴部は例えばツール、関節部位であり、ロボット制御装置５０に予め定めた特徴部は例えば電源スイッチ、モードスイッチである。各特徴部固有の情報は、特徴部の内部情報や設定情報を含む。

特徴識別部５２は、物体モデルと映像及び視線情報とを用いて装着者が注視する特徴部を識別する。特徴識別部５２は、例えばロボット１０の物体モデルとロボット１０の各軸の現在位置とを用い、物体モデルに現在のロボット１０の姿勢に対応する姿勢をとらせた上で、パターンマッチングにより映像内でのロボット１０の位置を特定し、更に、装着者の注視対象がロボット１０に物体の各々に予め設定された複数の特徴部のうちどの特徴部にあるかを識別する。

表示処理部５３は、特徴識別部５２により識別された特徴部の固有の情報を情報格納部８０から取得して映像表示装置９０に提供し、ディスプレイ９４に表示されている映像にその情報を画像化して重畳表示させる。図１において符号１９０は、映像表示装置９０のディスプレイ９４に表示されている画面の例である。

図３は、注視対象に関する情報を装着者が視覚により内容の把握、選択又は設定を実行できる１つの画像の形態で映像表示装置９０上に表示させる処理（以下、情報表示処理と記す）を表すフローチャートである。図３の情報表示処理は、ロボット制御装置５０のＣＰＵによる制御下で実行される。具体的には、注視対象特定部５１及び特徴識別部５２による注視対象（特徴部）の特定結果を用いて、表示処理部５３が注視対象（特徴部）に関する情報を映像中の注視対象に並べて表示させる。ユーザは映像表示装置９０を装着し、ロボット制御装置５０に対し所定の操作を行い情報表示処理を起動する。はじめに、注視対象特定部５１及び特徴識別部５２による注視対象の特定ができているか否かが判定される（ステップＳ１）。注視対象が特定できていない場合、特定ができるまで待機する（ステップＳ１：ＮＯ）。注視対象が特定されると（Ｓ１：ＹＥＳ）、注視対象がロボット１０のツール１２であるか否かが判定される（ステップＳ２）。

装着者の視線方向Ｅによる注視点Ａがツール１２上にあり注視対象がロボット１０のツール１２であると判定されると（Ｓ２：ＹＥＳ）、表示処理部５３は、ツール１２のツール座標系が設定済か否か、及びツール１２に応じた負荷が設定済か否かに応じて、装着者が視覚により、ツール座標系の設定状態の把握、ツール座標系の新規設定又は変更設定、負荷の設定状態の把握、及び負荷の新規設定又は変更設定のうち、少なくともいずれかを実行できる画像を映像表示装置９０に表示させる（ステップＳ６－Ｓ８）。

具体的には、装着者がツール１２を注視し（Ｓ２：ＹＥＳ）、ロボット１０が停止中（Ｓ３：ＹＥＳ）且つツール座標系が未設定（Ｓ４：ＮＯ）である場合、表示処理部５３は図４に示すようにツール座標系が未設定であるというメッセージ３０１とツール座標系を新たに設定する否かを選択する選択メニュー３０２とをディスプレイ９４上の映像に重畳して表示させる（ステップＳ８）。図４において符号２０１は、ロボット１０を含む映像に上記メッセージ３０１及び選択メニュー３０２が重畳されたディスプレイ９４上の表示画面を表している。

装着者は表示画面２０１上で選択メニュー３０２に対する視線による選択を行うことができる（図５）。例えば、ロボット制御装置５０は、装着者の注視点Ａが選択メニュー３０２上の「ＹＥＳ」近辺に数秒間滞留した場合に、装着者が「ＹＥＳ」を選択したと判定することができる。ここで装着者が「ＹＥＳ」を選択した場合のツール座標系設定処理については後述する。

ツール座標系が設定済で（Ｓ４：ＹＥＳ）且つ負荷設定がなされていない場合（Ｓ５：ＮＯ）、表示処理部５３はステップＳ７において負荷設定がなされていないこというメッセージ３１１をディスプレイ９４上の映像に重畳して表示させる（図６）。また、このとき表示処理部５３は、負荷情報を新規に設定するか否かを視線により選択するための選択メニュー３１２も表示する。図６において符号２０２は、ロボット１０を含む映像に上記メッセージ３１１及び選択メニュー３１２が重畳されたディスプレイ９４上の表示画面を表している。ここで、装着者が視線により選択メニュー３１２上の「ＹＥＳ」を選択した場合には、表示処理部５３は負荷設定値を入力するためのユーザインタフェース画面を更に表示しても良い。

ツール座標系が設定されており（Ｓ４：ＹＥＳ）且つ負荷設定もなされている場合（Ｓ５：ＹＥＳ）、表示処理部５３はステップＳ６においてツール座標系又は負荷情報の現在の設定値３２１をディスプレイ９４上の映像に重畳表示させる（図７）。図７において、符号２０３は、ロボット１０を含む映像にツール座標系の設定値３２１が重畳表示されたディスプレイ９４上の表示画面を表している。また、この表示画面２０３には、設定値変更の処理に移行、又は負荷情報の表示への移行を指示するための選択メニュー３２２も表示されている。ここで、装着者が視線により選択メニュー３２２における「変更」を選択した場合には、後述のツール座標系設定処理に移行する。装着者が視線により選択メニュー３２２の「負荷情報へ」を選択した場合には、ツール座標系の設定値に替えて負荷情報の設定値が表示される。負荷情報の設定値の表示画像には、負荷情報の設定値を変更する画面に移行するためのメニューが表示される。

ステップＳ３においてロボット１０が動作中であると判断されるとき（Ｓ３：ＮＯ）、表示処理部５３は、装着者が視覚により、ツール１２を動かすロボット１０の動作情報の把握を実行できる画像を映像表示装置９０に表示させる。具体的には、ロボット１０が動作中で（Ｓ３：ＮＯ）且つロボット１０が動作プログラムを実行中である場合（Ｓ９：ＹＥＳ）、表示処理部５３はステップＳ１０においてロボット１０の速度や軌跡に関する情報を映像に重畳表示させる（図８）。図８において、符号２０４は、ロボット１０を含む映像にロボット１０の速度や軌跡に関する情報３３１が重畳表示されたディスプレイ９４上の表示画面を表している。表示画面２０４には、動作プログラム名、ロボット１０の動作形式、速度オーバライド、教示速度、ツールセンタポイントの速度（ＴＣＰ速度）を表す文字情報が重畳表示されると共に、ツール先端の動作軌跡Ｔ及び教示点Ｐがグラフィカルに重畳表示されている。

ロボット１０が動作中で（Ｓ３：ＮＯ）且つロボット１０が動作プログラムを実行中でない場合（Ｓ９：ＮＯ）、ロボット制御装置５０はロボット１０がロボット制御装置５０に接続された教示操作盤（不図示）を用いたジョグ操作による動作を実行中であると判断する。この場合、表示処理部５３はステップＳ１１においてジョグ操作に関連する情報３３２を映像に重畳表示させる（図９）。図９において、符号２０５は、ロボット１０を含む映像に、ジョグ操作によるロボット１０の動作速度、動作範囲、進行方向が文字及び画像として重畳表示されたディスプレイ９４上の表示画面を表している。

装着者の注視対象がロボット１０の関節部位である場合（Ｓ１２：ＹＥＳ）、表示処理部５３はステップＳ１３において関節部位の現在位置及び関節可動域に関する情報３３３を映像に重畳表示させる（図１０）。ここでは、装着者の視線Ｅによる注視点Ａが第５番目の関節部位（Ｊ５）にあるものとする。図１０において、符号２０６は、ロボット１０を含む映像に、第５番目の関節部位の現在位置及び関節可動域に関する情報が文字及び画像として重畳表示されたディスプレイ９４上の表示画面を表している。

産業用ロボットでは、ロボットの周囲の環境との干渉を避けるために、ロボットが進入できない領域を定義し、その領域にロボットが進入しようとした場合にロボットを停止させる機能を持つ場合がある。以下ではこのような領域を進入禁止区域と記載する。進入禁止区域の位置に関する情報は、例えばロボット１０のベース座標系上での位置として、ロボット制御装置５０の情報格納部８０に格納されている。ステップＳ１４では、装着者の注視点Ａがロボット１０ではなくロボット１０の周辺環境である場合に（Ｓ１４：ＹＥＳ）、表示処理部５３は周辺領域に進入禁止区域が定義されていれば進入禁止区域に関する情報を映像に重畳表示させる（ステップＳ１５；図１１）。図１１において、符号２０７は、ロボット１０を含む映像に、進入禁止区域を表す破線Ｈが画像として重畳表示されたディスプレイ９４上の表示画面を表している。

ステップＳ１６－Ｓ２１では、注視対象特定部５１がロボット制御装置５０に設けられた選択スイッチを注視対象として特定したときに、表示処理部５３は、装着者が視覚により選択スイッチの選択を実行できる画像を映像表示装置９０に表示させる。具体的には、装着者の注視対象がロボット制御装置５０であり（Ｓ１６：ＹＥＳ）且つロボット１０が停止中である場合（Ｓ１７：ＹＥＳ）、更に装着者の注視点Ａがロボット制御装置５０のどの部位であるかが判別される（ステップＳ１８、Ｓ２０）。装着者の視線Ｅによる注視点Ａが電源スイッチ５１近辺にあり注視対象の特徴部が電源スイッチ５１であると判断される場合（Ｓ１８：ＹＥＳ）、表示処理部５３はステップＳ１９において電源再投入を行うか否かを選択するための選択メニュー３４１を映像に重畳表示する（図１２）。図１２において、符号２０８は、ロボット制御装置５０を含む映像に、選択メニュー３４１が文字情報として重畳表示された表示装部３０上の表示画面を表している。装着者が視線により選択メニュー３４１上の「ＹＥＳ」を選択した場合には、ロボット制御装置５０はロボット１０の電源再投入を実行する。

装着者の視線Ｅによる注視点Ａがモード切替スイッチ５２近辺にあり注視対象の特徴部がモード切替スイッチ５２であると判断される場合（Ｓ１８：ＮＯ、Ｓ２０：ＹＥＳ）、表示処理部５３はステップＳ２１においてロボット制御装置５０の現在の運転モードを示すメッセージ３５１と運転モードを切り替えるための選択メニュー３５２とを映像に重畳表示する（図１３）。図１３において、符号２０９は、ロボット制御装置５０を含む映像に、メッセージ３５１と選択メニュー３５２とが文字情報として重畳表示されたディスプレイ９４上の表示画面を表している。装着者が視線によりＴ１モード又はＴ２モードのいずれかを選択した場合、ロボット制御装置５０は運転モードを、選択されたモードに切り替える。

装着者がロボット制御装置５０上の任意箇所を注視し（Ｓ１６：ＹＥＳ）ロボット１０が停止中である場合（Ｓ１７：ＮＯ）、表示処理部５３は動作プログラムの実行状態を表す情報３６１及びプログラムの一時停止又は再開を選択するための選択メニュー３６２を映像に重畳表示する（ステップＳ２３；図１４）。図１４において、符号２１０は、ロボット制御装置５０を含む映像に、動作プログラムの状態を表す情報３６１及び選択メニュー３６２が文字情報として重畳表示されたディスプレイ９４上の表示画面を表している。選択メニュー３６２上で装着者が視線により「ＹＥＳ」を選択した場合、ロボット制御装置５０は動作プログラムを一時停止させる。

次に、ステップＳ８（図４）において選択メニュー３０２の「ＹＥＳ」が選択され、又は、ステップＳ６（図７）において選択メニュー３２２の「変更」が選択されることにより実行されるツール座標系設定処理について図１５－１６を参照して説明する。ツール座標系設定処理は、ロボット制御装置５０が有するツール座標系設定部５４により実行される。ここで、ツール座標系設定処理とは、ロボット１０のアーム先端のフランジ座標系に対し所定の関係を有するツール座標系を設定する処理である。図１５に示されるように、ツール先端を複数の方向から見た装着者の視線の交点によってツール先端の位置を推定する。一例として、図１５に示すように、装着者に２つの位置からツール先端を注視してもらい、そのときの２つの視線方向Ｅ１、Ｅ２の交点によりツール先端の位置を求める。

図１６は、ツール先端位置を求める具体的な方法を説明するための図である。フランジ座標系をΣＦ、ロボット１０のベース座標系をΣＲと定義する。ΣＦとΣＲの関係はロボット１０の現在位置から既知である。ここでは、フランジ座標系ΣＦ上でのツール先端の座標（ｘ，ｙ，ｚ）を求める。装着者が２つの異なる位置からツール先端を注視した場合の頭部の位置及び姿勢を表す頭部座標系をそれぞれΣＨ、ΣＨ’と定義する。ΣＨ、ΣＨ’は映像表示装置９０に固定された座標系を用いても良い。頭部座標系ΣＨ、ΣＨ’は、映像表示装置９０に加速度センサ及びジャイロセンサを搭載して求める方法、ＡＲマーカ用いて測定する方法等、当分野で知られた各種位置検出方法を用いることができる。以上により、ΣＲ、ΣＦ、ΣＨ、ΣＨ’相互の変換は既知となる。次に視線追跡部９２によって計測された２つの視線方向Ｅ１、Ｅ２の始点をそれぞれΣＨ、ΣＨ’の原点に設定し、視線方向Ｅ１、Ｅ２のフランジ座標系ΣＦ上に定義される任意の平面（例えば、ＸＹ平面）との交点をそれぞれ点Ｐ、Ｐ’とする。この場合、ツール先端の座標（ｘ，ｙ，ｚ）は、線分ＯＰと線分Ｏ’Ｐ’の交点Ｍ、或いは線分ＯＰと線分Ｏ’Ｐ’の間の距離が最小になる点として求めることができる。これにより、フランジ座標系に対して所定の関係を有するツール座標系を設定することができる。例えば、ツール座標系の原点をツール先端に設定しても良い。

ステップＳ６－Ｓ８、Ｓ１０、Ｓ１１、Ｓ１３、Ｓ１５、Ｓ１９、Ｓ２０（ＮＯ）、Ｓ２１、Ｓ２３の後、情報表示処理は終了する。なお、これらのステップの後に処理をステップＳ１に戻して処理を継続するようにしても良い。

以上説明したように、上記実施形態によれば、ユーザは各物体の関心部位を見るのみで当該部位に関する情報の把握、選択又は設定を実行することができる。すなわち、上記実施形態によれば、ユーザがより効率的に所望の情報にアクセスすることが可能となる。

以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

上述の実施形態において、映像表示装置９０は映像取得装置９１により取得された映像を表示するディスプレイ９４を備えるいわゆる密閉型の構成となっているが、映像表示装置９０は透過型のディスプレイを有する構成であっても良い。透過型のディスプレイはハーフミラーで構成され、ディスプレイを装着した装着者の視野に、ロボット制御装置５０から提供される注視対象の情報を合成して表示する。

映像表示装置９０が透過型のディスプレイを有する構成である場合、映像取得装置９１は、映像表示装置９０とは別体の装置としてロボット制御装置５０に接続されても良い。このような構成の場合には、映像表示装置９０に装着者の頭部の位置及び姿勢を検出するセンサ（加速度センサ、ジャイロセンサ等）を設ける。作業空間内の物体の位置は既知である。この場合、注視対象特定部は、映像表示装置９０とロボット１０等の対象物体との相対位置、装着者の頭部の姿勢、視線情報（眼球の向き）を把握することで、対象物体に向かう装着者の視線ベクトルを求め、映像取得装置により取得される映像内で注視対象を特定する。映像取得装置が取得した映像内での対象物体の位置の特定は、画像認識処理により行う手法、映像取得装置と対象物体の相対位置関係を用いて行う手法等が有り得る。

図２に示した各機能ブロックの配置は例示であり、ロボット制御装置５０と映像表示装置９０への機能の配分は図２の例に限られない。例えば、映像内の注視対象に並べて各種情報を重畳させる画像処理を行う画像処理部９３は、ロボット制御装置５０に設けられていても良い。この場合には、各種情報が重畳された映像の信号がロボット制御装置５０から映像表示装置９０に送信される。また、特徴識別部５３は、映像表示装置９０に設けられていても良い。この場合、特徴識別部５３は、ロボット制御装置５０側から取得した又は特徴識別部５３内に保有する物体モデルを用いて、映像内の注視点が物体上のどの特徴部にあるか特定する。

注視対象特定部５１が物体上の注視対象部位を特定する場合に、注視対象特定部５１は装着者の注視点を含む所定の範囲を注視範囲として設定して当該注視範囲に含まれる部位を注視対象部位として特定しても良い。この場合、例えば装着者がロボットのツールの近辺を見ると注視対象部位としてツールが特定されるようになりユーザ利便性を向上させることができる。また、この注視範囲はユーザ設定できるようにしても良い。

図３に示した情報表示処理を実行するプログラムは、コンピュータに読み取り可能な各種記録媒体（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の半導体メモリ、磁気記録媒体、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスク）に記録することができる。

１０ロボット
５０ロボット制御装置
５１注視対象特定部
５２特徴識別部
５３表示処理部
５４ツール座標系設定部
８０情報格納部
８１物体モデル格納部
９０映像表示装置
９１映像取得装置
９２視線追跡装置
９３画像処理部
９４ディスプレイ
１００ロボットシステム

Claims

ロボットと、
前記ロボットを制御するロボット制御装置と、
前記ロボット及び前記ロボット制御装置を含む作業空間の現実の映像を取得する映像取得装置と、
装着者の視線情報を取得する視線追跡部を備えた頭部装着型の映像表示装置とを具備し、
前記ロボット制御装置は、
前記ロボットの制御に用いる情報を、前記作業空間に存在する物体の種類と関連付けて格納する情報格納部と、
前記映像表示装置の装着者が前記作業空間において見ている注視対象を、前記視線情報に基づいて前記映像の中で特定する注視対象特定部と、
特定された前記注視対象に対応する前記物体に関連付けされた前記情報を、前記映像表示装置に、前記装着者が視覚により内容の把握、選択又は設定を実行できる１つの画像の形態で、前記注視対象に並べて表示させる表示処理部とを備え、
前記注視対象特定部が、前記ロボットの手首フランジに取り付けたツールを前記注視対象として特定したときに、前記表示処理部は、前記ツールのツール座標系が設定済か否かに応じて、前記装着者が視覚により、前記ツール座標系の設定状態の把握、及び、前記ツール座標系の新規設定又は変更設定のうち、少なくともいずれかを実行できる前記画像を、前記映像表示装置に表示させる、ロボットシステム。
ロボットと、
前記ロボットを制御するロボット制御装置と、
前記ロボット及び前記ロボット制御装置を含む作業空間の現実の映像を取得する映像取得装置と、
装着者の視線情報を取得する視線追跡部を備えた頭部装着型の映像表示装置とを具備し、
前記ロボット制御装置は、
前記ロボットの制御に用いる情報を、前記作業空間に存在する物体の種類と関連付けて格納する情報格納部と、
前記映像表示装置の装着者が前記作業空間において見ている注視対象を、前記視線情報に基づいて前記映像の中で特定する注視対象特定部と、
特定された前記注視対象に対応する前記物体に関連付けされた前記情報を、前記映像表示装置に、前記装着者が視覚により内容の把握、選択又は設定を実行できる１つの画像の形態で、前記注視対象に並べて表示させる表示処理部とを備え、
前記注視対象特定部が、前記ロボットの手首フランジに取り付けたツールを前記注視対象として特定したときに、前記表示処理部は、前記ツールに応じた負荷が設定済か否かに応じて、前記装着者が視覚により、前記負荷の設定状態の把握、及び、前記負荷の新規設定又は変更設定のうち、少なくともいずれかを実行できる前記画像を、前記映像表示装置に表示させる、ロボットシステム。
前記情報格納部は、前記物体に予め定めた特徴部に対し特徴部固有の前記情報を関連付けて格納し、
前記表示処理部は、前記注視対象に対応する前記特徴部に関連付けされた前記情報を前記映像表示装置に表示させる、請求項１又は２に記載のロボットシステム。
前記ロボット制御装置又は前記映像表示装置は、前記物体をモデル化した物体モデルと前記映像及び前記視線情報とを用いて前記特徴部を識別する特徴識別部を備える、請求項３に記載のロボットシステム。
頭部を第１の位置及び姿勢に配置した前記装着者が前記ツールを見たときに得られる第１の前記視線情報と、頭部を前記第１の位置及び姿勢と異なる第２の位置及び姿勢に配置した前記装着者が前記ツールを見たときに得られる第２の前記視線情報と、前記ロボットのベース座標系と、前記ロボットのフランジ座標系と、前記ベース座標系と前記頭部の前記第１の位置及び姿勢との相対関係と、前記ベース座標系と前記頭部の前記第２の位置及び姿勢との相対関係とに基づいて、前記ツール座標系を設定するツール座標系設定部を更に具備する、請求項１に記載のロボットシステム。
前記注視対象特定部が、前記ロボットの関節部位を前記注視対象として特定したときに、前記表示処理部は、前記装着者が視覚により、前記関節部位の軸位置の把握及び前記関節部位の可動範囲の把握のうち、少なくともいずれかを実行できる前記画像を、前記映像表示装置に表示させる、請求項１から５のいずれか一項に記載のロボットシステム。
前記注視対象特定部が、前記ロボットの進入禁止区域を含む周辺環境の所定箇所を前記注視対象として特定したときに、前記表示処理部は、前記装着者が視覚により前記進入禁止区域の把握を実行できる前記画像を、前記映像表示装置に表示させる、請求項１から６のいずれか一項に記載のロボットシステム。
前記注視対象特定部が、前記ロボット制御装置に設けられた選択スイッチを前記注視対象として特定したときに、前記表示処理部は、前記装着者が視覚により前記選択スイッチの選択を実行できる前記画像を、前記映像表示装置に表示させる、請求項１から７のいずれか一項に記載のロボットシステム。
前記注視対象特定部が、前記ロボット制御装置の任意箇所を前記注視対象として特定したときに、前記表示処理部は、前記装着者が視覚により、前記ロボットの動作プログラムの実行状態の把握及び前記動作プログラムの実行の選択のうち、少なくともいずれかを実行できる前記画像を、前記映像表示装置に表示させる、請求項１から８のいずれか一項に記載のロボットシステム。
前記ロボット制御装置は、前記ロボットが停止中か否かに応じて、前記表示処理部に前記画像の表示処理を行わせる、請求項１から９のいずれか一項に記載のロボットシステム。
前記ロボット制御装置又は前記映像表示装置は、前記情報を前記１つの画像の形態に画像化する画像処理部を備える、請求項１から１０のいずれか一項に記載のロボットシステム。
前記映像表示装置は、前記映像取得装置が取得した前記映像を前記情報と共に表示するディスプレイを備え、前記注視対象特定部は、前記装着者が前記ディスプレイで前記映像として見ている前記注視対象を特定する、請求項１から１１のいずれか一項に記載のロボットシステム。
前記映像表示装置は、前記情報を表示する透過型のディスプレイを備え、前記注視対象特定部は、前記装着者が前記透過型のディスプレイを通して見ている現実の前記注視対象を特定する、請求項１から１１のいずれか一項に記載のロボットシステム。
前記映像取得装置は、前記映像表示装置に搭載されているか、又は前記映像表示装置とは別体に設けられている、請求項１から１３のいずれか一項に記載のロボットシステム。
ロボットを制御するロボット制御装置であって、
前記ロボットの制御に用いる情報を、前記ロボット及び前記ロボット制御装置を含む作業空間に存在する物体の種類と関連付けて格納する情報格納部と、
映像表示装置の装着者が前記作業空間において見ている注視対象を、前記映像表示装置の視線追跡部により取得された前記装着者の視線情報に基づいて、前記作業空間の現実の映像を取得する映像取得装置により取得された前記映像の中で特定する注視対象特定部と、
特定された前記注視対象に対応する前記物体に関連付けされた前記情報を、前記映像表示装置に、前記装着者が視覚により内容の把握、選択又は設定を実行できる１つの画像の形態で、前記注視対象に並べて表示させる表示処理部とを備え、
前記注視対象特定部が、前記ロボットの手首フランジに取り付けたツールを前記注視対象として特定したときに、前記表示処理部は、前記ツールのツール座標系が設定済か否かに応じて、前記装着者が視覚により、前記ツール座標系の設定状態の把握、及び、前記ツール座標系の新規設定又は変更設定のうち、少なくともいずれかを実行できる前記画像を、前記映像表示装置に表示させる、ロボット制御装置。
ロボットを制御するロボット制御装置であって、
前記ロボットの制御に用いる情報を、前記ロボット及び前記ロボット制御装置を含む作業空間に存在する物体の種類と関連付けて格納する情報格納部と、
映像表示装置の装着者が前記作業空間において見ている注視対象を、前記映像表示装置の視線追跡部により取得された前記装着者の視線情報に基づいて、前記作業空間の現実の映像を取得する映像取得装置により取得された前記映像の中で特定する注視対象特定部と、
特定された前記注視対象に対応する前記物体に関連付けされた前記情報を、前記映像表示装置に、前記装着者が視覚により内容の把握、選択又は設定を実行できる１つの画像の形態で、前記注視対象に並べて表示させる表示処理部とを備え、
前記注視対象特定部が、前記ロボットの手首フランジに取り付けたツールを前記注視対象として特定したときに、前記表示処理部は、前記ツールに応じた負荷が設定済か否かに応じて、前記装着者が視覚により、前記負荷の設定状態の把握、及び、前記負荷の新規設定又は変更設定のうち、少なくともいずれかを実行できる前記画像を、前記映像表示装置に表示させる、ロボット制御装置。