JP7324935B2 - ロボット制御システム、ロボット制御方法、およびロボット制御プログラム - Google Patents

Description

本開示の一側面は、ロボット制御システム、ロボット制御方法、およびロボット制御プログラムに関する。

特許文献１には、スレーブロボットに対して操作指令を送信し、該スレーブロボットが動作中に撮像した実画像を受信する遠隔操作装置が記載されている。

特開２０１５－４７６６６号公報

ロボットの操作を支援することが望まれている。

本開示の一側面に係るロボット制御システムは、指令に基づいて動作するロボットの動作に応じて撮影位置が変化するフレーム画像を受信する受信部と、指令を生成する指令生成部と、指令に対するロボットの動作の遅延を表すように、フレーム画像から、指令に応じて部分領域を抽出してオペレーション画像を生成するオペレーション画像生成部とを備える。

本開示の一側面に係るロボット制御方法は、少なくとも一つのプロセッサを備えるロボット制御システムによって実行される表示方法であって、指令に基づいて動作するロボットの動作に応じて撮影範囲が変化するフレーム画像を受信するステップと、指令を生成するステップと、指令に対するロボットの動作の遅延を表すように、フレーム画像から、指令に応じて部分領域を抽出してオペレーション画像を生成するステップとを含む。

本開示の一側面に係るロボット制御プログラムは、指令に基づいて動作するロボットの動作に応じて撮影範囲が変化するフレーム画像を受信するステップと、指令を生成するステップと、指令に対するロボットの動作の遅延を表すように、フレーム画像から、指令に応じて部分領域を抽出してオペレーション画像を生成するステップとをコンピュータに実行させる。

本開示の一側面によれば、ロボットの操作を支援することができる。

ロボット制御システムの適用の一例を示す図である。 ロボット制御システムのために用いられるハードウェア構成の一例を示す図である。 操作装置の機能構成の一例を示す図である。 座標系変換の一例を示す図である。 ロボット制御システムの動作の一例を示すフローチャートである。 オペレーション画像を生成する処理の一例を示す図である。 フレーム画像（第１フレーム画像）の変化の一例を示す図である。 図７に対応する、オペレーション画像の変化の一例を示す図である。

以下、添付図面を参照しながら本開示での実施形態を詳細に説明する。図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。

［システムの構成］
実施形態に係るロボット制御システム１は、ユーザによるロボット２の操作を支援するコンピュータシステムである。ロボット２はその操作に基づいて動作して、加工、組立等の様々な作業を実行する。「ロボットの操作を支援する」とは、ロボット２を操作し易い環境をユーザに提供することをいう。ユーザはロボットを操作する人をいい、したがって、操作者ともいうことができる。

図１はロボット制御システム１の適用の一例を示す図である。一例では、ロボット制御システム１は操作装置１０を備える。操作装置１０は通信ネットワークＮを介してロボット用コンピュータ３と接続される。ロボット用コンピュータ３はロボットコントローラ４と接続され、ロボットコントローラ４はロボット２と接続される。

図１では操作装置１０およびロボット２を一つずつ示す。しかし、操作装置１０およびロボット２の個数はいずれも限定されず、操作装置１０およびロボット２の少なくとも一方が複数個存在してもよい。

一例では、操作装置１０はユーザが存在する操作環境Ｅｕに位置するのに対して、ロボット用コンピュータ３、ロボットコントローラ４、およびロボット２はユーザにとって遠隔に位置する作業環境Ｅｗに位置する。すなわち、操作環境Ｅｕから見ると作業環境Ｅｗは遠隔環境である。或る物が「遠隔に位置する」とは、ユーザが自身の目で確認できない位置にその物が存在することをいう。操作環境Ｅｕと作業環境Ｅｗとの間の距離、すなわちユーザとロボット２との間の距離は何ら限定されない。例えば、作業環境Ｅｗは操作環境Ｅｕからキロメートルのオーダーで離れていてもよい。あるいは、作業環境Ｅｗは操作環境Ｅｕから数メートルのオーダーで離れていてもよく、例えば、操作環境Ｅｕである部屋の隣の空間が作業環境Ｅｗでもよい。

操作環境Ｅｕと作業環境Ｅｗとの間の距離が限定されないことに対応して、通信ネットワークＮの構成も限定されない。例えば、通信ネットワークＮはインターネットおよびイントラネットの少なくとも一方を含んで構成されてもよい。あるいは、通信ネットワークＮは１本の通信ケーブルによって実現される単純な構成であってもよい。

ユーザが作業環境Ｅｗの画像を見ながらロボット２を操作する場合に、ユーザ操作と画像に映るロボット２の動作との間に遅延が発生し得る。すなわち、ユーザ操作に対応するロボット２の動作が、該ユーザ操作よりも少し遅れて画像に映る可能性がある。より具体的には、ユーザ操作によるロボット２への指令と、画像に映るロボット２の動作との間に遅延が発生し得る。本開示において、遅延とは、ロボット２への指令に対して、画像に映る該ロボット２の動作が遅れることをいう。

一例では、遅延は通信ネットワークを介する指令および応答の伝送において生ずる。例えば、ユーザが手元の操作装置１０を用いて指令を入力したとしても、その指令がロボット２に伝わるまでには一定の通信時間を要する。さらに、その指令に対するロボット２の応答に関する情報が作業環境Ｅｗから操作装置１０に伝わるまでにも一定の通信時間を要する。そのため、ユーザは指令に対する応答をすぐに確認することができない。ロボット制御システム１はこの遅延を吸収または軽減して、ロボットの操作をリアルタイムにユーザに直感的に把握させる。ここで、指令とは、ユーザ操作によって入力される命令をいう。応答とは、その指令に対する出力をいう。応答を示す情報の種類は限定されず、例えば、応答はロボット２の動作（位置または姿勢）を示す情報でもよいし、ロボットコントローラ４からロボット２へと出力される命令により示されてもよい。

一例では、遅延の影響は、指令に関する値の積分値と応答に関する値の積分値との差分として表れる。指令に関する値とは、例えば、ユーザ操作に対応する追加の移動ベクトルに関する値、すなわち、移動量または移動速度と移動方向とを示す値である。応答に関する値とは、例えば、ロボットの追加の動作を示す追加の移動ベクトルに関する値、すなわち、移動量または移動速度と移動方向とを示す値である。本開示では、指令に関する値を単に「指令値」ともいい、応答に関する値を単に「応答値」ともいう。

操作装置１０はロボット２を操作するためのコンピュータである。操作装置１０は、ロボット２を操作するための入力インタフェースである操作インタフェースと、作業環境Ｅｗを写す画像を表示可能なモニタとを備える。ユーザはモニタに表示された作業環境Ｅｗを確認しながら操作インタフェースでロボット２を操作することができる。操作装置１０は操作インタフェースから入力されたユーザ操作（指令）を示す指令値をロボット用コンピュータ３に向けて送信する。

ロボット用コンピュータ３は操作装置１０から入力された指令値を解釈して、その指令値に対応する指令信号をロボットコントローラ４に出力するコンピュータである。

ロボットコントローラ４は、ロボット用コンピュータから入力された指令信号に従ってロボット２を制御する装置である。言い換えると、ロボットコントローラ４は、ユーザ操作に応じて操作装置１０から送られてくる指令に基づいてロボット２を制御する。一例では、指令信号はロボット２を制御するためのデータを含み、例えば、ロボット２の軌道を示すパスを含む。ロボット２の軌道とは、ロボット２またはその構成要素の動きの経路のことをいう。例えば、ロボット２の軌道は先端部の軌道であり得る。一例では、ロボットコントローラ４は、指令信号で示される目標値に先端部の位置および姿勢を一致させるための関節角度目標値（ロボット２の各関節の角度目標値）を算出し、その角度目標値に従ってロボット２を制御する。

ロボット２は、人に代わって作業する装置または機械である。一例では、ロボット２は多軸のシリアルリンク型の垂直多関節ロボットである。ロボット２は、マニピュレータ２ａと、該マニピュレータ２ａの先端に取り付けられたツールであるエンドエフェクタ２ｂとを備える。ロボット２はそのエンドエフェクタ２ｂを用いて様々な処理を実行することができる。ロボット２は、所定の範囲内においてエンドエフェクタ２ｂの位置および姿勢を自在に変更し得る。ロボット２は、６軸の垂直多関節ロボットでもよいし、６軸に１軸の冗長軸を追加した７軸の垂直多関節ロボットでもよい。

ロボット２の動作は、該ロボット２に搭載された各種のセンサによってロボット２の応答として記録されて、センサデータとして例えばロボットコントローラ４に出力される。ロボットコントローラ４はロボット２の動作（応答）を示す応答値をそのセンサデータに基づいて算出し、その応答値をロボット用コンピュータ３経由で操作装置１０へと送信する。あるいは、ロボットコントローラ４はロボット２への指令信号を応答値として、ロボット用コンピュータ３経由で操作装置１０へと送信してもよい。ロボット２のセンサからのセンサデータの少なくとも一部は、ロボットコントローラ４を経由することなくロボット用コンピュータ３に出力されてもよい。この場合には、ロボット用コンピュータ３がそのセンサデータに基づいて応答値を算出してもよい。

一例では、作業環境Ｅｗには手先カメラ（第１カメラ）２０および俯瞰カメラ（第２カメラ）３０が設けられる。手先カメラ２０はロボット２上に（例えばロボット２の先端に）配置される撮像装置である。したがって、手先カメラ２０はロボット２の動作に応じて位置および姿勢の少なくとも一方が変化する。手先カメラ２０はエンドエフェクタ２ｂまたはその周辺環境を撮影することができる。一方、俯瞰カメラ３０は、ロボット２の動作とは独立した位置および姿勢を取るように設置される撮像装置である。俯瞰カメラ３０はロボット２に取り付けられるのではなく、ロボット２の動作の影響を受けない場所（例えば、壁面、天井、カメラスタンドなど）に設定される。俯瞰カメラ３０は作業環境Ｅｗを撮影し、例えば、ロボット２の少なくとも一部を撮影する。一例では、手先カメラ２０および俯瞰カメラ３０のそれぞれは、撮影によって生成したフレーム画像をロボット用コンピュータ３に向けて出力し、ロボット用コンピュータ３はそのフレーム画像を操作装置１０に向けて送信する。フレーム画像とは動画像を構成する個々の静止画像をいい、カメラなどの撮像装置によって生成される。本開示では、手先カメラ２０によって生成されるフレーム画像を「第１フレーム画像」ともいい、俯瞰カメラによって生成されるフレーム画像を「第２フレーム画像」ともいう。

操作装置１０またはロボット用コンピュータ３として機能するコンピュータは限定されない。一例では、これらのコンピュータは、パーソナルコンピュータによって構成されてもよいし、業務用サーバなどの大型のコンピュータによって構成されてもよい。

図２は、操作装置１０またはロボット用コンピュータ３のために用いられるコンピュータ１００のハードウェア構成の一例を示す図である。この例では、コンピュータ１００は本体１１０、モニタ１２０、および入力デバイス１３０を備える。

本体１１０は少なくとも一つのコンピュータにより構成される。本体１１０は回路１６０を有し、回路１６０は、少なくとも一つのプロセッサ１６１と、メモリ１６２と、ストレージ１６３と、入出力ポート１６４と、通信ポート１６５とを有する。ストレージ１６３は、本体１１０の各機能モジュールを構成するためのプログラムを記録する。ストレージ１６３は、ハードディスク、不揮発性の半導体メモリ、磁気ディスク、光ディスク等の、コンピュータ読み取り可能な記録媒体である。メモリ１６２は、ストレージ１６３からロードされたプログラム、プロセッサ１６１の演算結果等を一時的に記憶する。プロセッサ１６１は、メモリ１６２と協働してプログラムを実行することで、各機能モジュールを構成する。入出力ポート１６４は、プロセッサ１６１からの指令に応じて、モニタ１２０または入力デバイス１３０との間で電気信号の入出力を行う。入出力ポート１６４はロボットコントローラ４などの他の装置との間で電気信号の入出力を行ってもよい。通信ポート１６５は、プロセッサ１６１からの指令に従って、通信ネットワークＮを介して他の装置との間でデータ通信を行う。

モニタ１２０は、本体１１０から出力された情報を表示するための装置である。モニタ１２０は本開示における表示部の一例である。モニタ１２０は、グラフィック表示が可能であればいかなるものであってもよく、その具体例としては液晶パネル等が挙げられる。入力デバイス１３０は、本体１１０に情報を入力するための装置である。入力デバイス１３０は、所望の情報を入力可能であればいかなるものであってもよく、その具体例としてはキーパッド、マウス、操作コントローラ等の操作インタフェースが挙げられる。

モニタ１２０および入力デバイス１３０はタッチパネルとして一体化されていてもよい。例えばタブレットコンピュータのように、本体１１０、モニタ１２０、および入力デバイス１３０が一体化されていてもよい。

図３は操作装置１０の機能構成の一例を示す図である。一例では、操作装置１０は機能モジュールとして画像受信部１１、指令生成部１２、データ取得部１３、座標変換部１４、および画像生成部１５を備える。画像受信部１１は作業環境Ｅｗからフレーム画像を受信する機能モジュールである。指令生成部１２は操作インタフェースからの入力に従ってロボット２への指令（指令値）を生成する機能モジュールである。データ取得部１３は。ロボット２の操作または動作に関連するデータを操作環境Ｅｕまたは作業環境Ｅｗから取得する機能モジュールである。例えば、データ取得部１３は指令値および応答値を取得する。座標変換部１４はロボット制御に必要な座標系変換を実行する機能モジュールである。画像生成部１５は、モニタ１２０に表示するためのオペレーション画像をフレーム画像から生成する機能モジュールである。オペレーション画像とは、ユーザに視認される画像をいう。画像生成部１５は第１フレーム画像からオペレーション画像を生成してもよいし、第２フレーム画像からオペレーション画像を生成してもよい。本実施形態では、画像生成部１５が第１フレーム画像からオペレーション画像を生成する。

一例では、画像生成部１５はオペレーション画像を生成するための機能モジュールとして、方向情報生成部１６および遅延情報生成部１７を備える。方向情報生成部１６は、第１フレーム画像におけるロボット２の動作方向を示す方向情報を生成する機能モジュールである。遅延情報生成部１７は、ロボット２への指令に対する該ロボット２の動作の遅延を示す遅延情報を生成する機能モジュールである。

［座標系変換］
図４を参照しながら座標系変換について説明する。図４はロボット制御システム１における座標系変換（座標変換）の一例を示す図である。ロボット制御システム１では、操作インタフェース（入力デバイス１３０）から入力される方向に対応するコントローラ座標系Ｃ_ｕと、ロボット２の姿勢に対応するロボット座標系Ｃ_ｒと、エンドエフェクタ２ｂの姿勢に対応するツール座標系Ｃ_ｔと、手先カメラ２０の姿勢に対応する第１カメラ座標系Ｃ_ｃ１と、俯瞰カメラ３０の姿勢に対応する第２カメラ座標系Ｃ_ｃ２とが存在し得る。

座標系変換（言い換えると、座標系間での位置および方向の変換）は行列Ｒによって表すことができる。図４において、行列Ｒ^ｕ→ｃ１はコントローラ座標系Ｃ_ｕから第１カメラ座標系Ｃ_ｃ１への変換を表し_、行列Ｒ^ｃ１→ｕは第１カメラ座標系Ｃ_ｃ１からコントローラ座標系Ｃ_ｕへの変換を表す。行列Ｒ^ｕ→ｒはコントローラ座標系Ｃ_ｕからロボット座標系Ｃ_ｒへの変換を表し_、行列Ｒ^ｒ→ｕはロボット座標系Ｃ_ｒからコントローラ座標系Ｃ_ｕへの変換を表す。行列Ｒ^ｕ→ｃ２はコントローラ座標系Ｃ_ｕから第２カメラ座標系Ｃ_ｃ２への変換を表し_、行列Ｒ^ｃ２→ｕは第２カメラ座標系Ｃ_ｃ２からコントローラ座標系Ｃ_ｕへの変換を表す。行列Ｒ^ｒ→ｔはロボット座標系Ｃ_ｒからツール座標系Ｃ_ｔへの変換を表し_、行列Ｒ^ｔ→ｒはツール座標系Ｃ_ｔからロボット座標系Ｃ_ｒへの変換を表す。行列Ｒ^ｒ→ｃ１はロボット座標系Ｃ_ｒから第１カメラ座標系Ｃ_ｃ１への変換を表し_、行列Ｒ^ｃ１→ｒは第１カメラ座標系Ｃ_ｃ１からロボット座標系Ｃ_ｒへの変換を表す。行列Ｒ^ｒ→ｃ２はロボット座標系Ｃ_ｒから第２カメラ座標系Ｃ_ｃ２への変換を表し_、行列Ｒ^ｃ２→ｒは第２カメラ座標系Ｃ_ｃ２からロボット座標系Ｃ_ｒへの変換を表す。

手先カメラ２０はロボット２上に配置されるので、第１カメラ座標系Ｃ_ｃ１はロボット座標系Ｃ_ｒまたはツール座標系Ｃ_ｔと同一またはほぼ同一と見做すことができる。この場合には、これらの座標系間での変換が省略されてもよい。

ある行列Ｒは別の複数の行列Ｒの組合せによって置き換えることができる。例えば、行列Ｒ^ｕ→ｃ１は、行列Ｒ^ｕ→ｃ２、行列Ｒ^ｃ２→ｒ、および行列Ｒ^ｒ→ｃ１の組合せによって置き換えられる。この置き換えは、Ｒ^ｕ→ｃ１＝Ｒ^ｒ→ｃ１Ｒ^ｃ２→ｒＲ^ｕ→ｃ２で表される。

ユーザ操作は任意の座標系に基づいて行われる可能性がある。例えば、ユーザはオペレーション画像で構成される動画像、または俯瞰カメラ３０により撮影された動画像を見ながらロボット２を操作してもよい。指令生成部１２はその座標系に基づく指令を出力する。この場合には、座標変換部１４は第１カメラ座標系Ｃ_ｃ１または第２カメラ座標系Ｃ_ｃ２からロボット座標系Ｃ_ｒへの変換を実行して、ロボット座標系Ｃ_ｒでの指令を生成し、この変換された指令をロボット用コンピュータ３に向けて送信する。本実施形態では、操作装置１０が座標変換部１４を備えるので、遅延の影響を受けることなく座標系変換を実行することができる。

［ロボット制御方法］
本開示に係るロボット制御方法の一例として、図５を参照しながら、ロボット制御システム１により実行される一連の処理手順の一例を説明する。図５はロボット制御システム１の動作の一例を処理フローＳ１として示すフローチャートである。すなわち、ロボット制御システム１は処理フローＳ１を実行する。処理フローＳ１は、手先カメラ２０から得られる一つの第１フレーム画像を処理して一つのオペレーション画像を生成する処理を示す。手先カメラ２０が時間の経過に伴って次々に第１フレーム画像を生成することに応答して、ロボット制御システム１はそれらの第１フレーム画像を順に処理して一連のオペレーション画像を生成する。したがって、処理フローＳ１は繰り返し実行される。その繰返し処理によって、一連のオペレーション画像から成る動画像が得られる。

ステップＳ１１では、画像受信部１１が第１フレーム画像を受信する。作業環境Ｅｗでは、手先カメラ２０が第１フレーム画像をロボット用コンピュータ３に出力し、ロボット用コンピュータ３が通信ネットワークＮを介してその第１フレーム画像を操作装置１０に向けて送信する。この第１フレーム画像はエンドエフェクタ２ｂの少なくとも一部を写していてもよい。手先カメラ２０はロボット２の動作に応じて位置または姿勢が変化するので、第１フレーム画像の撮影位置もロボット２の動作に応じて変化する。撮影位置とは、第１フレーム画像（手先カメラ２０）によって捕捉および記録される領域の位置または範囲をいう。

ステップＳ１２では、データ取得部１３が指令値および応答値を取得する。データ取得部１３は指令生成部１２によって生成された指令値を取得し、ロボット用コンピュータから送られてくる応答値を受信する。上述したように応答値は限定されず、例えば、応答値はロボット２の動作（位置または姿勢）を示す情報でもよいし、ロボットコントローラ４からロボット２へと出力される指令値でもよい。

ステップＳ１３では、画像生成部１５が、取得されたこれらのデータに基づいてオペレーション画像を生成する。図６を参照しながらその生成処理の一例を説明する。図６はオペレーション画像を生成する処理の一例を示すフローチャートである。

ステップＳ１３１では、座標変換部１４がオペレーション画像を生成するための座標系を設定する。一例では、座標変換部１４は、第１フレーム画像を生成する手先カメラ２０に関連する座標系をオペレーション画像の生成のために設定する。座標変換部１４は手先カメラ２０に関連する座標系として第１カメラ座標系Ｃ_ｃ１を設定してもよい。第１カメラ座標系Ｃ_ｃ１がロボット座標系Ｃ_ｒまたはツール座標系Ｃ_ｔと同一またはほぼ同一と見做すことができる場合には、座標変換部１４はロボット座標系Ｃ_ｒまたはツール座標系Ｃ_ｔを、手先カメラ２０に関連する座標系として設定してもよい。

座標変換部１４は必要に応じて、その設定のために、他の座標系から手先カメラ２０に関連する座標系への変換を実行する。一例として、俯瞰カメラ３０からの動画像（すなわち、一連の第２フレーム画像）に基づくユーザ操作が行われた場合には、座標変換部１４は、指令生成部１２により生成された指令に対応する座標系（例えば、ロボット座標系Ｃ_ｒまたは第２カメラ座標系Ｃ_ｃ２）を、手先カメラ２０に関連する指令に関連する座標系（例えば、第１カメラ座標系Ｃ_ｃ１、ロボット座標系Ｃ_ｒ、またはツール座標系Ｃ_ｔ）に変換してもよい。座標変換部１４は変換された座標系をオペレーション画像の生成のために設定する。

ステップＳ１３２では、方向情報生成部１６が方向情報を生成する。方向情報生成部１６は、座標変換部１４によって設定された座標系に従って、第１フレーム画像におけるロボット２の動作方向を特定し、その動作方向を示す方向情報を生成する。３次元空間におけるロボット２の動作方向を第１フレーム画像上でのロボット２の動作方向に置き換えると、第１フレーム画像上での動作方向は、水平方向、垂直方向、奥行方向、および回転方向のうちの少なくとも一つの方向の組合せによって規定される。例えば、方向情報生成部１６は、少なくとも水平方向と垂直方向とのうちの一つを動作方向として表す方向情報を生成する。あるいは、方向情報生成部１６は、少なくとも奥行方向を動作方向として表す方向情報を生成する。あるいは、方向情報生成部１６は、少なくとも回転方向を動作方向として表す方向情報を生成する。

ステップＳ１３３では、遅延情報生成部１７が遅延情報を生成する。遅延情報生成部１７は指令生成部１２によって生成された指令と、ロボット用コンピュータ３から得られるロボット２の応答とに基づいて遅延情報を生成する。より具体的には、遅延情報生成部１７は指令生成部１２からロボット用コンピュータ３（言い換えると、ロボットコントローラ４）へと出力される指令値と、該指令値に対するロボット２の動作（応答）を示す応答値との差に基づいて遅延情報を生成する。例えば、遅延情報生成部１７はその差を示す遅延情報を生成してもよい。一例では、遅延情報生成部１７は、指令値の積分値と応答値の積分値との差を、指令値と応答値との差として用いてもよい。

ステップＳ１３４では、画像生成部１５が、指令生成部１２により生成された指令に応じて第１フレーム画像から部分領域を抽出する。部分領域は第１フレーム画像の一部の領域をいう。画像生成部１５は座標変換部１４により変換された座標系に応じて、指令に対応する部分領域を設定する。より具体的には、画像生成部１５は、指令に対するロボットの動作の遅延が部分領域によって表されるように、部分領域の位置および寸法の少なくとも一方を設定する。そして、画像生成部１５はその設定に基づいて第１フレーム画像をトリミングして部分領域を抽出する。例えば、画像生成部１５は設定された位置および寸法の少なくとも一方に基づいて、第１フレーム画像の全周領域をトリミングして、残りの領域（内側領域）を部分領域として抽出する。全周領域とは、外縁の全体を含む領域をいう。トリミングにより除去される領域の最大幅が予め設定されていてもよい。除去された領域はオペレーション画像には用いられず、したがってユーザに視認されない。

一例では、画像生成部１５はエンドエフェクタ２ｂの少なくとも一部が部分領域内に映るように（言い換えると、エンドエフェクタ２ｂの少なくとも一部が部分領域に含まれるように）部分領域を抽出する。

ステップＳ１３５では、画像生成部１５が、遅延を表すマークを部分領域上に重畳してオペレーション画像を生成する。本開示において、マークとは、何らかの情報を人に視認させるための表示をいう。「遅延を表すマーク」とは、遅延をユーザに視認させるための表示をいう。一例では、画像生成部１５は基準マークおよび仮想マークを、遅延を表すマークとして部分領域上に重畳する。

基準マークは、フレーム画像（より具体的には第１フレーム画像）に位置が固定され、且つロボット２の基準点を表すマークである。「フレーム画像（第１フレーム画像）に位置が固定される」とは、フレーム画像（第１フレーム画像）における基準マークの位置が予め定められて、且つその位置が変わらないことをいう。「ロボットの基準点」とは、フレーム画像（第１フレーム画像）を通してロボット２を見た場合に、該ロボット２の基準として把握される箇所をいう。すなわち、「ロボットの基準点」とは、フレーム画像（第１フレーム画像）におけるロボットの基準点である。一例では、画像生成部１５は第１フレーム画像の中心を基準マークの位置として設定する。

仮想マークは、オペレーション画像に位置が固定され、且つ遅延を表すためのマークである。「オペレーション画像に位置が固定される」とは、オペレーション画像における仮想マークの位置が予め定められて、且つその位置が変わらないことをいう。一例では、画像生成部１５は部分領域の中心を仮想マークの位置として設定する。あるいは、画像生成部１５はエンドエフェクタ２ｂの作用点に、または該作用点に関連する位置に、仮想マークを設定してもよい。作用点に関連する位置に仮想マークを表示することで、ロボット操作がより容易になる（操作性の向上）。

マークの具体的な表現方法は限定されず、任意の方針で設計されてよい。例えば、マークは点、十字、矢印、またはバー（ｂａｒ）によって表されてもよいし、部分領域に映るエンドエフェクタの陰影（シルエット）によって表現されてもよい。表現方法は基準マークと仮想マークとで同じでもよいし異なってもよい。基準マークおよび仮想マークの間で形状および寸法が同じでもよい。２種類のマークの間で形状および寸法を揃えることで、遅延の有無がより明確に表現されるので、操作性の向上に寄与し得る。

部分領域上での基準マークの位置を設定するために、画像生成部１５は第１フレーム画像に対する部分領域の位置および寸法の少なくとも一方を設定する。この設定は、第１フレーム画像から抽出した部分領域の位置を元の位置からずらす処理か、または該部分領域の寸法を元の寸法から拡大または縮小する処理か、あるいは、位置および寸法の双方を変更する処理である。画像生成部１５は方向情報および遅延情報の少なくとも一つに応じて、第１フレーム画像に対する部分領域の位置および寸法の少なくとも一方を設定する。

方向情報が第１フレーム画像上での水平方向および垂直方向のうちの少なくとも一つを動作方向として示す場合には、画像生成部１５は第１フレーム画像に対して部分領域を該方向情報に応じて平行移動させて、部分領域の位置を設定する。方向情報が第１フレーム画像上での奥行方向を動作方向として示す場合には、画像生成部１５は第１フレーム画像に対して部分領域を該方向情報に応じてスケーリングさせて、部分領域の寸法を設定する。方向情報が第１フレーム画像上での回転方向を動作方向として示す場合には、画像生成部１５は第１フレーム画像に対して部分領域を該方向情報に応じて回転移動させて、部分領域の位置を設定する。

画像生成部１５は、第１フレーム画像に対して部分領域の位置をずらす量（ずらし量）と、第１フレーム画像に対して部分領域の寸法を変更する量（スケーリング量）との少なくとも一方について、遅延情報に応じてその量を設定してもよい。すなわち、画像生成部１５は第１フレーム画像に対する部分領域の位置および寸法の少なくとも一方を遅延情報に応じて設定してもよい。

一例では、画像生成部１５は遅延情報に応じたシフト量に基づいて部分領域の位置または寸法を設定する。具体的には、画像生成部１５は遅延情報で示される差（すなわち、指令値と応答値との差）を第１フレーム画像の画素数に変換する。その変換のための係数をゲインというとすると、画像生成部１５は差と所与のゲインとの積をシフト量として求める。そして、画像生成部１５はそのシフト量に応じて部分領域の位置または寸法を設定する。

あるいは、画像生成部１５はずらし量およびスケーリング量との少なくとも一方について固定値を設定してもよい。例えば画像生成部１５は、フレーム画像から部分領域を抽出する際に除去される領域の最大幅を、ずらし量およびスケーリング量の少なくとも一方として設定してもよい。画像生成部１５は、ずらし量またはスケーリング量がその最大幅よりも大きくなる場合には、ずらし量またはスケーリング量を所与の最大変更量に設定し、そうでない場合には、ずらし量またはスケーリング量をシフト量に応じて設定してもよい。

画像生成部１５は、第１フレーム画像に対して位置または寸法が設定された部分領域上に基準マークおよび仮想マークを重畳する。すなわち、画像生成部１５はその部分領域上に基準マークおよび仮想マークを描画する。画像生成部１５はこの処理によって、遅延を表すようにオペレーション画像を生成する。上述したように基準マークの位置は第１フレーム画像に固定されるので、部分領域上での基準マークの位置は、第１フレーム画像に対する部分領域の位置および寸法の少なくとも一方に応じて変化する。一例では、遅延が大きいほど、第１フレーム画像に対する部分領域のシフト量またはスケーリング量が大きくなる。遅延がない場合には、画像生成部１５は仮想マークと基準マークとが重なるようにこれらのマークを部分領域に重畳する。この場合に仮想マークと基準マークとを完全に一致させることは必須ではなく、例えば、シフト量が０の場合でも二つのマークを視認可能にさせるために、画像生成部１５はその二つのマークの位置を少しずらしたり、一方のマークの形状または寸法を他方のマークの形状または寸法と異ならせたりしてもよい。ここで、「遅延がない場合」とは、ユーザが遅延の影響を知覚しないかまたは該影響を無視できる程度に、指令値と応答値との差分が小さいことをいう。例えば、「遅延がない場合」とは、その差分が０であるかまたは所定の閾値以下であることをいう。

図５に戻って、ステップＳ１４では、画像生成部１５がオペレーション画像をモニタ１２０上に表示する。ユーザはオペレーション画像上のマーク（例えば基準マークおよび仮想マーク）を視認することでこの時点での遅延の程度を把握することができる。

図７および図８を参照しながらオペレーション画像の生成の一例を説明する。図７は第１フレーム画像の変化の一例を示す図である。図８はオペレーション画像の変化の一例を示す図であり、図７に対応する。

図７は、ユーザがエンドエフェクタ２ｂをワークＷに近づけるために、第１フレーム画像における方向Ｒａに沿ってエンドエフェクタ２ｂを動かす場面を示す。より具体的には、ユーザは状況２１０ａにおいてエンドエフェクタ２ｂを方向Ｒａに沿って動かし、状況２１０ｂにおいてその操作を止めるものとする。この操作に対応して、画像受信部１１はまず、状況２１０ａを写す第１フレーム画像２０１を受信し、その後に、共に状況２１０ｂを写す第１フレーム画像２０２および第１フレーム画像２０３をこの順に受信するとする。

図８を参照しながら、第１フレーム画像２０１の処理について説明する。方向情報生成部１６は、座標変換部１４によって設定された座標系に従って、第１フレーム画像２０１におけるロボットの動作方向、すなわち方向Ｒａを示す方向情報を生成する。この例では、方向Ｒａは第１フレーム画像２０１における水平方向および垂直方向の混合であるとする。遅延情報生成部１７はエンドエフェクタ２ｂを方向Ｒａに沿って動かすための指令と、ロボット２の応答とに基づいて遅延情報を生成する。画像生成部１５はその指令に応じて第１フレーム画像２０１から部分領域３０１を抽出する。画像生成部１５は第１フレーム画像２０１に対して部分領域３０１を平行移動させて、第１フレーム画像２０１に対する部分領域３０１の位置を設定する。図８ではその平行移動をベクトル２２１で示す。画像生成部１５はその部分領域３０１上に基準マーク３１０および仮想マーク３２０を重畳して、状況２１０ａを写すオペレーション画像４０１を生成する。図８の例では、画像生成部１５は基準マーク３１０を第１フレーム画像の中心に重畳し、仮想マーク３２０を部分領域の中心に重畳するとする。遅延は基準マーク３１０の位置と仮想マーク３２０の位置との差で表現される。その差は、第１フレーム画像２０１に対する部分領域３０１のずれの方向および大きさ（すなわち、ベクトル２２１）によって表される。

次に、第１フレーム画像２０２の処理について説明する。第１フレーム画像２０１の場合と同様に、方向情報生成部１６は方向Ｒａを示す方向情報を生成し、遅延情報生成部１７は遅延情報を生成する。画像生成部１５はその方向情報および遅延情報に応じて、第１フレーム画像２０２に対する部分領域３０２の位置を設定する。この場合も、画像生成部１５は第１フレーム画像２０２に対して部分領域３０２を平行移動させて、第１フレーム画像２０２に対する部分領域３０２の位置を設定する。画像生成部１５はその部分領域３０２上に基準マーク３１０および仮想マーク３２０を重畳して、状況２１０ｂを写すオペレーション画像４０２を生成する。遅延が小さくなるにつれて基準マーク３１０の位置と仮想マーク３２０の位置との差が小さくなる。図８の例では、その差の減少を、部分領域３０２の平行移動を示すベクトル２２２により示す。

遅延がなくなると（すなわち、指令値と応答値との差分が０になるかまたは所定の閾値以下になると）、基準マーク３１０と仮想マーク３２０とが重なる。図８の例では、画像生成部１５は第１フレーム画像２０３から抽出した部分領域３０３の位置および寸法を結果的に変更しない。したがって、画像生成部１５は基準マーク３１０と仮想マーク３２０とが重なるようにこれらのマークを部分領域３０３上に重畳して、状況２１０ｂを写すオペレーション画像４０３を生成する。

図８に示すように、操作装置１０は基準マーク３１０と仮想マーク３２０との間の位置差をリアルタイムに表示する。したがって、ユーザは遅延の程度をリアルタイムに把握することができ、その結果、ストレスをあまり感じることなくロボット２を操作することができる。

［プログラム］
操作装置１０の各機能モジュールは、プロセッサ１６１またはメモリ１６２の上にロボット制御プログラムを読み込ませてプロセッサ１６１にそのプログラムを実行させることで実現される。ロボット制御プログラムは、操作装置１０の各機能モジュールを実現するためのコードを含む。プロセッサ１６１はロボット制御プログラムに従って入出力ポート１６４または通信ポート１６５を動作させ、メモリ１６２またはストレージ１６３におけるデータの読み出しおよび書き込みを実行する。このような処理により操作装置１０の各機能モジュールが実現される。

ロボット制御プログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどの非一時的な記録媒体に固定的に記録された上で提供されてもよい。あるいは、ロボット制御プログラムは、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。

［効果］
以上説明したように、本開示の一側面に係るロボット制御システムは、指令に基づいて動作するロボットの動作に応じて撮影位置が変化するフレーム画像を受信する受信部と、指令を生成する指令生成部と、指令に対するロボットの動作の遅延を表すように、フレーム画像から、指令に応じて部分領域を抽出してオペレーション画像を生成するオペレーション画像生成部とを備える。

本開示の一側面に係るロボット制御方法は、少なくとも一つのプロセッサを備えるロボット制御システムによって実行される表示方法であって、指令に基づいて動作するロボットの動作に応じて撮影範囲が変化するフレーム画像を受信するステップと、指令を生成するステップと、指令に対するロボットの動作の遅延を表すように、フレーム画像から、指令に応じて部分領域を抽出してオペレーション画像を生成するステップとを含む。

本開示の一側面に係るロボット制御プログラムは、指令に基づいて動作するロボットの動作に応じて撮影範囲が変化するフレーム画像を受信するステップと、指令を生成するステップと、指令に対するロボットの動作の遅延を表すように、フレーム画像から、指令に応じて部分領域を抽出してオペレーション画像を生成するステップとをコンピュータに実行させる。

このような側面においては、フレーム画像の全体ではなくフレーム画像の一部のみをオペレーション画像として用いるので、遅延がフレーム画像に与える影響を吸収または軽減して、ロボットの動きをユーザに直感的に把握させることができる。この仕組みによってロボットの操作を支援することができる。ユーザはそのオペレーション画像を見ながらロボットを正確に操作することができるので、作業効率の向上が期待できる。

他の側面に係るロボット制御システムでは、オペレーション画像生成部は、オペレーション画像に位置が固定され、且つ遅延を表すための仮想マークを、部分領域上に重畳して、オペレーション画像を生成してもよい。この仮想マークによって、ユーザに遅延の程度を直感的に把握させることができるように遅延を表すことができる。

他の側面に係るロボット制御システムでは、オペレーション画像生成部は、フレーム画像に位置が固定され、且つロボットの基準点を表すための基準マークを、部分領域上に重畳して、オペレーション画像を生成してもよい。この基準マークによって、ユーザに遅延の程度を直感的に把握させることができるように遅延を表すことができる。

他の側面に係るロボット制御システムでは、オペレーション画像生成部は、遅延がない場合に仮想マークと基準マークとが重なるように、仮想マーク及び基準マークを部分領域に重畳してもよい。遅延の有無を仮想マークと基準マークとの位置関係によって表すことで、ユーザに遅延の程度を直感的に把握させることができる。

他の側面に係るロボット制御システムでは、指令に基づいて、フレーム画像におけるロボットの動作方向を表す方向情報を生成する方向情報生成部をさらに備え、オペレーション画像生成部は、フレーム画像に対する部分領域の位置および寸法の少なくとも一方を方向情報に応じて設定してもよい。ロボットの動作方向に応じて部分領域を設定することで、遅延とロボットの動作とを関連付けたかたちで遅延が表されるので、ロボットをより容易に操作できる環境をユーザに提供することが可能になる。

他の側面に係るロボット制御システムでは、方向情報生成部は、少なくとも水平方向と垂直方向とのうちの一つを動作方向として表す方向情報を生成し、オペレーション画像生成部は、フレーム画像に対して部分領域を方向情報に応じて平行移動させて、部分領域の位置を設定してもよい。この場合には、水平方向または垂直方向に沿った動きを含むロボットの動作と関連付けて遅延が表されるので、その方向に沿ったロボット操作をより容易にすることが可能になる。

他の側面に係るロボット制御システムでは、方向情報生成部は、少なくとも奥行方向を動作方向として表す方向情報を生成し、オペレーション画像生成部は、フレーム画像に対して部分領域を方向情報に応じてスケーリングさせて、部分領域の寸法を設定してもよい。この場合には、奥行方向に沿った動きを含むロボットの動作と関連付けて遅延が表されるので、その方向に沿ったロボット操作をより容易にすることが可能になる。

他の側面に係るロボット制御システムでは、方向情報生成部は、少なくとも回転方向を動作方向として表す方向情報を生成し、オペレーション画像生成部は、フレーム画像に対して部分領域を方向情報に応じて回転移動させて、部分領域の位置を設定してもよい。この場合には、回転方向に沿った動きを含むロボットの動作と関連付けて遅延が表されるので、その方向に沿ったロボット操作をより容易にすることが可能になる。

他の側面に係るロボット制御システムでは、指令とロボットの応答とに基づいて、遅延に対応する遅延情報を生成する遅延情報生成部を更に備え、オペレーション画像生成部は、フレーム画像に対する部分領域の位置および寸法の少なくとも一方を遅延情報に応じて設定してもよい。指令とロボットの応答とに基づいて部分領域を設定することで、遅延の程度に応じたオペレーション画像が生成される。このオペレーション画像によってロボット操作をより容易にすることができる。

他の側面に係るロボット制御システムでは、遅延情報生成部は、指令およびロボットの応答として、ロボットを制御するロボットコントローラに対して指令生成部が出力した指令値と、該指令値によるロボットの動作を示す応答値との差に基づいて遅延情報を生成し、オペレーション画像生成部は、遅延情報に応じたシフト量に基づいて部分領域の位置または寸法を設定してもよい。そのシフト量に応じて部分領域を設定することで、遅延の程度が反映されたオペレーション画像が生成される。このオペレーション画像によってロボット操作をより容易にすることができる。

他の側面に係るロボット制御システムでは、指令に基づいてロボットを制御するロボットコントローラと、ロボットコントローラと通信ネットワークを介して接続され、受信部、指令生成部、オペレーション画像生成部、および、オペレーション画像を表示する表示部を有する操作装置とを更に備え、指令生成部は、ユーザ操作に応じて指令を生成してもよい。この構成によって、ロボットの遠隔操作で発生する遅延の影響を吸収または軽減して、遠隔に位置するロボットの動きをユーザに直感的に把握させることができる。

他の側面に係るロボット制御システムでは、ロボットの動作に応じて位置および姿勢の少なくとも一方が変化するようにロボットの先端側に配置され、第１フレーム画像を生成する第１カメラと、ロボットの動作とは独立した位置および姿勢において、少なくともロボットの一部を写す第２フレーム画像を生成する第２カメラと、第２フレーム画像に基づくユーザ操作が行われた場合に、指令生成部により生成された指令に対応する座標系を、第１カメラに関連する指令に対応する座標系に変換する座標変換部とを更に備え、オペレーション画像生成部は、座標変換部により変換された座標系に応じて部分領域を設定してもよい。この構成により、ロボットの動作とは独立したカメラからの画像に応じた操作が行われる場合でも、座標系の違いを吸収してオペレーション画像が生成される。したがって、その場合でもロボットの動きをユーザに直感的に把握させることができる。

他の側面に係るロボット制御システムでは、ロボットはエンドエフェクタを備え、フレーム画像はエンドエフェクタを写し、オペレーション画像生成部は、エンドエフェクタが含まれるように部分領域を抽出してもよい。オペレーション画像が常にエンドエフェクタを写すので、ユーザはより容易にロボット操作を操作することができる。

［変形例］
以上、本開示の実施形態に基づいて詳細に説明した。しかし、本開示は上記実施形態に限定されるものではない。本開示は、その要旨を逸脱しない範囲で様々な変形が可能である。

上記実施形態では操作装置１０が座標変換部１４を備えるが、少なくとも一部の座標系変換が他の装置により実行されてもよい。例えば、ロボット用コンピュータ３またはロボットコントローラ４が少なくとも一部の座標系変換を実行してもよい。

ロボット用コンピュータ３は必須の構成要素ではなく、この場合には、ロボットコントローラ４、手先カメラ２０、および俯瞰カメラ３０のそれぞれが通信ネットワークＮを介して操作装置１０とより直接的に接続されてもよい。

システムのハードウェア構成は、プログラムの実行により各機能モジュールを実現する態様に限定されない。例えば、上記実施形態における機能モジュールの少なくとも一部が、その機能に特化した論理回路により構成されていてもよいし、該論理回路を集積したＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により構成されてもよい。

少なくとも一つのプロセッサにより実行される方法の処理手順は上記実施形態での例に限定されない。例えば、上述したステップ（処理）の一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの任意の２以上のステップが組み合わされてもよいし、ステップの一部が修正または削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。

コンピュータシステムまたはコンピュータ内で二つの数値の大小関係を比較する際には、「以上」および「よりも大きい」という二つの基準のどちらを用いてもよく、「以下」および「未満」という二つの基準のうちのどちらを用いてもよい。このような基準の選択は、二つの数値の大小関係を比較する処理についての技術的意義を変更するものではない。

１…ロボット制御システム、２…ロボット、２ｂ…エンドエフェクタ、３…ロボット用コンピュータ、４…ロボットコントローラ、１０…操作装置、１１…画像受信部、１２…指令生成部、１３…データ取得部、１４…座標変換部、１５…画像生成部、１６…方向情報生成部、１７…遅延情報生成部、２０…手先カメラ、３０…俯瞰カメラ、２０１～２０３…第１フレーム画像、３０１～３０３…部分領域、３１０…基準マーク、３２０…仮想マーク、４０１～４０３…オペレーション画像、Ｎ…通信ネットワーク。

Claims (13)

1. 指令に基づいて動作するロボットの動作に応じて撮影位置が変化するフレーム画像を受信する受信部と、
   前記指令を生成する指令生成部と、
   前記指令に対する前記ロボットの動作の遅延を表すように、前記フレーム画像から、前記指令に応じて部分領域を抽出してオペレーション画像を生成するオペレーション画像生成部と、
   を備え、
   前記オペレーション画像生成部は、前記オペレーション画像に位置が固定され、且つ前記遅延を表すための仮想マークと、前記フレーム画像に位置が固定され、且つ前記ロボットの基準点を表すための基準マークとを、前記部分領域上に重畳して、前記オペレーション画像を生成する、
   ロボット制御システム。
2. 前記オペレーション画像生成部は、前記遅延がない場合に前記仮想マークと前記基準マークとが重なるように、前記仮想マーク及び前記基準マークを前記部分領域に重畳する、
   請求項１に記載のロボット制御システム。
3. 前記指令に基づいて、前記フレーム画像における前記ロボットの動作方向を表す方向情報を生成する方向情報生成部をさらに備え、
   前記オペレーション画像生成部は、前記フレーム画像に対する前記部分領域の位置および寸法の少なくとも一方を前記方向情報に応じて設定する、
   請求項１または２に記載のロボット制御システム。
4. 前記方向情報生成部は、少なくとも水平方向と垂直方向とのうちの一つを前記動作方向として表す前記方向情報を生成し、
   前記オペレーション画像生成部は、前記フレーム画像に対して前記部分領域を前記方向情報に応じて平行移動させて、前記部分領域の位置を設定する、
   請求項３に記載のロボット制御システム。
5. 前記方向情報生成部は、少なくとも奥行方向を前記動作方向として表す前記方向情報を生成し、
   前記オペレーション画像生成部は、前記フレーム画像に対して前記部分領域を前記方向情報に応じてスケーリングさせて、前記部分領域の寸法を設定する、
   請求項３または４に記載のロボット制御システム。
6. 前記方向情報生成部は、少なくとも回転方向を前記動作方向として表す前記方向情報を生成し、
   前記オペレーション画像生成部は、前記フレーム画像に対して前記部分領域を前記方向情報に応じて回転移動させて、前記部分領域の位置を設定する、
   請求項３～５のいずれか一項に記載のロボット制御システム。
7. 前記指令と前記ロボットの応答とに基づいて、前記遅延に対応する遅延情報を生成する遅延情報生成部を更に備え、
   前記オペレーション画像生成部は、前記フレーム画像に対する前記部分領域の位置および寸法の少なくとも一方を前記遅延情報に応じて設定する、
   請求項１～６のいずれか一項に記載のロボット制御システム。
8. 前記遅延情報生成部は、前記指令および前記ロボットの応答として、前記ロボットを制御するロボットコントローラに対して前記指令生成部が出力した指令値と、該指令値による前記ロボットの動作を示す応答値との差に基づいて前記遅延情報を生成し、
   前記オペレーション画像生成部は、前記遅延情報に応じたシフト量に基づいて前記部分領域の位置または寸法を設定する、
   請求項７に記載のロボット制御システム。
9. 前記指令に基づいて前記ロボットを制御するロボットコントローラと、
   前記ロボットコントローラと通信ネットワークを介して接続され、前記受信部、前記指令生成部、前記オペレーション画像生成部、および、前記オペレーション画像を表示する表示部を有する操作装置と、
   を更に備え、
   前記指令生成部は、ユーザ操作に応じて前記指令を生成する、
   請求項１～８のいずれか一項に記載のロボット制御システム。
10. 前記ロボットの動作に応じて位置および姿勢の少なくとも一方が変化するように前記ロボットの先端側に配置され、第１フレーム画像を生成する第１カメラと、
    前記ロボットの動作とは独立した位置および姿勢において、少なくとも前記ロボットの一部を写す第２フレーム画像を生成する第２カメラと、
    前記第２フレーム画像に基づくユーザ操作が行われた場合に、前記指令生成部により生成された指令に対応する座標系を、前記第１カメラに関連する指令に対応する座標系に変換する座標変換部と、
    を更に備え、
    前記オペレーション画像生成部は、前記座標変換部により変換された座標系に応じて前記部分領域を設定する、
    請求項１～９のいずれか一項に記載のロボット制御システム。
11. 前記ロボットはエンドエフェクタを備え、
    前記フレーム画像は前記エンドエフェクタを写し、
    前記オペレーション画像生成部は、前記エンドエフェクタが含まれるように前記部分領域を抽出する、
    請求項１～１０のいずれか一項に記載のロボット制御システム。
12. 少なくとも一つのプロセッサを備えるロボット制御システムによって実行される表示方法であって、
    指令に基づいて動作するロボットの動作に応じて撮影範囲が変化するフレーム画像を受信するステップと、
    前記指令を生成するステップと、
    前記指令に対する前記ロボットの動作の遅延を表すように、前記フレーム画像から、前記指令に応じて部分領域を抽出してオペレーション画像を生成するステップと、
    を含み、
    前記オペレーション画像を生成する前記ステップでは、前記オペレーション画像に位置が固定され、且つ前記遅延を表すための仮想マークと、前記フレーム画像に位置が固定され、且つ前記ロボットの基準点を表すための基準マークとを、前記部分領域上に重畳して、前記オペレーション画像を生成する、
    ロボット制御方法。
13. 指令に基づいて動作するロボットの動作に応じて撮影範囲が変化するフレーム画像を受信するステップと、
    前記指令を生成するステップと、
    前記指令に対する前記ロボットの動作の遅延を表すように、前記フレーム画像から、前記指令に応じて部分領域を抽出してオペレーション画像を生成するステップと、
    をコンピュータに実行させ、
    前記オペレーション画像を生成する前記ステップでは、前記オペレーション画像に位置が固定され、且つ前記遅延を表すための仮想マークと、前記フレーム画像に位置が固定され、且つ前記ロボットの基準点を表すための基準マークとを、前記部分領域上に重畳して、前記オペレーション画像を生成する、
    ロボット制御プログラム。

Images