WO2022209924A1

WO2022209924A1 - ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム

Info

Publication number: WO2022209924A1
Application number: PCT/JP2022/012089
Authority: WO
Inventors: 智樹渡部; 了水谷; 健知久; 屹立董; 智大茶木; 七海塚本; 直希細見; アニルドレッディコンダパッレィ; 孝英吉池; クリスチャンゲーリック; ディルクルイケン; ブラムボルダー; マティアスフランツィアス; ジーモンマンシッツ
Original assignee: 本田技研工業株式会社
Priority date: 2021-03-31
Filing date: 2022-03-16
Publication date: 2022-10-06
Also published as: EP4316747A1

Abstract

第１の発明では、ロボットを操作者が遠隔操作するにあたり、操作者状態情報に基づいて操作者がロボットに行わせようとしている動作意図を推定し、推定された動作意図に基づいた物体の把持方法を決定する、ロボット遠隔操作制御装置が提供される。　第２の発明では、ロボットを操作者が遠隔操作するにあたり、ロボット環境センサ値と操作者センサ値とに基づいて操作者の動作を推定し、推定された操作者の動作に基づいて、操作者の動作のうち一部の自由度に関する指令を適切な制御指令で置き換え、操作者の動作の自由度を減らして制御指令を生成する、ロボット遠隔操作制御装置が提供される。　第３の発明では、ロボットを操作者が遠隔操作するにあたり、ロボットの動作環境の情報と操作状況の情報とに基づいてロボットの動作状況を推定し、操作状況の情報に基づいてロボットの効果器を動作させる制御指令を生成してロボットを駆動制御する際に、動作状況に対応する制御特性に関する特性パラメータに基づいて制御指令を定める、ロボット遠隔操作のための制御装置が提供される。　第４の発明では、ロボットを操作者が遠隔操作するにあたり、ロボットの動作情報と、操作状況の情報と、に基づいて、現時刻から所定の予測時間後の予測時刻までのロボットの効果器の予測軌道を定め、予測軌道に基づいて制御指令を生成する、ロボット遠隔操作のための制御装置が提供される。

Description

ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム

　本発明は、ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムに関する。
　本願は、２０２１年３月３１日に出願された日本国特願２０２１－０５８９５２号、２０２１年３月３１日に出願された日本国特願２０２１－０６１１３７号、２０２１年３月３１日に出願された日本国特願２０２１－０６０９１４号及び
２０２１年３月３１日に出願された日本国特願２０２１－０６０９０４号に基づき優先権を主張し、その内容をここに援用する。

　利用者がロボットの操作を補助することができる制御装置が提案されている。このような制御装置として、例えば、ロボットを操作する第１ユーザーの姿勢を示す第１ユーザー姿勢情報を取得する第１情報取得部と、第１ユーザー姿勢情報に基づいてロボットの姿勢を変化させる前のロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得する第２情報取得部と、変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をロボットがしている時点で第１情報取得部が取得した第１ユーザー姿勢情報とに基づいて、第１ユーザーの姿勢と異なる標的姿勢をロボットの姿勢に決定する決定部と、を有する制御装置が提案されている（特許文献１参照）。

　特許文献１に記載のシステムでは、操作者が装着した装置によって検出した姿勢に対応する姿勢にロボットの姿勢を変化させる。

　なお、遠隔操縦ロボットを用いて多様な作業を行うためには、３次元空間上の６自由度手先目標（位置・姿勢）を正確に指示・制御する必要がある。例えば、ロボットにペットボトルの鉛直方向がテーブルに対して垂直ではない状態でペットボトルの蓋を開けさせる場合、遠隔操作を行う操作者は、把持部をペットボトルの鉛直方向の傾きに合わせつつ蓋を回すように指示する。

　また、従来から、操作者の動作を受け付け、受け付けた動作に従ってロボットを制御するロボットシステムが提案されている。例えば、特許文献１に記載のロボットシステムは、ロボットを操作する第１ユーザの姿勢を示す第１ユーザ姿勢情報を取得し、第１ユーザ姿勢情報に基づいてロボットの姿勢を変化させる前の変化前姿勢を示す変化前姿勢情報を取得する。当該ロボットシステムは、変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をロボットがしている時点で、第１ユーザ姿勢情報に基づいて、第１ユーザの姿勢とは異なる標的姿勢をロボットの姿勢に決定する。

　また、特許文献１に記載のロボットは、複数の関節からなるロボットアームを備える。操作者は三次元空間上の標的姿勢に従ってロボットアームを移動させたいと考えることがある。その場合、特許文献１に記載のロボットシステムは、逆運動学計算を行って、ロボットアームを構成する各関節の目標角度やトルクなどの個別の制御値を求めて、その動作を制御する。

　また、特許文献１に記載のロボットシステムは、ユーザ装置からネットワークを介して第１ユーザ姿勢情報の基礎とするユーザ情報を取得する。

特許第６４７６３５８号

　しかしながら、従来技術では、ロボットに所定の作業を行わせる場合、ロボットの操作に習熟した利用者と比較してロボットの操作に習熟していない利用者が、高い精度で当該作業をロボットに行わせることが困難な場合があった。

　また、従来技術では、遠隔操縦ロボットを用いて多様な作業を実現するには、操作者が遠隔地のロボットと物体の状況を正確に把握すると同時に、高度な操作技術が求められるため、実行可能な作業は限定的かつその効率は低下する。
　このため、従来技術では、遠隔操作時に、操作者が空間上の６自由度（位置・姿勢）目標値を決定・正確に制御し、作業を行うことが困難であった。

　また、制御目標への追従性を高めることと、制御目標に対する柔軟性または逆運動学計算の解の安定性とは相反（トレードオフ）関係がある。逆運動学計算によればロボット全体としての制御目標に対して、解となる制御値が存在するとは限らないし、複数の解が存在することもありうる。また、解が存在していたとしても、その解が安定しているとは限らない。他方、ロボットには、操作により様々なタスクが指示される。一般に、タスクに応じて期待される動作について、柔軟性、円滑性、追従性などの動作特性間のバランスが解の安定性との関係で異なりうる。例えば、追従性と柔軟性、円滑性など他の動作特性とのバランスを事前に設定しておくと、追従性を要しないにも関わらず、追従性が得られる代わりに、たとえ安定した解となる動作が得られたとしても、柔軟性、円滑性などの動作特性が犠牲になることがあった。逆に、動作の柔軟性が得られる代わりに、追従性などの動作特性が失われる場合もあった。このことは、あらゆるタスクに適した設定が困難なことを示す。このように、操作により期待される動作が得られないことは、ロボットを用いた作業効率を低下させる要因となりうる。

　また、ロボットシステムにおいて、操作者の動作に対して遅滞なくロボットに追従させることは、作業の効率化および負担の軽減を図るために重要である。しかしながら、操作者の動作に基づくロボットの制御や動作情報の通信において、遅延を完全に取り除くことはできない。他方、ロボットの動作の遅延（追従遅れ）は、操作者に違和感を与え、作業速度の低下や作業の失敗となる要因となり、作業効率の低下を招く。

　本発明に係る態様は、上記の問題点に鑑みてなされたものであって、ロボットの操作に習熟していない利用者であっても、高い精度でロボットに作業を行わせることができるロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムを提供することを目的の一つとする。

　本発明に係る態様は、上記の問題点に鑑みてなされたものであって、操作者が作業を行うことが容易となるロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムを提供することを目的の一つとする。

　本発明に係る態様は、上記の点に鑑みてなされたものであり、作業効率を向上できる制御装置、ロボットシステム、制御方法、および、プログラムを提供することを目的の一つとする。

　本発明に係る態様は、上記の点に鑑みてなされたものであり、操作感を向上することができる制御装置、ロボットシステム、制御方法、および、プログラムを提供することを目的の一つとする。

　上記課題を解決するために、本発明は以下の態様を採用した。
　（１）本発明の一態様に係るロボット遠隔操作制御装置は、物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、前記ロボットを操作する操作者の状態の操作者状態情報を取得する情報取得部と、前記操作者状態情報に基づき前記操作者が前記ロボットに行わせようとしている動作意図を推定する意図推定部と、前記推定された前記操作者の動作意図に基づいた前記物体の把持方法を決定する把持方法決定部と、を備える。

　（２）上記態様（１）において、前記意図推定部は、操作者状態情報に基づき前記操作者の姿勢を分類することで、前記ロボットの姿勢の分類を決定して前記操作者の動作意図を推定するようにしてもよい。

　（３）上記態様（１）において、前記意図推定部は、前記操作者状態情報に基づき、把持させたい物体の持ち方および前記把持させたい物体のうちの少なくとも１つを推定することで、前記操作者の動作意図を推定するようにしてもよい。

　（４）上記態様（１）において、前記意図推定部は、前記操作者状態情報に基づき、把持させたい物体の把持の仕方を推定し、推定した前記把持させたい物体の把持の仕方に基づいて前記把持させたい物体を推定することで、前記操作者の動作意図を推定するようにしてもよい。

　（５）上記態様（１）において、前記意図推定部は、前記操作者状態情報に基づき、把持させたい物体の把持の仕方を推定し、推定した前記把持させたい物体の把持の仕方に基づいて前記把持させたい物体を推定することで、前記操作者の動作意図を推定するようにしてもよい。

　（６）上記態様（１）から（５）のうちのいずれか１つにおいて、前記操作者状態情報は、前記操作者の視線情報、前記操作者の腕部の動き情報、および前記操作者の頭部の動き情報のうちの少なくとも１つであるようにしてもよい。

　（７）上記態様（１）から（６）のうちのいずれか１つにおいて、前記情報取得部は、前記物体の位置情報を取得し、前記把持方法決定部は、取得された前記物体の位置情報も用いて把持したい物体を推定するようにしてもよい。

　（８）上記態様（１）から（７）のうちのいずれか１つにおいて、前記把持方法決定部は、前記ロボットが備える把持部の位置情報を取得し、操作者状態情報に基づき前記把持部の位置情報を補正するようにしてもよい。

　（９）上記態様（８）において、ロボット状態画像作成部、をさらに備え、前記意図推定部は、撮影装置が撮影した画像に基づく前記物体に関する情報を取得し、前記ロボット状態画像作成部は、前記物体に関する情報と、前記把持部の位置情報と、前記操作者状態情報と、補正した前記把持部の位置情報とに基づいて、前記操作者に提供する画像を生成するようにしてもよい。

　（１０）本発明の一態様に係るロボット遠隔操作制御システムは、前記物体を把持する把持部と、前記把持部の位置情報を検出する検出部と、を備えるロボットと、上記態様（１）から（９）のうちのいずれか１つの前記ロボット遠隔操作制御装置と、前記物体の位置情報を検出する環境センサと、前記ロボットを操作する操作者の状態の操作者状態情報を検出するセンサと、を備える。

　（１１）本発明の一態様に係るロボット遠隔操作制御方法は、物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、情報取得部が、前記ロボットを操作する操作者の状態の操作者状態情報を取得し、意図推定部が、前記操作者状態情報に基づき把持させたい物体および把持方法のうちの少なくとも１つを推定し、把持方法決定部が、前記推定結果に基づいた前記物体の把持方法を決定する。

　（１２）本発明の一態様に係るプログラムは、物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、コンピュータに、前記ロボットを操作する操作者の状態の操作者状態情報を取得させ、前記操作者状態情報に基づき把持させたい物体および把持方法のうちの少なくとも１つを推定させ、前記推定結果に基づいた前記物体の把持方法を決定させる。

　（１３）本発明の一態様に係るロボット遠隔操作制御装置は、操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られたロボット環境センサ値と、操作者センサによって得られた前記操作者の動きである操作者センサ値と、に基づいて前記操作者の動作を推定する意図推定部と、推定された前記操作者の動作に基づいて、前記操作者の動作のうち一部の自由度に対して適切な制御指令を生成することで、前記操作者の動作の自由度を減らして制御指令を生成する制御指令生成部と、を備える。

　（１４）上記態様（１３）において、前記制御指令生成部は、前記操作者が制御すべき自由度や制御可能な範囲を制限し、前記操作者による前記ロボットへの動作指示のうち制限した前記自由度に対して動作補助を行うようにしてもよい。

　（１５）上記態様（１３）または（１４）において、前記制御指令生成部は、前記ロボットが備える把持部と、前記操作者による操作対象の対象物体との距離が所定範囲外の場合、前記操作者の動作のうち、前記操作者の動作の自由度を減らさず、前記ロボットが備える把持部と、前記操作者による操作対象の対象物体との距離が所定範囲内の場合、前記操作者の動作のうち、前記操作者の動作の自由度を減らす、前記ロボット環境センサ値は、撮影された画像情報、および深度情報を有するようにしてもよい。

　（１６）上記態様（１３）から（１５）のうちのいずれか１つにおいて、前記意図推定部は、前記ロボット環境センサ値と、前記操作者センサ値とを学習済みの意図推定モデルに入力して前記操作者の動作を推定するようにしてもよい。

　（１７）上記態様（１３）から（１６）のうちのいずれか１つにおいて、前記操作者センサ値は、前記操作者の視線情報、および前記操作者の腕部の姿勢や位置に関する情報である操作者腕部情報のうちの少なくとも１つであるようにしてもよい。

　（１８）上記態様（１３）から（１７）のうちのいずれか１つにおいて、前記ロボット環境センサ値は、撮影された画像情報、および深度情報を有するようにしてもよい。

　（１９）本発明の一態様に係るロボット遠隔操作制御システムは、物体を把持する把持部と、操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、上記（１３）から（１８）のうちのいずれか１つに記載の前記ロボット遠隔操作制御装置と、前記ロボットあるいは前記ロボットの周辺環境に設置され、ロボット環境センサ値を検出する環境センサと、前記操作者の動きを操作者センサ値として検出する操作者センサと、を備える。

　（２０）本発明の一態様に係るロボット遠隔操作制御方法は、操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、意図推定部が、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られたロボット環境センサ値と、操作者センサによって得られた前記操作者の動きである操作者センサ値と、に基づいて前記操作者の動作を推定し、制御指令生成部が、推定された前記操作者の動作に基づいて、前記操作者の動作のうち一部の自由度に対して適切な制御指令を生成することで、前記操作者の動作の自由度を減らして制御指令を生成する。

　（２１）本発明の一態様に係るプログラムは、操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、コンピュータに、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られたロボット環境センサ値と、操作者センサによって得られた前記操作者の動きである操作者センサ値と、に基づいて前記操作者の動作を推定させ、推定された前記操作者の動作に基づいて、前記操作者の動作のうち一部の自由度に対して適切な制御指令を生成させることで、前記操作者の動作の自由度を減らして制御指令を生成させる。

（２２）本発明の一態様に係る制御装置は、少なくともロボットの動作環境を示す環境情報と、操作状況を示す操作情報に基づき、前記ロボットの動作状況を推定する動作状況推定部と、前記操作情報に基づき前記ロボットの効果器を動作させるための制御指令を生成する制御指令生成部と、前記制御指令に基づいて前記ロボットの動作を制御する駆動制御部と、を備え、前記制御指令生成部は、前記動作状況に対応する制御特性に関する特性パラメータに基づいて前記制御指令を定める。

（２３）上記態様（２２）において、前記動作状況推定部は、さらに前記ロボットを操作する操作者の状況を示す操作者情報に基づいて前記動作状況を推定してもよい。

（２４）上記態様（２２）または（２３）において、少なくとも前記操作情報と前記環境情報に基づいて前記効果器の目標位置を推定する目標位置推定部を、さらに備えてもよい。

（２５）上記態様（２４）において、前記制御指令生成部は、前記特性パラメータに基づいて前記効果器を前記目標位置に向けて駆動させる操作量を定め、前記特性パラメータは、前記目標位置への収束判定条件を示す収束判定パラメータを含んでもよい。

（２６）上記態様（２５）において、前記制御指令生成部は、前記効果器を前記目標位置に向けて動作させるための負荷を示す目的関数に基づいて前記操作量を定め、前記目的関数は、複数種類の因子を合成してなる関数であり、前記特性パラメータは、前記因子ごとの重みを含んでもよい。

（２７）上記態様（２５）または（２６）において、前記駆動制御部は、前記特性パラメータに基づいて前記制御指令に基づく目標値と、前記効果器を駆動させる動作機構からの出力値との偏差が低減するように前記操作量を定める前記特性パラメータは、前記偏差の前記操作量に対する利得を含んでもよい。

（２８）本発明の一態様に係るプログラムは、コンピュータに、上記態様（２２）から（２７）のいずれかの制御装置として機能させる。

（２９）本発明の一態様に係るロボットシステムは、上記態様（２２）から（２７）のいずれかの制御装置とロボットを備える。

（３０）本発明の一態様に係る制御方法は、制御装置における制御方法であって、前記制御装置が、少なくともロボットの動作環境を示す環境情報と、操作状況を示す操作情報に基づき、前記ロボットの動作状況を推定する第１ステップと、前記操作情報に基づき前記ロボットの効果器を動作させるための制御指令を生成する第２ステップと、前記制御指令に基づいて前記ロボットの動作を制御する第３ステップと、を実行し、前記第２ステップは、前記動作状況に対応する制御特性に関する特性パラメータに基づいて前記制御指令を定める。

（３１）本発明の一態様に係る制御装置は、複少なくともロボットの動作を示す動作情報と、操作状況を示す操作情報に基づき、現時刻から所定の予測時間後の予測時刻までの前記ロボットの効果器の予測軌道を定める軌道予測部と、前記予測軌道に基づいて制御指令を生成する制御指令生成部と、を備える。

（３２）上記態様（３１）において、少なくとも前記ロボットの動作環境を示す環境情報と、前記操作情報に基づき、前記ロボットの動作状況を推定する動作状況推定部をさらに備え、前記軌道予測部は、前記動作状況に基づいて前記予測時間を定めてもよい。

（３３）上記態様（３２）において、前記予測軌道をなす時刻ごとの前記効果器の目標位置を与える前記ロボットの動作機構の変位の目標値に基づいて前記動作機構に対する操作量を定める駆動制御部を備え、前記動作状況推定部は、
　前記動作状況に基づいて、前記目標値の利得を定めてもよい。

（３４）上記態様（３３）において、前記駆動制御部は、前記効果器の現在位置を与える前記変位の出力値と前記目標値との偏差と第１利得に基づく第１成分と、前記目標値と第２利得に基づく第２成分を合成して前記操作量を定め、前記動作状況推定部は、前記動作状況に基づいて、前記第１利得と前記第２利得を定めてもよい。

（３５）上記態様（３２）から（３４）のいずれかにおいて、前記動作状況推定部は、さらに前記ロボットを操作する操作者の状況を示す操作者情報に基づいて前記動作状況を推定してもよい。

（３６）本発明の一態様に係るプログラムは、コンピュータに、上記態様（３１）から（３４）のいずれかの制御装置として機能させる。

（３７）本発明の一態様に係るロボットシステムは、上記態様（３１）か（３４）のいずれかの制御装置と前記ロボットを備える。

（３８）本発明の一態様に係る制御方法は、制御装置における制御方法であって、少なくともロボットの動作を示す動作情報と、操作状況を示す操作情報に基づき、現時刻から所定の予測時間後の予測時刻までの前記ロボットの効果器の予測軌道を定める第１ステップと、前記予測軌道に基づいて制御指令を生成する第２ステップと、を備える。

　上記態様（１）～（１２）によれば、操作者が正確な位置合わせしなくても対象物体のピックアップを実現することができるので、ロボットの操作に習熟していない利用者であっても、高い精度でロボットに作業を行わせることができる。
　上記態様（２）～（５）によれば、操作者の手や指を含む腕部の動き等によって操作者の動作意図推定を行うことで、精度良く操作者の意図を推定することができる。
　上記態様（８）によれば、ロボットの把持部の実際の位置と操作者の状態に基づいて、把持部の位置情報を補正するので、操作者が正確な位置合わせしなくても対象物体のピックアップを実現することができる。
　上記態様（９）によれば、操作者に補正された把持部の位置情報に基づく画像を提供できるので、操作者がロボットを遠隔操作しやすくなる。

　上記態様（１３）～（２１）によれば、状況に応じて６自由度の一部の制御目標値生成を代替することで、操作者が制御すべき自由度を限定するようにしたので、操作者が作業を行うことが容易となる。

　上記態様（２２）、（２８）、（２９）、（３０）によれば、動作環境と操作状況に基づいて推定される動作状況に応じて、操作情報を用いて効果器の動作が制御される。動作状況に応じて効果器が操作されるので、ロボットによる作業効率が向上する。

　上記態様（２３）によれば、さらに操作者の状況を参照して動作状況が的確に推定される。そのため、ロボットによる作業効率がさらに向上する。

　上記態様（２４）によれば、動作環境と操作状況に基づいて定めた目標位置に向けて効果器が移動するようにロボットの動作が制御される。操作者は、目標位置を正確に指示するための操作を行わずに済むため、ロボットによる作業効率がさらに向上する。

　上記態様（２５）によれば、動作状況に応じて効果器の位置が目標位置に収束したと判定される収束判定条件が定まる。そのため、動作状況に応じて要求または期待される位置の正確性または解の安定性を実現することができる。

　上記態様（２６）によれば、動作状況に応じて効果器の動作に係る負荷の因子に対する重みが定まる。そのため、動作状況に応じて要求または期待される種類の因子が低減されるように動作特性を調整することができる。

　上記態様（２７）によれば、動作状況に応じて目標値と出力値との偏差の操作量に対する利得が調整される。動作状況に応じて効果器を目標位置に動作させる速度を調整できるので、ロボットを用いた作業が効率化する。

　上記態様（３１）、（３６）、（３７）、（３８）によれば、現時刻より後の予測時刻までの効果器の予測軌道に基づいて生成された制御指令に従ってロボットの効果器が駆動されるため、操作がロボットの動作に反映されるまでの遅延が低減または解消される。操作者にとり操作感が向上するため、作業効率の向上と負担軽減を両立することができる。

　上記態様（３２）によれば、ロボットの動作環境と操作状況から推定されるロボットの動作状況に応じて予測時間が定まる。そのため、動作状況に応じて操作感の向上と制御される効果器の位置の正確性のバランスが調整される。

　上記態様（３３）によれば、動作状況に応じて動作機構に対する操作量に対する目標値の寄与が調整される。そのため、動作状況に応じて操作者の操作に対する効果器の動作の感受性が調整される。

　上記態様（３４）によれば、動作状況に応じてフィードバック項とフィードフォワード項とのバランスが調整される。そのため、動作状況に応じて、操作者の操作に対する効果器の動作の感受性と正確性とのバランスが調整される。

　上記態様（３５）によれば、さらに操作者の状況を参照して動作状況が的確に推定される。そのため、ロボットによる作業効率と作業負担の軽減がさらに促進される。

実施形態に係るロボット遠隔操作制御システムの概要と作業の概要を示す図である。実施形態に係るロボット遠隔操作制御システムの構成例を示すブロック図である。ＨＭＤ、コントローラーを操作者が身につけている状態例を示す図である。実施形態に係るロボットとロボット遠隔操作制御装置の処理手順例を示す図である。テーブルの上に３つの物体が置かれていて、操作者がロボットに左手で物体ｏｂｊ３を把持させようとしている状態例を示す図である。実施形態に係るロボット遠隔操作制御装置の処理例のフローチャートである。実施形態に係るＨＭＤに表示されるロボット状態画像例を示す図である。実施形態に係るロボット遠隔操作制御システムの概要と作業の概要を示す図である。実施形態に係るロボット遠隔操作制御システムの構成例を示すブロック図である。ＨＭＤ、コントローラーを操作者が身につけている状態例を示す図である。実施形態に係る意図推定、制御指令生成処理の概要を示す図である。操作者の意図がペットボトルの蓋を開けようとしている場合を示す図である。操作者の意図が箱を掴もうとしている場合を示す図である。実施形態に係る記憶部が記憶する情報例を示す図である。ロボット遠隔操作制御装置の補助による把持位置の手先目標の修正例を示す図である。実施形態に係るロボットとロボット遠隔操作制御装置の処理手順例のフローチャートである。第３の実施形態に係るロボットシステムの構成例を示す概略ブロック図である。第３の実施形態に係る制御装置の一部の機能構成例を示すブロック図である。第３の実施形態に係る制御装置のハードウェア構成例を示す概略ブロック図である。第３の実施形態に係る動作制御処理の一例を示すフローチャートである。第４の実施形態に係るロボットシステムの構成例を示す概略ブロック図である。第４の実施形態に係る制御装置の一部の機能構成例を示すブロック図である。第４の実施形態に係る動作制御処理の一例を示すフローチャートである。

＜第１の実施形態＞
　以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。

　［概要］
　まず、ロボット遠隔操作制御システムで行う作業と処理の概要を説明する。
　図１は、本実施形態に係るロボット遠隔操作制御システム１の概要と作業の概要を示す図である。図１のように、操作者Ｕｓは、例えばＨＭＤ（ヘッドマウントディスプレイ）５とコントローラー６（６ａ、６ｂ）を装着している。作業空間には、環境センサ７ａ、環境センサ７ｂが設置されている。なお、環境センサ７は、ロボット２に取り付けられていてもよい。また、ロボット２は、把持部２２２（２２２ａ、２２２ｂ）を備える。環境センサ７（７ａ、７ｂ）は、後述するように例えばＲＢＧカメラと深度センサを備えている。操作者Ｕｓは、ＨＭＤ５に表示された画像を見ながらコントローラー６を装着している手や指を動かすことで、ロボット２を遠隔操作する。図１の例では、操作者Ｕｓは、ロボット２を遠隔操作して、テーブルＴｂ上にあるペットボトルｏｂｊを把持させる。なお、遠隔操作において、操作者Ｕｓは、ロボット２の動作を直接視認できないが、ロボット２側の映像をＨＭＤ５で間接的に視認できる状態である。本実施形態では、ロボット２が備えるロボット遠隔操作制御装置３が、ロボット２を操作する操作者の状態の情報（操作者状態情報）を取得して、取得した操作者状態情報に基づき把持させたい物体と把持方法を推定し、推定に基づいた物体の把持方法を決定する。

　［ロボット遠隔操作制御システムの構成例］
　次に、ロボット遠隔操作制御システム１の構成例を説明する。
　図２は、本実施形態に係るロボット遠隔操作制御システム１の構成例を示すブロック図である。図２のように、ロボット遠隔操作制御システム１は、ロボット２、ロボット遠隔操作制御装置３、ＨＭＤ５、コントローラー６、および環境センサ７を備える。

　ロボット２は、例えば、制御部２１、駆動部２２、収音部２３、記憶部２５、電源２６、およびセンサ２７を備える。
　ロボット遠隔操作制御装置３は、例えば、情報取得部３１、意図推定部３３、把持方法決定部３４、ロボット状態画像作成部３５、送信部３６、および記憶部３７を備える。

　ＨＭＤ５は、例えば、画像表示部５１、視線検出部５２、センサ５３、制御部５４、および通信部５５を備える。
　コントローラー６は、例えば、センサ６１、制御部６２、通信部６３、およびフィードバック手段６４を備える。

　環境センサ７は、例えば、撮影装置７１、センサ７２、物体位置検出部７３、および通信部７４を備える。

　なお、ロボット遠隔操作制御装置３とＨＭＤ５は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とコントローラー６は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３と環境センサ７は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とロボット２は、例えば、無線または有線のネットワークを介して接続されている。なお、ロボット遠隔操作制御装置３とＨＭＤ５は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とコントローラー６は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３と環境センサ７は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とロボット２は、ネットワークを介さずに直接接続されてもよい。

　［ロボット遠隔操作制御システムの機能例］
　次に、ロボット遠隔操作制御システムの機能例を、図１を参照しつつ説明する。
　ＨＭＤ５は、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。ＨＭＤ５は、操作者の視線の動きや、頭の動き等を検出し、検出した操作者状態情報をロボット遠隔操作制御装置３に送信する。

　画像表示部５１は、制御部５４の制御に応じて、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。

　視線検出部５２は、操作者の視線を検出し、検出した視線情報（操作者センサ値）を制御部５４に出力する。

　センサ５３は、例えば、加速度センサ、ジャイロスコープ等であり、操作者の頭部の動きや傾きを検出し、検出した頭部動作情報（操作者センサ値）を制御部５４に出力する。

　制御部５４は、視線検出部５２が検出した視線情報と、センサ５３が検出した頭部動作情報を、通信部５５を介してロボット遠隔操作制御装置３に送信する。また、制御部５４は、ロボット遠隔操作制御装置３が送信したロボットの状態画像を、画像表示部５１に表示させる。

　通信部５５は、ロボット遠隔操作制御装置３が送信したロボットの状態画像を受信し、受信したロボットの状態画像を制御部５４に出力する。通信部５５は、制御部５４の制御に応じて、視線情報と頭部動作情報をロボット遠隔操作制御装置３に送信する。

　コントローラー６は、例えば、触覚データグローブであり、操作者の手に装着される。コントローラー６は、センサ６１によって方位や各指の動きや手の動きを検出し、検出した操作者状態情報をロボット遠隔操作制御装置３に送信する。

　センサ６１は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。なお、センサ６１は、複数のセンサを備えるセンサ６１は、例えば２つのセンサによって各指の動きをトラッキングする。センサ６１は、方位や各指の動きや手の動き等の操作者の腕部の姿勢や位置に関する情報である操作者腕部情報（操作者センサ値、操作者状態情報）を検出し、検出した操作者腕部情報を制御部６２に出力する。なお、操作者腕部情報には、手先位置・姿勢情報、各指の角度情報、肘の位置・姿勢情報、各部の動きをトラッキングした情報等のヒトの腕部全般におよぶ情報が含まれる。

　制御部６２は、操作者腕部情報を、通信部６３を介してロボット遠隔操作制御装置３に送信する。制御部６２は、フィードバック情報に基づいて、フィードバック手段６４を制御する。

　通信部６３は、制御部６２の制御に応じて、視線情報と操作者腕部情報をロボット遠隔操作制御装置３に送信する。通信部６３は、ロボット遠隔操作制御装置３が送信したフィードバック情報を取得し、取得したフィードバック情報を制御部６２に出力する。

　フィードバック手段６４は、制御部６２の制御に応じて、操作者にフィードバック情報をフィードバックする。フィードバック手段６４は、フィードバック情報に応じて、例えば、ロボット２の把持部２２２に取り付けられている振動を与える手段（不図示）や空気圧を与える手段（不図示）や手の動きを拘束する手段（不図示）や温度を感じさせる手段（不図示）や堅さや柔らかさを感じさせる手段（不図示）等によって操作者に感覚をフィードバックする。

　環境センサ７は、例えばロボット２の作業を撮影、検出できる位置に設置されている。なお、環境センサ７は、ロボット２が備えていてもよく、ロボット２に取り付けられていてもよい。または、環境センサ７は、複数であってもよく、図１のように作業環境に設置され、かつロボット２にも取り付けられていてもよい。環境センサ７は、物体の位置情報（環境センサ値）と、撮影された画像（環境センサ値）と、検出されたセンサ値（環境センサ値）をロボット遠隔操作制御装置３に送信する。なお、環境センサ７は、モーションキャプチャ装置であってもよく、モーションキャプチャによって物体の位置情報を検出するようにしてもよい。または、物体に位置情報送信部を備えるＧＰＳ受信装置（不図示）が取り付けられていてもよい。この場合、ＧＰＳ受信装置は、位置情報をロボット遠隔操作制御装置３へ送信するようにしてもよい。

　撮影装置７１は、例えばＲＧＢカメラである。なお、環境センサ７において、撮影装置７１とセンサ７２の位置関係が既知である。

　センサ７２は、例えば深度センサである。なお、撮影装置７１とセンサ７２は、距離センサであってもよい。

　物体位置検出部７３は、撮影された画像とセンサによって検出された検出結果に基づいて、撮影された画像における対象物体の三次元位置と大きさ形状等を周知の手法で検出する。物体位置検出部７３は、物体位置検出部７３が記憶するパターンマッチングのモデル等を参照して、撮影装置７１が撮影した画像に対して画像処理（エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等）を行って物体の位置を推定する。なお、物体位置検出部７３は、撮影された画像から複数の物体が検出された場合、物体毎に位置を検出する。物体位置検出部７３は、検出した物体位置情報（環境センサ値）と撮影された画像（環境センサ値）と、センサ値（環境センサ値）を、通信部７４を介してロボット遠隔操作制御装置３に送信する。

　通信部７４は、物体位置情報をロボット遠隔操作制御装置３に送信する。通信部７４は、物体位置情報（環境センサ値）と撮影された画像（環境センサ値）と、センサ値（環境センサ値）とを、ロボット遠隔操作制御装置３に送信する。

　ロボット２は、遠隔操作されていない場合、制御部２１の制御に応じて行動が制御される。ロボット２は、遠隔操作されている場合、ロボット遠隔操作制御装置３が生成した把持計画情報に応じて行動が制御される。

　制御部２１は、ロボット遠隔操作制御装置３が出力する把持方法情報に基づいて駆動部２２を制御する。制御部２１は、収音部２３が収音した音響信号に対して音声認識処理（発話区間検出、音源分離、音源定位、雑音抑圧、音源同定等）を行う。制御部２１は、音声認識した結果にロボットに対する動作指示が含まれている場合、音声による動作指示に基づいてロボット２の動作を制御するようにしてもよい。制御部２１は、記憶部２５が記憶する情報に基づいて、環境センサ７が撮影した画像に対して画像処理（エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等）を行う。なお、環境センサ７が送信するデータは、例えば位置情報を有する点群であってもよい。制御部２１は、画像処理によって物体に関する情報（物体情報）を撮影された画像から抽出する。物体情報には、例えば、物体の名称、物体の位置等の情報が含まれている。制御部２１は、記憶部２５が記憶するプログラムと音声認識結果と画像処理結果に基づいて駆動部２２を制御する。制御部２１は、ロボット２の動作状態情報をロボット状態画像作成部３５に出力する。制御部２１は、フィードバック情報を生成して、生成したフィードバック情報を、ロボット遠隔操作制御装置３を介してコントローラー６に送信する。

　駆動部２２は、制御部２１の制御に応じてロボット２の各部（腕、指、足、頭、胴、腰等）を駆動する。駆動部２２は、例えば、アクチュエータ、ギア、人工筋等を備える。

　収音部２３は、例えば複数のマイクロホンを備えるマイクロホンアレイである。収音部２３は、収音した音響信号を制御部２１に出力する。収音部２３は、音声認識処理機能を備えていてもよい。この場合、収音部２３は、音声認識結果を制御部２１に出力する。

　記憶部２５は、例えば、制御部２１が制御に用いるプログラム、閾値等を記憶する。なお、記憶部２５は、記憶部３７が兼ねていてもよい。または、記憶部３７が記憶部２５を兼ねていてもよい。

　電源２６は、ロボット２の各部に電力を供給する。電源２６は、例えば充電式のバッテリや充電回路を備えていてもよい。

　センサ２７は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ、各関節エンコーダ等である。なお、センサ２７は、ロボット２の各関節、頭部等に取り付けられている。センサ２７は、検出した検出結果を、制御部２１、意図推定部３３、把持方法決定部３４、ロボット状態画像作成部３５に出力する。

　情報取得部３１は、ＨＭＤ５から視線情報と頭部動作情報を取得し、コントローラー６から操作者腕部情報を取得し、環境センサ７から環境センサ値（物体位置情報とセンサ値と画像）とを取得し、取得した操作者状態情報を意図推定部３３、ロボット状態画像作成部３５に出力する。

　意図推定部３３は、情報取得部３１が取得した情報に基づいて、操作者の動作意図を推定する。なお、意図推定部３３は、視線情報、操作者腕部情報、および頭部動作情報のうちの少なくとも１つを用いて操作者の動作意図を推定する。なお、意図推定部３３は、環境センサ値も用いて意図推定するようにしてもよい。なお、操作者の動作意図については後述する。

　把持方法決定部３４は、意図推定部３３が推定した動作意図と、センサ２７が検出した検出結果、撮影装置７１が撮影した画像を画像処理した結果に基づいて、物体の把持方法を決定する。把持方法決定部３４は、決定した把持方法情報を制御部２１に出力する。

　ロボット状態画像作成部３５は、撮影装置７１が撮影した画像に対して画像処理（エッジ検出、二値化、特徴量抽出、画像強調、画像抽出、クラスタリング処理等）を行う。ロボット状態画像作成部３５は、把持方法決定部３４が推定した把持方法情報と、画像処理結果と、制御部２１が出力するロボット２の動作状態情報等に基づいて、ロボット２の手の位置や動きを推定し、操作者の手の動きを推定し、推定した結果に基づいてＨＭＤ５に表示させるロボット状態画像を作成する。なお、ロボット状態画像には、ロボット遠隔操作制御装置３が行おうとしている処理に関する情報、エラー情報とのシステムの状態を示すシステム状態情報が含まれていてもよい。

　送信部３６は、ロボット状態画像作成部３５が作成したロボット状態画像を、ＨＭＤ５に送信する。送信部３６は、ロボット２が出力したフィードバック情報を取得し、取得したフィードバック情報をコントローラー６へ送信する。

　記憶部３７は、意図推定部３３が推定の際に用いるテンプレート、推定に用いられる学習済みのモデル等を記憶している。また、記憶部３７は、音声認識結果、画像処理結果、把持方法情報等を一時的に記憶する。記憶部３７は、画像処理のパターンマッチング処理で比較されるモデル画像を記憶する。

　［ＨＭＤ５、コントローラー６を操作者が身につけている状態例］
　次に、ＨＭＤ５、コントローラー６を操作者が身につけている状態例を説明する。
　図３は、ＨＭＤ５、コントローラー６を操作者が身につけている状態例を示す図である。図３の例では、操作者Ｕｓは、左手にコントローラー６ａを装着し、右手にコントローラー６ｂを装着し、頭部にＨＭＤ５を装着している。なお、図３に示したＨＭＤ５、コントローラー６は一例であり、装着方法や形状等は、これに限らない。

　［操作者状態情報］
　次に、情報取得部３１が取得する操作者状態情報について、さらに説明する。
　操作者状態情報は、操作者の状態を表す情報である。操作者状態情報には、操作者の視線情報、操作者の指の動きと位置の情報、操作者の手の動きと位置の情報が含まれている。
　操作者の視線情報は、ＨＭＤ５が検出する。
　操作者の指の動きと位置の情報、操作者の手の動きと位置の情報は、コントローラー６が検出する。

　［意図推定部３３が推定する情報例］
　次に、意図推定部３３が推定する情報例を説明する。
　意図推定部３３は、取得した操作者状態情報に基づいて、操作者の動作意図を推定する。操作者の動作意図とは、例えば、ロボット２に行わせたい作業目的、ロボット２に行わせたい作業内容、時刻毎の手や指の動き等である。意図推定部３３は、コントローラー６の操作者センサ値に基づいて、操作者の腕部の姿勢を分類することで、ロボット２の把持部２２２含むアームの姿勢を分類する。意図推定部３３は、分類結果に基づいて、操作者がロボットに行わせたい動作意図を推定する。意図推定部３３は、例えば、物体の持ち方、把持させたい物体を操作者の動作意図として推定する。作業目的は、例えば、物体の把持、物体の移動等である。作業内容は、例えば、物体を把持して持ち上げる、物体を把持して移動させる等である。

　意図推定部３３は、例えば、グラスプタクソノミー（ＧＲＡＳＰ　Ｔａｘｏｎｏｍｙ）手法（例えば参考文献１参照）によって、操作者の動作意図を推定する。
　本実施形態では、例えばグラスプタクソノミー手法によって操作者あるいはロボット２の姿勢すなわち把持姿勢を分類することで操作者状態を分類して、操作者の動作意図を推定する。意図推定部３３は、例えば、記憶部３７が記憶する学習済みのモデルに操作者状態情報を入力して、操作者の動作意図を推定する。本実施形態では、把持姿勢の分類によって意図推定を行うことで、精度良く操作者の動作意図を推定することができる。なお、把持姿勢の分類には、他の手法を用いてもよい。

　参考文献１；Thomas Feix, Javier Romero,他,“The GRASP Taxonomy of Human Grasp Types” IEEE Transactions on Human-Machine Systems ( Volume: 46, Issue: 1, Feb. 2016),IEEE,p66-77

　また、意図推定部３３は、視線と腕部の動きを用いて統合的に推定するようにしてもよい。この場合、意図推定部３３は、視線情報と、手の動き情報とテーブル上の物体の位置情報とを学習済みのモデルに入力して、操作者の動作意図を推定するようにしてもよい。

　意図推定部３３は、例えば、操作者状態情報に基づいて。まず把持させた物体を推定する。意図推定部３３は、例えば、視線情報に基づいて把持させた物体を推定する。次に、意図推定部３３は、推定した把持させたい物体に基づいて、操作者の手の姿勢を推定する。

　または、意図推定部３３は、例えば、操作者状態情報に基づいて、まず操作者の手の姿勢を推定する。次に、意図推定部３３は、推定した操作者の手の姿勢から、把持したい物体を推定する。例えば、テーブル上に３つの物体が置かれている場合、意図推定部３３は、手の姿勢に基づいて、３つのうちのどの物体が把持候補であるかを推定する。

　また、意図推定部３３は、操作者状態情報と、ロボット２の状態情報とに基づいて、操作者が意図する手先の将来軌道を、事前に推定するようにしてもよい。

　なお、意図推定部３３は、センサ２７が検出した検出結果、環境センサ７が撮影した画像を画像処理した結果等も用いて、把持したい物体と、物体の位置を推定するようにしてもよい。

　また、操作者が操作する環境とロボット動作環境では座標系が異なるため、例えば、ロボット２の起動時に操作者の操作環境とロボット動作環境のキャリブレーションを行うようにしてもよい。

　また、把持の際、ロボット遠隔操作制御装置３は、ロボット２の把持力と、物体と把持部との摩擦力等に基づいて、把持時の把持位置の誤差を考慮して、把持位置を決定するようにしてもよい。

　［ロボット２とロボット遠隔操作制御装置３の処理例］
　次に、ロボット２とロボット遠隔操作制御装置３の処理例を説明する。
　図４は、本実施形態に係るロボット２とロボット遠隔操作制御装置３の処理手順例を示す図である。

　（ステップＳ１）情報取得部３１は、ＨＭＤ５から視線情報（操作者センサ値）と頭部動作情報（操作者センサ値）を取得し、コントローラー６から操作者腕部情報（操作者センサ値）を取得する。

　（ステップＳ２）情報取得部３１は、環境センサ７から環境センサ値を取得する。

　（ステップＳ３）意図推定部３３は、取得した操作者センサ値に基づいて、例えば、作業内容、把持したい物体等を操作者の動作意図として推定する。なお、意図推定部３３は、視線情報、操作者腕部情報、および頭部動作情報のうちの少なくとも１つを用いて操作者の意図を推定する。なお、意図推定部３３は、環境センサ値も用いて操作者の動作意図を推定するようにしてもよい。続けて、把持方法決定部３４は、推定結果に基づいて、ロボット２への遠隔動作指令を計算する。

　（ステップＳ４）制御部２１は、ロボット遠隔操作制御装置３が計算した遠隔動作指令値に基づいて、安定把持のための駆動指令値を計算する。

　（ステップＳ５）制御部２１は、駆動指令値によって駆動部２２を制御してロボット２の把持部等を駆動する。制御部２１は、処理後、ステップＳ１の処理に戻す。

　なお、図４に示した処理手順は一例であり、ロボット２、ロボット遠隔操作制御装置３は、上述した処理を並列に処理してもよい。

　［推定結果、作業情報］
　次に、推定結果、作業情報の一例を図５～図７を用いて説明する。
　図５は、テーブルの上に３つの物体ｏｂｊ１～ｏｂｊ３が置かれていて、操作者がロボット２に左手で物体ｏｂｊ３を把持させようとしている状態例を示す図である。
　このような場合、ロボット遠隔操作制御装置３は、操作者がロボット２に把持させたい物体が、物体ｏｂｊ１～ｏｂｊ３のうちのいずれかであるかを推定する必要がある。なお、ロボット遠隔操作制御装置３は、操作者が右手で把持しようとしているのか、左手で把持しようとしているのかを推定する必要がある。

　ここで、予め操作者の動作意図の推定が必要な理由を説明する。
　遠隔操作の場合、操作者がＨＭＤ５で見ている世界は自分の目で見ている実世界とは異なる。また、操作者がコントローラー６を介して操作指示しても、実際に物体を把持しているのでないので、やはり実世界での状況認識とは異なる。さらに、操作者の指示とロボット２の動作との間には、通信時間や演算時間等によってディレイが発生する。また、操作者とロボットの（主に手の）物理的な構造の違いにより、特に操作者自身が把持可能な指の動きを指令し、ロボットが正確にトレースしたとしても、実際にロボットが把持可能とは限らない。これを解消するために、本実施形態では、操作者の動作意図を推定し、操作者の動作をロボットにとっての適切な動作に変換するようにした。

　このように、従来システムによる遠隔操作では、実世界の状況の認識が難しく、上手く物体をピックできなかった。従来システムによる遠隔操作では、例えば、操作者が徐々に物体にロボット２の把持部２２ａを近づけて、正確な位置合わせを行って把持させる必要があった。

　これに対して、本実施形態では、操作者の動作意図を推定して、推定した結果に基づいてロボット２の動作を制御することで、操作者が正確な位置合わせしなくても、物体のピックの実現を可能にする。

　次に、意図推定処理と補正等の処理例を説明する。
　図６は、本実施形態に係るロボット遠隔操作制御装置３の処理例のフローチャートである。

　（ステップＳ１０１）意図推定部３３は、取得された環境センサ値を用いて、例えばテーブル上に３つの物体ｏｂｊ１～ｏｂｊ３が置かれていることを認識する等の環境認識を行う。

　操作者がロボット２を遠隔操作して物体ｏｂｊ３を把持させようとした場合、一般的に操作者は把持させたい物体の方に視線を向ける。このため、意図推定部３３は、ＨＭＤ５から取得された操作者状態情報に含まれる視線情報に基づいて、対象物体が物体ｏｂｊ３であると推定する。なお、意図推定部３３は、操作者状態情報に含まれる頭部の向きや傾き情報も用いて推定するようにしてもよい。なお、意図推定部３３は、物体が複数有る場合、物体毎に対象物体である確率（リーチオブジェクト確率）を算出する。なお、意図推定部３３は、例えば、視線情報、推定した対象物体とロボット２の把持部との距離、コントローラー６の位置と動き（軌跡）等に基づいて確率を算出する。

　（ステップＳ１０２）意図推定部３３は、取得された操作者状態情報に含まれる腕部の位置や動き（手の位置、手の動き（軌跡）、指の位置、指の動き（軌跡）、腕の位置、腕の動き（軌跡））、頭部の位置や動きを記憶部３７が記憶するテンプレートと比較して動作を分類することで、左手で物体ｏｂｊ３を把持させようとしていると操作者の動作意図と持ち方（把持方法）を推定する。例えば、把持方法決定部３４は、把持方法を、例えば記憶部３７が記憶するテンプレートを参照して決定する。なお、把持方法決定部３４は、把持方法を、例えば記憶部３７が記憶する学習済みのモデルに入力して選択するようにしてもよい。なお、意図推定部３３は、視線情報、操作者腕部情報、および頭部動作情報のうちの少なくとも１つを用いて操作者の動作意図を推定する。なお、意図推定部３３は、環境センサ値も用いて意図推定するようにしてもよい。

　（ステップＳ１０３）把持方法決定部３４は、推定した操作者の動作意図に基づいたロボット２の保持方法を決定する。
　（ステップＳ１０４）把持方法決定部３４は、操作者の手と指の位置と、ロボットの把持部の位置とのズレ量を算出する。記憶部３７は、例えば、指示をしてから駆動部２２の動作までにかかる時間が予め測定された遅延時間等を記憶しておく。把持方法決定部３４は、例えば記憶部３７が記憶する遅延時間を用いてズレ量を算出する。続けて、把持方法決定部３４は、操作者の手と指の位置と、ロボットの把持部の位置とのズレ量を補正する。把持方法決定部３４は、ロボット制御のサンプリング時間に基づく今回の動作目標値を算出する。

　（ステップＳ１０６）ロボット状態画像作成部３５は、意図推定部３３が認識した結果と推定した結果と、把持方法決定部３４が算出した結果とに基づいて、ＨＭＤ５に表示させるロボット状態画像を作成する。なお、ロボット状態画像には、ロボット遠隔操作制御装置３が行おうとしている処理に関する情報、システムの状態情報等も含まれている。

　図７は、本実施形態に係るＨＭＤ５に表示されるロボット状態画像例を示す図である。
　画像ｇ１１～ｇ１３は、テーブル上に置かれている物体ｏｂｊ１～ｏｂｊ３に対応する。この場合のリーチオブジェクト確率は、画像ｇ１１が０．０７７、画像ｇ１２が０．２３０、画像ｇ１３が０．６９３であったとする。
　画像ｇ２１は、ロボット２の把持部の実際の位置を表す。
　画像ｇ２２は、操作者のコントローラー６によって入力された位置を表す。
　画像ｇ２３は、補正されたロボット２の把持部の指令位置を表す。

　なお、図７において、ロボット２の把持部の形状データ（例えばＣＡＤ（Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｄｅｓｉｇｎ）データ）等を記憶部３７が記憶している。ロボット状態画像作成部３５は、このロボット２の把持部の形状データ等を用いて、ロボット２の把持部等の画像を生成する。また、ロボット状態画像作成部３５は、図７のようなロボット状態画像を、例えばＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）の手法等を用いて作成する。

　操作者は、このように、実際のロボット２の把持部の位置（画像ｇ２１）、自分が入力している位置（画像ｇ２２）、補正されたロボット２の把持部の位置（画像ｇ２３）を目視できるので、操作者への補助になる。そして、本実施形態では、操作者意図に基づいたロボットの動作補正を行い、例えば視覚情報としてロボット遠隔操作制御装置３が行おうとしている処理を操作者に提示するようにしたので、遠隔操作をスムーズに行うことができる。これにより、本実施形態によれば、ロボットの把持部の実際の位置と操作者の状態に基づいて、把持部の位置情報を補正するので、操作者が正確な位置合わせしなくても対象物体のピックアップを実現することができる。

　このように、本実施形態では、遠隔操作のために、以下のＩ～Ｖを行うようにした。
　Ｉ．物体の認識
　ＩＩ．　意図推定（例えば、視線と操作者の手先軌道から把持物体とタクソノミー推定）
　ＩＩＩ．　動作補正（例えば、ロボットの手先軌道を把持可能な位置に補正、把持方法の選択）
　ＩＶ．　安定把持（選択された把持方法で安定して把持させるための把持部の制御）
　Ｖ．　ロボットモデル、認識結果、ロボット遠隔操作制御装置３が行おうとしている処理に関する情報、システムの状態に関する情報等をＨＭＤで提示

　ここで、動作補正について、更に説明する。
　把持方法決定部３４は、選択された動作の分類と物体形状、推定される物体の摩擦や重量などの物理パラメータ、ロボット２の出力可能なトルクなどの制約条件から、例えば物体を落とさず安定的に把持可能なロボット２の手指の物体に対する接触点を求める。そして、把持方法決定部３４は、例えば、これらから計算される関節角度を目標値として補正動作とする。

　次に、安定把持について説明する。
　把持方法決定部３４は、目標値に従って動作した場合に、例えば、目標値・パラメータ推定値とロボット２のセンサ２７から観測される値との誤差をなくすように手指の関節角度やトルクなどをリアルタイムに制御する。これにより、本実施形態によれば、落とさずに安定的・持続的に把持可能となる。

　これにより、本実施形態によれば、操作者が正確な位置合わせしなくても対象物体のピックアップを実現することができる。この結果、本実施形態によれば、ロボット２の操作に習熟していない利用者であっても、高い精度でロボットに作業を行わせることができる。

　なお、上述した例では、ロボット遠隔操作制御装置３をロボット２が備えている例を説明したが、これに限らない。ロボット遠隔操作制御装置３は、ロボット２が備えていなくてもよく、ロボット２の外部装置であってもよい。この場合、ロボット２とロボット遠隔操作制御装置３とは、各種情報を送受信するようにしてもよい。あるいは、ロボット２がロボット遠隔操作制御装置３の一部の機能部を備え、他の機能部を外部装置が備えていてもよい。

　また、上述したロボット２は、例えば、二足歩行ロボットであってもよく、固定型の受付ロボットであってもよく、作業ロボットであってもよい。

　また、上述した例では、遠隔操作でロボット２に把持させる例を説明したが、これに限らない。例えば、ロボット２が二足歩行ロボットの場合、操作者が足にコンロトーラーを装着することで、ロボット２の歩行等を遠隔操作してもよい。この場合、ロボット２は、例えば、障害物などの物体情報を画像処理によって検出し、操作者がこの障害物を避けて歩行するように遠隔操作するようにしてもよい。

　また、上述した例では、操作者がＨＭＤ５を装着する例を説明したが、これに限らない。視線情報の検出や、操作者へのロボット状態画像の提供は、例えば、センサと画像表示装置との組み合わせ等であってもよい。

　なお、本発明におけるロボット２の機能の全てまたは一部、ロボット遠隔操作制御装置３の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりロボット２が行う処理の全てまたは一部、ロボット遠隔操作制御装置３が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ローカルネットワーク上で構築されたシステムやクラウド上で構築されたシステム等も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

　また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

　以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

＜第２の実施形態＞
　以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。

　［概要］
　まず、ロボット遠隔操作制御システムで行う作業と処理の概要を説明する。
　図８は、本実施形態に係るロボット遠隔操作制御システム１００１の概要と作業の概要を示す図である。図８のように、操作者Ｕｓは、例えばＨＭＤ（ヘッドマウントディスプレイ）１００５とコントローラー１００６を装着している。作業環境には、環境センサ１００７（１００７ａ、１００７ｂ）が設置されている。なお、環境センサ１００７ｃが、ロボット１００２に取り付けられていてもよい。環境センサ１００７（１００７ａ、１００７ｂ）は、後述するように例えばＲＧＢカメラと深度センサを備えている。操作者Ｕｓは、ＨＭＤ１００５に表示された画像を見ながらコントローラー１００６を装着している手や指を動かすことで、ロボット１００２を遠隔操作する。図８の例では、操作者Ｕｓは、ロボット１００２を遠隔操作して、テーブルＴｂ上にあるペットボトルｏｂｊを把持させ、例えばペットボトルのキャップを開けさせる。なお、遠隔操作において、操作者Ｕｓは、ロボット１００２の動作を直接視認できないが、ロボット１００２側の映像をＨＭＤ１００５で間接的に視認できる状態である。本実施形態では、操作者が装着しているコントローラー１００６が取得した情報と、環境センサ１００７が取得した情報に基づいて、操作者の意図（対象物体に関する情報、作業内容）を推定し、推定した結果に基づいて、操作者が制御すべき自由度を限定して操作をサポートする。

　［ロボット遠隔操作制御システムの構成例］
　次に、ロボット遠隔操作制御システム１００１の構成例を説明する。
　図９は、本実施形態に係るロボット遠隔操作制御システム１００１の構成例を示すブロック図である。図９のように、ロボット遠隔操作制御システム１００１は、ロボット１００２、ロボット遠隔操作制御装置１００３、ＨＭＤ１００５、コントローラー１００６、および環境センサ１００７を備える。

　ロボット１００２は、例えば、制御部１０２１、駆動部１０２２、収音部１０２３、記憶部１０２５、電源１０２６、およびセンサ１０２７を備える。
　ロボット遠隔操作制御装置１００３は、例えば、情報取得部１０３１、意図推定部１０３３、制御指令生成部１０３４、ロボット状態画像作成部１０３５、送信部１０３６、および記憶部１０３７を備える。

　ＨＭＤ１００５は、例えば、画像表示部１０５１、視線検出部１０５２（操作者センサ）、制御部１０５４、および通信部１０５５を備える。なお、ＨＭＤ１００５は、例えば操作者の頭部の傾き等を検出するセンサを備えていてもよい。

　コントローラー１００６は、例えば、センサ１０６１（操作者センサ）、制御部１０６２、通信部１０６３、およびフィードバック手段１０６４を備える。

　環境センサ１００７は、例えば、撮影装置１０７１、センサ１０７２、および通信部１０７３を備える。

　なお、ロボット遠隔操作制御装置１００３とＨＭＤ１００５は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置１００３とコントローラー１００６は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置１００３と環境センサ１００７は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置１００３とロボット１００２は、例えば、無線または有線のネットワークを介して接続されている。なお、ロボット遠隔操作制御装置１００３とＨＭＤ１００５は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置１００３とコントローラー１００６は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置１００３と環境センサ１００７は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置１００３とロボット１００２は、ネットワークを介さずに直接接続されてもよい。

　［ロボット遠隔操作制御システムの機能例］
　次に、ロボット遠隔操作制御システムの機能例を、図８を参照しつつ説明する。
　ＨＭＤ１００５は、ロボット遠隔操作制御装置１００３から受信したロボットの状態画像を表示する。ＨＭＤ１００５は、操作者の視線の動き等を検出し、検出した視線情報（操作者センサ値）をロボット遠隔操作制御装置１００３に送信する。

　画像表示部１０５１は、制御部１０５４の制御に応じて、ロボット遠隔操作制御装置１００３から受信したロボットの状態画像を表示する。

　視線検出部１０５２は、操作者の視線を検出し、検出した視線情報を制御部１０５４に出力する。

　制御部１０５４は、視線検出部１０５２が検出した視線情報に基づく視線情報を、通信部１０５５を介してロボット遠隔操作制御装置１００３に送信する。制御部１０５４は、ロボット遠隔操作制御装置１００３が送信したロボットの状態画像を、画像表示部１０５１に表示させる。

　通信部１０５５は、ロボット遠隔操作制御装置１００３が送信したロボットの状態画像を受信し、受信したロボットの状態画像を制御部１０５４に出力する。通信部１０５５は、制御部１０５４の制御に応じて、操作者状態情報をロボット遠隔操作制御装置１００３に送信する。

　コントローラー１００６は、例えば、触覚データグローブであり、操作者の手に装着される。コントローラー１００６は、センサ１０６１によって方位や各指の動きや手の動き等の操作者の腕部の姿勢や位置に関する情報である操作者腕部情報を検出し、検出した操作者腕部情報（操作者センサ値）をロボット遠隔操作制御装置１００３に送信する。なお、操作者腕部情報（操作者センサ値）には、手先位置・姿勢情報、各指の角度情報、肘の位置・姿勢情報、各部の動きをトラッキングした情報等のヒトの腕部全般におよぶ情報が含まれる。

　センサ１０６１は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。なお、センサ１０６１は、複数のセンサを備えるセンサ１０６１は、例えば２つのセンサによって各指の動きをトラッキングする。センサ１０６１は、操作者腕部情報を検出し、検出した操作者腕部情報を制御部１０６２に出力する。

　制御部１０６２は、センサ１０６１が検出した検出結果も基づく操作者腕部情報を、通信部１０６３を介してロボット遠隔操作制御装置１００３に送信する。制御部１０６２は、フィードバック情報に基づいて、フィードバック手段１０６４を制御する。

　通信部１０６３は、制御部１０６２の制御に応じて、操作者腕部情報をロボット遠隔操作制御装置１００３に送信する。通信部１０６３は、ロボット遠隔操作制御装置１００３が送信したフィードバック情報を取得し、取得したフィードバック情報を制御部１０６２に出力する。

　フィードバック手段１０６４は、制御部１０６２の制御に応じて、操作者にフィードバック情報をフィードバックする。フィードバック手段１０６４は、フィードバック情報に応じて、例えば、ロボット１００２の把持部１２２２に取り付けられている振動を与える手段（不図示）や空気圧を与える手段（不図示）や手の動きを拘束する手段（不図示）や温度を感じさせる手段（不図示）や堅さや柔らかさを感じさせる手段（不図示）等によって操作者に感覚をフィードバックする。

　環境センサ１００７は、例えばロボット１００２の作業を撮影、検出できる位置に設置されている。なお、環境センサ１００７は、ロボット１００２が備えていてもよく、ロボット１００２に取り付けられていてもよい。または、環境センサ１００７は、複数であってもよく、図８のように作業環境に設置され、かつロボット１００２にも取り付けられていてもよい。環境センサ１００７は、撮影された画像、検出された検出結果（環境センサ値）をロボット遠隔操作制御装置１００３に送信する。

　撮影装置１０７１は、例えばＲＧＢカメラである。撮影装置１０７１は、撮影した画像を、通信部１０７３を介してロボット遠隔操作制御装置１００３に送信する。なお、環境センサ１００７において、撮影装置１０７１とセンサ１０７２の位置関係が既知である。

　センサ１０７２は、例えば深度センサである。センサ１０７２は、検出したセンサ値を、通信部１０７３を介してロボット遠隔操作制御装置１００３に送信する。なお、撮影装置１０７１とセンサ１０７２は、距離センサであってもよい。

　通信部１０７３は、撮影された画像と、センサ１０７２によって検出されたセンサ値とを環境センサ情報としてロボット遠隔操作制御装置１００３に送信する。なお、環境センサ１００７は、撮影された画像とセンサ値を用いて、物体の位置情報を検出して、検出した結果を環境センサ情報としてロボット遠隔操作制御装置１００３に送信するようにしてもよい。なお、環境センサ１００７が送信するデータは、例えば位置情報を有する点群であってもよい。

　ロボット１００２は、遠隔操作されていない場合、制御部１０２１の制御に応じて行動が制御される。ロボット１００２は、遠隔操作されている場合、ロボット遠隔操作制御装置１００３が生成した把持計画情報に応じて行動が制御される。

　制御部１０２１は、ロボット遠隔操作制御装置１００３が出力する制御指令に基づいて駆動部１０２２を制御する。制御部１０２１は、記憶部１０２５が記憶する情報に基づいて、環境センサ１００７が撮影した画像と検出した検出結果を用いて、撮影された画像における対象物体の三次元位置と大きさ形状等を周知の手法で取得する。なお、制御部１０２１は、収音部１０２３が収音した音響信号に対して音声認識処理（発話区間検出、音源分離、音源定位、雑音抑圧、音源同定等）を行うようにしてもよい。制御部１０２１は、音声認識した結果にロボットに対する動作指示が含まれている場合、音声による動作指示に基づいてロボット１００２の動作を制御するようにしてもよい。制御部１０２１は、フィードバック情報を生成して、生成したフィードバック情報を、ロボット遠隔操作制御装置１００３を介してコントローラー１００６に送信する。

　駆動部１０２２は、制御部１０２１の制御に応じてロボット１００２の各部（腕、指、足、頭、胴、腰等）を駆動する。駆動部１０２２は、例えば、アクチュエータ、ギア、人工筋等を備える。

　収音部１０２３は、例えば複数のマイクロホンを備えるマイクロホンアレイである。収音部１０２３は、収音した音響信号を制御部１０２１に出力する。収音部１０２３は、音声認識処理機能を備えていてもよい。この場合、収音部１０２３は、音声認識結果を制御部１０２１に出力する。

　記憶部１０２５は、例えば、制御部１０２１が制御に用いるプログラム、閾値等を記憶し、音声認識結果、画像処理結果、制御指令等を一時的に記憶する。なお、記憶部１０２５は、記憶部１０３７が兼ねていてもよい。または、記憶部１０３７が記憶部１０２５を兼ねていてもよい。

　電源１０２６は、ロボット１００２の各部に電力を供給する。電源１０２６は、例えば充電式のバッテリや充電回路を備えていてもよい。

　センサ１０２７は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ、各関節エンコーダ等である。なお、センサ１０２７は、ロボット１００２の各関節、頭部等に取り付けられている。センサ１０２７は、検出した検出結果を、制御部１０２１、意図推定部１０３３、制御指令生成部１０３４、ロボット状態画像作成部１０３５に出力する。

　ロボット遠隔操作制御装置１００３は、操作者センサ（ＨＭＤ１００５の視線検出部１０５２、コントローラー１００６のセンサ１０６１）が検出した操作者検出値と、環境センサ１００７が検出した環境センサ値とに基づいて操作者の動作意図を推定し、ロボット１００２の制御指令を生成する。

　情報取得部１０３１は、ＨＭＤ１００５から視線情報を取得し、とコントローラー１００６から操作者腕部情報を取得し、取得した視線情報と操作者腕部情報を意図推定部１０３３、ロボット状態画像作成部１０３５に出力する。情報取得部１０３１は、環境センサ１００７から環境センサ情報を取得し、取得した環境センサ情報を意図推定部１０３３、ロボット状態画像作成部１０３５に出力する。情報取得部１０３１は、センサ１０２７が検出した検出結果を取得し、取得した検出結果を意図推定部１０３３、ロボット状態画像作成部１０３５に出力する。

　意図推定部１０３３は、情報取得部１０３１が取得した環境センサ情報に基づいて、対象物体に関する情報（ロボット環境センサ値）（対象物体の名称、対象物体の位置、対象物体の鉛直方向の傾き等）を推定する。なお、意図推定部１０３３は、例えば、記憶部１０３７が記憶する情報に基づいて、環境センサ１００７の撮影装置１０７１が撮影した画像に対して画像処理（エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等）を行って対象物体の名称を推定する。意図推定部１０３３は、画像処理された結果と深度センサの検出結果に基づいて、対象物体の位置や鉛直方向の傾き角度等を推定する。なお、意図推定部１０３３は、例えばＨＭＤ１００５が検出した操作者の視線情報も用いて、対象物体を推定する。意図推定部１０３３は、情報取得部１０３１が取得した視線情報と操作者腕部情報と、対象物体に関する情報に基づいて、操作者の動作意図を推定する。なお、操作者の意図と、推定方法については後述する。

　制御指令生成部１０３４は、意図推定部１０３３が推定した結果とセンサ１０２７が検出した検出結果、環境センサ１００７が撮影した画像と検出結果に基づいて、物体の把持するための制御指令を生成する。制御指令生成部１０３４は、後述するように操作者が制御すべき自由度や制御可能な範囲を制限、すなわち操作者の動作の自由度を減らして制御指令を生成する。制御指令生成部１０３４は、決定した制御指令情報を制御部１０２１に出力する。

　ロボット状態画像作成部１０３５は、制御指令生成部１０３４が生成した制御指令情報に基づいて、ＨＭＤ１００５に表示させるロボット状態画像を作成する。

　送信部１０３６は、ロボット状態画像作成部１０３５が作成したロボット状態画像を、ＨＭＤ１００５に送信する。送信部１０３６は、ロボット１００２が出力したフィードバック情報を取得し、取得したフィードバック情報をコントローラー１００６へ送信する。

　記憶部１０３７は、環境センサ１００７の撮影装置１０７１とセンサ１０７２の位置関係を記憶している。記憶部１０３７は、作業内容毎に補助する対象、すなわち操作者が制御すべき自由度や制御可能な範囲を制限する情報を記憶する。記憶部１０３７は、画像処理のパターンマッチング処理で比較されるモデル画像を記憶する。記憶部１０３７は、ロボット遠隔操作制御装置１００３の制御に用いられるプログラムを記憶する。なお、プログラムはクラウドやネットワーク上にあってもよい。

　［ＨＭＤ１００５、コントローラー１００６を操作者が身につけている状態例］
　次に、ＨＭＤ１００５、コントローラー１００６を操作者が身につけている状態例を説明する。
　図１０は、ＨＭＤ１００５、コントローラー１００６を操作者が身につけている状態例を示す図である。図１０の例では、操作者Ｕｓは、左手にコントローラー１００６ａを装着し、右手にコントローラー１００６ｂを装着し、頭部にＨＭＤ１００５を装着している。なお、図１０に示したＨＭＤ１００５、コントローラー１００６は一例であり、装着方法や形状等は、これに限らない。

　［意図推定、制御指令生成例］
　次に、意図推定、制御指令生成処理の概要を説明する。
　図１１は、本実施形態に係る意図推定、制御指令生成処理の概要を示す図である。
　図１１のように、ロボット遠隔操作制御装置１００３は、ＨＭＤ１００５から視線情報と、コントローラー１００６から操作者腕部情報と、環境センサ１００７から環境センサ情報と、センサ１０２７が検出した検出結果を取得する。

　ロボット１００２から得られる情報は、ロボット１００２の各関節に設けられているモータエンコーダの検出値等の情報である。
　環境センサ１００７から得られる情報は、ＲＧＢカメラが撮影した画像と、深度センサが検出した検出値等である。

　意図推定部１０３３は、取得した情報と、記憶部１０３７が記憶する情報に基づいて、操作者の動作意図を推定する。操作者の意図は、例えば、操作対象物体、操作内容等である。操作内容は、例えばペットボトルの蓋を開ける等である。

　制御指令生成部１０３４は、意図推定部１０３３が推定した結果、取得した情報に基づいて、対象物体や作業内容に応じて，操作者が制御すべき自由度や制御可能な範囲を制限する。そして、制御指令生成部１０３４は、意図推定部１０３３が推定した結果に基づいて制御指令を生成する。

　［操作者が制御すべき自由度や制御可能な範囲の制限例の説明］
　次に、操作者が制御すべき自由度や制御可能な範囲の制限例について、図１２、図１３を用いて説明する。なお、図１２、図１３におけるｘｙｚ軸は、ロボット世界におけるｘｙｚ軸である。本実施形態のロボット遠隔操作制御装置１００３は、以下の自由度の制限や、手先目標の補正を、ロボット世界におけるｘｙｚを基準として行う。

　（第１の操作内容例）
　図１２は、操作者の意図がペットボトルの蓋を開けようとしている場合を示す図である。
　意図推定部１０３３は、操作者の手先のトラッキング結果、操作者の視線情報、環境センサ１００７が撮影した画像と検出結果に基づいて、対象物体Ｏｂｊ１００１を推定する。この結果、意図推定部１０３３は、取得した情報に基づいて、操作対象Ｏｂｊ１００１が“ペットボトル”であると推定する。また、意図推定部１０３３は、環境センサ１００７が撮影した画像と検出結果に基づいて、例えば、ペットボトルの鉛直方向の検出と、ペットボトルの鉛直方向の例えばｚ軸方向に対する傾きを検出する。

　次に、意図推定部１０３３は、操作者の手先のトラッキング結果、操作者の視線情報、環境センサ１００７が撮影した画像と検出結果に基づいて、操作内容を推定する。この結果、意図推定部１０３３は、取得した情報に基づいて、操作内容が“ペットボトルの蓋を開ける”動作であると推定する。

　図１２のような場合、従来の手法では、操作者は、ロボット１００２の把持部１２２１に対して、ペットボトルの鉛直方向になるように遠隔操作しつつ、蓋を明けるように遠隔操作する必要があった。このように、従来の手法では、操作者自身に高度な操作技術が求められるという問題点があった。

　これに対して、本実施形態では、ロボット遠隔操作制御装置１００３が、状況に応じて６自由度の一部の制御目標値生成を代替することで、操作者が制御すべき自由度を限定する。図１２の例では、ロボット遠隔操作制御装置１００３が、ロボット１００２の把持部１２２１を鉛直方向上に留まるように、把持部１２２１を制御して補助する。こよれにより、操作者は、ペットボトルの傾きを気にせずに、キャップの回転の指示に専念して指示を行うことができる。

　（第２の操作内容例）
　図１３は、操作者の意図が箱を掴もうとしている場合を示す図である。
　意図推定部１０３３は、取得した情報に基づいて、操作対象Ｏｂｊ１００２が“箱”であると推定する。
　次に、意図推定部１０３３は、取得した情報に基づいて、操作内容が“箱を掴む”動作であると推定する。

　図１３のような場合、ロボット遠隔操作制御装置１００３は、例えば、操作対象Ｏｂｊ１００２のｘｙ平面上の位置と、ｘｙｚ軸回りの回転を、把持部１２２１を制御して補助する。これにより、操作者は、ｚ軸の位置の並進運動の指示に専念して指示を行うことができる。

　なお、図１２、図１３に示した対象物体や作業内容や補助する内容（自由度）等は一例であり、対象物体や作業内容や補助する内容は、これに限らない。補助する内容は、対象物体や作業内容に応じた物であればよい。

　ここで、作業の補助に用いられる記憶部１０３７が記憶する情報例を説明する。
　図１４は、本実施形態に係る記憶部１０３７が記憶する情報例を示す図である。図１４のように、記憶部１０３７は、対象物体と、作業内容と、操作者に対して制限する自由度（ロボット１００２が補強する自由度）と、操作者に対して操作可能とする自由度を関連付けて記憶する。なお、図１４に示した例は一例であり、他の情報も関連付けて記憶してもよい。

　また、操作者が操作する環境とロボット動作環境では座標系が異なるため、例えば、ロボット１００２の起動時に操作者の操作環境とロボット動作環境のキャリブレーションを行うようにしてもよい。

　また、把持の際、ロボット遠隔操作制御装置１００３は、ロボット１００２の把持力と、物体と把持部との摩擦力等に基づいて、把持時の把持位置の誤差を考慮して、把持位置を決定するようにしてもよい。

　［把持位置の手先目標の修正］
　次に、ロボット遠隔操作制御装置１００３の補助による把持位置の手先目標の修正例を説明する。
　図１５は、ロボット遠隔操作制御装置１００３の補助による把持位置の手先目標の修正例を示す図である。図１５の例では、把持しようとしている対象物体ｇ１０２１の形状が略直方体である。ロボット遠隔操作制御装置１００３は、操作者の入力ｇ１０１１に対して把持しやすいように自由度を制限して補助する際、把持しやすい位置（補正後の位置ｇ１０１２）に手先目標を変更する。手先目標の変更は、例えば図１２のように対象物体の鉛直方向がｚ軸方向に対して傾いている場合、操作者の入力のｚ軸方向の角度をペットボトルの鉛直方向に合わせるように補正して、把持部１２２１に対する制御指令を生成する。より具体的には、まず、制御指令生成部１０３４は、対象物毎に補助するパターンを推定する。推定方法は、例えば、記憶部１０３７が記憶するデータベースとのマッチングや機械学習によって行う。制御指令生成部１０３４は、補助パターン推定後、対象物が持つ座標系とロボットの手先座標系の間でベクトル演算（外積・内積）を行うことで、方向の修正を行う。また、制御指令生成部１０３４は、例えば、ベクトル演算による方向の修正も含めて、センサ情報から修正指令値を直接生成するようなｅｎｄ　ｔｏ　ｅｎｄな機械学習手法によって修正と指令値の生成を行うようにしてもよい。これにより、本実施形態によれば、ロボット遠隔操作制御装置１００３が対象物体と作業内容を推定し、さらに把持しやすい位置に手先目標を補正するので、操作者が指示しやすくなる。

　なお、意図推定部１０３３または記憶部１０３７は、例えば、視線情報、操作者腕部情報、環境センサ情報、ロボット１００２のセンサが検出した検出結果を入力し、対象物体と操作内容を教師データとして学習させた意図推定モデルを備えるようにしてもよい。意図推定モデルは、クラウド上に設けられていてもよい。意図推定部１０３３は、取得した情報を意図推定モデルに入力して、操作者の意図を推定するようにしてもよい。または、意図推定部１０３３は、取得した情報を意図推定モデルに入力して、対象物体および作業内容のうちの少なくとも１つを推定するようにしてもよい。

　または、意図推定部１０３３は、取得した情報を用いて、確率推論によって操作者の意図を推定するようにしてもよい。または、意図推定部１０３３は、取得した情報を用いて、確率推論によって、対象物体および作業内容のうちの少なくとも１つを推定するようにしてもよい。

　［ロボット１００２とロボット遠隔操作制御装置１００３の処理手順例］
　次に、ロボット１００２とロボット遠隔操作制御装置１００３の処理手順例を説明する。
　図１６は、本実施形態に係るロボット１００２とロボット遠隔操作制御装置１００３の処理手順例のフローチャートである。

　（ステップＳ１００１）情報取得部１０３１は、ＨＭＤ１００５から視線情報を取得し、コントローラー１００６から操作者腕部情報を取得する。

　（ステップＳ１００２）情報取得部１０３１は、環境センサ１００７から環境センサ情報を取得する。

　（ステップＳ１００３）意図推定部１０３３は、取得した視線情報と、操作者腕部情報と、環境センサ情報と、に基づいて、把持対象物体、作業内容を含む操作者の意図を推定する。

　（ステップＳ１００４）制御指令生成部１０３４は、推定された操作者の意図と、記憶部１０３７が記憶する情報とに基づいて、ロボット遠隔操作制御装置１００３が補助する自由度、すなわち操作者の動作指示の自由度に対する制限を決定する。なお、制御指令生成部１０３４は、操作者の動作のうち一部の自由度に対して適切な制御指令を生成することで、操作者の動作の自由度を減らして制御指令を生成する。

　（ステップＳ１００５）制御指令生成部１０３４は、取得した操作者腕部情報に含まれる腕部の動き情報と、ステップＳ１００４で決定した制限する自由度に基づいて、把持する目標の手先位置を補正する。

　（ステップＳ１００６）ロボット状態画像作成部１０３５は、情報取得部１０３１が取得した操作者腕部情報と、意図推定部１０３３が推定した結果と、制御指令生成部１０３４が補正した把持位置とに基づいて、ＨＭＤ１００５に表示させるロボット状態画像を作成する。

　（ステップＳ１００７）制御指令生成部１０３４は、補正した把持する目標の手先位置に基づいて、制御指令を生成する。

　（ステップＳ１００８）制御部１０２１は、制御指令生成部１０３４が生成した制御指令に基づいて、駆動部１０２２を制御してロボット１００２の把持部等を駆動する。制御部１０２１は、処理後、ステップＳ１００１の処理に戻す。

　なお、図１６に示した処理手順は一例であり、ロボット遠隔操作制御装置１００３は、上述した処理を並列に処理してもよい。

　また、ＨＭＤ１００５の画像表示部１０５１に表示される画像は、例えば図１５のような画像である。なお、ロボット状態画像には、操作者の入力ｇ１０１１の画像が含まれていなくてもよい。なお、ロボット状態画像作成部１０３５は、例えば、ＨＭＤ１００５上に文字で補助パターンを提示もしくは矩形や矢印等を表示することで、自由度を制限、ロボットで補助した内容を操作者に提示するようにしてもよい。これにより、操作者は、ＨＭＤ１００５に表示されるロボット状態画像を見ながら作業指示を行う際、例えばペットボトルの蓋を開ける際、ペットボトルの鉛直方向に把持部を合わせることを気にせずに、蓋を開ける作業指示に専念できる。

　以上のように、本実施形態では、ロボット１００２、環境、操作者に設置されたセンサ情報を通じて、作業内容や対象物体をロボット遠隔操作制御装置１００３が判断し、状況に応じて６自由度の一部の制御目標値生成を代替することで、操作者が制御すべき自由度を限定するようにした。すなわち、本実施形態では、一部の自由度について適切な制御指令を自動生成することで、操作者が制御すべき自由度を減らす。

　これにより、本実施形態によれば、遠隔操縦ロボットにおいて、操作者の負担軽減と作業の多様化、高効率化を同時に実現できる。

　なお、上述した自由度の制限例は一例であり、これに限らない。自由度の制限は、操作者がその自由度を完全に制御できないことを意味するわけではなく、操作可能な領域が制限されることも含む。
　例えば、ロボット遠隔操作制御装置１００３は、対象物体からの距離が所定の範囲外の場合に自由度の制限を行わず、対象物体から所定の範囲内の場合に自由度の制限を行うようにしてもよい。所定の範囲内は、一例として並進ｘ軸の±１００１ｍの範囲である。

　なお、上述した例では、遠隔操作によって対象物体を把持させる例等を説明したが、これに限らない。ロボット遠隔操作制御装置１００３は、他の作業内容であっても、作業内容に応じて自由度の制限を行うようにする。
　また、作業内容が複数の場合、ロボット遠隔操作制御装置１００３は、作業内容が変化する毎に自由度の制限の変更を行うようにしてもよい。例えば、テーブル上に複数の物体が置かれ、その中から１つのペットボトルを把持させた後、そのペットボトルの蓋を開けさせる場合、把持させる段階の第１の自由度の制限、蓋を開けさせる場合の第２の自由度の制限をロボット遠隔操作制御装置１００３は設定する。

　また、両方の把持部を用いて行う作業内容の場合、ロボット遠隔操作制御装置１００３は、自由度の制限や、手先目標の補正を把持部毎に行う。

　また、上述したロボット１００２は、例えば、二足歩行ロボットであってもよく、固定型の受付ロボットであってもよく、作業ロボットであってもよい。

　また、上述した例では、遠隔操作でロボット１００２に把持させる例を説明したが、これに限らない。

　また、上述した例では、操作者がＨＭＤ１００５を装着する例を説明したが、これに限らない。視線情報の検出や、操作者へのロボット状態画像の提供は、例えば、センサと画像表示装置との組み合わせ等であってもよい。

　なお、本発明におけるロボット１００２の機能の全てまたは一部、ロボット遠隔操作制御装置１００３の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりロボット１００２が行う処理の全てまたは一部、ロボット遠隔操作制御装置１００３が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ローカルネットワーク上で構築されたシステムやクラウド上で構築されたシステム等も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

＜第３の実施形態＞
　以下、図面を参照しながら本発明の第３の実施形態について説明する。
　図１７は、本実施形態に係るロボットシステムＳ２００１の構成例を示す概略ブロック図である。
　ロボットシステムＳ２００１は、ユーザである操作者の動作に従ってロボット２０２０の動作を制御することができる制御システムである。また、ロボットシステムＳ２００１は、操作に応じてロボット２０２０の動作を操縦する操縦システムでもある。ロボット２０２０は、効果器（end-effector、エンドエフェクタ、ロボットハンド、手先効果器、作用器、などとも呼ばれる）を備える。効果器は、他の物体に機械的に作用して影響を及ぼす部材である。効果器は、複数の指部を有し、他の物体を把持または解放可能とする機構を備える。個々の指部は、操作者の対応する指の動きに応じて動作可能とする。これにより、各種の作業が実現される。

　本実施形態に係るロボットシステムＳ２００１は、ロボット２０２０の動作環境を示す環境情報と、操作状況を示す操作情報に基づき、ロボット２０２０の動作状況を推定する。後述するように、動作状況の推定の際、ロボットシステムＳ２００１は、駆動センサ２０２６から取得された駆動状態情報や操作者の視線情報なども用いてもよい。ロボットシステムＳ２００１は、動作状況に対応する制御特性を示す特性パラメータに基づいてロボット２０２０の効果器を目標位置に動作させるための制御指令を生成する。ロボットシステムＳ２００１は、生成した制御指令に基づいてロボット２０２０の動作を制御する。
　本願では、動作状況とは、主にロボット２０２０が行う動作の形態、つまり、タスクまたは動作モードとの意味を含む。動作状況は、例えば、操作しようとする作業の種類、作業に係る物体との位置関係、物体の種類もしくは特徴などを要素として含みうる。動作状況は、いずれかの要素、または、いずれかの要素の組み合わせを含んで定義されてもよい。操作情報が共通であっても、動作状況に応じてロボット２０２０の効果器を移動させる目標位置が異なることもある。

　ロボットシステムＳ２００１は、ロボット２０２０、表示装置２０５０、操作装置２０７０、および、環境情報取得部２０８０を備える。ロボット２０２０は、１個以上のマニピュレータ（manipulator）を備える。マニピュレータは、ロボットアームとも呼ばれる。個々のマニピュレータは、複数の分節（segment）を備え、これらの分節が相互に連結されている。その複数の分節には、１個の効果器が含まれる。効果器は、マニピュレータの一端に接続され、物体に接触して作用を及ぼす部材である。ロボット２０２０の動作機構は、その複数の分節のうち２個の分節を含む分節対ごとに関節を備えるとともに、関節ごとにアクチュエータを備える。アクチュエータにより各２個の分節間のなす角度を変化させることで、効果器の位置を移動させることができる。以下の説明では、マニピュレータの個数が１個である場合（単腕型）を主とするが、２個以上となってもよい。また、ロボット２０２０は、所定の位置に固定される据置型であってもよいし、自身の位置を移動することができる可動型であってもよい。以下の説明では、ロボット２０２０が据置型である場合を主とする。

　ロボット２０２０の制御装置２０３０は、表示装置２０５０、操作装置２０７０、および、環境情報取得部２０８０と無線または有線で各種の情報を入出力可能に接続される。
　表示装置２０５０と操作装置２０７０は、ロボット２０２０と環境情報取得部２０８０と物理的に離れた空間に所在してもよい。その場合、表示装置２０５０と操作装置２０７０は、制御装置２０３０と通信ネットワークを経由して接続される遠隔操作システムとして構成されてもよい。

　ロボット２０２０は、駆動部２０２４、駆動センサ２０２６、電源２０２８、および、制御装置２０３０を備える。
　駆動部２０２４は、関節ごとにアクチュエータを備え、制御装置２０３０の駆動制御部２０４０から入力される制御指令に従って動作する。個々のアクチュエータは、いわゆるモータに相当し、制御指令で指示される駆動量の目標値に従い自部に連結される２個の分節のなす角度を変化させる。
　駆動センサ２０２６は、駆動部２０２４によるロボット２０２０の駆動状態を検出し、検出した駆動状態を示す駆動状態情報を制御装置２０３０に出力する。駆動センサ２０２６は、例えば、関節ごとに２個の分節のなす角度を検出するロータリエンコーダを含んで構成される。

　電源２０２８は、ロボット２０２０に備わる各構成部に電力を供給する。電源２０２８は、例えば、電源端子、二次電池、および、電圧変換器を備える。電源端子は、電力線を接続可能とし、外部から電力が供給され、供給される電力を二次電池または電圧変換器に供給する。
　二次電池は、電源端子を用いて供給される電力を蓄積する。二次電池は、電圧変換器を経由して各構成部に電力を供給可能とする。電圧変換器は、電源端子または電源端子から供給される電力の電圧を各構成部で要求される所定の電圧に変換し、それぞれ電圧を変換した電力を各構成部に供給する。

　次に、本実施形態に係る制御装置２０３０の機能構成について、図１７と図１８を参照しながら説明する。図１８は、本実施形態に係る制御装置２０３０の一部の機能構成例を示すブロック図である。制御装置２０３０は、情報取得部２０３２、動作状況推定部２０３４、目標位置推定部２０３６、制御指令生成部２０３８、駆動制御部２０４０、通信部２０４２、および、記憶部２０４４を備える。
　情報取得部２０３２は、操作者の状況およびロボット２０２０の状況に関する各種の情報を取得する。例えば、情報取得部２０３２は、表示装置２０５０から視線情報と第１操作者動作情報を取得する。視線情報と第１操作者動作情報は、操作者の状況を示す操作者情報を構成する。視線情報は、ある時刻における操作者の少なくとも一方の眼の視線方向を示す情報である。第１操作者動作情報は、操作者の頭部の動作を示す情報である。頭部の動作は、時刻ごとの頭部の方向ならびに位置で表わされる。本願では、視線情報と第１操作者動作情報を操作者情報と総称することがある。

　情報取得部２０３２は、第２操作者動作情報を操作装置２０７０から取得する。第２操作者動作情報は、操作者による操作に係る身体の動作を示す情報である。第２操作者動作情報は、ロボット２０２０に対する操作状況を示す操作情報を構成する。第２操作者動作情報は、操作者の身体部位として、主に手部の動作を示す情報が含まれる。手部の動作には、少なくとも２本の指部の動作が含まれる。第２操作者動作情報には、手部の動作の他、手首の動作を示す情報が含まれてもよい。手首の動作は、その手首の代表位置を用いて表されもよいし、さらにその姿勢の情報が含まれてもよい。身体部位の動作は、時刻ごとの身体部位の位置の情報を用いて表される。本願では、第２操作者動作情報を操作情報と呼ぶことがある。

　情報取得部２０３２は、環境情報取得部２０８０から環境情報を取得する。環境情報は、ロボット２０２０の動作環境を示す。環境情報には、ロボット２０２０の動作環境を示す画像を示す画像データと、ロボット２０２０の動作環境に分布する物体までの距離を示す距離データが含まれる。
　情報取得部２０３２は、駆動センサ２０２６から駆動状態情報を取得する。駆動状態情報は、ロボット２０２０の姿勢を示す姿勢情報とみなすこともできる。各時刻の駆動状態情報の時系列は、ロボット２０２０の動作を示すロボット動作情報に相当する。情報取得部２０３２は、取得した各種の情報を記憶部２０４４に記憶する。

　動作状況推定部２０３４は、記憶部２０４４から、その時点において最新の環境情報と操作情報を読み出し、読み出した環境情報と操作情報に基づいて、ロボット２０２０の動作状況を推定する。動作状況推定部２０３４は、ロボット２０２０の動作状況を推定するため、例えば、所定の機械学習モデルを用いる。動作状況推定部２０３４には、環境情報と操作情報が入力情報として入力されるとき、出力情報として、その入力情報に対応する既知の動作状況の信頼度を１とし、その他の動作状況の候補に対する信頼度を０とする出力情報が得られるように訓練データを用いて学習されたパラメータセットを予め設定しておく。訓練データは、入力情報と既知の出力情報の組を多数含んで構成される。パラメータセットは、訓練データ全体として入力情報から推定される出力情報の推定値と既知の出力情報との差が最小化されるように学習される。その場合、機械学習モデルから得られる個々の動作状況に対する信頼度が０から１の間となる実数値として定まりうる。動作状況推定部２０３４は、動作状況の候補ごとに算出された信頼度が所定の信頼度よりも高く、かつ、最大となる動作状況の候補がロボット２０２０の動作状況として特定することができる。動作状況として、例えば、ロボット２０２０の動作環境に所在している複数の物体のうち、その時点における操作情報が示す手部の動作方向に最も近い方向に所在する物体（目標物体）への接近、その時点において効果器に接している物体の作用の形態（例えば、把持、解放、摩擦、等）、などが判定される。

　動作状況推定部２０３４は、記憶部２０４４から、その時点において最新の操作者情報を読み出し、環境情報と操作情報の他、さらに操作者情報に基づいて、ロボット２０２０の動作状況を推定してもよい。操作者情報は、操作者の頭部の動きも考慮した視線方向を示す。そのため、動作状況を推定する際に、操作者情報により操作者が関心を有する事象が生じた方向がさらに考慮される。動作状況推定部２０３４には、機械学習モデルに環境情報と操作情報の他、操作者情報が入力情報として入力されるとき、出力として、その入力情報に対応する既知の動作状況の信頼度が１とし、その他の動作状況の候補に対する信頼度が０とする出力情報が得られるように訓練データを用いて、上記のように学習されたパラメータセットを予め設定しておく。
　なお、動作状況推定部２０３４は、記憶部２０４４から、その時点において最新の駆動状態情報を読み出し、さらに駆動状態情報に基づいて、ロボット２０２０の動作状況を推定してもよい。駆動状態情報は、ロボット２０２０の姿勢やその時間変化を示す。そのため、動作状況を推定する際に、ロボット２０２０の姿勢がさらに考慮される。動作状況推定部２０３４には、機械学習モデルに環境情報と操作情報の他、駆動状態情報が入力情報として入力されるとき、出力として、その入力情報に対応する既知の動作状況の信頼度が１とし、その他の動作状況の候補に対する信頼度が０とする出力情報が得られるように訓練データを用いて、上記のように学習されたパラメータセットを予め設定しておく。

　動作状況推定部２０３４は、推定した動作状況に対応する特性パラメータを定める。特性パラメータは、効果器の動作に対する制御特性に関するパラメータである。特性パラメータには、例えば、収束判定パラメータ、目的関数の因子ごとの重み係数のいずれか、または、それらの組が含まれる。記憶部２０４４には、動作状況ごとに特性パラメータを示す特性パラメータテーブルを予め記憶しておく。動作状況推定部２０３４は、特性パラメータテーブルを参照し、推定した動作状況に対応する特性パラメータを特定し、特定した特性パラメータを制御指令生成部２０３８に出力する。

　収束判定パラメータは、効果器の位置が目標位置に収束したか否かを判定するための収束判定条件を示すパラメータである。収束判定条件の強度は、収束される位置（本願では、「収束位置」と呼ぶことがある）の目標位置に対する拘束の度合い、言い換えれば、目標位置に対する正確性に相当する。収束判定パラメータとして、例えば、目標位置からの距離の閾値が利用可能である。目標位置からの距離の閾値が小さいほど、収束判定条件が強いことを示す。動作状況推定部２０３４は、制御対象となる効果器の位置の追従性を要する動作状況ほど、強い収束判定条件を示す収束判定パラメータを設定してもよい。追従性とは、目標位置に対して効果器の位置を正確に制御できる特性、もしくは、正確な制御を要する特性、つまり、正確性を意味する。かかる動作状況には、例えば、効果器が繊細な物体が設置され目標位置に十分近接している状況、操作情報で指示される動作が微細な状況、などがある。

　逆運動学計算は、目標位置から個々の関節の変位、つまり角度と角加速度の一方または両方を定める解析手法であり、逆運動学解析とも呼ばれる。なお、逆動力学計算は、複数の分節が接続されてなるリンク機構において、個々の関節の運動（つまり角度と角加速度の一方または両方の時間変化）を実現するための関節の駆動力を定める解析手法であり、逆動力学解析とも呼ばれる。そのため、逆運動学計算は、逆動力学計算とも密接に関連する。本実施形態では、逆運動学計算に係る特性パラメータに、逆動力学計算に係る特性パラメータが含まれることがある。
　他方、収束判定条件が強いほど、逆運動学計算の解が存在しない可能性や、解が存在しても、その解が安定しない可能性が高くなる傾向がある。そこで、動作状況推定部２０３４は制御対象となる効果器の位置の柔軟性が許容される動作状況ほど、弱い収束判定条件（例えば、目標位置から離間）を示す収束判定パラメータを設定してもよい。柔軟性とは、目標位置からの効果器の位置の乖離が許容される特性を意味する。柔軟性は、確実に制御可能とする特性、つまり、安全性を意味する。柔軟性が許容される動作状況には、例えば、目標位置までの経路の周辺に複数の物体が分布している場合、などがある。

　目的関数は、逆運動学計算においてロボット２０２０の動作の最適解を公知の手法を用いて数値的に求める（最適化問題）ために用いられる。つまり、目的関数は、効果器を目標位置に動作させるための負荷の大きさを定量的に示す関数であり、複数種類の因子を含み、それらの因子を合成して構成される。重み係数は、個々の因子の目的関数に対する寄与を示す。負荷とは、制御に係るコストを意味する。複数の因子には、時刻ごとの制御誤差の大きさが１つの因子として含まれる。制御誤差の大きさは、例えば、最終的な目標位置と収束との誤差の大きさ（距離）で表される。制御誤差に対する重み係数が大きいほど、目標位置に対する効果器の追従性が高くなるように制御される。目的関数には、効果器の現在位置から収束位置までの到達時間、現在から収束位置に至るまでのジャークの大きさ、現在から収束位置に至るまでの電力量、収束位置に至るまでのロボット２０２０の運動量、現在のロボット２０２０の姿勢と効果器が収束位置に位置する時点でのロボット２０２０の姿勢との差分の大きさ、などのいずれか、または、組み合わせが因子として含まれてもよい。本願では、最適化とは、目的関数の関数値をより小さくする解を探索すると意味を含み、絶対的に関数値を最小とすることに限られない。従って、関数値が一時的に増加することもありうる。

　従って、動作状況推定部２０３４は、制御対象となる効果器の位置の追従性を要する動作状況ほど、制御誤差に対する重み係数が大きくなるように設定してもよい。動作状況推定部２０３４は、制御対象となる効果器の位置の柔軟性が許容される動作状況ほど、制御誤差に対する重み係数が小さくなるように設定してもよい。動作状況推定部２０３４は、制御対象となる効果器の位置の連続性を要する動作状況ほど、ジャークの大きさに対する重み係数が大きくなるように設定してもよい。

　動作状況推定部２０３４は、推定した動作状況に対応する駆動制御パラメータを定める。駆動制御パラメータは、ロボット２０２０を構成する各分節の駆動に対する制御特性に関するパラメータである。駆動制御パラメータは、駆動制御部２０４０をなす制御器が、各関節を駆動するアクチュエータに対する操作量を定める際に用いられる。記憶部２０４４には、動作状況ごとに駆動制御パラメータを示す駆動制御パラメータテーブルを予め記憶しておく。動作状況推定部２０３４は、駆動制御パラメータテーブルを参照し、推定した動作状況に対応する駆動制御パラメータを特定し、特定した駆動制御パラメータを駆動制御部２０４０に出力する。
例えば、制御器が、ＰＩＤ（Proportional-Integral-Differential）制御器である場合には、比例ゲイン（proportional gain）、積分ゲイン（integral gain）、および、微分ゲイン（differential gain）が駆動制御パラメータに含まれる。比例ゲインは、操作量の一成分である比例項を、その時点（現在）における目標値と出力値の偏差に乗じて算出するための利得である。積分ゲインは、操作量の他の成分である積分項を、その時点までの偏差の積分値に乗じて算出するための利得である。微分ゲインは、操作量のさらに他の成分である微分項を、その時点における偏差の微分値に乗じて算出するための利得である。動作状況推定部２０３４は、例えば、追従性を要する動作状況ほど、他の種類の利得よりも微分ゲインが相対的に大きくなるように個々の利得を定めてもよい。動作状況推定部２０３４は、例えば、柔軟性を要する動作状況ほど、他の種類よりも積分ゲインが相対的に大きくなるように個々の利得を定める。

　目標位置推定部２０３６は、その時点において最新の環境情報と操作情報を読み出し、読み出した環境情報と操作情報に基づいて、ロボット２０２０の効果器の目標位置を推定する。目標位置推定部２０３６は、推定した目標位置を示す目標位置情報を制御指令生成部２０３８に出力する。
　目標位置推定部２０３６は、目標位置を推定するため、例えば、機械学習モデルを用いる。動作状況推定部２０３４における機械学習モデルと区別するため、動作状況推定部２０３４における機械学習モデル、目標位置推定部２０３６における機械学習モデルを、それぞれ第１機械学習モデル、第２機械学習モデルと呼ぶことがある。

　目標位置推定部２０３６には、機械学習モデルに環境情報と操作情報が入力情報として入力されるとき、その入力情報に対応する目標位置に係る出力情報として得られるように学習されたパラメータセットを予め設定しておく。
　目標位置として、物体の表面のうち経験的に効果器により作用される可能性が高い位置が設定される。目標位置は、物体の形状に依存しうる。直径よりも高さの方が大きい縦長の円柱の場合に対しては、底面の中心、表面の中心、および高さ方向の中間点の横断面のうち、最も効果器に近接する位置が目標位置となる可能性が高くなることがある。機械学習モデルからの出力情報は、目標位置の座標を示す情報であってもよいし、これには限られない。出力情報には、例えば、目標位置が設定される物体、その物体の種類、形状、ならびに、方向、および、その物体における目標位置が設置される位置、などを示す情報が含まれてもよい。目標位置推定部２０３６は、その出力情報から目標位置の座標を定めることができる。

　また、目標位置推定部２０３６は、記憶部２０４４から、その時点において最新の操作者情報を読み出し、環境情報と操作情報の他、さらに操作者情報に基づいて、目標位置を推定してもよい。そのため、操作者情報により操作者が関心を有する事象が生じた方向も考慮した目標位置が推定される。但し、目標位置推定部２０３６には、機械学習モデルに環境情報と操作情報の他、操作者情報が入力情報として入力されるとき、その入力情報に対応する目標位置の座標値が出力情報として得られるように学習されたパラメータセットを予め設定しておく。

　但し、目標位置推定部２０３６は、必ずしも第２機械学習モデルを用いて目標位置を推定しなくてもよい。例えば、動作状況推定部２０３４から通知される動作状況が効果器の継続的な並進運動を伴わない動作状況である場合には、目標位置推定部２０３６は第２機械学習モデルを用いて目標位置を推定しない。かかる動作状況には、例えば、静止、回転、物体の把持、解放、物体表面の摩擦などがある。目標位置推定部２０３６は、第２機械学習モデルを用いて、目標位置を推定しない場合には、操作情報で示される操作者の手部の位置を目標位置として採用してもよい。
　なお、目標位置推定部２０３６は、第１機械学習モデル、第２機械学習モデルとして、例えば、ニューラルネットワーク、ランダムフォレスト、などの数理モデルを利用することができる。

　制御指令生成部２０３８は、目標位置推定部２０３６から入力される目標位置情報が示す目標位置に向けて、現在位置から効果器を移動させるための動作指令を生成する。「目標位置に向けて」または「目標位置に向かう」とは、目標位置への移動を目的とするが、目標位置への到達が保証されないという意味を含む。制御指令生成部２０３８は、記憶部２０４４に記憶された駆動状態情報を読み出し、駆動状態情報が示す各関節の角度と各分節の寸法に基づいて、効果器の現在位置を算出することができる。制御指令生成部２０３８は、駆動状態情報が示す各関節の角度と各分節の寸法に加え、各関節の角速度に基づいて、効果器の速度を算出することができる。制御指令生成部２０３８は、動作状況推定部２０３４から入力される特性パラメータと駆動状態情報（ロボット動作情報）に基づいて公知の逆運動学計算を行い、収束位置に効果器を移動させるように各関節の角度を定める。制御指令生成部２０３８は、定めた各関節の角度（関節角度）を示す動作指令（関節指令）を駆動制御部２０４０に出力する。

　特性パラメータに収束判定パラメータが含まれる場合、制御指令生成部２０３８は、逆運動学計算において、目標位置から収束判定パラメータで示される領域内におけるいずれかの位置を収束位置と定め、効果器２０３８の移動を停止してもよい。制御指令生成部２０３８は、効果器の現在位置が収束したか否かを判定する際、例えば、効果器の現在位置が、目標位置から特性パラメータで示される所定の距離の閾値以内であるか否かを判定する。効果器の位置が収束したと判定するとき、制御指令生成部２０３８は、動作停止を示す制御指令を生成し、駆動制御部２０４０に出力する。駆動制御部２０４０は、制御指令生成部２０３８から動作停止を示す制御指令が入力されるとき、個々の関節に対する目標値の更新を停止し、固定する。収束位置においては、制御指令生成部２０３８は効果器の速度をゼロとする拘束条件、または、駆動制御部２０４０は各関節の角速度をゼロとする拘束条件を課してもよい。

　収束特性パラメータに目的関数の因子ごとの重み係数が含まれる場合には、制御指令生成部２０３８は、逆運動学計算において、その重み係数と対応する因子を用いて合成される目的関数に基づいて最適化計算を行う。目的関数は、例えば、因子と、その重み係数との積の因子間の総和（加重和）で算出される。最適化計算において、制御指令生成部２０３８は、目標位置または収束位置に効果器が到着するまでに生ずる負荷を示す目的関数が極力小さくなるように再帰的に各関節の角度を算出してもよい。

　なお、目標位置推定部２０３６から目標位置情報が取得されない場合には、制御指令生成部２０３８は、操作情報で示される手部の位置を目標位置として採用してもよい。制御指令生成部２０３８は、逆運動学計算を行って、採用した目標位置に向けて現在位置から効果器を移動させるための各関節の角度を目標値とする動作指令を生成する。

　駆動制御部２０４０は、制御指令生成部２０３８から入力される制御指令、動作状況推定部２０３４から入力される駆動制御パラメータ、および、記憶部２０４４から読み出した駆動状態情報（ロボット動作情報）に基づいて駆動指令を定める。より具体的には、駆動制御部２０４０は、制御指令で示される関節ごとの角度を目標値として制御するための操作量を算出し、算出した操作量示す制御指令を定める制御器を含んで構成される。駆動制御部２０４０は、定めた制御指令を駆動部２０２４に出力する。制御器は、駆動状態情報が示す角度を出力値とし、その制御器に設定された制御方式に従って、目標値と出力値との偏差に駆動制御パラメータを作用して操作量を算出する。ＰＩＤ制御器は、偏差、偏差の時間積分値、偏差の時間微分値にそれぞれ比例ゲイン、積分ゲイン、微分ゲインを乗じて得られる乗算値の総和を操作量として算出する。

　通信部２０４２は、ロボット２０２０の各構成部と、他の構成部（即ち、表示装置２０５０、操作装置２０７０、および、環境情報取得部２０８０）との間で無線または有線で各種の情報を送受信する。通信部２０４２は、例えば、入出力インタフェース、通信インタフェースなどを含んで構成される。
　記憶部２０４４は、制御装置２０３０における各種の処理に用いられるデータ、制御装置２０３０が取得した各種のデータなどを一時的または恒常的に記憶する。記憶部２０４４は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only memory）などの記憶媒体を含んで構成される。

　表示装置２０５０は、表示部２０５２、視線検出部２０５４、動作検出部２０５６、制御部２０５８、および、通信部２０６０を含んで構成される。表示装置２０５０は、使用者である操作者の頭部に装着可能な支持部材を備え、ヘッドマウンテッドディスプレイ（ＨＭＤ：Head Mounted Display）として構成されてもよい。

　表示部２０５２は、環境情報取得部２０８０から制御装置２０３０を経由し、通信部２０６０を用いて画像データを受信する。表示部２０５２は、受信した画像データに基づき、ロボット２０２０の動作環境を示す画像を表示する。表示部２０５２は、操作者の頭部に装着されるとき、その画面が両眼の正面に対面する位置に配置されてもよい。
　視線検出部２０５４は、操作者の一方また両方の眼の視線方向を検出する視線センサを含んで構成される。視線検出部２０５４は、各時刻において検出した視線方向を示す視線情報を制御装置２０３０に通信部２０６０を用いて送信する。視線検出部２０５４は、操作者の頭部に装着されるとき、少なくとも一方の眼に露出される位置に配置されてもよい。
　動作検出部２０５６は、操作者の頭部の動作を検出し、検出した動作を示す第１操作者動作情報を制御装置２０３０に通信部２０６０を用いて送信する。動作検出部２０５６は、例えば、操作者の動作を検出するための加速度センサを含んで構成される。

　制御部２０５８は、表示装置２０５０の機能を制御する。制御部２０５８は、ＣＰＵ（Central Processing Unit）などのプロセッサを含んで構成される。
　通信部２０６０は、制御装置２０３０と各種の情報を送受信する。通信部２０６０は、通信インタフェースを含んで構成される。

　操作装置２０７０は、動作検出部２０７２、制御部２０７４、および、通信部２０７６を備える。操作装置２０７０は、使用者である操作者の手部に装着可能な支持部材を備え、データグローブ（data glove）として構成されてもよい。
　動作検出部２０７２は、操作者の手部の動作を検出し、検出した動作を示す第２操作者動作情報を制御装置２０３０に通信部２０７６を用いて送信する。動作検出部２０７２は、例えば、操作者の手部の動作を検出するための加速度センサを含んで構成される。操作装置２０７０には、さらに手首トラッカが接続されてもよい。手首トラッカは、操作者の手首に装着可能な支持部材と、手首の動作を検出するための加速度センサを含んで構成される。手首の動作を検出する加速度センサは、動作検出部２０７２の一部を構成する。第２操作者動作情報は、手首の動作を示す情報を含めて制御装置２０３０に送信される。

　制御部２０７４は、操作装置２０７０の機能を制御する。制御部２０７４は、ＣＰＵなどのプロセッサを含んで構成される。
　通信部２０７６は、制御装置２０３０と各種の情報を送受信する。通信部２０７６は、通信インタフェースを含んで構成される。
　なお、動作検出部２０７２は、表示装置２０５０の通信部２０６０と接続可能とし。通信部２０６０を経由して第２操作者動作情報を制御装置に送信してもよい。その場合には、制御部２０７４と通信部２０７６が省略されてもよい。

　環境情報取得部２０８０は、撮影部２０８２、測距部２０８４、および、通信部２０８６を備える。環境情報取得部２０８０は、ロボット２０２０の筐体に設置されてもよいし、ロボット２０２０と別個の位置に設置されてもよい。
　撮影部２０８２は、ロボット２０２０から所定範囲内の動作環境における画像を撮影する。動作環境には、ロボット２０２０の効果器が到達可能とする範囲が含まれる。撮影される画像にはロボット２０２０の像の全体が必ずしも含まれるとは限らない。撮影部２０８２は、所定時間ごとに画像を撮影するディジタルビデオカメラである。撮影部２０８２は、撮影した画像を示す画像データを制御装置２０３０に通信部２０８６を経由して送信する。

　測距部２０８４は、ロボット２０２０から所定範囲内の動作環境における物体の表面までの距離を測定する。測距部２０８４は、例えば、送波部、受波部、距離検出部を備える。送波部は、赤外線などの波動を送出する。送波部は、例えば、発光ダイオードを含んで構成される。受波部は、物体の表面において反射により生じた反射波を受波する。受波部は、例えば、フォトダイオードを含んで構成される。反射波は、送波部から送出された波動は、物体の表面に入射波として入射したことに応じて生ずる。距離検出部は、送出波と反射波との位相差を検出し、検出した位相差に基づいて物体の表面までの距離を定めることができる。距離検出部は、画像の各画素に対応する方向ごとに定めた距離を示す距離データを制御装置２０３０に通信部２０８６を経由して送信する。なお、距離の計測に用いられる波動は、赤外線に限られず、ミリ波、超音波、などであってもよい。
　通信部２０８６は、制御装置２０３０と各種の情報を送受信する。通信部２０８６は、通信インタフェースを含んで構成される。
　なお、環境情報取得部２０８０がロボット２０２０の筐体に設置され、ロボット２０２０の他の機能部と各種の情報を送受信できる場合には、通信部２０８６が省略されてもよい。

（ハードウェア構成）
　次に、本実施形態に係る制御装置２０３０のハードウェア構成例について説明する。
　図１９は、本実施形態に係る制御装置２０３０のハードウェア構成例を示す概略ブロック図である。制御装置２０３０は、プロセッサ２１０２、ＲＯＭ２１０４、ＲＡＭ２１０６、補助記憶部２１０８、および、入出力部２１１０を含んで構成されるコンピュータとして機能する。プロセッサ２１０２、ＲＯＭ２１０４、ＲＡＭ２１０６、補助記憶部２１０８および入出力部２１１０は、相互に各種のデータを入出力可能に接続される。

　プロセッサ２１０２は、例えば、ＲＯＭ２１０４に記憶されたプログラムや各種のデータを読み出し、当該プログラムを実行して、制御装置２０３０の各部の機能を実現するための処理や、その機能を制御するための処理を実行する。プロセッサ２１０２は、例えば、ＣＰＵである。
　なお、本願では、プログラムに記述された各種の命令（コマンド）で指示された処理を実行することを、「プログラムの実行」または「プログラムを実行する」などと呼ぶことがある。

　ＲＯＭ２１０４は、例えば、プロセッサ２１０２が実行するためのプログラムを記憶する。
　ＲＡＭ２１０６は、例えば、プロセッサ２１０２で用いられる各種データ、プログラムを一時的に保存する作業領域として機能する。
　補助記憶部２１０８は、各種のデータを永続的に記憶する。補助記憶部２１０８には、制御装置２０３０が取得したデータを記憶する。補助記憶部２１０８は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの記憶媒体を備える。

　入出力部２１１０は、例えば、他の機器と無線または有線で各種のデータ入出力可能とする。入出力部２１１０は、他の機器とネットワークを経由して接続されてもよい。入出力部は、例えば、入出力インタフェースと通信インタフェースの一方または両方を備える。
　なお、表示装置２０５０、操作装置２０７０、および環境情報取得部２０８０も、図１９に例示されるハードウェア構成と同様のハードウェア構成を備え、各装置としての機能を実現するコンピュータとして構成されてもよい。

（動作制御処理）
　次に、本実施形態に係る動作制御処理の一例について説明する。図２０は、本実施形態に係る動作制御処理の一例を示すフローチャートである。
（ステップＳ２１０２）動作状況推定部２０３４は、その時点において最新の環境情報、操作情報および視線情報を取得し、これらに基づいてロボット２０２０の動作状況を推定する。
（ステップＳ２１０４）動作状況推定部２０３４は、特性パラメータテーブルおよび駆動制御パラメータテーブルを参照し、推定した動作状況に対応する特性パラメータおよび駆動制御パラメータをそれぞれ定める。

（ステップＳ２１０６）目標位置推定部２０３６は、その時点において最新の環境情報、操作情報および視線情報を取得し、これらに基づいてロボット２０２０の効果器の目標位置を推定する。
（ステップＳ２１０８）制御指令生成部２０３８は、定めた特性パラメータに基づいて現在位置から目標位置に向けて効果器を移動させるための制御指令を生成する。
（ステップＳ２１１０）駆動制御部２０４０は、駆動制御パラメータを用い、各関節の角度を制御指令に示される目標値に制御する駆動指令を生成する。

（ステップＳ２１１２）制御指令生成部２０３８は、効果器の位置が収束したか否かを判定する。制御指令生成部２０３８は、例えば、効果器の現在位置が、目標位置から特性パラメータで示される所定の距離の閾値以内であるか否かにより、収束したか否かを判定することができる。効果器の位置が収束したと判定するとき（ステップＳ２１１２　ＹＥＳ）、動作の停止を示す制御指令を生成し、駆動制御部２０４０に出力する。これにより、ロボット２０２０の動作を停止させる。その後、図２０の処理を終了する。効果器の位置が収束していないと判定するとき（ステップＳ２１１２　ＮＯ）、ステップＳ２１０２の処理に戻る。

＜第４の実施形態＞
　次に、本発明の第４の実施形態について説明する。以下の説明では、第３の実施形態との差異を主とし、第３の実施形態と共通の機能、構成については、特に断らない限り第３の実施形態に係る説明を援用する。本実施形態に係るロボットシステムの機能構成について、図２１の他、図２２も参照しながら説明する。図２１は、本実施形態に係るロボットシステムＳ２００１の構成例を示す概略ブロック図である。図２２は、本実施形態に係る制御装置２０３０の一部の機能構成例を示すブロック図である。

　本実施形態に係るロボットシステムＳ２００１は、ロボット２０２０の位置を示す位置情報と、操作状況を示す操作情報に基づき、現時刻から所定の予測時間後の予測時刻までのロボット２０２０の効果器の予測軌道を定める。ロボットシステムＳ２００１は、定めた予測軌道に基づいて制御指令を生成する。本実施形態に係るロボットシステムＳ２００１は、制御装置２０３０において軌道予測部２０４６をさらに備える。

　軌道予測部２０４６は、少なくともその時点におけるロボット２０２０の動作を示すロボット動作情報（駆動状態情報）と操作情報を用いて現在から所定の予測時間後である予測時刻までのロボット２０２０の効果器の動作を示す予測軌道を予測する。操作情報は、効果器に対する加速もしくは減速、または方向変更との組み合わせの要因となる。軌道予測部２０４６は、例えば、現在までの所定期間内の駆動状態情報と操作情報に対して線形予測を行い、予測時刻までの効果器の位置と速度を算出する。軌道予測部２０４６は、予測時刻までの各時刻における効果器の位置の時系列は予測軌道を構成する。予測時間とは、現在から予測時刻までの経過時間を示し、予測のために費やされる時間ではない。

　軌道予測部２０４６は、例えば、カルマンフィルタを用いて効果器の位置を逐次に予測してもよい。カルマンフィルタは、（ａ）予測ステップおよび（ｂ）更新ステップを有し、それらのステップを順次繰り返す手法である。（ａ）予測ステップでは、軌道予測部２０４６は、前時刻までの効果器の状態量の時間発展（加重和）と外力とを加算して、現在の効果器の状態量の推定値を算出する。但し、状態量は、位置と速度を要素として有するベクトルである。外力は、速度と加速度を要素として有するベクトルである。速度は、駆動状態情報に示される各関節の角度ならびに角速度と、分節の寸法に基づいて算出される。加速度は、駆動状態情報に示される各関節の角度、各速度ならびに角加速度と、分節の寸法に基づいて算出される。また、軌道予測部２０４６は、前時刻までの状態量の予測誤差の時間発展と誤差の時間発展とを加算して、現在の予測誤差を算出する。（ｂ）更新ステップでは、軌道予測部２０４６は、効果器の現在位置（観測値）から現在における効果器の位置の推定値の差を観測残差して算出する。軌道予測部２０４６は、現在の予測誤差から現在の観測誤差の共分散を算出する。軌道予測部２０４６は、現在の予測誤差と観測残差の共分散からカルマンゲインを算出する。軌道予測部２０４６は、現在の効果器の状態量の推定値と、観測残差とカルマンゲインの積を加算して得られる値に現在の効果器の状態量を更新する。軌道予測部２０４６は、１からカルマンゲインを乗じた観測空間への写像の残差との予測誤差を乗じて得られる値に現在の予測誤差を更新する。

　予測時間は、所定の値（例えば、０．２ｓ－２ｓ）に固定されていてもよいし、可変であってもよい。予測時間として、操作者の動作がロボット２０２０の動作として表れるまでの遅延時間（「追従遅れ」とも呼ばれる）と等しいか、それ以下となる値を設定しておく。予測時間が大きいほど効果器の位置の予測誤差が大きくなり、却って操作性を損なうおそれがある。
　予測時間を可変にする場合には、記憶部２０４４に予め動作状況ごとに予測時間を示す予測時間テーブルを記憶させておいてもよい。特に予測時間が遅延時間を超えると操作者の動作よりもロボット２０２０の動作の方が先行するため、予測誤差が著しくなるおそれが生じうる。そのため、遅延時間を予測時間の上限として設定しておいてもよい。動作状況推定部２０３４は、上記の手法を用いてロボット２０２０の動作状況を推定し、予測時間テーブルを参照して、推定した動作状況に対応する予測時間を特定することができる。

　動作状況推定部２０３４は、制御対象となる効果器の位置の正確性が要求される動作状況ほど、より小さい予測時間を設定してもよい。かかる動作状況は、効果器の予測誤差が許容されない代わりに遅延が許容される動作状況である。例えば、操作対象物が微細な物体である場合、操作者の操作が繊細である場合、などが該当する。動作状況推定部２０３４は、効果器の位置の即応性が要求される動作状況ほど、より大きい予測時間を設定してもよい。かかる動作状況として、予測誤差が許容される代わりに操作に対する効果器の応答性が期待される動作状況に適する。例えば、効果器を目標とする物体に向けて大局的に動作させる場合、効果器を他の物体が所在していない空間に退避させる場合、などが該当する。

　動作状況推定部２０３４は、特定した予測時間を示す予測時間情報を軌道予測部２０４６に出力する。軌道予測部２０４６は、動作状況推定部２０３４から入力される予測時間情報に示される予測時間を用いて定まる予測時刻までの効果器の位置と速度を算出する。軌道予測部２０４６は、少なくとも現在から予測時刻までの効果器の位置と速度を示す予測軌道を示す予測軌道情報を制御指令生成部２０３８に出力する。

　制御指令生成部２０３８は、目標位置に向けて現在位置から効果器を移動させるための動作指令を生成する際、駆動状態情報に代え、軌道予測部２０４６から入力される予測軌道と、動作状況推定部２０３４から入力される特性パラメータに基づいて公知の逆運動学計算を行い、収束位置に効果器を移動させるように各関節の角度を定める。これに対し、現在までの駆動状態情報は、現在までの各時刻の効果器の位置を示す実軌道とみなすこともできる。補実施形態では、実軌道に代えて予測軌道を用いることで効果器の動作の遅れを補償することができる。

　また、本実施形態に係る駆動制御部２０４０に備わる制御器は、フィードバック項で算出される第１成分とフィードフォワード項で算出される第２成分を合成して操作量を算出してもよい。フィードバック項とは、目標値と出力値との偏差に基づいて操作量の一部の成分である第１成分を算出する項である。目標値として、目標位置に対応する各関節の角度が用いられる。出力値として、駆動状態情報に示される各関節の角度が用いられる。この出力値は、その時点における効果器の現在位置に対応する。上記のＰＩ制御、ＰＩＤ制御は、第２成分を含めずに第１成分を操作量として定める手法に相当する。つまり、上記の比例項、積分項、および、微分項が、それぞれ第１成分に含まれる。フィードフォワード項とは、出力値を考慮せず、目標値に基づいて操作量の他の成分である第２成分を算出する項である。第２成分は、目標値に比例する第２比例項を含む。第２比例項は、目標値に第２比例ゲインを乗じて得られる。

　そこで、駆動制御パラメータテーブルには、個々の動作状況に対応する駆動制御パラメータとして、第１成分に係る第１利得（上記の比例ゲイン、積分ゲイン、微分ゲインのいずれか、または、これらの組み合わせが該当）の他、第２成分に係る第２利得を含めて設定しておく。第２利得には、第２比例ゲインが含まれる。第２成分には、さらに目標値の時間積分値に比例する第２積分項と目標値の時間微分値に比例する第２微分項の一方または両方を含んでもよい。第２積分項は、目標値に第２積分ゲインを乗じて得られる。第２微分項は、目標値に第２微分ゲインを乗じて得られる。第２利得には、さらに第２積分ゲインと第２微分ゲインの一方または両方が含まれる。そして、動作状況に応じて、第１利得と第２利得の比が異なっていてもよい。例えば、制御対象となる効果器の位置の正確性が要求される動作状況ほど、第２因子に対する第１因子の比を相対的に大きくするように、第１利得と第２利得を定めておけばよい。かかる動作状況においては、フィードバック項が相対的に重視される。また、効果器の位置の即応性が要求される動作状況ほど、第１因子に対する第２因子の比を相対的に大きくするように、第１利得と第２利得を定めておけばよい。かかる動作状況においては、フィードフォワード項が相対的に重視される。

　動作状況推定部２０３４は、駆動制御パラメータテーブルを参照して、推定した動作状況に対応する第１利得と第２利得を含む駆動制御パラメータを特定し、特定した駆動制御パラメータを駆動制御部２０４０に出力する。駆動制御部２０４０は、動作状況推定部２０３４から入力される駆動制御パラメータに示す第１利得と第２利得に基づいて、それぞれ関節ごとに第１因子と第２因子を算出し、算出した第１因子と第２因子を合成して操作量を定める。駆動制御部２０４０は、関節ごとに定めた操作量を示す駆動指令を駆動部２０２４に出力する。
　なお、本実施形態に係る制御器は、第１成分を含めずに、第２成分を操作量として定めてもよい。その場合には、第１利得の設定は省略されてもよい。

（動作制御処理）
　次に、本実施形態に係る動作制御処理の一例について説明する。図２３は、本実施形態に係る動作制御処理の一例を示すフローチャートである。図２３に示す処理は、図２０に示す処理に対して、さらにステップＳ２１２２、Ｓ２１２４、および、Ｓ２１２６の処理を有する。
　目標位置推定部２０３６がステップＳ２１０６の処理を終了した後、ステップＳ２１２２の処理に進む。
（ステップＳ２１２２）動作状況推定部２０３４は、予測時間テーブルを参照して、自部が定めた動作状況に対応する予測時間を定める。
（ステップＳ２１２４）軌道予測部２０４６は、ロボット動作情報と操作情報を用いて、現在から定めた予測時間後である予測時刻までの効果器の予測軌道を推定する。
（ステップＳ２１２６）制御指令生成部２０３８は、予測軌道と特性パラメータを用いて、目標位置に向けて効果器を移動させる各関節の角度を目標値として示す制御指令を生成する。その後、ステップＳ２１１０の処理に進む。

　なお、ステップＳ２１２２において、動作状況推定部２０３４は、駆動制御パラメータテーブルを参照して、動作状況に対応する駆動制御パラメータを特定してもよい。
　ステップＳ２１１０において、駆動制御部２０４０は、特定された駆動制御パラメータを用いて、目標値と、目標値と出力値の偏差に基づいて、それぞれ第１因子と、第２因子を算出し、算出した第１因子と第２因子を合成して操作量を定めてもよい。駆動制御部２０４０は、定めた操作量を示す駆動指令を生成し、生成した駆動指令を駆動部２０２４に出力する。

　以上に説明したように、本実施形態に係る制御装置２０３０は、少なくともロボット２０２０の動作環境を示す環境情報と、操作状況を示す操作情報に基づき、ロボット２０２０の動作状況を推定する動作状況推定部２０３４を備える。制御装置２０３０は、操作情報に基づきロボット２０２０の効果器を動作させるための制御指令を生成する制御指令生成部２０３８を備える。制御装置２０３０は、制御指令に基づいてロボット２０２０の動作を制御する駆動制御部２０４０、を備える。制御指令生成部２０３８は、動作状況に対応する制御特性に関する特性パラメータに基づいて制御指令を定める。
　この構成によれば、動作環境と操作状況に基づいて推定される動作状況に応じて、操作情報を用いて効果器の動作が制御される。動作状況に応じて効果器が操作されるので、ロボット２０２０による作業効率が向上する。

　また、動作状況推定部２０３４は、さらにロボットを操作する操作者の状況を示す操作者情報に基づいて動作状況を推定してもよい。
　この構成によれば、さらに操作者の状況を参照して動作状況が的確に推定される。そのため、ロボット２０２０による作業効率がさらに向上する。

　また、制御装置２０３０は、少なくとも操作情報と環境情報に基づいて効果器の目標位置を推定する目標位置推定部２０３６を、さらに備えてもよい。
　この構成によれば、動作環境と操作状況に基づいて定めた目標位置に向けて効果器が移動するようにロボット２０２０の動作が制御される。操作者は、目標位置を正確に指示するための操作を行わずに済むため、ロボット２０２０による作業効率がさらに向上する。

　また、制御指令生成部２０３８は、特性パラメータに基づいて効果器を目標位置に向けて駆動させる操作量を定めてもよい。特性パラメータは、目標位置への収束判定条件を示す収束判定パラメータを含んでもよい。
　この構成によれば、動作状況に応じて効果器の位置が目標位置に収束したと判定される収束判定条件が定まる。そのため、動作状況に応じて要求または期待される位置の正確性または解の安定性を実現することができる。

　制御指令生成部２０３８は、効果器を前記目標位置に向けて動作させるための負荷を示す目的関数に基づいて操作量を定めてもよい。目的関数は、複数種類の因子を合成してなる関数であり、特性パラメータは、因子ごとの重みを含んでもよい。
　この構成によれば、動作状況に応じて効果器の動作に係る負荷の因子に対する重みが定まる。そのため、動作状況に応じて要求または期待される種類の因子が低減されるように動作特性を調整することができる。

　駆動制御部２０４０は、特性パラメータに基づいて制御指令に基づく目標値と、効果器を駆動させる動作機構からの出力値との偏差が低減するように操作量を定めてもよい。特性パラメータは、偏差の操作量に対する利得を含んでもよい。
　この構成によれば、動作状況に応じて目標値と出力値との偏差の操作量に対する利得が調整される。動作状況に応じて効果器を目標位置に動作させる速度を調整できるので、操作者によるロボットを用いた作業が効率化する。

　また、制御装置２０３０は、少なくともロボット２０２０の動作を示す動作情報と、操作状況を示す操作情報に基づき、現時刻から所定の予測時間後の予測時刻までのロボット２０２０の効果器の予測軌道を定める軌道予測部２０４６と、予測軌道に基づいて制御指令を生成する制御指令生成部２０３８と、を備える。
　この構成によれば、現時刻より後の予測時刻までの効果器の予測軌道に基づいて生成された制御指令に従ってロボット２０２０の効果器が駆動されるため、操作がロボット２０２０の動作に反映されるまでの遅延（追従遅れ）が低減または解消される。操作者にとり操作感が向上するため、作業効率の向上と負担軽減を両立することができる。

　また、制御装置２０３０は、少なくともロボット２０２０の動作環境を示す環境情報と、操作情報に基づき、ロボット２０２０の動作状況を推定する動作状況推定部２０３４をさらに備えてもよい。軌道予測部２０４６は、動作状況に基づいて予測時間を定めてもよい。
　この構成によれば、ロボット２０２０の動作環境と操作状況から推定されるロボット２０２０の動作状況に応じて予測時間が定まる。そのため、動作状況に応じて操作感の向上と制御される効果器の位置の正確性のバランスが調整される。

　また、制御装置２０３０は、予測軌道をなす時刻ごとの効果器の目標位置を与えるロボット２０２０の動作機構の変位の目標値に基づいて動作機構に対する操作量を定める駆動制御部２０４０を備えてもよい。動作状況推定部２０３４は、動作状況に基づいて、目標値の利得を定めてもよい。
　この構成によれば、動作状況に応じて動作機構に対する操作量に対する目標値の寄与が調整される。そのため、動作状況に応じて操作者の操作に対する効果器の動作の感受性が調整される。

　また、駆動制御部２０４０は、効果器の現在位置を与える変位の出力値と目標値との偏差と第１利得に基づく第１成分と、目標値と第２利得に基づく第２成分を合成して操作量を定めてもよい。動作状況推定部２０３４は、動作状況に基づいて、第１利得と第２利得を定めてもよい。
　この構成によれば、動作状況に応じてフィードバック項とフィードフォワード項とのバランスが調整される。そのため、動作状況に応じて操作者の操作に対する効果器の動作の感受性と正確性とのバランスが調整される。

　また、動作状況推定部２０３４は、さらにロボットを操作する操作者の状況を示す操作者情報に基づいて動作状況を推定してもよい。
　この構成によれば、さらに操作者の状況を参照して動作状況が的確に推定される。そのため、ロボット２０２０による作業効率がさらに向上し作業負担の軽減がさらに促進される。

　以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

　上記の実施形態およびその変形例は、矛盾が生じない限り相互に組み合わされてもよいし、その一部が省略されてもよい。
　例えば、上記の各実施形態において、目標位置推定部２０３６が省略されてもよいし、さらに、目標位置推定部２０３６により推定された目標位置に基づく処理が省略されてもよい。
　第４の実施形態において、予測時間が固定の場合には、動作状況推定部２０３４が省略されてもよいし、さらに、動作状況に基づく処理が省略されてもよい。

　環境情報取得部２０８０において、測距部２０８４は、撮影部２０８２と一体化され、三次元画像撮影部として構成されてもよい。また、環境情報取得部２０８０は、撮影部２０８２と測距部２０８４に代えて、多視点撮影部を備えてもよい。多視点撮影部は、複数の視点を有し、視点ごとに画像を撮影することができる撮影部である。多視点撮影部には、いわゆるステレオカメラが含まれる。多視点撮影部が撮影した視点ごとの画像（多視点画像）により、ロボット２０２０の動作環境が立体的に表現される。目標位置推定部２０３６は、多視点画像を解析することで、ロボット２０２０の動作環境から物体が占める領域を特定することができる。

　また、表示装置２０５０の一部または全部が省略されてもよい。視線情報が操作者の一方の眼（例えば、左眼）の視線方向を示す場合を主として説明したが、これには限られない。視線情報は、左眼、右眼それぞれの視線方向を示してもよい。ある時刻において一方の眼の視線方向が利用できない場合（例えば、瞬き）には、目標位置推定部２０３６は、注目点を定める際に他方の眼の視線方向を用いてもよい。両眼の視線方向が利用できる場合には、目標位置推定部２０３６は、両眼それぞれの視線方向の線分が交わる交点、もしくは、それらの線分それぞれの最近接点の中点を注視点として定めてもよい。そして、目標位置推定部２０３６は、頭部から注視点への方向を両眼の視線方向を代表する視線方向と定め、定めた視線方向と物体の表面との交点を定めてもよい。定めた交点が目標位置の設定に用いられる。

　ロボット２０２０は、複数のマニピュレータを備えてもよい。複数のマニピュレータは、複数名の操作者の各一方の前腕部ならびに手部に対応してもよい。個々のマニピュレータは、操作者の各一方の前腕部ならびに手部の動作に応じて動作可能とする。制御装置２０３０は、上記の手法を用いてマニピュレータごとに１個の目標位置を定め、定めた目標位置に向けて動作させてもよい。ロボット２０２０は、２個のマニピュレータを備える双腕型ロボットであってもよい。双腕型ロボットに対しては、例えば、一方および他方のマニピュレータが、それぞれ１名の操作者の左手、右手に対応してもよい。

　１…ロボット遠隔操作制御システム、２…ロボット、３…ロボット遠隔操作制御装置、５…ＨＭＤ、６…コントローラー、７…環境センサ、２１…制御部、２２…駆動部、２３…収音部、２５…記憶部、２６…電源、２７…センサ、３１…情報取得部、３３…意図推定部、３４…把持方法決定部、３５…ロボット状態画像作成部、３６…送信部、３７…記憶部、５１…画像表示部、５２…視線検出部、５３…センサ、５４…制御部、５５…通信部、６１…センサ、６２…制御部、６３…通信部、６４…フィードバック手段、７１…撮影装置、７２…センサ、７３…物体位置検出部、７４…通信部
　１００１…ロボット遠隔操作制御システム、１００２…ロボット、１００３…ロボット遠隔操作制御装置、１００５…ＨＭＤ、１００６…コントローラー、１００７…環境センサ、１０２１…制御部、１０２２…駆動部、１０２３…収音部、１０２５…記憶部、１０２６…電源、１０２７…センサ、１２２１…把持部、１０３１…情報取得部、１０３３…意図推定部、１０３４…制御指令生成部、１０３５…ロボット状態画像作成部、１０３６…送信部、１０３７…記憶部、１０５１…画像表示部、１０５２…視線検出部、１０５４…制御部、１０５５…通信部、１０６１…センサ、１０６２…制御部、１０６３…通信部、１０６４…フィードバック手段、１０７１…撮影装置、１０７２…センサ、１０７３…通信部
　Ｓ２００１…ロボットシステム、２０２０…ロボット、２０２４…駆動部、２０２６…駆動センサ、２０２８…電源、２０３０…制御装置、２０３２…情報取得部、２０３４…動作状況推定部、２０３６…目標位置推定部、２０３８…制御指令生成部、２０４０…駆動制御部、２０４２…通信部、２０４４…記憶部、２０４６…軌道予測部、２０５０…表示装置、２０５２…表示部、２０５４…視線検出部、２０５６…動作検出部、２０５８…制御部、２０６０…通信部、２０７０…操作装置、２０７２…動作検出部、２０７４…制御部、２０７６…通信部、２０８０…環境情報取得部、２０８２…撮影部、２０８４…測距部、２０８６…通信部

Claims

　物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、
　前記ロボットを操作する操作者の状態の操作者状態情報を取得する情報取得部と、
　前記操作者状態情報に基づき前記操作者が前記ロボットに行わせようとしている動作意図を推定する意図推定部と、
　前記推定された前記操作者の動作意図に基づいた前記物体の把持方法を決定する把持方法決定部と、
　を備えるロボット遠隔操作制御装置。
　前記意図推定部は、操作者状態情報に基づき前記操作者の姿勢を分類することで、前記ロボットの姿勢の分類を決定して前記操作者の動作意図を推定する、
　請求項１に記載のロボット遠隔操作制御装置。
　前記意図推定部は、前記操作者状態情報に基づき、把持させたい物体の持ち方および前記把持させたい物体のうちの少なくとも１つを推定することで、前記操作者の動作意図を推定する、
　請求項１に記載のロボット遠隔操作制御装置。
　前記意図推定部は、前記操作者状態情報に基づき、把持させたい物体を推定し、前記推定した物体に関連する前記把持させたい物体の持ち方を推定することで、前記操作者の動作意図を推定する、
　請求項１に記載のロボット遠隔操作制御装置。
　前記意図推定部は、前記操作者状態情報に基づき、把持させたい物体の把持の仕方を推定し、推定した前記把持させたい物体の把持の仕方に基づいて前記把持させたい物体を推定することで、前記操作者の動作意図を推定する、
　請求項１に記載のロボット遠隔操作制御装置。
　前記操作者状態情報は、前記操作者の視線情報、前記操作者の腕部の動き情報、および前記操作者の頭部の動き情報のうちの少なくとも１つである、
　請求項１から請求項５のうちのいずれか１項に記載のロボット遠隔操作制御装置。
　前記情報取得部は、前記物体の位置情報取得し、
　前記把持方法決定部は、取得された前記物体の位置情報も用いて把持させたい物体と前記物体の把持方法を推定する、
　請求項１から請求項６のうちのいずれか１項に記載のロボット遠隔操作制御装置。
　前記把持方法決定部は、前記ロボットが備える把持部の位置情報を取得し、操作者状態情報に基づき前記把持部の位置情報を補正する、
　請求項１から請求項７のうちのいずれか１項に記載のロボット遠隔操作制御装置。
　ロボット状態画像作成部、をさらに備え、
　前記意図推定部は、撮影装置が撮影した画像に基づく前記物体に関する情報を取得し、
　前記ロボット状態画像作成部は、前記物体に関する情報と、前記把持部の位置情報と、前記操作者状態情報と、補正した前記把持部の位置情報とに基づいて、前記操作者に提供する画像を生成する、
　請求項８に記載のロボット遠隔操作制御装置。
　前記物体を把持する把持部と、
　前記把持部の位置情報を検出する検出部と、
　を備えるロボットと、
　請求項１から請求項９のうちのいずれか１つに記載の前記ロボット遠隔操作制御装置と、
　前記物体の位置情報を検出する環境センサと、
　前記ロボットを操作する操作者の状態の操作者状態情報を検出するセンサと、
　を備えるロボット遠隔操作制御システム。
　物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、
　情報取得部が、前記ロボットを操作する操作者の状態の操作者状態情報を取得し、
　意図推定部が、前記操作者状態情報に基づき前記操作者が前記ロボットに行わせようとしている動作意図を推定し、
　把持方法決定部が、前記推定された前記操作者の動作意図に基づいた前記物体の把持方法を決定する、
　ロボット遠隔操作制御方法。
　物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、
　コンピュータに、
　前記ロボットを操作する操作者の状態の操作者状態情報を取得させ、
　前記操作者状態情報に基づき前記操作者が前記ロボットに行わせようとしている動作意図を推定させ、
　前記推定された前記操作者の動作意図に基づいた前記物体の把持方法を決定させる、
　プログラム。
　操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
　前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られたロボット環境センサ値と、操作者センサによって得られた前記操作者の動きである操作者センサ値と、に基づいて前記操作者の動作を推定する意図推定部と、
　推定された前記操作者の動作に基づいて、前記操作者の動作のうち一部の自由度に対して適切な制御指令を生成することで、前記操作者の動作の自由度を減らして制御指令を生成する制御指令生成部と、
　を備えるロボット遠隔操作制御装置。
　前記制御指令生成部は、前記操作者が制御すべき自由度や制御可能な範囲を制限し、前記操作者による前記ロボットへの動作指示のうち制限した前記自由度に対して動作補助を行う、
　請求項１３に記載のロボット遠隔操作制御装置。
　前記制御指令生成部は、
　前記ロボットが備える把持部と、前記操作者による操作対象の対象物体との距離が所定範囲外の場合、前記操作者の動作のうち、前記操作者の動作の自由度を減らさず、
　前記ロボットが備える把持部と、前記操作者による操作対象の対象物体との距離が所定範囲内の場合、前記操作者の動作のうち、前記操作者の動作の自由度を減らす、
　前記ロボット環境センサ値は、撮影された画像情報、および深度情報を有する、
　請求項１３または請求項１４に記載のロボット遠隔操作制御装置。
　前記意図推定部は、
　前記ロボット環境センサ値と、前記操作者センサ値とを学習済みの意図推定モデルに入力して前記操作者の動作を推定する、
　請求項１３から請求項１５のうちのいずれか１項に記載のロボット遠隔操作制御装置。
　前記操作者センサ値は、前記操作者の視線情報、および前記操作者の腕部の姿勢や位置に関する情報である操作者腕部情報をのうちの少なくとも１つである、
　請求項１３から請求項１６のうちのいずれか１項に記載のロボット遠隔操作制御装置。
　前記ロボット環境センサ値は、撮影された画像情報、および深度情報を有する、
　請求項１３から請求項１７のうちのいずれか１項に記載のロボット遠隔操作制御装置。
　操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
　請求項１３から請求項１８のうちのいずれか１つに記載の前記ロボット遠隔操作制御装置と、
　物体を把持する把持部と、
　前記ロボットあるいは前記ロボットの周辺環境に設置され、ロボット環境センサ値を検出する環境センサと、
　前記操作者の動きを操作者センサ値として検出する操作者センサと、
　を備えるロボット遠隔操作制御システム。
　操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
　意図推定部が、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られたロボット環境センサ値と、操作者センサによって得られた前記操作者の動きである操作者センサ値と、に基づいて前記操作者の動作を推定し、
　制御指令生成部が、推定された前記操作者の動作に基づいて、前記操作者の動作のうち一部の自由度に対して適切な制御指令を生成することで、前記操作者の動作の自由度を減らして制御指令を生成する、
　ロボット遠隔操作制御方法。
　操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
　コンピュータに、
　前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られたロボット環境センサ値と、操作者センサによって得られた前記操作者の動きである操作者センサ値と、に基づいて前記操作者の動作を推定させ、
　推定された前記操作者の動作に基づいて、前記操作者の動作のうち一部の自由度に対して適切な制御指令を生成させることで、前記操作者の動作の自由度を減らして制御指令を生成させる、
　プログラム。
　少なくともロボットの動作環境を示す環境情報と、操作状況を示す操作情報に基づき、前記ロボットの動作状況を推定する動作状況推定部と、
　前記操作情報に基づき前記ロボットの効果器を動作させるための制御指令を生成する制御指令生成部と、
　前記制御指令に基づいて前記ロボットの動作を制御する駆動制御部と、を備え、
　前記制御指令生成部は、
　前記動作状況に対応する制御特性に関する特性パラメータに基づいて前記制御指令を定める
　制御装置。
　前記動作状況推定部は、
　さらに前記ロボットを操作する操作者の状況を示す操作者情報に基づいて前記動作状況を推定する
　請求項２２に記載の制御装置。
　少なくとも前記操作情報と前記環境情報に基づいて前記効果器の目標位置を推定する目標位置推定部を、さらに備える
　請求項２２または請求項２３に記載の制御装置。
　前記制御指令生成部は、
　前記特性パラメータに基づいて前記効果器を前記目標位置に向けて駆動させる操作量を定め、
　前記特性パラメータは、前記目標位置への収束判定条件を示す収束判定パラメータを含む
　請求項２４に記載の制御装置。
　前記制御指令生成部は、
　前記効果器を前記目標位置に向けて動作させるための負荷を示す目的関数に基づいて前記操作量を定め、
　前記目的関数は、複数種類の因子を合成してなる関数であり、
　前記特性パラメータは、前記因子ごとの重みを含む
　請求項２５に記載の制御装置。
　前記駆動制御部は、
　前記特性パラメータに基づいて前記制御指令に基づく目標値と、前記効果器を駆動させる動作機構からの出力値との偏差が低減するように前記操作量を定める
　前記特性パラメータは、前記偏差の前記操作量に対する利得を含む
　請求項２５または請求項２６に記載の制御装置。
　コンピュータに請求項２２から請求項２７のいずれか一項に記載の制御装置として機能させるためのプログラム。
　請求項２２から請求項２７のいずれか一項に記載の制御装置と前記ロボットを備える
　ロボットシステム。
　制御装置における制御方法であって、
　前記制御装置が、
　少なくともロボットの動作環境を示す環境情報と、操作状況を示す操作情報に基づき、前記ロボットの動作状況を推定する第１ステップと、
　前記操作情報に基づき前記ロボットの効果器を動作させるための制御指令を生成する第２ステップと、
　前記制御指令に基づいて前記ロボットの動作を制御する第３ステップと、を実行し、
　前記第２ステップは、
　前記動作状況に対応する制御特性に関する特性パラメータに基づいて前記制御指令を定める
　制御方法。
　少なくともロボットの動作を示す動作情報と、操作状況を示す操作情報に基づき、現時刻から所定の予測時間後の予測時刻までの前記ロボットの効果器の予測軌道を定める軌道予測部と、
　前記予測軌道に基づいて制御指令を生成する制御指令生成部と、を備える
　制御装置。
　少なくとも前記ロボットの動作環境を示す環境情報と、前記操作情報に基づき、前記ロボットの動作状況を推定する動作状況推定部をさらに備え、
　前記軌道予測部は、
　前記動作状況に基づいて前記予測時間を定める
　請求項３１に記載の制御装置。
　前記予測軌道をなす時刻ごとの前記効果器の目標位置を与える前記ロボットの動作機構の変位の目標値に基づいて前記動作機構に対する操作量を定める駆動制御部を備え、
　前記動作状況推定部は、
　前記動作状況に基づいて、前記目標値の利得を定める
　請求項３２に記載の制御装置。
　前記駆動制御部は、
　前記効果器の現在位置を与える前記変位の出力値と前記目標値との偏差と第１利得に基づく第１成分と、前記目標値と第２利得に基づく第２成分を合成して前記操作量を定め、
　前記動作状況推定部は、
　前記動作状況に基づいて、前記第１利得と前記第２利得を定める
　請求項３３に記載の制御装置。
　前記動作状況推定部は、
　さらに前記ロボットを操作する操作者の状況を示す操作者情報に基づいて前記動作状況を推定する
　請求項３２から請求項３４のいずれか一項に記載の制御装置。
　コンピュータに請求項３１から請求項３４のいずれか一項に記載の制御装置として機能させるためのプログラム。
　請求項３１から請求項３４のいずれか一項に記載の制御装置と前記ロボットを備える
　ロボットシステム。
　制御装置における制御方法であって、
　少なくともロボットの動作を示す動作情報と、操作状況を示す操作情報に基づき、現時刻から所定の予測時間後の予測時刻までの前記ロボットの効果器の予測軌道を定める第１ステップと、
　前記予測軌道に基づいて制御指令を生成する第２ステップと、を備える
　制御方法。