JP6476358B1 - 制御装置、ロボット制御方法及びロボット制御システム - Google Patents

制御装置、ロボット制御方法及びロボット制御システム Download PDF

Info

Publication number
JP6476358B1
JP6476358B1 JP2018562142A JP2018562142A JP6476358B1 JP 6476358 B1 JP6476358 B1 JP 6476358B1 JP 2018562142 A JP2018562142 A JP 2018562142A JP 2018562142 A JP2018562142 A JP 2018562142A JP 6476358 B1 JP6476358 B1 JP 6476358B1
Authority
JP
Japan
Prior art keywords
posture
information
user
robot
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018562142A
Other languages
English (en)
Other versions
JPWO2018212226A1 (ja
Inventor
ラサンタ フェルナンド チャリス
ラサンタ フェルナンド チャリス
▲すすむ▼ 舘
▲すすむ▼ 舘
元紀 佐野
元紀 佐野
孝太 南澤
孝太 南澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telexistence Inc
Original Assignee
Telexistence Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telexistence Inc filed Critical Telexistence Inc
Application granted granted Critical
Publication of JP6476358B1 publication Critical patent/JP6476358B1/ja
Publication of JPWO2018212226A1 publication Critical patent/JPWO2018212226A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Abstract

制御装置36は、ロボット20を操作する第1ユーザーの姿勢を示す第1ユーザー姿勢情報を取得するユーザー情報取得部361と、第1ユーザー姿勢情報に基づいてロボット20の姿勢を変化させる前のロボット20の姿勢である変化前姿勢を示す変化前姿勢情報を取得する変化前ロボット情報取得部362と、変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をロボット20がしている時点でユーザー情報取得部361が取得した第1ユーザー姿勢情報とに基づいて、第1ユーザーの姿勢と異なる標的姿勢をロボット20の姿勢に決定する決定部365と、を有する。

Description

この発明は、ロボットを制御するための制御装置、ロボット制御方法及びロボット制御システムに関する。
ユーザーの姿勢を検出し、検出した当該姿勢に対応する姿勢にロボットの姿勢を変化させる技術の研究や開発が行われている。
これに関し、ユーザーが装着するユーザー装置によってユーザーの姿勢を検出し、検出した当該姿勢に対応する姿勢にロボットの姿勢を変化させるとともに、ロボットが備える各種のセンサーによって検出した検出情報に応じた処理をユーザー装置に行わせ、当該検出情報に応じた情報をユーザーに提供するロボットシステムが知られている(特許文献1、非特許文献1参照)。
特公昭62−29196号公報
Charith Lasantha Fernando, Masahiro Furukawa, Tadatoshi Kurogi, Sho Kamuro, Katsunari Sato, Kouta Minamizawa and Susumu Tach,「Design of TELESAR V for Transferring Bodily Consciousness in Telexistence」, 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems(Portugal), October 7-12, 2012.
このようなロボットシステムでは、ユーザーは、ユーザー装置を装着したままユーザー自身の姿勢を変化させることにより(すなわち、動くことにより)、ロボットを操作することができる。しかしながら、ロボットに所定の作業を行わせる場合、従来のロボットシステムでは、ロボットの操作に習熟していないユーザーは、ロボットの操作に習熟したユーザーと比較して、高い精度で当該作業をロボットに行わせることが困難な場合があった。
そこで本発明は、ユーザーによるロボットの操作を補助することができる制御装置、ロボット制御方法及びロボット制御システムを提供することを目的とする。
本発明の第1の態様の制御装置は、ロボットを操作する第1ユーザーの姿勢を示す第1ユーザー姿勢情報を取得する第1情報取得部と、前記第1ユーザー姿勢情報に基づいて前記ロボットの姿勢を変化させる前の前記ロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得する第2情報取得部と、前記変化前姿勢情報と、前記変化前姿勢情報が示す前記変化前姿勢を前記ロボットがしている時点で前記第1情報取得部が取得した前記第1ユーザー姿勢情報とに基づいて、前記第1ユーザーの姿勢と異なる標的姿勢を前記ロボットの姿勢に決定する決定部と、を有する。
前記ロボットの姿勢を変化させるために用いられる複数の基準姿勢情報のうち、前記変化前姿勢情報と、前記変化前姿勢情報が示す前記変化前姿勢をしている時点で前記第1情報取得部が取得した前記第1ユーザー姿勢情報とに対応する対象基準姿勢情報を特定する特定部をさらに有してもよい。
前記特定部は、それぞれ前記変化前姿勢情報と、前記変化前姿勢情報が示す前記変化前姿勢をしている過去の時点において取得された前記第1ユーザーと異なる第2ユーザーの姿勢を示す基準姿勢情報とが関連付けられた前記複数の基準情報から選択した一の基準情報に対応する前記基準姿勢情報を前記対象基準姿勢情報として選択してもよい。
前記特定部は、前記複数の基準情報の中から、前記第1情報取得部が取得した前記第1ユーザー姿勢情報と、前記第2情報取得部が取得した前記変化前姿勢情報とに基づいて、前記第1ユーザーが意図した前記標的姿勢に前記ロボットの姿勢を変化させられる蓋然性が相対的に高い一の基準情報を選択してもよい。
前記特定部は、前記第1ユーザー姿勢情報と前記変化前姿勢情報とに基づいて、前記第1ユーザーが意図した前記標的姿勢を推定し、推定した前記標的姿勢に前記ロボットの姿勢を変化させられる蓋然性が相対的に高い一の基準情報を選択してもよい。
前記特定部は、複数の前記変化前姿勢情報と複数の前記基準姿勢情報とを教師データとして作成された機械学習モデルに前記変化前姿勢情報と前記第1ユーザー姿勢情報とを入力することにより、前記対象基準姿勢情報を特定してもよい。
前記特定部は、前記第1情報取得部が取得した前記第1ユーザー姿勢情報に基づいて、前記ロボットが備える一以上のモーターそれぞれの回動角、角速度、角加速度及びトルクを示す仮標的姿勢情報を生成し、生成した前記仮標的姿勢情報と前記変化前姿勢情報とに基づいて前記対象基準姿勢情報を特定してもよい。
前記第1ユーザーと異なる第2ユーザーの姿勢を示す第2ユーザー姿勢情報を取得する第3情報取得部と、前記変化前姿勢情報と前記基準姿勢情報としての前記第2ユーザー姿勢情報とを関連付けることにより、前記複数の基準情報を生成する生成部と、をさらに有してもよい。
前記生成部は、前記変化前姿勢情報と前記第2ユーザー姿勢情報とを教師データとして、入力された前記変化前姿勢情報と前記第1ユーザー姿勢情報とに適した前記基準姿勢情報を出力可能な機械学習モデルを生成してもよい。
前記第2ユーザー姿勢情報に基づいて前記ロボットが姿勢を変化させた後の変化後姿勢を示す変化後姿勢情報を取得する第4情報取得部と、前記変化前姿勢情報と前記変化後姿勢情報とに基づいて前記第2ユーザー姿勢情報を特定し、前記変化前姿勢情報と、特定した前記第2ユーザー姿勢情報とを関連付けることにより、前記複数の基準姿勢情報を生成する生成部と、をさらに有してもよい。
前記第1情報取得部は、時刻に関連付けて前記第1ユーザー姿勢情報を取得し、前記第2情報取得部は、時刻に関連付けて前記変化前姿勢情報を取得し、前記決定部は、同一の時刻に関連付けられた前記変化前姿勢情報と前記第1ユーザー姿勢情報とに基づいて、前記標的姿勢を前記ロボットの姿勢に決定してもよい。
本発明の第2の態様のロボット制御方法は、コンピューターが実行する、ロボットを操作する第1ユーザーの姿勢を示す第1ユーザー姿勢情報を取得するステップと、前記第1ユーザー姿勢情報に基づいて前記ロボットの姿勢を変化させる前の前記ロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得するステップと、前記変化前姿勢情報と、前記変化前姿勢情報が示す前記変化前姿勢を前記ロボットがしている時点で取得した前記第1ユーザー姿勢情報とに基づいて、前記第1ユーザーの姿勢と異なる標的姿勢を前記ロボットの姿勢に決定するステップと、を有する。
本発明の第3の態様のロボット制御システムは、ロボットと、前記ロボットを操作する第1ユーザーに関する情報を検出するユーザー装置と、前記ロボットを制御するロボット制御装置と、前記ユーザー装置及び前記ロボット制御装置との間で通信可能な制御装置と、を備え、前記ユーザー装置は、前記第1ユーザーの姿勢を示す第1ユーザー姿勢情報を前記制御装置に送信し、前記ロボット制御装置は、前記制御装置が決定した標的姿勢になるように前記ロボットの姿勢を制御し、前記制御装置は、前記第1ユーザー姿勢情報を取得する第1情報取得部と、前記第1ユーザー姿勢情報に基づいて前記ロボットの姿勢を変化させる前の前記ロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得する第2情報取得部と、前記変化前姿勢情報と、前記変化前姿勢情報が示す前記変化前姿勢を前記ロボットがしている時点で前記第1情報取得部が取得した前記第1ユーザー姿勢情報とに基づいて、前記第1ユーザーの姿勢と異なる前記標的姿勢を前記ロボットの姿勢に決定する決定部と、前記標的姿勢を前記ロボット制御装置に送信する送信部と、を有するロボット制御システム。
本発明によれば、ユーザーによるロボットの操作を補助することができる制御装置を提供することができる。
実施形態に係るロボットシステム1の構成の一例を示す図である。 ロボット制御装置30の機能構成の一例を示す図である。 ロボット制御装置30がロボット20を動作させる処理の流れの一例を示す図である。 ロボット制御装置30が基準情報を生成する処理の流れの一例を示す図である。 サーバーSBが制御装置36を備える場合に基準姿勢情報を生成する手順について説明するための図である。 サーバーSBが制御装置36を備える場合にロボット20を制御する手順について説明するための図である。
<ロボットシステムの概要>
まず、ロボットシステム1の概要について説明する。ロボットシステム1は、ユーザーが装着するユーザー装置によってユーザーの姿勢を検出し、検出した当該姿勢に対応する姿勢にロボットの姿勢を変化させる。また、ロボットシステム1は、ロボットが備える各種のセンサーによって検出された検出情報に応じた処理をユーザー装置に行わせ、当該検出情報に応じた情報をユーザーに提供する。
より具体的には、ロボットシステム1は、ユーザーに関する情報を検出するユーザー装置(以下において説明する例では、ユーザー装置10)と、ロボット(以下において説明する例では、ロボット20)と、ロボットを制御するロボット制御装置(以下において説明する例では、ロボット制御装置30)とを備える。ロボットシステム1は、ユーザーの姿勢であるユーザー姿勢を示すユーザー姿勢情報を含む第1情報をユーザー装置10から取得する。ロボットシステム1は、取得した第1情報に基づいて姿勢を変化させる前のロボットの姿勢である変化前姿勢を、取得した第1情報に含まれるユーザー姿勢情報が示すユーザー姿勢に対応する姿勢である標的姿勢に変化させるとともに、ロボットにより検出された検出情報に応じた処理をユーザー装置10に行わせる。ロボットシステム1は、ユーザー装置10に当該処理を行わせることにより、検出情報に応じた情報をユーザーに提供する。
ロボットシステム1では、ユーザーは、ユーザー装置10を装着したままユーザー自身の姿勢を変化させることにより(すなわち、ユーザーが動くことにより)、ロボットを操作することができる。ロボットシステム1は、ロボットの操作に習熟していないユーザーであっても、ロボットの操作に習熟しているユーザーと同等の操作をできるようにすることを特徴としている。
以下では、説明の便宜上、ロボットシステム1が備えるロボットの操作に習熟していないユーザーのことを第1ユーザーと称し、当該操作に習熟しているユーザーのことを第2ユーザーと称して説明する。すなわち、第1ユーザーは、例えば、当該操作についての素人であり、第2ユーザーは、例えば、当該操作についての玄人である。また、以下では、説明の便宜上、第1ユーザーにより操作されるロボットを第1ロボットと称し、第2ユーザーにより操作されるロボットを第2ロボットと称して説明する。なお、第1ロボットと第2ロボットは、同一のロボットであってもよく、互いに異なるロボットであってもよい。
従来のロボットシステムが抱える問題を解決するため、ロボットシステム1は、後述する制御装置36を備える。制御装置36は、第1ユーザーの姿勢である第1ユーザー姿勢を示す第1ユーザー姿勢情報を含む第1情報を取得する。また、制御装置36は、取得した第1情報に基づいて姿勢を変化させる前の第1ロボットの姿勢である変化前姿勢を示す変化前姿勢情報と前述の検出情報とのうち少なくとも変化前姿勢情報を含む第2情報を取得する。
制御装置36は、第2ユーザーの姿勢である第2ユーザー姿勢を示す第2ユーザー姿勢情報毎に、第2ユーザー姿勢情報と基準となる姿勢を示す基準姿勢情報とが対応付けられた情報を含む基準情報と、取得した第1情報と、取得した第2情報とに基づいて、第1ロボットの姿勢であって当該第1情報に含まれている第1ユーザー姿勢情報が示す第1ユーザー姿勢に対応する標的姿勢を決定する。これにより、制御装置36は、ユーザーによるロボットの操作を補助することができる。ロボット制御装置は、制御装置36により決定された当該標的姿勢に第1ロボットの姿勢を変化させる。以下では、制御装置36を備えたロボットシステム1の構成と、制御装置36が行う処理とについて詳しく説明する。
<ロボットシステムの構成と概要>
次に、ロボットシステム1の構成と概要について説明する。
図1は、実施形態に係るロボットシステム1の構成の一例を示す図である。ロボットシステム1は、ユーザー装置10と、ロボット20と、データベースDBを格納したサーバーSBを備える。また、ロボットシステム1において、ロボット20は、ロボット制御装置30を内蔵している。なお、ロボット20は、ロボット制御装置30を内蔵する構成に代えて、ロボット20の外部に設置されたロボット制御装置30と有線又は無線によって互いに通信可能に接続される構成であってもよい。
ここで、以下では、一例として、ロボットシステム1において、ロボット制御装置30が前述の制御装置36を備える場合について説明する。なお、ロボットシステム1において、制御装置36は、ロボット制御装置30に備えられる構成に代えて、ユーザー装置10と、ロボット20と、サーバーSBとのいずれかに備えられる構成であってもよい。
ロボットシステム1では、ユーザー装置10とロボット20は、ネットワークNを介して互いに通信可能に接続される。なお、ユーザー装置10とロボット20は、ネットワークNを介さずに有線又は無線によって互いに通信可能に接続される構成であってもよい。
ユーザー装置10とサーバーSBは、ネットワークNを介して互いに通信可能に接続される。なお、ユーザー装置10とサーバーSBは、ネットワークNを介さずに有線又は無線によって互いに通信可能に接続される構成であってもよい。
ロボット20とサーバーSBは、ネットワークNを介して互いに通信可能に接続される。なお、ロボット20とサーバーSBは、ネットワークNを介さずに有線又は無線によって互いに通信可能に接続される構成であってもよい。
ネットワークNは、如何なる通信網であってもよい。ネットワークNは、例えば、インターネット、移動体通信網、又は専用線通信網等である。
ユーザー装置10は、ユーザーに関する情報を検出する。ユーザーに関する情報には、ユーザーの姿勢であるユーザー姿勢を示すユーザー姿勢情報が含まれる。なお、ユーザーに関する情報には、ユーザー姿勢情報に加えて、他の情報が含まれる構成であってもよい。また、本実施形態に係るユーザー装置10は、ユーザーが装着する装置である。
なお、ユーザー装置10は、ユーザーに関する情報を検出可能な装置であれば、ユーザーが装着しない装置であってもよい。図1に示した例では、ユーザー装置10は、第1ユーザーU1に装着されている。このため、ユーザー装置10は、第1ユーザーU1に関する情報(すなわち、第1ユーザーU1の姿勢である第1ユーザー姿勢を示すユーザー姿勢情報である第1ユーザー姿勢情報が含まれる情報)を検出する。以下では、一例として、図1に示したように、ユーザー装置10が第1ユーザーU1に装着されている場合を例に挙げて説明する。すなわち、以下の説明において、ロボット20は、前述の第1ロボットの一例である。
ユーザー装置10は、ユーザー姿勢を検出する各種のセンサーを備えており、これらのセンサーからの出力値に基づくモーションキャプチャーによってユーザー姿勢を検出する。また、ユーザー装置10は、所定時間が経過する毎にユーザー姿勢を検出する。ユーザー装置10は、検出したユーザー姿勢を示すユーザー姿勢情報を含むユーザー情報を生成し、生成したユーザー情報をロボット20にネットワークNを介して出力する。これにより、ユーザー装置10は、当該ユーザー情報を取得したロボット制御装置30の処理によって、当該ユーザー情報に含まれるユーザー姿勢情報が示すユーザー姿勢に対応する姿勢である標的姿勢にロボット20の姿勢を変化させる。
ここで、ユーザー装置10は第1ユーザーU1に装着されているため、所定時間が経過する毎に第1ユーザーU1の姿勢である第1ユーザー姿勢を検出する。ユーザー装置10は、検出した第1ユーザー姿勢を示す第1ユーザー姿勢情報を含むユーザー情報を生成し、生成したユーザー情報をロボット20にネットワークNを介して出力する。これにより、ユーザー装置10は、当該ユーザー情報を取得したロボット制御装置30の処理によって、当該ユーザー情報に含まれる第1ユーザー姿勢情報が示す第1ユーザー姿勢に対応する標的姿勢にロボット20の姿勢を変化させる。
所定時間は、例えば、10ミリ秒である。なお、所定時間は、10ミリ秒よりも短い時間であってもよく、10ミリ秒よりも長い時間であってもよい。
より具体的には、ユーザー装置10は、ヘッドマウントディスプレイ11と、右手用のデータグローブであるデータグローブ12と、左手用のデータグローブであるデータグローブ13と、図示しないユーザー装置制御部を備える。
ヘッドマウントディスプレイ11は、ユーザーの頭部に装着される。ヘッドマウントディスプレイ11は、図示しない表示部を備え、当該表示部に画像を表示させる。当該表示部は、ヘッドマウントディスプレイ11がユーザーの頭部に装着された場合に、ユーザーの視界の一部又は全部を覆うディスプレイパネルである。これにより、ヘッドマウントディスプレイ11は、当該表示部に表示させた画像をユーザーに見せることができる。なお、当該ディスプレイパネルは、液晶ディスプレイパネル、あるいは、有機EL(ElectroLuminescence)ディスプレイパネル等であるが、他のディスプレイパネルであってもよい。また、当該画像は例えば動画像であるが、これに代えて、静止画像であってもよい。
また、ヘッドマウントディスプレイ11は、音を出力するスピーカーを備える。また、ヘッドマウントディスプレイ11は、ユーザーの頭部の姿勢であるユーザー頭部姿勢を検出するセンサーを備える。当該センサーは、ユーザー頭部姿勢を検出可能なセンサーであれば、如何なるセンサーであってもよい。ヘッドマウントディスプレイ11は、ユーザー装置制御部からの要求に応じて、当該センサーによってユーザーの頭部の姿勢を検出する。ヘッドマウントディスプレイ11は、検出したユーザーの頭部の姿勢を示す情報をユーザー装置制御部に出力する。なお、ヘッドマウントディスプレイ11は、ユーザーの頭部の姿勢に代えて、ユーザーの視線の方向を検出する構成であってもよい。これらの場合、ヘッドマウントディスプレイ11は、ユーザーの視線の方向を検出するセンサーを備える。
ここで、ヘッドマウントディスプレイ11は、第1ユーザーU1の頭部に装着されているため、当該表示部に表示させた画像を第1ユーザーU1に見せることができる。また、ヘッドマウントディスプレイ11は、ユーザー装置制御部からの要求に応じて、第1ユーザーU1の頭部の姿勢である第1ユーザー頭部姿勢を検出する。ヘッドマウントディスプレイ11は、検出した第1ユーザー頭部姿勢を示す情報をユーザー装置制御部に出力する。
データグローブ12は、ユーザーの右手に装着される。データグローブ12は、当該右手の各指の姿勢であるユーザー右手指姿勢、ユーザーの右腕の姿勢であるユーザー右腕姿勢のそれぞれを検出する各種のセンサーを備える。当該各種のセンサーは、ユーザー右手指姿勢、ユーザー右腕姿勢を検出可能なセンサーであれば、如何なるセンサーであってもよい。データグローブ12は、ユーザー装置制御部からの要求に応じて、ユーザー右手指姿勢とユーザー右腕姿勢を検出する。データグローブ12は、検出したユーザー右手指姿勢を示す情報及びユーザー右腕姿勢を示す情報をユーザー装置制御部に出力する。
なお、データグローブ12は、ユーザー右手指姿勢及びユーザー右腕姿勢のいずれか一方又は両方に代えて、ユーザーの他の部位の姿勢を検出する構成であってもよく、ユーザー右手指姿勢及びユーザー右腕姿勢のいずれか一方又は両方に加えて、ユーザーの他の部位の姿勢を検出する構成であってもよい。これらの場合、データグローブ12は、当該他の部位の姿勢を検出するセンサーを備える。
また、データグローブ12は、ユーザーの部位のうち予め決められた1以上の部位のそれぞれに圧力を加える図示しない加圧装置を備える。当該予め決められた1以上の部位は、例えば、ユーザーの右手の各指先である。なお、予め決められた1以上の部位は、これに代えて、ユーザーの部位のうち予め決められた他の部位であってもよい。加圧装置は、ユーザー装置制御部からの要求に応じて、予め決められた以上の部位のうち当該要求が示す部位に、当該要求が示す圧力を加える。
ここで、データグローブ12は第1ユーザーU1の右手に装着されているため、ユーザー装置制御部からの要求に応じて、第1ユーザーの右手の各指の姿勢である第1ユーザー右手指姿勢と第1ユーザーの右腕の姿勢である第1ユーザー右腕姿勢を検出する。データグローブ12は、検出した第1ユーザー右手指姿勢を示す情報及び第1ユーザー右腕姿勢を示す情報をユーザー装置制御部に出力する。
データグローブ13はユーザーの左手に装着される。データグローブ13は、当該左手の各指の姿勢であるユーザー左手指姿勢、ユーザーの左腕の姿勢であるユーザー左腕姿勢のそれぞれを検出する各種のセンサーを備える。当該各種のセンサーは、ユーザー左手指姿勢、ユーザー左腕姿勢を検出可能なセンサーであれば、如何なるセンサーであってもよい。データグローブ13は、ユーザー装置制御部からの要求に応じて、ユーザー左手指姿勢とユーザー左腕姿勢を検出する。データグローブ13は、検出したユーザー左手指姿勢を示す情報及びユーザー左腕姿勢を示す情報をユーザー装置制御部に出力する。
なお、データグローブ13は、ユーザー左手指姿勢及びユーザー左腕姿勢のいずれか一方又は両方に代えて、ユーザーの他の部位の姿勢を検出する構成であってもよく、ユーザー左手指姿勢及びユーザー左腕姿勢のいずれか一方又は両方に加えて、ユーザーの他の部位の姿勢を検出する構成であってもよい。これらの場合、データグローブ13は、当該他の部位の姿勢を検出するセンサーを備える。
また、データグローブ13は、ユーザーの部位のうち予め決められた1以上の部位のそれぞれに圧力を加える図示しない加圧装置を備える。当該予め決められた1以上の部位は、例えば、ユーザーの左手の各指先である。なお、予め決められた1以上の部位は、これに代えて、ユーザーの部位のうち予め決められた他の部位であってもよい。加圧装置は、ユーザー装置制御部からの要求に応じて、予め決められた以上の部位のうち当該要求が示す部位に、当該要求が示す圧力を加える。
ここで、データグローブ13は第1ユーザーU1の左手に装着されているため、ユーザー装置制御部からの要求に応じて、第1ユーザーの左手の各指の姿勢である第1ユーザー左手指姿勢と第1ユーザーの左腕の姿勢である第1ユーザー左腕姿勢を検出する。データグローブ13は、検出した第1ユーザー左手指姿勢を示す情報及び第1ユーザー左腕姿勢を示す情報をユーザー装置制御部に出力する。
ユーザー装置制御部は、ユーザー装置10の全体を制御する。ユーザー装置制御部は、ヘッドマウントディスプレイ11、データグローブ12、データグローブ13のいずれかに内蔵される構成であってもよく、ヘッドマウントディスプレイ11、データグローブ12、データグローブ13それぞれの外部に設置され、ヘッドマウントディスプレイ11、データグローブ12、データグローブ13それぞれと有線又は無線によって互いに通信可能に接続される構成であってもよい。
ユーザー装置制御部は、前述の所定時間が経過する毎に、ヘッドマウントディスプレイ11にユーザー頭部姿勢を検出させ、データグローブ12にユーザー右手指姿勢及びユーザー右腕姿勢を検出させ、データグローブ13にユーザー左手指姿勢及びユーザー左腕姿勢を検出させる。そして、ユーザー装置制御部は、ヘッドマウントディスプレイ11からユーザー頭部姿勢を示す情報を取得し、データグローブ12からユーザー右手指姿勢を示す情報及びユーザー右腕姿勢を示す情報を取得し、データグローブ13からユーザー左手指姿勢を示す情報及びユーザー左腕姿勢を示す情報を取得する。
ここで、本実施形態において、ユーザー姿勢は、ユーザー頭部姿勢を示す情報、ユーザー右手指姿勢を示す情報、ユーザー右腕姿勢を示す情報、ユーザー左手指姿勢を示す情報、及びユーザー左腕姿勢を示す情報のそれぞれによって表される。なお、ユーザー姿勢情報は、ユーザー頭部姿勢を示す情報、ユーザー右手指姿勢を示す情報、ユーザー右腕姿勢を示す情報、ユーザー左手指姿勢を示す情報、及びユーザー左腕姿勢を示す情報の一部を含んでもよく、他の情報を含んでもよい。
ユーザー装置制御部は、取得したユーザー頭部姿勢を示す情報、ユーザー右手指姿勢を示す情報、ユーザー右腕姿勢を示す情報、ユーザー左手指姿勢を示す情報、ユーザー左腕姿勢を示す情報のそれぞれによって表されるユーザー姿勢情報を含むユーザー情報を生成する。なお、ユーザー情報は、ユーザー姿勢情報に加えて、他の情報を含んでもよい。ユーザー装置制御部は、生成したユーザー情報をロボット20にネットワークNを介して出力する。
ここで、ユーザー装置10は、第1ユーザーU1に装着されているため、所定時間が経過する毎に、ヘッドマウントディスプレイ11に第1ユーザー頭部姿勢を検出させ、データグローブ12に第1ユーザー右手指姿勢及び第1ユーザー右腕姿勢を検出させ、データグローブ13に第1ユーザー左手指姿勢及び第1ユーザー左腕姿勢を検出させる。そして、ユーザー装置制御部は、ヘッドマウントディスプレイ11から第1ユーザー頭部姿勢を示す情報を取得し、データグローブ12から第1ユーザー右手指姿勢を示す情報及び第1ユーザー右腕姿勢を示す情報を取得し、データグローブ13から第1ユーザー左手指姿勢を示す情報及び第1ユーザー左腕姿勢を示す情報を取得する。
ユーザー装置制御部は、取得した第1ユーザー頭部姿勢を示す情報、第1ユーザー右手指姿勢を示す情報、第1ユーザー右腕姿勢を示す情報、第1ユーザー左手指姿勢を示す情報、第1ユーザー左腕姿勢を示す情報のそれぞれによって表される第1ユーザー姿勢情報を含むユーザー情報を生成する。ユーザー装置制御部は、生成したユーザー情報をロボット20にネットワークNを介して出力する。なお、ユーザー情報は、第1情報、第3情報、第5情報それぞれの一例である。
また、ユーザー装置制御部は、ロボット20が検出した検出情報をロボット20からネットワークNを介して取得する。ユーザー装置10は、取得した検出情報に応じた処理を行う。これにより、ユーザー装置10は、ユーザーの五感の少なくとも一部に対して各種の情報を提供することができる。この一例では、ユーザー装置10は、ユーザーの五感のうち触覚、視覚、聴覚のそれぞれに対して各種の情報を提供する。
検出情報には、ロボット20が備える撮像部により撮像された画像を含む視覚情報、ロボット20が備える触覚センサーからの出力値を含む触覚情報(触覚には、力覚が含まれてもよく、力覚が含まれなくてもよい)、及びロボット20が備える音検出部からの出力値を含む聴覚情報が含まれている。当該画像は、動画像であってもよく、静止画像であってもよい。以下では、一例として、当該画像が動画像である場合について説明する。
なお、検出情報は、視覚情報、触覚情報、聴覚情報の一部のみを含んでもよく、視覚情報、触覚情報、聴覚情報の一部又は全部に加えて他の情報(例えば、嗅覚情報、味覚情報等)を含んでもよい。検出情報は、視覚情報、触覚情報、聴覚情報の一部又は全部に代えて他の情報のみを含んでもよい。これらの場合、ユーザー装置10は、ユーザーの五感のうち検出情報に含まれる情報に応じた感覚に対して各種の情報を提供する。
ユーザー装置制御部は、取得した検出情報に含まれる視覚情報に基づいて、ヘッドマウントディスプレイ11の表示部に当該視覚情報に含まれる画像を表示する。また、ユーザー装置制御部は、検出情報に含まれる触覚情報に基づいてデータグローブ12及びデータグローブ13のそれぞれが備える加圧装置を動作させ、触覚情報に含まれる出力値に応じた圧力をユーザーに対して加える。また、ユーザー装置制御部は、検出情報に含まれる聴覚情報に基づいて、聴覚情報に含まれる出力値に応じた音をヘッドマウントディスプレイ11のスピーカーから出力させる。
このような構成により、ユーザー装置10は、ユーザーの視覚に対してロボット20が見た(撮像部により撮像した)物体を示す情報を当該視覚情報に含まれる画像として提供し、ユーザーの触覚に対してロボット20が物体に触れた(触覚センサーによって検出した)感触を示す情報を当該触覚情報に含まれる出力値に応じた圧力として提供し、ユーザーの聴覚に対してロボット20が聴いた(音検出部により検出した)音を当該聴覚情報に含まれる出力値に応じた音として提供することができる。その結果、ユーザーは、ユーザーの五感のうちの少なくとも一部に提供された各種の情報に基づいて、ユーザーが所望する次の動作をロボット20に行わせることができる。
ここで、ユーザー装置10は第1ユーザーU1に装着されているため、第1ユーザーU1の視覚に対してロボット20が見た(撮像部により撮像した)物体を示す情報を視覚情報に含まれる画像として提供し、第1ユーザーU1の触覚に対してロボット20が物体に触れた(触覚センサーによって検出した)感触を示す情報を触覚情報に含まれる出力値に応じた圧力として提供し、第1ユーザーU1の聴覚に対してロボット20が聴いた(音検出部により検出した)音を聴覚情報に含まれる出力値に応じた音として提供することができる。その結果、第1ユーザーU1は、第1ユーザーU1の五感のうちの少なくとも一部に提供された各種の情報に基づいて、第1ユーザーU1が所望する次の動作をロボット20に行わせることができる。
ロボット20は、例えば、双腕ロボットである。ロボット20は、可動部として、ユーザー装置10が装着されたユーザー(この一例において、第1ユーザーU1)の頭部に対応する頭部部分21と、当該ユーザーの右腕に対応するロボットアーム(マニピュレーター)である右腕部分22と、当該ユーザーの左腕に対応するロボットアーム(マニピュレーター)である左腕部分23を備える。また、ロボット20は、頭部部分21、右腕部分22、左腕部分23のそれぞれを支持する支持部分24を備える。なお、ロボット20は、頭部部分21を備えない構成であってもよく、1本のロボットアーム(マニピュレーター)のみを備える単腕ロボットであってもよく、3本以上のロボットアームを備える複腕ロボットであってもよく、他の構成のロボットであってもよい。
頭部部分21は、予め決められた1以上の軸それぞれの周りに回動可能に支持部分24によって支持される。以下では、一例として、頭部部分21が、予め決められた2軸それぞれの周りに回動可能に支持部分24によって支持される場合について説明する。頭部部分21は、当該2軸それぞれの周りに頭部部分21を回動させるアクチュエーターを備える。ここで、頭部部分21の姿勢は、頭部部分21が備える1以上のアクチュエーター毎の回動角、角速度、角加速度、トルクのそれぞれによって決定される。頭部部分21は、ロボット制御装置30からの要求に応じて当該アクチュエーターを動作させ、頭部部分21の姿勢を変化させる。また、頭部部分21は、当該要求に応じて、当該1以上のアクチュエーター毎の回動角、角速度、角加速度、トルクのそれぞれを示す情報を、頭部部分21の姿勢を示す情報としてロボット制御装置30に出力する。
また、頭部部分21は、前述した撮像部を備える。当該撮像部は、例えば、集光された光を電気信号に変換する撮像素子であるCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等を備えたステレオカメラである。頭部部分21が撮像部を備えるので、撮像部が撮像可能な範囲は、頭部部分21の姿勢に応じて変化する。撮像部は、当該範囲の動画像を撮像するが、これに代えて、当該範囲の静止画像を撮像する構成であってもよい。当該撮像部は、当該範囲を撮像した画像を前述の視覚情報としてロボット制御装置30に出力する。なお、当該撮像部は、ステレオカメラに代えて、単眼のカメラであってもよく、3以上の複眼のカメラであってもよい。
また、頭部部分21は、前述したロボット20が備える音検出部を備える。当該音検出部は、例えば、頭部部分21の周囲の音を検出するセンサーである。頭部部分21は、当該音検出部が検出した音を示す出力値を含む情報を前述の聴覚情報としてロボット制御装置30に出力する。
右腕部分22は、複数の関節を備えるロボットアームであり、ユーザー装置10が装着されたユーザー(この一例において、第1ユーザーU1)の右手に対応するロボットハンドをエンドエフェクターとして備えるロボットアームである。なお、右腕部分22の関節の数は、右腕部分22の姿勢を、当該ユーザーのユーザー右腕姿勢及び当該ユーザーのユーザー右手指姿勢のそれぞれに対応する姿勢に変化させることが可能であれば、如何なる数であってもよい。右腕部分22が備える各関節は、関節を回動させるアクチュエーターを備える。
ここで、右腕部分22の姿勢は、右腕部分22が備える複数のアクチュエーター毎の回動角、角速度、角加速度、トルクのそれぞれによって決定される。右腕部分22は、ロボット制御装置30からの要求に応じて当該アクチュエーターを動作させ、右腕部分22の姿勢を変化させる。また、右腕部分22は、当該要求に応じて、当該1以上のアクチュエーター毎の回動角、角速度、角加速度、トルクのそれぞれを示す情報を、右腕部分22の姿勢を示す情報としてロボット制御装置30に出力する。
右腕部分22のロボットハンドが備える指部それぞれの先端には、前述の図示しない触覚センサーが備えられている。指部は、当該ロボットハンドの部位のうちユーザー装置10が装着されたユーザー(この一例において、第1ユーザーU1)の右手の各指に対応する部位である。触覚センサーは、検出した圧力を示す出力値を含む情報を触覚情報としてロボット制御装置30に出力する。
左腕部分23は、複数の関節を備えるロボットアームであり、ユーザー装置10が装着されたユーザー(この一例において、第1ユーザーU1)の左手に対応するロボットハンドをエンドエフェクターとして備えるロボットアームである。なお、左腕部分23の関節の数は、左腕部分23の姿勢を、当該ユーザーのユーザー左腕姿勢及び当該ユーザーのユーザー左手指姿勢のそれぞれに対応する姿勢に変化させることが可能であれば、如何なる数であってもよい。左腕部分23が備える各関節は、関節を回動させるアクチュエーターを備える。
ここで、左腕部分23の姿勢は、左腕部分23が備える複数のアクチュエーター毎の回動角、角速度、角加速度、トルクのそれぞれによって決定される。左腕部分23は、ロボット制御装置30からの要求に応じて当該アクチュエーターを動作させ、左腕部分23の姿勢を変化させる。また、左腕部分23は、当該要求に応じて、当該1以上のアクチュエーター毎の回動角、角速度、角加速度、トルクのそれぞれを示す情報を、左腕部分23の姿勢を示す情報としてロボット制御装置30に出力する。
左腕部分23のロボットハンドが備える指部それぞれの先端には、前述の図示しない触覚センサーが備えられている。指部は、ロボットハンドの部位のうちユーザー装置10が装着されたユーザー(この一例において、第1ユーザーU1)の左手の各指に対応する部位である。触覚センサーは、検出した圧力を示す出力値を含む情報を触覚情報としてロボット制御装置30に出力する。
ここで、ロボット20の姿勢は、頭部部分21の姿勢と、右腕部分22の姿勢と、左腕部分23の姿勢とによって表される。すなわち、ロボット20の姿勢が変化したということは、頭部部分21の姿勢と、右腕部分22の姿勢と、左腕部分23の姿勢との少なくとも一部が変化したということを意味する。
ロボット制御装置30は、ユーザー装置10からネットワークNを介してユーザー情報を取得する。また、ロボット制御装置30は、ロボット20から変化前ロボット情報を取得する。変化前ロボット情報は、取得したユーザー情報に基づいてロボット制御装置30が姿勢を変化させる前のロボット20の姿勢である変化前姿勢を示す変化前姿勢情報を含む情報である。なお、変化前ロボット情報は、変化前姿勢情報に加えて、他の情報を含む構成であってもよい。以下では、一例として、ロボット20が検出した検出情報が、変化前姿勢情報とともに変化前ロボット情報に含まれる場合について説明する。当該検出情報は、前述した通り、視覚情報、触覚情報、聴覚情報のそれぞれを含む情報である。
ロボット制御装置30は、取得したユーザー情報に基づいてロボット制御装置30が姿勢を変化させる前の頭部部分21の姿勢を示す情報、当該前の右腕部分22の姿勢を示す情報、当該前の左腕部分23の姿勢を示す情報のそれぞれを含む変化前姿勢情報と、当該前の視覚情報、当該前の触覚情報、当該前の聴覚情報のそれぞれを含む検出情報と、を含む検出情報をロボット20から取得する。ここで、ロボット制御装置30は、当該前の頭部部分21の姿勢を示す情報と、当該前の視覚情報と、当該前の聴覚情報との3つの情報を頭部部分21から取得する。また、ロボット制御装置30は、当該前の右腕部分22の姿勢を示す情報と、当該前の触覚情報であって右腕部分22により検出された触覚情報との2つの情報を右腕部分22から取得する。また、ロボット制御装置30は、当該前の左腕部分23の姿勢を示す情報と、当該前の触覚情報であって左腕部分23により検出された触覚情報との2つの情報を左腕部分23から取得する。なお、変化前ロボット情報は、第2情報の一例である。また、検出情報は、第1検出情報、第3検出情報、第5検出情報それぞれの一例である。
また、ロボット制御装置30は、サーバーSBのデータベースDBに予め記憶された基準情報を、ネットワークNを介してサーバーSBから読み出す。基準情報は、第2ユーザーU2の姿勢である第2ユーザー姿勢を示す第2ユーザー姿勢情報毎に第2ユーザー姿勢情報と基準となる姿勢を示す基準姿勢情報とが対応付けられた情報を含む。ある第2ユーザー姿勢情報に対応付けられた基準姿勢情報が示す姿勢は、第2ユーザーにより操作されるロボットである第2ロボットの姿勢のうち当該第2ユーザー姿勢情報が示す第2ユーザー姿勢に対応する姿勢である。第2ロボットは、ロボット20であってもよく、ロボット20と異なるロボットであってもよい。以下では、一例として、第2ロボットがロボット20である場合について説明する。
基準情報は、ロボット20の操作であってロボットシステム1における操作に第1ユーザーU1よりも習熟したユーザーである第2ユーザーU2が過去にロボット20を操作した際の第2ユーザー姿勢情報と、第2ユーザーU2によって操作されたロボット20の姿勢を示す情報であって当該基準となる姿勢を示す基準姿勢情報とが対応付けられた履歴情報である。なお、基準情報には、第2ユーザー姿勢情報毎に第2ユーザー姿勢情報と基準姿勢情報とが対応付けられた情報に加えて、他の情報が含まれてもよい。また、第2ユーザーは、第1ユーザーU1と同一人物であってもよい。
ロボット制御装置30は、第1ユーザーU1に装着されたユーザー装置10から取得した第1ユーザーに対応するユーザー情報と、ロボット20から取得した変化前ロボット情報と、サーバーSBのデータベースDBから読み出した基準情報とに基づいて、ロボット20の姿勢であって当該ユーザー情報に含まれているユーザー姿勢情報が示すユーザー姿勢に対応する標的姿勢を決定する。そして、ロボット制御装置30は、ロボット20を動作させ、決定した標的姿勢にロボット20の姿勢を変化させる。これにより、ロボット制御装置30は、第1ユーザーU1によるロボット20の操作を補助することができる。
この一例では、ユーザー装置10が第1ユーザーU1に装着されているため、ロボット制御装置30は、サーバーSBのデータベースDBから読み出した基準情報と、ユーザー装置10から取得したユーザー情報と、ロボット20から取得した変化前ロボット情報とに基づいて、ロボット20の姿勢であって当該ユーザー情報に含まれている第1ユーザー姿勢情報が示す第1ユーザー姿勢に対応する標的姿勢を決定する。そして、ロボット制御装置30は、ロボット20を動作させ、決定した標的姿勢にロボット20の姿勢を変化させる。これにより、ロボット制御装置30は、第1ユーザーU1によるロボット20の操作を補助することができる。
サーバーSBは、デスクトップPC(Personal Computer)、ワークステーション等の情報処理装置により実現された記憶装置である。サーバーSBは、ネットワークNを介してユーザー装置10、ロボット20(すなわち、ロボット制御装置30)のそれぞれと互いに通信可能に接続される。前述した通り、サーバーSBは、データベースDBを予め格納する。サーバーSBのデータベースDBは、ロボット制御装置30からの要求に応じて、基準情報をロボット制御装置30に出力する。
<ロボット制御装置の機能構成>
以下、図2を参照し、ロボット制御装置30の機能構成について説明する。図2は、ロボット制御装置30の機能構成の一例を示す図である。
ロボット制御装置30は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等である記憶部32と、USB(Universal Serial Bus)等のデジタル入出力ポートやイーサネット(登録商標)ポート等を含む通信ポートである通信部34と、ロボット制御部35と、制御装置36を備える。なお、ロボット制御装置30は、前述した通り、制御装置36と別体であってもよい。
ロボット制御部35は、ロボット制御装置30の全体を制御する。また、ロボット制御部35は、ロボット20を動作させ、制御装置36により決定された標的姿勢にロボット20の姿勢を変化させる。ロボット制御部35は、例えば、図示しないCPU(Central Processing Unit)が、記憶部32に記憶された各種プログラムを実行することにより実現される。また、ロボット制御部35は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェア機能部であってもよい。
制御装置36は、ユーザー情報取得部361と、変化前ロボット情報取得部362と、変化後ロボット情報取得部363と、特定部364と、決定部365と、生成部366と、記憶制御部367を備える。制御装置36が備えるこれらの機能部は、例えば、図示しないCPUが、記憶部32に記憶された各種プログラムを実行することにより実現される。また、当該機能部のうちの一部又は全部は、LSIやASIC等のハードウェア機能部であってもよい。
ユーザー情報取得部361は、ネットワークNを介してユーザー装置10からユーザー情報を取得する。なお、ユーザー情報取得部361は、第1情報取得部及び第3情報取得部の一例である。
変化前ロボット情報取得部362は、ロボット20から変化前ロボット情報を取得する。なお、変化前ロボット情報取得部362は、第2情報取得部の一例である。
変化後ロボット情報取得部363は、ロボット20から変化後ロボット情報を取得する。変化後ロボット情報は、ユーザー情報取得部361が取得したユーザー情報に含まれるユーザー姿勢情報が示すユーザー姿勢に対応する姿勢にロボット20の姿勢を変化させた後のロボット20の姿勢である変化後情報を含む情報である。また、変化後ロボット情報は、後述する生成部366が前述の基準情報を生成するために用いる情報である。なお、変化後ロボット情報取得部363は、第4情報取得部の一例である。また、変化後ロボット情報は、第4情報、第6情報の一例である。
特定部364は、サーバーSBのデータベースDBからネットワークNを介して基準情報を読み出す。特定部364は、読み出した基準情報の中から、ユーザー情報取得部361が取得したユーザー情報に含まれるユーザー姿勢情報と、変化前ロボット情報取得部362が取得した変化前ロボット情報に含まれる変化前姿勢情報とに応じた基準姿勢情報を対象基準姿勢情報として特定する。
決定部365は、特定部364が特定した対象基準姿勢情報に基づいて、ユーザー情報取得部361が取得したユーザー情報に含まれるユーザー姿勢情報が示すユーザー姿勢に対応する標的姿勢を決定する。
生成部366は、ユーザー情報取得部361が取得したユーザー情報と、変化後ロボット情報取得部363が取得した変化後ロボット情報とに基づいて、データベースDBに記憶させる基準情報を生成する。
記憶制御部367は、生成部366が生成した基準情報をデータベースDBに記憶させる。
<ロボット制御装置がロボットを動作させる処理>
以下、図3を参照し、ロボット制御装置30がロボット20を動作させる処理について説明する。図3は、ロボット制御装置30がロボット20を動作させる処理の流れの一例を示す図である。以下では、ロボット制御装置30が、ユーザー装置10が装着されたユーザー(この一例において、第1ユーザーU1)によるロボット20の操作を開始させる開始操作をステップS110が実行されるよりも前のタイミングにおいて受け付けている場合について説明する。
特定部364は、サーバーSBのデータベースDBから基準情報を読み出す(ステップS110)。ここで、データベースDBには、複数の基準情報が記憶されている構成であってもよい。この場合、基準情報のそれぞれには、ユーザーが所望する基準情報を特定部364が読み出すために必要な識別情報が対応付けられる。識別情報は、例えば、第2ユーザーを示すユーザー識別情報、第2ユーザーによるロボット20の操作の習熟度を示す習熟度情報、ロボット20に行わせる作業の種類を示す作業情報のうちの少なくとも1つが含まれる情報である。なお、識別情報には、ユーザー識別情報、習熟度情報、作業情報のうちの一部又は全部に代えて、他の情報が含まれてもよく、ユーザー識別情報、習熟度情報、作業情報のうちの一部又は全部に加えて、他の情報が含まれてもよい。
特定部364は、ステップS110の処理が実行されるよりも前のタイミングにおいて、ユーザーから識別情報を予め受け付ける。そして、特定部364は、ステップS110において、受け付けた識別情報に対応付けられた基準情報をデータベースDBから読み出す。この際、特定部364は、機械学習のアルゴリズムに基づいて、受け付けた識別情報と最も似ている識別情報に対応付けられた基準情報をデータベースDBから読み出す構成であってもよい。この場合、当該機械学習のアルゴリズムには、識別情報と、識別情報に応じた基準情報との組み合わせを学習させておく必要がある。当該機械学習のアルゴリズムは、深層学習等の既知のアルゴリズムであってもよく、これから開発されるアルゴリズムであってもよい。
次に、ロボット制御部35及び制御装置36は、前述の所定時間が経過する毎に、ステップS130〜ステップS180の処理を繰り返し行う(ステップS120)。
ユーザー情報取得部361は、ネットワークNを介してユーザー装置10からユーザー情報を取得する(ステップS130)。次に、変化前ロボット情報取得部362は、ロボット20から変化前ロボット情報を取得する(ステップS140)。なお、ロボット制御装置30において、ステップS130とステップS140の処理は、逆の順に行われてもよく、並列に行われてもよい。
次に、特定部364は、ステップS110においてデータベースDBから読み出した基準情報の中から、ステップS130においてユーザー情報取得部361が取得したユーザー情報に含まれる第1ユーザー姿勢情報と、ステップS140において変化前ロボット情報取得部362が取得した変化前ロボット情報に含まれる変化前姿勢情報とに応じた基準姿勢情報を対象基準姿勢情報として特定する(ステップS150)。ここで、ステップS150の処理について説明する。
特定部364は、ステップS130においてユーザー情報取得部361から取得したユーザー情報に含まれる第1ユーザー姿勢情報を、逆運動学に基づいて、ロボット20が備える1以上のモーター毎の回動角、角速度、角加速度、トルクのそれぞれによって表される情報である仮標的姿勢情報に変換する。特定部364は、当該第1ユーザー姿勢情報を変換した仮標的姿勢情報と、ステップS140において変化前ロボット情報取得部362から取得した変化前ロボット情報に含まれる変化前姿勢情報とを(入力パラメーターとして)用いて、機械学習のアルゴリズムに基づいて、ステップS110においてデータベースDBから読み出した基準情報の中から、当該仮標的姿勢情報と当該変化前姿勢情報とに応じた基準姿勢情報として最も尤もらしい基準姿勢情報を対象基準姿勢情報として特定する。
この場合、当該機械学習のアルゴリズムには、当該仮標的姿勢情報と、当該変化前姿勢情報と、当該仮標的姿勢情報及び当該変化前姿勢情報に応じた基準姿勢情報との組み合わせを学習させておく必要がある。当該機械学習のアルゴリズムは、深層学習等の既知のアルゴリズムであってもよく、これから開発されるアルゴリズムであってもよい。
なお、基準情報は、第2ユーザー姿勢情報毎に第2ユーザー姿勢情報と基準姿勢情報とが対応付けられた情報を含む情報であったが、これに代えて、基準姿勢情報を含む情報であって第2ユーザー姿勢情報を含まない情報であってもよい。この場合、特定部364は、当該仮標的姿勢情報を(入力パラメーターとして)用いて、当該機械学習のアルゴリズムに基づいて、ステップS110においてデータベースDBから読み出した基準情報の中から、当該仮標的姿勢情報に応じた基準姿勢情報として最も尤もらしい基準姿勢情報を対象基準姿勢情報として特定する。また、基準情報は、第2ユーザー姿勢情報毎に第2ユーザー姿勢情報と基準姿勢情報と他の情報が対応付けられた情報であってもよい。
この場合、特定部364は、当該仮標的姿勢情報と当該変化前姿勢情報と当該他の情報とを(入力パラメーターとして)用いて、当該機械学習のアルゴリズムに基づいて、ステップS110においてデータベースDBから読み出した基準情報の中から、当該仮標的姿勢情報に応じた基準姿勢情報として最も尤もらしい基準姿勢情報を対象基準姿勢情報として特定する。当該他の情報は、例えば、第2ロボット(この一例において、ロボット20)により検出された検出情報である第2検出情報等である。
ステップS150の処理が行われた後、決定部365は、ステップS150において特定部364が変換した仮標的姿勢情報と、ステップS150において特定部364が特定した対象基準姿勢情報とに基づいて、ステップS130においてユーザー情報取得部361が取得した第1ユーザー姿勢情報が示す姿勢に対応する姿勢である標的姿勢を決定する(ステップS160)。標的姿勢は、第1ユーザーU1の姿勢が、当該第1ユーザー姿勢情報が示すユーザー姿勢である場合に、ロボット20の姿勢を一致させたい所望の姿勢のことである。ここで、ステップS160の処理について説明する。
決定部365は、例えば、ステップS150において特定部364が変換した仮標的姿勢情報と、ステップS150において特定部364が特定した対象基準姿勢情報との差分を算出する。ここで、仮標的姿勢情報は、仮標的姿勢情報が示す姿勢を表す複数の回動角、複数の角速度、複数の角加速度、複数のトルクのそれぞれを成分として有するベクトルによって表される。また、対象基準姿勢情報は、対象基準姿勢情報が示す姿勢を表す複数の回動角、複数の角速度、複数の角加速度、複数のトルクのそれぞれを成分として有するベクトルによって表される。決定部365は、これらのベクトルの差分ベクトルを、仮標的姿勢情報を補正する補正量を算出するために用いる仮補正量として算出する。
そして、決定部365は、算出した仮補正量と、当該仮標的姿勢情報とを用いて、機械学習のアルゴリズムに基づいて、仮標的姿勢情報を補正する補正量として最も尤もらしい補正量を算出する。この場合、当該機械学習のアルゴリズムには、仮標的姿勢情報と、仮補正量と、仮標的姿勢情報及び仮補正量に応じた補正量との組み合わせを学習させておく必要がある。機械学習のアルゴリズムは、深層学習等の既知のアルゴリズムであってもよく、これから開発されるアルゴリズムであってもよい。決定部365は、算出した補正量を仮標的姿勢情報に足すことによって仮標的姿勢情報を補正し、補正した仮標的姿勢情報が示す姿勢を標的姿勢として決定する。ここで、当該補正量は、仮標的姿勢情報と対象基準姿勢情報との差を小さくする補正量である。
なお、決定部365は、差分ベクトルを算出することなく、ステップS150において特定部364が変換した仮標的姿勢情報と、ステップS150において特定部364が特定した対象基準姿勢情報とを用いて、機械学習のアルゴリズムに基づいて、仮標的姿勢情報を補正する補正量として最も尤もらしい補正量を算出してもよい。この場合、機械学習のアルゴリズムには、仮標的姿勢情報と、対象基準姿勢情報と、仮標的姿勢情報及び対象基準姿勢情報に応じた補正量との組み合わせを学習させておく必要がある。
ステップS160の処理が行われた後、ロボット制御部35は、ロボット20を動作させ、ステップS160において決定部365が決定した標的姿勢を示す情報に基づいて、ロボット20の姿勢を当該標的姿勢に変化させる(ステップS170)。次に、ロボット制御部35は、ロボット20の操作を終了させる終了操作をユーザーから受け付けたか否かを判定する(ステップS180)。終了操作をユーザーから受け付けたと判定した場合(ステップS180−YES)、ロボット制御部35は処理を終了する。一方、終了操作をユーザーから受け付けていないとロボット制御部35が判定した場合、ユーザー情報取得部361は、ステップS130に遷移し、再びネットワークNを介してユーザー装置10からユーザー情報を取得する。
以上のように、ロボット制御装置30は、第1情報(本実施形態におけるユーザー情報)を取得し、変化前姿勢を示す変化前姿勢情報と第1検出情報とのうち少なくとも変化前姿勢情報を含む第2情報(本実施形態における変化前ロボット情報)を取得する。そして、ロボット制御装置30は、第2ユーザーの姿勢である第2ユーザー姿勢を示す第2ユーザー姿勢情報毎に第2ユーザー姿勢情報と基準となる姿勢を示す基準姿勢情報とが対応付けられた情報を含む基準情報と、取得した第1情報と、取得した第2情報とに基づいて、第1ロボット(この一例において、ロボット20)の姿勢であって当該第1情報に含まれている第1ユーザー姿勢情報が示す第1ユーザー姿勢に対応する標的姿勢を決定する。これにより、ロボット制御装置30は、ロボット20の操作に慣れていない第1ユーザーが、基準情報に対応する好ましい操作と同等の操作をできるように第1ユーザーを補助することができる。
<ロボット制御装置が基準情報を生成する処理>
ロボットシステム1では、上記において説明した基準情報を生成する処理も行われる。そこで、以下では、当該処理について説明する。また、以下では、一例として、ユーザー装置10が、第3ユーザーに装着されている場合について説明する。第3ユーザーは、例えば、基準となる好ましい操作を行うことができるユーザーである。なお、第3ユーザーは、前述の第2ユーザー、又は第1ユーザーU1と同一人物であってもよい。なお、ロボットシステム1は、当該処理を行わない構成であってもよい。この場合、サーバーSBのデータベースDBには、他の情報処理装置によって基準情報が記憶される。また、この場合、ロボット制御装置30(又は制御装置36)は、以下において詳しく説明する生成部366を備えない。
また、ロボットシステム1は、図3に示したフローチャートの処理を行わない構成であってもよい。この場合、サーバーSBのデータベースDBに記憶された基準情報は、他の情報処理装置によって使用される。また、当該場合、ロボット制御装置30(又は制御装置36)は、特定部364、決定部365のそれぞれを備えない。
以下、図4を参照し、ロボット制御装置30が基準情報を生成する処理について説明する。図4は、ロボット制御装置30が基準情報を生成する処理の流れの一例を示す図である。図4に示したフローチャートは、第3ユーザーによる第3ロボットの操作が開始されたタイミングから当該操作が終了されたタイミングまでの間においてロボット制御装置30が行う処理の流れを示す。ただし、当該フローチャートでは、第3ユーザーによる第3ロボットの操作に関する処理の流れについては、省略している。第3ロボットは、第3ユーザーによって操作されるロボットである。以下では、一例として、第3ロボットがロボット20である場合について説明する。なお、第3ロボットは、ロボット20に代えて、他のロボットであってもよい。
ロボット制御部35及び制御装置36は、第3ユーザーによるロボット20の操作が開始されたタイミングから所定時間が経過する毎に、ステップS220〜ステップS260の処理を繰り返し行う(ステップS210)。
ユーザー情報取得部361は、ネットワークNを介してユーザー装置10から、第3ユーザーの姿勢である第3ユーザー姿勢を示す第3ユーザー姿勢情報を含む情報であるユーザー情報を取得する(ステップS220)。次に、変化後ロボット情報取得部363は、ロボット20から前述の変化後ロボット情報を取得する(ステップS230)。なお、ロボット制御装置30において、ステップS220とステップS230の処理は、逆の順に行われてもよく、並列に行われてもよい。また、ロボット制御装置30は、ロボット20から変化後ロボット情報を取得するとともに、変化後ロボット情報に含まれる変化後姿勢情報が示す姿勢に対応するユーザー姿勢を示すユーザー姿勢情報を含むユーザー情報を取得する構成であってもよい。
次に、生成部366は、ステップS220においてユーザー情報取得部361が取得した第3ユーザー情報と、ステップS230において変化後ロボット情報取得部363が取得した変化後ロボット情報とに基づいて、当該第3ユーザー姿勢情報と基準となる姿勢を示す基準姿勢情報とが対応付けられた情報を含む基準情報を生成する(ステップS240)。ここで、ステップS240の処理について説明する。
生成部366は、ステップS220においてユーザー情報取得部361が取得したユーザー情報と、ステップS230において変化後ロボット情報取得部363が取得した変化後ロボット情報とを用いて、機械学習のアルゴリズムに基づいて、前記基準情報を生成する。具体的には、生成部366は、当該ユーザー情報に含まれる第3ユーザー姿勢情報と、当該変化後ロボット情報に含まれる変化後姿勢情報とを用いて、機械学習のアルゴリズムに基づいて、当該第3ユーザー姿勢情報が示す第3ユーザー姿勢に対応する姿勢として最も尤もらしい姿勢を、基準となる姿勢を示す基準姿勢情報であって当該第3ユーザー姿勢に対応する基準姿勢情報として算出する。生成部366は、算出した当該基準姿勢情報と、当該第3ユーザー姿勢情報とを対応付けた情報を含む基準情報を生成する。ここで、当該機械学習のアルゴリズムには、第3ユーザー姿勢情報と、変化後姿勢情報と、基準姿勢情報との組み合わせを学習させておく必要がある。当該機械学習のアルゴリズムは、深層学習等の既知のアルゴリズムであってもよく、これから開発されるアルゴリズムであってもよい。
なお、生成部366は、ステップS230において変化後ロボット情報取得部363が取得した変化後ロボット情報に含まれる変化後姿勢情報を基準姿勢情報として特定し、特定した基準姿勢情報と、ステップS220においてユーザー情報取得部361が取得したユーザー情報に含まれる第3ユーザー姿勢情報とを対応付けた情報を含む基準情報を生成してもよい。
また、生成部366は、過去に生成された基準情報をサーバーSBのデータベースDBから取得可能な場合、当該基準情報を取得し、取得した当該基準情報と、ユーザー情報取得部が取得したユーザー情報と、変化後ロボット情報取得部が取得した変化後ロボット情報とを用いて、機械学習のアルゴリズムに基づいて、当該ユーザー情報に含まれる第3ユーザー姿勢情報に対応する姿勢として最も尤もらしい姿勢を算出してもよい。この場合、生成部366は、算出した姿勢を示す情報を、当該第3ユーザー姿勢情報に対応付ける基準姿勢情報として特定し、特定した基準姿勢情報と当該第3ユーザー姿勢情報とが対応付けられた情報を含む基準情報を生成する。
ステップS240の処理が行われた後、記憶制御部367は、ステップS240において生成部366が生成した基準情報を、ネットワークNを介してサーバーSBのデータベースDBに記憶させる(ステップS250)。次に、ロボット制御部35は、ユーザー装置10が装着されたユーザー(この一例において、第3ユーザー)によるロボット20の操作を終了させる終了操作を受け付けたか否かを判定する(ステップS260)。終了操作を受け付けたと判定した場合(ステップS260−YES)、ロボット制御部35は、処理を終了する。一方、終了操作を受け付けていないとロボット制御部35が判定した場合、ユーザー情報取得部361は、ステップS220に遷移し、再びネットワークNを介してユーザー装置10からユーザー情報を取得する。
ここで、上記において説明したステップS210〜ステップS260の処理について、簡単にまとめる。図4に示したフローチャートにおけるステップS220及びステップS230の処理は、換言すると、制御装置36が基準情報を機械学習のアルゴリズムによって生成するための教師データを取得する処理である。そして、ステップS240〜ステップS250の処理は、取得した教師データを用いて、機械学習のアルゴリズムが生成するモデルとして基準情報を生成する処理である。
従来、教師データを取得するためには、教師データを取得するための試験的な(予備的な)ロボットシステム1の運用を行わなければならなかった。しかし、ロボットシステム1では、制御装置36がステップS220〜ステップS230の処理を行うため、試験的なロボットシステム1の運用を必要とせず、ロボット20に試験的ではない作業(例えば本番の作業)を行わせている状態において制御装置36が教師データの取得を行うことができる。
また、制御装置36は、図4に示したフローチャートにおいて教師データとして取得したユーザー情報及び変化後ロボット情報をサーバーSBに記憶させない構成であったが、これに代えて、当該ユーザー情報及び当該変化後ロボット情報をサーバーSBに記憶させる構成であってもよい。これにより、制御装置36は、ロボット20の操作に関する教師データについてのビッグデータを構築することができる。このようにして構築されたビッグデータに基づいて生成される基準情報は、ユーザーによるロボットの操作を補助することに用いることができるとともに、ユーザーによる操作を必要とせずにロボット制御装置30がロボット20を自動的に動かすための情報として用いることができる。
ある作業についてロボット制御装置30がロボット20を自動的に動かすことが可能となった場合、ロボットシステム1では、ユーザーがロボット20を操作することにより、当該作業と異なる作業をロボット20に行わせるとともに、制御装置36が当該作業をロボット20に自動的に行わせるために必要な教師データの取得を行う。このような工程が繰り返し行われることにより、最終的には、ロボットシステム1は、ユーザーが行うほぼすべての作業を自動的にロボット20に行わせることができるようになる。
なお、ロボットシステム1は、複数のユーザー装置10と、各ユーザー装置10に対応するロボット20を備える構成であってもよい。すなわち、ロボットシステム1では、複数のユーザー装置10のそれぞれに対応するロボット20のうちの一部に自動的に所定の作業(ロボット20毎に異なる作業であってもよい)を行わせ、複数のユーザー装置10のそれぞれに対応するロボット20のうち当該一部以外のロボット20をユーザーが操作し、当該一部のロボット20のうち所望の動作を行っていないロボット20を、ユーザーにより操作されたロボット20が補助することができる。
また、構築されたビッグデータに基づいて生成される基準情報は、ユーザーによって操作されるロボット20の動作を、ユーザーが行っている作業に適した動作に改善することに用いられてもよい。この場合、ロボットシステム1では、ロボット制御装置30(すなわち、制御装置36)が、当該基準情報に基づいて、ユーザーによる操作に基づくロボット20の動作を、当該作業に適した動作に改善(変更)する。これにより、ロボット制御装置30は、技能が低いユーザーが操作した場合であっても、ロボット20に適切な動作をさせることができる。
また、構築されたビッグデータに基づいて生成される基準情報は、ユーザーによって操作されるロボット20の少なくとも一部の身体機能を補完することに用いられてもよい。この場合、ロボット制御装置30(すなわち、制御装置36)は、当該基準情報に基づいて、ユーザーによって操作されるロボット20の少なくとも一部の身体機能を補完する。この場合、ロボット制御装置30は、例えば、複数のロボット(一部又は全部がロボット20であってもよく、ロボット20ではなくてもよい)を、1人のユーザーによる操作によって動作させることができる。この際、ロボット制御装置30は、当該複数のロボットを、当該操作によってほぼ同時に動作させてもよく、当該複数のロボットの一部又は全部を異なるタイミングで動作させてもよい。
この場合、ロボット制御装置30は、複数の地域から1つのロボット20へのログインを受け付け、ログインしたユーザーにロボット20を操作させることができる。その結果、各地域のユーザーは、時差を活用してロボット20を長期間休みなく稼働させることができる。これにより、ロボット制御装置30は、ロボット20による作業を効率化させることができる。
なお、上記において説明を省略していたが、制御装置36が取得する変化前ロボット情報に含まれる各種の情報(変化前姿勢情報、視覚情報、触覚情報、聴覚情報)のそれぞれは、同期されていなければならない。当該各種の情報の同期は、ユーザー装置10において行われてもよく、ロボット制御装置30において行われてもよく、ネットワークNに接続された他の装置によって行われてもよい。また、この当該各種の情報の同期は、例えば、タイムスタンプによって実現される。なお、当該同期は、タイムスタンプ以外の方法によって実現されてもよい。
また、制御装置36は、ユーザー姿勢情報を含まないユーザー情報を教師データとして取得してもよく、変化後姿勢情報を含まない変化後ロボット情報を教師データとして取得してもよい。この場合、ユーザー情報には、例えば、ユーザー装置10に備えられた各種のセンサー(例えば、撮像部、触覚センサー、音検出部等)により検出された情報であってタイムスタンプ等によって同期された情報等が含まれる。また、この場合、変化後ロボット情報には、例えば、タイムスタンプ等によって同期された検出情報等が含まれる。すなわち、制御装置36は、この場合、ユーザー姿勢情報、変化後姿勢情報の少なくとも一方を含まない教師データのビッグデータを構築する。また、この場合、制御装置36は、例えば、他の装置によって生成された基準情報に基づいて、図3に示したフローチャートの処理を行ってもよく、当該処理を行わなくてもよい。
また、上記において説明したロボットシステム1は、制御装置36を備えたテレイグジスタンスの一例である。ここで、テレイグジスタンスについては、特公昭62−29196や上記の非特許文献1等に詳細な説明が記載されているため、説明を省略する。
また、ロボットシステム1において構築されたビッグデータは、1人のユーザーが何度も繰り返しロボット20に作業を行わせた場合における作業毎のユーザー情報及び変化後ロボット情報の集合であってもよく、複数人のユーザーのそれぞれがロボット20に作業を行わせた場合におけるユーザー毎のユーザー情報及び変化後ロボット情報の集合であってもよい。
以上のように、ロボット制御装置30(又は制御装置36)は、第3情報(この一例において、ユーザー情報)を取得し、取得した第3情報に含まれる第3ユーザー姿勢情報が示す姿勢に対応する標的姿勢に第3ロボット(この一例において、ロボット20)の姿勢が変化した後の第3ロボットの姿勢である変化後姿勢を示す変化後姿勢情報と第3検出情報(この一例において、検出情報)とのうち少なくとも変化後姿勢情報を含む第4情報(この一例において、変化後ロボット情報)を取得する。そして、ロボット制御装置30(又は制御装置36)は、取得した第3情報と、取得した第4情報とに基づいて、当該第3情報に含まれる第3ユーザー姿勢情報毎に第3ユーザー姿勢情報と基準となる姿勢を示す基準姿勢情報とが対応付けられた情報を含む基準情報を生成する。これにより、ロボット制御装置30は、生成した基準情報に基づいて、ユーザーによるロボットの操作を補助することができる。
なお、ロボット制御装置30と制御装置36が別体の場合、制御装置36は、ユーザー装置10、ロボット20、ロボット制御装置30、サーバーSBのそれぞれと互いに通信可能に接続される。そして、制御装置36は、決定部365が決定した標的姿勢を示す情報を、ロボット制御装置30が備えるロボット制御部35に出力し、生成部366が生成した基準情報をサーバーSBのデータベースDBに出力して記憶させる。また、当該場合、制御装置36は、ユーザー装置10が備える構成であってもよく、ロボット20が備える構成であってもよく、サーバーSBが備える構成であってもよい。
<サーバーSBが制御装置36を有する場合の処理>
以上の説明においては、ロボット制御装置30が制御装置36を備える場合を例示したが、サーバーSBが制御装置36を備えてもよい。図5は、サーバーSBが制御装置36を備える場合に基準姿勢情報を生成する手順について説明するための図である。図6は、サーバーSBが制御装置36を備える場合にロボット20を制御する手順について説明するための図である。以下の説明における制御装置36の構成及び動作を、既に説明したロボット制御装置30が制御装置36を備える場合に適用してもよい。
(基準情報を生成する処理)
図5は、サーバーSBが、ロボット20の操作を習熟した第2ユーザー(図5において符号U2で示すユーザー)の姿勢を示す基準姿勢情報となる第2ユーザー姿勢情報に基づいて基準情報を生成する処理を示している。サーバーSBは、ロボット制御装置30を介して、ロボット20の姿勢を示す姿勢情報を定期的に取得している。
サーバーSBのユーザー情報取得部361が、ユーザー装置10を介して第2ユーザー姿勢情報を取得すると(A1)、変化前ロボット情報取得部362は、ユーザー情報取得部361が第2ユーザー姿勢情報を取得した時点での最新のロボット20の姿勢情報を変化前姿勢情報として取得する(A2)。
第2ユーザーU2はロボット20の操作に習熟しているので、変化前姿勢情報が示すロボット20の姿勢において第2ユーザーU2が行った操作は、望ましい操作であると考えられる。そこで、生成部366は、変化前ロボット情報取得部362が取得した変化前姿勢情報と、ユーザー情報取得部361が取得した基準姿勢情報としての第2ユーザー姿勢情報とを関連付けることにより、複数の基準情報を生成する(A3)。
ところで、ロボット20の姿勢が同一であっても、ユーザーが次に変化させたいと考えている姿勢が同一であるとは限らない。例えば、同一のロボット20の姿勢から、ロボット20に物体を掴ませる動作をさせる場合と、物体を倒す動作をさせる場合とが考え得る。そこで、生成部366は、ユーザー情報取得部361が第2ユーザー姿勢情報を取得する直前に取得した複数の変化前姿勢情報と第2ユーザー姿勢情報とを関連付けることにより複数の基準情報を生成してもよい。生成部366がこのようにして基準情報を生成することで、基準情報を用いることで、ロボット20の操作に習熟していない第1ユーザーU1が、所望する動作をロボット20にさせることができる確率が向上する。
また、生成部366は、第2ユーザーの操作内容ごとに、変化前姿勢情報と第2ユーザー姿勢情報とを関連付けた複数の基準情報を生成してもよい。生成部366は、例えば、連続する複数の第2ユーザー姿勢情報に基づいて操作内容を推定し、推定した操作内容に対応する複数の基準情報を生成してデータベースDBに記憶させる。生成部366は、第2ユーザーにより入力された操作内容を示すテキスト情報に関連付けて複数の基準情報をデータベースDBに記憶させてもよい。具体的には、生成部366は、例えば変化前姿勢情報が示す変化前姿勢においてロボット20に物体を掴ませるという操作内容、及び物体を倒させるという操作内容のそれぞれに関連付けて、基準姿勢情報をデータベースDBに記憶させる。生成部366は、第2ユーザーU2の属性(例えば、ロボット20の操作経験の長さ、身体の大きさ、性別等)に関連付けて、複数の基準情報をデータベースに記憶させてもよい。
生成部366は、変化前姿勢情報と第2ユーザー姿勢情報とを教師データとして、入力された変化前姿勢情報と第1ユーザー姿勢情報とに適した基準姿勢情報を出力可能な機械学習モデルを生成してもよい。生成部366は、例えば、既に構築された機械学習モデルに変化前姿勢情報と第2ユーザー姿勢情報とを入力することにより機械学習モデルを更新し、機械学習モデルに入力された第1ユーザー姿勢情報に適した基準姿勢情報を出力できるようにすることができる。
また、生成部366は、第2ユーザー姿勢情報を直接的に用いる代わりに、第2ユーザー姿勢情報に基づいて動作したロボット20の変化後姿勢情報に基づいて基準姿勢情報を生成してもよい。このようにするために、生成部366は、第2ユーザー姿勢情報に基づいてロボットが姿勢を変化させた後の変化後姿勢を示す変化後姿勢情報を取得する第4情報取得部としての変化後ロボット情報取得部363から変化後姿勢情報を取得する。生成部366は、変化前姿勢情報と変化後姿勢情報とに基づいて第2ユーザー姿勢情報を特定し、変化前姿勢情報と、特定した第2ユーザー姿勢情報とを関連付けることにより、複数の基準姿勢情報を生成する。
(基準情報に基づいてロボット20を動作させる処理)
続いて、図6を参照しながら、ロボット20の操作に習熟していない第1ユーザーU1がロボット20を操作する場合のサーバーSBの動作について説明する。図6に示す例においても、サーバーSBは、ロボット制御装置30を介して、ロボット20の姿勢を示す姿勢情報を定期的に取得している。
サーバーSBのユーザー情報取得部361が、ユーザー装置10を介して第1ユーザーU1姿勢情報を取得すると(B1)、変化前ロボット情報取得部362は、ユーザー情報取得部361が第2ユーザー姿勢情報を取得した時点での最新のロボット20の姿勢情報を変化前姿勢情報として取得する(B2)。続いて、サーバーSBの決定部365は、変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をしている時点で第1情報取得部としてのユーザー情報取得部361が取得した第1ユーザー姿勢情報とに基づいて、第1ユーザーU1の姿勢と異なる標的姿勢をロボットの姿勢に決定する。
具体的には、まず、特定部364はデータベースDBを参照して、複数の基準姿勢情報から一の基準姿勢情報を選択する(B3)。特定部364は、選択した基準姿勢情報を決定部365に通知する。決定部365は、通知された基準姿勢情報が示す姿勢を、標的姿勢として決定する。決定部365は、決定した標的姿勢に対応する基準姿勢情報を対象基準姿勢情報としてロボット制御装置30に送信する(B4)。以下、特定部364の動作について詳細に説明する。
特定部364は、ロボット20の姿勢を変化させるために用いられる複数の基準姿勢情報のうち、変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をしている時点でユーザー情報取得部361が取得した第1ユーザー姿勢情報とに対応する対象基準姿勢情報を特定する。すなわち、特定部364は、それぞれ変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をしている過去の時点において取得された第2ユーザーU2の姿勢を示す基準姿勢情報とが関連付けられた複数の基準情報から選択した一の基準情報に対応する基準姿勢情報を対象基準姿勢情報として選択する。
具体的には、まず、特定部364は、変化前姿勢情報と第1ユーザー姿勢情報とに基づいて、第1ユーザー姿勢情報が示す第1ユーザーU1の姿勢に対応する第2ユーザーU2の姿勢を推定する。そして、特定部364は、推定した第2ユーザーU2の姿勢を示す第2ユーザー姿勢情報に関連付けてデータベースDBに記憶されている基準姿勢情報を対象基準姿勢情報として特定する。特定部364がこのようにして対象基準姿勢情報を選択することで、決定部365は、第1ユーザーU1の姿勢に最も合った標的姿勢を決定することができるので、第1ユーザーU1がロボット20を適切に操作しやすくなる。
特定部364は、複数の基準情報の中から、第1情報取得部としてのユーザー情報取得部361が取得した第1ユーザー姿勢情報と、第2情報取得部としての変化前ロボット情報取得部362が取得した変化前姿勢情報とに基づいて、第1ユーザーが意図した標的姿勢にロボットの姿勢を変化させられる蓋然性が相対的に高い一の基準情報を選択する。
特定部364は、第1ユーザー姿勢情報と変化前姿勢情報とに基づいて、第1ユーザーU1が意図した標的姿勢を推定し、推定した標的姿勢にロボットの姿勢を変化させられる蓋然性が相対的に高い一の基準情報を選択してもよい。具体的な処理として、特定部364は、ユーザー情報取得部361が取得した第1ユーザー姿勢情報に基づいて、ロボット20が備える一以上のモーターそれぞれの回動角、角速度、角加速度及びトルクを示す仮標的姿勢情報を生成する。特定部364は、生成した仮標的姿勢情報と変化前姿勢情報とに基づいて対象基準姿勢情報を特定する。
特定部364は、例えば第1ユーザー姿勢情報に基づいて第1ユーザーU1の操作内容を特定することにより標的姿勢を推定してもよい。具体的には、特定部364は、生成部366が第2ユーザーの操作内容ごとに変化前姿勢情報と第2ユーザー姿勢情報とを関連付けた複数の基準情報を生成した場合、第1ユーザーU1が行おうとしている操作内容を特定し、特定した操作内容に対応する複数の基準情報から、変化前姿勢情報に対応する一の基準情報を選択する。特定部364は、複数の連続する第1ユーザー姿勢情報に基づいて第1ユーザーU1が行おうとしている操作内容を特定してもよく、第1ユーザーU1が入力した操作内容を示すテキスト情報に基づいて操作内容を特定してもよい。特定部364は、このように操作内容を特定した結果を利用することで、第1ユーザーU1が意図した標的姿勢を正しく特定できる確率を高めることができる。
ところで、ロボット20の操作を行った経験が比較的長い第1ユーザーU1の姿勢は、ロボット20の操作を行った経験が比較的短い第1ユーザーU1の姿勢に比べて、ロボット20の変化前姿勢が同一の状態で同一の操作を行った第2ユーザーU2の姿勢に近いと考えられる。そこで、特定部364は、第1ユーザーU1がロボット20の操作を行った経験の長さを示す情報を取得し、取得した情報に基づいて第1ユーザー姿勢情報に対応する第2ユーザー姿勢情報を推定してもよい。
具体的には、特定部364は、第1ユーザーU1がロボット20を操作した経験の長さに基づいて、変化前姿勢情報と第1ユーザー姿勢情報とに対応すると想定される複数の基準姿勢情報から一の基準姿勢情報を選択する。このようにすることで、決定部365が、第1ユーザーU1が行おうとした操作に最も適した基準姿勢情報に基づいて標的姿勢を決定することができる。なお、特定部364は、第1ユーザーU1の操作経験の長さの他に、第1ユーザーU1の身体の大きさ又は性別といった属性に関連付けられた複数の基準姿勢情報から一の基準姿勢情報を選択してもよい。
特定部364は、複数の変化前姿勢情報と複数の第2ユーザー姿勢情報とを教師データとして作成された機械学習モデルに変化前姿勢情報と第1ユーザー姿勢情報とを入力することにより、対象基準姿勢情報を特定してもよい。この場合、特定部364は、機械学習モデルから出力される基準姿勢情報を対象基準姿勢情報として特定する。
決定部365が同一のタイミングで取得された第1ユーザー姿勢情報と変化前姿勢情報とを用いて標的姿勢を決定できるようにするために、ユーザー情報取得部361は、時刻に関連付けて第1ユーザー姿勢情報を取得し、変化前ロボット情報取得部362は、時刻に関連付けて変化前姿勢情報を取得してもよい。この場合、決定部365は、同一の時刻に関連付けられた変化前姿勢情報と第1ユーザー姿勢情報とに基づいて、標的姿勢をロボットの姿勢に決定する。決定部365がこのような構成を有することで、第1ユーザーU1が姿勢を変化させた時点におけるロボット20の姿勢に基づいて標的姿勢が決定されるので、決定部365が、第1ユーザーU1の意図に合った標的姿勢に決定できる確率を高めることができる。
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。
また、以上に説明した装置(例えば、ロボット制御装置30、制御装置36)における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、OS(Operating System)や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD(Compact Disk)−ROM等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
<付記>
本発明は、以下の発明として把握することもできる。
(1)第1ユーザーに関する情報を検出するユーザー装置と、第1ロボットと、前記第1ロボットを制御するロボット制御装置とを備え、前記第1ユーザーの姿勢である第1ユーザー姿勢を示す第1ユーザー姿勢情報を含む第1情報を前記ユーザー装置から取得し、取得した前記第1情報に基づいて姿勢を変化させる前の前記第1ロボットの姿勢である変化前姿勢を、取得した前記第1情報に含まれる前記第1ユーザー姿勢情報が示す前記第1ユーザー姿勢に対応する姿勢である標的姿勢に変化させるとともに、前記第1ロボットにより検出された第1検出情報に応じた処理を前記ユーザー装置に行わせるロボットシステムが備える制御装置であって、前記第1情報を取得する第1情報取得部と、前記変化前姿勢を示す変化前姿勢情報と前記第1検出情報とのうち少なくとも前記変化前姿勢情報を含む第2情報を取得する第2情報取得部と、第2ユーザーの姿勢である第2ユーザー姿勢を示す第2ユーザー姿勢情報毎に前記第2ユーザー姿勢情報と基準となる姿勢を示す基準姿勢情報とが対応付けられた情報を含む基準情報と、前記第1情報取得部が取得した前記第1情報と、前記第2情報取得部が取得した前記第2情報とに基づいて、前記第1ロボットの姿勢であって当該第1情報に含まれている前記第1ユーザー姿勢情報が示す前記第1ユーザー姿勢に対応する前記標的姿勢を決定する決定部と、を備える制御装置。
(2)前記基準情報の中から、前記第1情報取得部が取得した前記第1情報に含まれる前記第1ユーザー姿勢情報と、前記第2情報取得部が取得した前記第2情報に含まれる前記変化前姿勢情報とに応じた前記基準姿勢情報を対象基準姿勢情報として特定する特定部を備え、前記決定部は、前記特定部が特定した前記対象基準姿勢情報と、前記第1情報取得部が取得した前記第1情報に含まれる前記第1ユーザー姿勢情報とに基づいて前記標的姿勢を決定する制御装置。
(3)前記変化前姿勢情報は、現在の前記第1ロボットが備える1以上のモーター毎の回動角、角速度、角加速度、トルクのそれぞれによって表される情報であり、前記基準姿勢情報が示す姿勢は、第2ロボットの姿勢のうち前記第2ユーザー姿勢情報が示す第2ユーザー姿勢に対応する姿勢であり、前記基準姿勢情報毎に前記基準姿勢情報に対応付けられた前記第2ユーザー姿勢情報は、前記第2ロボットが備える1以上のモーター毎の回動角、角速度、角加速度、トルクのそれぞれによって表される情報であり、前記特定部は、前記第1情報取得部が取得した前記第1情報に含まれる前記第1ユーザー姿勢情報を逆運動学に基づいて、前記第1ロボットが備える1以上のモーター毎の回動角、角速度、角加速度、トルクのそれぞれによって表される情報である仮標的姿勢情報に変換し、変換した前記仮標的姿勢情報と、前記第2情報取得部が取得した前記第2情報に含まれる前記変化前姿勢情報とに基づいて、前記対象基準姿勢情報を特定する、制御装置。
(4)前記特定部は、前記基準情報の中から、前記第1情報取得部が取得した前記第1情報に含まれる前記第1ユーザー姿勢情報と、前記第2情報取得部が取得した前記第2情報に含まれる前記変化前姿勢情報とに応じた前記基準姿勢情報であることが最も尤もらしい前記基準姿勢情報を、前記対象基準姿勢情報として特定する、制御装置。
(5)第3ユーザーに関する情報を検出するユーザー装置と、第3ロボットと、前記第3ロボットを制御するロボット制御装置とを備え、前記第3ユーザーの姿勢である第3ユーザー姿勢を示す第3ユーザー姿勢情報を含む第3情報を前記ユーザー装置から取得し、取得した前記第3情報に基づいて姿勢を変化させる前の前記第3ロボットの姿勢である変化前姿勢を、取得した前記第3情報に含まれる前記第3ユーザー姿勢情報が示す前記第3ユーザー姿勢に対応する姿勢である標的姿勢に変化させるとともに、前記第3ロボットにより検出された第3検出情報に応じた処理を前記ユーザー装置に行わせるロボットシステムが備える制御装置であって、前記第3情報を取得する第3情報取得部と、前記第3情報取得部が取得した前記第3情報に含まれる前記第3ユーザー姿勢情報が示す姿勢に対応する前記標的姿勢に前記第3ロボットの姿勢が変化した後の前記第3ロボットの姿勢である変化後姿勢を示す変化後姿勢情報と前記第3検出情報とのうち少なくとも前記変化後姿勢情報を含む第4情報を取得する第4情報取得部と、前記第3情報取得部が取得した前記第3情報と、前記第4情報取得部が取得した前記第4情報とに基づいて、当該第3情報に含まれる前記第3ユーザー姿勢情報毎に第3ユーザー姿勢情報と基準となる姿勢を示す基準姿勢情報とが対応付けられた情報を含む基準情報を生成する生成部と、を備える制御装置。
(6)前記生成部は、前記第3情報取得部が取得した前記第3情報と、前記第4情報取得部が取得した前記第4情報とを用いて、機械学習のアルゴリズムに基づいて、前記基準情報を生成する、制御装置。
(7)前記生成部は、過去に生成された前記基準情報を取得可能な場合、当該基準情報を取得し、取得した当該基準情報と、前記第3情報取得部が取得した前記第3情報と、前記第4情報取得部が取得した前記第4情報とを用いて、当該第3情報に含まれる前記第3ユーザー姿勢情報に対応する姿勢として最も尤もらしい姿勢を算出し、算出した姿勢を示す情報を、当該第3ユーザー姿勢情報に対応付ける前記基準姿勢情報として特定し、特定した前記基準姿勢情報と当該第3ユーザー姿勢情報とが対応付けられた情報を含む前記基準情報を生成する、制御装置。
(8)第5ユーザーに関する情報を検出するユーザー装置と、第5ロボットと、前記第5ロボットを制御するロボット制御装置とを備え、前記第5ユーザーの姿勢である第5ユーザー姿勢を示す第5ユーザー姿勢情報を前記ユーザー装置から取得し、取得した前記第5ユーザー姿勢情報に基づいて姿勢を変化させる前の前記第5ロボットの姿勢である変化前姿勢を、取得した前記第5ユーザー姿勢情報が示す前記第5ユーザー姿勢に対応する姿勢である標的姿勢に変化させるとともに、前記第5ロボットにより検出された第5検出情報に応じた処理を前記ユーザー装置に行わせるロボットシステムが備える制御装置であって、前記ユーザー装置により検出された1以上の情報であって同期された情報である第5情報と、前記第5ロボットにより検出された1以上の情報であって同期された情報である第6情報とを取得し、取得した前記第5情報及び前記第6情報を記憶部に記憶させる、制御装置。
(9)前記第5情報は、前記第5ユーザー姿勢情報を含み、前記第6情報は、前記第5ユーザー姿勢情報が示す姿勢に対応する前記標的姿勢に前記第5ロボットの姿勢が変化した後の前記第5ロボットの姿勢である変化後姿勢を示す変化後姿勢情報と前記第5検出情報とのうち少なくとも前記変化後姿勢情報を含む、制御装置。
1…ロボットシステム、10…ユーザー装置、11…ヘッドマウントディスプレイ、12、13…データグローブ、20…ロボット、21…頭部部分、22…右腕部分、23…左腕部分、24…支持部分、30…ロボット制御装置、32…記憶部、34…通信部、35…ロボット制御部、36…制御装置、361…ユーザー情報取得部、362…変化前ロボット情報取得部、363…変化後ロボット情報取得部、364…特定部、365…決定部、366…生成部、367…記憶制御部、DB…データベース、N…ネットワーク、SB…サーバー、U1…第1ユーザー

Claims (13)

  1. ロボットを操作する第1ユーザーの姿勢を示す第1ユーザー姿勢情報を取得する第1情報取得部と、
    前記第1ユーザー姿勢情報に基づいて前記ロボットの姿勢を変化させる前の前記ロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得する第2情報取得部と、
    前記変化前姿勢情報と、前記変化前姿勢情報が示す前記変化前姿勢を前記ロボットがしている時点で前記第1情報取得部が取得した前記第1ユーザー姿勢情報とに基づいて、前記第1ユーザーの姿勢と異なる標的姿勢を前記ロボットの姿勢に決定する決定部と、
    を有する制御装置。
  2. 前記ロボットの姿勢を変化させるために用いられる複数の基準姿勢情報のうち、前記変化前姿勢情報と、前記変化前姿勢情報が示す前記変化前姿勢をしている時点で前記第1情報取得部が取得した前記第1ユーザー姿勢情報とに対応する対象基準姿勢情報を特定する特定部をさらに有する、
    請求項1に記載の制御装置。
  3. 前記特定部は、それぞれ前記変化前姿勢情報と、前記変化前姿勢情報が示す前記変化前姿勢をしている過去の時点において取得された前記第1ユーザーと異なる第2ユーザーの姿勢を示す基準姿勢情報とが関連付けられた前記複数の基準情報から選択した一の基準情報に対応する前記基準姿勢情報を前記対象基準姿勢情報として選択する、
    請求項2に記載の制御装置。
  4. 前記特定部は、前記複数の基準情報の中から、前記第1情報取得部が取得した前記第1ユーザー姿勢情報と、前記第2情報取得部が取得した前記変化前姿勢情報とに基づいて、前記第1ユーザーが意図した前記標的姿勢に前記ロボットの姿勢を変化させられる蓋然性が相対的に高い一の基準情報を選択する、
    請求項3に記載の制御装置。
  5. 前記特定部は、前記第1ユーザー姿勢情報と前記変化前姿勢情報とに基づいて、前記第1ユーザーが意図した前記標的姿勢を推定し、推定した前記標的姿勢に前記ロボットの姿勢を変化させられる蓋然性が相対的に高い一の基準情報を選択する、
    請求項4に記載の制御装置。
  6. 前記特定部は、複数の前記変化前姿勢情報と複数の前記基準姿勢情報とを教師データとして作成された機械学習モデルに前記変化前姿勢情報と前記第1ユーザー姿勢情報とを入力することにより、前記対象基準姿勢情報を特定する、
    請求項2から5のいずれか一項に記載の制御装置。
  7. 前記特定部は、前記第1情報取得部が取得した前記第1ユーザー姿勢情報に基づいて、前記ロボットが備える一以上のモーターそれぞれの回動角、角速度、角加速度及びトルクを示す仮標的姿勢情報を生成し、生成した前記仮標的姿勢情報と前記変化前姿勢情報とに基づいて前記対象基準姿勢情報を特定する、
    請求項2から6のいずれか一項に記載の制御装置。
  8. 前記第1ユーザーと異なる第2ユーザーの姿勢を示す第2ユーザー姿勢情報を取得する第3情報取得部と、
    前記変化前姿勢情報と前記基準姿勢情報としての前記第2ユーザー姿勢情報とを関連付けることにより、前記複数の基準情報を生成する生成部と、
    をさらに有する、
    請求項2から7のいずれか一項に記載の制御装置。
  9. 前記生成部は、前記変化前姿勢情報と前記第2ユーザー姿勢情報とを教師データとして、入力された前記変化前姿勢情報と前記第1ユーザー姿勢情報とに適した前記基準姿勢情報を出力可能な機械学習モデルを生成する、
    請求項8に記載の制御装置。
  10. 前記第2ユーザー姿勢情報に基づいて前記ロボットが姿勢を変化させた後の変化後姿勢を示す変化後姿勢情報を取得する第4情報取得部と、
    前記変化前姿勢情報と前記変化後姿勢情報とに基づいて前記第2ユーザー姿勢情報を特定し、前記変化前姿勢情報と、特定した前記第2ユーザー姿勢情報とを関連付けることにより、前記複数の基準姿勢情報を生成する生成部と、
    をさらに有する、
    請求項8又は9に記載の制御装置。
  11. 前記第1情報取得部は、時刻に関連付けて前記第1ユーザー姿勢情報を取得し、
    前記第2情報取得部は、時刻に関連付けて前記変化前姿勢情報を取得し、
    前記決定部は、同一の時刻に関連付けられた前記変化前姿勢情報と前記第1ユーザー姿勢情報とに基づいて、前記標的姿勢を前記ロボットの姿勢に決定する、
    請求項1から10のいずれか一項に記載の制御装置。
  12. コンピューターが実行する、
    ロボットを操作する第1ユーザーの姿勢を示す第1ユーザー姿勢情報を取得するステップと、
    前記第1ユーザー姿勢情報に基づいて前記ロボットの姿勢を変化させる前の前記ロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得するステップと、
    前記変化前姿勢情報と、前記変化前姿勢情報が示す前記変化前姿勢を前記ロボットがしている時点で取得した前記第1ユーザー姿勢情報とに基づいて、前記第1ユーザーの姿勢と異なる標的姿勢を前記ロボットの姿勢に決定するステップと、
    を有するロボット制御方法。
  13. ロボットと、
    前記ロボットを操作する第1ユーザーに関する情報を検出するユーザー装置と、
    前記ロボットを制御するロボット制御装置と、
    前記ユーザー装置及び前記ロボット制御装置との間で通信可能な制御装置と、
    を備え、
    前記ユーザー装置は、前記第1ユーザーの姿勢を示す第1ユーザー姿勢情報を前記制御装置に送信し、
    前記ロボット制御装置は、前記制御装置が決定した標的姿勢になるように前記ロボットの姿勢を制御し、
    前記制御装置は、
    前記第1ユーザー姿勢情報を取得する第1情報取得部と、
    前記第1ユーザー姿勢情報に基づいて前記ロボットの姿勢を変化させる前の前記ロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得する第2情報取得部と、
    前記変化前姿勢情報と、前記変化前姿勢情報が示す前記変化前姿勢を前記ロボットがしている時点で前記第1情報取得部が取得した前記第1ユーザー姿勢情報とに基づいて、前記第1ユーザーの姿勢と異なる前記標的姿勢を前記ロボットの姿勢に決定する決定部と、
    前記標的姿勢を前記ロボット制御装置に送信する送信部と、
    を有するロボット制御システム。
JP2018562142A 2017-05-17 2018-05-16 制御装置、ロボット制御方法及びロボット制御システム Active JP6476358B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017098533 2017-05-17
JP2017098533 2017-05-17
PCT/JP2018/018884 WO2018212226A1 (ja) 2017-05-17 2018-05-16 制御装置、ロボット制御方法及びロボット制御システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019017756A Division JP7053042B2 (ja) 2017-05-17 2019-02-04 情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
JP6476358B1 true JP6476358B1 (ja) 2019-02-27
JPWO2018212226A1 JPWO2018212226A1 (ja) 2019-06-27

Family

ID=64274097

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018562142A Active JP6476358B1 (ja) 2017-05-17 2018-05-16 制御装置、ロボット制御方法及びロボット制御システム
JP2019017756A Active JP7053042B2 (ja) 2017-05-17 2019-02-04 情報処理装置及び情報処理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019017756A Active JP7053042B2 (ja) 2017-05-17 2019-02-04 情報処理装置及び情報処理方法

Country Status (5)

Country Link
US (1) US11548168B2 (ja)
EP (1) EP3626401A4 (ja)
JP (2) JP6476358B1 (ja)
CN (1) CN110662631B (ja)
WO (1) WO2018212226A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022209924A1 (ja) 2021-03-31 2022-10-06 本田技研工業株式会社 ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム
JP7357902B2 (ja) 2019-07-22 2023-10-10 東京ロボティクス株式会社 ロボット制御システム、装置、方法及びプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11351671B2 (en) * 2018-10-29 2022-06-07 Toyota Research Institute, Inc. Intent based control of a robotic device
WO2020189143A1 (ja) * 2019-03-20 2020-09-24 Telexistence株式会社 制御装置及び制御方法
US20210125052A1 (en) * 2019-10-24 2021-04-29 Nvidia Corporation Reinforcement learning of tactile grasp policies
JP6965398B1 (ja) * 2020-05-14 2021-11-10 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔制御システム、遠隔作業装置、映像処理装置およびプログラム
JP2022146417A (ja) * 2021-03-22 2022-10-05 本田技研工業株式会社 制御装置、ロボットシステム、制御方法、および、プログラム
CN115530134A (zh) * 2022-09-26 2022-12-30 上海耿康智能科技有限公司 远程控制自动更换饵料系统、方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146435A (ja) * 2004-11-17 2006-06-08 Univ Waseda 動作伝達システムおよび動作伝達方法
US20130173055A1 (en) * 2012-01-04 2013-07-04 Samsung Electronics Co., Ltd. Robot hand and humanoid robot having the same

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57121487A (en) 1981-01-14 1982-07-28 Kogyo Gijutsuin System of operating manipulator
JPS6229196A (ja) 1985-07-31 1987-02-07 株式会社日立製作所 リフロ−はんだ付方法およびその装置
US4975856A (en) * 1986-02-18 1990-12-04 Robotics Research Corporation Motion controller for redundant or nonredundant linkages
JPH03294911A (ja) * 1990-04-12 1991-12-26 Toshiba Corp 操作者支援装置
US5784542A (en) * 1995-09-07 1998-07-21 California Institute Of Technology Decoupled six degree-of-freedom teleoperated robot system
JP3628826B2 (ja) * 1996-12-24 2005-03-16 本田技研工業株式会社 脚式移動ロボットの遠隔制御システム
JP3667914B2 (ja) * 1997-01-31 2005-07-06 本田技研工業株式会社 脚式移動ロボットの遠隔制御システム
US6852107B2 (en) * 2002-01-16 2005-02-08 Computer Motion, Inc. Minimally invasive surgical training using robotics and tele-collaboration
US6659939B2 (en) * 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US8527094B2 (en) * 1998-11-20 2013-09-03 Intuitive Surgical Operations, Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US8600551B2 (en) * 1998-11-20 2013-12-03 Intuitive Surgical Operations, Inc. Medical robotic system with operatively couplable simulator unit for surgeon training
US6728599B2 (en) * 2001-09-07 2004-04-27 Computer Motion, Inc. Modularity system for computer assisted surgery
JP4382003B2 (ja) * 2005-03-23 2009-12-09 川崎重工業株式会社 ロボット制御装置およびロボット制御方法
US20070167702A1 (en) * 2005-12-30 2007-07-19 Intuitive Surgical Inc. Medical robotic system providing three-dimensional telestration
US8355818B2 (en) * 2009-09-03 2013-01-15 Battelle Energy Alliance, Llc Robots, systems, and methods for hazard evaluation and visualization
CN102248537B (zh) * 2007-06-27 2013-12-04 松下电器产业株式会社 机器手控制装置及控制方法、机器人
US8160747B1 (en) * 2008-10-24 2012-04-17 Anybots, Inc. Remotely controlled self-balancing robot including kinematic image stabilization
US8442661B1 (en) * 2008-11-25 2013-05-14 Anybots 2.0, Inc. Remotely controlled self-balancing robot including a stabilized laser pointer
US8897920B2 (en) * 2009-04-17 2014-11-25 Intouch Technologies, Inc. Tele-presence robot system with software modularity, projector and laser pointer
US11154981B2 (en) * 2010-02-04 2021-10-26 Teladoc Health, Inc. Robot user interface for telepresence robot system
JP5032716B2 (ja) * 2010-08-31 2012-09-26 パナソニック株式会社 マスタースレーブロボットの制御装置及び制御方法、並びに、制御プログラム
WO2013035244A1 (ja) * 2011-09-06 2013-03-14 パナソニック株式会社 ロボットアームの制御装置及び制御方法、ロボット、制御プログラム、並びに、集積電子回路
CN104379308B (zh) * 2012-06-29 2016-05-18 三菱电机株式会社 机器人控制装置以及机器人控制方法
KR101997566B1 (ko) * 2012-08-07 2019-07-08 삼성전자주식회사 수술 로봇 시스템 및 그 제어방법
JP6229196B2 (ja) 2013-03-28 2017-11-15 福井県 特性インピーダンスを調整可能な伝送線路
JP6368906B2 (ja) * 2013-06-11 2018-08-08 オルトタクシ 身体部分の計画されたボリュームの処置用システム
JP6468741B2 (ja) * 2013-07-22 2019-02-13 キヤノン株式会社 ロボットシステム及びロボットシステムの校正方法
US9555549B2 (en) * 2013-10-31 2017-01-31 Seiko Epson Corporation Control device, robot, robot system, and control method
JP6358463B2 (ja) * 2013-11-13 2018-07-18 パナソニックIpマネジメント株式会社 マスタースレーブ装置用マスター装置及びその制御方法、及び、マスタースレーブ装置
JP5962679B2 (ja) * 2014-01-20 2016-08-03 トヨタ自動車株式会社 2足歩行ロボット制御方法及び2足歩行ロボット制御システム
KR102237597B1 (ko) * 2014-02-18 2021-04-07 삼성전자주식회사 수술 로봇용 마스터 장치 및 그 제어 방법
US9359009B2 (en) * 2014-03-22 2016-06-07 Ford Global Technologies, Llc Object detection during vehicle parking
US9981380B2 (en) * 2014-07-01 2018-05-29 Seiko Epson Corporation Teaching apparatus and robot system
WO2016025941A1 (en) * 2014-08-15 2016-02-18 University Of Central Florida Research Foundation, Inc. Control interface for robotic humanoid avatar system and related methods
US10518409B2 (en) * 2014-09-02 2019-12-31 Mark Oleynik Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries
US9469028B2 (en) * 2014-09-30 2016-10-18 Toyota Jidosha Kabushiki Kaisha Robotic handover system natural for humans
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
US9669832B2 (en) * 2015-03-10 2017-06-06 Toyota Motor Engineering & Manufacturing North America, Inc. Proximity-based engine control system
JP6559525B2 (ja) * 2015-09-29 2019-08-14 日立Geニュークリア・エナジー株式会社 遠隔作業支援システム及び遠隔作業支援方法
US10489957B2 (en) * 2015-11-06 2019-11-26 Mursion, Inc. Control system for virtual characters
US20170348854A1 (en) * 2015-12-16 2017-12-07 Mbl Limited Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with containers and electronic minimanipulation libraries
JP6951659B2 (ja) * 2017-05-09 2021-10-20 オムロン株式会社 タスク実行システム、タスク実行方法、並びにその学習装置及び学習方法
DE102017215406A1 (de) * 2017-09-04 2019-03-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren, mobiles Anwendergerät, Computerprogramm zum Erzeugen einer visuellen Information für zumindest einen Insassen eines Fahrzeugs

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146435A (ja) * 2004-11-17 2006-06-08 Univ Waseda 動作伝達システムおよび動作伝達方法
US20130173055A1 (en) * 2012-01-04 2013-07-04 Samsung Electronics Co., Ltd. Robot hand and humanoid robot having the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7357902B2 (ja) 2019-07-22 2023-10-10 東京ロボティクス株式会社 ロボット制御システム、装置、方法及びプログラム
WO2022209924A1 (ja) 2021-03-31 2022-10-06 本田技研工業株式会社 ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム

Also Published As

Publication number Publication date
CN110662631A (zh) 2020-01-07
WO2018212226A1 (ja) 2018-11-22
EP3626401A1 (en) 2020-03-25
CN110662631B (zh) 2023-03-31
JP2019063995A (ja) 2019-04-25
US11548168B2 (en) 2023-01-10
JPWO2018212226A1 (ja) 2019-06-27
JP7053042B2 (ja) 2022-04-12
EP3626401A4 (en) 2021-03-10
US20200078955A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
JP6476358B1 (ja) 制御装置、ロボット制御方法及びロボット制御システム
US10828782B2 (en) Robot system, robot, and robot control apparatus
EP2915635B1 (en) Robot, robot system, control device, and control method
CN108621156B (zh) 机器人控制装置、机器人系统、机器人以及机器人控制方法
CN110549353B (zh) 力觉视觉化装置、机器人以及存储力觉视觉化程序的计算机可读介质
WO2019087564A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2019225548A1 (ja) 遠隔操作システム、情報処理方法、及びプログラム
WO2018212259A1 (ja) ロボットシステム及びロボットシステムの制御方法
WO2022134702A1 (zh) 动作学习方法、装置、存储介质及电子设备
JP2020192640A (ja) 制御装置、制御システム、機械装置システム及び制御方法
Chen et al. Development of an immersive interface for robot teleoperation
US20230359422A1 (en) Techniques for using in-air hand gestures detected via a wrist-wearable device to operate a camera of another device, and wearable devices and systems for performing those techniques
WO2019240276A1 (ja) データ差し替え装置、端末、およびデータ差し替えプログラム
JP2015221485A (ja) ロボット、ロボットシステム、制御装置、及び制御方法
JP7363823B2 (ja) 情報処理装置、および情報処理方法
JP2017159429A (ja) ロボット制御装置、情報処理装置、及びロボットシステム
KR102525661B1 (ko) 작업 장치의 원격 제어를 위한 실시간 훈련 방법 및 장치
JP7248271B2 (ja) 情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラム
JP2019220147A (ja) データ差し替え装置、端末、およびデータ差し替えプログラム
JP2022157123A (ja) ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム
JP2022164028A (ja) 遠隔操作制御システム、遠隔操作制御方法、およびプログラム
KR20230014611A (ko) 매니퓰레이터 및 그 제어 방법
JP2015157341A (ja) ロボット、ロボットシステム、及び制御装置
WO2024051978A1 (en) Action abstraction controller for fully actuated robotic manipulators
JP2022155623A (ja) ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181126

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181126

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190204

R150 Certificate of patent or registration of utility model

Ref document number: 6476358

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250