JP7281348B2 - トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法 - Google Patents

トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法 Download PDF

Info

Publication number
JP7281348B2
JP7281348B2 JP2019105751A JP2019105751A JP7281348B2 JP 7281348 B2 JP7281348 B2 JP 7281348B2 JP 2019105751 A JP2019105751 A JP 2019105751A JP 2019105751 A JP2019105751 A JP 2019105751A JP 7281348 B2 JP7281348 B2 JP 7281348B2
Authority
JP
Japan
Prior art keywords
training
robot
information
operation terminal
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019105751A
Other languages
English (en)
Other versions
JP2020026025A (ja
Inventor
康彦 橋本
雅幸 掃部
繁次 田中
佳彦 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Priority to KR1020217007127A priority Critical patent/KR102529023B1/ko
Priority to PCT/JP2019/031522 priority patent/WO2020032218A1/ja
Priority to US17/267,343 priority patent/US11967245B2/en
Priority to CN201980052252.XA priority patent/CN112543961A/zh
Priority to EP19846602.1A priority patent/EP3836125A4/en
Priority to TW108128600A priority patent/TWI721523B/zh
Publication of JP2020026025A publication Critical patent/JP2020026025A/ja
Application granted granted Critical
Publication of JP7281348B2 publication Critical patent/JP7281348B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/02Hand grip control means
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/24Use of tools
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/006Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • B25J13/065Control stands, e.g. consoles, switchboards comprising joy-sticks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • B25J13/082Grasping-force detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/1605Simulation of manipulator lay-out, design, modelling of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/16Control of vehicles or other craft
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/423Teaching successive positions by walk-through, i.e. the tool head or end effector being grasped and guided directly, with or without servo-assistance, to follow a path

Description

本発明は、トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法に関する。
従来、人により行われてきた作業のロボット化が進められている。ロボットが人によって操作される場合、人の操作のトレーニングが必要になる。例えば、特許文献1は、生活支援ロボットアームの操作のトレーニング装置を開示する。このトレーニング装置は、コンピュータ装置上で実行され且つ生活支援ロボットアームの機能を模擬するシミュレータによって実現される。
特開2011-125991号公報
近年、産業用ロボットを扱う産業では、少子高齢化の影響で、ロボットの操作者の不足が懸念される。一方、何らかの理由で、十分に就労できない又は就労しない人の数が増えている。このような人々の労力は貴重である。
そこで、本発明は、様々な人がロボットの操作のトレーニングを行うことでロボットの操作を行うことを可能にするトレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法を提供することを目的とする。
上記目的を達成するために、本発明の一態様に係るトレーニング処理装置は、操作端末を用いたロボット操作のトレーニングを管理するトレーニング処理装置であって、前記操作端末と通信網を介して情報を送受信し、ロボット操作のトレーニングをするコンピュータプログラムを前記操作端末上で実行中に、前記操作端末に入力されたロボット操作の情報である第一情報を受け付け、前記第一情報に基づき、前記トレーニングを管理する。
本発明によれば、様々な人がロボットの操作のトレーニングを行うことでロボットを操作することが可能となる。
実施の形態に係るトレーニングシステムの構成の一例を示す図 実施の形態に係る操作端末のハードウェア構成の一例を示すブロック図 実施の形態に係る仲介装置のハードウェア構成の一例を示すブロック図 実施の形態に係るシミュレートコンピュータのハードウェア構成の一例を示すブロック図 実施の形態に係るシミュレートロボットのハードウェア構成の一例を示すブロック図 実施の形態に係る指導端末のハードウェア構成の一例を示すブロック図 実施の形態に係る操作端末の機能的構成の一例を示すブロック図 実施の形態に係る仲介装置の機能的構成の一例を示すブロック図 実施の形態に係る操作端末が提示するトレーニングの構成の選択画面の一例を示す図 実施の形態に係る操作端末が提示する補助指令の画面の一例を示す図 実施の形態に係るシミュレートコンピュータの機能的構成の一例を示すブロック図 実施の形態に係るシミュレートロボットの機能的構成の一例を示すブロック図 実施の形態に係る指導端末の機能的構成の一例を示すブロック図 実施の形態に係るトレーニングシステムの動作の流れの一例を示すシーケンス図 実施の形態に係るトレーニングシステムの動作の流れの一例を示すシーケンス図 実施の形態に係るトレーニングシステムの動作の流れの一例を示すシーケンス図
以下において、本発明の実施の形態を、図面を参照しつつ説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、添付の図面における各図は、模式的な図であり、必ずしも厳密に図示されたものでない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。また、本明細書及び特許請求の範囲では、「装置」とは、1つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
<トレーニングシステムの構成>
実施の形態に係るトレーニングシステム1の構成を説明する。図1は、実施の形態に係るトレーニングシステム1の構成の一例を示す図である。図1に示すように、トレーニングシステム1は、1つ以上の仲介装置10と、1つ以上の操作端末20と、1つ以上の指導端末60とを含む。さらに、トレーニングシステム1は、1つ以上のシミュレートコンピュータ40と、1つ以上のシミュレートロボット50とを含んでもよく、本実施の形態ではこれらを含むものとする。シミュレートコンピュータ40及びシミュレートロボット50は、シミュレート装置200の一例である。以下において、「シミュレートコンピュータ40」及び「シミュレートロボット50」を区別しない場合、これらを単に「シミュレート装置200」と称する場合がある。仲介装置10、操作端末20、シミュレートコンピュータ40、シミュレートロボット50及び指導端末60は、通信網90を介して接続されている。なお、上記構成要素の全てが必須ではない。
トレーニングシステム1は、ユーザに操作端末20を用いた様々なロボット操作のトレーニングを実行すること可能にする。ロボット操作は、ロボットを動作させるための操作であり、ロボットの動作に対応する操作である。例えば、ロボット操作のトレーニングでは、ユーザは、操作端末20を操作することで、ロボットモデルに、所定の動作又は作業を行うトレーニング内容を実行させる。利用可能なロボットモデルは、操作端末20がコンピュータプログラムを実行することで生成する仮想的なロボットモデル、シミュレートコンピュータ40が生成する仮想的なロボットモデル、及び、シミュレートロボット50が備える実機のロボットを用いたロボットモデルである。また、トレーニングシステム1は、トレーニングの実行中、指導端末60を用いてユーザのロボット操作に対する補助を行うことができる。
所定の動作は、水平移動、鉛直移動及び回転等の個別の動作を1つ又は2つ以上含む動作である。所定の作業は、所定の動作よりも多くの個別の動作が実行順序に従って組み合わされた一連の複合的な動作である。所定の作業の例は、例えば、産業用ロボットのロボットモデルである場合、ロボットモデルのエンドエフェクタで対象物を保持して移動させる、エンドエフェクタで対象物を保持して被組付対象物に組み付ける、エンドエフェクタで対象物を切断する、エンドエフェクタで2つ以上の対象物を接合する等の作業である。
通信網90は、データ通信可能であるネットワークであり、例えば、インターネット、イントラネット、有線若しくは無線LAN(Local Area Network)、WAN(Wide Area Network)、モバイル通信網、電話回線通信網、又は、その他の有線若しくは無線通信を用いる通信網であってもよい。本実施の形態では、通信網90はインターネットである。
シミュレートコンピュータ40は、仮想的なロボットモデルに模擬的な動作をさせるシミュレーションを実行する装置である。トレーニングシステム1では、シミュレートコンピュータ40でのシミュレーションを利用して、ロボット操作のトレーニングを行うことが可能である。仮想的なロボットモデルは、シミュレートコンピュータ40のコンピュータプログラム上で生成され動作する。なお、シミュレートコンピュータ40は、トレーニングシステム1のために特別に生成された装置であってもなくてもよく、例えば、ロボット操作のシミュレーションに用いられる既存又は汎用的な装置であってもよい。シミュレートコンピュータ40は、操作端末20がコンピュータプログラム上で生成するロボットモデルよりも実機のロボットに近いロボットモデルを用いて、実機のロボットに近い操作及び動作を実現することができる。シミュレートコンピュータ40のロボットモデルは、後述するシミュレートロボット50の実機のロボット50A1~50An(n=1,・・・の自然数)について例示するようなロボットの仮想的なロボットモデルあってもよい。仮想的なロボットモデルは、後述するシミュレートロボット50と同様に、ロボット本体を含む構成であってもよく、ロボット本体だけでなく、処理対象物及び周辺機器等を含む構成であってもよい。
シミュレートロボット50は、ロボットモデルとして実機のロボット50A1~50An(n=1,・・・の自然数)に模擬的な動作をさせるシミュレーションを実行する装置である。トレーニングシステム1では、ロボット50A1~50Anを用いたシミュレーションを利用して、ロボット操作のトレーニングを行うことが可能である。ロボット50A1~50Anは、いかなるロボットであってもよく、例えば、産業用ロボット、サービスロボット、建設機械、トンネル掘削機、クレーン、荷役搬送車、及びヒューマノイド等であってもよい。サービスロボットは、介護、医療、清掃、警備、案内、救助、調理、商品提供等の様々なサービス業で使用されるロボットである。本実施の形態では、ロボット50A1~50Anは、垂直多関節型ロボット、水平多関節型ロボット、極座標型ロボット、円筒座標型ロボット及び直角座標型ロボット等の産業用ロボットである。以下において、ロボット50A1~50Anを区別しない場合、単に「ロボット50A」と称する場合がある。
シミュレートロボット50は、ロボット50A1~50Anのいずれかを含み、ロボット50A1~50Anそれぞれに対して設けられる。産業用ロボットであるロボット50A1~50Anは、様々な作業に対応して設けられたロボットである。ロボット50A1~50Anは、実際に作業現場に配置されたロボットであってもよく、シミュレーション用に配置されたロボットであってもよい。ロボット50A1~50Anは、例えば、ロボットアーム及びエンドエフェクタを備えるようなロボット本体を含む構成であってもよく、ロボット本体だけでなく、作業におけるワーク等の処理対象物、並びに、搬送装置、撮像装置及びセンサなどの周辺装置等を含む構成であってもよい。後者の場合、シミュレートロボット50でのシミュレートは、ロボット本体、処理対象物及び周辺機器等の全てを操作するシミュレートである。なお、シミュレートロボット50は、トレーニングシステム1のために特別に生成されたものであってもなくてもよく、例えば、ロボット操作のシミュレーションに用いられる既存又は汎用的なものであってもよい。
操作端末20は、ロボット操作のトレーニングをするためのコンピュータプログラムを実行する装置である。操作端末20は、ユーザによって操作されることができる。操作端末20は、上記コンピュータプログラムを実行することで、シミュレート装置200を用いないロボット操作のトレーニングである第一トレーニングと、シミュレート装置200を用いるロボット操作のトレーニングである第二トレーニングとを選択して実行することができる。このような操作端末20は、通信網90を介してシミュレート装置200と接続されることができる。
第一トレーニングでは、操作端末20が実行するコンピュータプログラムが生成する仮想的なロボットモデルが、操作端末20に入力される操作に従って動作する。例えば、ユーザは、操作端末20を操作することで、仮想的なロボットモデルをトレーニング内容に従って動作させる。
第二トレーニングでは、操作端末20は、通信網90を介して、シミュレートコンピュータ40及びシミュレートロボット50等のシミュレート装置200と接続される。そして、操作端末20は、ユーザによって入力された情報をシミュレート装置200に出力する。シミュレート装置200のロボットモデルは、操作端末20に入力される操作に従って動作する。例えば、ユーザは、シミュレート装置200から遠隔に位置する場合であっても、操作端末20を操作することで、シミュレート装置200のロボットモデルをトレーニング内容に従って動作させることができる。
操作端末20の例は、ゲーム機、ゲームコントローラ、ロボット専用の遠隔操作器、個人情報端末(PDA:Personal Data Assistant)、スマートフォン、スマートウォッチ及びタブレットなどのスマートデバイス、並びに、パーソナルコンピュータなどのコンピュータ装置等である。このような操作端末20は、トレーニングシステム1のために特別に生成された装置であってもなくてもよく、既存又は汎用的な装置であってもよい。
本実施の形態では、操作端末20は、ゲーム機及びゲームコントローラを備えるゲーム装置である。ゲーム装置として、例えば、据え置き型のゲーム装置、及び携帯型ゲーム装置が例示される。操作端末20は、出力装置31と接続され、ロボット操作のトレーニングを実行するための画像信号及び音声信号を出力装置31に出力し、出力装置31は当該画像信号及び音声信号に対応する画像及び音声をユーザに提示する。例えば、出力装置31はディスプレイ及びスピーカを備える。ディスプレイの例は、液晶ディスプレイ(Liquid Crystal Display)及び有機又は無機ELディスプレイ(Electro-Luminescence Display)である。
仲介装置10は、1つ以上の操作端末20と1つ以上のシミュレートコンピュータ40と1つ以上のシミュレートロボット50と1つ以上の指導端末60とを、通信網90を介して仲介する。本実施の形態では、仲介装置10は、トレーニング処理装置の一例である情報処理装置100を備える。本実施の形態では、仲介装置10は、サーバであり、通信機能を有し且つ情報を処理するコンピュータ装置である。
指導端末60は、ロボット操作のトレーニングの実行中、操作端末20に入力されたロボット操作に対して補助を行うことでトレーニングを指導する装置である。指導端末60は、指導者等のユーザによって操作されることができ、例えば、ロボット操作の入力を受け付ける。指導端末60は、第一トレーニング及び第二トレーニングのいずれにおいてトレーニングを指導するように構成されてもよく、本実施の形態では、両方のトレーニングにおいて指導するように構成されている。指導端末60は、通信網90を介して、操作端末20及びシミュレート装置200と接続される。指導端末60は、操作されることで入力された情報を仲介装置10及び/又は操作端末20に出力する。指導端末60は、操作端末20及びシミュレート装置200からロボットモデルの動作の情報を取得する。
指導端末60は、出力装置32と接続され、ロボットモデルの動作等を示すようなトレーニングを指導するための画像信号及び音声信号を出力装置32に出力し、出力装置32は当該画像信号及び音声信号に対応する画像及び音声を、指導端末60のユーザに提示する。例えば、出力装置32はディスプレイ及びスピーカを備える。
指導端末60の例は、ゲーム機、ゲームコントローラ、ロボット専用の遠隔操作器、個人情報端末(PDA)、スマートフォン、スマートウォッチ及びタブレットなどのスマートデバイス、並びに、パーソナルコンピュータなどのコンピュータ装置等である。本実施の形態では、指導端末60はロボット専用の遠隔操作器である。このような指導端末60は、トレーニングシステム1のために特別に生成された装置であってもなくてもよく、既存又は汎用的な装置であってもよい。
指導端末60は、操作端末20に入力されたロボット操作の情報である第一情報、及び/又は第一情報に従ったロボットモデルの動作の情報を、仲介装置10を介して操作端末20から受信する。第一情報は、操作端末20に入力されたロボット操作の情報であってもよく、当該情報が仲介装置10によって変換された情報であってもよい。又は、指導端末60は、第一情報に従ったロボットモデルの動作の情報をシミュレート装置200から受信する。指導端末60は、第一情報に従ったロボットモデルの動作を出力装置32に出力することで、指導端末60のユーザである指導者に対して、出力装置32に当該動作を提示させる。さらに、指導端末60は、提示された動作に対して、指導端末60に入力されるロボット操作を補助する補助指令を受け付ける。つまり、指導者は、出力装置32に提示されるロボット操作を確認しつつ、当該ロボット操作に対する補助指令を指導端末60に入力することができる。指導端末60は、補助指令を仲介装置10を介して操作端末20に送信し、ユーザに対して、出力装置31を介して操作端末20に補助指令を提示させる。補助指令は、ロボット操作を誘導又は修正等をする画像及び音声の少なくとも1つを用いた指令であってもよく、ロボット操作を補助するいかなる指令であってもよい。
情報処理装置100は、操作端末20を用いたロボット操作のトレーニングを管理する装置である。情報処理装置100は、例えば、プロセッサ及びメモリ等を有する演算器で構成される。メモリは、揮発性メモリ及び不揮発性メモリなどの半導体メモリ、ハードディスク(HDD:Hard Disc Drive)及びSSD(Solid State Drive)等の記憶装置で構成される。例えば、演算器の機能は、CPU(Central Processing Unit)などのプロセッサ、RAM(Random Access Memory)などの揮発性メモリ及びROM(Read-Only Memory)などの不揮発性メモリ等からなるコンピュータシステム(図示せず)により実現されてもよい。演算器の機能の一部又は全部は、CPUがRAMをワークエリアとして用いてROMに記録されたプログラムを実行することによって実現されてもよい。なお、演算器の機能の一部又は全部は、上記コンピュータシステムにより実現されてもよく、電子回路又は集積回路等の専用のハードウェア回路により実現されてもよく、上記コンピュータシステム及びハードウェア回路の組み合わせにより実現されてもよい。
具体的には、情報処理装置100は、例えば、コンピュータ、パーソナルコンピュータ等のコンピュータ装置で構成されてもよい。又は、情報処理装置100は、例えば、マイクロコントローラ、MPU(Micro Processing Unit)、LSI(Large Scale Integration:大規模集積回路)、システムLSI、PLC(Programmable Logic Controller)、論理回路等で構成されてもよい。情報処理装置100の複数の機能は、個別に1チップ化されることで実現されてもよく、一部又は全てを含むように1チップ化されることで実現されてもよい。また、回路はそれぞれ、汎用的な回路でもよく、専用の回路でもよい。LSIとして、LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、LSI内部の回路セルの接続及び/又は設定を再構成可能なリコンフィギュラブルプロセッサ、又は、特定用途向けに複数の機能の回路が1つにまとめられたASIC(Application Specific Integrated Circuit)等が利用されてもよい。
情報処理装置100は、操作端末20と通信網90を介して情報を送受信し、ロボット操作のトレーニングをするコンピュータプログラムを操作端末20で実行中に、ユーザによって操作端末20に入力されたロボット操作の情報である第一情報を受け付け、第一情報に基づき、トレーニングを管理する。さらに、情報処理装置100は、トレーニングの実行中、第一情報に基づき、トレーニングの結果を評価する。例えば、第一トレーニングでは、情報処理装置100は、操作端末20と接続し、第一情報と、トレーニング内容に含まれるロボット操作との比較結果に基づき、上記評価をする。例えば、情報処理装置100は、両者の間の位置及び所要時間等の差異に基づき、評価を決定してもよい。
第二トレーニングでは、情報処理装置100は、操作端末20とシミュレート装置200とを接続し、第一情報に基づき動作するシミュレート装置200のロボットモデルの動作と、トレーニング内容に含まれる動作との比較結果に基づき、上記評価をする。情報処理装置100は、ロボットモデルの個々の動作と、トレーニングで実行されるべき動作とを比較し、例えば、両者の間の位置及び所要時間等の差異に基づき、評価を決定してもよい。又は、シミュレート装置200が、ロボットモデルの動作結果を評価するように構成されてもよい。情報処理装置100は、シミュレート装置200から当該評価を受信し、受信した評価に基づき、トレーニングの評価を決定してもよい。
さらに、情報処理装置100は、いずれのトレーニングにおいても、操作端末20を操作するユーザに対する評価であるユーザ評価として、トレーニングの結果の評価を登録する。例えば、情報処理装置100は、ユーザ評価を記憶装置に登録する。当該記憶装置は、情報処理装置100の記憶装置であってもよく、仲介装置10が含む記憶装置(図示せず)であってもよく、通信網90等を介して仲介装置10と接続された他の装置の記憶装置であってもよい。また、情報処理装置100は、トレーニングの結果の評価を操作端末20に送信することで、出力装置31を介してユーザに提示させる。
また、情報処理装置100は、例えば、操作端末20においてトレーニングのコンピュータプログラムが実行されると、登録されたユーザ評価に基づき、ユーザが実行可能であるトレーニングを決定する。さらに、情報処理装置100は、決定したトレーニングを操作端末20に送信することで、出力装置31を介してユーザに提示させる。例えば、決定及び提示されるトレーニングは、トレーニングの構成であってもよく、トレーニングの構成は、トレーニング内容と、当該トレーニング内容を実行するロボットモデルを動作させる装置とを含む。上記装置は、操作端末20、シミュレートコンピュータ40又はシミュレートロボット50である。
また、情報処理装置100は、第一トレーニング及び第二トレーニングの中からのトレーニングの選択の要求を、操作端末20を介して受け付ける。情報処理装置100は、選択されたトレーニングを実行する。第一トレーニングでは、操作端末20がトレーニングを実行し、情報処理装置100はトレーニング結果を評価する。
第二トレーニングでは、情報処理装置100は、操作端末20から受信するロボット操作の第一情報を、シミュレート装置200のロボットモデルを操作するための情報である第二情報に変換する。情報処理装置100は、当該第二情報をシミュレート装置200に送信し、当該第二情報に従ってこれを動作させる。
また、情報処理装置100は、第二情報に従って動作するシミュレート装置200から、このロボットモデルの動作の情報である第三情報を受信し、当該第三情報を、操作端末20が処理可能な情報である第四情報に変換する。例えば、情報処理装置100は、シミュレート装置200のロボットモデルの個々の動作を示す第三情報を受信し、当該第三情報を、操作端末20の実行プログラム上で機能する情報としての第四情報に変換する。情報処理装置100は、第四情報を操作端末20に送信することで、当該操作端末20に、シミュレート装置200のロボットモデル、又は、当該ロボットモデルに擬似するロボットモデル若しくは対応するモデルの動作を、出力装置31を介してユーザに提示させる。対応するモデルは、ロボットモデルと関連付けられたモデルあってよく、例えば、見かけ上でロボットモデルと類似していなくてもよい。
例えば、情報処理装置100は、撮像装置によって撮像されるシミュレートロボット50のロボット50Aの画像の情報を第三情報として受信し、当該画像の情報を第四情報として操作端末20に送信することで、ロボットモデルの動作の情報として操作端末20に提示させてもよい。このように、ユーザは、操作端末20を介して、シミュレートコンピュータ40又はシミュレートロボット50のロボットモデルを、視覚的に認識しつつロボット操作のトレーニングをすることができる。
また、情報処理装置100は、ユーザによって操作端末20に入力される、実行を要求するトレーニング内容に基づき、複数存在するシミュレート装置200の中から、当該トレーニング内容に対応するシミュレート装置200を決定する。さらに、情報処理装置100は、決定したシミュレート装置200と操作端末20とを通信網90を介して接続させることで、これを用いたトレーニングの実行を可能にする。
[ハードウェア構成]
操作端末20のハードウェア構成を説明する。図2は、実施の形態に係る操作端末20のハードウェア構成の一例を示すブロック図である。図2に示すように、操作端末20は、ゲーム機としての操作端末本体21と、ゲームコントローラとしての操作器22とを備える。操作端末本体21は、トレーニングのコンピュータプログラムを実行することができ、操作器22はユーザによる操作の入力を受け付ける。操作端末本体21は、CPU201と、ROM202と、RAM203と、メモリ204と、メディアI/F(インタフェース:Interface)205と、ネットワークI/F206と、第一入出力I/F207と、画像プロセッサ208と、第二入出力I/F209と、音声プロセッサ210と、第三入出力I/F211と、記録媒体ドライブ212とを構成要素として含む。各構成要素は、バス等によって接続されるが、他のいかなる有線通信又は無線通信で接続されてもよい。なお、上記構成要素の全てが必須ではない。
CPU201は、操作端末本体21全体の動作を制御する。ROM202は、CPU201の駆動に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。メモリ204は、プログラム等の各種データを記憶し、上述した記憶装置で構成される。メディアI/F205は、フラッシュメモリ等の記録メディア71に対するデータの読み出し又は書き込み(記憶)を制御する。例えば、トレーニングを実行するためのコンピュータプログラムは、記録メディア71に記憶され、記録メディア71から読み出されることで実行されてもよい。トレーニングの結果等を含むセーブデータが、記録メディア71又はメモリ204に記憶されてもよい。ネットワークI/F206は、通信網90を利用してデータ通信をするためのインタフェースである。第一入出力I/F207は、操作器22と接続され、信号等の通信をするためのインタフェースである。
画像プロセッサ208は、トレーニングを行うための画面を生成可能なGPU(Graphics Processing Unit)を備える。例えば、画像プロセッサ208は、操作端末本体21が生成するロボットモデル又はシミュレートコンピュータ40若しくはシミュレートロボット50のロボットモデルの画像、当該ロボットモデルに擬似するロボットモデルの画像、当該ロボットモデルに対応するモデルの画像等の画面データを生成し第二入出力I/F209に出力する。第二入出力I/F209は、出力装置31と接続され、画面データ及び画像データの通信をするためのインタフェースである。
音声プロセッサ210は、トレーニングを行うための音声を生成するDSP(Digital Signal Processor)を備える。音声プロセッサ210は、生成した音声をD/Aコンバータを含むアンプ(図示せず)で増幅して第三入出力I/F211に出力する。第三入出力I/F211は、出力装置31と接続され、音声信号等の通信をするためのインタフェースである。記録媒体ドライブ212は、着脱可能な記録媒体72に対する各種データの読み出し又は書き込みを制御する。例えば、トレーニングを実行するためのコンピュータプログラムは、記録媒体72に記憶され、記録媒体72から読み出されることで実行されてもよい。トレーニングの結果等を含むセーブデータが、記録媒体72に記憶されてもよい。記録媒体72の例は、DVD-R、DVD-RW、BD(Blu-ray(登録商標))-R、BD-RE等の記録ディスクである。
操作器22は、ユーザによる入力を受け付ける。例えば、操作器22は、十字ボタン、プッシュスイッチ、ダイヤル、ジョイスティック、マウス、キー及びタッチパネル等のユーザの操作を介して入力される入力装置221を含む。さらに、操作器22は、操作端末本体21の第一入出力I/F207と接続され信号等の通信をするための操作入出力I/F222を含む。入力装置221は、ユーザの入力を示す信号を生成し、当該信号を操作入出力I/F222を介して第一入出力I/F207に出力する。本実施の形態では、入力装置221の構成は、ロボットの専用の操作装置と異なる。例えば、入力装置221の数量、及び入力装置221への入力方法等が異なる。ロボットの専用の操作装置が出力する操作のための信号は、入力装置221が出力する操作のための信号と異なり、例えば、より複雑である。
仲介装置10のハードウェア構成を説明する。図3は、実施の形態に係る仲介装置10のハードウェア構成の一例を示すブロック図である。図3に示すように、仲介装置10は、CPU101と、ROM102と、RAM103と、メモリ104と、ネットワークI/F106と、入出力I/F107とを構成要素として含む。各構成要素は、バス等によって接続されるが、他のいかなる有線通信又は無線通信で接続されてもよい。なお、上記構成要素の全てが必須ではない。
CPU101は、仲介装置10全体の動作を制御する。ROM102、RAM103及びメモリ104それぞれの構成及び機能は、操作端末20のROM202、RAM203及びメモリ204と同様である。CPU101、ROM102、RAM103及びメモリ104は、情報処理装置100を構成する。ネットワークI/F106及び入出力I/F107それぞれの構成及び機能は、操作端末20のネットワークI/F206及び第一入出力I/F207と同様である。
なお、入出力I/F107は、入力装置113と接続され、信号等の通信をするためのインタフェースである。入力装置113は、ユーザによる入力を受け付ける。例えば、入力装置113は、ボタン、スイッチ、ダイヤル、ジョイスティック、マウス、キー及びタッチパネル等のユーザの操作を介して入力される装置を含む。入力装置113は、ユーザの入力を示す信号を生成し、当該信号を入出力I/F107に出力する。
シミュレートコンピュータ40のハードウェア構成を説明する。図4は、実施の形態に係るシミュレートコンピュータ40のハードウェア構成の一例を示すブロック図である。図4に示すように、シミュレートコンピュータ40は、CPU401と、ROM402と、RAM403と、メモリ404と、ネットワークI/F406と、第一入出力I/F407と、画像プロセッサ408と、第二入出力I/F409とを構成要素として含む。各構成要素は、バス等によって接続されるが、他のいかなる有線通信又は無線通信で接続されてもよい。なお、上記構成要素の全てが必須ではない。
CPU401は、シミュレートコンピュータ40全体の動作を制御する。ROM402、RAM403及びメモリ404それぞれの構成及び機能は、操作端末20のROM202、RAM203及びメモリ204と同様である。ネットワークI/F406、第一入出力I/F407、画像プロセッサ408及び第二入出力I/F409それぞれの構成及び機能は、操作端末20のネットワークI/F206、第一入出力I/F207、画像プロセッサ208及び第二入出力I/F209と同様である。
なお、第一入出力I/F407は、入力装置413と接続され、信号等の通信をするためのインタフェースである。入力装置413は、ユーザによる入力を受け付ける。入力装置413の構成は、仲介装置10の入力装置113と同様である。また、画像プロセッサ408は、シミュレートコンピュータ40に設定されたロボットモデルの画像の画面データを生成し第二入出力I/F409に出力する。第二入出力I/F409は、ディスプレイ414と接続され、画面データ及び画像データの通信をするためのインタフェースである。
シミュレートロボット50のハードウェア構成を説明する。図5は、実施の形態に係るシミュレートロボット50のハードウェア構成の一例を示すブロック図である。図5に示すように、シミュレートロボット50は、制御装置51と、撮像装置517と、ディスプレイ514と、操作装置518と、駆動装置519とを備える。なお、上記構成要素の全てが必須ではない。
駆動装置519は、ロボット50A(図1参照)の可動部分を駆動する装置である。例えば、ロボット50Aは、ロボットアームと、ロボットアームの先端のエンドエフェクタとを備える。ロボットアームは、屈曲する関節を有し、関節において可動である。エンドエフェクタは、把持、吸着、掬い上げ及び吊り下げ等のワークに対する作用を加える動作をする。駆動装置519は、ロボットアームの関節及びエンドエフェクタ等を駆動する。駆動装置519の例は、サーボモータ等の電気モータ及び真空発生装置等である。
撮像装置517は、ロボット50Aを撮像し、撮像した画像データを制御装置51に出力する。撮像装置517は、シミュレートロボット50を使用するユーザに、ロボット50Aの状態を示す画像を提供する。本実施の形態では、当該画像は、操作端末20及び指導端末60に提供される。撮像装置517の例は、デジタルカメラ及びデジタルビデオカメラ等である。
ディスプレイ514は、撮像装置517によって撮像された画像データを、制御装置51から受け取り、当該画像データの画像をユーザに提示する。また、ディスプレイ514は、シミュレートロボット50の操作用の画面データを制御装置51から受け取り、当該画面データの画像をユーザに提示する。
操作装置518は、シミュレートロボット50を使用するユーザによる指令及び情報の入力を受け付け、当該指令及び情報を示す信号を制御装置51に出力する。操作装置518は、プッシュスイッチ、レバー、ダイヤル、ジョイスティック、キー及びタッチパネル等のユーザの操作を介して入力される装置を含む。本実施の形態では、操作装置518は、ロボット50Aの専用の操作装置である。
制御装置51は、シミュレートロボット50全体を制御する装置である。制御装置51は、CPU501と、ROM502と、RAM503と、メモリ504と、撮像I/F515と、ネットワークI/F506と、第一入出力I/F507と、画像プロセッサ508と、第二入出力I/F509と、駆動回路516とを構成要素として含む。各構成要素は、バス等によって接続されるが、他のいかなる有線通信又は無線通信で接続されてもよい。なお、上記構成要素の全てが必須ではない。
CPU501は、制御装置51全体の動作を制御する。ROM502、RAM503及びメモリ504それぞれの構成及び機能は、操作端末20のROM202、RAM203及びメモリ204と同様である。ネットワークI/F506、第一入出力I/F507、画像プロセッサ508及び第二入出力I/F509それぞれの構成及び機能は、操作端末20のネットワークI/F206、第一入出力I/F207、画像プロセッサ208及び第二入出力I/F209と同様である。
なお、第一入出力I/F507は、操作装置518と接続され、信号等の通信をするためのインタフェースである。また、画像プロセッサ508は、撮像装置517によって撮像されたロボット50Aの画像データを用いて、ディスプレイ514に表示するための画面データを生成し第二入出力I/F509に出力する。また、画像プロセッサ508は、シミュレートロボット50を操作するための画面データを生成し第二入出力I/F509に出力する。第二入出力I/F509は、ディスプレイ514と接続され、画面データ及び画像データの通信をするためのインタフェースである。
撮像I/F515は、プログラムの実行に対応して、撮像装置517の駆動を制御する。撮像I/F515は、プログラムの実行に対応して、撮像装置517によって撮像された画像データをRAM503又はメモリ504に取り込む。撮像I/F515は、撮像装置517の駆動のための回路等を含んでもよい。
駆動回路516は、駆動装置519の駆動を制御する。例えば、駆動回路516は、CPU501の指令に従って電流を各駆動装置519に供給し、当該駆動装置519の駆動を制御する。駆動回路516は、全ての駆動装置519の駆動を制御する。
指導端末60のハードウェア構成を説明する。図6は、実施の形態に係る指導端末60のハードウェア構成の一例を示すブロック図である。図6に示すように、指導端末60は、制御装置61と操作装置62とを備える。操作装置62は、指導端末60を使用するユーザによる指令及び情報の入力を受け付け、当該指令及び情報を示す信号を制御装置61に出力する。操作装置62は、プッシュスイッチ、レバー、ダイヤル、ジョイスティック、キー及びタッチパネル等のユーザの操作を介して入力される装置を含む。本実施の形態では、操作装置62は、シミュレートロボット50の操作装置518と同様に、ロボットの専用の操作装置である。
制御装置61は、CPU601と、ROM602と、RAM603と、メモリ604と、ネットワークI/F606と、第一入出力I/F607と、画像プロセッサ608と、第二入出力I/F609と、音声プロセッサ610と、第三入出力I/F611とを構成要素として含む。各構成要素は、バス等によって接続されるが、他のいかなる有線通信又は無線通信で接続されてもよい。なお、上記構成要素の全てが必須ではない。
CPU601は、制御装置61全体の動作を制御する。ROM602、RAM603及びメモリ604それぞれの構成及び機能は、操作端末20のROM202、RAM203及びメモリ204と同様である。ネットワークI/F606、第一入出力I/F607、画像プロセッサ608、第二入出力I/F609、音声プロセッサ610及び第三入出力I/F611の構成及び機能は、操作端末20のネットワークI/F206、第一入出力I/F207、画像プロセッサ208、第二入出力I/F209、音声プロセッサ210及び第三入出力I/F211と同様である。
なお、第一入出力I/F607は、操作装置62と接続され、信号等の通信をするためのインタフェースである。また、画像プロセッサ608は、操作端末20及びシミュレート装置200から受信するデータを用いて、出力装置32に表示するための画面データを生成し第二入出力I/F609に出力する。また、画像プロセッサ608は、指導端末60を操作するための画面データを生成し第二入出力I/F609に出力する。第二入出力I/F609は、出力装置32と接続され、画面データ及び画像データの通信をするためのインタフェースである。音声プロセッサ610は、操作端末20及びシミュレート装置200から受信するデータを用いて、出力装置32に出力させるための音声データを生成し第三入出力I/F611に出力する。第三入出力I/F611は、出力装置32と接続され、音声プロセッサ610によって生成された音声データの通信をするためのインタフェースである。
[機能的構成]
操作端末20の機能的構成を説明する。図7は、実施の形態に係る操作端末20の機能的構成の一例を示すブロック図である。図7に示すように、操作器22は、入力部22a及び出力部22bを含む。入力部22aは、ユーザからの入力を受け付け、その機能は入力装置221によって実現される。出力部22bは、入力部22aに入力された情報を操作端末本体21に出力し、その機能は操作入出力I/F222によって実現される。上記情報は、入力装置221のボタン等のON又はOFF、ONの継続時間等の情報であってもよい。
操作端末本体21は、通信部21aと、入力部21bと、プログラム実行部21cと、読込部21dと、記憶部21eと、出力部21fとを含む。なお、上記構成要素の全てが必須ではない。通信部21aは、通信網90を介して仲介装置10と通信し、その機能はネットワークI/F206等によって実現される。入力部21bは、操作器22から情報の入力を受け付け、その機能は第一入出力I/F207等によって実現される。読込部21dは、記録メディア71及び/又は記録媒体72から、これらに格納された情報を読み込み、その機能はメディアI/F205及び記録媒体ドライブ212等によって実現される。
記憶部21eは、種々の情報を記憶し、ROM202、メモリ204、記録メディア71及び記録媒体72等によって実現される。例えば、記憶部21eには、各ユーザのユーザ情報が記憶される。ユーザ情報は、ユーザID等のユーザの識別情報、及び、操作端末20を用いたユーザのトレーニングの結果等を含み得る。トレーニングの結果は、各トレーニングを実施した結果、評価及び実績、各トレーニングにおけるユーザの習熟度、当該習熟度に応じたユーザのランク又は階級等を含んでもよい。ランク及び階級は、習熟度に対応する絶対的なランクであってもよく、他のユーザとの対比による順位等の相対的なランクであってもよい。記憶部21eへのユーザ情報の記憶は、プログラム実行部21cによって定期的に自動で行われてもよく、ユーザが操作器22を用いて入力又はセーブ操作することで行われてもよい。
出力部21fは、プログラム実行部21cによって生成された画像データ及び音声データを出力装置31に出力し、その機能は第二入出力I/F209及び第三入出力I/F211等によって実現される。
プログラム実行部21cは、記録メディア71又は記録媒体72等に格納されたコンピュータプログラムを読み込み実行する。コンピュータプログラムは、トレーニングを実行するためのプログラムであり、本実施の形態で、ゲームプログラムである。つまり、本実施の形態では、トレーニングは、操作端末20においてゲームとして実行される。なお、当該プログラムは、アプリケーションとして通信網90、記録メディア71又は記録媒体72等を介して操作端末20にインストールされ、ROM202又はメモリ204等に格納されていてもよい。
プログラム実行部21cは、操作器22から受け取る情報と通信網90を介して受け取る情報とを用いて、コンピュータプログラムに従って動作し、受け取った情報を反映した画像データ及び音声データを生成する。プログラム実行部21cは、生成した画像データ及び音声データを出力部21fを介して出力装置31に出力しユーザに提示させる。また、プログラム実行部21cは、操作器22から受け取る操作の情報、及び記憶部21eに記憶されたユーザ情報等を、通信部21a及び通信網90を介して仲介装置10に送信する。プログラム実行部21cは、CPU201、ROM202、RAM203、画像プロセッサ208及び音声プロセッサ210等によって実現される。
仲介装置10の機能的構成を説明する。図8は、実施の形態に係る仲介装置10の機能的構成の一例を示すブロック図である。図8に示すように、仲介装置10は、第一通信部10aと、第二通信部10bと、第三通信部10cと、第一受付部10dと、第二受付部10eと、決定部10fと、第一変換部10gと、第二変換部10hと、動作データ処理部10iと、判定部10j、記憶部10kとを含む。なお、上記構成要素の全てが必須ではない。
第一通信部10a、第二通信部10b及び第三通信部10cの機能はネットワークI/F206等によって実現される。記憶部10kの機能は、ROM102及びメモリ104等によって実現される。第一受付部10d、第二受付部10e、決定部10f、第一変換部10g、第二変換部10h、動作データ処理部10i及び判定部10jの機能は、CPU101、ROM102、RAM103等によって実現される。
第一通信部10aは、通信網90を介して操作端末20と通信する。第二通信部10bは、通信網90を介してシミュレートコンピュータ40又はシミュレートロボット50と通信する。第三通信部10cは、通信網90を介して指導端末60と通信する。
記憶部10kは、種々の情報を記憶する。例えば、記憶部10kには、各ユーザのユーザ情報が、ユーザの識別情報と関連付けられて記憶されている。さらに、記憶部10kには、ユーザに設定されるランク又は階級等に基づくトレーニングの許可条件と、各許可条件において実行することができるトレーニングの構成とが関連付けられて記憶されている。上記トレーニングの構成は、トレーニング内容と、当該トレーニング内容を実行することができるロボットモデルを有する装置とを関連付けて含む。上記ロボットモデルを有する装置は、操作端末20、シミュレートコンピュータ40又はシミュレートロボット50である。また、記憶部10kは、各ロボットモデルを用いた各トレーニング内容の実行結果と、当該実行結果に関する評価とを関連付けて含んでもよい。また、記憶部10kは、上記評価と、当該評価に対応するトレーニング内容の習熟度とを関連付けて含んでもよい。また、記憶部10kは、トレーニング内容の習熟度と許可条件とを関連付けて含んでもよい。記憶部10kは、判定部10jが評価等の判定に用いる閾値等を含んでもよい。
第一受付部10dは、操作端末20から受信するユーザ情報に基づき、ユーザが実行可能であるトレーニングの構成を抽出し当該ユーザに提示する。具体的には、第一受付部10dは、操作端末20からユーザ情報とトレーニングの実行指令とを受信し、当該ユーザ情報に含まれるユーザの識別情報に対応する許可条件を、記憶部10kから抽出する。さらに、第一受付部10dは、当該許可条件に対応するトレーニングの構成を抽出し、操作端末20に送信する。ユーザは、操作端末20が出力装置31に提示するトレーニングの構成から選択することができる。
例えば、操作端末20は、出力装置31に図9に示すような画面S1を表示させる。図9は、実施の形態に係る操作端末20が提示するトレーニングの構成の選択画面の一例を示す図である。図9に示すように、画面S1には、各動作又は作業について、ユーザの許可条件としての階級「A」~「D」のいずれかが表示され、さらに、各動作又は作業のトレーニングに利用可能であるロボットモデルを有する装置のアイコンが表示されている。例えば、動作表示「動作1 階級B」は、「動作1」が「階級B」以上のユーザによってトレーニング可能であることを示す。各動作表示について、アイコン「端末」は、操作端末20のロボットモデルの利用可能を示し、アイコン「シミュレートコンピュータ」は、シミュレートコンピュータ40のロボットモデルの利用可能を示し、アイコン「シミュレートロボットA1タイプ」は、ロボット50A1を含むシミュレートロボット50の利用可能を示す。よって、ユーザは、装置のアイコンを選択することで、トレーニングを実行する動作又は作業と、使用するロボットモデルとを選択することできる。例えば、アイコン「端末」の選択は、第一トレーニングの選択を意味し、アイコン「シミュレートコンピュータ」及び「シミュレートロボット」の選択は、第二トレーニングの選択を意味する。
決定部10fは、ユーザが実行するトレーニングの構成を決定する。決定部10fは、操作端末20においてユーザによって選択されたトレーニングの構成を操作端末20から受信する。決定部10fは、当該トレーニングの構成でのトレーニングの実行を決定し、トレーニングの構成のロボットモデルを有する装置に、トレーニングの構成のトレーニング内容の実行の指令を出力する。決定部10fは操作端末20と上記装置とを接続する。
第一変換部10gは、第二トレーニングの実行中、操作端末20から受信するロボットモデルを操作するための第一情報を、シミュレート装置200のロボットモデルを操作するための第二情報に変換する。第一変換部10gは、第二情報を、トレーニングを実行しているシミュレート装置200に送信する。例えば、シミュレート装置200がシミュレートコンピュータ40である場合、第二情報は、第一情報に対応する動作を仮想的なロボットモデルに実行させるために入力装置413からシミュレートコンピュータ40に出力される情報に対応する。シミュレート装置200がシミュレートロボット50である場合、第二情報は、第一情報に対応する動作をロボット50Aに実行させるために操作装置518から制御装置51に出力される情報に対応する。
動作データ処理部10iは、第二トレーニングの実行中、シミュレート装置200から受信するロボットモデルの動作データを、操作端末20でのロボットモデルの画像表示に対応する動作データに変換する処理をし、操作端末20に送信する。
例えば、シミュレート装置200がシミュレートコンピュータ40である場合、シミュレート装置200から受信する動作データは、ロボットモデルの画像で構成されてもよく、ロボットモデルの動作を示す簡略化された画像で構成されてもよく、ロボットモデルの動作を表すベクトル及び座標等の数値データであってもよい。例えば、簡略化された画像は、ロボットモデルの骨格を表す画像であってもよい。変換後の動作データは、操作端末20で表示されるロボットモデルの画像で構成されてもよく、シミュレートコンピュータ40が生成する仮想的なロボットモデルの画像で構成されてもよく、上記ロボットモデルの動作を示す簡略化された画像で構成されてもよく、上記ロボットモデルの動作を表す数値データであってもよい。
例えば、シミュレート装置200がシミュレートロボット50である場合、シミュレート装置200から受信する動作データは、撮像装置517によって撮像されたロボット50Aの画像データで構成され得る。変換後の動作データは、ロボット50Aの撮像画像データで構成されてもよく、当該撮像画像内の特徴部等によりロボット50Aの動作を示す簡略化された画像で構成されてもよく、当該ロボット50Aの動作を表す数値データであってもよい。簡略化された画像は、仮想的なロボットモデルの画像であってもよく、この場合、CG(コンピュータグラフィックス:Computer Graphics)又はアニメーション等を用いた画像であってもよい。上記仮想的なロボットモデルは、ロボット50Aと類似してもよく非類似であってもよい。
判定部10jは、操作端末20及びシミュレート装置200のロボットモデルによって実行されたトレーニングの結果を評価する。さらに、判定部10jは、当該評価に基づき、ユーザの習熟度を判定し、さらに、習熟度に基づき、ユーザのランク又は階級等を決定する。判定部10jは、評価、習熟度、ランク及び階級の少なくとも1つの情報を操作端末20に送信し、操作端末20は受信した情報を出力装置31に提示させる。また、判定部10jは、評価、習熟度、ランク及び階級を、新たなユーザ情報として記憶部10kに記憶させる。
なお、判定部10jは、操作端末20及びシミュレート装置200でのロボットモデルの動作と、トレーニングで実行すべきロボットモデルの動作との差異とその閾値との関係に基づき、評価を決定してもよい。当該差異は、ロボットモデルの各部の位置の差異、及び動作に要する時間の差異等を含んでもよい。又は、操作端末20及び/又はシミュレート装置200がトレーニングの結果を評価し、判定部10jに送信することで、判定部10jが当該評価を利用してもよい。
第二受付部10eは、第一トレーニング及び第二トレーニングにおいて、操作端末20及びシミュレート装置200からロボットモデルの動作データを受信し、第二変換部10hに出力する。操作端末20のロボットモデルの動作データは、ロボット操作の第一情報であってもよい。さらに、第二受付部10eは、指導端末60に入力された補助指令を受信し、第二変換部10hに出力する。
第二変換部10hは、操作端末20及びシミュレート装置200のロボットモデルの動作データを、指導端末60でのロボットモデルの動作の画像表示等の提示に対応する動作データに変換し、指導端末60に送信する。例えば、第二変換部10hは、操作端末20のユーザが出力装置31上で認識するロボットモデルと同様に提示するように、動作データを変換してもよい。また、第二変換部10hは、補助指令を、操作端末20での画像表示等の提示に対応する情報に変換し、操作端末20に送信する。
例えば、操作端末20は、第二変換部10hから受信する変換後の補助指令を、図10に示すような画面S2として出力装置31に表示させる。図10は、実施の形態に係る操作端末20が提示する補助指令の画面の一例を示す図である。図10に示すように、画面S2には、ユーザが操作端末20を用いて操作するロボットモデルの画像と、補助指令を示すための操作器22の画像とが表示されている。図10では、ロボットモデルの画像は、実機のロボット50Aの画像である。補助指令は、操作器22の付された指標Ad1及びAd2を表示する指令である。指標Ad1は、操作器22において現在押すべきボタンの組み合わせを明示し、指標Ad2は、次に押すべきボタンの組み合わせを明示する。各指標に付随する数値は、押圧する順序である。
シミュレートコンピュータ40の機能的構成を説明する。図11は、実施の形態に係るシミュレートコンピュータ40の機能的構成の一例を示すブロック図である。図11に示すように、シミュレートコンピュータ40は、通信部40aと、受付部40bと、プログラム実行部40cと、判定部40dと、動作データ出力部40eと、記憶部40fとを含む。なお、上記構成要素の全てが必須ではない。通信部40aの機能はネットワークI/F406等によって実現される。記憶部40fの機能はROM402及びメモリ404等によって実現される。受付部40b、プログラム実行部40c、判定部40d及び動作データ出力部40eの機能は、CPU401、ROM402、RAM403等によって実現される。
通信部40aは、通信網90を介して仲介装置10と通信する。記憶部40fは、種々の情報を記憶する。例えば、記憶部40fは、シミュレートコンピュータ40で実行可能である各シミュレーション内容について、当該シミュレーションで実行されるロボットモデルの各動作の位置及び所要時間の情報を記憶していてもよい。シミュレーション内容は、シミュレーションで実行されるロボットの動作又は作業を含む。また、記憶部40fは、判定部40dが評価に用いる閾値等を記憶していてもよい。
受付部40bは、仲介装置10から、シミュレーションの実行の指令であるトレーニングの実行の指令と、実行するトレーニング内容の情報とを受信する。受付部40bは、記憶部40fにおいて、受信したトレーニング内容に対応するシミュレーション内容を抽出する。受付部40bは、抽出したシミュレーション内容でのシミュレーションの実行の指令をプログラム実行部40cに出力する。また、実行開始後、受付部40bは、仲介装置10の第一変換部10gから仮想的なロボットモデルを操作するための第二情報を受信し、プログラム実行部40cに出力する。
プログラム実行部40cは、指令されたシミュレーション内容のコンピュータプログラムを実行する。当該プログラムは、ROM402又はメモリ404に記憶される。プログラム実行部40cは、受付部40bから受け取る第二情報とコンピュータプログラムとに従って、当該第二情報に対応する動作を仮想的なロボットモデルに実行させる。
動作データ出力部40eは、プログラム実行部40cが動作させるロボットモデルから、その動作結果を示す動作結果データを検出する。当該動作結果データは、ロボットモデルの画像、ロボットモデルの骨格等の簡略された画像、ロボットモデルの各部の位置、当該位置への所要時間等を含んでもよい。さらに、動作データ出力部40eは、動作結果データから動作データを生成し、仲介装置10に送信する。当該動作データは、仲介装置10の動作データ処理部10iの説明で上述した動作データある。
判定部40dは、動作データ出力部40eによって生成された動作データを用いて、シミュレーションの結果、つまりトレーニングの結果を評価し、当該評価を仲介装置10に送信する。判定部40dは、仲介装置10の判定部10jと同様に、当該評価を決定する。さらに、判定部40dは、ユーザの習熟度、ランク及び階級等を決定し仲介装置10に送信してもよい。
シミュレートロボット50の機能的構成を説明する。図12は、実施の形態に係るシミュレートロボット50の機能的構成の一例を示すブロック図である。図12に示すように、シミュレートロボット50は、通信部50aと、受付部50bと、撮像制御部50cと、画像処理部50dと、駆動制御部50eと、状態検出部50fと、判定部50gと、記憶部50hとを含む。なお、上記構成要素の全てが必須ではない。通信部50a、受付部50b、撮像制御部50c、画像処理部50d、駆動制御部50e、状態検出部50f、判定部50g及び記憶部50hは、制御装置51を構成する。通信部50aの機能はネットワークI/F506等によって実現される。記憶部50hの機能はROM502及びメモリ504等によって実現される。受付部50b、撮像制御部50c、画像処理部50d、駆動制御部50e、状態検出部50f及び判定部50gの機能は、CPU501、ROM502、RAM503等によって実現される。
通信部50aは、通信網90を介して仲介装置10と通信する。記憶部50hは、種々の情報を記憶する。例えば、記憶部50hは、シミュレートロボット50で実行可能である各シミュレーション内容について、当該シミュレーションで実行されるロボット50Aの各動作の位置、作用力及び所要時間の情報を記憶していてもよい。作用力の例は、ロボットのエンドエフェクタが対象物を押す又は引っ張る力等である。また、記憶部50hは、判定部50gが評価に用いる閾値等を記憶していてもよい。
受付部50bは、仲介装置10から、シミュレーションの実行の指令であるトレーニングの実行の指令と、実行するトレーニング内容の情報とを受信する。受付部50bは、記憶部50hにおいて、受信したトレーニング内容に対応するシミュレーション内容を抽出する。受付部50bは、抽出したシミュレーション内容でのシミュレーションの実行の指令を撮像制御部50c及び駆動制御部50eに出力する。また、実行開始後、受付部50bは、仲介装置10の第一変換部10gからロボット50Aを操作するための第二情報を受信し、駆動制御部50eに出力する。
撮像制御部50cは、シミュレーションの実行の指令を受け取ると、撮像装置517を起動し撮像させる。撮像装置517は、ロボット50A、例えば、そのエンドエフェクタを撮像し、撮像した画像を画像処理部50dに出力する。画像処理部50dは、撮像装置517から受け取った画像の画像データを仲介装置10に送信する。
駆動制御部50eは、受付部50bから受け取る第二情報に従って、駆動装置519を駆動することによって、ロボット50Aに当該第二情報に対応する動作を実行させる。
状態検出部50fは、ロボット50Aの各部の状態を検出し、検出結果を判定部50gに出力する。例えば、状態検出部50fは、上記状態として、ロボット50Aの可動部分の動作量を検出することで、各部の3次元位置を検出してもよい。このとき、状態検出部50fは、駆動装置519に設けられた回転センサの検出値からロボット50Aの可動部分の動作量を検出してもよい。また、状態検出部50fは、上記状態として、ロボット50Aのエンドエフェクタに作用する力である作用力を検出してもよい。このとき、状態検出部50fは、エンドエフェクタに設けられた力覚センサ等の力センサの検出値から作用力を検出してもよい。状態検出部50fは、タイマを備え、上記状態として、ロボット50Aの各動作間の所要時間を検出してもよい。駆動制御部50eは、状態検出部50fの検出結果をフィードバック情報として用いて駆動装置519の駆動を制御してもよい。
判定部50gは、状態検出部50fの検出結果を用いて、シミュレーションの結果、つまりトレーニングの結果を評価し、当該評価を仲介装置10に送信する。判定部50gは、仲介装置10の判定部10jと同様に、当該評価を決定する。さらに、判定部50gは、ユーザの習熟度、ランク及び階級等を決定し仲介装置10に送信してもよい。
指導端末60の機能的構成を説明する。図13は、実施の形態に係る指導端末60の機能的構成の一例を示すブロック図である。図13に示すように、指導端末60は、通信部60aと、実行内容受付部60bと、動作データ受付部60cと、提示部60dと、補助指令受付部60eと、判定受付部60fと、記憶部60gと、操作装置62とを含む。なお、上記構成要素の全てが必須ではない。
通信部60aの機能はネットワークI/F606等によって実現される。記憶部60gの機能は、ROM602及びメモリ604等によって実現される。実行内容受付部60b、動作データ受付部60c、提示部60d、補助指令受付部60e及び判定受付部60fの機能は、CPU601、ROM602、RAM603等によって実現される。
通信部60aは、通信網90を介して仲介装置10と通信する。記憶部60gは、種々の情報を記憶する。例えば、記憶部60gは、種々のトレーニング内容、実行内容受付部60bが受け付けた情報等を記憶してもよい。
実行内容受付部60bは、仲介装置10から操作端末20が実行しているトレーニング内容を受信し、提示部60dに出力する。
動作データ受付部60cは、操作端末20及びシミュレート装置200から、仲介装置10を介してロボットモデルの動作データを受信し、提示部60dに出力する。例えば、動作データ受付部60cは、第一トレーニングでは操作端末20のロボットモデルの動作データを取得し、第二トレーニングではシミュレート装置200のロボットモデルの動作データを取得する。操作端末20の動作データは、ロボット操作の第一情報であってもよい。
提示部60dは、動作データ受付部60cから受け取る動作データを用いて、当該動作データに従って動作するロボットモデルの画像等を生成し、出力装置32に出力する。提示部60dは、ロボットモデルの画像の生成に、操作端末20が生成するロボットモデルの画像を用いてもよく、シミュレートコンピュータ40が生成するロボットモデルの画像を用いてもよく、シミュレートロボット50において撮像されるロボット50Aの画像を用いてもよい。これにより、指導者は、操作端末20においてユーザが操作するロボットモデルと同様の動作をするロボットモデルを確認することができる。また、提示部60dは、操作端末20が実行しているトレーニング内容を出力装置32に出力し指導者に提示させる。このとき、提示部60dは、文字列又は音声等でトレーニング内容を提示する情報を出力してもよく、ロボットモデルの画像等でトレーニング内容を提示する情報を出力してもよい。
補助指令受付部60eは、指導者によって操作装置62に入力された情報である補助指令を、操作装置62から受信し、仲介装置10に送信する。補助指令は、仲介装置10から操作端末20に送信される。補助指令は、出力装置32に提示されるロボットモデルに対して、当該ロボットモデルの動作を適正に補助、誘導又は案内するために、指導者によって操作装置62に入力された情報である。例えば、指導者が操作装置62に適正なロボット操作を入力し、補助指令受付部60eが入力された情報を用いて補助指令を生成してもよい。
判定受付部60fは、出力装置32に提示されるロボットモデルの動作の結果に対する評価を受け付ける。判定受付部60fは、指導者によって操作装置62に入力される評価を受信し、当該評価をトレーニングの評価として仲介装置10に送信する。これにより、ユーザへの指導者による評価の提示が可能になる。
<トレーニングシステムの動作>
実施の形態に係るトレーニングシステム1の動作を説明する。図14A~図14Cは、実施の形態に係るトレーニングシステム1の動作の流れの一例を示すシーケンス図である。以下において、指導端末60を用いたロボット操作の補助が行われる例を説明する。
図14Aに示すように、ユーザは、操作端末20において、ロボット操作のトレーニングのゲームプログラムを起動する(ステップS101)。次いで、ユーザは、ユーザ情報であるユーザの識別情報等を操作端末20に入力し、操作端末20は当該識別情報等を仲介装置10に送信する(ステップS102)。つまり、ユーザは、トレーニングのゲームにログインする。ユーザの識別情報は予め、仲介装置10に登録されている。
次いで、仲介装置10は、受信したユーザの識別情報を認証し、当該識別情報に対応するトレーニングの許可条件を抽出し、抽出した許可条件に対応するトレーニングの構成を抽出する。そして、仲介装置10は、抽出したトレーニングの構成を、当該ユーザが実行可能であるトレーニングの構成として操作端末20に送信する(ステップS103)。トレーニングの構成は、トレーニング内容と、当該トレーニング内容を実行するロボットモデルを有する装置との組み合わせである。
次いで、ユーザは、操作端末20を用いて、例えば、図9に示すように、出力装置31に表示される実行可能なトレーニングの構成から、実行する構成を決定する。操作端末20は、決定されたトレーニングの構成を仲介装置10に送信する(ステップS104)。
次いで、仲介装置10は、受信したトレーニングの構成のロボットモデルを有する装置が操作端末20であるか否かを判定する(ステップS105)。仲介装置10は、操作端末20である場合(ステップS105でYes)、ステップS106に進み、操作端末20でない場合(ステップS105でNo)、ステップS107に進む。
ステップS106において、仲介装置10は、仲介装置10が接続可能である指導端末60の中から、ステップS104で受信したトレーニングの構成に対する補助動作を実行することができる指導端末60を抽出し当該指導端末60と操作端末20とを接続する。
次いで、仲介装置10は、操作端末20にトレーニングの実行の指令を送信する(ステップS108)。次いで、操作端末20は、トレーニングの実行を開始する(ステップS109)。そして、操作端末20は、トレーニングの実行中、ユーザによって入力される操作を示す第一情報を仲介装置10に送信する(ステップS110)。
仲介装置10は、第一情報をロボットモデルの動作を示す動作データに変換し、指導端末60に送信する(ステップS111)。指導端末60は、動作データに対応して動作するロボットモデルを出力装置32を介して指導者に提示する。なお、仲介装置10は、第一情報として、操作端末20が出力装置31に表示するロボットモデルの画像データを受信し、当該画像データを指導端末60に送信してもよい。指導端末60は、受信した画像データを出力装置32に表示させてもよい。さらに、指導者によって、ロボットモデルの動作を適正化するためのロボット操作の補助指令が入力されると、指導端末60は、当該補助指令を仲介装置10に送信する(ステップS112)。
仲介装置10は、指導端末から受信した補助指令を、操作端末20に適応する情報である変換補助指令に変換し、操作端末20に送信する(ステップS113)。操作端末20は、受信した変換補助指令に基づき、例えば、図10に示すような、ユーザのロボット操作を適正な操作に補助する画像データ等の提示データを生成し、出力装置31に当該データを提示させる(ステップS114)。
次いで、操作端末20は、実行中のトレーニング内容の全てが完了したか否かを判定する(ステップS115)。操作端末20は、完了済みの場合(ステップS115でYes)、ステップS116に進み、未完了の場合(ステップS115でNo)、ステップS110に戻る。
ステップS116において、操作端末20は、トレーニングの完了通知を仲介装置10に送信し、次いで、ステップS117において、仲介装置10は、トレーニングの完了通知を指導端末60に送信する。指導端末60の指導者は、仲介装置10との接続を切断する。なお、指導者は、指導端末60を用いて、トレーニングの結果に対する評価を生成し仲介装置10に送信してもよい。
次いで、ステップS118において、仲介装置10は、トレーニングの結果に基づき、トレーニングの結果の評価、ユーザの習熟度、ランク及び階級等を決定し、これらのうちの少なくとも1つを操作端末20に送信する。なお、仲介装置10は、トレーニングの結果の評価を自身で生成してもよく、指導端末60から取得してもよく、操作端末20が生成するトレーニングの結果の評価を取得してもよい。仲介装置10は、評価結果、習熟度、ランク及び階級等を新たなユーザ情報として、自身に登録する。次いで、操作端末20は、受信した評価結果、習熟度、ランク及び階級等を出力装置31に出力しユーザに提示させる(ステップS119)。そして、ユーザが操作端末20を停止することによって、操作端末20はトレーニングのゲームプログラムを終了する。
また、図14Bに示すように、ステップS107において、仲介装置10は、ステップS104で受信したトレーニングの構成のロボットモデルを有する装置がシミュレートコンピュータ40であるか否かを判定する。仲介装置10は、シミュレートコンピュータ40である場合(ステップS107でYes)、ステップS120に進み、シミュレートコンピュータ40でない場合(ステップS107でNo)、ステップS121に進む。
ステップS120において、仲介装置10は、仲介装置10が接続可能であるシミュレートコンピュータ40の中から、ステップS104で受信したトレーニングの構成に含まれるトレーニング内容を実行可能なシミュレートコンピュータ40を抽出し、当該シミュレートコンピュータ40と操作端末20とを接続する。さらに、ステップS122において、仲介装置10は、ステップS106と同様に指導端末60を抽出し、当該指導端末60と接続する。
次いで、仲介装置10は、トレーニング内容の実行の指令をシミュレートコンピュータ40に送信する(ステップS123)。次いで、シミュレートコンピュータ40は、指令されたトレーニング内容を実行する(ステップS124)。シミュレートコンピュータ40は、トレーニングの実行を示す通知を仲介装置10に送信し(ステップS125)、さらに、仲介装置10は当該通知を操作端末20に送信する(ステップS126)。
トレーニングの実行中、操作端末20は第一情報を仲介装置10に送信する(ステップS127)。さらに、仲介装置10は、第一情報を、シミュレートコンピュータ40の仮想的なロボットモデルを動作させる第二情報に変換し、シミュレートコンピュータ40に送信する(ステップS128)。シミュレートコンピュータ40は、第二情報に従ってロボットモデルを動作させ、当該ロボットモデルの動作データを仲介装置10に送信する(ステップS129)。仲介装置10は、受信した動作データを、操作端末20でのロボットモデルの画像表示等の提示に対応する動作データに変換し、操作端末20に送信する(ステップS130)。操作端末20は、受信した動作データに対応する動作を実行するロボットモデルの画像等を出力装置31に提示させる。なお、シミュレートコンピュータ40は、動作データとして、仮想的なロボットモデルの画像データを仲介装置10に送信し、仲介装置10は、受信した画像データを操作端末20に送信してもよい。操作端末20は、受信した画像データを出力装置31に表示させてもよい。
また、仲介装置10は、ステップS129で受信した動作データを指導端末60に送信する(ステップS131)。指導端末60は、動作データに基づき出力装置32に提示するロボットモデルの動作に対して、指導者によって補助指令が入力されると、当該補助指令を仲介装置10に送信する(ステップS132)。仲介装置10は、指導端末から受信した補助指令を変換補助指令に変換し、操作端末20に送信する(ステップS133)。操作端末20は、受信した変換補助指令に基づき、ユーザのロボット操作を補助する提示を出力装置31にさせる(ステップS134)。なお、仲介装置10は、動作データとして、シミュレートコンピュータ40から仮想的なロボットモデルの画像データを受信し指導端末60に送信してもよい。指導端末60は、受信した画像データを出力装置32に表示させてもよい。
次いで、操作端末20は、実行中のトレーニング内容の全てが完了した場合(ステップS135でYes)、ステップS136に進み、未完了の場合(ステップS135でNo)、ステップS127に戻る。操作端末20は、ステップS136~S139の処理を、ステップS116~S119と同様に行う。
また、図14Cに示すように、ステップS121において、仲介装置10は、仲介装置10が接続可能であるシミュレートロボット50の中から、ステップS104で受信したトレーニングの構成に含まれるトレーニング内容を実行可能なロボット50Aを含むシミュレートロボット50を抽出し、当該シミュレートロボット50と操作端末20とを接続する。さらに、ステップS140において、仲介装置10は、ステップS106と同様に指導端末60を抽出し、当該指導端末60と接続する。
次いで、仲介装置10は、トレーニング内容の実行の指令をシミュレートロボット50に送信する(ステップS141)。次いで、シミュレートロボット50は、指令されたトレーニング内容を実行する(ステップS142)。さらに、シミュレートロボット50は、撮像装置517にロボット50Aの撮像を実行させる(ステップS143)。次いで、シミュレートロボット50は、トレーニングの実行を示す通知を仲介装置10に送信し(ステップS144)、さらに、仲介装置10は当該通知を操作端末20に送信する(ステップS145)。
トレーニングの実行中、操作端末20は第一情報を仲介装置10に送信し(ステップS146)、仲介装置10は、第一情報を、ロボット50Aを動作させる第二情報に変換しシミュレートロボット50に送信する(ステップS147)。シミュレートロボット50は、第二情報に従ってロボット50Aを動作させ、ロボット50Aの各部の状態を検出する。そして、シミュレートロボット50は、撮像装置517によって撮像された画像データを仲介装置10に送信する(ステップS148)。仲介装置10は、受信した画像データを操作端末20に送信する(ステップS149)。操作端末20は、受信した画像データの画像等を出力装置31に提示させる。
また、仲介装置10は、ステップS148で受信した画像データを動作データとして指導端末60に送信する(ステップS150)。指導者が、出力装置32に提示される画像データの画像を視認し、指導端末60に補助指令を入力すると、指導端末60は当該補助指令を仲介装置10に送信する(ステップS151)。仲介装置10は、指導端末から受信した補助指令を変換補助指令に変換し、操作端末20に送信する(ステップS152)。操作端末20は、受信した変換補助指令に基づき、ユーザのロボット操作を補助する提示を出力装置31にさせる(ステップS153)。
次いで、操作端末20は、実行中のトレーニング内容の全てが完了した場合(ステップS154でYes)、ステップS155に進み、未完了の場合(ステップS154でNo)、ステップS146に戻る。操作端末20は、ステップS155~S158の処理を、ステップS116~S119と同様に行う。
上述のステップS101~S158の処理によって、ユーザは、操作端末20を用いて、操作端末20、シミュレートコンピュータ40及びシミュレートロボット50のロボットモデルのいずれを用いたロボット操作のトレーニングも実行することができる。さらに、ユーザは、全てのトレーニングにおいて、指導者によるロボット操作の補助を受けることができる。なお、図14A~図14Cの例では、全てのトレーニングが指導者の指導端末60を介した補助を受けるように構成されていたが、補助は必須でなく、例えば、ユーザによって任意に選択可能であってもよい。補助が行われない場合、図14A~図14Cにおいて、指導端末60に関連する処理が省略されてもよい。このように、ユーザは、操作端末20を用いたロボット操作のトレーニングを実行することで、ロボット操作の熟練度を向上させることができる。例えば、操作端末20と実機のロボットとが通信網90を介して接続され且つ操作端末20でのロボット操作が可能である環境において、ユーザは、遠隔地にいながらも操作端末20を用いて実機のロボットで実際の作業を行うことができるようになる。
<効果等>
上述のような実施の形態に係るトレーニングシステム1において、トレーニング処理装置としての仲介装置10の情報処理装置100は、操作端末20を用いたロボット操作のトレーニングを管理する。情報処理装置100は、操作端末20と通信網90を介して情報を送受信し、ロボット操作のトレーニングをするコンピュータプログラムを操作端末20上で実行中に、操作端末20に入力されたロボット操作の情報である第一情報を受け付け、第一情報に基づき、トレーニングを管理する。なお、例えば、ロボット操作は、作業をロボットに実行させるための操作であってもよい。
上記構成によると、情報処理装置100は、操作端末20を用いたロボット操作のトレーニングを可能にする。また、操作端末20のユーザは、通信網90にアクセスできる環境であればいかなる場所に位置していても、情報処理装置100によるトレーニングの管理を受けることができる。さらに、通信網90を介することで、複数の操作端末20が情報処理装置100に同時に接続し、情報処理装置100によるトレーニングの管理を受けることができる。このように、情報処理装置100は、様々なユーザがロボット操作のトレーニングを行うことでロボットを操作することを可能にする。
また、実施の形態に係る情報処理装置100は、トレーニングの結果を評価し、操作端末20を操作するユーザに対する評価であるユーザ評価として、トレーニングの結果の評価を登録してもよい。上記構成によると、情報処理装置100は、トレーニングの結果の評価を操作端末20のユーザ評価として登録する。これにより、登録されたユーザ評価の利用が可能である。例えば、情報処理装置100は、トレーニングの実施時等に、登録されたユーザ評価をユーザに提示することができる。これにより、ユーザは、自身のユーザ評価に応じて、実行するトレーニングの構成を容易に決定することができる。また、ユーザが実機のロボットを操作する場合、ユーザ評価に基づき、ユーザに適したロボット及び作業内容の決定が可能になる。
また、実施の形態に係る情報処理装置100は、登録されたユーザ評価に基づき、ユーザ評価の対象のユーザが実行可能であるトレーニングを決定し、決定したトレーニングの情報を操作端末20に提示させてもよい。上記構成によると、ユーザ又はトレーニングの提供者(例えば、仲介装置10)は、ユーザに適した又は実行可能であるロボット操作のトレーニングを判断することができる。
また、実施の形態に係る情報処理装置100は、操作端末20に入力されたロボット操作に対して補助を行うことでトレーニングを指導する指導端末60に、第一情報を提示させ、提示された第一情報に対して、指導端末60に入力されるロボット操作を補助する補助指令を受け付け、補助指令を操作端末20に提示させてもよい。上記構成によると、ロボット操作の指導者は、指導端末60を介して、ユーザのロボット操作の情報である第一情報を確認することができる。さらに、指導者は、上記確認をしつつ、ロボット操作の補助指令を指導端末60に入力し操作端末20に送ることができる。ユーザは、操作端末20によって提示される補助指令を確認しつつ、ロボット操作のトレーニングを行うことができる、つまり、補助を受けつつトレーニングを行うことができる。
また、実施の形態に係るトレーニングシステム1において、操作端末20と指導端末60とは通信網90を介して接続されてもよい。上記構成によると、操作端末20のユーザ及び指導端末60の指導者は、通信網90にアクセスできる環境であればいかなる場所に位置していても、トレーニング及びその補助を行うことができる。
また、実施の形態に係るトレーニングシステム1において、操作端末20は、ゲーム機、ゲームコントローラ、ロボット専用の遠隔操作器、個人情報端末、スマートデバイス及びパーソナルコンピュータの少なくともいずれかであってもよい。上記構成によると、様々な操作端末20を用いたトレーニングが可能になる。
また、実施の形態に係る情報処理装置100は、ロボットモデルに模擬的な動作をさせるシミュレーションを実行するシミュレート装置200のロボットモデルを操作するための第二情報に、第一情報を変換し、第二情報に従ってシミュレート装置200を動作させ、第二情報に従って動作するシミュレート装置200のロボットモデルの動作の情報を、操作端末20に提示させてもよい。なお、操作端末20とシミュレート装置200とは通信網90を介して接続されてもよい。
上記構成によると、情報処理装置100は、操作端末20に入力される操作に対応する第一情報を第二情報に変換し、第二情報に従ってシミュレート装置200に動作をさせることで、シミュレート装置200のロボットモデルに上記操作に対応する動作をさせる。よって、ユーザは、シミュレート装置200からの遠隔地において、操作端末20及びシミュレート装置200を用いて、ロボット操作のトレーニングを行うことができる。さらに、操作端末20とシミュレート装置200との間で送受信される情報は、それぞれに適応した形式の情報に変換されるため、ユーザは、例えば、自身が有する慣れ親しんだ操作端末20を用いることができる。よって、ユーザは、シミュレート装置200へのロボット操作の入力を容易に実行することができ、トレーニングを受け入れやすい。また、操作端末20とシミュレート装置200とが通信網90を介して接続されることで、様々な操作端末20がシミュレート装置200と接続されることができる。従って、様々なユーザが、操作端末20を介してシミュレート装置200にアクセスし、ロボット操作のトレーニングを行うことでき、それによりロボットを操作することができるようになる。
また、実施の形態に係る情報処理装置100は、操作端末20で実行されるコンピュータプログラム上で機能するロボットモデルを用いる第一トレーニングと、シミュレート装置200を用いる第二トレーニングとの中から選択されたトレーニングの要求を、操作端末20から受け付け、選択されたトレーニングの実行を決定してもよい。上記構成によると、操作端末20のユーザは、第一トレーニング及び第二トレーニングとの中からトレーニングを選択し実行することができる。シミュレート装置200を用いる第二トレーニングの方が、第一トレーニングよりも、緻密で高い精度のロボット操作を要求する。ユーザは自身の習熟度に応じてトレーニングを選択することができる。
また、実施の形態に係る情報処理装置100は、仮想的なロボットモデルに模擬的な動作をさせるシミュレートコンピュータ40と操作端末20とを用いたトレーニングの実行を可能にし、シミュレートコンピュータ40によって生成される仮想的なロボットモデルの動作の情報を操作端末20に提示させてもよい。上記構成によると、ユーザは、シミュレートコンピュータ40のシミュレーションを利用してトレーニングを実行することができる。
また、実施の形態に係る情報処理装置100は、ロボットモデルとして実機のロボット50Aに模擬的な動作をさせるシミュレートロボット50と操作端末20とを用いたトレーニングの実行を可能にし、撮像装置517によって撮像されるロボット50Aの画像の情報を、ロボットモデルの動作の情報として操作端末20に提示させてもよい。上記構成によると、ユーザは、実機のロボット50Aを用いたシミュレーションを利用してトレーニングを実行することができる。さらに、ユーザは、実機のロボット50Aの画像を視認しつつトレーニングを実行することができる。
さらに、実施の形態に係る情報処理装置100は、実機のロボット50Aの画像を仮想的なロボットモデルの画像に変換し、変換された画像における仮想的なロボットモデルの動作の情報を操作端末20に提示させてもよい。例えば、仮想的なロボットモデルの画像は、CG又はアニメーション等を用いた画像であってもよい。上記構成によると、操作端末20によってユーザに提示される画像を、ユーザに親しみやすい画像にすることができる。よって、ユーザがトレーニングに親しみやすくなる。
また、実施の形態に係る仲介装置10は、実施の形態に係る情報処理装置100を備え、操作端末20と指導端末60とを通信網90を介して仲介してもよい。また、実施の形態に係る仲介装置10は、実施の形態に係る情報処理装置100を備え、操作端末20とシミュレート装置200とを通信網90を介して仲介してもよい。また、実施の形態に係る仲介装置10は、実施の形態に係る情報処理装置100を備え、操作端末20とシミュレート装置200と指導端末60とを通信網90を介して仲介してもよい。上記構成のいずれにおいても、実施の形態に係る情報処理装置100と同様の効果が得られる。
また、実施の形態に係るトレーニングシステム1は、実施の形態に係る情報処理装置100と、指導端末60と、操作端末20と指導端末60とを通信網90を介して仲介する仲介装置10とを備えてもよい。また、実施の形態に係るトレーニングシステム1は、実施の形態に係る情報処理装置100と、シミュレート装置200と、操作端末20とシミュレート装置200とを通信網90を介して仲介する仲介装置10とを備えてもよい。また、実施の形態に係るトレーニングシステム1は、指導端末60をさらに備え、仲介装置10は、操作端末20とシミュレート装置200と指導端末60とを通信網90を介して仲介してもよい。さらに、実施の形態に係るトレーニングシステム1は、操作端末20を備えてもよい。上記構成のいずれにおいても、実施の形態に係る情報処理装置100と同様の効果が得られる。
<その他の実施の形態>
以上、本発明の実施の形態の例について説明したが、本発明は、上記実施の形態に限定されない。すなわち、本発明の範囲内で種々の変形及び改良が可能である。例えば、各種変形を実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
例えば、実施の形態において、情報処理装置100は、仲介装置10に搭載されていたが、これに限定されない。例えば、情報処理装置100は、操作端末20、シミュレート装置200及び指導端末60のいずれに搭載されてもよい。また、情報処理装置100は、2つの以上の装置に分割して搭載されてもよい。例えば、情報処理装置100の一部の機能を有する第1の情報処理装置及び第2の情報処理装置がそれぞれ、仲介装置10、操作端末20、シミュレート装置200及び指導端末60のうちの2つに搭載されてもよい。又は、情報処理装置100の一部の機能を有する第1~第3の情報処理装置がそれぞれ、仲介装置10、操作端末20、シミュレート装置200及び指導端末60のうちの3つに搭載されてもよい。又は、情報処理装置100の一部の機能を有する第1~第4の情報処理装置がそれぞれ、仲介装置10、操作端末20、シミュレート装置200及び指導端末60に搭載されてもよい。
例えば、実施の形態に係るトレーニングシステム1は、操作端末20、仲介装置10、シミュレート装置200及び指導端末60を備えていたが、これに限定されない。例えば、トレーニングシステム1は、仲介装置10を備えなくてもよい。
実施の形態に係るトレーニングシステム1において、シミュレートコンピュータ40及びシミュレートロボット50は、予め設定されたコンピュータプログラム及びデータに従って、ロボットモデルを動作させるように構成されていたが、これに限定されない。例えば、シミュレートコンピュータ40及びシミュレートロボット50は、デジタルツインの環境を利用するように構成されてもよい。この場合、シミュレートコンピュータ40及びシミュレートロボット50は、例えば、クラウド上に蓄積された様々なデータ、つまりビッグデータを用いて動作するように構成されてもよい。例えば、データは、様々なユーザが様々なシミュレートコンピュータ40及びシミュレートロボット50等を用いて様々なトレーニングを実行することで得られたデータ、様々なロボットを用いて実際に様々な作業を行うことで得られたデータ等を含んでもよい。
また、本発明は、トレーニング処理方法であってもよい。例えば、本発明の一態様に係るトレーニング処理方法は、操作端末を用いたロボット操作のトレーニングをするコンピュータプログラムを前記操作端末上で実行中に、前記操作端末に入力されたロボット操作の情報である第一情報を通信網を介して受け付け、前記第一情報に基づき、前記トレーニングを管理する。この方法によれば、上記情報処理装置100等と同様の効果が得られる。このようなトレーニング処理方法は、CPU、LSIなどの回路、ICカード又は単体のモジュール等によって、実現されてもよい。
また、本発明は、上記トレーニング処理方法を実行するためのプログラムであってもよく、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、上記で用いた序数、数量等の数字は、全て本発明の技術を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明の技術を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。
また、機能ブロック図におけるブロックの分割は一例であり、複数のブロックを一つのブロックとして実現する、一つのブロックを複数に分割する、及び/又は、一部の機能を他のブロックに移してもよい。また、類似する機能を有する複数のブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
1 トレーニングシステム
10 仲介装置
20 操作端末
50 シミュレートロボット
50A,50A1~50An ロボット
60 指導端末
90 通信網
100 情報処理装置(トレーニング処理装置)
200 シミュレート装置
517 撮像装置

Claims (29)

  1. 操作端末を用いたロボット操作のトレーニングを管理するトレーニング処理装置であって、
    前記操作端末と通信網を介して情報を送受信し、
    ロボット操作のトレーニングをするコンピュータプログラムを前記操作端末で実行中に、前記操作端末に入力されたロボット操作の情報である第一情報を受け付け、
    前記第一情報に基づき、前記トレーニングを管理するし、
    前記操作端末で実行されるコンピュータプログラム上で機能するロボットモデルを用いる第一トレーニングと、ロボットモデルに模擬的な動作をさせるシミュレーションを実行するシミュレート装置を用いる第二トレーニングとの中から選択されたトレーニングの要求を、前記操作端末から受け付け、
    前記選択されたトレーニングの実行を決定し、
    前記第二トレーニングにおいて、
    前記シミュレート装置の前記ロボットモデルを操作するための第二情報に、前記第一情報を変換することと、
    前記第二情報に従って前記シミュレート装置を動作させることと、
    前記第二情報に従って動作する前記シミュレート装置の前記ロボットモデルの動作の情報を、前記操作端末に提示させることとを実行する
    トレーニング処理装置。
  2. 前記操作端末に入力されたロボット操作に対して補助を行うことで前記トレーニングを指導する指導端末に、前記第一情報に従ったロボットモデルの動作を提示させ、
    提示された前記ロボットモデルの動作に対して、前記指導端末に入力される前記ロボット操作を補助する補助指令を受け付け、
    前記補助指令を前記操作端末に提示させる
    請求項1に記載のトレーニング処理装置。
  3. 前記操作端末と前記指導端末とは通信網を介して接続される
    請求項2に記載のトレーニング処理装置。
  4. 前記第一情報に基づき、前記トレーニングの結果を評価し、
    前記操作端末を操作するユーザに対する評価であるユーザ評価として、前記トレーニングの結果の評価を登録する
    請求項1~3のいずれか一項に記載のトレーニング処理装置。
  5. 登録された前記ユーザ評価に基づき、前記ユーザ評価の対象のユーザが実行可能であるトレーニングを決定し、
    決定した前記トレーニングの情報を前記操作端末に提示させる
    請求項4に記載のトレーニング処理装置。
  6. 前記操作端末は、ゲーム機、ゲームコントローラ、ロボット専用の遠隔操作器、個人情報端末(PDA:Personal Data Assistant)、スマートデバイス及びパーソナルコンピュータの少なくともいずれかである
    請求項1~5のいずれか一項に記載のトレーニング処理装置。
  7. 前記ロボット操作は、作業をロボットに実行させるための操作である
    請求項1~6のいずれか一項に記載のトレーニング処理装置。
  8. 仮想的な前記ロボットモデルに模擬的な動作をさせるコンピュータ装置としての前記シミュレート装置と前記操作端末とを用いた前記第二トレーニングの実行を可能にし、
    前記シミュレート装置によって生成される前記仮想的なロボットモデルの動作の情報を前記操作端末に提示させる
    請求項1~7のいずれか一項に記載のトレーニング処理装置。
  9. 前記ロボットモデルとして実機のロボットに模擬的な動作をさせる前記シミュレート装置と前記操作端末とを用いた前記第二トレーニングの実行を可能にし、
    撮像装置によって撮像される前記ロボットの画像の情報を、前記ロボットモデルの動作の情報として前記操作端末に提示させる
    請求項のいずれか一項に記載のトレーニング処理装置。
  10. 前記ロボットの画像を仮想的なロボットモデルの画像に変換し、
    変換された画像における前記仮想的なロボットモデルの動作の情報を前記操作端末に提示させる
    請求項に記載のトレーニング処理装置。
  11. 前記操作端末と前記シミュレート装置とは通信網を介して接続される
    請求項10のいずれか一項に記載のトレーニング処理装置。
  12. 請求項1~11のいずれか一項に記載のトレーニング処理装置を備え、
    前記操作端末と指導端末とを通信網を介して仲介し、
    前記指導端末は、前記操作端末に入力されたロボット操作に対して補助を行うことで前記トレーニングを指導し、
    前記トレーニング処理装置は、
    前記指導端末に、前記第一情報を提示させ、
    提示された前記第一情報に対して、前記指導端末に入力される前記ロボット操作を補助する補助指令を受け付け、
    前記補助指令を前記操作端末に提示させる
    仲介装置。
  13. 請求項1~11のいずれか一項に記載のトレーニング処理装置を備え、
    前記操作端末と前記シミュレート装置とを通信網を介して仲介する
    仲介装置。
  14. 前記操作端末と前記シミュレート装置と指導端末とを前記通信網を介して仲介し、
    前記指導端末は、前記操作端末に入力されたロボット操作に対して補助を行うことで前記トレーニングを指導し、
    前記トレーニング処理装置は、
    前記指導端末に、前記第一情報を提示させ、
    提示された前記第一情報に対して、前記指導端末に入力される前記ロボット操作を補助する補助指令を受け付け、
    前記補助指令を前記操作端末に提示させる
    請求項13に記載の仲介装置。
  15. 請求項1~11のいずれか一項に記載のトレーニング処理装置と、
    前記操作端末に入力されたロボット操作に対して補助を行うことで前記トレーニングを指導する指導端末と、
    前記操作端末と前記指導端末とを通信網を介して仲介する仲介装置とを備え、
    前記トレーニング処理装置は、
    前記指導端末に、前記第一情報を提示させ、
    提示された前記第一情報に対して、前記指導端末に入力される前記ロボット操作を補助する補助指令を受け付け、
    前記補助指令を前記操作端末に提示させる
    トレーニングシステム。
  16. 請求項1~11のいずれか一項に記載のトレーニング処理装置と、
    前記シミュレート装置と、
    前記操作端末と前記シミュレート装置とを通信網を介して仲介する仲介装置とを備え
    トレーニングシステム。
  17. 前記操作端末に入力されたロボット操作に対して補助を行うことで前記トレーニングを指導する指導端末をさらに備え、
    前記仲介装置は、前記操作端末と前記シミュレート装置と前記指導端末とを前記通信網を介して仲介し、
    前記トレーニング処理装置は、
    前記指導端末に、前記第一情報を提示させ、
    提示された前記第一情報に対して、前記指導端末に入力される前記ロボット操作を補助する補助指令を受け付け、
    前記補助指令を前記操作端末に提示させる
    請求項16に記載のトレーニングシステム。
  18. 前記操作端末をさらに備える
    請求項1517のいずれか一項に記載のトレーニングシステム。
  19. 操作端末を用いたロボット操作のトレーニングをするコンピュータプログラムを前記操作端末上で実行中に、前記操作端末に入力されたロボット操作の情報である第一情報を通信網を介して受け付け、
    前記第一情報に基づき、前記トレーニングを管理し、
    前記操作端末で実行されるコンピュータプログラム上で機能するロボットモデルを用いる第一トレーニングと、ロボットモデルに模擬的な動作をさせるシミュレーションを実行するシミュレート装置を用いる第二トレーニングとの中から選択されたトレーニングの要求を、前記操作端末から受け付け、
    前記選択されたトレーニングを実行し、
    前記第二トレーニングにおいて、
    前記シミュレート装置の前記ロボットモデルを操作するための第二情報に、前記第一情報を変換することと、
    前記第二情報に従って前記シミュレート装置を動作させることと、
    前記第二情報に従って動作する前記シミュレート装置の前記ロボットモデルの動作の情報を、前記操作端末に提示させることとを実行する
    トレーニング処理方法。
  20. 前記操作端末に入力されたロボット操作に対して補助を行うことで前記トレーニングを指導する指導端末に、前記第一情報に従ったロボットモデルの動作を提示させ、
    提示された前記ロボットモデルの動作に対して、前記指導端末に入力された前記ロボット操作を補助する補助指令を受け付け、
    前記補助指令を前記操作端末に提示させる
    請求項19に記載のトレーニング処理方法。
  21. 前記操作端末と前記指導端末とは通信網を介して接続される
    請求項20に記載のトレーニング処理方法。
  22. 前記第一情報に基づき、前記トレーニングの結果を評価し、
    前記操作端末を操作するユーザに対する評価であるユーザ評価として、前記トレーニングの結果の評価を登録する
    請求項1921のいずれか一項に記載のトレーニング処理方法。
  23. 登録された前記ユーザ評価に基づき、前記ユーザ評価の対象のユーザが実行可能であるトレーニングを決定し、
    決定した前記トレーニングの情報を前記操作端末に提示させる
    請求項22に記載のトレーニング処理方法。
  24. 前記操作端末は、ゲーム機、ゲームコントローラ、ロボット専用の遠隔操作器、個人情報端末(PDA)、スマートデバイス及びパーソナルコンピュータの少なくともいずれかである
    請求項1923のいずれか一項に記載のトレーニング処理方法。
  25. 前記ロボット操作は、作業をロボットに実行させるための操作である
    請求項1924のいずれか一項に記載のトレーニング処理方法。
  26. 仮想的な前記ロボットモデルに模擬的な動作をさせるコンピュータ装置としての前記シミュレート装置と前記操作端末とを用いた前記第二トレーニングの実行を可能にし、
    前記シミュレート装置によって生成される前記仮想的なロボットモデルの動作の情報を前記操作端末に提示させる
    請求項19~25のいずれか一項に記載のトレーニング処理方法。
  27. 前記ロボットモデルとして実機のロボットに模擬的な動作をさせる前記シミュレート装置と前記操作端末とを用いた前記第二トレーニングの実行を可能にし、
    撮像装置によって撮像される前記ロボットの画像の情報を、前記ロボットモデルの動作の情報として前記操作端末に提示させる
    請求項1926のいずれか一項に記載のトレーニング処理方法。
  28. 前記ロボットの画像を仮想的なロボットモデルの画像に変換し、
    変換された画像における前記仮想的なロボットモデルの動作の情報を前記操作端末に提示させる
    請求項27に記載のトレーニング処理方法。
  29. 前記操作端末と前記シミュレート装置とは通信網を介して接続される
    請求項1928のいずれか一項に記載のトレーニング処理方法。
JP2019105751A 2018-08-10 2019-06-05 トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法 Active JP7281348B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020217007127A KR102529023B1 (ko) 2018-08-10 2019-08-08 트레이닝 처리 장치, 중개 장치, 트레이닝 시스템 및 트레이닝 처리 방법
PCT/JP2019/031522 WO2020032218A1 (ja) 2018-08-10 2019-08-08 トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法
US17/267,343 US11967245B2 (en) 2018-08-10 2019-08-08 Training processing device, intermediation device, training system, and training processing method
CN201980052252.XA CN112543961A (zh) 2018-08-10 2019-08-08 训练处理装置、中介装置、训练系统以及训练处理方法
EP19846602.1A EP3836125A4 (en) 2018-08-10 2019-08-08 LEARNING PROCESSING DEVICE, MEDIATION DEVICE, LEARNING SYSTEM AND LEARNING PROCESSING METHOD
TW108128600A TWI721523B (zh) 2018-08-10 2019-08-12 訓練處理裝置、中介裝置、訓練系統以及訓練處理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018151917 2018-08-10
JP2018151917 2018-08-10

Publications (2)

Publication Number Publication Date
JP2020026025A JP2020026025A (ja) 2020-02-20
JP7281348B2 true JP7281348B2 (ja) 2023-05-25

Family

ID=69414224

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2019105728A Active JP7333204B2 (ja) 2018-08-10 2019-06-05 情報処理装置、ロボット操作システム、及びロボット操作方法
JP2019105754A Active JP7281349B2 (ja) 2018-08-10 2019-06-05 遠隔操作システム
JP2019105753A Active JP7340964B2 (ja) 2018-08-10 2019-06-05 仲介装置および仲介方法
JP2019105752A Active JP7384575B2 (ja) 2018-08-10 2019-06-05 情報処理装置、仲介装置、シミュレートシステム、情報処理方法及びプログラム
JP2019105751A Active JP7281348B2 (ja) 2018-08-10 2019-06-05 トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法
JP2020535925A Active JP7130752B2 (ja) 2018-08-10 2019-08-09 ロボットシステム

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2019105728A Active JP7333204B2 (ja) 2018-08-10 2019-06-05 情報処理装置、ロボット操作システム、及びロボット操作方法
JP2019105754A Active JP7281349B2 (ja) 2018-08-10 2019-06-05 遠隔操作システム
JP2019105753A Active JP7340964B2 (ja) 2018-08-10 2019-06-05 仲介装置および仲介方法
JP2019105752A Active JP7384575B2 (ja) 2018-08-10 2019-06-05 情報処理装置、仲介装置、シミュレートシステム、情報処理方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020535925A Active JP7130752B2 (ja) 2018-08-10 2019-08-09 ロボットシステム

Country Status (7)

Country Link
US (2) US20210316461A1 (ja)
EP (1) EP3835007A4 (ja)
JP (6) JP7333204B2 (ja)
KR (1) KR102518131B1 (ja)
CN (1) CN112469539B (ja)
TW (1) TWI782223B (ja)
WO (1) WO2020032265A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230200921A1 (en) * 2020-04-10 2023-06-29 Kawasaki Jukogyo Kabushiki Kaisha Medical movable body system and method of operating same
US20230356389A1 (en) * 2020-09-25 2023-11-09 Nec Corporation Control device, control method and storage medium
JP2022131206A (ja) * 2021-02-26 2022-09-07 川崎重工業株式会社 情報処理装置、学習装置、情報処理システム及びロボットシステム
KR102453962B1 (ko) * 2021-12-10 2022-10-14 김판수 행동 모사 플랫폼 서비스 제공 시스템
GB2622622A (en) * 2022-09-23 2024-03-27 Rolls Royce Plc Robot control

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133443A (ja) 2004-11-05 2006-05-25 Hitachi Electronics Service Co Ltd 教育受講ナビゲーションシステム
JP2007183332A (ja) 2006-01-05 2007-07-19 Advanced Telecommunication Research Institute International 操作訓練装置
JP2012521568A (ja) 2009-03-20 2012-09-13 ジョンズ ホプキンス ユニバーシティ 技術的技能を定量化する方法及びシステム
WO2013136930A1 (ja) 2012-03-15 2013-09-19 オムロン株式会社 シミュレーション装置、シミュレーション方法、および、シミュレーションプログラム
US20170319282A1 (en) 2014-11-13 2017-11-09 Intuitive Surgical Operations, Inc. Integrated user environments

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51106455A (ja) * 1975-03-15 1976-09-21 Nobumasa Kobayashi Seisandosapitsuchikaisujidohyojisochi
JPS60181803A (ja) * 1984-02-28 1985-09-17 Shin Meiwa Ind Co Ltd 産業用ロボツトにおける制御方法
US5046022A (en) * 1988-03-10 1991-09-03 The Regents Of The University Of Michigan Tele-autonomous system and method employing time/position synchrony/desynchrony
JPH0639753A (ja) * 1991-09-18 1994-02-15 Fujitsu Ltd ロボットの遠隔操作支援装置
JP3876573B2 (ja) * 1999-09-20 2007-01-31 カシオ計算機株式会社 ネットゲーム装置及び似顔絵画像表示制御方法
JP3286665B2 (ja) 1999-12-27 2002-05-27 川崎重工業株式会社 ロボット遊戯装置の制御方法およびロボット遊戯装置
JP2002108975A (ja) * 2000-10-02 2002-04-12 Komatsu Ltd 施工量管理システム
JP4363058B2 (ja) 2003-02-25 2009-11-11 株式会社安川電機 モータ、モータの制御装置、モータ制御システム及びモータの同定方法
JP2003265852A (ja) * 2003-03-10 2003-09-24 Konami Co Ltd ゲーム用サーバ装置、ゲーム管理方法及びゲーム管理プログラム
JP4438927B2 (ja) 2003-04-08 2010-03-24 株式会社バンダイナムコゲームス シミュレータ、プログラム及び情報記憶媒体
JP4196400B2 (ja) 2003-04-22 2008-12-17 株式会社安川電機 モータの制御装置及び制御方法
JP2006051586A (ja) * 2004-08-13 2006-02-23 Speecys Kk ロボットコントロールシステム
JP5064835B2 (ja) * 2007-02-28 2012-10-31 株式会社アルバック 基板搬送装置
JP5083617B2 (ja) 2008-01-31 2012-11-28 澁谷工業株式会社 遠隔操作ロボット装置
JP2009213754A (ja) * 2008-03-12 2009-09-24 Taito Corp 対戦ゲームシステム
US20090291764A1 (en) 2008-05-21 2009-11-26 George Francis Kirkman System and apparatus for a controlled toy to interact with a computer game
CN101623867B (zh) * 2008-07-11 2010-12-01 中国科学院沈阳自动化研究所 一种使机器人高精度跟踪指定路径的设备和方法
JP2010131711A (ja) * 2008-12-05 2010-06-17 Honda Motor Co Ltd ロボットアームの制御方法
US20120238366A1 (en) 2011-03-15 2012-09-20 Maurice Tedder Robot Game for Multiple Players that is Remotely Controlled over a Network
JP6169562B2 (ja) 2011-05-05 2017-07-26 ザ・ジョンズ・ホプキンス・ユニバーシティー サンプルタスク軌跡を分析する、コンピュータで実現される方法、および、サンプルタスク軌跡を分析するシステム
EP2829371A1 (en) * 2012-03-22 2015-01-28 Kabushiki Kaisha Yaskawa Denki Work robot and robot system
JP5975704B2 (ja) * 2012-04-10 2016-08-23 曙機械工業株式会社 作業の指標表示装置とその装置を用いた作業の指標表示方法
CN104470687A (zh) * 2012-07-20 2015-03-25 株式会社安川电机 机器人模拟器、机器人示教装置以及机器人示教方法
US9623561B2 (en) * 2012-10-10 2017-04-18 Kenneth Dean Stephens, Jr. Real time approximation for robotic space exploration
US11281207B2 (en) * 2013-03-19 2022-03-22 Robotic Research Opco, Llc Delayed telop aid
JP6140522B2 (ja) * 2013-05-10 2017-05-31 株式会社富士通アドバンストエンジニアリング 評価支援方法、評価支援装置、および評価支援プログラム
JP5740433B2 (ja) * 2013-05-24 2015-06-24 日本電信電話株式会社 遅延補償装置、方法、プログラム及び記録媒体
US9300430B2 (en) * 2013-10-24 2016-03-29 Harris Corporation Latency smoothing for teleoperation systems
JP6358463B2 (ja) * 2013-11-13 2018-07-18 パナソニックIpマネジメント株式会社 マスタースレーブ装置用マスター装置及びその制御方法、及び、マスタースレーブ装置
US9579799B2 (en) * 2014-04-30 2017-02-28 Coleman P. Parker Robotic control system using virtual reality input
JP2015220574A (ja) * 2014-05-16 2015-12-07 ソニー株式会社 情報処理システム、記憶媒体、およびコンテンツ取得方法
JP6002199B2 (ja) 2014-11-28 2016-10-05 グリー株式会社 ゲームプログラム、ゲーム処理方法、および、情報処理装置
DE102014118001A1 (de) * 2014-12-05 2016-06-09 Broetje-Automation Gmbh Verfahren zur Bewegungssimulation eines Manipulators
US9550120B2 (en) * 2014-12-08 2017-01-24 Cubic Corporation Toll image review gamification
SG11201703982SA (en) * 2014-12-26 2017-06-29 Kawasaki Heavy Ind Ltd Robot system
JP6494331B2 (ja) * 2015-03-03 2019-04-03 キヤノン株式会社 ロボット制御装置およびロボット制御方法
US9808933B2 (en) * 2015-04-03 2017-11-07 GM Global Technology Operations LLC Robotic system with reconfigurable end-effector assembly
JP6240689B2 (ja) * 2015-07-31 2017-11-29 ファナック株式会社 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法
CN107921634B (zh) * 2015-08-25 2021-04-02 川崎重工业株式会社 机器人系统
JP6365478B2 (ja) * 2015-09-17 2018-08-01 株式会社安川電機 移送システムおよび移送方法
JP6386516B2 (ja) * 2016-01-14 2018-09-05 ファナック株式会社 学習機能を備えたロボット装置
US10525596B2 (en) * 2016-02-11 2020-01-07 Darryl Hammock Teleoperated robot for flood-welding operations
CN108885715B (zh) * 2016-03-03 2020-06-26 谷歌有限责任公司 用于机器人抓取的深度机器学习方法和装置
US10322506B2 (en) * 2016-05-06 2019-06-18 Kindred Systems Inc. Systems, devices, articles, and methods for using trained robots
US10220511B2 (en) * 2016-07-28 2019-03-05 X Development Llc Customized robotic installation based on measurements collected on site
FR3054468B1 (fr) * 2016-07-29 2018-08-31 Staubli Faverges Procede de commande d'un robot a usage industriel
JP6640060B2 (ja) * 2016-09-27 2020-02-05 株式会社日立製作所 ロボットシステム
JP6506245B2 (ja) * 2016-12-26 2019-04-24 ファナック株式会社 組付動作を学習する機械学習装置および部品組付システム
JP2018126798A (ja) * 2017-02-06 2018-08-16 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP6846950B2 (ja) * 2017-03-03 2021-03-24 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6902369B2 (ja) * 2017-03-15 2021-07-14 株式会社オカムラ 提示装置、提示方法およびプログラム、ならびに作業システム
CN107020636A (zh) * 2017-05-09 2017-08-08 重庆大学 一种基于策略梯度的机器人学习控制方法
CA3078578A1 (en) * 2017-10-06 2019-04-11 Moog Inc. Teleoperation system, method, apparatus, and computer-readable medium
TWM559195U (zh) * 2017-10-13 2018-05-01 Shi Ru Ling 實體化場景移動遊戲總成
CN107803841B (zh) * 2017-10-17 2020-11-17 深圳市一棵大树国际教育科技有限公司 一种基于机器人的智能教学纠正方法及其系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133443A (ja) 2004-11-05 2006-05-25 Hitachi Electronics Service Co Ltd 教育受講ナビゲーションシステム
JP2007183332A (ja) 2006-01-05 2007-07-19 Advanced Telecommunication Research Institute International 操作訓練装置
JP2012521568A (ja) 2009-03-20 2012-09-13 ジョンズ ホプキンス ユニバーシティ 技術的技能を定量化する方法及びシステム
WO2013136930A1 (ja) 2012-03-15 2013-09-19 オムロン株式会社 シミュレーション装置、シミュレーション方法、および、シミュレーションプログラム
US20170319282A1 (en) 2014-11-13 2017-11-09 Intuitive Surgical Operations, Inc. Integrated user environments

Also Published As

Publication number Publication date
CN112469539A (zh) 2021-03-09
JP7130752B2 (ja) 2022-09-05
TWI782223B (zh) 2022-11-01
US20210201692A1 (en) 2021-07-01
JP2020026025A (ja) 2020-02-20
US20210316461A1 (en) 2021-10-14
JP7281349B2 (ja) 2023-05-25
EP3835007A1 (en) 2021-06-16
JP7333204B2 (ja) 2023-08-24
JP2020026024A (ja) 2020-02-20
KR20210041040A (ko) 2021-04-14
JP2020026026A (ja) 2020-02-20
JP7384575B2 (ja) 2023-11-21
TW202012131A (zh) 2020-04-01
KR102518131B1 (ko) 2023-04-05
CN112469539B (zh) 2024-02-13
WO2020032265A1 (ja) 2020-02-13
JP7340964B2 (ja) 2023-09-08
EP3835007A4 (en) 2022-06-08
JP2020026027A (ja) 2020-02-20
JPWO2020032265A1 (ja) 2021-08-10
JP2020026028A (ja) 2020-02-20

Similar Documents

Publication Publication Date Title
JP7281348B2 (ja) トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法
JP6508484B2 (ja) 接続された玩具を使用する教育システム
CN107274745B (zh) 用于车辆模拟的系统和方法
CN103838563B (zh) 自动装置的程序开发方法
KR102529023B1 (ko) 트레이닝 처리 장치, 중개 장치, 트레이닝 시스템 및 트레이닝 처리 방법
KR102571997B1 (ko) 정보 처리 장치, 중개 장치, 시뮬레이트 시스템 및 정보 처리 방법
Martín-Barrio et al. Application of immersive technologies and natural language to hyper-redundant robot teleoperation
Xue et al. Enabling human-robot-interaction for remote robotic operation via augmented reality
Bonaiuto et al. Tele-operation of robot teams: a comparison of gamepad-, mobile device and hand tracking-based user interfaces
Besari et al. Preliminary design of interactive visual mobile programming on educational robot ADROIT V1
JP2023050798A (ja) 作業教育支援システム及び作業教育支援システム用コンテンツ作成プログラム
Bordoni et al. Development and assessment of a contactless 3D joystick approach to industrial manipulator gesture control
WO2023032985A1 (ja) 操作端末、ロボットシステム及びコンピュータプログラム
WO2023032984A1 (ja) 操作端末、ロボットシステム及びコンピュータプログラム
Wakita et al. Single-switch user interface for robot arm to help disabled people using rt-middleware
JP6738258B2 (ja) 運転訓練シミュレータシステム
Meng et al. Virtual Reality Based Robot Teleoperation via Human-Scene Interaction
TWI475483B (zh) 自動裝置的程式開發方法
CN116394276B (zh) 一种样本生成、模型训练方法、装置及系统
Weiss et al. Development of a teleoperator interface for humanoid robots by means of heuristic evaluation technique
Universityof Teaching Robotic Assembly Tasks Using a 3D Simulation Environment
Emad Addressing Usability Issues: Redesigning the User Interface of Collaborative Robot Franka Panda
Englund Unleashing the Power of AI Mobile Robots: A Journey into CognitiveLoad, Multimodal Signalling, and Trust in Multi-Robot Team
CN117718967A (zh) 手术机器人测试方法、装置、设备和介质
JP2022066982A (ja) 教育システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190619

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230515

R150 Certificate of patent or registration of utility model

Ref document number: 7281348

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150