JP7281348B2 - トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法 - Google Patents
トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法 Download PDFInfo
- Publication number
- JP7281348B2 JP7281348B2 JP2019105751A JP2019105751A JP7281348B2 JP 7281348 B2 JP7281348 B2 JP 7281348B2 JP 2019105751 A JP2019105751 A JP 2019105751A JP 2019105751 A JP2019105751 A JP 2019105751A JP 7281348 B2 JP7281348 B2 JP 7281348B2
- Authority
- JP
- Japan
- Prior art keywords
- training
- robot
- information
- operation terminal
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/02—Hand grip control means
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/24—Use of tools
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/06—Control stands, e.g. consoles, switchboards
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/06—Control stands, e.g. consoles, switchboards
- B25J13/065—Control stands, e.g. consoles, switchboards comprising joy-sticks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/081—Touching devices, e.g. pressure-sensitive
- B25J13/082—Grasping-force detectors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/16—Control of vehicles or other craft
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
- G05B19/423—Teaching successive positions by walk-through, i.e. the tool head or end effector being grasped and guided directly, with or without servo-assistance, to follow a path
Description
実施の形態に係るトレーニングシステム1の構成を説明する。図1は、実施の形態に係るトレーニングシステム1の構成の一例を示す図である。図1に示すように、トレーニングシステム1は、1つ以上の仲介装置10と、1つ以上の操作端末20と、1つ以上の指導端末60とを含む。さらに、トレーニングシステム1は、1つ以上のシミュレートコンピュータ40と、1つ以上のシミュレートロボット50とを含んでもよく、本実施の形態ではこれらを含むものとする。シミュレートコンピュータ40及びシミュレートロボット50は、シミュレート装置200の一例である。以下において、「シミュレートコンピュータ40」及び「シミュレートロボット50」を区別しない場合、これらを単に「シミュレート装置200」と称する場合がある。仲介装置10、操作端末20、シミュレートコンピュータ40、シミュレートロボット50及び指導端末60は、通信網90を介して接続されている。なお、上記構成要素の全てが必須ではない。
操作端末20のハードウェア構成を説明する。図2は、実施の形態に係る操作端末20のハードウェア構成の一例を示すブロック図である。図2に示すように、操作端末20は、ゲーム機としての操作端末本体21と、ゲームコントローラとしての操作器22とを備える。操作端末本体21は、トレーニングのコンピュータプログラムを実行することができ、操作器22はユーザによる操作の入力を受け付ける。操作端末本体21は、CPU201と、ROM202と、RAM203と、メモリ204と、メディアI/F(インタフェース:Interface)205と、ネットワークI/F206と、第一入出力I/F207と、画像プロセッサ208と、第二入出力I/F209と、音声プロセッサ210と、第三入出力I/F211と、記録媒体ドライブ212とを構成要素として含む。各構成要素は、バス等によって接続されるが、他のいかなる有線通信又は無線通信で接続されてもよい。なお、上記構成要素の全てが必須ではない。
操作端末20の機能的構成を説明する。図7は、実施の形態に係る操作端末20の機能的構成の一例を示すブロック図である。図7に示すように、操作器22は、入力部22a及び出力部22bを含む。入力部22aは、ユーザからの入力を受け付け、その機能は入力装置221によって実現される。出力部22bは、入力部22aに入力された情報を操作端末本体21に出力し、その機能は操作入出力I/F222によって実現される。上記情報は、入力装置221のボタン等のON又はOFF、ONの継続時間等の情報であってもよい。
実施の形態に係るトレーニングシステム1の動作を説明する。図14A~図14Cは、実施の形態に係るトレーニングシステム1の動作の流れの一例を示すシーケンス図である。以下において、指導端末60を用いたロボット操作の補助が行われる例を説明する。
上述のような実施の形態に係るトレーニングシステム1において、トレーニング処理装置としての仲介装置10の情報処理装置100は、操作端末20を用いたロボット操作のトレーニングを管理する。情報処理装置100は、操作端末20と通信網90を介して情報を送受信し、ロボット操作のトレーニングをするコンピュータプログラムを操作端末20上で実行中に、操作端末20に入力されたロボット操作の情報である第一情報を受け付け、第一情報に基づき、トレーニングを管理する。なお、例えば、ロボット操作は、作業をロボットに実行させるための操作であってもよい。
以上、本発明の実施の形態の例について説明したが、本発明は、上記実施の形態に限定されない。すなわち、本発明の範囲内で種々の変形及び改良が可能である。例えば、各種変形を実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
10 仲介装置
20 操作端末
50 シミュレートロボット
50A,50A1~50An ロボット
60 指導端末
90 通信網
100 情報処理装置(トレーニング処理装置)
200 シミュレート装置
517 撮像装置
Claims (29)
- 操作端末を用いたロボット操作のトレーニングを管理するトレーニング処理装置であって、
前記操作端末と通信網を介して情報を送受信し、
ロボット操作のトレーニングをするコンピュータプログラムを前記操作端末で実行中に、前記操作端末に入力されたロボット操作の情報である第一情報を受け付け、
前記第一情報に基づき、前記トレーニングを管理するし、
前記操作端末で実行されるコンピュータプログラム上で機能するロボットモデルを用いる第一トレーニングと、ロボットモデルに模擬的な動作をさせるシミュレーションを実行するシミュレート装置を用いる第二トレーニングとの中から選択されたトレーニングの要求を、前記操作端末から受け付け、
前記選択されたトレーニングの実行を決定し、
前記第二トレーニングにおいて、
前記シミュレート装置の前記ロボットモデルを操作するための第二情報に、前記第一情報を変換することと、
前記第二情報に従って前記シミュレート装置を動作させることと、
前記第二情報に従って動作する前記シミュレート装置の前記ロボットモデルの動作の情報を、前記操作端末に提示させることとを実行する
トレーニング処理装置。 - 前記操作端末に入力されたロボット操作に対して補助を行うことで前記トレーニングを指導する指導端末に、前記第一情報に従ったロボットモデルの動作を提示させ、
提示された前記ロボットモデルの動作に対して、前記指導端末に入力される前記ロボット操作を補助する補助指令を受け付け、
前記補助指令を前記操作端末に提示させる
請求項1に記載のトレーニング処理装置。 - 前記操作端末と前記指導端末とは通信網を介して接続される
請求項2に記載のトレーニング処理装置。 - 前記第一情報に基づき、前記トレーニングの結果を評価し、
前記操作端末を操作するユーザに対する評価であるユーザ評価として、前記トレーニングの結果の評価を登録する
請求項1~3のいずれか一項に記載のトレーニング処理装置。 - 登録された前記ユーザ評価に基づき、前記ユーザ評価の対象のユーザが実行可能であるトレーニングを決定し、
決定した前記トレーニングの情報を前記操作端末に提示させる
請求項4に記載のトレーニング処理装置。 - 前記操作端末は、ゲーム機、ゲームコントローラ、ロボット専用の遠隔操作器、個人情報端末(PDA:Personal Data Assistant)、スマートデバイス及びパーソナルコンピュータの少なくともいずれかである
請求項1~5のいずれか一項に記載のトレーニング処理装置。 - 前記ロボット操作は、作業をロボットに実行させるための操作である
請求項1~6のいずれか一項に記載のトレーニング処理装置。 - 仮想的な前記ロボットモデルに模擬的な動作をさせるコンピュータ装置としての前記シミュレート装置と前記操作端末とを用いた前記第二トレーニングの実行を可能にし、
前記シミュレート装置によって生成される前記仮想的なロボットモデルの動作の情報を前記操作端末に提示させる
請求項1~7のいずれか一項に記載のトレーニング処理装置。 - 前記ロボットモデルとして実機のロボットに模擬的な動作をさせる前記シミュレート装置と前記操作端末とを用いた前記第二トレーニングの実行を可能にし、
撮像装置によって撮像される前記ロボットの画像の情報を、前記ロボットモデルの動作の情報として前記操作端末に提示させる
請求項1~8のいずれか一項に記載のトレーニング処理装置。 - 前記ロボットの画像を仮想的なロボットモデルの画像に変換し、
変換された画像における前記仮想的なロボットモデルの動作の情報を前記操作端末に提示させる
請求項9に記載のトレーニング処理装置。 - 前記操作端末と前記シミュレート装置とは通信網を介して接続される
請求項1~10のいずれか一項に記載のトレーニング処理装置。 - 請求項1~11のいずれか一項に記載のトレーニング処理装置を備え、
前記操作端末と指導端末とを通信網を介して仲介し、
前記指導端末は、前記操作端末に入力されたロボット操作に対して補助を行うことで前記トレーニングを指導し、
前記トレーニング処理装置は、
前記指導端末に、前記第一情報を提示させ、
提示された前記第一情報に対して、前記指導端末に入力される前記ロボット操作を補助する補助指令を受け付け、
前記補助指令を前記操作端末に提示させる
仲介装置。 - 請求項1~11のいずれか一項に記載のトレーニング処理装置を備え、
前記操作端末と前記シミュレート装置とを通信網を介して仲介する
仲介装置。 - 前記操作端末と前記シミュレート装置と指導端末とを前記通信網を介して仲介し、
前記指導端末は、前記操作端末に入力されたロボット操作に対して補助を行うことで前記トレーニングを指導し、
前記トレーニング処理装置は、
前記指導端末に、前記第一情報を提示させ、
提示された前記第一情報に対して、前記指導端末に入力される前記ロボット操作を補助する補助指令を受け付け、
前記補助指令を前記操作端末に提示させる
請求項13に記載の仲介装置。 - 請求項1~11のいずれか一項に記載のトレーニング処理装置と、
前記操作端末に入力されたロボット操作に対して補助を行うことで前記トレーニングを指導する指導端末と、
前記操作端末と前記指導端末とを通信網を介して仲介する仲介装置とを備え、
前記トレーニング処理装置は、
前記指導端末に、前記第一情報を提示させ、
提示された前記第一情報に対して、前記指導端末に入力される前記ロボット操作を補助する補助指令を受け付け、
前記補助指令を前記操作端末に提示させる
トレーニングシステム。 - 請求項1~11のいずれか一項に記載のトレーニング処理装置と、
前記シミュレート装置と、
前記操作端末と前記シミュレート装置とを通信網を介して仲介する仲介装置とを備える
トレーニングシステム。 - 前記操作端末に入力されたロボット操作に対して補助を行うことで前記トレーニングを指導する指導端末をさらに備え、
前記仲介装置は、前記操作端末と前記シミュレート装置と前記指導端末とを前記通信網を介して仲介し、
前記トレーニング処理装置は、
前記指導端末に、前記第一情報を提示させ、
提示された前記第一情報に対して、前記指導端末に入力される前記ロボット操作を補助する補助指令を受け付け、
前記補助指令を前記操作端末に提示させる
請求項16に記載のトレーニングシステム。 - 前記操作端末をさらに備える
請求項15~17のいずれか一項に記載のトレーニングシステム。 - 操作端末を用いたロボット操作のトレーニングをするコンピュータプログラムを前記操作端末上で実行中に、前記操作端末に入力されたロボット操作の情報である第一情報を通信網を介して受け付け、
前記第一情報に基づき、前記トレーニングを管理し、
前記操作端末で実行されるコンピュータプログラム上で機能するロボットモデルを用いる第一トレーニングと、ロボットモデルに模擬的な動作をさせるシミュレーションを実行するシミュレート装置を用いる第二トレーニングとの中から選択されたトレーニングの要求を、前記操作端末から受け付け、
前記選択されたトレーニングを実行し、
前記第二トレーニングにおいて、
前記シミュレート装置の前記ロボットモデルを操作するための第二情報に、前記第一情報を変換することと、
前記第二情報に従って前記シミュレート装置を動作させることと、
前記第二情報に従って動作する前記シミュレート装置の前記ロボットモデルの動作の情報を、前記操作端末に提示させることとを実行する
トレーニング処理方法。 - 前記操作端末に入力されたロボット操作に対して補助を行うことで前記トレーニングを指導する指導端末に、前記第一情報に従ったロボットモデルの動作を提示させ、
提示された前記ロボットモデルの動作に対して、前記指導端末に入力された前記ロボット操作を補助する補助指令を受け付け、
前記補助指令を前記操作端末に提示させる
請求項19に記載のトレーニング処理方法。 - 前記操作端末と前記指導端末とは通信網を介して接続される
請求項20に記載のトレーニング処理方法。 - 前記第一情報に基づき、前記トレーニングの結果を評価し、
前記操作端末を操作するユーザに対する評価であるユーザ評価として、前記トレーニングの結果の評価を登録する
請求項19~21のいずれか一項に記載のトレーニング処理方法。 - 登録された前記ユーザ評価に基づき、前記ユーザ評価の対象のユーザが実行可能であるトレーニングを決定し、
決定した前記トレーニングの情報を前記操作端末に提示させる
請求項22に記載のトレーニング処理方法。 - 前記操作端末は、ゲーム機、ゲームコントローラ、ロボット専用の遠隔操作器、個人情報端末(PDA)、スマートデバイス及びパーソナルコンピュータの少なくともいずれかである
請求項19~23のいずれか一項に記載のトレーニング処理方法。 - 前記ロボット操作は、作業をロボットに実行させるための操作である
請求項19~24のいずれか一項に記載のトレーニング処理方法。 - 仮想的な前記ロボットモデルに模擬的な動作をさせるコンピュータ装置としての前記シミュレート装置と前記操作端末とを用いた前記第二トレーニングの実行を可能にし、
前記シミュレート装置によって生成される前記仮想的なロボットモデルの動作の情報を前記操作端末に提示させる
請求項19~25のいずれか一項に記載のトレーニング処理方法。 - 前記ロボットモデルとして実機のロボットに模擬的な動作をさせる前記シミュレート装置と前記操作端末とを用いた前記第二トレーニングの実行を可能にし、
撮像装置によって撮像される前記ロボットの画像の情報を、前記ロボットモデルの動作の情報として前記操作端末に提示させる
請求項19~26のいずれか一項に記載のトレーニング処理方法。 - 前記ロボットの画像を仮想的なロボットモデルの画像に変換し、
変換された画像における前記仮想的なロボットモデルの動作の情報を前記操作端末に提示させる
請求項27に記載のトレーニング処理方法。 - 前記操作端末と前記シミュレート装置とは通信網を介して接続される
請求項19~28のいずれか一項に記載のトレーニング処理方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020217007127A KR102529023B1 (ko) | 2018-08-10 | 2019-08-08 | 트레이닝 처리 장치, 중개 장치, 트레이닝 시스템 및 트레이닝 처리 방법 |
PCT/JP2019/031522 WO2020032218A1 (ja) | 2018-08-10 | 2019-08-08 | トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法 |
US17/267,343 US11967245B2 (en) | 2018-08-10 | 2019-08-08 | Training processing device, intermediation device, training system, and training processing method |
CN201980052252.XA CN112543961A (zh) | 2018-08-10 | 2019-08-08 | 训练处理装置、中介装置、训练系统以及训练处理方法 |
EP19846602.1A EP3836125A4 (en) | 2018-08-10 | 2019-08-08 | LEARNING PROCESSING DEVICE, MEDIATION DEVICE, LEARNING SYSTEM AND LEARNING PROCESSING METHOD |
TW108128600A TWI721523B (zh) | 2018-08-10 | 2019-08-12 | 訓練處理裝置、中介裝置、訓練系統以及訓練處理方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018151917 | 2018-08-10 | ||
JP2018151917 | 2018-08-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020026025A JP2020026025A (ja) | 2020-02-20 |
JP7281348B2 true JP7281348B2 (ja) | 2023-05-25 |
Family
ID=69414224
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019105728A Active JP7333204B2 (ja) | 2018-08-10 | 2019-06-05 | 情報処理装置、ロボット操作システム、及びロボット操作方法 |
JP2019105754A Active JP7281349B2 (ja) | 2018-08-10 | 2019-06-05 | 遠隔操作システム |
JP2019105753A Active JP7340964B2 (ja) | 2018-08-10 | 2019-06-05 | 仲介装置および仲介方法 |
JP2019105752A Active JP7384575B2 (ja) | 2018-08-10 | 2019-06-05 | 情報処理装置、仲介装置、シミュレートシステム、情報処理方法及びプログラム |
JP2019105751A Active JP7281348B2 (ja) | 2018-08-10 | 2019-06-05 | トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法 |
JP2020535925A Active JP7130752B2 (ja) | 2018-08-10 | 2019-08-09 | ロボットシステム |
Family Applications Before (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019105728A Active JP7333204B2 (ja) | 2018-08-10 | 2019-06-05 | 情報処理装置、ロボット操作システム、及びロボット操作方法 |
JP2019105754A Active JP7281349B2 (ja) | 2018-08-10 | 2019-06-05 | 遠隔操作システム |
JP2019105753A Active JP7340964B2 (ja) | 2018-08-10 | 2019-06-05 | 仲介装置および仲介方法 |
JP2019105752A Active JP7384575B2 (ja) | 2018-08-10 | 2019-06-05 | 情報処理装置、仲介装置、シミュレートシステム、情報処理方法及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020535925A Active JP7130752B2 (ja) | 2018-08-10 | 2019-08-09 | ロボットシステム |
Country Status (7)
Country | Link |
---|---|
US (2) | US20210316461A1 (ja) |
EP (1) | EP3835007A4 (ja) |
JP (6) | JP7333204B2 (ja) |
KR (1) | KR102518131B1 (ja) |
CN (1) | CN112469539B (ja) |
TW (1) | TWI782223B (ja) |
WO (1) | WO2020032265A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230200921A1 (en) * | 2020-04-10 | 2023-06-29 | Kawasaki Jukogyo Kabushiki Kaisha | Medical movable body system and method of operating same |
US20230356389A1 (en) * | 2020-09-25 | 2023-11-09 | Nec Corporation | Control device, control method and storage medium |
JP2022131206A (ja) * | 2021-02-26 | 2022-09-07 | 川崎重工業株式会社 | 情報処理装置、学習装置、情報処理システム及びロボットシステム |
KR102453962B1 (ko) * | 2021-12-10 | 2022-10-14 | 김판수 | 행동 모사 플랫폼 서비스 제공 시스템 |
GB2622622A (en) * | 2022-09-23 | 2024-03-27 | Rolls Royce Plc | Robot control |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006133443A (ja) | 2004-11-05 | 2006-05-25 | Hitachi Electronics Service Co Ltd | 教育受講ナビゲーションシステム |
JP2007183332A (ja) | 2006-01-05 | 2007-07-19 | Advanced Telecommunication Research Institute International | 操作訓練装置 |
JP2012521568A (ja) | 2009-03-20 | 2012-09-13 | ジョンズ ホプキンス ユニバーシティ | 技術的技能を定量化する方法及びシステム |
WO2013136930A1 (ja) | 2012-03-15 | 2013-09-19 | オムロン株式会社 | シミュレーション装置、シミュレーション方法、および、シミュレーションプログラム |
US20170319282A1 (en) | 2014-11-13 | 2017-11-09 | Intuitive Surgical Operations, Inc. | Integrated user environments |
Family Cites Families (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS51106455A (ja) * | 1975-03-15 | 1976-09-21 | Nobumasa Kobayashi | Seisandosapitsuchikaisujidohyojisochi |
JPS60181803A (ja) * | 1984-02-28 | 1985-09-17 | Shin Meiwa Ind Co Ltd | 産業用ロボツトにおける制御方法 |
US5046022A (en) * | 1988-03-10 | 1991-09-03 | The Regents Of The University Of Michigan | Tele-autonomous system and method employing time/position synchrony/desynchrony |
JPH0639753A (ja) * | 1991-09-18 | 1994-02-15 | Fujitsu Ltd | ロボットの遠隔操作支援装置 |
JP3876573B2 (ja) * | 1999-09-20 | 2007-01-31 | カシオ計算機株式会社 | ネットゲーム装置及び似顔絵画像表示制御方法 |
JP3286665B2 (ja) | 1999-12-27 | 2002-05-27 | 川崎重工業株式会社 | ロボット遊戯装置の制御方法およびロボット遊戯装置 |
JP2002108975A (ja) * | 2000-10-02 | 2002-04-12 | Komatsu Ltd | 施工量管理システム |
JP4363058B2 (ja) | 2003-02-25 | 2009-11-11 | 株式会社安川電機 | モータ、モータの制御装置、モータ制御システム及びモータの同定方法 |
JP2003265852A (ja) * | 2003-03-10 | 2003-09-24 | Konami Co Ltd | ゲーム用サーバ装置、ゲーム管理方法及びゲーム管理プログラム |
JP4438927B2 (ja) | 2003-04-08 | 2010-03-24 | 株式会社バンダイナムコゲームス | シミュレータ、プログラム及び情報記憶媒体 |
JP4196400B2 (ja) | 2003-04-22 | 2008-12-17 | 株式会社安川電機 | モータの制御装置及び制御方法 |
JP2006051586A (ja) * | 2004-08-13 | 2006-02-23 | Speecys Kk | ロボットコントロールシステム |
JP5064835B2 (ja) * | 2007-02-28 | 2012-10-31 | 株式会社アルバック | 基板搬送装置 |
JP5083617B2 (ja) | 2008-01-31 | 2012-11-28 | 澁谷工業株式会社 | 遠隔操作ロボット装置 |
JP2009213754A (ja) * | 2008-03-12 | 2009-09-24 | Taito Corp | 対戦ゲームシステム |
US20090291764A1 (en) | 2008-05-21 | 2009-11-26 | George Francis Kirkman | System and apparatus for a controlled toy to interact with a computer game |
CN101623867B (zh) * | 2008-07-11 | 2010-12-01 | 中国科学院沈阳自动化研究所 | 一种使机器人高精度跟踪指定路径的设备和方法 |
JP2010131711A (ja) * | 2008-12-05 | 2010-06-17 | Honda Motor Co Ltd | ロボットアームの制御方法 |
US20120238366A1 (en) | 2011-03-15 | 2012-09-20 | Maurice Tedder | Robot Game for Multiple Players that is Remotely Controlled over a Network |
JP6169562B2 (ja) | 2011-05-05 | 2017-07-26 | ザ・ジョンズ・ホプキンス・ユニバーシティー | サンプルタスク軌跡を分析する、コンピュータで実現される方法、および、サンプルタスク軌跡を分析するシステム |
EP2829371A1 (en) * | 2012-03-22 | 2015-01-28 | Kabushiki Kaisha Yaskawa Denki | Work robot and robot system |
JP5975704B2 (ja) * | 2012-04-10 | 2016-08-23 | 曙機械工業株式会社 | 作業の指標表示装置とその装置を用いた作業の指標表示方法 |
CN104470687A (zh) * | 2012-07-20 | 2015-03-25 | 株式会社安川电机 | 机器人模拟器、机器人示教装置以及机器人示教方法 |
US9623561B2 (en) * | 2012-10-10 | 2017-04-18 | Kenneth Dean Stephens, Jr. | Real time approximation for robotic space exploration |
US11281207B2 (en) * | 2013-03-19 | 2022-03-22 | Robotic Research Opco, Llc | Delayed telop aid |
JP6140522B2 (ja) * | 2013-05-10 | 2017-05-31 | 株式会社富士通アドバンストエンジニアリング | 評価支援方法、評価支援装置、および評価支援プログラム |
JP5740433B2 (ja) * | 2013-05-24 | 2015-06-24 | 日本電信電話株式会社 | 遅延補償装置、方法、プログラム及び記録媒体 |
US9300430B2 (en) * | 2013-10-24 | 2016-03-29 | Harris Corporation | Latency smoothing for teleoperation systems |
JP6358463B2 (ja) * | 2013-11-13 | 2018-07-18 | パナソニックIpマネジメント株式会社 | マスタースレーブ装置用マスター装置及びその制御方法、及び、マスタースレーブ装置 |
US9579799B2 (en) * | 2014-04-30 | 2017-02-28 | Coleman P. Parker | Robotic control system using virtual reality input |
JP2015220574A (ja) * | 2014-05-16 | 2015-12-07 | ソニー株式会社 | 情報処理システム、記憶媒体、およびコンテンツ取得方法 |
JP6002199B2 (ja) | 2014-11-28 | 2016-10-05 | グリー株式会社 | ゲームプログラム、ゲーム処理方法、および、情報処理装置 |
DE102014118001A1 (de) * | 2014-12-05 | 2016-06-09 | Broetje-Automation Gmbh | Verfahren zur Bewegungssimulation eines Manipulators |
US9550120B2 (en) * | 2014-12-08 | 2017-01-24 | Cubic Corporation | Toll image review gamification |
SG11201703982SA (en) * | 2014-12-26 | 2017-06-29 | Kawasaki Heavy Ind Ltd | Robot system |
JP6494331B2 (ja) * | 2015-03-03 | 2019-04-03 | キヤノン株式会社 | ロボット制御装置およびロボット制御方法 |
US9808933B2 (en) * | 2015-04-03 | 2017-11-07 | GM Global Technology Operations LLC | Robotic system with reconfigurable end-effector assembly |
JP6240689B2 (ja) * | 2015-07-31 | 2017-11-29 | ファナック株式会社 | 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法 |
CN107921634B (zh) * | 2015-08-25 | 2021-04-02 | 川崎重工业株式会社 | 机器人系统 |
JP6365478B2 (ja) * | 2015-09-17 | 2018-08-01 | 株式会社安川電機 | 移送システムおよび移送方法 |
JP6386516B2 (ja) * | 2016-01-14 | 2018-09-05 | ファナック株式会社 | 学習機能を備えたロボット装置 |
US10525596B2 (en) * | 2016-02-11 | 2020-01-07 | Darryl Hammock | Teleoperated robot for flood-welding operations |
CN108885715B (zh) * | 2016-03-03 | 2020-06-26 | 谷歌有限责任公司 | 用于机器人抓取的深度机器学习方法和装置 |
US10322506B2 (en) * | 2016-05-06 | 2019-06-18 | Kindred Systems Inc. | Systems, devices, articles, and methods for using trained robots |
US10220511B2 (en) * | 2016-07-28 | 2019-03-05 | X Development Llc | Customized robotic installation based on measurements collected on site |
FR3054468B1 (fr) * | 2016-07-29 | 2018-08-31 | Staubli Faverges | Procede de commande d'un robot a usage industriel |
JP6640060B2 (ja) * | 2016-09-27 | 2020-02-05 | 株式会社日立製作所 | ロボットシステム |
JP6506245B2 (ja) * | 2016-12-26 | 2019-04-24 | ファナック株式会社 | 組付動作を学習する機械学習装置および部品組付システム |
JP2018126798A (ja) * | 2017-02-06 | 2018-08-16 | セイコーエプソン株式会社 | 制御装置、ロボットおよびロボットシステム |
JP6846950B2 (ja) * | 2017-03-03 | 2021-03-24 | 株式会社キーエンス | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP6902369B2 (ja) * | 2017-03-15 | 2021-07-14 | 株式会社オカムラ | 提示装置、提示方法およびプログラム、ならびに作業システム |
CN107020636A (zh) * | 2017-05-09 | 2017-08-08 | 重庆大学 | 一种基于策略梯度的机器人学习控制方法 |
CA3078578A1 (en) * | 2017-10-06 | 2019-04-11 | Moog Inc. | Teleoperation system, method, apparatus, and computer-readable medium |
TWM559195U (zh) * | 2017-10-13 | 2018-05-01 | Shi Ru Ling | 實體化場景移動遊戲總成 |
CN107803841B (zh) * | 2017-10-17 | 2020-11-17 | 深圳市一棵大树国际教育科技有限公司 | 一种基于机器人的智能教学纠正方法及其系统 |
-
2019
- 2019-06-05 JP JP2019105728A patent/JP7333204B2/ja active Active
- 2019-06-05 JP JP2019105754A patent/JP7281349B2/ja active Active
- 2019-06-05 JP JP2019105753A patent/JP7340964B2/ja active Active
- 2019-06-05 JP JP2019105752A patent/JP7384575B2/ja active Active
- 2019-06-05 JP JP2019105751A patent/JP7281348B2/ja active Active
- 2019-08-08 US US17/267,288 patent/US20210316461A1/en active Pending
- 2019-08-09 KR KR1020217006640A patent/KR102518131B1/ko active IP Right Grant
- 2019-08-09 JP JP2020535925A patent/JP7130752B2/ja active Active
- 2019-08-09 US US17/267,642 patent/US20210201692A1/en active Pending
- 2019-08-09 EP EP19848284.6A patent/EP3835007A4/en active Pending
- 2019-08-09 CN CN201980049575.3A patent/CN112469539B/zh active Active
- 2019-08-09 WO PCT/JP2019/031684 patent/WO2020032265A1/ja unknown
- 2019-08-12 TW TW108128598A patent/TWI782223B/zh active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006133443A (ja) | 2004-11-05 | 2006-05-25 | Hitachi Electronics Service Co Ltd | 教育受講ナビゲーションシステム |
JP2007183332A (ja) | 2006-01-05 | 2007-07-19 | Advanced Telecommunication Research Institute International | 操作訓練装置 |
JP2012521568A (ja) | 2009-03-20 | 2012-09-13 | ジョンズ ホプキンス ユニバーシティ | 技術的技能を定量化する方法及びシステム |
WO2013136930A1 (ja) | 2012-03-15 | 2013-09-19 | オムロン株式会社 | シミュレーション装置、シミュレーション方法、および、シミュレーションプログラム |
US20170319282A1 (en) | 2014-11-13 | 2017-11-09 | Intuitive Surgical Operations, Inc. | Integrated user environments |
Also Published As
Publication number | Publication date |
---|---|
CN112469539A (zh) | 2021-03-09 |
JP7130752B2 (ja) | 2022-09-05 |
TWI782223B (zh) | 2022-11-01 |
US20210201692A1 (en) | 2021-07-01 |
JP2020026025A (ja) | 2020-02-20 |
US20210316461A1 (en) | 2021-10-14 |
JP7281349B2 (ja) | 2023-05-25 |
EP3835007A1 (en) | 2021-06-16 |
JP7333204B2 (ja) | 2023-08-24 |
JP2020026024A (ja) | 2020-02-20 |
KR20210041040A (ko) | 2021-04-14 |
JP2020026026A (ja) | 2020-02-20 |
JP7384575B2 (ja) | 2023-11-21 |
TW202012131A (zh) | 2020-04-01 |
KR102518131B1 (ko) | 2023-04-05 |
CN112469539B (zh) | 2024-02-13 |
WO2020032265A1 (ja) | 2020-02-13 |
JP7340964B2 (ja) | 2023-09-08 |
EP3835007A4 (en) | 2022-06-08 |
JP2020026027A (ja) | 2020-02-20 |
JPWO2020032265A1 (ja) | 2021-08-10 |
JP2020026028A (ja) | 2020-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7281348B2 (ja) | トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法 | |
JP6508484B2 (ja) | 接続された玩具を使用する教育システム | |
CN107274745B (zh) | 用于车辆模拟的系统和方法 | |
CN103838563B (zh) | 自动装置的程序开发方法 | |
KR102529023B1 (ko) | 트레이닝 처리 장치, 중개 장치, 트레이닝 시스템 및 트레이닝 처리 방법 | |
KR102571997B1 (ko) | 정보 처리 장치, 중개 장치, 시뮬레이트 시스템 및 정보 처리 방법 | |
Martín-Barrio et al. | Application of immersive technologies and natural language to hyper-redundant robot teleoperation | |
Xue et al. | Enabling human-robot-interaction for remote robotic operation via augmented reality | |
Bonaiuto et al. | Tele-operation of robot teams: a comparison of gamepad-, mobile device and hand tracking-based user interfaces | |
Besari et al. | Preliminary design of interactive visual mobile programming on educational robot ADROIT V1 | |
JP2023050798A (ja) | 作業教育支援システム及び作業教育支援システム用コンテンツ作成プログラム | |
Bordoni et al. | Development and assessment of a contactless 3D joystick approach to industrial manipulator gesture control | |
WO2023032985A1 (ja) | 操作端末、ロボットシステム及びコンピュータプログラム | |
WO2023032984A1 (ja) | 操作端末、ロボットシステム及びコンピュータプログラム | |
Wakita et al. | Single-switch user interface for robot arm to help disabled people using rt-middleware | |
JP6738258B2 (ja) | 運転訓練シミュレータシステム | |
Meng et al. | Virtual Reality Based Robot Teleoperation via Human-Scene Interaction | |
TWI475483B (zh) | 自動裝置的程式開發方法 | |
CN116394276B (zh) | 一种样本生成、模型训练方法、装置及系统 | |
Weiss et al. | Development of a teleoperator interface for humanoid robots by means of heuristic evaluation technique | |
Universityof | Teaching Robotic Assembly Tasks Using a 3D Simulation Environment | |
Emad | Addressing Usability Issues: Redesigning the User Interface of Collaborative Robot Franka Panda | |
Englund | Unleashing the Power of AI Mobile Robots: A Journey into CognitiveLoad, Multimodal Signalling, and Trust in Multi-Robot Team | |
CN117718967A (zh) | 手术机器人测试方法、装置、设备和介质 | |
JP2022066982A (ja) | 教育システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190619 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230515 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7281348 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |