WO2020032218A1 - トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法 - Google Patents

トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法 Download PDF

Info

Publication number
WO2020032218A1
WO2020032218A1 PCT/JP2019/031522 JP2019031522W WO2020032218A1 WO 2020032218 A1 WO2020032218 A1 WO 2020032218A1 JP 2019031522 W JP2019031522 W JP 2019031522W WO 2020032218 A1 WO2020032218 A1 WO 2020032218A1
Authority
WO
WIPO (PCT)
Prior art keywords
training
robot
information
terminal
operation terminal
Prior art date
Application number
PCT/JP2019/031522
Other languages
English (en)
French (fr)
Inventor
康彦 橋本
掃部 雅幸
繁次 田中
佳彦 丸山
Original Assignee
川崎重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019105751A external-priority patent/JP7281348B2/ja
Application filed by 川崎重工業株式会社 filed Critical 川崎重工業株式会社
Priority to US17/267,343 priority Critical patent/US11967245B2/en
Priority to EP19846602.1A priority patent/EP3836125A4/en
Priority to CN201980052252.XA priority patent/CN112543961A/zh
Priority to KR1020217007127A priority patent/KR102529023B1/ko
Publication of WO2020032218A1 publication Critical patent/WO2020032218A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/24Use of tools
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/006Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/02Hand grip control means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • B25J13/065Control stands, e.g. consoles, switchboards comprising joy-sticks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • B25J13/082Grasping-force detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/1605Simulation of manipulator lay-out, design, modelling of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/16Control of vehicles or other craft
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8094Unusual game types, e.g. virtual cooking

Definitions

  • the present invention relates to a training processing device, a mediation device, a training system, and a training processing method.
  • Patent Document 1 discloses a training device for operating a life support robot arm. This training device is realized by a simulator that is executed on a computer device and simulates the function of a life support robot arm.
  • an object of the present invention is to provide a training processing device, an intermediary device, a training system, and a training processing method that enable various people to operate a robot by training the operation of the robot. .
  • a training processing device is a training processing device that manages training of a robot operation using an operation terminal, and transmits information via the operation terminal and a communication network. While transmitting and receiving the computer program for training the robot operation on the operation terminal, receiving the first information which is the information of the robot operation input to the operation terminal, based on the first information, the training based on the first information to manage.
  • various people can operate the robot by training the operation of the robot.
  • FIG. 1 is a diagram illustrating an example of a configuration of a training system according to an embodiment.
  • FIG. 2 is a block diagram illustrating an example of a hardware configuration of the operation terminal according to the embodiment.
  • FIG. 3 is a block diagram illustrating an example of a hardware configuration of the mediation device according to the embodiment.
  • FIG. 4 is a block diagram illustrating an example of a hardware configuration of the simulation computer according to the embodiment.
  • FIG. 5 is a block diagram illustrating an example of a hardware configuration of the simulation robot according to the embodiment.
  • FIG. 6 is a block diagram illustrating an example of a hardware configuration of the guidance terminal according to the embodiment.
  • FIG. 7 is a block diagram illustrating an example of a functional configuration of the operation terminal according to the embodiment.
  • FIG. 1 is a diagram illustrating an example of a configuration of a training system according to an embodiment.
  • FIG. 2 is a block diagram illustrating an example of a hardware configuration of the operation terminal according to the embodiment.
  • FIG. 3 is
  • FIG. 8 is a block diagram illustrating an example of a functional configuration of the intermediary device according to the embodiment.
  • FIG. 9 is a diagram showing an example of a training configuration selection screen presented by the operation terminal according to the embodiment.
  • FIG. 10 is a diagram illustrating an example of a screen of an auxiliary command presented by the operation terminal according to the embodiment.
  • FIG. 11 is a block diagram illustrating an example of a functional configuration of the simulation computer according to the embodiment.
  • FIG. 12 is a block diagram illustrating an example of a functional configuration of the simulation robot according to the embodiment.
  • FIG. 13 is a block diagram illustrating an example of a functional configuration of the guidance terminal according to the embodiment.
  • FIG. 14A is a sequence diagram illustrating an example of an operation flow of the training system according to the embodiment.
  • FIG. 14B is a sequence diagram illustrating an example of an operation flow of the training system according to the embodiment.
  • FIG. 14C is a sequence diagram illustrating an example of an operation flow of the training system according to the
  • FIG. 1 is a diagram illustrating an example of a configuration of a training system 1 according to the embodiment.
  • the training system 1 includes one or more mediation devices 10, one or more operation terminals 20, and one or more instruction terminals 60.
  • the training system 1 may include one or more simulated computers 40 and one or more simulated robots 50, and in the present embodiment, these are supposed to be included.
  • the simulation computer 40 and the simulation robot 50 are examples of the simulation device 200.
  • the “simulation computer 40” and the “simulation robot 50” are not distinguished, they may be simply referred to as “simulation device 200”.
  • the mediation device 10, the operation terminal 20, the simulation computer 40, the simulation robot 50, and the guidance terminal 60 are connected via a communication network 90. Not all of the above components are not essential.
  • the training system 1 allows the user to execute training for various robot operations using the operation terminal 20.
  • the robot operation is an operation for operating the robot, and is an operation corresponding to the operation of the robot.
  • the user operates the operation terminal 20 to cause the robot model to execute training contents for performing a predetermined operation or work.
  • Available robot models include a virtual robot model generated by the operation terminal 20 executing a computer program, a virtual robot model generated by the simulated computer 40, and a real robot provided in the simulated robot 50. This is a robot model using.
  • the training system 1 can use the guidance terminal 60 to assist the user in operating the robot during the training.
  • the predetermined operation is an operation including one or more individual operations such as horizontal movement, vertical movement, and rotation.
  • the predetermined operation is a series of composite operations in which more individual operations than the predetermined operation are combined in the execution order.
  • An example of the predetermined operation is, for example, in the case of a robot model of an industrial robot, holding and moving the target object with the end effector of the robot model, holding the target object with the end effector, and assembling the target object to be mounted. , Cutting an object with an end effector, joining two or more objects with an end effector, and the like.
  • the communication network 90 is a network capable of performing data communication, for example, the Internet, an intranet, a wired or wireless LAN (Local Area Network), a WAN (Wide Area Network), a mobile communication network, a telephone line communication network, or another network.
  • a communication network using wired or wireless communication may be used.
  • the communication network 90 is the Internet.
  • the simulation computer 40 is a device that executes a simulation for causing a virtual robot model to perform a simulated operation.
  • the training system 1 it is possible to use the simulation in the simulation computer 40 to train the robot operation.
  • the virtual robot model is generated and operated on a computer program of the simulation computer 40.
  • the simulation computer 40 may or may not be a device specially generated for the training system 1, and may be, for example, an existing or general-purpose device used for simulation of robot operation.
  • the simulation computer 40 can realize an operation and an operation close to the actual robot using a robot model closer to the actual robot than the robot model generated by the operation terminal 20 on the computer program.
  • the virtual robot model may have a configuration including a robot main body as in the case of a simulated robot 50 to be described later, and may have a configuration including not only the robot main body but also an object to be processed and peripheral devices.
  • the robots 50A1 to 50An may be any robot, for example, an industrial robot, a service robot, a construction machine, a tunnel excavator, a crane, a cargo handling vehicle, and a humanoid.
  • the service robot is a robot used in various service businesses such as nursing, medical care, cleaning, security, guidance, rescue, cooking, and product supply.
  • the robots 50A1 to 50An are industrial robots such as a vertical articulated robot, a horizontal articulated robot, a polar coordinate robot, a cylindrical coordinate robot, and a rectangular coordinate robot.
  • robot 50A when the robots 50A1 to 50An are not distinguished, they may be simply referred to as “robot 50A”.
  • the simulation robot 50 includes any one of the robots 50A1 to 50An, and is provided for each of the robots 50A1 to 50An.
  • the robots 50A1 to 50An which are industrial robots, are provided for various tasks.
  • Each of the robots 50A1 to 50An may be a robot actually arranged at a work site or a robot arranged for simulation.
  • Each of the robots 50A1 to 50An may be configured to include, for example, a robot main body including a robot arm and an end effector.
  • a processing target such as a work in a work, a transfer device, and an imaging device And a configuration including peripheral devices such as sensors.
  • the simulation by the simulation robot 50 is a simulation in which all of the robot main body, the processing object, the peripheral devices, and the like are operated.
  • the simulation robot 50 may or may not be specially generated for the training system 1, and may be, for example, an existing or general-purpose robot used for simulation of robot operation.
  • the operation terminal 20 is a device that executes a computer program for training a robot operation.
  • the operation terminal 20 can be operated by a user.
  • the operation terminal 20 selects the first training, which is training for robot operation without using the simulation device 200, and the second training, which is training for robot operation using the simulation device 200. And run it.
  • Such an operation terminal 20 can be connected to the simulation device 200 via the communication network 90.
  • a virtual robot model generated by a computer program executed by the operation terminal 20 operates according to an operation input to the operation terminal 20.
  • the user operates the operation terminal 20 to operate the virtual robot model according to the training content.
  • the operation terminal 20 is connected via the communication network 90 to the simulation computer 200 such as the simulation computer 40 and the simulation robot 50. Then, the operation terminal 20 outputs the information input by the user to the simulation device 200.
  • the robot model of the simulation device 200 operates according to an operation input to the operation terminal 20. For example, even when the user is located remotely from the simulation device 200, the user can operate the robot model of the simulation device 200 according to the training content by operating the operation terminal 20.
  • Examples of the operation terminal 20 include a game machine, a game controller, a remote controller dedicated to a robot, a personal information terminal (PDA: Personal Data Assistant), a smart device such as a smartphone, a smart watch and a tablet, and a computer device such as a personal computer. And so on.
  • PDA Personal Data Assistant
  • Such an operation terminal 20 may or may not be a device specially generated for the training system 1, and may be an existing or general-purpose device.
  • the operation terminal 20 is a game device including a game machine and a game controller.
  • the game device include a stationary game device and a portable game device.
  • the operation terminal 20 is connected to the output device 31 and outputs an image signal and an audio signal for executing the training of the robot operation to the output device 31, and the output device 31 outputs the image and the audio corresponding to the image signal and the audio signal.
  • the output device 31 includes a display and a speaker.
  • the display are a liquid crystal display (Liquid Crystal Display) and an organic or inorganic EL display (Electro-Luminescence Display).
  • the mediation device 10 mediates, via a communication network 90, one or more operation terminals 20, one or more simulation computers 40, one or more simulation robots 50, and one or more instruction terminals 60.
  • the mediation device 10 includes an information processing device 100 that is an example of a training processing device.
  • the mediation device 10 is a server, a computer device having a communication function and processing information.
  • the guidance terminal 60 is a device that provides guidance for the robot operation input to the operation terminal 20 during the training of the robot operation by performing assistance.
  • the guidance terminal 60 can be operated by a user such as a leader, and receives, for example, an input of a robot operation.
  • the guidance terminal 60 may be configured to provide training in either the first training or the second training. In the present embodiment, the guidance terminal 60 is configured to provide guidance in both trainings.
  • the guidance terminal 60 is connected to the operation terminal 20 and the simulation device 200 via the communication network 90.
  • the guidance terminal 60 outputs information input by being operated to the mediation device 10 and / or the operation terminal 20.
  • the guidance terminal 60 acquires information on the operation of the robot model from the operation terminal 20 and the simulation device 200.
  • the guidance terminal 60 is connected to the output device 32 and outputs to the output device 32 an image signal and an audio signal for instructing training such as the operation of the robot model, and the output device 32 outputs the image signal and the audio signal.
  • the output device 32 includes a display and a speaker.
  • Examples of the guidance terminal 60 include a game machine, a game controller, a remote controller dedicated to a robot, a personal digital assistant (PDA), smart devices such as smartphones, smart watches and tablets, and computer devices such as personal computers.
  • the guidance terminal 60 is a remote controller dedicated to the robot.
  • Such a guidance terminal 60 may or may not be a device specially generated for the training system 1, and may be an existing or general-purpose device.
  • the guidance terminal 60 receives, from the operation terminal 20 via the intermediary device 10, first information that is information on the robot operation input to the operation terminal 20 and / or information on the operation of the robot model according to the first information. I do.
  • the first information may be information on a robot operation input to the operation terminal 20 or information obtained by converting the information by the intermediary device 10.
  • the guidance terminal 60 receives the information on the operation of the robot model according to the first information from the simulation device 200.
  • the guidance terminal 60 outputs the operation of the robot model according to the first information to the output device 32, and causes the output device 32 to present the operation to the instructor who is the user of the guidance terminal 60. Further, the guidance terminal 60 receives an assistance command for assisting the robot operation input to the guidance terminal 60 in response to the presented operation.
  • the instructor can input an auxiliary command for the robot operation to the instruction terminal 60 while checking the robot operation presented on the output device 32.
  • the guidance terminal 60 transmits the auxiliary command to the operation terminal 20 via the intermediary device 10, and causes the user to present the auxiliary command to the operation terminal 20 via the output device 31.
  • the auxiliary command may be a command using at least one of an image and a sound for guiding or correcting the robot operation, or may be any command for assisting the robot operation.
  • the information processing device 100 is a device that manages training of a robot operation using the operation terminal 20.
  • the information processing apparatus 100 includes, for example, an arithmetic unit having a processor, a memory, and the like.
  • the memory includes a semiconductor memory such as a volatile memory and a nonvolatile memory, and a storage device such as a hard disk (HDD: Hard Disc Drive) and an SSD (Solid State Drive).
  • the function of the arithmetic unit is a computer system (shown in the figure) including a processor such as a CPU (Central Processing Unit), a volatile memory such as a RAM (Random Access Memory), and a nonvolatile memory such as a ROM (Read-Only Memory). ).
  • Part or all of the functions of the arithmetic unit may be realized by the CPU executing a program recorded in the ROM using the RAM as a work area. Note that some or all of the functions of the arithmetic unit may be realized by the computer system, or may be realized by a dedicated hardware circuit such as an electronic circuit or an integrated circuit, or may be realized by the computer system and the hardware circuit. It may be realized by a combination.
  • the information processing device 100 may be configured by a computer device such as a computer and a personal computer, for example.
  • the information processing apparatus 100 may include, for example, a microcontroller, an MPU (Micro Processing Unit), an LSI (Large Scale Integration), a system LSI, a PLC (Programmable Logic Controller), a logic circuit, and the like. Good.
  • the plurality of functions of the information processing device 100 may be realized by being individually integrated into one chip, or may be realized by being integrated into one chip so as to include part or all. Further, each circuit may be a general-purpose circuit or a dedicated circuit.
  • an FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and / or setting of circuit cells inside the LSI, or a plurality of functions for specific applications
  • An ASIC Application ⁇ Specific ⁇ Integrated ⁇ Circuit
  • the information processing apparatus 100 transmits and receives information to and from the operation terminal 20 via the communication network 90, and executes a computer program for training the robot operation on the operation terminal 20 while executing the computer program for training the robot operation.
  • the first information which is information
  • the first information is received, and training is managed based on the first information.
  • the information processing apparatus 100 evaluates the result of the training based on the first information. For example, in the first training, the information processing apparatus 100 connects to the operation terminal 20 and performs the above-described evaluation based on a comparison result between the first information and the robot operation included in the training content. For example, the information processing apparatus 100 may determine the evaluation based on a difference between the two, such as a position and a required time.
  • the information processing apparatus 100 connects the operation terminal 20 and the simulation apparatus 200, and performs the operation of the robot model of the simulation apparatus 200 operating based on the first information and the operation included in the training content.
  • the above evaluation is performed based on the comparison result.
  • the information processing apparatus 100 may compare an individual operation of the robot model with an operation to be executed in the training, and determine the evaluation based on, for example, a difference between the two and a position and a required time.
  • the simulation device 200 may be configured to evaluate the operation result of the robot model.
  • the information processing device 100 may receive the evaluation from the simulation device 200 and determine a training evaluation based on the received evaluation.
  • the information processing apparatus 100 registers the evaluation of the training result as the user evaluation that is the evaluation for the user who operates the operation terminal 20.
  • the information processing device 100 registers the user evaluation in the storage device.
  • the storage device may be a storage device of the information processing device 100 or a storage device (not shown) included in the mediation device 10, and may be connected to the mediation device 10 via the communication network 90 or the like. The storage device of another device may be used.
  • the information processing apparatus 100 transmits the evaluation of the training result to the operation terminal 20 to present the evaluation result to the user via the output device 31.
  • the information processing apparatus 100 determines a training that can be executed by the user based on the registered user evaluation. Further, the information processing apparatus 100 transmits the determined training to the operation terminal 20 to present the training to the user via the output device 31.
  • the determined and presented training may be a training configuration, where the training configuration includes the training content and a device that operates a robot model that performs the training content.
  • the device is the operation terminal 20, the simulation computer 40, or the simulation robot 50.
  • the information processing apparatus 100 receives a request for selecting a training from the first training and the second training via the operation terminal 20.
  • the information processing device 100 executes the selected training.
  • the operation terminal 20 performs the training, and the information processing device 100 evaluates the training result.
  • the information processing apparatus 100 converts the first information of the robot operation received from the operation terminal 20 into the second information which is information for operating the robot model of the simulation apparatus 200.
  • the information processing apparatus 100 transmits the second information to the simulation apparatus 200, and operates the second information according to the second information.
  • the information processing apparatus 100 receives third information, which is information on the operation of the robot model, from the simulation apparatus 200 that operates according to the second information, and converts the third information into information that the operation terminal 20 can process.
  • the information processing apparatus 100 receives third information indicating an individual operation of the robot model of the simulation apparatus 200, and converts the third information into fourth information as information functioning on an execution program of the operation terminal 20. Convert to By transmitting the fourth information to the operation terminal 20, the information processing apparatus 100 causes the operation terminal 20 to perform an operation of the robot model of the simulation device 200, or a robot model simulating the robot model or a corresponding model.
  • the user is presented via the output device 31.
  • the corresponding model may be a model associated with the robot model, for example, it may not be similar in appearance to the robot model.
  • the information processing apparatus 100 receives information of an image of the robot 50A of the simulated robot 50 captured by the imaging apparatus as third information, and transmits the information of the image to the operation terminal 20 as fourth information.
  • the information may be presented to the operation terminal 20 as information on the operation of the robot model. In this way, the user can train the robot operation via the operation terminal 20 while visually recognizing the robot model of the simulation computer 40 or the simulation robot 50.
  • the information processing device 100 determines a simulation device 200 corresponding to the training content from a plurality of simulation devices 200 based on the training content requested to be executed, which is input to the operation terminal 20 by the user. I do. Further, the information processing apparatus 100 connects the determined simulation apparatus 200 and the operation terminal 20 via the communication network 90, thereby enabling the execution of training using this.
  • FIG. 2 is a block diagram illustrating an example of a hardware configuration of the operation terminal 20 according to the embodiment.
  • the operation terminal 20 includes an operation terminal body 21 as a game machine and an operation device 22 as a game controller.
  • the operation terminal main body 21 can execute a computer program for training, and the operation device 22 receives an input of an operation by a user.
  • the operation terminal main body 21 includes a CPU 201, a ROM 202, a RAM 203, a memory 204, a media I / F (interface) 205, a network I / F 206, a first input / output I / F 207, an image processor 208, , A second input / output I / F 209, an audio processor 210, a third input / output I / F 211, and a recording medium drive 212 as constituent elements.
  • Each component is connected by a bus or the like, but may be connected by any other wired or wireless communication. Not all of the above components are not essential.
  • the CPU 201 controls the operation of the operation terminal body 21 as a whole.
  • the ROM 202 stores a program used for driving the CPU 201.
  • the RAM 203 is used as a work area of the CPU 201.
  • the memory 204 stores various data such as programs, and is configured by the storage device described above.
  • the media I / F 205 controls reading or writing (storage) of data from or to a recording medium 71 such as a flash memory.
  • the computer program for executing the training may be stored in the recording medium 71 and executed by being read from the recording medium 71. Save data including the results of training and the like may be stored in the recording medium 71 or the memory 204.
  • the network I / F 206 is an interface for performing data communication using the communication network 90.
  • the first input / output I / F 207 is an interface that is connected to the operation device 22 and communicates signals and the like.
  • the image processor 208 includes a GPU (Graphics Processing Unit) that can generate a screen for training.
  • the image processor 208 includes an image of a robot model generated by the operation terminal main body 21 or an image of a robot model of the simulated computer 40 or the simulated robot 50, an image of a robot model simulating the robot model, and a model corresponding to the robot model.
  • the second input / output I / F 209 is an interface that is connected to the output device 31 and communicates screen data and image data.
  • the audio processor 210 includes a DSP (Digital Signal Processor) that generates audio for training.
  • the audio processor 210 amplifies the generated audio with an amplifier (not shown) including a D / A converter and outputs the amplified audio to the third input / output I / F 211.
  • the third input / output I / F 211 is an interface that is connected to the output device 31 and communicates audio signals and the like.
  • the recording medium drive 212 controls reading or writing of various types of data on the removable recording medium 72.
  • a computer program for executing training may be stored in the recording medium 72 and executed by being read from the recording medium 72. Save data including training results and the like may be stored in the recording medium 72.
  • Examples of the recording medium 72 are recording disks such as DVD-R, DVD-RW, BD (Blu-ray (registered trademark))-R, and BD-RE.
  • the operation device 22 accepts an input from the user.
  • the operation device 22 includes an input device 221 that is input via a user operation such as a cross button, a push switch, a dial, a joystick, a mouse, a key, and a touch panel.
  • the operation device 22 includes an operation input / output I / F 222 connected to the first input / output I / F 207 of the operation terminal main body 21 for communicating signals and the like.
  • the input device 221 generates a signal indicating an input of the user, and outputs the signal to the first input / output I / F 207 via the operation input / output I / F 222.
  • the configuration of the input device 221 is different from that of the robot dedicated operation device.
  • the number of input devices 221 and the method of inputting to the input devices 221 are different.
  • the signal for the operation output from the dedicated operation device of the robot is different from the signal for the operation output from the input device 221 and is, for example, more complicated.
  • FIG. 3 is a block diagram illustrating an example of a hardware configuration of the mediation device 10 according to the embodiment.
  • the mediation device 10 includes a CPU 101, a ROM 102, a RAM 103, a memory 104, a network I / F 106, and an input / output I / F 107 as constituent elements.
  • Each component is connected by a bus or the like, but may be connected by any other wired or wireless communication. Not all of the above components are not essential.
  • the CPU 101 controls the operation of the entire intermediation device 10.
  • the configurations and functions of the ROM 102, the RAM 103, and the memory 104 are the same as those of the ROM 202, the RAM 203, and the memory 204 of the operation terminal 20.
  • the CPU 101, the ROM 102, the RAM 103, and the memory 104 constitute the information processing device 100.
  • the configurations and functions of the network I / F 106 and the input / output I / F 107 are the same as those of the network I / F 206 and the first input / output I / F 207 of the operation terminal 20.
  • the input / output I / F 107 is an interface connected to the input device 113 for communicating signals and the like.
  • the input device 113 receives an input by a user.
  • the input device 113 includes a device input via a user operation such as a button, a switch, a dial, a joystick, a mouse, a key, and a touch panel.
  • the input device 113 generates a signal indicating a user input, and outputs the signal to the input / output I / F 107.
  • FIG. 4 is a block diagram illustrating an example of a hardware configuration of the simulation computer 40 according to the embodiment.
  • the simulation computer 40 includes a CPU 401, a ROM 402, a RAM 403, a memory 404, a network I / F 406, a first input / output I / F 407, an image processor 408, and a second input / output
  • An I / F 409 is included as a component.
  • Each component is connected by a bus or the like, but may be connected by any other wired or wireless communication. Not all of the above components are not essential.
  • the CPU 401 controls the operation of the simulation computer 40 as a whole.
  • the configurations and functions of the ROM 402, the RAM 403, and the memory 404 are the same as those of the ROM 202, the RAM 203, and the memory 204 of the operation terminal 20.
  • the respective configurations and functions of the network I / F 406, the first input / output I / F 407, the image processor 408, and the second input / output I / F 409 are the same as the network I / F 206, the first input / output I / F 207, and the image processor of the operation terminal 20. 208 and the second input / output I / F 209.
  • the first input / output I / F 407 is an interface that is connected to the input device 413 and communicates signals and the like.
  • the input device 413 receives an input by a user.
  • the configuration of the input device 413 is the same as the input device 113 of the mediation device 10.
  • the image processor 408 generates screen data of an image of the robot model set in the simulation computer 40 and outputs the screen data to the second input / output I / F 409.
  • the second input / output I / F 409 is an interface connected to the display 414 for communicating screen data and image data.
  • FIG. 5 is a block diagram illustrating an example of a hardware configuration of the simulation robot 50 according to the embodiment.
  • the simulation robot 50 includes a control device 51, an imaging device 517, a display 514, an operation device 518, and a driving device 519. Not all of the above components are not essential.
  • the drive device 519 is a device that drives a movable portion of the robot 50A (see FIG. 1).
  • the robot 50A includes a robot arm and an end effector at the tip of the robot arm.
  • the robot arm has a joint that bends and is movable at the joint.
  • the end effector performs an operation of applying an action to a work such as gripping, suction, scooping, and hanging.
  • the driving device 519 drives a joint of the robot arm, an end effector, and the like.
  • Examples of the driving device 519 include an electric motor such as a servomotor, a vacuum generating device, and the like.
  • the imaging device 517 captures an image of the robot 50A, and outputs captured image data to the control device 51.
  • the imaging device 517 provides a user of the simulated robot 50 with an image indicating the state of the robot 50A.
  • the image is provided to the operation terminal 20 and the guidance terminal 60.
  • Examples of the imaging device 517 include a digital camera and a digital video camera.
  • the display 514 receives the image data captured by the imaging device 517 from the control device 51, and presents the image of the image data to the user. Further, the display 514 receives screen data for operation of the simulation robot 50 from the control device 51, and presents an image of the screen data to the user.
  • the operation device 518 receives input of a command and information by a user who uses the simulation robot 50 and outputs a signal indicating the command and information to the control device 51.
  • the operation device 518 includes devices input via user operations, such as a push switch, a lever, a dial, a joystick, a key, and a touch panel.
  • operating device 518 is a dedicated operating device for robot 50A.
  • the control device 51 is a device that controls the entire simulation robot 50.
  • the control device 51 includes a CPU 501, a ROM 502, a RAM 503, a memory 504, an imaging I / F 515, a network I / F 506, a first input / output I / F 507, an image processor 508, and a second input / output I / F.
  • F509 and a drive circuit 516 are included as constituent elements.
  • Each component is connected by a bus or the like, but may be connected by any other wired or wireless communication. Not all of the above components are not essential.
  • the CPU 501 controls the operation of the control device 51 as a whole.
  • the configurations and functions of the ROM 502, the RAM 503, and the memory 504 are the same as those of the ROM 202, the RAM 203, and the memory 204 of the operation terminal 20.
  • the configuration and function of each of the network I / F 506, the first input / output I / F 507, the image processor 508, and the second input / output I / F 509 are as follows. 208 and the second input / output I / F 209.
  • the first input / output I / F 507 is an interface that is connected to the operation device 518 and communicates signals and the like.
  • the image processor 508 generates screen data to be displayed on the display 514 using the image data of the robot 50A captured by the imaging device 517 and outputs the screen data to the second input / output I / F 509. Further, the image processor 508 generates screen data for operating the simulation robot 50 and outputs the screen data to the second input / output I / F 509.
  • the second input / output I / F 509 is an interface that is connected to the display 514 and communicates screen data and image data.
  • the imaging I / F 515 controls the driving of the imaging device 517 in response to the execution of the program.
  • the imaging I / F 515 loads image data captured by the imaging device 517 into the RAM 503 or the memory 504 in response to the execution of the program.
  • the imaging I / F 515 may include a circuit or the like for driving the imaging device 517.
  • the drive circuit 516 controls the drive of the drive device 519.
  • the driving circuit 516 supplies a current to each driving device 519 according to a command from the CPU 501, and controls driving of the driving device 519.
  • the driving circuit 516 controls the driving of all the driving devices 519.
  • FIG. 6 is a block diagram illustrating an example of a hardware configuration of the guidance terminal 60 according to the embodiment.
  • the guidance terminal 60 includes a control device 61 and an operation device 62.
  • the operation device 62 receives an input of a command and information by a user using the guidance terminal 60 and outputs a signal indicating the command and the information to the control device 61.
  • the operation device 62 includes devices input via user operations, such as a push switch, a lever, a dial, a joystick, a key, and a touch panel.
  • the operation device 62 is a dedicated operation device for the robot, like the operation device 518 of the simulation robot 50.
  • the control device 61 includes a CPU 601, a ROM 602, a RAM 603, a memory 604, a network I / F 606, a first input / output I / F 607, an image processor 608, a second input / output I / F 609, and an audio processor 610. And a third input / output I / F 611 as constituent elements.
  • Each component is connected by a bus or the like, but may be connected by any other wired or wireless communication. Not all of the above components are not essential.
  • the CPU 601 controls the operation of the entire control device 61.
  • the configurations and functions of the ROM 602, the RAM 603, and the memory 604 are the same as those of the ROM 202, the RAM 203, and the memory 204 of the operation terminal 20.
  • the configurations and functions of the network I / F 606, the first input / output I / F 607, the image processor 608, the second input / output I / F 609, the audio processor 610, and the third input / output I / F 611 are the same as those of the network I / F 206 of the operation terminal 20.
  • the first input / output I / F 607 is an interface that is connected to the operation device 62 and communicates signals and the like.
  • the image processor 608 generates screen data to be displayed on the output device 32 by using data received from the operation terminal 20 and the simulation device 200 and outputs the screen data to the second input / output I / F 609. Further, the image processor 608 generates screen data for operating the guidance terminal 60 and outputs the screen data to the second input / output I / F 609.
  • the second input / output I / F 609 is an interface connected to the output device 32 for communicating screen data and image data.
  • the audio processor 610 generates audio data to be output to the output device 32 using the data received from the operation terminal 20 and the simulation device 200, and outputs the audio data to the third input / output I / F 611.
  • the third input / output I / F 611 is an interface that is connected to the output device 32 and communicates audio data generated by the audio processor 610.
  • FIG. 7 is a block diagram illustrating an example of a functional configuration of the operation terminal 20 according to the embodiment.
  • the operation device 22 includes an input unit 22a and an output unit 22b.
  • the input unit 22a receives an input from a user, and its function is realized by the input device 221.
  • the output unit 22b outputs information input to the input unit 22a to the operation terminal main body 21, and its function is realized by the operation input / output I / F 222.
  • the information may be information such as ON or OFF of a button or the like of the input device 221, a duration of ON, and the like.
  • the operation terminal main body 21 includes a communication unit 21a, an input unit 21b, a program execution unit 21c, a reading unit 21d, a storage unit 21e, and an output unit 21f. Not all of the above components are not essential.
  • the communication unit 21a communicates with the intermediary device 10 via the communication network 90, and its function is realized by the network I / F 206 or the like.
  • the input unit 21b receives input of information from the operation device 22, and its function is realized by the first input / output I / F 207 and the like.
  • the reading unit 21d reads information stored therein from the recording medium 71 and / or the recording medium 72, and the function is realized by the media I / F 205, the recording medium drive 212, and the like.
  • the storage unit 21e stores various information, and is realized by the ROM 202, the memory 204, the recording medium 71, the recording medium 72, and the like.
  • the storage unit 21e stores user information of each user.
  • the user information may include identification information of the user such as a user ID, a result of training the user using the operation terminal 20, and the like.
  • the results of the training may include the results, evaluations and achievements of each training, the proficiency of the user in each training, the rank or rank of the user according to the proficiency, and the like.
  • the rank and the rank may be absolute ranks corresponding to the proficiency, or may be relative ranks such as ranks by comparison with other users.
  • the storage of the user information in the storage unit 21e may be automatically and periodically performed by the program execution unit 21c, or may be performed by the user performing an input or save operation using the operation device 22.
  • the output unit 21f outputs the image data and the audio data generated by the program execution unit 21c to the output device 31, and the function is realized by the second input / output I / F 209, the third input / output I / F 211, and the like.
  • the program execution unit 21c reads and executes a computer program stored in the recording medium 71, the recording medium 72, or the like.
  • the computer program is a program for executing training, and in the present embodiment, is a game program. That is, in the present embodiment, the training is executed as a game on the operation terminal 20.
  • the program may be installed in the operation terminal 20 via the communication network 90, the recording medium 71 or the recording medium 72 as an application program, and may be stored in the ROM 202, the memory 204, or the like.
  • the program execution unit 21c operates according to a computer program using information received from the operation device 22 and information received via the communication network 90, and generates image data and audio data reflecting the received information.
  • the program execution unit 21c outputs the generated image data and audio data to the output device 31 via the output unit 21f, and causes the user to present the data.
  • the program execution unit 21c transmits operation information received from the operation device 22, user information stored in the storage unit 21e, and the like to the intermediary device 10 via the communication unit 21a and the communication network 90.
  • the program execution unit 21c is realized by the CPU 201, the ROM 202, the RAM 203, the image processor 208, the audio processor 210, and the like.
  • FIG. 8 is a block diagram illustrating an example of a functional configuration of the intermediary device 10 according to the embodiment.
  • the mediation device 10 includes a first communication unit 10a, a second communication unit 10b, a third communication unit 10c, a first reception unit 10d, a second reception unit 10e, and a determination unit 10f.
  • a first conversion unit 10g, a second conversion unit 10h, an operation data processing unit 10i, a determination unit 10j, and a storage unit 10k Not all of the above components are not essential.
  • the functions of the first communication unit 10a, the second communication unit 10b, and the third communication unit 10c are realized by the network I / F 106 or the like.
  • the function of the storage unit 10k is realized by the ROM 102, the memory 104, and the like.
  • the functions of the first reception unit 10d, the second reception unit 10e, the determination unit 10f, the first conversion unit 10g, the second conversion unit 10h, the operation data processing unit 10i, and the determination unit 10j are realized by the CPU 101, the ROM 102, the RAM 103, and the like. You.
  • the first communication unit 10a communicates with the operation terminal 20 via the communication network 90.
  • the second communication unit 10b communicates with the simulation computer 40 or the simulation robot 50 via the communication network 90.
  • the third communication unit 10c communicates with the guidance terminal 60 via the communication network 90.
  • the storage unit 10k stores various information.
  • the storage unit 10k stores user information of each user in association with the user identification information.
  • training permission conditions based on a rank, a rank, or the like set by the user and training configurations that can be executed under each permission condition are stored in association with each other.
  • the configuration of the training includes the training content and an apparatus having a robot model capable of executing the training content in association with each other.
  • the device having the robot model is the operation terminal 20, the simulated computer 40, or the simulated robot 50.
  • the storage unit 10k may include an execution result of each training content using each robot model and an evaluation related to the execution result in association with each other.
  • the storage unit 10k may include the evaluation and the proficiency of the training content corresponding to the evaluation in association with each other. Further, the storage unit 10k may include the proficiency of the training content and the permission condition in association with each other. The storage unit 10k may include a threshold value or the like used by the determination unit 10j for determination such as evaluation.
  • the first receiving unit 10d extracts a training configuration executable by the user based on the user information received from the operation terminal 20, and presents the extracted configuration to the user. Specifically, the first receiving unit 10d receives the user information and the training execution instruction from the operation terminal 20, and extracts the permission condition corresponding to the user identification information included in the user information from the storage unit 10k. I do. Further, the first reception unit 10d extracts the configuration of the training corresponding to the permission condition, and transmits the extracted configuration to the operation terminal 20. The user can select from the training configurations presented by the operation terminal 20 to the output device 31.
  • the operation terminal 20 causes the output device 31 to display a screen S1 as shown in FIG.
  • FIG. 9 is a diagram showing an example of a training configuration selection screen presented by the operation terminal 20 according to the embodiment.
  • the screen S1 displays one of the classes “A” to “D” as the user's permission condition for each operation or task, and can be used for training of each operation or task.
  • the icon of the device having the robot model is displayed.
  • the motion display “motion 1 @ class B” indicates that training can be performed by a user whose “motion 1” is “class B” or higher.
  • the icon “terminal” indicates that the robot model of the operation terminal 20 is available
  • the icon “simulated computer” indicates that the robot model of the simulated computer 40 is available
  • “Type” indicates the availability of the simulated robot 50 including the robot 50A1. Therefore, the user can select the operation or work for executing the training and the robot model to be used by selecting the icon of the device. For example, selection of the icon “terminal” means selection of the first training, and selection of the icons “simulation computer” and “simulation robot” means selection of the second training.
  • the determination unit 10f determines the configuration of the training to be performed by the user.
  • the determination unit 10f receives, from the operation terminal 20, the configuration of the training selected by the user on the operation terminal 20.
  • the determination unit 10f determines the execution of the training in the training configuration, and outputs a command to execute the training content in the training configuration to the device having the robot model in the training configuration.
  • the determination unit 10f connects the operation terminal 20 to the above device.
  • the first conversion unit 10g converts the first information for operating the robot model received from the operation terminal 20 into the second information for operating the robot model of the simulation device 200. .
  • the first conversion unit 10g transmits the second information to the simulation device 200 that is performing the training.
  • the simulation device 200 is the simulation computer 40
  • the second information is output from the input device 413 to the simulation computer 40 to cause the virtual robot model to execute an operation corresponding to the first information.
  • the simulation device 200 is the simulation robot 50
  • the second information corresponds to information output from the operation device 518 to the control device 51 to cause the robot 50A to perform an operation corresponding to the first information.
  • the motion data processing unit 10i performs a process of converting the motion data of the robot model received from the simulation device 200 into motion data corresponding to the image display of the robot model on the operation terminal 20 during the execution of the second training, It is transmitted to the operation terminal 20.
  • the operation data received from the simulation device 200 may be composed of an image of the robot model, or may be composed of a simplified image showing the operation of the robot model.
  • numerical data such as a vector and coordinates representing the operation of the robot model.
  • the simplified image may be an image representing a skeleton of a robot model.
  • the converted motion data may be composed of an image of a robot model displayed on the operation terminal 20 or may be composed of an image of a virtual robot model generated by the simulation computer 40. It may be composed of a simplified image showing the operation, or may be numerical data representing the operation of the robot model.
  • the operation data received from the simulation device 200 may be configured by image data of the robot 50A captured by the imaging device 517.
  • the converted operation data may be composed of captured image data of the robot 50A, or may be composed of a simplified image showing the operation of the robot 50A by a characteristic portion or the like in the captured image. May be numerical data representing the operation of.
  • the simplified image may be an image of a virtual robot model, and in this case, may be an image using CG (Computer Graphics) or animation.
  • the virtual robot model may be similar or dissimilar to the robot 50A.
  • the determination unit 10j evaluates a result of training performed by the operation terminal 20 and the robot model of the simulation device 200. Further, the determination unit 10j determines the user's proficiency based on the evaluation, and further determines the user's rank or rank based on the proficiency. The determination unit 10j transmits at least one piece of information of evaluation, proficiency, rank, and class to the operation terminal 20, and the operation terminal 20 causes the output device 31 to present the received information. In addition, the determination unit 10j causes the storage unit 10k to store the evaluation, the proficiency level, the rank, and the class as new user information.
  • the determination unit 10j may determine the evaluation based on the difference between the operation of the robot model in the operation terminal 20 and the simulation device 200 and the operation of the robot model to be executed in the training and the threshold value thereof. Good.
  • the difference may include a difference in the position of each part of the robot model, a difference in time required for the operation, and the like.
  • the operation terminal 20 and / or the simulation device 200 may evaluate the training result and transmit the result to the determination unit 10j, and the determination unit 10j may use the evaluation.
  • the second reception unit 10e receives the operation data of the robot model from the operation terminal 20 and the simulation device 200 in the first training and the second training, and outputs the operation data to the second conversion unit 10h.
  • the operation data of the robot model of the operation terminal 20 may be the first information of the robot operation.
  • the second reception unit 10e receives the auxiliary command input to the guidance terminal 60, and outputs it to the second conversion unit 10h.
  • the second conversion unit 10h converts the operation data of the robot model of the operation terminal 20 and the simulation device 200 into operation data corresponding to presentation of an image display or the like of the operation of the robot model at the instruction terminal 60.
  • the second conversion unit 10h may convert the motion data so that the motion data is presented in the same manner as the robot model recognized on the output device 31 by the user of the operation terminal 20.
  • the second conversion unit 10h converts the auxiliary command into information corresponding to presentation such as image display on the operation terminal 20, and transmits the information to the operation terminal 20.
  • the operation terminal 20 causes the output device 31 to display the converted auxiliary command received from the second conversion unit 10h as a screen S2 as shown in FIG.
  • FIG. 10 is a diagram illustrating an example of a screen of an auxiliary command presented by the operation terminal 20 according to the embodiment.
  • an image of a robot model operated by the user using the operation terminal 20 and an image of the operation device 22 for indicating an auxiliary command are displayed on the screen S2.
  • the image of the robot model is an image of the actual robot 50A.
  • the auxiliary command is a command for displaying the indicators Ad1 and Ad2 attached to the operation device 22.
  • the index Ad1 indicates a combination of buttons to be currently pressed on the operation device 22, and the index Ad2 indicates a combination of buttons to be pressed next.
  • the numerical value associated with each index is the order of pressing.
  • FIG. 11 is a block diagram illustrating an example of a functional configuration of the simulation computer 40 according to the embodiment.
  • the simulation computer 40 includes a communication unit 40a, a reception unit 40b, a program execution unit 40c, a determination unit 40d, an operation data output unit 40e, and a storage unit 40f. Not all of the above components are not essential.
  • the function of the communication unit 40a is realized by the network I / F 406 and the like.
  • the function of the storage unit 40f is realized by the ROM 402, the memory 404, and the like.
  • the functions of the reception unit 40b, the program execution unit 40c, the determination unit 40d, and the operation data output unit 40e are realized by the CPU 401, the ROM 402, the RAM 403, and the like.
  • the communication unit 40a communicates with the mediation device 10 via the communication network 90.
  • the storage unit 40f stores various information.
  • the storage unit 40f may store, for each simulation content executable by the simulation computer 40, information on the position and required time of each operation of the robot model executed in the simulation.
  • the contents of the simulation include the operation or work of the robot executed in the simulation.
  • the storage unit 40f may store a threshold value or the like used by the determination unit 40d for evaluation.
  • the receiving unit 40b receives, from the intermediation device 10, a training execution command, which is a simulation execution command, and information on training content to be executed.
  • the receiving unit 40b extracts the simulation content corresponding to the received training content in the storage unit 40f.
  • the receiving unit 40b outputs to the program execution unit 40c a command to execute a simulation based on the extracted simulation content.
  • the receiving unit 40b receives the second information for operating the virtual robot model from the first conversion unit 10g of the intermediation device 10, and outputs the second information to the program execution unit 40c.
  • the program execution unit 40c executes the computer program of the instructed simulation contents.
  • the program is stored in the ROM 402 or the memory 404.
  • the program execution unit 40c causes the virtual robot model to execute an operation corresponding to the second information according to the second information received from the reception unit 40b and the computer program.
  • the operation data output unit 40e detects operation result data indicating the operation result from the robot model operated by the program execution unit 40c.
  • the operation result data may include an image of the robot model, a simplified image of the skeleton of the robot model, and the like, the position of each part of the robot model, the time required for the position, and the like. Further, the operation data output unit 40 e generates operation data from the operation result data, and transmits the operation data to the intermediary device 10.
  • the operation data is the operation data described above in the description of the operation data processing unit 10i of the mediation device 10.
  • the determination unit 40d evaluates the simulation result, that is, the training result, using the operation data generated by the operation data output unit 40e, and transmits the evaluation to the intermediary device 10.
  • the determination unit 40d determines the evaluation, similarly to the determination unit 10j of the mediation device 10. Furthermore, the determination unit 40d may determine the user's proficiency level, rank, rank, and the like, and transmit the determined level to the intermediary device 10.
  • FIG. 12 is a block diagram illustrating an example of a functional configuration of the simulation robot 50 according to the embodiment.
  • the simulation robot 50 includes a communication unit 50a, a reception unit 50b, an imaging control unit 50c, an image processing unit 50d, a drive control unit 50e, a state detection unit 50f, and a determination unit 50g. , A storage unit 50h, an imaging device 517, a driving device 519, and the like. Not all of the above components are not essential.
  • the communication unit 50a, the reception unit 50b, the imaging control unit 50c, the image processing unit 50d, the drive control unit 50e, the state detection unit 50f, the determination unit 50g, and the storage unit 50h constitute the control device 51.
  • the function of the communication unit 50a is realized by the network I / F 506 and the like.
  • the function of the storage unit 50h is realized by the ROM 502, the memory 504, and the like.
  • the functions of the reception unit 50b, the imaging control unit 50c, the image processing unit 50d, the drive control unit 50e, the state detection unit 50f, and the determination unit 50g are realized by the CPU 501, the ROM 502, the RAM 503, and the like.
  • the communication unit 50a communicates with the mediation device 10 via the communication network 90.
  • the storage unit 50h stores various information.
  • the storage unit 50h may store, for each simulation content that can be executed by the simulated robot 50, information on the position, acting force, and required time of each operation of the robot 50A executed in the simulation.
  • An example of the acting force is a force that pushes or pulls the object by the end effector of the robot.
  • the storage unit 50h may store a threshold value or the like used by the determination unit 50g for evaluation.
  • the receiving unit 50b receives, from the intermediary device 10, a training execution command, which is a simulation execution command, and information on training content to be executed.
  • the reception unit 50b extracts, in the storage unit 50h, the simulation content corresponding to the received training content.
  • the receiving unit 50b outputs a command to execute the simulation based on the extracted simulation content to the imaging control unit 50c and the drive control unit 50e.
  • the receiving unit 50b receives second information for operating the robot 50A from the first conversion unit 10g of the intermediation device 10, and outputs the second information to the drive control unit 50e.
  • the imaging control unit 50c When the imaging control unit 50c receives the instruction to execute the simulation, the imaging control unit 50c activates the imaging device 517 to perform imaging.
  • the imaging device 517 captures an image of the robot 50A, for example, its end effector, and outputs the captured image to the image processing unit 50d.
  • the image processing unit 50d transmits the image data of the image received from the imaging device 517 to the mediation device 10.
  • the drive control unit 50e drives the driving device 519 according to the second information received from the reception unit 50b, thereby causing the robot 50A to execute an operation corresponding to the second information.
  • the state detection unit 50f detects the state of each unit of the robot 50A, and outputs a detection result to the determination unit 50g.
  • the state detection unit 50f may detect the three-dimensional position of each unit by detecting the amount of movement of the movable part of the robot 50A as the above state. At this time, the state detection unit 50f may detect the operation amount of the movable part of the robot 50A from the detection value of the rotation sensor provided in the driving device 519.
  • the state detection unit 50f may detect, as the state, an acting force acting on the end effector of the robot 50A. At this time, the state detection unit 50f may detect the acting force from a detection value of a force sensor such as a force sensor provided in the end effector.
  • the state detection unit 50f may include a timer, and detect, as the state, the time required between the operations of the robot 50A.
  • the drive control unit 50e may control the drive of the drive device 519 using the detection result of the state detection unit 50f as feedback information.
  • the determination unit 50g evaluates the simulation result, that is, the training result, using the detection result of the state detection unit 50f, and transmits the evaluation to the intermediary device 10.
  • the determination unit 50g determines the evaluation in the same manner as the determination unit 10j of the mediation device 10. Furthermore, the determination unit 50g may determine the user's proficiency, rank, rank, and the like, and transmit the determined result to the mediation device 10.
  • FIG. 13 is a block diagram illustrating an example of a functional configuration of the guidance terminal 60 according to the embodiment.
  • the guidance terminal 60 includes a communication unit 60a, an execution content receiving unit 60b, an operation data receiving unit 60c, a presentation unit 60d, an auxiliary command receiving unit 60e, a determination receiving unit 60f, and a storage unit.
  • a unit 60g and an operation device 62 are included. Not all of the above components are not essential.
  • the function of the communication unit 60a is realized by the network I / F 606 or the like.
  • the function of the storage unit 60g is realized by the ROM 602, the memory 604, and the like.
  • the functions of the execution content receiving unit 60b, the operation data receiving unit 60c, the presenting unit 60d, the auxiliary command receiving unit 60e, and the determination receiving unit 60f are realized by the CPU 601, the ROM 602, the RAM 603, and the like.
  • the communication unit 60a communicates with the mediation device 10 via the communication network 90.
  • the storage unit 60g stores various information.
  • the storage unit 60g may store various training contents, information received by the execution content receiving unit 60b, and the like.
  • the execution content receiving unit 60b receives the training content executed by the operation terminal 20 from the intermediation device 10, and outputs the content to the presentation unit 60d.
  • the operation data receiving unit 60c receives the operation data of the robot model from the operation terminal 20 and the simulation device 200 via the intermediary device 10, and outputs the operation data to the presentation unit 60d.
  • the motion data receiving unit 60c acquires motion data of the robot model of the operation terminal 20 in the first training, and acquires motion data of the robot model of the simulation device 200 in the second training.
  • the operation data of the operation terminal 20 may be first information of a robot operation.
  • the presentation unit 60d generates an image or the like of a robot model operating according to the operation data using the operation data received from the operation data reception unit 60c, and outputs the generated image to the output device 32.
  • the presentation unit 60d may use the image of the robot model generated by the operation terminal 20 or the image of the robot model generated by the simulation computer 40 to generate the image of the robot model. May be used. Thereby, the instructor can confirm a robot model that performs the same operation as the robot model operated by the user on the operation terminal 20.
  • the presentation unit 60d outputs the training content executed by the operation terminal 20 to the output device 32 and causes the instructor to present the training content.
  • the presentation unit 60d may output information for presenting the training content by a character string or a voice, or may output information for presenting the training content by an image of a robot model or the like.
  • the auxiliary command receiving unit 60e receives an auxiliary command, which is information input to the operation device 62 by the instructor, from the operation device 62, and transmits the information to the intermediary device 10.
  • the auxiliary command is transmitted from the mediation device 10 to the operation terminal 20.
  • the auxiliary command is information input to the operation device 62 by the instructor in order to appropriately assist, guide or guide the operation of the robot model presented to the output device 32.
  • the instructor may input an appropriate robot operation to the operation device 62, and the auxiliary command receiving unit 60e may generate an auxiliary command using the input information.
  • the determination receiving unit 60f receives the evaluation of the result of the operation of the robot model presented on the output device 32.
  • the determination receiving unit 60f receives the evaluation input to the operation device 62 by the instructor, and transmits the evaluation to the mediation device 10 as the evaluation of the training. This enables the instructor to present the evaluation to the user.
  • FIGS. 14A to 14C are sequence diagrams showing an example of the operation flow of the training system 1 according to the embodiment.
  • the robot operation is assisted using the instruction terminal 60.
  • the user starts a robot operation training game program on the operation terminal 20 (step S101).
  • the user inputs user identification information and the like, which are user information, to the operation terminal 20, and the operation terminal 20 transmits the identification information and the like to the mediation device 10 (step S102). That is, the user logs in to the training game.
  • the user identification information is registered in the mediation device 10 in advance.
  • the mediation device 10 authenticates the received user identification information, extracts a training permission condition corresponding to the identification information, and extracts a training configuration corresponding to the extracted permission condition. Then, the mediation device 10 transmits the extracted training configuration to the operation terminal 20 as a training configuration executable by the user (step S103).
  • the configuration of the training is a combination of the training content and a device having a robot model that executes the training content.
  • the user uses the operation terminal 20 to determine the configuration to be executed from the executable training configuration displayed on the output device 31, as shown in FIG. 9, for example.
  • the operation terminal 20 transmits the determined training configuration to the mediation device 10 (Step S104).
  • the mediation device 10 determines whether or not the device having the received robot model of the training configuration is the operation terminal 20 (step S105). If the mediation device 10 is the operation terminal 20 (Yes in step S105), the process proceeds to step S106. If the mediation device 10 is not the operation terminal 20 (No in step S105), the process proceeds to step S107.
  • step S106 the mediation device 10 extracts the guidance terminal 60 capable of executing the auxiliary operation for the training configuration received in step S104 from the guidance terminals 60 to which the mediation device 10 can be connected, and 60 and the operation terminal 20 are connected.
  • the intermediary device 10 transmits a training execution command to the operation terminal 20 (step S108).
  • the operation terminal 20 starts executing the training (step S109).
  • the operation terminal 20 transmits the first information indicating the operation input by the user to the intermediary device 10 during the execution of the training (Step S110).
  • the mediation device 10 converts the first information into operation data indicating the operation of the robot model, and transmits the operation data to the guidance terminal 60 (step S111).
  • the guidance terminal 60 presents a robot model that operates according to the operation data to the instructor via the output device 32.
  • the mediation device 10 may receive, as the first information, the image data of the robot model displayed on the output device 31 by the operation terminal 20, and transmit the image data to the guidance terminal 60.
  • the guidance terminal 60 may cause the output device 32 to display the received image data.
  • the instruction terminal 60 transmits the assistance instruction to the mediation device 10 (step S112).
  • the mediation device 10 converts the auxiliary command received from the guidance terminal into a conversion auxiliary command that is information applicable to the operation terminal 20, and transmits the conversion auxiliary command to the operation terminal 20 (step S113). Based on the received conversion assist command, the operation terminal 20 generates presentation data such as image data for assisting the user's robot operation with proper operation, as shown in FIG. 10, for example, and outputs the data to the output device 31. It is presented (step S114).
  • step S115 determines whether or not all of the currently executed training contents have been completed. If the operation has been completed (Yes in step S115), the operation terminal 20 proceeds to step S116, and if not completed (No in step S115), returns to step S110.
  • step S116 the operation terminal 20 transmits a training completion notification to the mediation device 10, and then in step S117, the mediation device 10 transmits a training completion notification to the guidance terminal 60.
  • the instructor of the instructor terminal 60 disconnects the connection with the mediation device 10. Note that the instructor may use the instruction terminal 60 to generate an evaluation for the training result and transmit the evaluation to the intermediary device 10.
  • step S118 the intermediary device 10 determines the evaluation of the training result, the user's proficiency, the rank, the rank, and the like based on the training result, and transmits at least one of these to the operation terminal 20.
  • the mediation apparatus 10 may generate the evaluation of the training result by itself, may obtain the evaluation from the guidance terminal 60, or may obtain the evaluation of the training result generated by the operation terminal 20.
  • the mediation apparatus 10 registers the evaluation result, proficiency level, rank, class, and the like as new user information in itself.
  • the operation terminal 20 outputs the received evaluation result, proficiency level, rank, rank, and the like to the output device 31 and causes the user to present the result (step S119). Then, when the user stops the operation terminal 20, the operation terminal 20 ends the training game program.
  • step S107 the mediation device 10 determines whether or not the device having the robot model having the training configuration received in step S104 is the simulation computer 40. If the mediation device 10 is the simulated computer 40 (Yes in step S107), the process proceeds to step S120. If the mediation device 10 is not the simulated computer 40 (No in step S107), the process proceeds to step S121.
  • step S120 the mediation device 10 extracts the simulation computer 40 that can execute the training content included in the training configuration received in step S104 from the simulation computers 40 to which the mediation device 10 can be connected, The simulation computer 40 and the operation terminal 20 are connected. Further, in step S122, the mediation apparatus 10 extracts the guidance terminal 60 as in step S106, and connects to the guidance terminal 60.
  • the intermediary device 10 transmits an instruction to execute the training content to the simulation computer 40 (Step S123).
  • the simulation computer 40 executes the instructed training content (step S124).
  • the simulation computer 40 transmits a notification indicating the execution of the training to the mediation device 10 (step S125), and further, the mediation device 10 transmits the notification to the operation terminal 20 (step S126).
  • the operation terminal 20 transmits the first information to the mediation device 10 (Step S127). Further, the mediation device 10 converts the first information into the second information for operating the virtual robot model of the simulation computer 40, and transmits the second information to the simulation computer 40 (step S128).
  • the simulation computer 40 operates the robot model according to the second information, and transmits operation data of the robot model to the mediation device 10 (step S129).
  • the mediation device 10 converts the received operation data into operation data corresponding to presentation of an image display of the robot model on the operation terminal 20, and transmits the operation data to the operation terminal 20 (step S130).
  • the operation terminal 20 causes the output device 31 to present an image or the like of a robot model that executes an operation corresponding to the received operation data.
  • the simulation computer 40 may transmit image data of a virtual robot model to the intermediary device 10 as motion data, and the intermediary device 10 may transmit the received image data to the operation terminal 20.
  • the operation terminal 20 may cause the output device 31 to display the received image data.
  • the mediation device 10 transmits the operation data received in step S129 to the guidance terminal 60 (step S131).
  • the guidance terminal 60 transmits the assistance command to the mediation device 10 when the assistance command is input by the instructor for the operation of the robot model presented to the output device 32 based on the operation data (step S132).
  • the mediation device 10 converts the assist command received from the guidance terminal into a conversion assist command, and transmits the converted assist command to the operation terminal 20 (step S133).
  • the operation terminal 20 causes the output device 31 to make a presentation to assist the robot operation of the user based on the received conversion assist command (step S134).
  • the mediation device 10 may receive image data of a virtual robot model from the simulation computer 40 as operation data and transmit the image data to the guidance terminal 60.
  • the guidance terminal 60 may cause the output device 32 to display the received image data.
  • step S135 when all of the currently executed training contents are completed (Yes in step S135), the operation terminal 20 proceeds to step S136, and when not completed (No in step S135), returns to step S127.
  • the operation terminal 20 or the like performs the processing of steps S136 to S139 in the same manner as steps S116 to S119.
  • step S121 the mediation device 10 can execute the training content included in the training configuration received in step S104 from among the simulated robots 50 to which the mediation device 10 can be connected.
  • the simulation robot 50 including the simple robot 50A is extracted, and the simulation robot 50 and the operation terminal 20 are connected.
  • step S140 the mediation apparatus 10 extracts the guidance terminal 60 as in step S106, and connects to the guidance terminal 60.
  • the mediation device 10 transmits a command to execute the training content to the simulated robot 50 (step S141).
  • the simulation robot 50 executes the instructed training content (step S142).
  • the simulation robot 50 causes the imaging device 517 to execute imaging of the robot 50A (step S143).
  • the simulation robot 50 transmits a notification indicating the execution of the training to the mediation device 10 (step S144), and further, the mediation device 10 transmits the notification to the operation terminal 20 (step S145).
  • the operation terminal 20 transmits the first information to the mediation device 10 (step S146), and the mediation device 10 converts the first information into the second information for operating the robot 50A, and transmits the second information to the simulation robot 50. It is transmitted (step S147).
  • the simulated robot 50 operates the robot 50A according to the second information and detects the state of each part of the robot 50A.
  • the simulating robot 50 transmits the image data captured by the imaging device 517 to the mediation device 10 (step S148).
  • the mediation device 10 transmits the received image data to the operation terminal 20 (step S149).
  • the operation terminal 20 causes the output device 31 to present an image or the like of the received image data.
  • the mediation device 10 transmits the image data received in step S148 to the guidance terminal 60 as operation data (step S150).
  • the instruction terminal 60 transmits the auxiliary instruction to the mediation device 10 (step S151).
  • the mediation device 10 converts the assist command received from the guidance terminal into a conversion assist command, and transmits the converted assist command to the operation terminal 20 (step S152).
  • the operation terminal 20 causes the output device 31 to make a presentation to assist the user's robot operation based on the received conversion assist command (step S153).
  • step S155 when all of the currently executed training contents have been completed (Yes in step S154), and returns to step S146 when not completed (No in step S154).
  • the operation terminal 20 or the like performs the processing of steps S155 to S158 in the same manner as steps S116 to S119.
  • the user can use the operation terminal 20 to execute training of robot operation using any of the operation terminal 20, the simulation computer 40, and the robot model of the simulation robot 50. it can. Further, the user can receive assistance of the robot operation by the instructor in all trainings. In the examples of FIGS. 14A to 14C, all the trainings are configured to receive the assistance through the guidance terminal 60 of the instructor. However, the assistance is not essential. For example, the assistance can be arbitrarily selected by the user. There may be. When the assistance is not performed, the processing related to the guidance terminal 60 may be omitted in FIGS. 14A to 14C. As described above, the user can improve the skill level of the robot operation by executing the robot operation training using the operation terminal 20.
  • the operation terminal 20 and the robot of the actual machine are connected via the communication network 90 and the robot can be operated by the operation terminal 20, the user can use the operation terminal 20 to operate the actual machine while being at a remote place. Will be able to do the actual work with that robot.
  • the information processing device 100 of the mediation device 10 as a training processing device manages training of a robot operation using the operation terminal 20.
  • the information processing apparatus 100 transmits / receives information to / from the operation terminal 20 via the communication network 90, and executes the computer program for training the robot operation on the operation terminal 20 while the robot operation information input to the operation terminal 20 is being executed. And manages training based on the first information.
  • the robot operation may be an operation for causing the robot to perform an operation.
  • the information processing apparatus 100 enables training of the robot operation using the operation terminal 20. Further, the user of the operation terminal 20 can receive training management by the information processing apparatus 100 regardless of the location where the user can access the communication network 90. Further, through the communication network 90, the plurality of operation terminals 20 can be simultaneously connected to the information processing device 100, and can receive training management by the information processing device 100. Thus, the information processing apparatus 100 enables various users to operate the robot by training the robot operation.
  • the information processing apparatus 100 may evaluate the result of the training and register the evaluation of the result of the training as the user evaluation which is the evaluation for the user who operates the operation terminal 20.
  • the information processing apparatus 100 registers the evaluation of the training result as the user evaluation of the operation terminal 20.
  • the registered user evaluation can be used.
  • the information processing apparatus 100 can present the registered user evaluation to the user at the time of training or the like. Thereby, the user can easily determine the configuration of the training to be executed according to his / her user evaluation. Further, when the user operates the actual robot, it is possible to determine the robot and the work content suitable for the user based on the user evaluation.
  • the information processing apparatus 100 determines training that can be executed by the user to be evaluated by the user based on the registered user evaluation, and causes the operation terminal 20 to present information on the determined training. Is also good.
  • the user or the provider of the training for example, the intermediary device 10) can determine the training of the robot operation suitable or executable for the user.
  • the information processing apparatus 100 causes the instruction terminal 60 that instructs the training by assisting the robot operation input to the operation terminal 20 to present the first information, and displays the first information.
  • an auxiliary command to assist the robot operation input to the guidance terminal 60 may be received, and the auxiliary command may be presented to the operation terminal 20.
  • the instructor of the robot operation can check the first information that is the information of the user's robot operation via the instruction terminal 60.
  • the instructor can input an auxiliary command for the robot operation to the instruction terminal 60 and send it to the operation terminal 20 while checking the above.
  • the user can perform the training of the robot operation while confirming the assistance command presented by the operation terminal 20, that is, can perform the training while receiving assistance.
  • the operation terminal 20 and the guidance terminal 60 may be connected via the communication network 90.
  • the user of the operation terminal 20 and the instructor of the instructor terminal 60 can perform training and assist in training in any location as long as the user can access the communication network 90.
  • the operation terminal 20 may be at least one of a game machine, a game controller, a remote controller dedicated to a robot, a personal information terminal, a smart device, and a personal computer. According to the above configuration, training using various operation terminals 20 becomes possible.
  • the information processing apparatus 100 converts the first information into second information for operating the robot model of the simulation apparatus 200 that executes a simulation for causing the robot model to perform a simulated operation
  • the simulation device 200 may be operated according to the second information, and information on the operation of the robot model of the simulation device 200 operating according to the second information may be presented to the operation terminal 20.
  • the operation terminal 20 and the simulation device 200 may be connected via a communication network 90.
  • the information processing apparatus 100 converts the first information corresponding to the operation input to the operation terminal 20 into the second information, and causes the simulation apparatus 200 to operate according to the second information, thereby performing the simulation.
  • the robot model of the device 200 performs an operation corresponding to the above operation. Therefore, the user can use the operation terminal 20 and the simulation device 200 to perform the training of the robot operation in a remote place from the simulation device 200.
  • the user since information transmitted and received between the operation terminal 20 and the simulation device 200 is converted into information in a format adapted to each, the user may use, for example, the operation terminal 20 that the user is accustomed to. it can. Therefore, the user can easily execute the input of the robot operation to the simulation device 200 and easily accept the training.
  • various operation terminals 20 can be connected to the simulation device 200. Therefore, various users can access the simulation device 200 via the operation terminal 20 to perform training on robot operation, and thereby can operate the robot.
  • the information processing apparatus 100 is selected from a first training using a robot model functioning on a computer program executed on the operation terminal 20 and a second training using the simulation apparatus 200.
  • the received training request may be received from the operation terminal 20 and the execution of the selected training may be determined.
  • the user of the operation terminal 20 can select and execute a training from the first training and the second training.
  • the second training using the simulation device 200 requires a more precise and precise robot operation than the first training. The user can select a training according to his / her proficiency.
  • the information processing apparatus 100 enables training to be performed by using the simulation computer 40 and the operation terminal 20 that cause the virtual robot model to perform a simulated operation, and is generated by the simulation computer 40.
  • the operation terminal 20 may present information on the operation of the virtual robot model to be performed. According to the above configuration, the user can execute training using the simulation of the simulation computer 40.
  • the information processing apparatus 100 enables execution of training using the simulated robot 50 that causes the actual robot 50A to perform a simulated operation as a robot model and the operation terminal 20, and the imaging device 517 Information on the image of the robot 50A to be imaged may be presented to the operation terminal 20 as information on the operation of the robot model.
  • the user can execute training using a simulation using the actual robot 50A. Further, the user can execute the training while visually recognizing the image of the actual robot 50A.
  • the information processing apparatus 100 converts an image of the robot 50A of the real machine into an image of a virtual robot model, and transmits information on the operation of the virtual robot model in the converted image to the operation terminal 20. It may be presented.
  • the image of the virtual robot model may be an image using CG, animation, or the like.
  • the image presented to the user by the operation terminal 20 can be an image that is familiar to the user. Therefore, the user becomes familiar with the training.
  • the mediation device 10 according to the embodiment may include the information processing device 100 according to the embodiment, and mediate the operation terminal 20 and the guidance terminal 60 via the communication network 90.
  • the mediation device 10 according to the embodiment may include the information processing device 100 according to the embodiment, and may mediate the operation terminal 20 and the simulation device 200 via the communication network 90.
  • the mediation device 10 according to the embodiment may include the information processing device 100 according to the embodiment, and may mediate the operation terminal 20, the simulation device 200, and the guidance terminal 60 via the communication network 90.
  • the training system 1 includes the information processing device 100 according to the embodiment, the guidance terminal 60, and the mediation device 10 that mediates the operation terminal 20 and the guidance terminal 60 via the communication network 90. May be provided.
  • the training system 1 according to the embodiment includes an information processing device 100 according to the embodiment, a simulation device 200, and an intermediary device 10 that mediates the operation terminal 20 and the simulation device 200 via a communication network 90. May be provided.
  • the training system 1 according to the embodiment may further include a guidance terminal 60, and the mediation device 10 may mediate the operation terminal 20, the simulation device 200, and the guidance terminal 60 via the communication network 90. Further, the training system 1 according to the embodiment may include the operation terminal 20. In any of the above configurations, the same effects as those of the information processing apparatus 100 according to the embodiment can be obtained.
  • the information processing device 100 is mounted on the mediation device 10, but is not limited thereto.
  • the information processing device 100 may be mounted on any of the operation terminal 20, the simulation device 200, and the guidance terminal 60.
  • the information processing device 100 may be divided and mounted on two or more devices.
  • the first information processing device and the second information processing device having some functions of the information processing device 100 are respectively two of the mediation device 10, the operation terminal 20, the simulation device 200, and the guidance terminal 60. It may be mounted on.
  • the first to third information processing apparatuses having some functions of the information processing apparatus 100 are respectively mounted on three of the mediation apparatus 10, the operation terminal 20, the simulation apparatus 200, and the guidance terminal 60. Is also good.
  • the first to fourth information processing apparatuses having some functions of the information processing apparatus 100 may be mounted on the mediation apparatus 10, the operation terminal 20, the simulation apparatus 200, and the guidance terminal 60, respectively.
  • the training system 1 includes the operation terminal 20, the mediation device 10, the simulation device 200, and the guidance terminal 60, but is not limited thereto.
  • the training system 1 does not need to include the mediation device 10.
  • the simulation computer 40 and the simulation robot 50 are configured to operate the robot model according to a preset computer program and data.
  • the present invention is not limited to this.
  • the simulation computer 40 and the simulation robot 50 may be configured to use a digital twin environment.
  • the simulation computer 40 and the simulation robot 50 may be configured to operate using, for example, various data accumulated on the cloud, that is, big data.
  • the data is data obtained by various users performing various trainings using various simulated computers 40 and simulated robots 50, etc., and actually performing various tasks using various robots. May be included.
  • the present invention may be a training processing method.
  • a training processing method is a method of training a robot operation using an operation terminal, the information being information about the robot operation input to the operation terminal while the computer program is being executed on the operation terminal.
  • the first information is received via a communication network, and the training is managed based on the first information.
  • Such a training processing method may be realized by a circuit such as a CPU or an LSI, an IC card, a single module, or the like.
  • the present invention may be a program for executing the above-mentioned training processing method, or may be a non-temporary computer-readable recording medium on which the above-mentioned program is recorded. Needless to say, the program can be distributed via a transmission medium such as the Internet.
  • the numbers such as ordinal numbers and quantities used above are all examples for specifically explaining the technology of the present invention, and the present invention is not limited to the illustrated numbers.
  • the connection relation between the constituent elements is illustrated for specifically explaining the technology of the present invention, and the connection relation for realizing the function of the present invention is not limited to this.
  • the division of blocks in the functional block diagram is merely an example, and a plurality of blocks may be implemented as one block, one block may be divided into a plurality of blocks, and / or some functions may be moved to another block. Good.
  • a single piece of hardware or software may process functions of a plurality of blocks having similar functions in parallel or in a time-division manner.
  • Training System 10 Mediaation Device 20 Operation Terminal 50 Simulated Robots 50A, 50A1 to 50An Robot 60 Guidance Terminal 90 Communication Network 100 Information Processing Device (Training Processing Device) 200 Simulator 517 Imaging device

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

トレーニング処理装置(100)は、操作端末(20)を用いたロボット操作のトレーニングを管理するトレーニング処理装置であり、操作端末(20)と通信網を介して情報を送受信し、ロボット操作のトレーニングをするコンピュータプログラムを操作端末(20)上で実行中に、操作端末(20)に入力されたロボット操作の情報である第一情報を受け付け、第一情報に基づき、トレーニングを管理する。

Description

トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法
 本発明は、トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法に関する。
 従来、人により行われてきた作業のロボット化が進められている。ロボットが人によって操作される場合、人の操作のトレーニングが必要になる。例えば、特許文献1は、生活支援ロボットアームの操作のトレーニング装置を開示する。このトレーニング装置は、コンピュータ装置上で実行され且つ生活支援ロボットアームの機能を模擬するシミュレータによって実現される。
特開2011-125991号公報
 近年、産業用ロボットを扱う産業では、少子高齢化の影響で、ロボットの操作者の不足が懸念される。一方、何らかの理由で、十分に就労できない又は就労しない人の数が増えている。このような人々の労力は貴重である。
 そこで、本発明は、様々な人がロボットの操作のトレーニングを行うことでロボットの操作を行うことを可能にするトレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法を提供することを目的とする。
 上記目的を達成するために、本発明の一態様に係るトレーニング処理装置は、操作端末を用いたロボット操作のトレーニングを管理するトレーニング処理装置であって、前記操作端末と通信網を介して情報を送受信し、ロボット操作のトレーニングをするコンピュータプログラムを前記操作端末上で実行中に、前記操作端末に入力されたロボット操作の情報である第一情報を受け付け、前記第一情報に基づき、前記トレーニングを管理する。
 本発明によれば、様々な人がロボットの操作のトレーニングを行うことでロボットを操作することが可能となる。
図1は、実施の形態に係るトレーニングシステムの構成の一例を示す図である。 図2は、実施の形態に係る操作端末のハードウェア構成の一例を示すブロック図である。 図3は、実施の形態に係る仲介装置のハードウェア構成の一例を示すブロック図である。 図4は、実施の形態に係るシミュレートコンピュータのハードウェア構成の一例を示すブロック図である。 図5は、実施の形態に係るシミュレートロボットのハードウェア構成の一例を示すブロック図である。 図6は、実施の形態に係る指導端末のハードウェア構成の一例を示すブロック図である。 図7は、実施の形態に係る操作端末の機能的構成の一例を示すブロック図である。 図8は、実施の形態に係る仲介装置の機能的構成の一例を示すブロック図である。 図9は、実施の形態に係る操作端末が提示するトレーニングの構成の選択画面の一例を示す図である。 図10は、実施の形態に係る操作端末が提示する補助指令の画面の一例を示す図である。 図11は、実施の形態に係るシミュレートコンピュータの機能的構成の一例を示すブロック図である。 図12は、実施の形態に係るシミュレートロボットの機能的構成の一例を示すブロック図である。 図13は、実施の形態に係る指導端末の機能的構成の一例を示すブロック図である。 図14Aは、実施の形態に係るトレーニングシステムの動作の流れの一例を示すシーケンス図である。 図14Bは、実施の形態に係るトレーニングシステムの動作の流れの一例を示すシーケンス図である。 図14Cは、実施の形態に係るトレーニングシステムの動作の流れの一例を示すシーケンス図である。
 以下において、本発明の実施の形態を、図面を参照しつつ説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、添付の図面における各図は、模式的な図であり、必ずしも厳密に図示されたものでない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。また、本明細書及び請求の範囲では、「装置」とは、1つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
 <トレーニングシステムの構成>
 実施の形態に係るトレーニングシステム1の構成を説明する。図1は、実施の形態に係るトレーニングシステム1の構成の一例を示す図である。図1に示すように、トレーニングシステム1は、1つ以上の仲介装置10と、1つ以上の操作端末20と、1つ以上の指導端末60とを含む。さらに、トレーニングシステム1は、1つ以上のシミュレートコンピュータ40と、1つ以上のシミュレートロボット50とを含んでもよく、本実施の形態ではこれらを含むものとする。シミュレートコンピュータ40及びシミュレートロボット50は、シミュレート装置200の一例である。以下において、「シミュレートコンピュータ40」及び「シミュレートロボット50」を区別しない場合、これらを単に「シミュレート装置200」と称する場合がある。仲介装置10、操作端末20、シミュレートコンピュータ40、シミュレートロボット50及び指導端末60は、通信網90を介して接続されている。なお、上記構成要素の全てが必須ではない。
 トレーニングシステム1は、ユーザに操作端末20を用いた様々なロボット操作のトレーニングを実行すること可能にする。ロボット操作は、ロボットを動作させるための操作であり、ロボットの動作に対応する操作である。例えば、ロボット操作のトレーニングでは、ユーザは、操作端末20を操作することで、ロボットモデルに、所定の動作又は作業を行うトレーニング内容を実行させる。利用可能なロボットモデルは、操作端末20がコンピュータプログラムを実行することで生成する仮想的なロボットモデル、シミュレートコンピュータ40が生成する仮想的なロボットモデル、及び、シミュレートロボット50が備える実機のロボットを用いたロボットモデルである。また、トレーニングシステム1は、トレーニングの実行中、指導端末60を用いてユーザのロボット操作に対する補助を行うことができる。
 所定の動作は、水平移動、鉛直移動及び回転等の個別の動作を1つ又は2つ以上含む動作である。所定の作業は、所定の動作よりも多くの個別の動作が実行順序に従って組み合わされた一連の複合的な動作である。所定の作業の例は、例えば、産業用ロボットのロボットモデルである場合、ロボットモデルのエンドエフェクタで対象物を保持して移動させる、エンドエフェクタで対象物を保持して被組付対象物に組み付ける、エンドエフェクタで対象物を切断する、エンドエフェクタで2つ以上の対象物を接合する等の作業である。
 通信網90は、データ通信可能であるネットワークであり、例えば、インターネット、イントラネット、有線若しくは無線LAN(Local Area Network)、WAN(Wide Area Network)、モバイル通信網、電話回線通信網、又は、その他の有線若しくは無線通信を用いる通信網であってもよい。本実施の形態では、通信網90はインターネットである。
 シミュレートコンピュータ40は、仮想的なロボットモデルに模擬的な動作をさせるシミュレーションを実行する装置である。トレーニングシステム1では、シミュレートコンピュータ40でのシミュレーションを利用して、ロボット操作のトレーニングを行うことが可能である。仮想的なロボットモデルは、シミュレートコンピュータ40のコンピュータプログラム上で生成され動作する。なお、シミュレートコンピュータ40は、トレーニングシステム1のために特別に生成された装置であってもなくてもよく、例えば、ロボット操作のシミュレーションに用いられる既存又は汎用的な装置であってもよい。シミュレートコンピュータ40は、操作端末20がコンピュータプログラム上で生成するロボットモデルよりも実機のロボットに近いロボットモデルを用いて、実機のロボットに近い操作及び動作を実現することができる。シミュレートコンピュータ40のロボットモデルは、後述するシミュレートロボット50の実機のロボット50A1~50An(n=1,・・・の自然数)について例示するようなロボットの仮想的なロボットモデルあってもよい。仮想的なロボットモデルは、後述するシミュレートロボット50と同様に、ロボット本体を含む構成であってもよく、ロボット本体だけでなく、処理対象物及び周辺機器等を含む構成であってもよい。
 シミュレートロボット50は、ロボットモデルとして実機のロボット50A1~50An(n=1,・・・の自然数)に模擬的な動作をさせるシミュレーションを実行する装置である。トレーニングシステム1では、ロボット50A1~50Anを用いたシミュレーションを利用して、ロボット操作のトレーニングを行うことが可能である。ロボット50A1~50Anは、いかなるロボットであってもよく、例えば、産業用ロボット、サービスロボット、建設機械、トンネル掘削機、クレーン、荷役搬送車、及びヒューマノイド等であってもよい。サービスロボットは、介護、医療、清掃、警備、案内、救助、調理、商品提供等の様々なサービス業で使用されるロボットである。本実施の形態では、ロボット50A1~50Anは、垂直多関節型ロボット、水平多関節型ロボット、極座標型ロボット、円筒座標型ロボット及び直角座標型ロボット等の産業用ロボットである。以下において、ロボット50A1~50Anを区別しない場合、単に「ロボット50A」と称する場合がある。
 シミュレートロボット50は、ロボット50A1~50Anのいずれかを含み、ロボット50A1~50Anそれぞれに対して設けられる。産業用ロボットであるロボット50A1~50Anは、様々な作業に対応して設けられたロボットである。ロボット50A1~50Anは、実際に作業現場に配置されたロボットであってもよく、シミュレーション用に配置されたロボットであってもよい。ロボット50A1~50Anは、例えば、ロボットアーム及びエンドエフェクタを備えるようなロボット本体を含む構成であってもよく、ロボット本体だけでなく、作業におけるワーク等の処理対象物、並びに、搬送装置、撮像装置及びセンサなどの周辺機器等を含む構成であってもよい。後者の場合、シミュレートロボット50でのシミュレートは、ロボット本体、処理対象物及び周辺機器等の全てを操作するシミュレートである。なお、シミュレートロボット50は、トレーニングシステム1のために特別に生成されたものであってもなくてもよく、例えば、ロボット操作のシミュレーションに用いられる既存又は汎用的なものであってもよい。
 操作端末20は、ロボット操作のトレーニングをするためのコンピュータプログラムを実行する装置である。操作端末20は、ユーザによって操作されることができる。操作端末20は、上記コンピュータプログラムを実行することで、シミュレート装置200を用いないロボット操作のトレーニングである第一トレーニングと、シミュレート装置200を用いるロボット操作のトレーニングである第二トレーニングとを選択して実行することができる。このような操作端末20は、通信網90を介してシミュレート装置200と接続されることができる。
 第一トレーニングでは、操作端末20が実行するコンピュータプログラムが生成する仮想的なロボットモデルが、操作端末20に入力される操作に従って動作する。例えば、ユーザは、操作端末20を操作することで、仮想的なロボットモデルをトレーニング内容に従って動作させる。
 第二トレーニングでは、操作端末20は、通信網90を介して、シミュレートコンピュータ40及びシミュレートロボット50等のシミュレート装置200と接続される。そして、操作端末20は、ユーザによって入力された情報をシミュレート装置200に出力する。シミュレート装置200のロボットモデルは、操作端末20に入力される操作に従って動作する。例えば、ユーザは、シミュレート装置200から遠隔に位置する場合であっても、操作端末20を操作することで、シミュレート装置200のロボットモデルをトレーニング内容に従って動作させることができる。
 操作端末20の例は、ゲーム機、ゲームコントローラ、ロボット専用の遠隔操作器、個人情報端末(PDA:Personal Data Assistant)、スマートフォン、スマートウォッチ及びタブレットなどのスマートデバイス、並びに、パーソナルコンピュータなどのコンピュータ装置等である。このような操作端末20は、トレーニングシステム1のために特別に生成された装置であってもなくてもよく、既存又は汎用的な装置であってもよい。
 本実施の形態では、操作端末20は、ゲーム機及びゲームコントローラを備えるゲーム装置である。ゲーム装置として、例えば、据え置き型のゲーム装置、及び携帯型ゲーム装置が例示される。操作端末20は、出力装置31と接続され、ロボット操作のトレーニングを実行するための画像信号及び音声信号を出力装置31に出力し、出力装置31は当該画像信号及び音声信号に対応する画像及び音声をユーザに提示する。例えば、出力装置31はディスプレイ及びスピーカを備える。ディスプレイの例は、液晶ディスプレイ(Liquid Crystal Display)及び有機又は無機ELディスプレイ(Electro-Luminescence Display)である。
 仲介装置10は、1つ以上の操作端末20と1つ以上のシミュレートコンピュータ40と1つ以上のシミュレートロボット50と1つ以上の指導端末60とを、通信網90を介して仲介する。本実施の形態では、仲介装置10は、トレーニング処理装置の一例である情報処理装置100を備える。本実施の形態では、仲介装置10は、サーバであり、通信機能を有し且つ情報を処理するコンピュータ装置である。
 指導端末60は、ロボット操作のトレーニングの実行中、操作端末20に入力されたロボット操作に対して補助を行うことでトレーニングを指導する装置である。指導端末60は、指導者等のユーザによって操作されることができ、例えば、ロボット操作の入力を受け付ける。指導端末60は、第一トレーニング及び第二トレーニングのいずれにおいてトレーニングを指導するように構成されてもよく、本実施の形態では、両方のトレーニングにおいて指導するように構成されている。指導端末60は、通信網90を介して、操作端末20及びシミュレート装置200と接続される。指導端末60は、操作されることで入力された情報を仲介装置10及び/又は操作端末20に出力する。指導端末60は、操作端末20及びシミュレート装置200からロボットモデルの動作の情報を取得する。
 指導端末60は、出力装置32と接続され、ロボットモデルの動作等を示すようなトレーニングを指導するための画像信号及び音声信号を出力装置32に出力し、出力装置32は当該画像信号及び音声信号に対応する画像及び音声を、指導端末60のユーザに提示する。例えば、出力装置32はディスプレイ及びスピーカを備える。
 指導端末60の例は、ゲーム機、ゲームコントローラ、ロボット専用の遠隔操作器、個人情報端末(PDA)、スマートフォン、スマートウォッチ及びタブレットなどのスマートデバイス、並びに、パーソナルコンピュータなどのコンピュータ装置等である。本実施の形態では、指導端末60はロボット専用の遠隔操作器である。このような指導端末60は、トレーニングシステム1のために特別に生成された装置であってもなくてもよく、既存又は汎用的な装置であってもよい。
 指導端末60は、操作端末20に入力されたロボット操作の情報である第一情報、及び/又は第一情報に従ったロボットモデルの動作の情報を、仲介装置10を介して操作端末20から受信する。第一情報は、操作端末20に入力されたロボット操作の情報であってもよく、当該情報が仲介装置10によって変換された情報であってもよい。又は、指導端末60は、第一情報に従ったロボットモデルの動作の情報をシミュレート装置200から受信する。指導端末60は、第一情報に従ったロボットモデルの動作を出力装置32に出力することで、指導端末60のユーザである指導者に対して、出力装置32に当該動作を提示させる。さらに、指導端末60は、提示された動作に対して、指導端末60に入力されるロボット操作を補助する補助指令を受け付ける。つまり、指導者は、出力装置32に提示されるロボット操作を確認しつつ、当該ロボット操作に対する補助指令を指導端末60に入力することができる。指導端末60は、補助指令を仲介装置10を介して操作端末20に送信し、ユーザに対して、出力装置31を介して操作端末20に補助指令を提示させる。補助指令は、ロボット操作を誘導又は修正等をする画像及び音声の少なくとも1つを用いた指令であってもよく、ロボット操作を補助するいかなる指令であってもよい。
 情報処理装置100は、操作端末20を用いたロボット操作のトレーニングを管理する装置である。情報処理装置100は、例えば、プロセッサ及びメモリ等を有する演算器で構成される。メモリは、揮発性メモリ及び不揮発性メモリなどの半導体メモリ、ハードディスク(HDD:Hard Disc Drive)及びSSD(Solid State Drive)等の記憶装置で構成される。例えば、演算器の機能は、CPU(Central Processing Unit)などのプロセッサ、RAM(Random Access Memory)などの揮発性メモリ及びROM(Read-Only Memory)などの不揮発性メモリ等からなるコンピュータシステム(図示せず)により実現されてもよい。演算器の機能の一部又は全部は、CPUがRAMをワークエリアとして用いてROMに記録されたプログラムを実行することによって実現されてもよい。なお、演算器の機能の一部又は全部は、上記コンピュータシステムにより実現されてもよく、電子回路又は集積回路等の専用のハードウェア回路により実現されてもよく、上記コンピュータシステム及びハードウェア回路の組み合わせにより実現されてもよい。
 具体的には、情報処理装置100は、例えば、コンピュータ、パーソナルコンピュータ等のコンピュータ装置で構成されてもよい。又は、情報処理装置100は、例えば、マイクロコントローラ、MPU(Micro Processing Unit)、LSI(Large Scale Integration:大規模集積回路)、システムLSI、PLC(Programmable Logic Controller)、論理回路等で構成されてもよい。情報処理装置100の複数の機能は、個別に1チップ化されることで実現されてもよく、一部又は全てを含むように1チップ化されることで実現されてもよい。また、回路はそれぞれ、汎用的な回路でもよく、専用の回路でもよい。LSIとして、LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、LSI内部の回路セルの接続及び/又は設定を再構成可能なリコンフィギュラブルプロセッサ、又は、特定用途向けに複数の機能の回路が1つにまとめられたASIC(Application Specific Integrated Circuit)等が利用されてもよい。
 情報処理装置100は、操作端末20と通信網90を介して情報を送受信し、ロボット操作のトレーニングをするコンピュータプログラムを操作端末20で実行中に、ユーザによって操作端末20に入力されたロボット操作の情報である第一情報を受け付け、第一情報に基づき、トレーニングを管理する。さらに、情報処理装置100は、トレーニングの実行中、第一情報に基づき、トレーニングの結果を評価する。例えば、第一トレーニングでは、情報処理装置100は、操作端末20と接続し、第一情報と、トレーニング内容に含まれるロボット操作との比較結果に基づき、上記評価をする。例えば、情報処理装置100は、両者の間の位置及び所要時間等の差異に基づき、評価を決定してもよい。
 第二トレーニングでは、情報処理装置100は、操作端末20とシミュレート装置200とを接続し、第一情報に基づき動作するシミュレート装置200のロボットモデルの動作と、トレーニング内容に含まれる動作との比較結果に基づき、上記評価をする。情報処理装置100は、ロボットモデルの個々の動作と、トレーニングで実行されるべき動作とを比較し、例えば、両者の間の位置及び所要時間等の差異に基づき、評価を決定してもよい。又は、シミュレート装置200が、ロボットモデルの動作結果を評価するように構成されてもよい。情報処理装置100は、シミュレート装置200から当該評価を受信し、受信した評価に基づき、トレーニングの評価を決定してもよい。
 さらに、情報処理装置100は、いずれのトレーニングにおいても、操作端末20を操作するユーザに対する評価であるユーザ評価として、トレーニングの結果の評価を登録する。例えば、情報処理装置100は、ユーザ評価を記憶装置に登録する。当該記憶装置は、情報処理装置100の記憶装置であってもよく、仲介装置10が含む記憶装置(図示せず)であってもよく、通信網90等を介して仲介装置10と接続された他の装置の記憶装置であってもよい。また、情報処理装置100は、トレーニングの結果の評価を操作端末20に送信することで、出力装置31を介してユーザに提示させる。
 また、情報処理装置100は、例えば、操作端末20においてトレーニングのコンピュータプログラムが実行されると、登録されたユーザ評価に基づき、ユーザが実行可能であるトレーニングを決定する。さらに、情報処理装置100は、決定したトレーニングを操作端末20に送信することで、出力装置31を介してユーザに提示させる。例えば、決定及び提示されるトレーニングは、トレーニングの構成であってもよく、トレーニングの構成は、トレーニング内容と、当該トレーニング内容を実行するロボットモデルを動作させる装置とを含む。上記装置は、操作端末20、シミュレートコンピュータ40又はシミュレートロボット50である。
 また、情報処理装置100は、第一トレーニング及び第二トレーニングの中からのトレーニングの選択の要求を、操作端末20を介して受け付ける。情報処理装置100は、選択されたトレーニングを実行する。第一トレーニングでは、操作端末20がトレーニングを実行し、情報処理装置100はトレーニング結果を評価する。
 第二トレーニングでは、情報処理装置100は、操作端末20から受信するロボット操作の第一情報を、シミュレート装置200のロボットモデルを操作するための情報である第二情報に変換する。情報処理装置100は、当該第二情報をシミュレート装置200に送信し、当該第二情報に従ってこれを動作させる。
 また、情報処理装置100は、第二情報に従って動作するシミュレート装置200から、このロボットモデルの動作の情報である第三情報を受信し、当該第三情報を、操作端末20が処理可能な情報である第四情報に変換する。例えば、情報処理装置100は、シミュレート装置200のロボットモデルの個々の動作を示す第三情報を受信し、当該第三情報を、操作端末20の実行プログラム上で機能する情報としての第四情報に変換する。情報処理装置100は、第四情報を操作端末20に送信することで、当該操作端末20に、シミュレート装置200のロボットモデル、又は、当該ロボットモデルに擬似するロボットモデル若しくは対応するモデルの動作を、出力装置31を介してユーザに提示させる。対応するモデルは、ロボットモデルと関連付けられたモデルあってよく、例えば、見かけ上でロボットモデルと類似していなくてもよい。
 例えば、情報処理装置100は、撮像装置によって撮像されるシミュレートロボット50のロボット50Aの画像の情報を第三情報として受信し、当該画像の情報を第四情報として操作端末20に送信することで、ロボットモデルの動作の情報として操作端末20に提示させてもよい。このように、ユーザは、操作端末20を介して、シミュレートコンピュータ40又はシミュレートロボット50のロボットモデルを、視覚的に認識しつつロボット操作のトレーニングをすることができる。
 また、情報処理装置100は、ユーザによって操作端末20に入力される、実行を要求するトレーニング内容に基づき、複数存在するシミュレート装置200の中から、当該トレーニング内容に対応するシミュレート装置200を決定する。さらに、情報処理装置100は、決定したシミュレート装置200と操作端末20とを通信網90を介して接続させることで、これを用いたトレーニングの実行を可能にする。
 [ハードウェア構成]
 操作端末20のハードウェア構成を説明する。図2は、実施の形態に係る操作端末20のハードウェア構成の一例を示すブロック図である。図2に示すように、操作端末20は、ゲーム機としての操作端末本体21と、ゲームコントローラとしての操作器22とを備える。操作端末本体21は、トレーニングのコンピュータプログラムを実行することができ、操作器22はユーザによる操作の入力を受け付ける。操作端末本体21は、CPU201と、ROM202と、RAM203と、メモリ204と、メディアI/F(インタフェース:Interface)205と、ネットワークI/F206と、第一入出力I/F207と、画像プロセッサ208と、第二入出力I/F209と、音声プロセッサ210と、第三入出力I/F211と、記録媒体ドライブ212とを構成要素として含む。各構成要素は、バス等によって接続されるが、他のいかなる有線通信又は無線通信で接続されてもよい。なお、上記構成要素の全てが必須ではない。
 CPU201は、操作端末本体21全体の動作を制御する。ROM202は、CPU201の駆動に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。メモリ204は、プログラム等の各種データを記憶し、上述した記憶装置で構成される。メディアI/F205は、フラッシュメモリ等の記録メディア71に対するデータの読み出し又は書き込み(記憶)を制御する。例えば、トレーニングを実行するためのコンピュータプログラムは、記録メディア71に記憶され、記録メディア71から読み出されることで実行されてもよい。トレーニングの結果等を含むセーブデータが、記録メディア71又はメモリ204に記憶されてもよい。ネットワークI/F206は、通信網90を利用してデータ通信をするためのインタフェースである。第一入出力I/F207は、操作器22と接続され、信号等の通信をするためのインタフェースである。
 画像プロセッサ208は、トレーニングを行うための画面を生成可能なGPU(Graphics Processing Unit)を備える。例えば、画像プロセッサ208は、操作端末本体21が生成するロボットモデル又はシミュレートコンピュータ40若しくはシミュレートロボット50のロボットモデルの画像、当該ロボットモデルに擬似するロボットモデルの画像、当該ロボットモデルに対応するモデルの画像等の画面データを生成し第二入出力I/F209に出力する。第二入出力I/F209は、出力装置31と接続され、画面データ及び画像データの通信をするためのインタフェースである。
 音声プロセッサ210は、トレーニングを行うための音声を生成するDSP(Digital Signal Processor)を備える。音声プロセッサ210は、生成した音声をD/Aコンバータを含むアンプ(図示せず)で増幅して第三入出力I/F211に出力する。第三入出力I/F211は、出力装置31と接続され、音声信号等の通信をするためのインタフェースである。記録媒体ドライブ212は、着脱可能な記録媒体72に対する各種データの読み出し又は書き込みを制御する。例えば、トレーニングを実行するためのコンピュータプログラムは、記録媒体72に記憶され、記録媒体72から読み出されることで実行されてもよい。トレーニングの結果等を含むセーブデータが、記録媒体72に記憶されてもよい。記録媒体72の例は、DVD-R、DVD-RW、BD(Blu-ray(登録商標))-R、BD-RE等の記録ディスクである。
 操作器22は、ユーザによる入力を受け付ける。例えば、操作器22は、十字ボタン、プッシュスイッチ、ダイヤル、ジョイスティック、マウス、キー及びタッチパネル等のユーザの操作を介して入力される入力装置221を含む。さらに、操作器22は、操作端末本体21の第一入出力I/F207と接続され信号等の通信をするための操作入出力I/F222を含む。入力装置221は、ユーザの入力を示す信号を生成し、当該信号を操作入出力I/F222を介して第一入出力I/F207に出力する。本実施の形態では、入力装置221の構成は、ロボットの専用の操作装置と異なる。例えば、入力装置221の数量、及び入力装置221への入力方法等が異なる。ロボットの専用の操作装置が出力する操作のための信号は、入力装置221が出力する操作のための信号と異なり、例えば、より複雑である。
 仲介装置10のハードウェア構成を説明する。図3は、実施の形態に係る仲介装置10のハードウェア構成の一例を示すブロック図である。図3に示すように、仲介装置10は、CPU101と、ROM102と、RAM103と、メモリ104と、ネットワークI/F106と、入出力I/F107とを構成要素として含む。各構成要素は、バス等によって接続されるが、他のいかなる有線通信又は無線通信で接続されてもよい。なお、上記構成要素の全てが必須ではない。
 CPU101は、仲介装置10全体の動作を制御する。ROM102、RAM103及びメモリ104それぞれの構成及び機能は、操作端末20のROM202、RAM203及びメモリ204と同様である。CPU101、ROM102、RAM103及びメモリ104は、情報処理装置100を構成する。ネットワークI/F106及び入出力I/F107それぞれの構成及び機能は、操作端末20のネットワークI/F206及び第一入出力I/F207と同様である。
 なお、入出力I/F107は、入力装置113と接続され、信号等の通信をするためのインタフェースである。入力装置113は、ユーザによる入力を受け付ける。例えば、入力装置113は、ボタン、スイッチ、ダイヤル、ジョイスティック、マウス、キー及びタッチパネル等のユーザの操作を介して入力される装置を含む。入力装置113は、ユーザの入力を示す信号を生成し、当該信号を入出力I/F107に出力する。
 シミュレートコンピュータ40のハードウェア構成を説明する。図4は、実施の形態に係るシミュレートコンピュータ40のハードウェア構成の一例を示すブロック図である。図4に示すように、シミュレートコンピュータ40は、CPU401と、ROM402と、RAM403と、メモリ404と、ネットワークI/F406と、第一入出力I/F407と、画像プロセッサ408と、第二入出力I/F409とを構成要素として含む。各構成要素は、バス等によって接続されるが、他のいかなる有線通信又は無線通信で接続されてもよい。なお、上記構成要素の全てが必須ではない。
 CPU401は、シミュレートコンピュータ40全体の動作を制御する。ROM402、RAM403及びメモリ404それぞれの構成及び機能は、操作端末20のROM202、RAM203及びメモリ204と同様である。ネットワークI/F406、第一入出力I/F407、画像プロセッサ408及び第二入出力I/F409それぞれの構成及び機能は、操作端末20のネットワークI/F206、第一入出力I/F207、画像プロセッサ208及び第二入出力I/F209と同様である。
 なお、第一入出力I/F407は、入力装置413と接続され、信号等の通信をするためのインタフェースである。入力装置413は、ユーザによる入力を受け付ける。入力装置413の構成は、仲介装置10の入力装置113と同様である。また、画像プロセッサ408は、シミュレートコンピュータ40に設定されたロボットモデルの画像の画面データを生成し第二入出力I/F409に出力する。第二入出力I/F409は、ディスプレイ414と接続され、画面データ及び画像データの通信をするためのインタフェースである。
 シミュレートロボット50のハードウェア構成を説明する。図5は、実施の形態に係るシミュレートロボット50のハードウェア構成の一例を示すブロック図である。図5に示すように、シミュレートロボット50は、制御装置51と、撮像装置517と、ディスプレイ514と、操作装置518と、駆動装置519とを備える。なお、上記構成要素の全てが必須ではない。
 駆動装置519は、ロボット50A(図1参照)の可動部分を駆動する装置である。例えば、ロボット50Aは、ロボットアームと、ロボットアームの先端のエンドエフェクタとを備える。ロボットアームは、屈曲する関節を有し、関節において可動である。エンドエフェクタは、把持、吸着、掬い上げ及び吊り下げ等のワークに対する作用を加える動作をする。駆動装置519は、ロボットアームの関節及びエンドエフェクタ等を駆動する。駆動装置519の例は、サーボモータ等の電気モータ及び真空発生装置等である。
 撮像装置517は、ロボット50Aを撮像し、撮像した画像データを制御装置51に出力する。撮像装置517は、シミュレートロボット50を使用するユーザに、ロボット50Aの状態を示す画像を提供する。本実施の形態では、当該画像は、操作端末20及び指導端末60に提供される。撮像装置517の例は、デジタルカメラ及びデジタルビデオカメラ等である。
 ディスプレイ514は、撮像装置517によって撮像された画像データを、制御装置51から受け取り、当該画像データの画像をユーザに提示する。また、ディスプレイ514は、シミュレートロボット50の操作用の画面データを制御装置51から受け取り、当該画面データの画像をユーザに提示する。
 操作装置518は、シミュレートロボット50を使用するユーザによる指令及び情報の入力を受け付け、当該指令及び情報を示す信号を制御装置51に出力する。操作装置518は、プッシュスイッチ、レバー、ダイヤル、ジョイスティック、キー及びタッチパネル等のユーザの操作を介して入力される装置を含む。本実施の形態では、操作装置518は、ロボット50Aの専用の操作装置である。
 制御装置51は、シミュレートロボット50全体を制御する装置である。制御装置51は、CPU501と、ROM502と、RAM503と、メモリ504と、撮像I/F515と、ネットワークI/F506と、第一入出力I/F507と、画像プロセッサ508と、第二入出力I/F509と、駆動回路516とを構成要素として含む。各構成要素は、バス等によって接続されるが、他のいかなる有線通信又は無線通信で接続されてもよい。なお、上記構成要素の全てが必須ではない。
 CPU501は、制御装置51全体の動作を制御する。ROM502、RAM503及びメモリ504それぞれの構成及び機能は、操作端末20のROM202、RAM203及びメモリ204と同様である。ネットワークI/F506、第一入出力I/F507、画像プロセッサ508及び第二入出力I/F509それぞれの構成及び機能は、操作端末20のネットワークI/F206、第一入出力I/F207、画像プロセッサ208及び第二入出力I/F209と同様である。
 なお、第一入出力I/F507は、操作装置518と接続され、信号等の通信をするためのインタフェースである。また、画像プロセッサ508は、撮像装置517によって撮像されたロボット50Aの画像データを用いて、ディスプレイ514に表示するための画面データを生成し第二入出力I/F509に出力する。また、画像プロセッサ508は、シミュレートロボット50を操作するための画面データを生成し第二入出力I/F509に出力する。第二入出力I/F509は、ディスプレイ514と接続され、画面データ及び画像データの通信をするためのインタフェースである。
 撮像I/F515は、プログラムの実行に対応して、撮像装置517の駆動を制御する。撮像I/F515は、プログラムの実行に対応して、撮像装置517によって撮像された画像データをRAM503又はメモリ504に取り込む。撮像I/F515は、撮像装置517の駆動のための回路等を含んでもよい。
 駆動回路516は、駆動装置519の駆動を制御する。例えば、駆動回路516は、CPU501の指令に従って電流を各駆動装置519に供給し、当該駆動装置519の駆動を制御する。駆動回路516は、全ての駆動装置519の駆動を制御する。
 指導端末60のハードウェア構成を説明する。図6は、実施の形態に係る指導端末60のハードウェア構成の一例を示すブロック図である。図6に示すように、指導端末60は、制御装置61と操作装置62とを備える。操作装置62は、指導端末60を使用するユーザによる指令及び情報の入力を受け付け、当該指令及び情報を示す信号を制御装置61に出力する。操作装置62は、プッシュスイッチ、レバー、ダイヤル、ジョイスティック、キー及びタッチパネル等のユーザの操作を介して入力される装置を含む。本実施の形態では、操作装置62は、シミュレートロボット50の操作装置518と同様に、ロボットの専用の操作装置である。
 制御装置61は、CPU601と、ROM602と、RAM603と、メモリ604と、ネットワークI/F606と、第一入出力I/F607と、画像プロセッサ608と、第二入出力I/F609と、音声プロセッサ610と、第三入出力I/F611とを構成要素として含む。各構成要素は、バス等によって接続されるが、他のいかなる有線通信又は無線通信で接続されてもよい。なお、上記構成要素の全てが必須ではない。
 CPU601は、制御装置61全体の動作を制御する。ROM602、RAM603及びメモリ604それぞれの構成及び機能は、操作端末20のROM202、RAM203及びメモリ204と同様である。ネットワークI/F606、第一入出力I/F607、画像プロセッサ608、第二入出力I/F609、音声プロセッサ610及び第三入出力I/F611の構成及び機能は、操作端末20のネットワークI/F206、第一入出力I/F207、画像プロセッサ208、第二入出力I/F209、音声プロセッサ210及び第三入出力I/F211と同様である。
 なお、第一入出力I/F607は、操作装置62と接続され、信号等の通信をするためのインタフェースである。また、画像プロセッサ608は、操作端末20及びシミュレート装置200から受信するデータを用いて、出力装置32に表示するための画面データを生成し第二入出力I/F609に出力する。また、画像プロセッサ608は、指導端末60を操作するための画面データを生成し第二入出力I/F609に出力する。第二入出力I/F609は、出力装置32と接続され、画面データ及び画像データの通信をするためのインタフェースである。音声プロセッサ610は、操作端末20及びシミュレート装置200から受信するデータを用いて、出力装置32に出力させるための音声データを生成し第三入出力I/F611に出力する。第三入出力I/F611は、出力装置32と接続され、音声プロセッサ610によって生成された音声データの通信をするためのインタフェースである。
 [機能的構成]
 操作端末20の機能的構成を説明する。図7は、実施の形態に係る操作端末20の機能的構成の一例を示すブロック図である。図7に示すように、操作器22は、入力部22a及び出力部22bを含む。入力部22aは、ユーザからの入力を受け付け、その機能は入力装置221によって実現される。出力部22bは、入力部22aに入力された情報を操作端末本体21に出力し、その機能は操作入出力I/F222によって実現される。上記情報は、入力装置221のボタン等のON又はOFF、ONの継続時間等の情報であってもよい。
 操作端末本体21は、通信部21aと、入力部21bと、プログラム実行部21cと、読込部21dと、記憶部21eと、出力部21fとを含む。なお、上記構成要素の全てが必須ではない。通信部21aは、通信網90を介して仲介装置10と通信し、その機能はネットワークI/F206等によって実現される。入力部21bは、操作器22から情報の入力を受け付け、その機能は第一入出力I/F207等によって実現される。読込部21dは、記録メディア71及び/又は記録媒体72から、これらに格納された情報を読み込み、その機能はメディアI/F205及び記録媒体ドライブ212等によって実現される。
 記憶部21eは、種々の情報を記憶し、ROM202、メモリ204、記録メディア71及び記録媒体72等によって実現される。例えば、記憶部21eには、各ユーザのユーザ情報が記憶される。ユーザ情報は、ユーザID等のユーザの識別情報、及び、操作端末20を用いたユーザのトレーニングの結果等を含み得る。トレーニングの結果は、各トレーニングを実施した結果、評価及び実績、各トレーニングにおけるユーザの習熟度、当該習熟度に応じたユーザのランク又は階級等を含んでもよい。ランク及び階級は、習熟度に対応する絶対的なランクであってもよく、他のユーザとの対比による順位等の相対的なランクであってもよい。記憶部21eへのユーザ情報の記憶は、プログラム実行部21cによって定期的に自動で行われてもよく、ユーザが操作器22を用いて入力又はセーブ操作することで行われてもよい。
 出力部21fは、プログラム実行部21cによって生成された画像データ及び音声データを出力装置31に出力し、その機能は第二入出力I/F209及び第三入出力I/F211等によって実現される。
 プログラム実行部21cは、記録メディア71又は記録媒体72等に格納されたコンピュータプログラムを読み込み実行する。コンピュータプログラムは、トレーニングを実行するためのプログラムであり、本実施の形態で、ゲームプログラムである。つまり、本実施の形態では、トレーニングは、操作端末20においてゲームとして実行される。なお、当該プログラムは、アプリケーションプログラムとして通信網90、記録メディア71又は記録媒体72等を介して操作端末20にインストールされ、ROM202又はメモリ204等に格納されていてもよい。
 プログラム実行部21cは、操作器22から受け取る情報と通信網90を介して受け取る情報とを用いて、コンピュータプログラムに従って動作し、受け取った情報を反映した画像データ及び音声データを生成する。プログラム実行部21cは、生成した画像データ及び音声データを出力部21fを介して出力装置31に出力しユーザに提示させる。また、プログラム実行部21cは、操作器22から受け取る操作の情報、及び記憶部21eに記憶されたユーザ情報等を、通信部21a及び通信網90を介して仲介装置10に送信する。プログラム実行部21cは、CPU201、ROM202、RAM203、画像プロセッサ208及び音声プロセッサ210等によって実現される。
 仲介装置10の機能的構成を説明する。図8は、実施の形態に係る仲介装置10の機能的構成の一例を示すブロック図である。図8に示すように、仲介装置10は、第一通信部10aと、第二通信部10bと、第三通信部10cと、第一受付部10dと、第二受付部10eと、決定部10fと、第一変換部10gと、第二変換部10hと、動作データ処理部10iと、判定部10j、記憶部10kとを含む。なお、上記構成要素の全てが必須ではない。
 第一通信部10a、第二通信部10b及び第三通信部10cの機能はネットワークI/F106等によって実現される。記憶部10kの機能は、ROM102及びメモリ104等によって実現される。第一受付部10d、第二受付部10e、決定部10f、第一変換部10g、第二変換部10h、動作データ処理部10i及び判定部10jの機能は、CPU101、ROM102、RAM103等によって実現される。
 第一通信部10aは、通信網90を介して操作端末20と通信する。第二通信部10bは、通信網90を介してシミュレートコンピュータ40又はシミュレートロボット50と通信する。第三通信部10cは、通信網90を介して指導端末60と通信する。
 記憶部10kは、種々の情報を記憶する。例えば、記憶部10kには、各ユーザのユーザ情報が、ユーザの識別情報と関連付けられて記憶されている。さらに、記憶部10kには、ユーザに設定されるランク又は階級等に基づくトレーニングの許可条件と、各許可条件において実行することができるトレーニングの構成とが関連付けられて記憶されている。上記トレーニングの構成は、トレーニング内容と、当該トレーニング内容を実行することができるロボットモデルを有する装置とを関連付けて含む。上記ロボットモデルを有する装置は、操作端末20、シミュレートコンピュータ40又はシミュレートロボット50である。また、記憶部10kは、各ロボットモデルを用いた各トレーニング内容の実行結果と、当該実行結果に関する評価とを関連付けて含んでもよい。また、記憶部10kは、上記評価と、当該評価に対応するトレーニング内容の習熟度とを関連付けて含んでもよい。また、記憶部10kは、トレーニング内容の習熟度と許可条件とを関連付けて含んでもよい。記憶部10kは、判定部10jが評価等の判定に用いる閾値等を含んでもよい。
 第一受付部10dは、操作端末20から受信するユーザ情報に基づき、ユーザが実行可能であるトレーニングの構成を抽出し当該ユーザに提示する。具体的には、第一受付部10dは、操作端末20からユーザ情報とトレーニングの実行指令とを受信し、当該ユーザ情報に含まれるユーザの識別情報に対応する許可条件を、記憶部10kから抽出する。さらに、第一受付部10dは、当該許可条件に対応するトレーニングの構成を抽出し、操作端末20に送信する。ユーザは、操作端末20が出力装置31に提示するトレーニングの構成から選択することができる。
 例えば、操作端末20は、出力装置31に図9に示すような画面S1を表示させる。図9は、実施の形態に係る操作端末20が提示するトレーニングの構成の選択画面の一例を示す図である。図9に示すように、画面S1には、各動作又は作業について、ユーザの許可条件としての階級「A」~「D」のいずれかが表示され、さらに、各動作又は作業のトレーニングに利用可能であるロボットモデルを有する装置のアイコンが表示されている。例えば、動作表示「動作1 階級B」は、「動作1」が「階級B」以上のユーザによってトレーニング可能であることを示す。各動作表示について、アイコン「端末」は、操作端末20のロボットモデルの利用可能を示し、アイコン「シミュレートコンピュータ」は、シミュレートコンピュータ40のロボットモデルの利用可能を示し、アイコン「シミュレートロボットA1タイプ」は、ロボット50A1を含むシミュレートロボット50の利用可能を示す。よって、ユーザは、装置のアイコンを選択することで、トレーニングを実行する動作又は作業と、使用するロボットモデルとを選択することできる。例えば、アイコン「端末」の選択は、第一トレーニングの選択を意味し、アイコン「シミュレートコンピュータ」及び「シミュレートロボット」の選択は、第二トレーニングの選択を意味する。
 決定部10fは、ユーザが実行するトレーニングの構成を決定する。決定部10fは、操作端末20においてユーザによって選択されたトレーニングの構成を操作端末20から受信する。決定部10fは、当該トレーニングの構成でのトレーニングの実行を決定し、トレーニングの構成のロボットモデルを有する装置に、トレーニングの構成のトレーニング内容の実行の指令を出力する。決定部10fは操作端末20と上記装置とを接続する。
 第一変換部10gは、第二トレーニングの実行中、操作端末20から受信するロボットモデルを操作するための第一情報を、シミュレート装置200のロボットモデルを操作するための第二情報に変換する。第一変換部10gは、第二情報を、トレーニングを実行しているシミュレート装置200に送信する。例えば、シミュレート装置200がシミュレートコンピュータ40である場合、第二情報は、第一情報に対応する動作を仮想的なロボットモデルに実行させるために入力装置413からシミュレートコンピュータ40に出力される情報に対応する。シミュレート装置200がシミュレートロボット50である場合、第二情報は、第一情報に対応する動作をロボット50Aに実行させるために操作装置518から制御装置51に出力される情報に対応する。
 動作データ処理部10iは、第二トレーニングの実行中、シミュレート装置200から受信するロボットモデルの動作データを、操作端末20でのロボットモデルの画像表示に対応する動作データに変換する処理をし、操作端末20に送信する。
 例えば、シミュレート装置200がシミュレートコンピュータ40である場合、シミュレート装置200から受信する動作データは、ロボットモデルの画像で構成されてもよく、ロボットモデルの動作を示す簡略化された画像で構成されてもよく、ロボットモデルの動作を表すベクトル及び座標等の数値データであってもよい。例えば、簡略化された画像は、ロボットモデルの骨格を表す画像であってもよい。変換後の動作データは、操作端末20で表示されるロボットモデルの画像で構成されてもよく、シミュレートコンピュータ40が生成する仮想的なロボットモデルの画像で構成されてもよく、上記ロボットモデルの動作を示す簡略化された画像で構成されてもよく、上記ロボットモデルの動作を表す数値データであってもよい。
 例えば、シミュレート装置200がシミュレートロボット50である場合、シミュレート装置200から受信する動作データは、撮像装置517によって撮像されたロボット50Aの画像データで構成され得る。変換後の動作データは、ロボット50Aの撮像画像データで構成されてもよく、当該撮像画像内の特徴部等によりロボット50Aの動作を示す簡略化された画像で構成されてもよく、当該ロボット50Aの動作を表す数値データであってもよい。簡略化された画像は、仮想的なロボットモデルの画像であってもよく、この場合、CG(コンピュータグラフィックス:Computer Graphics)又はアニメーション等を用いた画像であってもよい。上記仮想的なロボットモデルは、ロボット50Aと類似してもよく非類似であってもよい。
 判定部10jは、操作端末20及びシミュレート装置200のロボットモデルによって実行されたトレーニングの結果を評価する。さらに、判定部10jは、当該評価に基づき、ユーザの習熟度を判定し、さらに、習熟度に基づき、ユーザのランク又は階級等を決定する。判定部10jは、評価、習熟度、ランク及び階級の少なくとも1つの情報を操作端末20に送信し、操作端末20は受信した情報を出力装置31に提示させる。また、判定部10jは、評価、習熟度、ランク及び階級を、新たなユーザ情報として記憶部10kに記憶させる。
 なお、判定部10jは、操作端末20及びシミュレート装置200でのロボットモデルの動作とトレーニングで実行すべきロボットモデルの動作との差異と、その閾値との関係に基づき、評価を決定してもよい。当該差異は、ロボットモデルの各部の位置の差異、及び動作に要する時間の差異等を含んでもよい。又は、操作端末20及び/又はシミュレート装置200がトレーニングの結果を評価し、判定部10jに送信することで、判定部10jが当該評価を利用してもよい。
 第二受付部10eは、第一トレーニング及び第二トレーニングにおいて、操作端末20及びシミュレート装置200からロボットモデルの動作データを受信し、第二変換部10hに出力する。操作端末20のロボットモデルの動作データは、ロボット操作の第一情報であってもよい。さらに、第二受付部10eは、指導端末60に入力された補助指令を受信し、第二変換部10hに出力する。
 第二変換部10hは、操作端末20及びシミュレート装置200のロボットモデルの動作データを、指導端末60でのロボットモデルの動作の画像表示等の提示に対応する動作データに変換し、指導端末60に送信する。例えば、第二変換部10hは、操作端末20のユーザが出力装置31上で認識するロボットモデルと同様に提示するように、動作データを変換してもよい。また、第二変換部10hは、補助指令を、操作端末20での画像表示等の提示に対応する情報に変換し、操作端末20に送信する。
 例えば、操作端末20は、第二変換部10hから受信する変換後の補助指令を、図10に示すような画面S2として出力装置31に表示させる。図10は、実施の形態に係る操作端末20が提示する補助指令の画面の一例を示す図である。図10に示すように、画面S2には、ユーザが操作端末20を用いて操作するロボットモデルの画像と、補助指令を示すための操作器22の画像とが表示されている。図10では、ロボットモデルの画像は、実機のロボット50Aの画像である。補助指令は、操作器22の付された指標Ad1及びAd2を表示する指令である。指標Ad1は、操作器22において現在押すべきボタンの組み合わせを明示し、指標Ad2は、次に押すべきボタンの組み合わせを明示する。各指標に付随する数値は、押圧する順序である。
 シミュレートコンピュータ40の機能的構成を説明する。図11は、実施の形態に係るシミュレートコンピュータ40の機能的構成の一例を示すブロック図である。図11に示すように、シミュレートコンピュータ40は、通信部40aと、受付部40bと、プログラム実行部40cと、判定部40dと、動作データ出力部40eと、記憶部40fとを含む。なお、上記構成要素の全てが必須ではない。通信部40aの機能はネットワークI/F406等によって実現される。記憶部40fの機能はROM402及びメモリ404等によって実現される。受付部40b、プログラム実行部40c、判定部40d及び動作データ出力部40eの機能は、CPU401、ROM402、RAM403等によって実現される。
 通信部40aは、通信網90を介して仲介装置10と通信する。記憶部40fは、種々の情報を記憶する。例えば、記憶部40fは、シミュレートコンピュータ40で実行可能である各シミュレーション内容について、当該シミュレーションで実行されるロボットモデルの各動作の位置及び所要時間の情報を記憶していてもよい。シミュレーション内容は、シミュレーションで実行されるロボットの動作又は作業を含む。また、記憶部40fは、判定部40dが評価に用いる閾値等を記憶していてもよい。
 受付部40bは、仲介装置10から、シミュレーションの実行の指令であるトレーニングの実行の指令と、実行するトレーニング内容の情報とを受信する。受付部40bは、記憶部40fにおいて、受信したトレーニング内容に対応するシミュレーション内容を抽出する。受付部40bは、抽出したシミュレーション内容でのシミュレーションの実行の指令をプログラム実行部40cに出力する。また、実行開始後、受付部40bは、仲介装置10の第一変換部10gから仮想的なロボットモデルを操作するための第二情報を受信し、プログラム実行部40cに出力する。
 プログラム実行部40cは、指令されたシミュレーション内容のコンピュータプログラムを実行する。当該プログラムは、ROM402又はメモリ404に記憶される。プログラム実行部40cは、受付部40bから受け取る第二情報とコンピュータプログラムとに従って、当該第二情報に対応する動作を仮想的なロボットモデルに実行させる。
 動作データ出力部40eは、プログラム実行部40cが動作させるロボットモデルから、その動作結果を示す動作結果データを検出する。当該動作結果データは、ロボットモデルの画像、ロボットモデルの骨格等の簡略された画像、ロボットモデルの各部の位置、当該位置への所要時間等を含んでもよい。さらに、動作データ出力部40eは、動作結果データから動作データを生成し、仲介装置10に送信する。当該動作データは、仲介装置10の動作データ処理部10iの説明で上述した動作データある。
 判定部40dは、動作データ出力部40eによって生成された動作データを用いて、シミュレーションの結果、つまりトレーニングの結果を評価し、当該評価を仲介装置10に送信する。判定部40dは、仲介装置10の判定部10jと同様に、当該評価を決定する。さらに、判定部40dは、ユーザの習熟度、ランク及び階級等を決定し仲介装置10に送信してもよい。
 シミュレートロボット50の機能的構成を説明する。図12は、実施の形態に係るシミュレートロボット50の機能的構成の一例を示すブロック図である。図12に示すように、シミュレートロボット50は、通信部50aと、受付部50bと、撮像制御部50cと、画像処理部50dと、駆動制御部50eと、状態検出部50fと、判定部50gと、記憶部50hと、撮像装置517と、駆動装置519等を含む。なお、上記構成要素の全てが必須ではない。通信部50a、受付部50b、撮像制御部50c、画像処理部50d、駆動制御部50e、状態検出部50f、判定部50g及び記憶部50hは、制御装置51を構成する。通信部50aの機能はネットワークI/F506等によって実現される。記憶部50hの機能はROM502及びメモリ504等によって実現される。受付部50b、撮像制御部50c、画像処理部50d、駆動制御部50e、状態検出部50f及び判定部50gの機能は、CPU501、ROM502、RAM503等によって実現される。
 通信部50aは、通信網90を介して仲介装置10と通信する。記憶部50hは、種々の情報を記憶する。例えば、記憶部50hは、シミュレートロボット50で実行可能である各シミュレーション内容について、当該シミュレーションで実行されるロボット50Aの各動作の位置、作用力及び所要時間の情報を記憶していてもよい。作用力の例は、ロボットのエンドエフェクタが対象物を押す又は引っ張る力等である。また、記憶部50hは、判定部50gが評価に用いる閾値等を記憶していてもよい。
 受付部50bは、仲介装置10から、シミュレーションの実行の指令であるトレーニングの実行の指令と、実行するトレーニング内容の情報とを受信する。受付部50bは、記憶部50hにおいて、受信したトレーニング内容に対応するシミュレーション内容を抽出する。受付部50bは、抽出したシミュレーション内容でのシミュレーションの実行の指令を撮像制御部50c及び駆動制御部50eに出力する。また、実行開始後、受付部50bは、仲介装置10の第一変換部10gからロボット50Aを操作するための第二情報を受信し、駆動制御部50eに出力する。
 撮像制御部50cは、シミュレーションの実行の指令を受け取ると、撮像装置517を起動し撮像させる。撮像装置517は、ロボット50A、例えば、そのエンドエフェクタを撮像し、撮像した画像を画像処理部50dに出力する。画像処理部50dは、撮像装置517から受け取った画像の画像データを仲介装置10に送信する。
 駆動制御部50eは、受付部50bから受け取る第二情報に従って、駆動装置519を駆動することによって、ロボット50Aに当該第二情報に対応する動作を実行させる。
 状態検出部50fは、ロボット50Aの各部の状態を検出し、検出結果を判定部50gに出力する。例えば、状態検出部50fは、上記状態として、ロボット50Aの可動部分の動作量を検出することで、各部の3次元位置を検出してもよい。このとき、状態検出部50fは、駆動装置519に設けられた回転センサの検出値からロボット50Aの可動部分の動作量を検出してもよい。また、状態検出部50fは、上記状態として、ロボット50Aのエンドエフェクタに作用する力である作用力を検出してもよい。このとき、状態検出部50fは、エンドエフェクタに設けられた力覚センサ等の力センサの検出値から作用力を検出してもよい。状態検出部50fは、タイマを備え、上記状態として、ロボット50Aの各動作間の所要時間を検出してもよい。駆動制御部50eは、状態検出部50fの検出結果をフィードバック情報として用いて駆動装置519の駆動を制御してもよい。
 判定部50gは、状態検出部50fの検出結果を用いて、シミュレーションの結果、つまりトレーニングの結果を評価し、当該評価を仲介装置10に送信する。判定部50gは、仲介装置10の判定部10jと同様に、当該評価を決定する。さらに、判定部50gは、ユーザの習熟度、ランク及び階級等を決定し仲介装置10に送信してもよい。
 指導端末60の機能的構成を説明する。図13は、実施の形態に係る指導端末60の機能的構成の一例を示すブロック図である。図13に示すように、指導端末60は、通信部60aと、実行内容受付部60bと、動作データ受付部60cと、提示部60dと、補助指令受付部60eと、判定受付部60fと、記憶部60gと、操作装置62とを含む。なお、上記構成要素の全てが必須ではない。
 通信部60aの機能はネットワークI/F606等によって実現される。記憶部60gの機能は、ROM602及びメモリ604等によって実現される。実行内容受付部60b、動作データ受付部60c、提示部60d、補助指令受付部60e及び判定受付部60fの機能は、CPU601、ROM602、RAM603等によって実現される。
 通信部60aは、通信網90を介して仲介装置10と通信する。記憶部60gは、種々の情報を記憶する。例えば、記憶部60gは、種々のトレーニング内容、実行内容受付部60bが受け付けた情報等を記憶してもよい。
 実行内容受付部60bは、仲介装置10から操作端末20が実行しているトレーニング内容を受信し、提示部60dに出力する。
 動作データ受付部60cは、操作端末20及びシミュレート装置200から、仲介装置10を介してロボットモデルの動作データを受信し、提示部60dに出力する。例えば、動作データ受付部60cは、第一トレーニングでは操作端末20のロボットモデルの動作データを取得し、第二トレーニングではシミュレート装置200のロボットモデルの動作データを取得する。操作端末20の動作データは、ロボット操作の第一情報であってもよい。
 提示部60dは、動作データ受付部60cから受け取る動作データを用いて、当該動作データに従って動作するロボットモデルの画像等を生成し、出力装置32に出力する。提示部60dは、ロボットモデルの画像の生成に、操作端末20が生成するロボットモデルの画像を用いてもよく、シミュレートコンピュータ40が生成するロボットモデルの画像を用いてもよく、シミュレートロボット50において撮像されるロボット50Aの画像を用いてもよい。これにより、指導者は、操作端末20においてユーザが操作するロボットモデルと同様の動作をするロボットモデルを確認することができる。また、提示部60dは、操作端末20が実行しているトレーニング内容を出力装置32に出力し指導者に提示させる。このとき、提示部60dは、文字列又は音声等でトレーニング内容を提示する情報を出力してもよく、ロボットモデルの画像等でトレーニング内容を提示する情報を出力してもよい。
 補助指令受付部60eは、指導者によって操作装置62に入力された情報である補助指令を、操作装置62から受信し、仲介装置10に送信する。補助指令は、仲介装置10から操作端末20に送信される。補助指令は、出力装置32に提示されるロボットモデルに対して、当該ロボットモデルの動作を適正に補助、誘導又は案内するために、指導者によって操作装置62に入力された情報である。例えば、指導者が操作装置62に適正なロボット操作を入力し、補助指令受付部60eが入力された情報を用いて補助指令を生成してもよい。
 判定受付部60fは、出力装置32に提示されるロボットモデルの動作の結果に対する評価を受け付ける。判定受付部60fは、指導者によって操作装置62に入力される評価を受信し、当該評価をトレーニングの評価として仲介装置10に送信する。これにより、ユーザへの指導者による評価の提示が可能になる。
 <トレーニングシステムの動作>
 実施の形態に係るトレーニングシステム1の動作を説明する。図14A~図14Cは、実施の形態に係るトレーニングシステム1の動作の流れの一例を示すシーケンス図である。以下において、指導端末60を用いたロボット操作の補助が行われる例を説明する。
 図14Aに示すように、ユーザは、操作端末20において、ロボット操作のトレーニングのゲームプログラムを起動する(ステップS101)。次いで、ユーザは、ユーザ情報であるユーザの識別情報等を操作端末20に入力し、操作端末20は当該識別情報等を仲介装置10に送信する(ステップS102)。つまり、ユーザは、トレーニングのゲームにログインする。ユーザの識別情報は予め、仲介装置10に登録されている。
 次いで、仲介装置10は、受信したユーザの識別情報を認証し、当該識別情報に対応するトレーニングの許可条件を抽出し、抽出した許可条件に対応するトレーニングの構成を抽出する。そして、仲介装置10は、抽出したトレーニングの構成を、当該ユーザが実行可能であるトレーニングの構成として操作端末20に送信する(ステップS103)。トレーニングの構成は、トレーニング内容と、当該トレーニング内容を実行するロボットモデルを有する装置との組み合わせである。
 次いで、ユーザは、操作端末20を用いて、例えば、図9に示すように、出力装置31に表示される実行可能なトレーニングの構成から、実行する構成を決定する。操作端末20は、決定されたトレーニングの構成を仲介装置10に送信する(ステップS104)。
 次いで、仲介装置10は、受信したトレーニングの構成のロボットモデルを有する装置が操作端末20であるか否かを判定する(ステップS105)。仲介装置10は、操作端末20である場合(ステップS105でYes)、ステップS106に進み、操作端末20でない場合(ステップS105でNo)、ステップS107に進む。
 ステップS106において、仲介装置10は、仲介装置10が接続可能である指導端末60の中から、ステップS104で受信したトレーニングの構成に対する補助動作を実行することができる指導端末60を抽出し当該指導端末60と操作端末20とを接続する。
 次いで、仲介装置10は、操作端末20にトレーニングの実行の指令を送信する(ステップS108)。次いで、操作端末20は、トレーニングの実行を開始する(ステップS109)。そして、操作端末20は、トレーニングの実行中、ユーザによって入力される操作を示す第一情報を仲介装置10に送信する(ステップS110)。
 仲介装置10は、第一情報をロボットモデルの動作を示す動作データに変換し、指導端末60に送信する(ステップS111)。指導端末60は、動作データに対応して動作するロボットモデルを出力装置32を介して指導者に提示する。なお、仲介装置10は、第一情報として、操作端末20が出力装置31に表示するロボットモデルの画像データを受信し、当該画像データを指導端末60に送信してもよい。指導端末60は、受信した画像データを出力装置32に表示させてもよい。さらに、指導者によって、ロボットモデルの動作を適正化するためのロボット操作の補助指令が入力されると、指導端末60は、当該補助指令を仲介装置10に送信する(ステップS112)。
 仲介装置10は、指導端末から受信した補助指令を、操作端末20に適応する情報である変換補助指令に変換し、操作端末20に送信する(ステップS113)。操作端末20は、受信した変換補助指令に基づき、例えば、図10に示すような、ユーザのロボット操作を適正な操作に補助する画像データ等の提示データを生成し、出力装置31に当該データを提示させる(ステップS114)。
 次いで、操作端末20は、実行中のトレーニング内容の全てが完了したか否かを判定する(ステップS115)。操作端末20は、完了済みの場合(ステップS115でYes)、ステップS116に進み、未完了の場合(ステップS115でNo)、ステップS110に戻る。
 ステップS116において、操作端末20は、トレーニングの完了通知を仲介装置10に送信し、次いで、ステップS117において、仲介装置10は、トレーニングの完了通知を指導端末60に送信する。指導端末60の指導者は、仲介装置10との接続を切断する。なお、指導者は、指導端末60を用いて、トレーニングの結果に対する評価を生成し仲介装置10に送信してもよい。
 次いで、ステップS118において、仲介装置10は、トレーニングの結果に基づき、トレーニングの結果の評価、ユーザの習熟度、ランク及び階級等を決定し、これらのうちの少なくとも1つを操作端末20に送信する。なお、仲介装置10は、トレーニングの結果の評価を自身で生成してもよく、指導端末60から取得してもよく、操作端末20が生成するトレーニングの結果の評価を取得してもよい。仲介装置10は、評価結果、習熟度、ランク及び階級等を新たなユーザ情報として、自身に登録する。次いで、操作端末20は、受信した評価結果、習熟度、ランク及び階級等を出力装置31に出力しユーザに提示させる(ステップS119)。そして、ユーザが操作端末20を停止することによって、操作端末20はトレーニングのゲームプログラムを終了する。
 また、図14Bに示すように、ステップS107において、仲介装置10は、ステップS104で受信したトレーニングの構成のロボットモデルを有する装置がシミュレートコンピュータ40であるか否かを判定する。仲介装置10は、シミュレートコンピュータ40である場合(ステップS107でYes)、ステップS120に進み、シミュレートコンピュータ40でない場合(ステップS107でNo)、ステップS121に進む。
 ステップS120において、仲介装置10は、仲介装置10が接続可能であるシミュレートコンピュータ40の中から、ステップS104で受信したトレーニングの構成に含まれるトレーニング内容を実行可能なシミュレートコンピュータ40を抽出し、当該シミュレートコンピュータ40と操作端末20とを接続する。さらに、ステップS122において、仲介装置10は、ステップS106と同様に指導端末60を抽出し、当該指導端末60と接続する。
 次いで、仲介装置10は、トレーニング内容の実行の指令をシミュレートコンピュータ40に送信する(ステップS123)。次いで、シミュレートコンピュータ40は、指令されたトレーニング内容を実行する(ステップS124)。シミュレートコンピュータ40は、トレーニングの実行を示す通知を仲介装置10に送信し(ステップS125)、さらに、仲介装置10は当該通知を操作端末20に送信する(ステップS126)。
 トレーニングの実行中、操作端末20は第一情報を仲介装置10に送信する(ステップS127)。さらに、仲介装置10は、第一情報を、シミュレートコンピュータ40の仮想的なロボットモデルを動作させる第二情報に変換し、シミュレートコンピュータ40に送信する(ステップS128)。シミュレートコンピュータ40は、第二情報に従ってロボットモデルを動作させ、当該ロボットモデルの動作データを仲介装置10に送信する(ステップS129)。仲介装置10は、受信した動作データを、操作端末20でのロボットモデルの画像表示等の提示に対応する動作データに変換し、操作端末20に送信する(ステップS130)。操作端末20は、受信した動作データに対応する動作を実行するロボットモデルの画像等を出力装置31に提示させる。なお、シミュレートコンピュータ40は、動作データとして、仮想的なロボットモデルの画像データを仲介装置10に送信し、仲介装置10は、受信した画像データを操作端末20に送信してもよい。操作端末20は、受信した画像データを出力装置31に表示させてもよい。
 また、仲介装置10は、ステップS129で受信した動作データを指導端末60に送信する(ステップS131)。指導端末60は、動作データに基づき出力装置32に提示するロボットモデルの動作に対して、指導者によって補助指令が入力されると、当該補助指令を仲介装置10に送信する(ステップS132)。仲介装置10は、指導端末から受信した補助指令を変換補助指令に変換し、操作端末20に送信する(ステップS133)。操作端末20は、受信した変換補助指令に基づき、ユーザのロボット操作を補助する提示を出力装置31にさせる(ステップS134)。なお、仲介装置10は、動作データとして、シミュレートコンピュータ40から仮想的なロボットモデルの画像データを受信し指導端末60に送信してもよい。指導端末60は、受信した画像データを出力装置32に表示させてもよい。
 次いで、操作端末20は、実行中のトレーニング内容の全てが完了した場合(ステップS135でYes)、ステップS136に進み、未完了の場合(ステップS135でNo)、ステップS127に戻る。操作端末20等は、ステップS136~S139の処理を、ステップS116~S119と同様に行う。
 また、図14Cに示すように、ステップS121において、仲介装置10は、仲介装置10が接続可能であるシミュレートロボット50の中から、ステップS104で受信したトレーニングの構成に含まれるトレーニング内容を実行可能なロボット50Aを含むシミュレートロボット50を抽出し、当該シミュレートロボット50と操作端末20とを接続する。さらに、ステップS140において、仲介装置10は、ステップS106と同様に指導端末60を抽出し、当該指導端末60と接続する。
 次いで、仲介装置10は、トレーニング内容の実行の指令をシミュレートロボット50に送信する(ステップS141)。次いで、シミュレートロボット50は、指令されたトレーニング内容を実行する(ステップS142)。さらに、シミュレートロボット50は、撮像装置517にロボット50Aの撮像を実行させる(ステップS143)。次いで、シミュレートロボット50は、トレーニングの実行を示す通知を仲介装置10に送信し(ステップS144)、さらに、仲介装置10は当該通知を操作端末20に送信する(ステップS145)。
 トレーニングの実行中、操作端末20は第一情報を仲介装置10に送信し(ステップS146)、仲介装置10は、第一情報を、ロボット50Aを動作させる第二情報に変換しシミュレートロボット50に送信する(ステップS147)。シミュレートロボット50は、第二情報に従ってロボット50Aを動作させ、ロボット50Aの各部の状態を検出する。そして、シミュレートロボット50は、撮像装置517によって撮像された画像データを仲介装置10に送信する(ステップS148)。仲介装置10は、受信した画像データを操作端末20に送信する(ステップS149)。操作端末20は、受信した画像データの画像等を出力装置31に提示させる。
 また、仲介装置10は、ステップS148で受信した画像データを動作データとして指導端末60に送信する(ステップS150)。指導者が、出力装置32に提示される画像データの画像を視認し、指導端末60に補助指令を入力すると、指導端末60は当該補助指令を仲介装置10に送信する(ステップS151)。仲介装置10は、指導端末から受信した補助指令を変換補助指令に変換し、操作端末20に送信する(ステップS152)。操作端末20は、受信した変換補助指令に基づき、ユーザのロボット操作を補助する提示を出力装置31にさせる(ステップS153)。
 次いで、操作端末20は、実行中のトレーニング内容の全てが完了した場合(ステップS154でYes)、ステップS155に進み、未完了の場合(ステップS154でNo)、ステップS146に戻る。操作端末20等は、ステップS155~S158の処理を、ステップS116~S119と同様に行う。
 上述のステップS101~S158の処理によって、ユーザは、操作端末20を用いて、操作端末20、シミュレートコンピュータ40及びシミュレートロボット50のロボットモデルのいずれを用いたロボット操作のトレーニングも実行することができる。さらに、ユーザは、全てのトレーニングにおいて、指導者によるロボット操作の補助を受けることができる。なお、図14A~図14Cの例では、全てのトレーニングが指導者の指導端末60を介した補助を受けるように構成されていたが、補助は必須でなく、例えば、ユーザによって任意に選択可能であってもよい。補助が行われない場合、図14A~図14Cにおいて、指導端末60に関連する処理が省略されてもよい。このように、ユーザは、操作端末20を用いたロボット操作のトレーニングを実行することで、ロボット操作の熟練度を向上させることができる。例えば、操作端末20と実機のロボットとが通信網90を介して接続され且つ操作端末20でのロボット操作が可能である環境において、ユーザは、遠隔地にいながらも操作端末20を用いて実機のロボットで実際の作業を行うことができるようになる。
 <効果等>
 上述のような実施の形態に係るトレーニングシステム1において、トレーニング処理装置としての仲介装置10の情報処理装置100は、操作端末20を用いたロボット操作のトレーニングを管理する。情報処理装置100は、操作端末20と通信網90を介して情報を送受信し、ロボット操作のトレーニングをするコンピュータプログラムを操作端末20上で実行中に、操作端末20に入力されたロボット操作の情報である第一情報を受け付け、第一情報に基づき、トレーニングを管理する。なお、例えば、ロボット操作は、作業をロボットに実行させるための操作であってもよい。
 上記構成によると、情報処理装置100は、操作端末20を用いたロボット操作のトレーニングを可能にする。また、操作端末20のユーザは、通信網90にアクセスできる環境であればいかなる場所に位置していても、情報処理装置100によるトレーニングの管理を受けることができる。さらに、通信網90を介することで、複数の操作端末20が情報処理装置100に同時に接続し、情報処理装置100によるトレーニングの管理を受けることができる。このように、情報処理装置100は、様々なユーザがロボット操作のトレーニングを行うことでロボットを操作することを可能にする。
 また、実施の形態に係る情報処理装置100は、トレーニングの結果を評価し、操作端末20を操作するユーザに対する評価であるユーザ評価として、トレーニングの結果の評価を登録してもよい。上記構成によると、情報処理装置100は、トレーニングの結果の評価を操作端末20のユーザ評価として登録する。これにより、登録されたユーザ評価の利用が可能である。例えば、情報処理装置100は、トレーニングの実施時等に、登録されたユーザ評価をユーザに提示することができる。これにより、ユーザは、自身のユーザ評価に応じて、実行するトレーニングの構成を容易に決定することができる。また、ユーザが実機のロボットを操作する場合、ユーザ評価に基づき、ユーザに適したロボット及び作業内容の決定が可能になる。
 また、実施の形態に係る情報処理装置100は、登録されたユーザ評価に基づき、ユーザ評価の対象のユーザが実行可能であるトレーニングを決定し、決定したトレーニングの情報を操作端末20に提示させてもよい。上記構成によると、ユーザ又はトレーニングの提供者(例えば、仲介装置10)は、ユーザに適した又は実行可能であるロボット操作のトレーニングを判断することができる。
 また、実施の形態に係る情報処理装置100は、操作端末20に入力されたロボット操作に対して補助を行うことでトレーニングを指導する指導端末60に、第一情報を提示させ、提示された第一情報に対して、指導端末60に入力されるロボット操作を補助する補助指令を受け付け、補助指令を操作端末20に提示させてもよい。上記構成によると、ロボット操作の指導者は、指導端末60を介して、ユーザのロボット操作の情報である第一情報を確認することができる。さらに、指導者は、上記確認をしつつ、ロボット操作の補助指令を指導端末60に入力し操作端末20に送ることができる。ユーザは、操作端末20によって提示される補助指令を確認しつつ、ロボット操作のトレーニングを行うことができる、つまり、補助を受けつつトレーニングを行うことができる。
 また、実施の形態に係るトレーニングシステム1において、操作端末20と指導端末60とは通信網90を介して接続されてもよい。上記構成によると、操作端末20のユーザ及び指導端末60の指導者は、通信網90にアクセスできる環境であればいかなる場所に位置していても、トレーニング及びその補助を行うことができる。
 また、実施の形態に係るトレーニングシステム1において、操作端末20は、ゲーム機、ゲームコントローラ、ロボット専用の遠隔操作器、個人情報端末、スマートデバイス及びパーソナルコンピュータの少なくともいずれかであってもよい。上記構成によると、様々な操作端末20を用いたトレーニングが可能になる。
 また、実施の形態に係る情報処理装置100は、ロボットモデルに模擬的な動作をさせるシミュレーションを実行するシミュレート装置200のロボットモデルを操作するための第二情報に、第一情報を変換し、第二情報に従ってシミュレート装置200を動作させ、第二情報に従って動作するシミュレート装置200のロボットモデルの動作の情報を、操作端末20に提示させてもよい。なお、操作端末20とシミュレート装置200とは通信網90を介して接続されてもよい。
 上記構成によると、情報処理装置100は、操作端末20に入力される操作に対応する第一情報を第二情報に変換し、第二情報に従ってシミュレート装置200に動作をさせることで、シミュレート装置200のロボットモデルに上記操作に対応する動作をさせる。よって、ユーザは、シミュレート装置200からの遠隔地において、操作端末20及びシミュレート装置200を用いて、ロボット操作のトレーニングを行うことができる。さらに、操作端末20とシミュレート装置200との間で送受信される情報は、それぞれに適応した形式の情報に変換されるため、ユーザは、例えば、自身が有する慣れ親しんだ操作端末20を用いることができる。よって、ユーザは、シミュレート装置200へのロボット操作の入力を容易に実行することができ、トレーニングを受け入れやすい。また、操作端末20とシミュレート装置200とが通信網90を介して接続されることで、様々な操作端末20がシミュレート装置200と接続されることができる。従って、様々なユーザが、操作端末20を介してシミュレート装置200にアクセスし、ロボット操作のトレーニングを行うことでき、それによりロボットを操作することができるようになる。
 また、実施の形態に係る情報処理装置100は、操作端末20で実行されるコンピュータプログラム上で機能するロボットモデルを用いる第一トレーニングと、シミュレート装置200を用いる第二トレーニングとの中から選択されたトレーニングの要求を、操作端末20から受け付け、選択されたトレーニングの実行を決定してもよい。上記構成によると、操作端末20のユーザは、第一トレーニング及び第二トレーニングとの中からトレーニングを選択し実行することができる。シミュレート装置200を用いる第二トレーニングの方が、第一トレーニングよりも、緻密で高い精度のロボット操作を要求する。ユーザは自身の習熟度に応じてトレーニングを選択することができる。
 また、実施の形態に係る情報処理装置100は、仮想的なロボットモデルに模擬的な動作をさせるシミュレートコンピュータ40と操作端末20とを用いたトレーニングの実行を可能にし、シミュレートコンピュータ40によって生成される仮想的なロボットモデルの動作の情報を操作端末20に提示させてもよい。上記構成によると、ユーザは、シミュレートコンピュータ40のシミュレーションを利用してトレーニングを実行することができる。
 また、実施の形態に係る情報処理装置100は、ロボットモデルとして実機のロボット50Aに模擬的な動作をさせるシミュレートロボット50と操作端末20とを用いたトレーニングの実行を可能にし、撮像装置517によって撮像されるロボット50Aの画像の情報を、ロボットモデルの動作の情報として操作端末20に提示させてもよい。上記構成によると、ユーザは、実機のロボット50Aを用いたシミュレーションを利用してトレーニングを実行することができる。さらに、ユーザは、実機のロボット50Aの画像を視認しつつトレーニングを実行することができる。
 さらに、実施の形態に係る情報処理装置100は、実機のロボット50Aの画像を仮想的なロボットモデルの画像に変換し、変換された画像における仮想的なロボットモデルの動作の情報を操作端末20に提示させてもよい。例えば、仮想的なロボットモデルの画像は、CG又はアニメーション等を用いた画像であってもよい。上記構成によると、操作端末20によってユーザに提示される画像を、ユーザに親しみやすい画像にすることができる。よって、ユーザがトレーニングに親しみやすくなる。
 また、実施の形態に係る仲介装置10は、実施の形態に係る情報処理装置100を備え、操作端末20と指導端末60とを通信網90を介して仲介してもよい。また、実施の形態に係る仲介装置10は、実施の形態に係る情報処理装置100を備え、操作端末20とシミュレート装置200とを通信網90を介して仲介してもよい。また、実施の形態に係る仲介装置10は、実施の形態に係る情報処理装置100を備え、操作端末20とシミュレート装置200と指導端末60とを通信網90を介して仲介してもよい。上記構成のいずれにおいても、実施の形態に係る情報処理装置100と同様の効果が得られる。
 また、実施の形態に係るトレーニングシステム1は、実施の形態に係る情報処理装置100と、指導端末60と、操作端末20と指導端末60とを通信網90を介して仲介する仲介装置10とを備えてもよい。また、実施の形態に係るトレーニングシステム1は、実施の形態に係る情報処理装置100と、シミュレート装置200と、操作端末20とシミュレート装置200とを通信網90を介して仲介する仲介装置10とを備えてもよい。また、実施の形態に係るトレーニングシステム1は、指導端末60をさらに備え、仲介装置10は、操作端末20とシミュレート装置200と指導端末60とを通信網90を介して仲介してもよい。さらに、実施の形態に係るトレーニングシステム1は、操作端末20を備えてもよい。上記構成のいずれにおいても、実施の形態に係る情報処理装置100と同様の効果が得られる。
 <その他の実施の形態>
 以上、本発明の実施の形態の例について説明したが、本発明は、上記実施の形態に限定されない。すなわち、本発明の範囲内で種々の変形及び改良が可能である。例えば、各種変形を実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
 例えば、実施の形態において、情報処理装置100は、仲介装置10に搭載されていたが、これに限定されない。例えば、情報処理装置100は、操作端末20、シミュレート装置200及び指導端末60のいずれに搭載されてもよい。また、情報処理装置100は、2つの以上の装置に分割して搭載されてもよい。例えば、情報処理装置100の一部の機能を有する第1の情報処理装置及び第2の情報処理装置がそれぞれ、仲介装置10、操作端末20、シミュレート装置200及び指導端末60のうちの2つに搭載されてもよい。又は、情報処理装置100の一部の機能を有する第1~第3の情報処理装置がそれぞれ、仲介装置10、操作端末20、シミュレート装置200及び指導端末60のうちの3つに搭載されてもよい。又は、情報処理装置100の一部の機能を有する第1~第4の情報処理装置がそれぞれ、仲介装置10、操作端末20、シミュレート装置200及び指導端末60に搭載されてもよい。
 また、実施の形態に係るトレーニングシステム1は、操作端末20、仲介装置10、シミュレート装置200及び指導端末60を備えていたが、これに限定されない。例えば、トレーニングシステム1は、仲介装置10を備えなくてもよい。
 また、実施の形態に係るトレーニングシステム1において、シミュレートコンピュータ40及びシミュレートロボット50は、予め設定されたコンピュータプログラム及びデータに従って、ロボットモデルを動作させるように構成されていたが、これに限定されない。例えば、シミュレートコンピュータ40及びシミュレートロボット50は、デジタルツインの環境を利用するように構成されてもよい。この場合、シミュレートコンピュータ40及びシミュレートロボット50は、例えば、クラウド上に蓄積された様々なデータ、つまりビッグデータを用いて動作するように構成されてもよい。例えば、データは、様々なユーザが様々なシミュレートコンピュータ40及びシミュレートロボット50等を用いて様々なトレーニングを実行することで得られたデータ、様々なロボットを用いて実際に様々な作業を行うことで得られたデータ等を含んでもよい。
 また、本発明は、トレーニング処理方法であってもよい。例えば、本発明の一態様に係るトレーニング処理方法は、操作端末を用いたロボット操作のトレーニングをするコンピュータプログラムを前記操作端末上で実行中に、前記操作端末に入力されたロボット操作の情報である第一情報を通信網を介して受け付け、前記第一情報に基づき、前記トレーニングを管理する。この方法によれば、上記情報処理装置100等と同様の効果が得られる。このようなトレーニング処理方法は、CPU、LSIなどの回路、ICカード又は単体のモジュール等によって、実現されてもよい。
 また、本発明は、上記トレーニング処理方法を実行するためのプログラムであってもよく、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
 また、上記で用いた序数、数量等の数字は、全て本発明の技術を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明の技術を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。
 また、機能ブロック図におけるブロックの分割は一例であり、複数のブロックを一つのブロックとして実現する、一つのブロックを複数に分割する、及び/又は、一部の機能を他のブロックに移してもよい。また、類似する機能を有する複数のブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
1 トレーニングシステム
10 仲介装置
20 操作端末
50 シミュレートロボット
50A,50A1~50An ロボット
60 指導端末
90 通信網
100 情報処理装置(トレーニング処理装置)
200 シミュレート装置
517 撮像装置
 

Claims (33)

  1.  操作端末を用いたロボット操作のトレーニングを管理するトレーニング処理装置であって、
     前記操作端末と通信網を介して情報を送受信し、
     ロボット操作のトレーニングをするコンピュータプログラムを前記操作端末で実行中に、前記操作端末に入力されたロボット操作の情報である第一情報を受け付け、
     前記第一情報に基づき、前記トレーニングを管理する
     トレーニング処理装置。
  2.  前記操作端末に入力されたロボット操作に対して補助を行うことで前記トレーニングを指導する指導端末に、前記第一情報に従ったロボットモデルの動作を提示させ、
     提示された前記ロボットモデルの動作に対して、前記指導端末に入力される前記ロボット操作を補助する補助指令を受け付け、
     前記補助指令を前記操作端末に提示させる
     請求項1に記載のトレーニング処理装置。
  3.  前記操作端末と前記指導端末とは通信網を介して接続される
     請求項2に記載のトレーニング処理装置。
  4.  前記第一情報に基づき、前記トレーニングの結果を評価し、
     前記操作端末を操作するユーザに対する評価であるユーザ評価として、前記トレーニングの結果の評価を登録する
     請求項1~3のいずれか一項に記載のトレーニング処理装置。
  5.  登録された前記ユーザ評価に基づき、前記ユーザ評価の対象のユーザが実行可能であるトレーニングを決定し、
     決定した前記トレーニングの情報を前記操作端末に提示させる
     請求項4に記載のトレーニング処理装置。
  6.  前記操作端末は、ゲーム機、ゲームコントローラ、ロボット専用の遠隔操作器、個人情報端末(PDA:Personal Data Assistant)、スマートデバイス及びパーソナルコンピ
    ュータの少なくともいずれかである
     請求項1~5のいずれか一項に記載のトレーニング処理装置。
  7.  前記ロボット操作は、作業をロボットに実行させるための操作である
     請求項1~6のいずれか一項に記載のトレーニング処理装置。
  8.  ロボットモデルに模擬的な動作をさせるシミュレーションを実行するシミュレート装置の前記ロボットモデルを操作するための第二情報に、前記第一情報を変換し、
     前記第二情報に従って前記シミュレート装置を動作させ、
     前記第二情報に従って動作する前記シミュレート装置の前記ロボットモデルの動作の情報を、前記操作端末に提示させる
     請求項1~7のいずれか一項に記載のトレーニング処理装置。
  9.  前記操作端末で実行されるコンピュータプログラム上で機能するロボットモデルを用いる第一トレーニングと、前記シミュレート装置を用いる第二トレーニングとの中から選択されたトレーニングの要求を、前記操作端末から受け付け、
     前記選択されたトレーニングの実行を決定する
     請求項8に記載のトレーニング処理装置。
  10.  仮想的な前記ロボットモデルに模擬的な動作をさせるコンピュータ装置としての前記シミュレート装置と前記操作端末とを用いた前記トレーニングの実行を可能にし、
     前記シミュレート装置によって生成される前記仮想的なロボットモデルの動作の情報を前記操作端末に提示させる
     請求項8または9に記載のトレーニング処理装置。
  11.  前記ロボットモデルとして実機のロボットに模擬的な動作をさせる前記シミュレート装置と前記操作端末とを用いた前記トレーニングの実行を可能にし、
     撮像装置によって撮像される前記ロボットの画像の情報を、前記ロボットモデルの動作の情報として前記操作端末に提示させる
     請求項8~10のいずれか一項に記載のトレーニング処理装置。
  12.  前記ロボットの画像を仮想的なロボットモデルの画像に変換し、
     変換された画像における前記仮想的なロボットモデルの動作の情報を前記操作端末に提示させる
     請求項11に記載のトレーニング処理装置。
  13.  前記操作端末と前記シミュレート装置とは通信網を介して接続される
     請求項8~12のいずれか一項に記載のトレーニング処理装置。
  14.  請求項1~13のいずれか一項に記載のトレーニング処理装置を備え、
     前記操作端末と指導端末とを通信網を介して仲介し、
     前記指導端末は、前記操作端末に入力されたロボット操作に対して補助を行うことで前記トレーニングを指導し、
     前記トレーニング処理装置は、
     前記指導端末に、前記第一情報を提示させ、
     提示された前記第一情報に対して、前記指導端末に入力される前記ロボット操作を補助する補助指令を受け付け、
     前記補助指令を前記操作端末に提示させる
     仲介装置。
  15.  請求項1~13のいずれか一項に記載のトレーニング処理装置を備え、
     前記操作端末とシミュレート装置とを通信網を介して仲介し、
     前記シミュレート装置は、ロボットモデルに模擬的な動作をさせるシミュレーションを実行し、
     前記トレーニング処理装置は、
     前記シミュレート装置の前記ロボットモデルを操作するための第二情報に、前記第一情報を変換し、
     前記第二情報に従って前記シミュレート装置を動作させ、
     前記第二情報に従って動作する前記シミュレート装置の前記ロボットモデルの動作の情報を、前記操作端末に提示させる
     仲介装置。
  16.  前記操作端末と前記シミュレート装置と指導端末とを前記通信網を介して仲介し、
     前記指導端末は、前記操作端末に入力されたロボット操作に対して補助を行うことで前記トレーニングを指導し、
     前記トレーニング処理装置は、
     前記指導端末に、前記第一情報を提示させ、
     提示された前記第一情報に対して、前記指導端末に入力される前記ロボット操作を補助
    する補助指令を受け付け、
     前記補助指令を前記操作端末に提示させる
     請求項15に記載の仲介装置。
  17.  請求項1~13のいずれか一項に記載のトレーニング処理装置と、
     前記操作端末に入力されたロボット操作に対して補助を行うことで前記トレーニングを指導する指導端末と、
     前記操作端末と前記指導端末とを通信網を介して仲介する仲介装置とを備え、
     前記トレーニング処理装置は、
     前記指導端末に、前記第一情報を提示させ、
     提示された前記第一情報に対して、前記指導端末に入力される前記ロボット操作を補助する補助指令を受け付け、
     前記補助指令を前記操作端末に提示させる
     トレーニングシステム。
  18.  請求項1~13のいずれか一項に記載のトレーニング処理装置と、
     ロボットモデルに模擬的な動作をさせるシミュレーションを実行するシミュレート装置と、
     前記操作端末と前記シミュレート装置とを通信網を介して仲介する仲介装置とを備え、
     前記トレーニング処理装置は、
     前記シミュレート装置の前記ロボットモデルを操作するための第二情報に、前記第一情報を変換し、
     前記第二情報に従って前記シミュレート装置を動作させ、
     前記第二情報に従って動作する前記シミュレート装置の前記ロボットモデルの動作の情報を、前記操作端末に提示させる
     トレーニングシステム。
  19.  前記操作端末に入力されたロボット操作に対して補助を行うことで前記トレーニングを指導する指導端末をさらに備え、
     前記仲介装置は、前記操作端末と前記シミュレート装置と前記指導端末とを前記通信網を介して仲介し、
     前記トレーニング処理装置は、
     前記指導端末に、前記第一情報を提示させ、
     提示された前記第一情報に対して、前記指導端末に入力される前記ロボット操作を補助する補助指令を受け付け、
     前記補助指令を前記操作端末に提示させる
     請求項18に記載のトレーニングシステム。
  20.  前記操作端末をさらに備える
     請求項17~19のいずれか一項に記載のトレーニングシステム。
  21.  操作端末を用いたロボット操作のトレーニングをするコンピュータプログラムを前記操作端末上で実行中に、前記操作端末に入力されたロボット操作の情報である第一情報を通信網を介して受け付け、
     前記第一情報に基づき、前記トレーニングを管理する
     トレーニング処理方法。
  22.  前記操作端末に入力されたロボット操作に対して補助を行うことで前記トレーニングを指導する指導端末に、前記第一情報に従ったロボットモデルの動作を提示させ、
     提示された前記ロボットモデルの動作に対して、前記指導端末に入力された前記ロボット操作を補助する補助指令を受け付け、
     前記補助指令を前記操作端末に提示させる
     請求項21に記載のトレーニング処理方法。
  23.  前記操作端末と前記指導端末とは通信網を介して接続される
     請求項22に記載のトレーニング処理方法。
  24.  前記第一情報に基づき、前記トレーニングの結果を評価し、
     前記操作端末を操作するユーザに対する評価であるユーザ評価として、前記トレーニングの結果の評価を登録する
     請求項21~23のいずれか一項に記載のトレーニング処理方法。
  25.  登録された前記ユーザ評価に基づき、前記ユーザ評価の対象のユーザが実行可能であるトレーニングを決定し、
     決定した前記トレーニングの情報を前記操作端末に提示させる
     請求項24に記載のトレーニング処理方法。
  26.  前記操作端末は、ゲーム機、ゲームコントローラ、ロボット専用の遠隔操作器、個人情報端末(PDA)、スマートデバイス及びパーソナルコンピュータの少なくともいずれかである
     請求項21~25のいずれか一項に記載のトレーニング処理方法。
  27.  前記ロボット操作は、作業をロボットに実行させるための操作である
     請求項21~26のいずれか一項に記載のトレーニング処理方法。
  28.  ロボットモデルに模擬的な動作をさせるシミュレーションを実行するシミュレート装置の前記ロボットモデルを操作するための第二情報に、前記第一情報を変換し、
     前記第二情報に従って前記シミュレート装置を動作させ、
     前記第二情報に従って動作する前記シミュレート装置の前記ロボットモデルの動作の情報を、前記操作端末に提示させる
     請求項21~27のいずれか一項に記載のトレーニング処理方法。
  29.  前記操作端末で実行されるコンピュータプログラム上で機能するロボットモデルを用いる第一トレーニングと、前記シミュレート装置を用いる第二トレーニングとの中から選択されたトレーニングの要求を、前記操作端末から受け付け、
     前記選択されたトレーニングを実行する
     請求項28に記載のトレーニング処理方法。
  30.  仮想的な前記ロボットモデルに模擬的な動作をさせるコンピュータ装置としての前記シミュレート装置と前記操作端末とを用いた前記トレーニングの実行を可能にし、
     前記シミュレート装置によって生成される前記仮想的なロボットモデルの動作の情報を前記操作端末に提示させる
     請求項28または29に記載のトレーニング処理方法。
  31.  前記ロボットモデルとして実機のロボットに模擬的な動作をさせる前記シミュレート装置と前記操作端末とを用いた前記トレーニングの実行を可能にし、
     撮像装置によって撮像される前記ロボットの画像の情報を、前記ロボットモデルの動作の情報として前記操作端末に提示させる
     請求項28~30のいずれか一項に記載のトレーニング処理方法。
  32.  前記ロボットの画像を仮想的なロボットモデルの画像に変換し、
     変換された画像における前記仮想的なロボットモデルの動作の情報を前記操作端末に提示させる
     請求項31に記載のトレーニング処理方法。
  33.  前記操作端末と前記シミュレート装置とは通信網を介して接続される
     請求項28~32のいずれか一項に記載のトレーニング処理方法。
PCT/JP2019/031522 2018-08-10 2019-08-08 トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法 WO2020032218A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/267,343 US11967245B2 (en) 2018-08-10 2019-08-08 Training processing device, intermediation device, training system, and training processing method
EP19846602.1A EP3836125A4 (en) 2018-08-10 2019-08-08 LEARNING PROCESSING DEVICE, MEDIATION DEVICE, LEARNING SYSTEM AND LEARNING PROCESSING METHOD
CN201980052252.XA CN112543961A (zh) 2018-08-10 2019-08-08 训练处理装置、中介装置、训练系统以及训练处理方法
KR1020217007127A KR102529023B1 (ko) 2018-08-10 2019-08-08 트레이닝 처리 장치, 중개 장치, 트레이닝 시스템 및 트레이닝 처리 방법

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-151917 2018-08-10
JP2018151917 2018-08-10
JP2019105751A JP7281348B2 (ja) 2018-08-10 2019-06-05 トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法
JP2019-105751 2019-06-05

Publications (1)

Publication Number Publication Date
WO2020032218A1 true WO2020032218A1 (ja) 2020-02-13

Family

ID=77926804

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031522 WO2020032218A1 (ja) 2018-08-10 2019-08-08 トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法

Country Status (6)

Country Link
US (1) US11967245B2 (ja)
EP (1) EP3836125A4 (ja)
KR (1) KR102529023B1 (ja)
CN (1) CN112543961A (ja)
TW (1) TWI721523B (ja)
WO (1) WO2020032218A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023077365A (ja) * 2021-11-24 2023-06-05 インハ インダストリー パートナーシップ インスティテュート メタバースプラットフォームを利用した複合現実における複雑な機械類の訓練、教育、および広告システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9314924B1 (en) * 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0639753A (ja) * 1991-09-18 1994-02-15 Fujitsu Ltd ロボットの遠隔操作支援装置
JP2003131551A (ja) * 2001-10-26 2003-05-09 Ricoh Elemex Corp 学習支援システムおよび学習支援方法
JP2006133443A (ja) * 2004-11-05 2006-05-25 Hitachi Electronics Service Co Ltd 教育受講ナビゲーションシステム
JP2011125991A (ja) 2009-12-21 2011-06-30 National Institute Of Advanced Industrial Science & Technology 生活支援ロボットアームの操作トレーニング装置
JP2012521568A (ja) * 2009-03-20 2012-09-13 ジョンズ ホプキンス ユニバーシティ 技術的技能を定量化する方法及びシステム
WO2013136930A1 (ja) * 2012-03-15 2013-09-19 オムロン株式会社 シミュレーション装置、シミュレーション方法、および、シミュレーションプログラム
US20170319282A1 (en) * 2014-11-13 2017-11-09 Intuitive Surgical Operations, Inc. Integrated user environments
US20170352292A1 (en) * 2016-06-06 2017-12-07 New York University Haptic-based dental simulation

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002254373A (ja) 2001-02-27 2002-09-10 Casio Comput Co Ltd ロボット遠隔制御システム、ロボット制御装置、及び、記録媒体
US7860614B1 (en) * 2005-09-13 2010-12-28 The United States Of America As Represented By The Secretary Of The Army Trainer for robotic vehicle
JP2007183332A (ja) 2006-01-05 2007-07-19 Advanced Telecommunication Research Institute International 操作訓練装置
CN104700705B (zh) * 2015-01-19 2017-02-22 清华大学 工业机器人示教系统
US20160314717A1 (en) 2015-04-27 2016-10-27 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station coupled to remote surgeon trainee and instructor stations and associated methods
JP6676286B2 (ja) * 2015-05-12 2020-04-08 キヤノン株式会社 情報処理方法、および情報処理装置
WO2017033361A1 (ja) * 2015-08-25 2017-03-02 川崎重工業株式会社 ロボットシステム及びその運転方法
JP2018015857A (ja) * 2016-07-29 2018-02-01 セイコーエプソン株式会社 制御装置、及びロボット
CN206224894U (zh) * 2016-10-10 2017-06-06 佛山市南海区广工大数控装备协同创新研究院 一种工业机器人培训系统
WO2018194965A1 (en) * 2017-04-17 2018-10-25 Siemens Aktiengesellschaft Mixed reality assisted spatial programming of robotic systems
US11273553B2 (en) * 2017-06-05 2022-03-15 Autodesk, Inc. Adapting simulation data to real-world conditions encountered by physical processes
US10773382B2 (en) * 2017-09-15 2020-09-15 X Development Llc Machine learning methods and apparatus for robotic manipulation and that utilize multi-task domain adaptation
CN207373189U (zh) * 2017-09-27 2018-05-18 姚绪旋 一种工业机器人示教器
US10981272B1 (en) * 2017-12-18 2021-04-20 X Development Llc Robot grasp learning
US10926408B1 (en) * 2018-01-12 2021-02-23 Amazon Technologies, Inc. Artificial intelligence system for efficiently learning robotic control policies

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0639753A (ja) * 1991-09-18 1994-02-15 Fujitsu Ltd ロボットの遠隔操作支援装置
JP2003131551A (ja) * 2001-10-26 2003-05-09 Ricoh Elemex Corp 学習支援システムおよび学習支援方法
JP2006133443A (ja) * 2004-11-05 2006-05-25 Hitachi Electronics Service Co Ltd 教育受講ナビゲーションシステム
JP2012521568A (ja) * 2009-03-20 2012-09-13 ジョンズ ホプキンス ユニバーシティ 技術的技能を定量化する方法及びシステム
JP2011125991A (ja) 2009-12-21 2011-06-30 National Institute Of Advanced Industrial Science & Technology 生活支援ロボットアームの操作トレーニング装置
WO2013136930A1 (ja) * 2012-03-15 2013-09-19 オムロン株式会社 シミュレーション装置、シミュレーション方法、および、シミュレーションプログラム
US20170319282A1 (en) * 2014-11-13 2017-11-09 Intuitive Surgical Operations, Inc. Integrated user environments
US20170352292A1 (en) * 2016-06-06 2017-12-07 New York University Haptic-based dental simulation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3836125A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023077365A (ja) * 2021-11-24 2023-06-05 インハ インダストリー パートナーシップ インスティテュート メタバースプラットフォームを利用した複合現実における複雑な機械類の訓練、教育、および広告システム
JP7350376B2 (ja) 2021-11-24 2023-09-26 インハ インダストリー パートナーシップ インスティテュート メタバースプラットフォームを利用した複合現実における複雑な機械類の訓練、教育、および広告システム

Also Published As

Publication number Publication date
US20210260753A1 (en) 2021-08-26
EP3836125A1 (en) 2021-06-16
TW202017625A (zh) 2020-05-16
CN112543961A (zh) 2021-03-23
KR20210041061A (ko) 2021-04-14
KR102529023B1 (ko) 2023-05-08
EP3836125A4 (en) 2022-06-08
TWI721523B (zh) 2021-03-11
US11967245B2 (en) 2024-04-23

Similar Documents

Publication Publication Date Title
JP7281348B2 (ja) トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法
WO2020032249A1 (ja) 情報処理装置、仲介装置、シミュレートシステム及び情報処理方法
TWI272476B (en) Display, and recording medium stored with program for functioning computer as display
US9847043B1 (en) Student driver feedback system allowing entry of tagged events by instructors during driving tests
JP6508484B2 (ja) 接続された玩具を使用する教育システム
JP2018160232A (ja) 対話形式で認知する作業支援システム及び方法
WO2020032218A1 (ja) トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法
Materna et al. Interactive spatial augmented reality in collaborative robot programming: User experience evaluation
TW202122944A (zh) 設備控制方法、電子設備及儲存介質
CN103838563B (zh) 自动装置的程序开发方法
KR20120072126A (ko) 간접체험을 위한 비주얼 서로게이트와 그 공급 장치 및 방법
KR101653878B1 (ko) 3차원 형상의 모델링을 위한 블록 및 사용자 단말기와 이를 이용한 3차원 형상의 모델링 방법
CN112882953A (zh) 基于安卓调试桥的应用程序的自动演示方法和系统
Xue et al. Enabling human-robot-interaction for remote robotic operation via augmented reality
CN114330755B (zh) 数据集的生成方法、装置、机器人和存储介质
Lewis et al. Usability of the remote console for virtual reality telerehabilitation: formative evaluation
JP2023050798A (ja) 作業教育支援システム及び作業教育支援システム用コンテンツ作成プログラム
Ciontos et al. Universal industrial interface-mobile
WO2023032985A1 (ja) 操作端末、ロボットシステム及びコンピュータプログラム
WO2023032984A1 (ja) 操作端末、ロボットシステム及びコンピュータプログラム
TWI475483B (zh) 自動裝置的程式開發方法
WO2023166803A1 (ja) 情報処理方法、情報処理システム及びプログラム
Emad Addressing Usability Issues: Redesigning the User Interface of Collaborative Robot Franka Panda
JP2024073243A (ja) 作業再現システム、作業再現方法及び作業再現ロボット

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19846602

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019846602

Country of ref document: EP

Effective date: 20210310