JP7281349B2 - 遠隔操作システム - Google Patents

遠隔操作システム Download PDF

Info

Publication number
JP7281349B2
JP7281349B2 JP2019105754A JP2019105754A JP7281349B2 JP 7281349 B2 JP7281349 B2 JP 7281349B2 JP 2019105754 A JP2019105754 A JP 2019105754A JP 2019105754 A JP2019105754 A JP 2019105754A JP 7281349 B2 JP7281349 B2 JP 7281349B2
Authority
JP
Japan
Prior art keywords
robot
time
work
model
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019105754A
Other languages
English (en)
Other versions
JP2020026028A (ja
Inventor
康彦 橋本
雅幸 掃部
繁次 田中
佳彦 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Priority to PCT/JP2019/031495 priority Critical patent/WO2020032211A1/ja
Priority to KR1020217006823A priority patent/KR102518766B1/ko
Priority to US17/267,288 priority patent/US12027060B2/en
Priority to CN201980048635.XA priority patent/CN112469538B/zh
Priority to TW108128595A priority patent/TW202014278A/zh
Publication of JP2020026028A publication Critical patent/JP2020026028A/ja
Application granted granted Critical
Publication of JP7281349B2 publication Critical patent/JP7281349B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B25J13/065—Control stands, e.g. consoles, switchboards comprising joy-sticks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/082—Grasping-force detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/16—Control of vehicles or other craft
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/423—Teaching successive positions by walk-through, i.e. the tool head or end effector being grasped and guided directly, with or without servo-assistance, to follow a path

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Manipulator (AREA)
  • Paper (AREA)
  • Spray Control Apparatus (AREA)

Description

本発明は、操作者がネットワークを通じて遠隔地のロボットを遠隔操作するシステムにおけるデータ生成装置、データ生成方法、データ生成プログラムおよび遠隔操作システムに関する。
従来、操作者がネットワークを通じて遠隔地のロボットを遠隔操作するシステムが知られている。この種のシステムでは、操作者が操作する操作装置とロボットとの間で通信遅延が生じる虞がある。例えば特許文献１には、スレーブ装置とマスタ装置との間の通信遅延を把握することができる遠隔操作システムが開示されている。
特許文献１に開示された遠隔操作システムでは、マスタ装置とスレーブ装置とを備えている。スレーブ装置は、マスタ装置から送られた操作者の操作に対応する操作情報に従って動作するスレーブロボットを備える。スレーブロボットは、自身の作業環境を撮像する撮像機器を有しており、スレーブ装置は、作業環境を逐次撮影し、撮影した実画像をマスタ装置に送信する。マスタ装置は、スレーブロボットに送られる操作情報に基づいて動作シミュレーションを行うシミュレータを備えており、スレーブ装置から送られた実画像と動作シミュレーションにより得られたシミュレーション画像とを合成することにより表示画像を生成する。表示画像における実画像とシミュレーション画像の合成の割合は、マスタ装置とスレーブ装置の間の通信遅延に応じて変えている。具体的には、通信遅延が大きい場合は、シミュレーション画像の割合を大きくして表示画像が生成される。実画像が、スレーブロボットの状況と共に作業環境の背景等についても映りこんだ画像であるのに対して、シミュレーション画像は、スレーブロボットの状況のみを表示した画像である。このため、操作者が、表示画像における例えば作業環境の背景が色濃く映っているか等から通信遅延がどの程度生じているかを容易に把握することを可能にしている。
特開２０１５－４７６６６号公報
しかしながら、特許文献１のシステムでは、操作者は、実画像とシミュレーション画像の合成割合から通信遅延の程度を判断する必要があり、また、通信遅延が大きいと判断した場合には、マスタ装置へ与える操作量を減らすなどの対応を適宜とる必要がある。このため、上述のシステムでは、操作者は、ロボットの操作以外に通信遅延に伴う状況判断を行う必要があり、操作者がロボットの操作に集中できない虞がある。
そこで本発明は、操作者が操作する操作端末とロボットとの間の通信遅延が操作者の操作に与える影響を抑制することができるデータ生成装置、データ生成方法、データ生成プログラムおよび遠隔操作システムを提供することを目的とする。
上記の課題を解決するために、本発明の一態様に係るデータ生成装置は、操作者の操作を受け付ける操作器および前記操作者が視認可能な表示器を有する操作端末と、実作業空間内に設置され、前記操作端末とデータ通信可能なネットワークを介して接続された実ロボットと、を備える遠隔操作システムにおいて、前記表示器に表示される画像の生成に使用される少なくとも一部のデータを生成するためのデータ生成装置であって、前記表示器には、前記実作業空間をモデル化した作業空間モデルが動画像（time-varying image）として表示され、前記作業空間モデルは、前記実ロボットをモデル化したロボットモデルと、前記実ロボットの周辺にある実周辺物をモデル化した周辺物モデルとを含み、前記ロボットモデルは、前記操作器に対する前記操作者の操作に応じて動作するように作成され、前記データ生成装置は、前記実周辺物の状態を示す状態情報を取得する状態情報取得部と、前記状態情報に基づき、現時点より所定時間分だけ後の前記実周辺物の状態を予測するとともに、予測した結果を、前記表示器に表示される前記周辺物モデルの作成に使用される周辺物モデルデータとして生成する予測部と、を備える。
操作端末と実ロボットとの間に通信遅延がある場合、操作者が操作器を操作してからその操作に対応する動作を実ロボットが行うまでの間のタイムラグにより、同時刻におけるロボットモデルの動作と実ロボットの動作との間にずれが生じ得る。前記構成によれば、予測部により、現時点より所定時間分後の実周辺物の状態が予測され、その予測結果が表示器に表示される周辺物モデルの作成に使用される周辺物モデルデータとして生成される。このため、周辺物モデルの状態と実周辺物の状態との間にも、ロボットモデルと実ロボットとの間と同じ時間ずれを生じさせることができる。これにより、ロボットモデルと周辺物モデルとの時間軸を一致させることができるため、通信遅延が操作者の操作に与える影響を抑制することができる。
前記実周辺物は、前記実ロボットの作業対象であるワーク、前記ワークを搬送する搬送装置、および前記実ロボットを移動させる移動装置の少なくとも１つを含んでもよい。
前記状態情報は、前記作業空間に設置された撮像装置が前記実周辺物を撮像することにより生成される撮像情報を含んでもよい。
前記状態情報は、前記実周辺物としての周辺機器に設定された設定情報を含んでもよい。
上記のデータ生成装置は、所定の時点において前記表示器に表示された前記作業空間モデルの状況と、前記所定の時点より前記所定時間分だけ後の前記実作業空間の状況との間のズレの程度を検知するズレ検知部を更に備えてもよい。例えば、ズレ検知部により検知されるズレが所定の値より大きい場合に、実ロボットの作業を停止させる、あるいは表示器に表示されるモデルを補正するなどの対応が可能になる。
上記のデータ生成装置は、前記ズレ検知部により検知されたズレが予め設定された範囲を超えた場合に、前記ズレが解消されるように前記作業空間モデルを補正するモデル補正部を更に備えてもよい。
前記操作端末は、前記操作器としてのコントローラを含むゲーム装置であってもよい。
前記操作端末は、個人情報端末（ＰＤＡ（Personal Data Assistant））、スマートフォン、パーソナルコンピュータ、タブレット、およびロボット専用遠隔操作器のうちの少なくとも１つであってもよい。
また、本発明の一態様に係るデータ生成方法は、操作者の操作を受け付ける操作器および前記操作者が視認可能な表示器を有する操作端末と、作業空間内に設置され、前記操作端末とデータ通信可能なネットワークを介して接続された実ロボットと、を備える遠隔操作システムにおいて、前記表示器に表示される画像の生成に使用される少なくとも一部のデータを生成するためのデータ生成方法であって、前記表示器には、前記実作業空間をモデル化した作業空間モデルが動画像として表示され、前記作業空間モデルは、前記実ロボットをモデル化したロボットモデルと、前記実ロボットの周辺にある周辺物をモデル化した周辺物モデルとを含み、前記ロボットモデルは、前記操作器に対する前記操作者の操作に応じて動作するように作成され、前記データ生成方法は、前記実ロボットの周辺にある周辺物の状態を示す状態情報を取得する状態情報取得ステップと、前記状態情報に基づき、現時点より後の前記周辺物の状態を予測するとともに、予測した結果を、前記表示器に表示される前記周辺物モデルの作成に使用される周辺物モデルデータとして生成する予測ステップと、を含む。
また、本発明の一態様に係るデータ生成プログラムは、操作者の操作を受け付ける操作器および前記操作者が視認可能な表示器を有する操作端末と、作業空間内に設置され、前記操作端末とデータ通信可能なネットワークを介して接続された実ロボットと、を備える遠隔操作システムにおいて、コンピュータに実行されることにより、前記表示器に表示される画像の生成に使用される少なくとも一部のデータを生成するデータ生成プログラムであって、前記表示器には、前記実作業空間をモデル化した作業空間モデルが動画像として表示され、前記作業空間モデルは、前記実ロボットをモデル化したロボットモデルと、前記実ロボットの周辺にある周辺物をモデル化した周辺物モデルとを含み、前記ロボットモデルは、前記操作器に対する前記操作者の操作により生成され、前記データ生成プログラムは、前記実ロボットの周辺にある周辺物の状態を示す状態情報を取得する状態情報取得ステップと、前記状態情報に基づき、現時点より後の前記周辺物の状態を予測するとともに、予測した結果を、前記表示器に表示される前記周辺物モデルの作成に使用される周辺物モデルデータとして生成する予測ステップと、を前記コンピュータに実行させる。
なお、前記データ生成プログラムは、記憶装置に記憶される。前記記憶装置は、コンピュータに内蔵または外付けされる読み書き可能または読み取り可能な装置であり、例えば、ハードディスク、フラッシュメモリ、光ディスク等を用いることができる。前記記憶装置に記憶されたプログラムは、前記記憶装置が直接接続されるコンピュータにおいて実行されてもよいし、前記記憶装置とネットワーク（例えば、インターネット）を介して接続されたコンピュータにおいてダウンロードされて実行されてもよい。
また、本発明の一態様に係る遠隔操作システムは、操作者の操作を受け付ける操作器および前記操作者が視認可能な表示器を有する操作端末と、実作業空間内に設置され、前記操作端末とデータ通信可能なネットワークを介して接続された実ロボットと、を備える遠隔操作システムであって、前記表示器には、前記実作業空間をモデル化した作業空間モデルが動画像として表示され、前記作業空間モデルは、前記実ロボットをモデル化したロボットモデルと、前記実ロボットの周辺にある実周辺物をモデル化した周辺物モデルとを含み、前記ロボットモデルは、前記操作器に対する前記操作者の操作に応じて動作するように作成され、前記遠隔操作システムは、前記実周辺物の状態を示す状態情報を取得する状態情報取得部と、前記状態情報に基づき、現時点より所定時間分だけ後の前記実周辺物の状態を予測するとともに、予測した結果を、前記表示器に表示される前記周辺物モデルの作成に使用される周辺物モデルデータとして生成する予測部とを備えるデータ生成装置を備える。
本発明によれば、操作者が操作する操作端末とロボットとの間の通信遅延が操作者の操作に与える影響を抑制することができる。
本発明の一実施形態に係る遠隔操作システムの全体構成を示すブロック図である。 図１のゲーム装置、中継装置および仲介装置のハードウェア構成の一例を示すブロック図である。 図１のロボットシステムの一例を模式的に示す図である。 図１のゲーム装置の制御部の機能的構成を示すブロック図である。 図１の中継装置の制御部の機能的構成を示すブロック図である。 ゲーム装置および中継装置の各々におけるロボットの作業開始前の処理フローを示す図である。 ゲーム装置および中継装置の各々におけるロボットの作業開始後の処理フローを示す図である。 ゲーム装置および中継装置の各々において時間の経過に伴い実行される処理の一例を説明するための図である。
以下、本発明の一実施形態について、図面を参照しながら説明する。
（システムの概要）
まず本実施形態に係る遠隔操作システム１の概要を、図１を参照して説明する。図１は、遠隔操作システム１の全体構成を示すブロック図である。本実施形態の遠隔操作システム１は、公知の各種ゲーム装置２（操作端末）と、操作者の居る場所とは異なる遠隔地の作業現場（作業空間。以下、「実作業空間」ともいう。）に設置されたロボット５１とを通信ネットワーク４を介して接続する。そして、操作者にゲーム装置２を用いてロボット５１を遠隔操作させて、当該ロボット５１に所定の作業を遂行させる。
遠隔操作システム１は、複数のゲーム装置２と、１つの仲介装置６と、複数のロボットシステム５とを含み、これらは例えばインターネット等の通信ネットワーク４を介して相互に通信可能となっている。ゲーム装置２は、例えば操作者の自宅などに置かれた据え置き型のゲーム装置または操作者が携帯する携帯型ゲーム装置である。
ロボットシステム５は、操作者に遠隔操作される対象であるロボット５１と、ロボット５１の周辺に設置された１以上の周辺機器５２と、中継装置５３とを備える。ロボット５１、周辺機器５２および中継装置５３はいずれも、ゲーム装置２を操作する操作者が居る場所から離れた遠隔地の作業現場に設置されている。作業現場には、１以上のロボットシステム５が存在する。
なお、遠隔操作システム１が有する複数のロボットシステム５の一部または全部は、互いに同じ作業現場に設置されていてもよいし異なる作業現場に設置されていてもよい。また、同じ作業現場に設置された複数のロボットシステム５が、互いに共有する周辺機器５２を有していてもよい。なお、複数のロボットシステム５は、互いに種類が同じまたは異なる複数の周辺機器５２を含み得るが、図１では、図の簡略化のため、周辺機器５２を示すブロックを１のロボットシステム５につき１つだけ示す。
中継装置５３は、同じロボットシステム５のロボット５１および周辺機器５２のそれぞれに通信可能に接続されている。中継装置５３は、通信ネットワーク４を介して、ゲーム装置２または仲介装置６から送られる情報をロボット５１または周辺機器５２に送ったり、ロボット５１または周辺機器５２の情報をゲーム装置２または仲介装置６に送ったりする。
仲介装置６は、１の操作者（１のゲーム装置２）に対して１のロボットシステム５を割り当てる。より詳しくは、操作者は、ゲーム装置２から仲介装置６にアクセスして予めユーザ登録を行っており、ユーザ登録により操作者にはユーザＩＤが付与されている。操作者はゲーム装置２において自己のユーザＩＤを入力し仲介装置６に対して操作要求を送ると、操作要求を受信した仲介装置６は、ゲーム装置２をいずれかのロボットシステム５に対応付けるとともに、ゲーム装置２と対応付けたロボットシステム５の中継装置５３とを、通信ネットワーク４を介して互いに通信接続させる。
例えば仲介装置６は、ゲーム装置２から操作要求を受け付けると、作業内容などを示す作業リスト情報を当該ゲーム装置２に送る。操作要求には、操作者が入力した希望条件情報が含まれる。希望条件情報には、ロボットの種類、ロボットの作業内容、対象ワーク、作業量、作業時間の一部または全部が含まれる。仲介装置６は、操作要求を受信すると、その操作要求に含まれる希望条件情報に基づき、操作者が希望する条件に合うものをフィルタリングし、ゲーム装置２にフィルタリングされた作業リストを送る。操作者はゲーム装置２の表示装置２５に表示された作業リストの中から、希望するものを１つ指定すると、ゲーム装置２から仲介装置６に、操作者の指定に対応した指定情報が送られる。仲介装置６は、そのゲーム装置２を、指定情報に対応するロボットシステム５の中継装置５３に接続する。
このように、遠隔操作システム１では、操作者がゲーム装置２を用いて物理的に遠く離れた様々な作業現場のロボット５１を遠隔操作することが可能となっている。例えば、遠隔操作システム１により、操作者は自宅に居ながら、地球の裏側の作業現場にあるロボット５１を操作することが可能である。互いに接続されたゲーム装置２とロボットシステム５（より詳しくはロボット５１）との間には、ゲーム装置２およびロボットシステム５の各々の通信環境やゲーム装置２およびロボットシステム５の互いの物理的距離などに起因した通信遅延が生じ得る。本実施形態では、後述するように、互いに接続されたゲーム装置２とロボット５１との間に生じる通信遅延が、操作者の操作に与える影響を抑制する遠隔操作システム１を実現している。
（ハードウェア構成）
図２に、ゲーム装置２、中継装置５３および仲介装置６のハードウェア構成の一例を示す。なお、図２では、複数のゲーム装置２のうちの１のゲーム装置２のみ示し、複数のロボットシステム５のうちの１のロボットシステム５のみ示す。ゲーム装置２は、ゲーム装置本体２ａと、それに接続される表示装置２５（表示器）、スピーカ２７、コントローラ２８（操作器）を備える。
図２に示すように、ゲーム装置本体２ａは、バス２０上に制御部２１、通信部２２、およびハードディスクまたはメモリーカード等の記憶部２３を備える。制御部２１は、コントローラ２８の操作に基づき、通信ネットワーク４を介してロボット５１に送られる操作情報を生成する。なお、ロボット５１は、この操作情報に基づき動作する。また、制御部２１は、コントローラ２８の操作に基づき、表示装置２５に表示される画像を生成する。このような制御部２１は、ＣＰＵ２１０、ＲＯＭ（フラッシュメモリ）２１１、ＲＡＭ２１２、画像プロセッサ２１３、音声プロセッサ２１４、および操作部２１５を備えている。
ＣＰＵ２１０はゲーム装置２の各部の動作を制御する。ＲＯＭ２１１には、ゲーム装置２の基本プログラム等が記憶されている。記憶部２３には、遠隔操作によりロボット５１を動作させるための遠隔操作プログラムや、各種ゲームを実行するためのゲームプログラム等が記憶されている。ＲＡＭ２１２には、ＣＰＵ２１０がゲームプログラムを実行する際に使用されるワークエリアが設定される。なお、本実施形態では、記憶部２３における上記遠隔操作プログラムの記憶は必須であるが、上記ゲームプログラムの記憶は必須ではない。なお、以下の説明では、各種プログラムやデータが記憶された制御部２１のＲＯＭ２１１やＲＡＭ２１２および記憶部２３などを総称して、ゲーム装置２の記憶装置と呼ぶこととする。
画像プロセッサ２１３は、ゲーム画面を生成可能なＧＰＵ（Graphics Processing Unit）を備える。画像プロセッサ２１３には、ビデオＲＡＭ（ＶＲＡＭ）２４が接続される。このＶＲＡＭ２４には表示装置２５が接続されている。
音声プロセッサ２１４は、ゲーム音声を生成するＤＳＰ（Digital Signal Processor）を備える。音声プロセッサ２１４は、生成したゲーム音声をＤ／Ａコンバータを含むアンプ２６に送信する。アンプ２６は、この音声信号を増幅してスピーカ２７に送信する。
操作部２１５には、コントローラ２８が無線または有線で通信接続されている。コントローラ２８は、十字ボタン、プッシュスイッチ、ジョイスティック、マウス、キーボードおよびタッチパネルなどを含む。また、操作部２１５は、ユーザによるコントローラ２８を介した操作信号を検出し、その操作信号をＣＰＵ２１０に送信する。
通信部２２は、通信ネットワーク４を介して仲介装置６および中継装置５３と通信する通信機器である。
仲介装置６は、制御部６１、通信部６２および記憶部６３を備えている。制御部６１は、例えばプロセッサとメモリとを有する演算器で構成される。この演算器は、具体的には、例えばマイクロコントローラ、ＭＰＵ、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）、コンピュータ、パーソナルコンピュータなどで構成される。制御部６１は、集中制御を行う単独の演算器で構成されてもよく、分散制御を行う複数の演算器で構成されてもよい。通信部６２は、通信ネットワーク４を介してゲーム装置２および中継装置５３と通信する通信機器である。記憶部６３は、読み書き可能または読み取り可能な記憶装置であり、例えば、ハードディスク、フラッシュメモリ、光ディスク等である。制御部６１は仲介装置６の各部の動作を制御する。制御部６１のメモリや記憶部６３には、ゲーム装置２をロボットシステム５に対応付けを行うプログラムなどの仲介装置６の動作を制御する各種プログラムやデータが記憶されている。
中継装置５３は、制御部５５、通信部５６および記憶部５７を備えている。制御部５５は、例えばプロセッサとメモリとを有する演算器で構成される。この演算器は、具体的には、例えばマイクロコントローラ、ＭＰＵ、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）、コンピュータ、パーソナルコンピュータなどで構成される。制御部５５は、集中制御を行う単独の演算器で構成されてもよく、分散制御を行う複数の演算器で構成されてもよい。通信部５６は、通信ネットワーク４を介してゲーム装置２、仲介装置６、ロボット５１、および周辺機器５２と通信する通信機器である。記憶部５７は、読み書き可能または読み取り可能な記憶装置であり、例えば、ハードディスク、フラッシュメモリ、光ディスク等である。制御部５５は、中継装置５３の動作を制御する。制御部５５のメモリや記憶部５７には、中継装置５３の動作を制御する各種プログラムやデータが記憶されている。
図３に、ロボットシステム５の一例を模式的に示す。このロボットシステム５では、コンベア５２ａにて搬送されるワークＷをピッキングする作業をロボット５１が行う。図３に示されたロボットシステム５において、ロボット５１は、産業用ロボットである。ロボット５１は、操作者に遠隔操作される対象であるロボット本体５１ａと、ロボット本体５１ａの動作を制御するロボットコントローラ５１ｂとを含む。図３に示したロボット本体５１ａは、先端部にツールが装着された垂直多関節型のロボットアームであり、本例では、ツールとして、垂直多関節型のロボットアームの先端部には、ワークＷを把持可能な把持ハンドが装着されている。ロボットコントローラ５１ｂは、プロセッサを備えており、格納されたプログラムや外部から入力される各種信号の解読・演算処理などをプロセッサで行い、ロボット本体５１ａの動作制御、各種出力ポートからの信号出力などをつかさどる。また、図３のロボットシステム５は、周辺機器５２として、作業対象であるワークを搬送するコンベア５２ａ、ロボット５１の作業状況を撮像する１以上の（本例では２つの）撮像装置５２ｂ、およびワークＷの位置を検知するセンサ５２ｃなどを備える。
なお、図３に示されたロボットシステム５の構成は、一例であり、ロボット５１や周辺機器５２の種類などは、ロボット５１の作業内容に応じた構成となっている。例えば、ロボット５１の作業は、ピッキング作業の他にも、例えば塗装作業や弁当盛り付け作業、溶接作業等であってもよい。また、ロボット５１は、垂直多関節型ロボットでなくてもよく、例えば水平多関節型ロボット、パラレルリンク型ロボット、極座標ロボット、円筒座標型ロボット、直角座標型ロボット等の産業用ロボットでもよい。また、周辺機器５２としての搬送装置は、コンベア以外の搬送装置でもよい。周辺機器５２は、ロボット本体５１ａを移動させる移動装置を含んでもよい。周辺機器５２としての１以上のセンサは、ワークＷの位置を検知するセンサの代わりにまたは加えて、ロボット５１の位置や姿勢を検知するセンサなどであってもよい。周辺機器５２としての１以上のセンサには、検査対象物の位置、向きまたは向きを検知するセンサを含む。また、ロボットシステム５は、周辺機器５２として複数の撮像装置５２ｂを備えてもよい。撮像装置５２ｂはロボット本体５１ａに取り付けられていてもよい。
（機能的構成）
図４は、ゲーム装置２の制御部２１の機能的構成を示すブロック図である。ゲーム装置２の制御部２１は、機能的構成として、通信制御部３１、操作側時間管理部３２、状態情報取得部３３、シミュレート部（予測部）３４、画像表示部３５、通信遅延計測部３６、ズレ検知部３７、モデル補正部３８を有している。これらの機能部は、ゲーム装置２の記憶装置に記憶された所定のプログラムとの協働によって機能的に実現される。なお、ゲーム装置２の記憶装置に記憶された所定のプログラムには、本発明の「データ生成プログラム」が含まれる。
通信制御部３１は、通信部２２を制御して、仲介装置６に上述した操作要求や指定情報を送ったり、仲介装置６からリスト情報を受信したりする。また、通信制御部３１は、通信部２２を制御して、仲介装置６がゲーム装置２と対応付けたロボットシステム５と通信接続するための情報を仲介装置６から受信する。また、通信制御部３１は、通信部２２を制御して、操作者がコントローラ２８を操作することで生成された操作情報を、対応するロボットシステム５の中継装置５３に送る。
操作側時間管理部３２は、コントローラ２８に対して操作者が操作してから、その操作に基づきロボット５１が動作するまでの時間が一定に保たれるように、ゲーム装置２側の時間を管理する。
状態情報取得部３３およびシミュレート部３４は、表示装置２５に表示される画像の生成に使用される少なくとも一部のデータを生成する。具体的には、表示装置２５には、ロボット（以下、「実ロボット」）５１が実際に存在する作業空間（以下、「実作業空間」）をモデル化した作業空間モデルが動画像として表示される。作業空間モデルは、仮想の作業空間に配置されたロボットモデルおよび周辺物モデルを含む。ロボットモデルは、実ロボット５１をモデル化したものである。周辺物モデルは、実ロボット５１の周辺にある所定の周辺物（以下、「実周辺物」）をモデル化したものである。実周辺物には、ロボット５１の周辺に位置する周辺機器５２およびワークＷが含まれ、周辺物モデルには、これらに対応した周辺機器モデルおよびワークモデルが含まれる。表示装置２５に表示される画像の生成には、ロボットモデルデータや周辺物モデルデータが用いられる。
ロボットモデルデータは、実ロボット５１の静的情報が含まれる。ロボットモデルの静的情報には、例えば、実ロボット５１の構造を示す構造情報（ロボット本体５１ａの関節数やリンク長、ツールの構造、など）や作業開始前の位置および／または姿勢を示す情報（例えばロボット本体５１ａが有するサーボモータの回転角度情報）などが含まれる。また、ロボットモデルデータには、ロボットモデルの動的情報、つまりコントローラ２８に対する操作者の操作情報（コマンド）が含まれる。この操作情報は、ロボットモデルを動作させるために使用されるとともに、通信ネットワーク４を介してゲーム装置２から実ロボット５１に送られて、実ロボット５１の動作にも使用される。つまり、操作者が、表示装置２５の表示画面を見ながらコントローラ２８を操作して、表示画面上のロボットモデルを動作させると、作業現場の実ロボット５１も同様に動作する。ただし、後述するように、ロボットモデルの動作に一定時間遅れて実ロボット５１は動作する。
周辺物モデルデータには、実周辺物の静的情報が含まれる。実周辺物の静的情報には、周辺機器５２の構造情報、周辺機器５２の作業開始前の位置および／または姿勢を示す情報、実ロボット５１の作業対象であるワークＷの形状データや構造情報、ワークＷの作業開始前の位置および／または姿勢を示す情報が含まれる。また、周辺物モデルデータには、実周辺物の所定時間先の位置や姿勢を予測した情報が含まれる。この予測を状態情報取得部３３およびシミュレート部３４が行う。本実施形態では、状態情報取得部３３およびシミュレート部３４を備えるゲーム装置２が、本発明の「データ生成装置」に対応する。
具体的には、状態情報取得部３３が、実ロボット５１の周りの周辺機器５２やワークＷなどの実周辺物の状態を示す状態情報を取得する。そして、シミュレート部３４は、状態情報に基づき、時間経過に伴う実周辺物の位置や姿勢の変化をシミュレートする。例えば状態情報取得部３３が、ある時点における周辺機器５２としての搬送装置に設定された搬送速度を示す情報と当該搬送装置に搬送されるワークＷの位置を示す情報とを状態情報として取得した場合、シミュレート部３４は、その搬送速度情報およびワーク位置情報から、一定時間先のワークＷの位置や姿勢を容易に算出可能である。このようにシミュレート部３４は、シミュレーションにより現時点より所定時間分だけ後の実周辺物の状態を予測する。そして、シミュレート部３４は、予測した結果を周辺物モデルの作成に使用される周辺物モデルデータとして生成する。
画像表示部３５は、ロボットモデルデータおよび周辺物モデルデータに基づき作成される作業空間モデルを、表示装置２５に表示する。例えば、画像表示部３５は、ロボットモデルデータおよび周辺物モデルデータに基づき作成されたロボットモデルおよび周辺物モデルが配置される仮想の作業空間に、仮想のカメラを配置する。この仮想のカメラにより撮像した画像を、表示装置２５に表示する。仮想カメラの位置、向き、ズームなどは、予め定められていてもよいし、例えばコントローラ２８に対する操作者の操作に応じて変更可能であってもよい。仮想作業空間における仮想カメラの位置や向きが、実作業空間における撮像装置５２ｂの位置や向きとそれぞれ対応していてもよい。
通信遅延計測部３６、ズレ検知部３７およびモデル補正部３８について、詳細は後述する。
図５は、中継装置５３の制御部５５の機能的構成を示すブロック図である。中継装置５３の制御部５５は、機能的構成として、通信制御部７１、ロボット側時間管理部７２を有している。これらの機能部は、中継装置５３の制御部５５および／または記憶部５７に記憶された所定のプログラムとの協働によって機能的に実現される。
通信制御部７１は、通信部５６を制御して、ゲーム装置２から、操作者がコントローラ２８を操作することで生成された操作情報を受信する。
ロボット側時間管理部７２は、コントローラ２８に対して操作者が操作してから、その操作に基づきロボット５１が動作するまでの時間が一定に保たれるように、ロボットシステム５側の時間を管理する。
（処理フロー）
次に、ゲーム装置２および中継装置５３の各々における実行処理について、図６～８を参照して説明する。
図６は、ゲーム装置２および中継装置５３の各々におけるロボット５１の作業開始前の処理フローを示す図である。作業開始前において、作業空間モデルにおけるロボットモデル、周辺機器モデルおよびワークモデルは、実ロボット５１、周辺機器５２およびワークＷと、それぞれ互いに同じ状態となるように作成される。
具体的には、仲介装置６によりゲーム装置２と中継装置５３とが接続されると、まず中継装置５３の通信制御部７１は、作業開始前の作業空間モデルを作成するための情報をゲーム装置２に送信する（ステップＳ２０１）。作業開始前の作業空間モデルを作成するための情報には、実ロボット５１の周辺にある実周辺物の状態を示す状態情報が含まれる。
本実施形態では、状態情報には、実作業空間に設置された撮像装置５２ｂが周辺機器５２およびワークＷを撮像することにより生成される撮像情報が含まれる。また、状態情報には、周辺機器５２としてのセンサの検知情報が含まれる。センサの検知情報には、例えばワークＷが作業空間の所定の位置にあるか否かを示す情報や、ワークＷの位置または姿勢を示す情報などが含まれる。また、状態情報には、周辺機器５２に設定された設定情報が含まれる。設定情報には、例えばロボットシステム５が周辺機器５２として搬送装置を含む場合、搬送装置に対し設定された搬送速度や搬送間隔が含まれてもよい。搬送間隔は、搬送されるワーク間の距離であってもよいし、あるワークＷがロボット５１の前の所定の位置に搬送された時点から、その次のワークＷが所定の位置に搬送されるまでの時間間隔などであってもよい。
また、ステップＳ２０１で中継装置５３からゲーム装置２に送られる状態情報には、実ロボット５１の状態を示す情報も含まれる。実ロボット５１の状態を示す情報には、例えばロボットコントローラ５１ｂが記憶している実ロボット５１の姿勢情報や位置情報が含まれてもよい。また、実ロボット５１の状態を示す情報には、周辺機器５２である撮像装置５２ｂにより得られる撮像情報やセンサ５２ｃの検知情報が含まれてもよい。
ゲーム装置２側では、状態情報取得部３３は、中継装置５３から受信した状態情報を取得する（ステップＳ１０１）。そして、シミュレート部３４は、状態情報取得部３３により取得した状態情報に基づき、作業開始前の実作業空間と同じ状態の作業空間モデルを作成する（ステップＳ１０２）。例えば、ワークＷの形状データや構造情報、ワークＷの位置や向き、周辺機器５２の位置情報や構造情報、設定情報などが含まれている。
具体的には、シミュレート部３４は、作業開始前の実ロボット５１の位置情報（実作業空間に対し設定された座標系における位置座標）および姿勢情報（ロボット本体５１ａが有するサーボモータの回転角度情報など）に基づき、ロボットモデルの状態（位置や姿勢など）が実ロボット５１と同じ状態となるように、ロボットモデルを作成する。また、シミュレート部３４は、作業開始前の実周辺物の状態情報に基づき、周辺物モデルが実周辺物と同じ状態となるように、周辺物モデルを作成する。
画像表示部３５は、ステップＳ１０２で作成した作業空間モデルの画像を生成して、表示装置２５に表示する（ステップＳ１０３）。こうして、作業開始の準備が整う。
図７は、ゲーム装置２および中継装置５３の各々におけるロボット５１の作業開始後の処理フローである。また、図８は、ゲーム装置２および中継装置５３の各々において時間の経過に伴い実行される処理の一例を説明するための図である。
ステップＳ１０３の後、ゲーム装置２の制御部２１は、作業開始を指示する操作がなされたか否かを判定する（ステップＳ１０５）。作業開始指示がない場合（ステップＳ１０５：Ｎｏ）、作業開始指示があるまで待機した状態となる。操作者によりコントローラ２８に対して作業開始を指示する操作がなされると（ステップＳ１０５：Ｙｅｓ）、通信制御部３１は、中継装置５３に作業開始指示を送信する（ステップＳ１０６）。また、操作側時間管理部３２は、作業開始指示の送信時刻を、操作側基準時刻ｔ１としてゲーム装置２の記憶装置（ＲＡＭ２１２または記憶部２３など）に記憶する（ステップＳ１０７、図８も参照）。
ロボットシステム５側では、中継装置５３の通信制御部７１が作業開始指示を受信すると（ステップＳ２０２）、通信制御部７１は、作業開始指示の受信時刻から所定時間Δｔだけ待機した後を作業開始時刻とし、ロボット５１および周辺機器５２に作業開始指示を送る（ステップＳ２０３）。また、ロボット側時間管理部７２は、作業開始指示の受信時刻から所定時間Δｔだけ後の時刻を、ロボット側基準時刻ｔ２として記憶する（ステップＳ２０４、図８も参照）。
こうして、以降に説明するように、操作側基準時刻ｔ１から、表示装置２５に表示される作業空間モデル内のロボットモデルの作業が開始され、ロボット側基準時刻ｔ２から、実作業空間での実ロボットの作業が開始される。言い換えれば、実作業空間は、作業空間モデルよりも基準時刻の差分（ｔ２－ｔ１）だけ遅れて進行する。例えばゲーム装置２からロボットシステム５に送られる作業開始指示には、周辺機器５２を停止状態から稼働状態に移行する指令が含まれてもよい。例えば作業空間モデルのワークモデルは、搬送装置モデルに操作側基準時刻ｔ１から搬送され始め、実作業空間の実ワークＷは、搬送装置にロボット側基準時刻ｔ２から搬送され始めてもよい。
ゲーム装置２では、ステップＳ１０７で基準時刻ｔ１を設定した後、ロボット５１の遠隔操作が可能となる。すなわち、コントローラ２８に対してロボット５１を操作するための操作が行われた場合（ステップＳ１０８：Ｙｅｓ）、操作情報が生成される。シミュレート部３４は、操作情報に基づき、ロボットモデルの動作をシミュレートする（ステップＳ１０９）。また、通信制御部３１は、操作情報とともに、その操作情報に対応した操作を行うまでに経過した時間を示す基準時刻ｔ１からの経過時間Ｔとを中継装置５３に送信する（ステップＳ１１０）。
ロボットシステム５側では、中継装置５３の通信制御部７１が、ゲーム装置２から操作情報および時間情報とをセットで受信すると、基準時刻ｔ２からの経過時間Ｔ後に、受信した操作情報に基づく操作を実行するように、ロボット５１に動作指令を送る（ステップＳ２０５）。なお、ステップＳ１１０では、経過時間Ｔの代わりに、操作した時刻を示す時刻を示す時刻情報など、操作情報に対応した操作がなされた時間を示す時間情報が送られればよい。
また、ステップＳ１０８で操作があったと判定されたか否かに関わらず、シミュレート部３４は、実周辺物の状態をシミュレートする（ステップＳ１１１）。具体的に、シミュレート部３４は、状態情報に基づき、現時点より所定時間分だけ後の実周辺物の状態を予測し、予測した結果を周辺物モデルの作成に使用される周辺物モデルデータとして生成する。なお、状態情報は、状態情報取得部３３が作業開始前にステップＳ１０１で取得したものでなくてもよく、作業開始後に取得した情報であってもよい。つまり、ロボットシステム５からゲーム装置２に最新の状態情報が、逐次送られてもよく、状態情報取得部３３は、最新の状態情報を逐次取得してもよい。シミュレート部３４は、最新の状態情報に基づき実周辺物の状態を予測してもよい。
画像表示部３５は、ステップＳ１０９およびＳ１１１でのシミュレーション結果に基づき生成されるデータに基づき、作業空間モデルを示す画像を表示装置２５に表示する（ステップＳ１１２）。画像表示部３５は、実際の作業空間の状況に対してロボット側基準時刻ｔ２と操作側基準時刻ｔ１との差分（ｔ２－ｔ１）だけ先の状況の作業空間モデルを表示する。言い換えれば、図８に示すように、表示装置２５に表示される作業空間モデルに対して、実際の作業空間は、ロボット側基準時刻ｔ２と操作側基準時刻ｔ１との差分（ｔ２－ｔ１）だけ遅れて進行する。
コントローラ２８に対して作業終了のための操作が行われるまで、あるいは一定の作業が完了するまでは（ステップＳ１１３：Ｎｏ）、ステップＳ１０８～Ｓ１１２が繰り返される。
上述のステップＳ２０３では、ロボット側時間管理部７２は、作業開始指示の受信時刻をロボット側基準時刻ｔ２とせず、作業開始指示の受信時刻から所定時間Δｔだけ待機した後の時刻をロボット側基準時刻ｔ２として設定している。このように、操作側基準時刻ｔ１とロボット側基準時刻ｔ２との間に一定の間隔を設けることで、ゲーム装置２とロボットシステム５との通信遅延（図８のΔｄ１，Δｄ２参照）の変動を吸収している。
なお、待機時間Δｔは、ゲーム装置２とロボットシステム５（詳細には中継装置５３）との間の実際に通信遅延から設定してもよい。通信遅延計測部３６は、ゲーム装置２とそれに対応付けられたロボットシステム５（より詳しくは中継装置５３）との間の通信遅延を計測する。通信遅延の計測は、周知の方法で実施される。ロボット側時間管理部７２は、ステップＳ１０５の前に通信遅延計測部３６により計測された通信遅延の変動度合いに応じて、待機時間Δｔの長さ、言い換えればロボット側基準時刻ｔ２と操作側基準時刻ｔ１との差分（ｔ２－ｔ１）が設定してもよい。
また、本実施形態では、ステップＳ１０８～Ｓ１１２を繰り返す際に、定期的に、作業空間モデルを補正する。ズレ検知部３７は、所定の時点において表示装置２５に表示された作業空間モデルの状況と、所定の時点より所定の時間分だけ後の実作業空間の状況との間のズレの程度を検知する。より詳しくは、ズレ検知部３７は、所定の時点の作業空間モデルの状況と、当該所定の時点より、ロボット側基準時刻ｔ２と操作側基準時刻ｔ１との差分（ｔ２－ｔ１）だけ後の実作業空間の状況との間のズレの程度を検知する。
例えばズレ検知部３７は、ある時刻ｔａの実作業空間の状態を示す状態情報と、シミュレート部３４により予測した当該時刻ｔａの作業空間モデルの状態とを比較してズレの程度を検知してもよい。ズレ検知部３７が比較する実作業空間の状態を示す状態情報には、シミュレート部３４が実周辺物の状態を予測するために使用する状態情報が含まれてもよい。ズレ検知部３７は、例えば時刻ｔａの実作業空間の撮像情報をロボットシステム５から受信し、その撮像情報から実周辺物（周辺機器５２やワークＷ）の位置や姿勢を画像認識で判断してもよい。ズレ検知部３７は、時刻ｔａの撮像情報から判断した実周辺物の位置や姿勢と、時刻ｔａの実作業空間に対応する時刻（つまり、時刻（ｔａ－（ｔ２－ｔ１）））の作業空間モデルにおける周辺物モデルの位置や姿勢を比較する。つまり、ズレ検知部３７は、時刻ｔａの撮像情報から判断した実周辺物の状態（周辺機器５２やワークＷの位置や姿勢など）と、時刻ｔａより時間（ｔ２－ｔ１）だけ前の周辺物モデルの状態とを比較する。
そして、モデル補正部３８は、ズレ検知部３７により検知されたズレが予め設定された範囲を超えた場合に、ズレが解消されるように作業空間モデルを補正する。例えば、モデル補正部３８は、シミュレート部３４に用いられる状態情報を、ズレ検知部３７により検知したズレだけ調整してもよい。あるいは、モデル補正部３８は、シミュレート部３４により生成された周辺物モデルデータを、ズレ検知部３７により検知したズレだけ調整してもよい。なお、モデル補正部３８が作業空間モデルの補正を行った後に、シミュレート部３４が実周辺物の状態をシミュレートする場合、作業空間モデルの補正を加味して、実周辺物の状態をシミュレートする。
以上説明したように、本実施形態のデータ生成装置としてのゲーム装置２および遠隔操作システム１によれば、シミュレート部３４により、現時点より所定時間分後の実周辺物の状態が予測され、その予測結果が、表示装置２５に表示される周辺物モデルの作成に使用される周辺物モデルデータとして生成される。このため、周辺物モデルの状態と実周辺物の状態との間にも、ロボットモデルと実ロボットとの間と同じ時間ずれを生じさせることができる。これにより、ロボットモデルと周辺物モデルとの時間軸を一致させることができるため、通信遅延が操作者の操作に与える影響を抑制することができる。
また、本実施形態では、ズレ検知部３７が所定の時点において表示装置２５に表示された作業空間モデルの状況と、所定の時点より所定時間分だけ後の実作業空間の状況との間のズレの程度を検知し、モデル補正部３８が、ズレ検知部３７により検知されたズレが予め設定された範囲を超えた場合に、ズレが解消されるように作業空間モデルを補正する。このため、表示装置２５に表示される作業空間モデルの状況と実作業空間の状況との間のズレを抑制することができる。
（その他の実施形態）
本発明は上述の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変形が可能である。
例えば、上記実施形態では、操作端末としてゲーム装置２が例示されたが、本発明における操作端末はゲーム装置２でなくてもよい。操作端末は、操作者の操作を受け付ける操作器および操作者が視認可能な表示器を有するものであればよい。例えばゲーム装置２は、公知の各種ゲーム装置の他に、例えば個人情報端末（ＰＤＡ（Personal Data Assistant））、スマートフォン、パーソナルコンピュータ、タブレット、およびロボット専用遠隔操作器のいずれかであってもよい。
また、例えば、仲介装置６または別のサーバ装置の制御部が、所定のプログラムを実行することにより、状態情報取得部および予測部として機能してもよい。つまり、本発明の「データ生成装置」は、操作者が操作する操作端末でなくてもよく、操作端末と通信する装置であってもよい。例えば、本発明のデータ生成装置は、ロボットコントローラ５１ｂ、中継装置５３、仲介装置６、あるいは仲介装置６とは別のサーバ装置であってもよい。本発明のデータ生成装置は、通信遅延計測部３６、ズレ検知部３７およびモデル補正部３８の一部または全部を備えていなくてもよい。
また、本発明の「データ生成プログラム」は、操作端末としてのゲーム装置２の記憶装置の代わりにまたは加えて、ロボットコントローラ５１ｂ、中継装置５３、仲介装置６、および仲介装置６とは別のサーバ装置の少なくとも１つが備える記憶装置に記憶されていてもよい。また、本発明の「データ生成プログラム」は、ロボットコントローラ５１ｂ、中継装置５３、仲介装置６、および仲介装置６とは別のサーバ装置の少なくとも１つが夫々内蔵するコンピュータに実行されることにより、当該コンピュータに状態情報取得部および予測部として機能させるものであればよい。図６および図７に沿って説明したゲーム装置２および中継装置５３の処理フローも、本発明を制限するものではない。
また、遠隔操作システム１は、ゲーム装置２を１つだけ備えてもよい。また、遠隔操作システム１は、ロボットシステム５を１つだけ備えてもよい。また、遠隔操作システム１は、仲介装置６を備えなくてもよい。また、ロボットシステム５における中継装置５３とロボットコントローラ５１ｂとは一体的に構成されていてもよい。すなわち、ロボットシステム５は、中継装置５３とロボットコントローラ５１ｂの各々の機能を兼ね備える１台の制御装置を備えてもよい。
また、本発明における実ロボットは、産業用ロボットでなくてもよく、操作端末における操作者の操作に応じて動作するロボットであればよい。例えば本発明の実ロボットは、介護、医療、運搬、清掃、料理などのサービスを提供するサービス用ロボットであってもよい。また、本発明の実ロボットは、ヒューマノイドであってもよい。実ロボットは、操作者による操作器の操作により生成される操作情報に基づき動作するが、実ロボットは、当該操作情報だけでなく予め設定したタスクプログラムに基づいても動作してよい。
上記実施形態では、データ生成プログラムは、実周辺物の状態を示す状態情報を取得する状態情報取得ステップと、前記状態情報に基づき、現時点より後の前記実周辺物の状態を予測するとともに、予測した結果を、前記表示器に表示される前記周辺物モデルの作成に使用される周辺物モデルデータとして生成する予測ステップと、を操作端末としてのゲーム装置２の制御器２１に実行させるものであったが、本発明のデータ生成プログラムは、上述した状態情報取得ステップおよび予測ステップを、他のコンピュータに実行させてもよい。例えば、本発明のデータ生成プログラムは、上述した状態情報取得ステップおよび予測ステップを、ロボットコントローラ５１ｂ、中継装置５３、仲介装置６、および仲介装置６とは別のサーバ装置の少なくとも１つが備える制御器（コンピュータ）に実行させてもよい。データ生成プログラムは複数の記憶装置に分散して記憶されていてもよい。例えばデータ生成プログラムの一部が操作端末の記憶装置に記憶され、それ以外が別の記憶装置（例えば中継装置５３など）に記憶されていてもよい。また、本発明のデータ生成プログラムは、所定の時点において前記表示器に表示された前記作業空間モデルの状況と、前記所定の時点より前記所定時間分だけ後の前記実作業空間の状況との間のズレの程度を検知するズレ検知ステップを、コンピュータに実行させてもよい。また、本発明のデータ生成プログラムは、前記ズレ検知ステップにより検知されたズレが予め設定された範囲を超えた場合に、前記ズレが解消されるように前記作業空間モデルを補正するモデル補正ステップをコンピュータに実行させてもよい。
１ ：遠隔操作システム
２ ：ゲーム装置（操作端末）
４ ：通信ネットワーク
５ ：ロボットシステム
６ ：仲介装置
２５ ：表示装置（表示器）
２８ ：コントローラ（操作器）
３３ ：状態情報取得部
３４ ：シミュレート部（予測部）
３５ ：画像表示部
３６ ：通信遅延計測部
３７ ：ズレ検知部
３８ ：モデル補正部
５１ ：ロボット
５１ａ ：ロボット本体
５１ｂ ：ロボットコントローラ
５２ ：周辺機器
５２ａ ：コンベア
５２ｂ ：撮像装置
５２ｃ ：センサ
５３ ：中継装置
５５ ：制御部

Claims (2)

  1. 操作者の操作を受け付ける操作器および前記操作者が視認可能な表示器を有する操作端末と、実作業空間内に設置された中継装置と、前記中継装置と通信可能に接続された実ロボットと、を備え、前記中継装置が、前記操作端末とデータ通信可能なネットワークを介して接続されている遠隔操作システムであって、
    前記表示器には、前記実作業空間をモデル化した作業空間モデルが動画像として表示され、
    前記作業空間モデルは、前記実ロボットをモデル化したロボットモデルと、前記実ロボットの周辺にある実周辺物をモデル化した周辺物モデルとを含み、
    前記ロボットモデルは、前記操作器に対する前記操作者の操作に応じて動作するように作成され、
    前記遠隔操作システムは、前記実周辺物の状態を示す状態情報を取得する状態情報取得部と、前記状態情報に基づき、現時点より所定時間分だけ後の前記実周辺物の状態を予測するとともに、予測した結果を、前記表示器に表示される前記周辺物モデルの作成に使用される周辺物モデルデータとして生成する予測部とを備えるデータ生成装置を備え、
    前記操作端末は、前記操作端末側の時間を管理する操作側時間管理部を備え、
    前記中継装置は、前記実ロボット側の時間を管理するロボット側時間管理部を備え、
    前記操作端末は、前記操作者により前記操作器に対して作業開始を指示する操作がなされると、前記中継装置に作業開始指示を送信し、
    前記操作側時間管理部は、作業開始指示の送信時刻を、操作側基準時刻として記憶し、
    前記中継装置が前記作業開始指示を受信すると、前記中継装置は、前記実ロボットに作業開始指示を送り、
    前記ロボット側時間管理部は、前記作業開始指示の受信時刻から所定の待機時間だけ後の時刻を、ロボット側基準時刻として記憶し、
    前記表示器に表示される前記作業空間モデルでは、前記操作側基準時刻から前記ロボットモデルの作業が開始され、前記実作業空間では、前記ロボット側基準時刻から前記実ロボットの作業が開始される、遠隔操作システム。
  2. 前記遠隔操作システムは、前記操作端末と前記中継装置との間の通信遅延を計測する通信遅延計測部を備え、
    前記ロボット側時間管理部は、前記通信遅延計測部により計測された通信遅延の変動度合いに応じて、前記待機時間の長さを設定する、請求項１に記載の遠隔操作システム。
JP2019105754A 2018-08-10 2019-06-05 遠隔操作システム Active JP7281349B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2019/031495 WO2020032211A1 (ja) 2018-08-10 2019-08-08 データ生成装置、データ生成方法、データ生成プログラムおよび遠隔操作システム
KR1020217006823A KR102518766B1 (ko) 2018-08-10 2019-08-08 데이터 생성 장치, 데이터 생성 방법, 데이터 생성 프로그램 및 원격 조작 시스템
US17/267,288 US12027060B2 (en) 2018-08-10 2019-08-08 Data generation device, method of generating data, and remote manipulation system
CN201980048635.XA CN112469538B (zh) 2018-08-10 2019-08-08 数据生成装置及方法、数据生成程序、以及远程操作系统
TW108128595A TW202014278A (zh) 2018-08-10 2019-08-12 資料產生裝置、資料產生方法、資料產生程式以及遙控系統

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018151917 2018-08-10
JP2018151917 2018-08-10

Publications (2)

Publication Number Publication Date
JP2020026028A JP2020026028A (ja) 2020-02-20
JP7281349B2 true JP7281349B2 (ja) 2023-05-25

Family

ID=69414224

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2019105754A Active JP7281349B2 (ja) 2018-08-10 2019-06-05 遠隔操作システム
JP2019105752A Active JP7384575B2 (ja) 2018-08-10 2019-06-05 情報処理装置、仲介装置、シミュレートシステム、情報処理方法及びプログラム
JP2019105753A Active JP7340964B2 (ja) 2018-08-10 2019-06-05 仲介装置および仲介方法
JP2019105728A Active JP7333204B2 (ja) 2018-08-10 2019-06-05 情報処理装置、ロボット操作システム、及びロボット操作方法
JP2019105751A Active JP7281348B2 (ja) 2018-08-10 2019-06-05 トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法
JP2020535925A Active JP7130752B2 (ja) 2018-08-10 2019-08-09 ロボットシステム

Family Applications After (5)

Application Number Title Priority Date Filing Date
JP2019105752A Active JP7384575B2 (ja) 2018-08-10 2019-06-05 情報処理装置、仲介装置、シミュレートシステム、情報処理方法及びプログラム
JP2019105753A Active JP7340964B2 (ja) 2018-08-10 2019-06-05 仲介装置および仲介方法
JP2019105728A Active JP7333204B2 (ja) 2018-08-10 2019-06-05 情報処理装置、ロボット操作システム、及びロボット操作方法
JP2019105751A Active JP7281348B2 (ja) 2018-08-10 2019-06-05 トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法
JP2020535925A Active JP7130752B2 (ja) 2018-08-10 2019-08-09 ロボットシステム

Country Status (7)

Country Link
US (3) US12027060B2 (ja)
EP (1) EP3835007A4 (ja)
JP (6) JP7281349B2 (ja)
KR (1) KR102518131B1 (ja)
CN (1) CN112469539B (ja)
TW (1) TWI782223B (ja)
WO (1) WO2020032265A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3835006A4 (en) 2018-08-10 2022-05-04 Kawasaki Jukogyo Kabushiki Kaisha INFORMATION PROCESSING DEVICE, ROBOT OPERATING SYSTEM AND ROBOT OPERATING METHOD
EP4074474A4 (en) * 2019-12-13 2024-06-05 Kawasaki Jukogyo Kabushiki Kaisha ROBOT SYSTEM AND METHOD FOR PRODUCING A THREE-DIMENSIONAL MODEL OF A WORKPIECE
EP4134205A4 (en) * 2020-04-10 2024-05-01 Kawasaki Jukogyo Kabushiki Kaisha MEDICAL MOVING BODY SYSTEM AND DRIVING METHOD THEREFOR
US20230356389A1 (en) * 2020-09-25 2023-11-09 Nec Corporation Control device, control method and storage medium
US20210107152A1 (en) * 2020-12-22 2021-04-15 Intel Corporation Autonomous machine collaboration
JP2022131206A (ja) * 2021-02-26 2022-09-07 川崎重工業株式会社 情報処理装置、学習装置、情報処理システム及びロボットシステム
KR102453962B1 (ko) * 2021-12-10 2022-10-14 김판수 행동 모사 플랫폼 서비스 제공 시스템
GB2622622A (en) * 2022-09-23 2024-03-27 Rolls Royce Plc Robot control

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014229157A (ja) 2013-05-24 2014-12-08 日本電信電話株式会社 遅延補償装置、方法、プログラム及び記録媒体
JP2017056529A (ja) 2015-09-17 2017-03-23 株式会社安川電機 移送システムおよび移送方法
JP2017519644A (ja) 2014-04-30 2017-07-20 パーカー、コールマン、ピー．ＰＡＲＫＥＲ，Ｃｏｌｅｍａｎ，Ｐ． 仮想現実入力を用いたロボット制御システム

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51106455A (ja) * 1975-03-15 1976-09-21 Nobumasa Kobayashi Seisandosapitsuchikaisujidohyojisochi
JPS60181803A (ja) * 1984-02-28 1985-09-17 Shin Meiwa Ind Co Ltd 産業用ロボツトにおける制御方法
US5046022A (en) * 1988-03-10 1991-09-03 The Regents Of The University Of Michigan Tele-autonomous system and method employing time/position synchrony/desynchrony
JPH0639753A (ja) * 1991-09-18 1994-02-15 Fujitsu Ltd ロボットの遠隔操作支援装置
JP3304251B2 (ja) 1995-11-27 2002-07-22 松下電工株式会社 組立ロボットの自動教示方法及びその装置
JP3876573B2 (ja) * 1999-09-20 2007-01-31 カシオ計算機株式会社 ネットゲーム装置及び似顔絵画像表示制御方法
JP3286665B2 (ja) 1999-12-27 2002-05-27 川崎重工業株式会社 ロボット遊戯装置の制御方法およびロボット遊戯装置
JP2002108975A (ja) * 2000-10-02 2002-04-12 Komatsu Ltd 施工量管理システム
JP4363058B2 (ja) * 2003-02-25 2009-11-11 株式会社安川電機 モータ、モータの制御装置、モータ制御システム及びモータの同定方法
JP2003265852A (ja) * 2003-03-10 2003-09-24 Konami Co Ltd ゲーム用サーバ装置、ゲーム管理方法及びゲーム管理プログラム
JP4438927B2 (ja) * 2003-04-08 2010-03-24 株式会社バンダイナムコゲームス シミュレータ、プログラム及び情報記憶媒体
JP4196400B2 (ja) * 2003-04-22 2008-12-17 株式会社安川電機 モータの制御装置及び制御方法
JP2006051586A (ja) * 2004-08-13 2006-02-23 Speecys Kk ロボットコントロールシステム
JP4823509B2 (ja) 2004-11-05 2011-11-24 日立電子サービス株式会社 教育受講ナビゲーションシステム
JP2007183332A (ja) 2006-01-05 2007-07-19 Advanced Telecommunication Research Institute International 操作訓練装置
JP5064835B2 (ja) * 2007-02-28 2012-10-31 株式会社アルバック 基板搬送装置
JP5083617B2 (ja) 2008-01-31 2012-11-28 澁谷工業株式会社 遠隔操作ロボット装置
JP2009213754A (ja) * 2008-03-12 2009-09-24 Taito Corp 対戦ゲームシステム
US20090291764A1 (en) 2008-05-21 2009-11-26 George Francis Kirkman System and apparatus for a controlled toy to interact with a computer game
CN101623867B (zh) * 2008-07-11 2010-12-01 中国科学院沈阳自动化研究所 一种使机器人高精度跟踪指定路径的设备和方法
JP2010131711A (ja) * 2008-12-05 2010-06-17 Honda Motor Co Ltd ロボットアームの制御方法
WO2010108128A2 (en) 2009-03-20 2010-09-23 The Johns Hopkins University Method and system for quantifying technical skill
US20120238366A1 (en) 2011-03-15 2012-09-20 Maurice Tedder Robot Game for Multiple Players that is Remotely Controlled over a Network
JP6169562B2 (ja) * 2011-05-05 2017-07-26 ザ・ジョンズ・ホプキンス・ユニバーシティー サンプルタスク軌跡を分析する、コンピュータで実現される方法、および、サンプルタスク軌跡を分析するシステム
JP5838873B2 (ja) 2012-03-15 2016-01-06 オムロン株式会社 シミュレーション装置、シミュレーション方法、および、シミュレーションプログラム
WO2013140579A1 (ja) * 2012-03-22 2013-09-26 株式会社安川電機 作業ロボットおよびロボットシステム
JP5975704B2 (ja) * 2012-04-10 2016-08-23 曙機械工業株式会社 作業の指標表示装置とその装置を用いた作業の指標表示方法
CN104470687A (zh) * 2012-07-20 2015-03-25 株式会社安川电机 机器人模拟器、机器人示教装置以及机器人示教方法
US9623561B2 (en) * 2012-10-10 2017-04-18 Kenneth Dean Stephens, Jr. Real time approximation for robotic space exploration
IL224273B (en) * 2013-01-17 2018-05-31 Cohen Yossi Delay compensation during remote sensor control
US11281207B2 (en) * 2013-03-19 2022-03-22 Robotic Research Opco, Llc Delayed telop aid
JP6140522B2 (ja) 2013-05-10 2017-05-31 株式会社富士通アドバンストエンジニアリング 評価支援方法、評価支援装置、および評価支援プログラム
JP2015047666A (ja) 2013-09-02 2015-03-16 トヨタ自動車株式会社 遠隔操作装置、及び操作画像表示方法
US9300430B2 (en) * 2013-10-24 2016-03-29 Harris Corporation Latency smoothing for teleoperation systems
JP6358463B2 (ja) * 2013-11-13 2018-07-18 パナソニックＩｐマネジメント株式会社 マスタースレーブ装置用マスター装置及びその制御方法、及び、マスタースレーブ装置
JP2015220574A (ja) 2014-05-16 2015-12-07 ソニー株式会社 情報処理システム、記憶媒体、およびコンテンツ取得方法
JP6350037B2 (ja) 2014-06-30 2018-07-04 株式会社安川電機 ロボットシミュレータおよびロボットシミュレータのファイル生成方法
EP3217912B1 (en) 2014-11-13 2024-07-24 Intuitive Surgical Operations, Inc. Integrated user environments
JP6002199B2 (ja) 2014-11-28 2016-10-05 グリー株式会社 ゲームプログラム、ゲーム処理方法、および、情報処理装置
DE102014118001A1 (de) * 2014-12-05 2016-06-09 Broetje-Automation Gmbh Verfahren zur Bewegungssimulation eines Manipulators
US9550120B2 (en) 2014-12-08 2017-01-24 Cubic Corporation Toll image review gamification
US10345788B2 (en) 2014-12-26 2019-07-09 Kawasaki Jukogyo Kabushiki Kaisha Robot system
JP6494331B2 (ja) * 2015-03-03 2019-04-03 キヤノン株式会社 ロボット制御装置およびロボット制御方法
US9808933B2 (en) * 2015-04-03 2017-11-07 GM Global Technology Operations LLC Robotic system with reconfigurable end-effector assembly
JP6240689B2 (ja) * 2015-07-31 2017-11-29 ファナック株式会社 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法
CN107921639B (zh) 2015-08-25 2021-09-21 川崎重工业株式会社 多个机器人系统间的信息共享系统及信息共享方法
JP6386516B2 (ja) * 2016-01-14 2018-09-05 ファナック株式会社 学習機能を備えたロボット装置
US10525596B2 (en) 2016-02-11 2020-01-07 Darryl Hammock Teleoperated robot for flood-welding operations
KR102023149B1 (ko) * 2016-03-03 2019-11-22 구글 엘엘씨 로봇 파지를 위한 심층 기계 학습 방법 및 장치
US10322506B2 (en) * 2016-05-06 2019-06-18 Kindred Systems Inc. Systems, devices, articles, and methods for using trained robots
US10220511B2 (en) * 2016-07-28 2019-03-05 X Development Llc Customized robotic installation based on measurements collected on site
FR3054468B1 (fr) * 2016-07-29 2018-08-31 Staubli Faverges Procede de commande d'un robot a usage industriel
JP6640060B2 (ja) 2016-09-27 2020-02-05 株式会社日立製作所 ロボットシステム
JP6506245B2 (ja) * 2016-12-26 2019-04-24 ファナック株式会社 組付動作を学習する機械学習装置および部品組付システム
JP2018126798A (ja) * 2017-02-06 2018-08-16 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP6846950B2 (ja) * 2017-03-03 2021-03-24 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6902369B2 (ja) 2017-03-15 2021-07-14 株式会社オカムラ 提示装置、提示方法およびプログラム、ならびに作業システム
CN107020636A (zh) * 2017-05-09 2017-08-08 重庆大学 一种基于策略梯度的机器人学习控制方法
CA3078578A1 (en) * 2017-10-06 2019-04-11 Moog Inc. Teleoperation system, method, apparatus, and computer-readable medium
TWM559195U (zh) * 2017-10-13 2018-05-01 Shi Ru Ling 實體化場景移動遊戲總成
CN107803841B (zh) * 2017-10-17 2020-11-17 深圳市一棵大树国际教育科技有限公司 一种基于机器人的智能教学纠正方法及其系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014229157A (ja) 2013-05-24 2014-12-08 日本電信電話株式会社 遅延補償装置、方法、プログラム及び記録媒体
JP2017519644A (ja) 2014-04-30 2017-07-20 パーカー、コールマン、ピー．ＰＡＲＫＥＲ，Ｃｏｌｅｍａｎ，Ｐ． 仮想現実入力を用いたロボット制御システム
JP2017056529A (ja) 2015-09-17 2017-03-23 株式会社安川電機 移送システムおよび移送方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小菅 一弘，ネットワークを介した環境予測型遠隔操作システム，日本ロボット学会誌，日本，社団法人日本ロボット学会，1999年05月15日，第１７巻第４号，第４７３－４７６頁

Also Published As

Publication number Publication date
JP2020026027A (ja) 2020-02-20
JP2020026025A (ja) 2020-02-20
US20240331566A1 (en) 2024-10-03
JP7340964B2 (ja) 2023-09-08
JP2020026028A (ja) 2020-02-20
TWI782223B (zh) 2022-11-01
KR20210041040A (ko) 2021-04-14
TW202012131A (zh) 2020-04-01
JP7384575B2 (ja) 2023-11-21
US12027060B2 (en) 2024-07-02
JP7130752B2 (ja) 2022-09-05
JP7281348B2 (ja) 2023-05-25
EP3835007A1 (en) 2021-06-16
JPWO2020032265A1 (ja) 2021-08-10
US20210201692A1 (en) 2021-07-01
US12046148B2 (en) 2024-07-23
EP3835007A4 (en) 2022-06-08
JP2020026024A (ja) 2020-02-20
WO2020032265A1 (ja) 2020-02-13
JP7333204B2 (ja) 2023-08-24
CN112469539B (zh) 2024-02-13
JP2020026026A (ja) 2020-02-20
KR102518131B1 (ko) 2023-04-05
US20210316461A1 (en) 2021-10-14
CN112469539A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
JP7281349B2 (ja) 遠隔操作システム
US11220002B2 (en) Robot simulation device
CN104936748B (zh) 徒手机器人路径教导
US11197730B2 (en) Manipulator system
US10166673B2 (en) Portable apparatus for controlling robot and method thereof
JP6540472B2 (ja) シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
CN108145709B (zh) 控制机器人的方法和设备
KR102518766B1 (ko) 데이터 생성 장치, 데이터 생성 방법, 데이터 생성 프로그램 및 원격 조작 시스템
KR101876845B1 (ko) 로봇 제어 장치
JP7388074B2 (ja) シミュレーション装置、シミュレーションプログラムおよびシミュレーション方法
JPS63196388A (ja) 遠隔操作ロボツトの教示装置
EP4011568A1 (en) Control device, control system, robot system, and control method
US20190329411A1 (en) Simulation device for robot
JP2019188477A (ja) ロボットの動作教示装置、ロボットシステムおよびロボット制御装置
CN107257946B (zh) 用于虚拟调试的系统
CN114800535A (zh) 机器人的控制方法、机械臂控制方法、机器人及控制终端
JPH01209505A (ja) 遠隔操作ロボットの教示装置
JP2022500260A (ja) ロボット装置のための制御装置、ロボット装置、方法、コンピュータプログラム及び機械可読記憶媒体
JP6905651B1 (ja) ロボットシステム及びワークの３次元モデルの形成方法
JP2021142596A (ja) シミュレーション装置およびプログラム
JP7366264B2 (ja) ロボット教示方法及びロボット作業方法
US20210271791A1 (en) Simulation method and simulation system
WO2017032407A1 (en) An industrial robot system and a method for programming an industrial robot
JP2020160615A (ja) オブジェクト姿勢制御プログラムおよびオブジェクト姿勢制御システム
Iyengar et al. Developing a Novel Mobile Humanoid Robot for Nursing Assistance

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190619

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230515

R150 Certificate of patent or registration of utility model

Ref document number: 7281349

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150