TW202017625A - 訓練處理裝置、中介裝置、訓練系統以及訓練處理方法 - Google Patents

訓練處理裝置、中介裝置、訓練系統以及訓練處理方法 Download PDF

Info

Publication number
TW202017625A
TW202017625A TW108128600A TW108128600A TW202017625A TW 202017625 A TW202017625 A TW 202017625A TW 108128600 A TW108128600 A TW 108128600A TW 108128600 A TW108128600 A TW 108128600A TW 202017625 A TW202017625 A TW 202017625A
Authority
TW
Taiwan
Prior art keywords
training
robot
information
terminal
operation terminal
Prior art date
Application number
TW108128600A
Other languages
English (en)
Other versions
TWI721523B (zh
Inventor
橋本康彦
掃部雅幸
田中繁次
丸山佳彦
Original Assignee
日商川崎重工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019105751A external-priority patent/JP7281348B2/ja
Application filed by 日商川崎重工業股份有限公司 filed Critical 日商川崎重工業股份有限公司
Publication of TW202017625A publication Critical patent/TW202017625A/zh
Application granted granted Critical
Publication of TWI721523B publication Critical patent/TWI721523B/zh

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/24Use of tools
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/006Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/02Hand grip control means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • B25J13/065Control stands, e.g. consoles, switchboards comprising joy-sticks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • B25J13/082Grasping-force detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/1605Simulation of manipulator lay-out, design, modelling of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/16Control of vehicles or other craft
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8094Unusual game types, e.g. virtual cooking

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manipulator (AREA)

Abstract

訓練處理裝置係管理使用操作終端之機器人操作之訓練者,且與上述操作終端經由通訊網收發資訊,於在上述操作終端上執行進行機器人操作之訓練之電腦程式之過程中,受理輸入至上述操作終端之作為機器人操作之資訊之第一資訊,基於上述第一資訊,管理上述訓練。

Description

訓練處理裝置、中介裝置、訓練系統以及訓練處理方法
本發明係關於一種訓練處理裝置、中介裝置、訓練系統以及訓練處理方法。
一直以來,由人進行之作業之機器人化不斷發展。於機器人由人操作之情形時,必須人之操作之訓練。例如,專利文獻1揭示一種生活支援機械臂之操作之訓練裝置。該訓練裝置係藉由在電腦裝置上執行且模擬生活支援機械臂之功能之模擬器來實現。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2011-125991號公報
[發明所欲解決之課題]
近年來,於使用產業用機器人之產業中,存在受少子高齡化影響而機器人之操作者不足之擔憂。另一方面,因某些原因,無法充分地就業或不就業之人數增加。如此每個人之勞動力昂貴。
因此,本發明之目的在於提供一種可藉由使各種人進行機器人操作之訓練而進行機器人之操作之訓練處理裝置、中介裝置、訓練系統及訓練處理方法。 [解決課題之技術手段]
為了達成上述目的,本發明之一態樣之訓練處理裝置係管理使用操作終端之機器人操作之訓練的訓練處理裝置,且與上述操作終端經由通訊網收發資訊,於在上述操作終端上執行進行機器人操作之訓練之電腦程式之過程中,受理輸入至上述操作終端之作為機器人操作之資訊之第一資訊,並基於上述第一資訊,管理上述訓練。 [發明之效果]
根據本發明,可藉由使各種人進行機器人操作之訓練來操作機器人。
以下,一面參照圖式,一面對本發明之實施形態進行說明。再者,以下說明之實施形態均為表示概括性或具體性之例者。又,以下之實施形態中之構成要素中之於表示最上位概念之獨立請求項中未記載之構成要素係作為任意之構成要素而進行說明。又,隨附圖式中之各圖為示意性圖,未必為嚴格地圖示者。進而,於各圖中,有時對實質上相同之構成要素標註相同之符號,並省略或簡化重複之說明。又,於本說明書及申請專利範圍中,所謂「裝置」不僅可意指1個裝置,亦可意指由多個裝置構成之系統。
<訓練系統之構成> 對實施形態之訓練系統1之構成進行說明。圖1係表示實施形態之訓練系統1之構成之一例之圖。如圖1所示,訓練系統1包含1個以上之中介裝置10、1個以上之操作終端20及1個以上之指導終端60。進而,訓練系統1亦可包含1個以上之模擬電腦40及1個以上之模擬機器人50,於本實施形態中設為包含其等者。模擬電腦40及模擬機器人50為模擬裝置200之一例。以下,於不區分「模擬電腦40」及「模擬機器人50」之情形時,有時將其等簡稱為「模擬裝置200」。中介裝置10、操作終端20、模擬電腦40、模擬機器人50及指導終端60經由通訊網90連接。再者,並非全部上述構成要素均為必需。
訓練系統1可使用戶執行使用操作終端20進行之各種機器人操作之訓練。機器人操作係用以使機器人動作之操作,且為與機器人之動作對應之操作。例如,於機器人操作之訓練中,用戶藉由操作操作終端20而使機器人模型執行進行既定動作或作業之訓練內容。可利用之機器人模型係藉由操作終端20執行電腦程式而生成之假想之機器人模型、模擬電腦40所生成之假想之機器人模型、及模擬機器人50所具備之使用實機機器人之機器人模型。又,訓練系統1可於訓練之執行中,使用指導終端60對用戶之機器人操作進行輔助。
既定動作係包含水平移動、鉛直移動及旋轉等個別動作中之1個或2個以上之動作。既定作業係較既定動作多之個別動作按照執行順序組合而成之一連串之複合動作。既定作業之例於例如產業用機器人之機器人模型之情形時,為藉由機器人模型之末端執行器保持對象物並使其移動、藉由末端執行器保持對象物並安裝至被安裝對象物、藉由末端執行器將對象物切斷、藉由末端執行器將2個以上之對象物接合等作業。
通訊網90係可進行資料通訊之網路,例如可為網際網路、內部網路、有線或無線LAN(Local Area Network)、WAN(Wide Area Network)、移動通訊網、電話線路通訊網或其他使用有線或無線通訊之通訊網。於本實施形態中,通訊網90為網際網路。
模擬電腦40係執行使假想之機器人模型進行模擬動作之模擬之裝置。於訓練系統1中,可利用模擬電腦40所進行之模擬,進行機器人操作之訓練。假想之機器人模型係於模擬電腦40之電腦程式上生成且動作。再者,模擬電腦40既可為為了訓練系統1而特別地生成之裝置,亦可並非此種裝置,例如亦可為機器人操作之模擬所使用之既有或泛用之裝置。模擬電腦40可使用較操作終端20於電腦程式上生成之機器人模型更接近實機機器人之機器人模型,來實現接近實機機器人之操作及動作。模擬電腦40之機器人模型亦可為如針對下述模擬機器人50之實機機器人50A1~50An(n=1、…之自然數)所例示般之機器人之假想之機器人模型。假想之機器人模型,與下述模擬機器人50同樣地,可為包含機器人本體之構成,亦可為不僅包含機器人本體而且包含處理對象物及周邊機器等之構成。
模擬機器人50係執行使作為機器人模型之實機機器人50A1~50An(n=1、…之自然數)進行模擬動作之模擬之裝置。於訓練系統1中,可利用使用機器人50A1~50An進行之模擬,進行機器人操作之訓練。機器人50A1~50An可為任意機器人,例如可為產業用機器人、服務機器人、建築機械、隧道挖掘機、起重機、貨物裝卸搬送車及仿真機器人等。服務機器人係於護理、醫療、清潔、警備、嚮導、救助、烹調、商品供應等各種服務業中使用之機器人。於本實施形態中,機器人50A1~50An係垂直多關節型機器人、水平多關節型機器人、極座標型機器人、圓筒座標型機器人及直角座標型機器人等產業用機器人。以下,於不區分機器人50A1~50An之情形時,有時簡稱為「機器人50A」。
模擬機器人50包含機器人50A1~50An中之任一者,相對於機器人50A1~50An各者而設置。作為產業用機器人之機器人50A1~50An係對應於各種作業而設置之機器人。機器人50A1~50An可為實際地配置於作業現場之機器人,亦可為模擬用地配置之機器人。機器人50A1~50An可為如例如具備機械臂及末端執行器般之包含機器人本體之構成,亦可為不僅包含機器人本體而且包含作業中之工件等處理對象物、以及搬送裝置、攝像裝置及感測器等周邊機器等之構成。於後者之情形時,利用模擬機器人50進行之模擬係操作全部機器人本體、處理對象物及周邊機器等之模擬。再者,模擬機器人50既可為為了訓練系統1而特別地生成者,亦可並非如此,例如亦可為機器人操作之模擬所使用之既有或泛用者。
操作終端20係執行用以進行機器人操作之訓練之電腦程式之裝置。操作終端20可由用戶進行操作。操作終端20可藉由執行上述電腦程式,而選擇地執行作為不使用模擬裝置200之機器人操作之訓練之第一訓練、及作為使用模擬裝置200之機器人操作之訓練之第二訓練。此種操作終端20可經由通訊網90與模擬裝置200連接。
於第一訓練中,操作終端20所執行之電腦程式生成之假想之機器人模型按照輸入至操作終端20之操作動作。例如,用戶藉由操作操作終端20,而使假想之機器人模型按照訓練內容動作。
於第二訓練中,操作終端20經由通訊網90與模擬電腦40及模擬機器人50等模擬裝置200連接。而且,操作終端20將由用戶輸入之資訊輸出至模擬裝置200。模擬裝置200之機器人模型按照輸入至操作終端20之操作動作。例如,用戶即便於位於距模擬裝置200較遠之位置之情形時,亦可藉由操作操作終端20,而使模擬裝置200之機器人模型按照訓練內容動作。
操作終端20之例為遊戲機、遊戲控制器、機器人專用之遠距離操作器、個人資訊終端(PDA:Personal Data Assistant)、智慧型手機、智慧型手錶及輸入板等智慧型器件、以及個人電腦等電腦裝置等。此種操作終端20既可為為了訓練系統1而特別地生成之裝置,亦可並非此種裝置,亦可為既有或泛用之裝置。
於本實施形態中,操作終端20係具備遊戲機及遊戲控制器之遊戲裝置。作為遊戲裝置,例如例示有固定型遊戲裝置及攜帶型遊戲裝置。操作終端20與輸出裝置31連接,將用以執行機器人操作之訓練之圖像訊號及音訊訊號輸出至輸出裝置31,輸出裝置31將與該圖像訊號及音訊訊號對應之圖像及音訊提示給用戶。例如,輸出裝置31具備顯示器及揚聲器。顯示器之例為液晶顯示器(Liquid Crystal Display)及有機或無機EL顯示器(Electro-Luminescence Display)。
中介裝置10將1個以上之操作終端20、1個以上之模擬電腦40、1個以上之模擬機器人50及1個以上之指導終端60經由通訊網90而中介。於本實施形態中,中介裝置10具備作為訓練處理裝置之一例之資訊處理裝置100。於本實施形態中,中介裝置10為伺服器,且為具有通訊功能並且處理資訊之電腦裝置。
指導終端60係於機器人操作之訓練之執行中,藉由對輸入至操作終端20之機器人操作進行輔助而指導訓練之裝置。指導終端60可由指導者等用戶操作,例如受理機器人操作之輸入。指導終端60可以於第一訓練及第二訓練中之任一者中指導訓練之方式構成,於本實施形態中,以於兩個訓練中進行指導之方式構成。指導終端60經由通訊網90與操作終端20及模擬裝置200連接。指導終端60將藉由操作而輸入之資訊輸出至中介裝置10及/或操作終端20。指導終端60自操作終端20及模擬裝置200獲取機器人模型之動作之資訊。
指導終端60與輸出裝置32連接,將如表示機器人模型之動作等般之用以指導訓練之圖像訊號及音訊訊號輸出至輸出裝置32,輸出裝置32將與該圖像訊號及音訊訊號對應之圖像及音訊提示給指導終端60之用戶。例如,輸出裝置32具備顯示器及揚聲器。
指導終端60之例為遊戲機、遊戲控制器、機器人專用之遠距離操作器、個人資訊終端(PDA)、智慧型手機、智慧型手錶及輸入板等智慧型器件、以及個人電腦等電腦裝置等。於本實施形態中,指導終端60為機器人專用之遠距離操作器。此種指導終端60既可為為了訓練系統1而特別地生成之裝置,亦可並非此種裝置,亦可為既有或泛用之裝置。
指導終端60經由中介裝置10自操作終端20接收輸入至操作終端20之作為機器人操作之資訊之第一資訊、及/或按照第一資訊之機器人模型之動作之資訊。第一資訊可為輸入至操作終端20之機器人操作之資訊,該資訊亦可為藉由中介裝置10轉換而成之資訊。或,指導終端60自模擬裝置200接收按照第一資訊之機器人模型之動作之資訊。指導終端60藉由將按照第一資訊之機器人模型之動作輸出至輸出裝置32,而使輸出裝置32將該動作提示給作為指導終端60之用戶之指導者。進而,指導終端60針對所提示之動作,受理輔助被輸入至指導終端60之機器人操作之輔助指令。亦即,指導者可一面確認輸出裝置32所提示之機器人操作,一面將對於該機器人操作之輔助指令輸入至指導終端60。指導終端60將輔助指令經由中介裝置10發送至操作終端20,使操作終端20經由輸出裝置31將輔助指令提示給用戶。輔助指令可為對機器人操作進行引導或修正等之使用圖像及音訊中之至少1者之指令,亦可為輔助機器人操作之任何指令。
資訊處理裝置100係管理使用操作終端20之機器人操作之訓練之裝置。資訊處理裝置100例如由具有處理器及記憶體等之運算器構成。記憶體由揮發性記憶體及非揮發性記憶體等半導體記憶體、硬碟(HDD:Hard Disc Drive)及SSD(Solid State Drive)等記憶裝置構成。例如,運算器之功能亦可藉由以CPU(Central Processing Unit)等處理器、RAM(Random Access Memory)等揮發性記憶體及ROM(Read-Only Memory)等非揮發性記憶體等構成之電腦系統(未圖示)而實現。運算器之一部分或全部功能亦可藉由CPU將RAM用作工作區來執行記錄於ROM之程式而實現。再者,運算器之一部分或全部功能可藉由上述電腦系統實現,亦可藉由電子電路或積體電路等專用之硬體電路實現,亦可藉由上述電腦系統及硬體電路之組合實現。
具體而言,資訊處理裝置100例如亦可由電腦、個人電腦等電腦裝置構成。或,資訊處理裝置100例如亦可由微控制器、MPU(Micro Processing Unit)、LSl(Large Scale Integration:大規模積體電路)、系統LSI、PLC(Programmable Logic Controller)、邏輯電路等構成。資訊處理裝置100之多個功能可藉由個別地單晶片化而實現,亦可藉由以包含一部分或全部之方式單晶片化而實現。又,各個電路可為泛用之電路,亦可為專用之電路。作為LSI,亦可利用可於製造LSI後進行編程之FPGA(Field Programmable Gate Array)、可再構成LSI內部之電路胞之連接及/或設定之可重組態處理器、或為適於特定用途將多個功能之電路彙集成1個所得之ASIC(Application Specific Integrated Circuit)等。
資訊處理裝置100與操作終端20經由通訊網90收發資訊,於利用操作終端20執行進行機器人操作之訓練之電腦程式之過程中,受理由用戶輸入至操作終端20之作為機器人操作之資訊之第一資訊,並基於第一資訊管理訓練。進而,資訊處理裝置100於訓練之執行中,基於第一資訊評價訓練之結果。例如,於第一訓練中,資訊處理裝置100與操作終端20連接,並基於第一資訊與訓練內容所包含之機器人操作之比較結果,進行上述評價。例如,資訊處理裝置100亦可基於兩者之間之位置及所需時間等之差異,決定評價。
於第二訓練中,資訊處理裝置100將操作終端20與模擬裝置200連接,並根據基於第一資訊進行動作之模擬裝置200之機器人模型之動作、與訓練內容所包含之動作之比較結果,進行上述評價。資訊處理裝置100亦可對機器人模型之各個動作、與訓練中應執行之動作進行比較,並基於例如兩者之間之位置及所需時間等之差異,決定評價。或,模擬裝置200亦可以對機器人模型之動作結果進行評價之方式構成。資訊處理裝置100亦可自模擬裝置200接收該評價,並基於所接收之評價,決定訓練之評價。
進而,資訊處理裝置100於任一訓練中,均登錄訓練之結果之評價作為對於操作操作終端20之用戶之評價即用戶評價。例如,資訊處理裝置100將用戶評價登錄至記憶裝置。該記憶裝置可為資訊處理裝置100之記憶裝置,亦可為中介裝置10所包含之記憶裝置(未圖示),還可為經由通訊網90等與中介裝置10連接之其他裝置之記憶裝置。又,資訊處理裝置100藉由將訓練之結果之評價發送至操作終端20,而經由輸出裝置31提示給用戶。
又,資訊處理裝置100例如若於操作終端20中執行訓練之電腦程式,則基於所登錄之用戶評價,決定用戶可執行之訓練。進而,資訊處理裝置100藉由將所決定之訓練發送至操作終端20,而經由輸出裝置31提示給用戶。例如,所決定及提示之訓練亦可為訓練構成,訓練構成包含訓練內容、及使執行該訓練內容之機器人模型進行動作之裝置。上述裝置為操作終端20、模擬電腦40或模擬機器人50。
又,資訊處理裝置100經由操作終端20受理自第一訓練及第二訓練中之訓練之選擇之請求。資訊處理裝置100執行所選擇之訓練。於第一訓練中,操作終端20執行訓練,資訊處理裝置100評價訓練結果。
於第二訓練中,資訊處理裝置100將自操作終端20接收之機器人操作之第一資訊轉換成作為用以操作模擬裝置200之機器人模型之資訊之第二資訊。資訊處理裝置100將該第二資訊發送至模擬裝置200,並按照該第二資訊使其動作。
又,資訊處理裝置100自按照第二資訊進行動作之模擬裝置200接收作為該機器人模型之動作之資訊之第三資訊,並將該第三資訊轉換成作為操作終端20可處理之資訊之第四資訊。例如,資訊處理裝置100接收表示模擬裝置200之機器人模型之各個動作之第三資訊,並將該第三資訊轉換成作為於操作終端20之執行程式上發揮功能之資訊之第四資訊。資訊處理裝置100藉由將第四資訊發送至操作終端20,而於該操作終端20將模擬裝置200之機器人模型、或者疑似該機器人模型之機器人模型或對應於該機器人模型之模型之動作經由輸出裝置31提示給用戶。對應之模型可為與機器人模型相關聯之模型,例如亦可於表觀上與機器人模型不類似。
例如,資訊處理裝置100亦可藉由接收由攝像裝置拍攝的模擬機器人50之機器人50A之圖像資訊作為第三資訊,並將該圖像之資訊作為第四資訊發送至操作終端20,而作為機器人模型之動作資訊使操作終端20進行提示。以此方式,用戶可經由操作終端20,一面於視覺上識別模擬電腦40或模擬機器人50之機器人模型,一面進行機器人操作之訓練。
又,資訊處理裝置100基於由用戶輸入至操作終端20之請求執行之訓練內容,自存在多個之模擬裝置200之中決定對應於該訓練內容之模擬裝置200。進而,資訊處理裝置100可藉由將所決定之模擬裝置200與操作終端20經由通訊網90連接,而執行使用其之訓練。
[硬體構成] 對操作終端20之硬體構成進行說明。圖2係表示實施形態之操作終端20之硬體構成之一例之方塊圖。如圖2所示,操作終端20具備作為遊戲機之操作終端本體21及作為遊戲控制器之操作器22。操作終端本體21可執行訓練之電腦程式,操作器22受理用戶所進行之操作之輸入。操作終端本體21包含CPU201、ROM202、RAM203、記憶體204、媒體I/F(介面:Interface)205、網路I/F206、第一輸入輸出I/F207、圖像處理器208、第二輸入輸出I/F209、音訊處理器210、第三輸入輸出I/F211及記錄媒介驅動器212作為構成要素。各構成要素藉由匯流排等連接,但亦可藉由其他任意有線通訊或無線通訊連接。再者,並非全部上述構成要素均為必需。
CPU201控制操作終端本體21整體之動作。ROM202記憶用於CPU201之驅動之程式。RAM203被用作CPU201之工作區。記憶體204記憶程式等各種資料,且由上述記憶裝置構成。媒體I/F205控制對於快閃記憶體等記錄媒體71進行之資料之讀出或寫入(記憶)。例如,用以執行訓練之電腦程式亦可記憶於記錄媒體71,並藉由自記錄媒體71讀出而執行。包含訓練之結果等之保存資料亦可記憶於記錄媒體71或記憶體204。網路I/F206係用以利用通訊網90進行資料通訊之介面。第一輸入輸出I/F207係與操作器22連接且用以進行訊號等之通訊之介面。
圖像處理器208具備可生成用以進行訓練之畫面之GPU(Graphics Processing Unit)。例如,圖像處理器208生成操作終端本體21所生成之機器人模型或者模擬電腦40或模擬機器人50之機器人模型之圖像、疑似該機器人模型之機器人模型之圖像、及對應於該機器人模型之模型之圖像等畫面資料,並輸出至第二輸入輸出I/F209。第二輸入輸出I/F209係與輸出裝置31連接且用以進行畫面資料及圖像資料之通訊之介面。
音訊處理器210具備生成用以進行訓練之音訊之DSP(Digital Signal Processor)。音訊處理器210將所生成之音訊藉由包含D/A轉換器之放大器(未圖示)放大並輸出至第三輸入輸出I/F211。第三輸入輸出I/F211係與輸出裝置31連接且用以進行音訊訊號等之通訊之介面。記錄媒介驅動器212控制對可裝卸之記錄媒介72進行之各種資料之讀出或寫入。例如,用以執行訓練之電腦程式亦可記憶於記錄媒介72並藉由自記錄媒介72讀出而執行。包含訓練之結果等之保存資料亦可記憶於記錄媒介72。記錄媒介72之例為DVD-R、DVD-RW、BD(Blu-ray(註冊商標))-R、BD-RE等記錄碟片。
操作器22受理用戶所進行之輸入。例如,操作器22包含十字按鈕、按鈕開關、撥號盤、操縱桿、滑鼠、鍵及觸控面板等經由用戶之操作進行輸入之輸入裝置221。進而,操作器22包含與操作終端本體21之第一輸入輸出I/F207連接且用以進行訊號等之通訊之操作輸入輸出I/F222。輸入裝置221生成表示用戶之輸入之訊號,並將該訊號經由操作輸入輸出I/F222輸出至第一輸入輸出I/F207。於本實施形態中,輸入裝置221之構成與機器人專用之操作裝置不同。例如,輸入裝置221之數量、及向輸入裝置221之輸入方法等不同。機器人專用之操作裝置輸出之用於操作之訊號與輸入裝置221輸出之用於操作之訊號不同,例如更複雜。
對中介裝置10之硬體構成進行說明。圖3係表示實施形態之中介裝置10之硬體構成之一例之方塊圖。如圖3所示,中介裝置10包含CPU101、ROM102、RAM103、記憶體104、網路I/F106及輸入輸出I/F107作為構成要素。各構成要素藉由匯流排等連接,但亦可藉由其他任意有線通訊或無線通訊連接。再者,並非全部上述構成要素均為必需。
CPU101控制中介裝置10整體之動作。ROM102、RAM103及記憶體104各者之構成及功能與操作終端20之ROM202、RAM203及記憶體204相同。CPU101、ROM102、RAM103及記憶體104構成資訊處理裝置100。網路I/F106及輸入輸出I/F107各者之構成及功能與操作終端20之網路I/F206及第一輸入輸出I/F207相同。
再者,輸入輸出I/F107係與輸入裝置113連接且用以進行訊號等之通訊之介面。輸入裝置113受理用戶所進行之輸入。例如,輸入裝置113包含按鈕、開關、撥號盤、操縱桿、滑鼠、鍵及觸控面板等經由用戶之操作進行輸入之裝置。輸入裝置113生成表示用戶之輸入之訊號,並將該訊號輸出至輸入輸出I/F107。
對模擬電腦40之硬體構成進行說明。圖4係表示實施形態之模擬電腦40之硬體構成之一例之方塊圖。如圖4所示,模擬電腦40包含CPU401、ROM402、RAM403、記憶體404、網路I/F406、第一輸入輸出I/F407、圖像處理器408及第二輸入輸出I/F409作為構成要素。各構成要素藉由匯流排等連接,但亦可藉由其他任意有線通訊或無線通訊連接。再者,並非全部上述構成要素均為必需。
CPU401控制模擬電腦40整體之動作。ROM402、RAM403及記憶體404各者之構成及功能與操作終端20之ROM202、RAM203及記憶體204相同。網路I/F406、第一輸入輸出I/F407、圖像處理器408及第二輸入輸出I/F409各者構成及功能與操作終端20之網路I/F206、第一輸入輸出I/F207、圖像處理器208及第二輸入輸出I/F209相同。
再者,第一輸入輸出I/F407係與輸入裝置413連接且用以進行訊號等之通訊之介面。輸入裝置413受理用戶所進行之輸入。輸入裝置413之構成與中介裝置10之輸入裝置113相同。又,圖像處理器408生成模擬電腦40所設定之機器人模型之圖像之畫面資料並輸出至第二輸入輸出I/F409。第二輸入輸出I/F409係與顯示器414連接且用以進行畫面資料及圖像資料之通訊之介面。
對模擬機器人50之硬體構成進行說明。圖5係表示實施形態之模擬機器人50之硬體構成之一例之方塊圖。如圖5所示,模擬機器人50具備控制裝置51、攝像裝置517、顯示器514、操作裝置518及驅動裝置519。再者,並非全部上述構成要素均為必需。
驅動裝置519係驅動機器人50A(參照圖1)之可動部分之裝置。例如,機器人50A具備機械臂及機械臂前端之末端執行器。機械臂具有彎曲之關節,且於關節處可動。末端執行器進行施加固持、吸附、上舉及垂吊等對工件之作用之動作。驅動裝置519驅動機械臂之關節及末端執行器等。驅動裝置519之例為伺服馬達等電動馬達及真空產生裝置等。
攝像裝置517拍攝機器人50A,並將拍攝所得之圖像資料輸出至控制裝置51。攝像裝置517對使用模擬機器人50之用戶,提供表示機器人50A之狀態之圖像。於本實施形態中,該圖像被提供至操作終端20及指導終端60。攝像裝置517之例為數位相機及數位攝錄影機等。
顯示器514自控制裝置51接收利用攝像裝置517拍攝所得之圖像資料,並將該圖像資料之圖像提示給用戶。又,顯示器514自控制裝置51接收模擬機器人50之操作用之畫面資料,並將該畫面資料之圖像提示給用戶。
操作裝置518受理使用模擬機器人50之用戶所進行之指令及資訊之輸入,並將表示該指令及資訊之訊號輸出至控制裝置51。操作裝置518包含按鈕開關、搖桿、撥號盤、操縱桿、鍵及觸控面板等經由用戶之操作進行輸入之裝置。於本實施形態中,操作裝置518為機器人50A專用之操作裝置。
控制裝置51為控制模擬機器人50整體之裝置。控制裝置51包含CPU501、ROM502、RAM503、記憶體504、攝像I/F515、網路I/F506、第一輸入輸出I/F507、圖像處理器508、第二輸入輸出I/F509及驅動電路516作為構成要素。各構成要素藉由匯流排等連接,但亦可藉由其他任意有線通訊或無線通訊連接。再者,並非全部上述構成要素均為必需。
CPU501對控制裝置51整體之動作進行控制。ROM502、RAM503及記憶體504各者之構成及功能與操作終端20之ROM202、RAM203及記憶體204相同。網路I/F506、第一輸入輸出I/F507、圖像處理器508及第二輸入輸出I/F509各者之構成及功能與操作終端20之網路I/F206、第一輸入輸出I/F207、圖像處理器208及第二輸入輸出I/F209相同。
再者,第一輸入輸出I/F507係與操作裝置518連接且用以進行訊號等之通訊之介面。又,圖像處理器508使用利用攝像裝置517拍攝所得之機器人50A之圖像資料,生成用以顯示於顯示器514之畫面資料並輸出至第二輸入輸出I/F509。又,圖像處理器508生成用以操作模擬機器人50之畫面資料並輸出至第二輸入輸出I/F509。第二輸入輸出I/F509係與顯示器514連接且用以進行畫面資料及圖像資料之通訊之介面。
攝像I/F515與程式之執行對應地控制攝像裝置517之驅動。攝像I/F515與程式之執行對應地將利用攝像裝置517拍攝所得之圖像資料取入至RAM503或記憶體504。攝像I/F515亦可包含用於攝像裝置517之驅動之電路等。
驅動電路516控制驅動裝置519之驅動。例如,驅動電路516按照CPU501之指令將電流供給至各驅動裝置519,控制該驅動裝置519之驅動。驅動電路516控制全部驅動裝置519之驅動。
對指導終端60之硬體構成進行說明。圖6係表示實施形態之指導終端60之硬體構成之一例之方塊圖。如圖6所示,指導終端60具備控制裝置61及操作裝置62。操作裝置62受理使用指導終端60之用戶所進行之指令及資訊之輸入,並將表示該指令及資訊之訊號輸出至控制裝置61。操作裝置62包含按鈕開關、搖桿、撥號盤、操縱桿、鍵及觸控面板等經由用戶之操作進行輸入之裝置。於本實施形態中,操作裝置62,與模擬機器人50之操作裝置518同樣地為機器人專用之操作裝置。
控制裝置61包含CPU601、ROM602、RAM603、記憶體604、網路I/F606、第一輸入輸出I/F607、圖像處理器608、第二輸入輸出I/F609、音訊處理器610及第三輸入輸出I/F611作為構成要素。各構成要素藉由匯流排等連接,但亦可藉由其他任意有線通訊或無線通訊連接。再者,並非全部上述構成要素均為必需。
CPU601對控制裝置61整體之動作進行控制。ROM602、RAM603及記憶體604各者之構成及功能與操作終端20之ROM202、RAM203及記憶體204相同。網路I/F606、第一輸入輸出I/F607、圖像處理器608、第二輸入輸出I/F609、音訊處理器610及第三輸入輸出I/F611之構成及功能與操作終端20之網路I/F206、第一輸入輸出I/F207、圖像處理器208、第二輸入輸出I/F209、音訊處理器210及第三輸入輸出I/F211相同。
再者,第一輸入輸出I/F607係與操作裝置62連接且用以進行訊號等之通訊之介面。又,圖像處理器608使用自操作終端20及模擬裝置200接收之資料,生成用以顯示於輸出裝置32之畫面資料並輸出至第二輸入輸出I/F609。又,圖像處理器608生成用以操作指導終端60之畫面資料並輸出至第二輸入輸出I/F609。第二輸入輸出I/F609係與輸出裝置32連接且用以進行畫面資料及圖像資料之通訊之介面。音訊處理器610使用自操作終端20及模擬裝置200接收之資料,生成用以輸出至輸出裝置32之音訊資料並輸出至第三輸入輸出I/F611。第三輸入輸出I/F611係與輸出裝置32連接且用以進行藉由音訊處理器610生成之音訊資料之通訊之介面。
[功能性構成] 對操作終端20之功能性構成進行說明。圖7係表示實施形態之操作終端20之功能性構成之一例之方塊圖。如圖7所示,操作器22包含輸入部22a及輸出部22b。輸入部22a受理來自用戶之輸入,其功能藉由輸入裝置221實現。輸出部22b將輸入至輸入部22a之資訊輸出至操作終端本體21,其功能藉由操作輸入輸出I/F222實現。上述資訊亦可為輸入裝置221之按鈕等之接通(ON)或斷開(OFF)、接通之持續時間等之資訊。
操作終端本體21包含通訊部21a、輸入部21b、程式執行部21c、讀取部21d、記憶部21e及輸出部21f。再者,並非全部上述構成要素均為必需。通訊部21a經由通訊網90與中介裝置10進行通訊,其功能藉由網路I/F206等實現。輸入部21b自操作器22受理資訊之輸入,其功能藉由第一輸入輸出I/F207等實現。讀取部21d自記錄媒體71及/或記錄媒介72讀取儲存於其等之資訊,其功能藉由媒體I/F205及記錄媒介驅動器212等實現。
記憶部21e記憶各種資訊,且藉由ROM202、記憶體204、記錄媒體71及記錄媒介72等實現。例如,記憶部21e中記憶有各用戶之用戶資訊。用戶資訊可包含用戶ID等用戶之識別資訊、及使用操作終端20之用戶之訓練結果等。訓練結果可包含實施各訓練所得之結果、評價及實績、各訓練中之用戶之熟練度、與該熟練度對應之用戶之等級或級別等。等級及級別可為對應於熟練度之絕對等級,亦可為藉由與其他用戶之比較所得之順序排位等相對等級。向記憶部21e之用戶資訊之記憶可藉由程式執行部21c定期地自動進行,亦可藉由用戶使用操作器22進行輸入或保存操作而進行。
輸出部21f將藉由程式執行部21c生成之圖像資料及音訊資料輸出至輸出裝置31,其功能藉由第二輸入輸出I/F209及第三輸入輸出I/F211等實現。
程式執行部21c讀取並執行儲存於記錄媒體71或記錄媒介72等之電腦程式。電腦程式係用以執行訓練之程式,於本實施形態中為遊戲程式。亦即,於本實施形態中,訓練係於操作終端20作為遊戲被執行。再者,該程式亦可作為應用程式經由通訊網90、記錄媒體71或記錄媒介72等而安裝於操作終端20,並儲存於ROM202或記憶體204等。
程式執行部21c使用自操作器22接收之資訊及經由通訊網90接收之資訊,按照電腦程式動作,生成反映所接收之資訊之圖像資料及音訊資料。程式執行部21c將所生成之圖像資料及音訊資料經由輸出部21f而輸出至輸出裝置31並提示給用戶。又,程式執行部21c將自操作器22接收之操作資訊、及記憶於記憶部21e之用戶資訊等經由通訊部21a及通訊網90發送至中介裝置10。程式執行部21c藉由CPU201、ROM202、RAM203、圖像處理器208及音訊處理器210等實現。
對中介裝置10之功能性構成進行說明。圖8係表示實施形態之中介裝置10之功能性構成之一例之方塊圖。如圖8所示,中介裝置10包含第一通訊部10a、第二通訊部10b、第三通訊部10c、第一受理部10d、第二受理部10e、決定部10f、第一轉換部10g、第二轉換部10h、動作資料處理部10i、判定部10j及記憶部10k。再者,並非全部上述構成要素均為必需。
第一通訊部10a、第二通訊部10b及第三通訊部10c之功能藉由網路I/F106等實現。記憶部10k之功能藉由ROM102及記憶體104等實現。第一受理部10d、第二受理部10e、決定部10f、第一轉換部10g、第二轉換部10h、動作資料處理部10i及判定部10j之功能藉由CPU101、ROM102、RAM103等實現。
第一通訊部10a經由通訊網90與操作終端20進行通訊。第二通訊部10b經由通訊網90與模擬電腦40或模擬機器人50進行通訊。第三通訊部10c經由通訊網90與指導終端60進行通訊。
記憶部10k記憶各種資訊。例如,於記憶部10k中與用戶之識別資訊相關聯地記憶有各用戶之用戶資訊。進而,於記憶部10k中,相關聯地記憶有基於針對用戶所設定之等級或級別等之訓練之允許條件、與於各允許條件下可執行之訓練之構成。上述訓練構成相關聯地包含訓練內容、與具有可執行該訓練內容之機器人模型之裝置。具有上述機器人模型之裝置為操作終端20、模擬電腦40或模擬機器人50。又,記憶部10k亦可相關聯地包含使用各機器人模型之各訓練內容之執行結果、與關於該執行結果之評價。又,記憶部10k亦可相關聯地包含上述評價、與對應於該評價之訓練內容之熟練度。又,記憶部10k亦可相關聯地包含訓練內容之熟練度與允許條件。記憶部10k亦可包含判定部10j於評價等判定中使用之閾值等。
第一受理部10d基於自操作終端20接收之用戶資訊,抽出用戶可執行之訓練構成並提示給該用戶。具體而言,第一受理部10d自操作終端20接收用戶資訊及訓練之執行指令,並自記憶部10k抽出與該用戶資訊所包含之用戶之識別資訊對應之允許條件。進而,第一受理部10d抽出與該允許條件對應之訓練構成,並發送至操作終端20。用戶可自操作終端20於輸出裝置31中提示之訓練構成選擇。
例如,操作終端20使輸出裝置31顯示如圖9所示般之畫面S1。圖9係表示實施形態之操作終端20所提示之訓練構成之選擇畫面之一例之圖。如圖9所示,於畫面S1中,針對各動作或作業,顯示有作為用戶之允許條件之級別「A」~「D」中之任一者,進而,顯示有具有各動作或作業之訓練中可利用之機器人模型之裝置之圖標。例如,動作顯示「動作1 級別B」表示「動作1」可由「級別B」以上之用戶進行訓練。關於各動作顯示,圖標「終端」表示可利用操作終端20之機器人模型,圖標「模擬電腦」表示可利用模擬電腦40之機器人模型,圖標「模擬機器人A1型」表示可利用包含機器人50A1之模擬機器人50。因此,用戶可藉由選擇裝置之圖標,而選擇執行訓練之動作或作業、及要使用之機器人模型。例如,圖標「終端」之選擇意指選擇第一訓練,圖標「模擬電腦」及「模擬機器人」之選擇意指選擇第二訓練。
決定部10f決定用戶要執行之訓練構成。決定部10f自操作終端20接收於操作終端20由用戶選擇之訓練構成。決定部10f決定該訓練構成中之訓練之執行,將訓練構成之訓練內容之執行之指令輸出至訓練構成之具有機器人模型之裝置。決定部10將操作終端20與上述裝置連接。
第一轉換部10g於第二訓練之執行中,將自操作終端20接收之用以操作機器人模型之第一資訊轉換成用以操作模擬裝置200之機器人模型之第二資訊。第一轉換部10g將第二資訊發送至執行訓練之模擬裝置200。例如,於模擬裝置200為模擬電腦40之情形時,第二資訊對應於為了使假想之機器人模型執行對應於第一資訊之動作而自輸入裝置413輸出至模擬電腦40之資訊。於模擬裝置200為模擬機器人50之情形時,第二資訊對應於為了使機器人50A執行對應於第一資訊之動作而自操作裝置518輸出至控制裝置51之資訊。
動作資料處理部10i於第二訓練之執行中,進行將自模擬裝置200接收之機器人模型之動作資料轉換成對應於操作終端20處之機器人模型之圖像顯示之動作資料的處理,並發送至操作終端20。
例如,於模擬裝置200為模擬電腦40之情形時,自模擬裝置200接收之動作資料可由機器人模型之圖像構成,亦可由表示機器人模型之動作之簡化所得之圖像構成,亦可為表示機器人模型之動作之向量及座標等數值資料。例如,簡化所得之圖像亦可為表示機器人模型之骨架之圖像。轉換後之動作資料可由操作終端20處顯示之機器人模型之圖像構成,亦可由模擬電腦40所生成之假想之機器人模型之圖像構成,亦可由表示上述機器人模型之動作之簡化所得之圖像構成,亦可為表示上述機器人模型之動作之數值資料。
例如,於模擬裝置200為模擬機器人50之情形時,自模擬裝置200接收之動作資料可由藉由攝像裝置517拍攝所得之機器人50A之圖像資料構成。轉換後之動作資料可由機器人50A之拍攝圖像資料構成,亦可由利用該拍攝圖像內之特徵部等表示機器人50A之動作之簡化所得之圖像構成,亦可為表示該機器人50A之動作之數值資料。簡化所得之圖像亦可為假想之機器人模型之圖像,於該情形時,亦可為使用CG(電腦圖形:Computer Graphics)或動畫等之圖像。上述假想之機器人模型可與機器人50A類似,亦可不類似。
判定部10j評價藉由操作終端20及模擬裝置200之機器人模型所執行之訓練之結果。進而,判定部10j基於該評價,判定用戶之熟練度,進而,基於熟練度,決定用戶之等級或級別等。判定部10j將評價、熟練度、等級及級別中之至少1個資訊發送至操作終端20,操作終端20使輸出裝置31提示所接收之資訊。又,判定部10j將評價、熟練度、等級及級別作為新的用戶資訊記憶至記憶部10k。
再者,判定部10j亦可基於操作終端20及模擬裝置200中之機器人模型之動作與訓練中應執行之機器人模型之動作之差異、和其閾值之關係,決定評價。該差異亦可包含機器人模型各部之位置之差異、及動作所需要之時間之差異等。或,亦可藉由操作終端20及/或模擬裝置200評價訓練之結果,並發送至判定部10j,而使判定部10j利用該評價。
第二受理部10e於第一訓練及第二訓練中,自操作終端20及模擬裝置200接收機器人模型之動作資料,並輸出至第二轉換部10h。操作終端20之機器人模型之動作資料亦可為機器人操作之第一資訊。進而,第二受理部10e接收輸入至指導終端60之輔助指令,並輸出至第二轉換部10h。
第二轉換部10h將操作終端20及模擬裝置200之機器人模型之動作資料轉換成對應於指導終端60處之機器人模型之動作之圖像顯示等提示之動作資料,並發送至指導終端60。例如,第二轉換部10亦可以與操作終端20之用戶於輸出裝置31上識別之機器人模型同樣地進行提示之方式轉換動作資料。又,第二轉換部10h將輔助指令轉換成對應於操作終端20處之圖像顯示等提示之資訊,並發送至操作終端20。
例如,操作終端20將自第二轉換部10h接收之轉換後之輔助指令以如圖10所示般之畫面S2之形式顯示於輸出裝置31。圖10係表示實施形態之操作終端20所提示之輔助指令之畫面之一例之圖。如圖10所示,於畫面S2中顯示有用戶使用操作終端20操作之機器人模型之圖像、及用以示出輔助指令之操作器22之圖像。於圖10中,機器人模型之圖像為實機機器人50A之圖像。輔助指令係顯示操作器22所附帶之指標Ad1及Ad2之指令。指標Ad1係表明於操作器22中當前應按壓之按鈕之組合,指標Ad2係表明接下來應按壓之按鈕之組合。各指標所隨附之數值係按壓之順序。
對模擬電腦40之功能性構成進行說明。圖11係表示實施形態之模擬電腦40之功能性構成之一例之方塊圖。如圖11所示,模擬電腦40包含通訊部40a、受理部40b、程式執行部40c、判定部40d、動作資料輸出部40e及記憶部40f。再者,並非全部上述構成要素均為必需。通訊部40a之功能藉由網路I/F406等實現。記憶部40f之功能藉由ROM402及記憶體404等實現。受理部40b、程式執行部40c、判定部40d及動作資料輸出部40e之功能藉由CPU401、ROM402、RAM403等實現。
通訊部40a經由通訊網90與中介裝置10進行通訊。記憶部40f記憶各種資訊。例如,記憶部40f亦可針對藉由模擬電腦40可執行之各模擬內容,記憶藉由該模擬所執行之機器人模型之各動作之位置及所需時間之資訊。模擬內容包含藉由模擬所執行之機器人之動作或作業。又,記憶部40f亦可記憶判定部40d於評價中使用之閾值等。
受理部40b自中介裝置10接收執行模擬之指令即執行訓練之指令、及要執行之訓練內容之資訊。受理部40b於記憶部40f中抽出與所接收之訓練內容對應之模擬內容。受理部40b將所抽出之模擬內容中之模擬之執行之指令輸出至程式執行部40c。又,於執行開始後,受理部40b自中介裝置10之第一轉換部10g接收用以操作假想之機器人模型之第二資訊,並輸出至程式執行部40c。
程式執行部40c執行被指示之模擬內容之電腦程式。該程式記憶於ROM402或記憶體404。程式執行部40c按照自受理部40b接收之第二資訊及電腦程式,使假想之機器人模型執行對應於該第二資訊之動作。
動作資料輸出部40e自藉由程式執行部40c而動作之機器人模型檢測出表示其動作結果之動作結果資料。該動作結果資料可包含機器人模型之圖像、機器人模型之骨架等簡化所得之圖像、機器人模型各部之位置、向該位置之所需時間等。進而,動作資料輸出部40e根據動作結果資料生成動作資料,並發送至中介裝置10。該動作資料於中介裝置10之動作資料處理部10i之說明中為上述動作資料。
判定部40d使用藉由動作資料輸出部40e所生成之動作資料,評價模擬之結果、亦即訓練之結果,並將該評價發送至中介裝置10。判定部40d與中介裝置10之判定部10j同樣地,決定該評價。進而,判定部40d亦可決定用戶之熟練度、等級及級別等並發送至中介裝置10。
對模擬機器人50之功能性構成進行說明。圖12係表示實施形態之模擬機器人50之功能性構成之一例之方塊圖。如圖12所示,模擬機器人50包含通訊部50a、受理部50b、攝像控制部50c、圖像處理部50d、驅動控制部50e、狀態檢測部50f、判定部50g、記憶部50h、攝像裝置517及驅動裝置519等。再者,並非全部上述構成要素均為必需。通訊部50a、受理部50b、攝像控制部50c、圖像處理部50d、驅動控制部50e、狀態檢測部50f、判定部50g及記憶部50h構成控制裝置51。通訊部50a之功能藉由網路I/F506等實現。記憶部50h之功能藉由ROM502及記憶體504等實現。受理部50b、攝像控制部50c、圖像處理部50d、驅動控制部50e、狀態檢測部50f及判定部50g之功能藉由CPU501、ROM502、RAM503等實現。
通訊部50a經由通訊網90與中介裝置10進行通訊。記憶部50h記憶各種資訊。例如,記憶部50h亦可針對藉由模擬機器人50可執行之各模擬內容,記憶該模擬中所執行之機器人50A之各動作之位置、作用力及所需時間之資訊。作用力之例為機器人之末端執行器按壓或拉拽對象物之力等。又,記憶部50h亦可記憶判定部50g於評價中使用之閾值等。
受理部50b自中介裝置10接收執行模擬之指令即執行訓練之指令、及要執行之訓練內容之資訊。受理部50b於記憶部50h中,抽出與所接收之訓練內容對應之模擬內容。受理部50b將所抽出之模擬內容中之執行模擬之指令輸出至攝像控制部50c及驅動控制部50e。又,於執行開始後,受理部50b自中介裝置10之第一轉換部10g接收用以操作機器人50A之第二資訊,並輸出至驅動控制部50e。
攝像控制部50c當接收到執行模擬之指令時,啟動攝像裝置517使其進行攝像。攝像裝置517拍攝機器人50A、例如其末端執行器,並將拍攝所得之圖像輸出至圖像處理部50d。圖像處理部50d將自攝像裝置517接收到之圖像之圖像資料發送至中介裝置10。
驅動控制部50e藉由按照自受理部50b接收之第二資訊,驅動驅動裝置519,而使機器人50A執行對應於該第二資訊之動作。
狀態檢測部50f檢測機器人50A各部之狀態,並將檢測結果輸出至判定部50g。例如,狀態檢測部50f可藉由檢測作為上述狀態之機器人50A之可動部分之動作量,而檢測各部之三維位置。此時,狀態檢測部50f可根據設置於驅動裝置519之旋轉感測器之檢測值檢測機器人50A之可動部分之動作量。又,狀態檢測部50f亦可檢測作為上述狀態之作用於機器人50A之末端執行器之力即作用力。此時,狀態檢測部50f亦可根據設置於末端執行器之力覺感測器等力感測器之檢測值檢測作用力。狀態檢測部50f亦可具備計時器,檢測作為上述狀態之機器人50A之各動作間之所需時間。驅動控制部50e亦可使用狀態檢測部50f之檢測結果作為反饋資訊來控制驅動裝置519之驅動。
判定部50g使用狀態檢測部50f之檢測結果,評價模擬之結果、亦即訓練之結果,並將該評價發送至中介裝置10。判定部50g與中介裝置10之判定部10j同樣地,決定該評價。進而,判定部50g亦可決定用戶之熟練度、等級及級別等並發送至中介裝置10。
對指導終端60之功能性構成進行說明。圖13係表示實施形態之指導終端60之功能性構成之一例之方塊圖。如圖13所示,指導終端60包含通訊部60a、執行內容受理部60b、動作資料受理部60c、提示部60d、輔助指令受理部60e、判定受理部60f、記憶部60g及操作裝置62。再者,並非全部上述構成要素均為必需。
通訊部60a之功能藉由網路I/F606等實現。記憶部60g之功能藉由ROM602及記憶體604等實現。執行內容受理部60b、動作資料受理部60c、提示部60d、輔助指令受理部60e及判定受理部60f之功能藉由CPU601、ROM602、RAM603等實現。
通訊部60a經由通訊網90與中介裝置10進行通訊。記憶部60g記憶各種資訊。例如,記憶部60g亦可記憶各種訓練內容、執行內容受理部60b所受理之資訊等。
執行內容受理部60b自中介裝置10接收操作終端20所執行之訓練內容,並輸出至提示部60d。
動作資料受理部60c自操作終端20及模擬裝置200經由中介裝置10接收機器人模型之動作資料,並輸出至提示部60d。例如,動作資料受理部60c於第一訓練中獲取操作終端20之機器人模型之動作資料,於第二訓練中獲取模擬裝置200之機器人模型之動作資料。操作終端20之動作資料亦可為機器人操作之第一資訊。
提示部60d使用自動作資料受理部60c接收之動作資料,生成按照該動作資料動作之機器人模型之圖像等,並輸出至輸出裝置32。提示部60d於機器人模型之圖像之生成中可使用操作終端20所生成之機器人模型之圖像,亦可使用模擬電腦40所生成之機器人模型之圖像,亦可使用模擬機器人50中拍攝的機器人50A之圖像。藉此,指導者可確認進行與於操作終端20由用戶操作之機器人模型相同之動作之機器人模型。又,提示部60d將操作終端20所執行之訓練內容輸出至輸出裝置32並提示給指導者。此時,提示部60d可以字串或音訊等之形式輸出提示訓練內容之資訊,亦可以機器人模型之圖像等之形式輸出提示訓練內容之資訊。
輔助指令受理部60e自操作裝置62接收作為由指導者輸入至操作裝置62之資訊之輔助指令,並發送至中介裝置10。輔助指令係自中介裝置10發送至操作終端20。輔助指令係為了對輸出裝置32所提示之機器人模型精確地輔助、引導或嚮導該機器人模型之動作,而由指導者輸入至操作裝置62之資訊。例如,亦可為,指導者將精確之機器人操作輸入至操作裝置62,輔助指令受理部60e使用所輸入之資訊生成輔助指令。
判定受理部60f受理輸出裝置32所提示之對於機器人模型之動作之結果的評價。判定受理部60f接收由指導者輸入至操作裝置62之評價,並將該評價作為訓練之評價發送至中介裝置10。藉此,可提示指導者對用戶之評價。
<訓練系統之動作> 對實施形態之訓練系統1之動作進行說明。圖14A~圖14C係表示實施形態之訓練系統1之動作流程之一例之序列圖。以下,對使用指導終端60進行機器人操作之輔助之例進行說明。
如圖14A所示,用戶於操作終端20啟動機器人操作之訓練之遊戲程式(步驟S101)。繼而,用戶將作為用戶資訊之用戶之識別資訊等輸入至操作終端20,操作終端20將該識別資訊等發送至中介裝置10(步驟S102)。亦即,用戶登入至訓練之遊戲。用戶之識別資訊預先登錄於中介裝置10。
繼而,中介裝置10對所接收之用戶之識別資訊進行認證,抽出對應於該識別資訊之訓練之允許條件,並抽出與所抽出之允許條件對應之訓練構成。然後,中介裝置10將所抽出之訓練構成作為該用戶可執行之訓練構成發送至操作終端20(步驟S103)。訓練構成係訓練內容、與具有要執行該訓練內容之機器人模型之裝置之組合。
繼而,用戶使用操作終端20,如例如圖9所示般自輸出裝置31所顯示之可執行之訓練構成決定要執行之構成。操作終端20將所決定之訓練構成發送至中介裝置10(步驟S104)。
繼而,中介裝置10判定所接收之訓練構成之具有機器人模型之裝置是否為操作終端20(步驟S105)。中介裝置10於為操作終端20之情形時(步驟S105中為是),進行至步驟S106,於並非操作終端20之情形時(步驟S105中為否),進行至步驟S107。
於步驟S106中,中介裝置10自中介裝置10可連接之指導終端60之中抽出可執行對於步驟S104中所接收之訓練構成之輔助動作之指導終端60,並將該指導終端60與操作終端20連接。
繼而,中介裝置10將執行訓練之指令發送至操作終端20(步驟S108)。繼而,操作終端20開始執行訓練(步驟S109)。然後,操作終端20於訓練之執行中,將表示由用戶輸入之操作之第一資訊發送至中介裝置10(步驟S110)。
中介裝置10將第一資訊轉換成表示機器人模型之動作的動作資料,並發送至指導終端60(步驟S111)。指導終端60將與動作資料對應地動作之機器人模型經由輸出裝置32提示給指導者。再者,中介裝置10亦可接收操作終端20於輸出裝置31所顯示之機器人模型之圖像資料作為第一資訊,並將該圖像資料發送至指導終端60。指導終端60亦可將所接收之圖像資料顯示於輸出裝置32。進而,當由指導者輸入用以將機器人模型之動作精確化之機器人操作之輔助指令時,指導終端60將該輔助指令發送至中介裝置10(步驟S112)。
中介裝置10將自指導終端接收之輔助指令轉換成作為適合操作終端20之資訊之轉換輔助指令,並發送至操作終端20(步驟S113)。操作終端20基於所接收之轉換輔助指令,生成如例如圖10所示般之將用戶之機器人操作輔助成精確之操作之圖像資料等提示資料,並使輸出裝置31提示該資料(步驟S114)。
繼而,操作終端20判定執行中之訓練內容是否已全部完成(步驟S115)。操作終端20於已完成之情形時(步驟S115中為是),進行至步驟S116,於未完成之情形時(步驟S115中為否),返回至步驟S110。
於步驟S116中,操作終端20將訓練之完成通知發送至中介裝置10,繼而,於步驟S117中,中介裝置10將訓練之完成通知發送至指導終端60。指導終端60之指導者切斷與中介裝置10之連接。再者,指導者亦可使用指導終端60,生成對訓練結果之評價並發送至中介裝置10。
繼而,於步驟S118中,中介裝置10基於訓練結果,決定訓練結果之評價、用戶之熟練度、等級及級別等,並將其等中之至少1者發送至操作終端20。再者,中介裝置10可自身生成訓練結果之評價,亦可自指導終端60獲取,亦可獲取操作終端20所生成之訓練結果之評價。中介裝置10將評價結果、熟練度、等級及級別等作為新的用戶資訊登錄至自身。繼而,操作終端20將所接收之評價結果、熟練度、等級及級別等輸出至輸出裝置31,並提示給用戶(步驟S119)。然後,藉由用戶將操作終端20停止,而操作終端20結束訓練之遊戲程式。
又,如圖14B所示,於步驟S107中,中介裝置10判定步驟S104中所接收之訓練構成之具有機器人模型之裝置是否為模擬電腦40。中介裝置10於為模擬電腦40之情形時(步驟S107中為是),進行至步驟S120,於並非模擬電腦40之情形時(步驟S107中為否),進行至步驟S121。
於步驟S120中,中介裝置10自中介裝置10可連接之模擬電腦40之中抽出可執行於步驟S104中接收之訓練構成中所包含之訓練內容之模擬電腦40,並將該模擬電腦40與操作終端20連接。進而,於步驟S122中,中介裝置10與步驟S106同樣地抽出指導終端60,並與該指導終端60連接。
繼而,中介裝置10將執行訓練內容之指令發送至模擬電腦40(步驟S123)。繼而,模擬電腦40執行所指示之訓練內容(步驟S124)。模擬電腦40將表示執行訓練之通知發送至中介裝置10(步驟S125),進而,中介裝置10將該通知發送至操作終端20(步驟S126)。
於訓練之執行中,操作終端20將第一資訊發送至中介裝置10(步驟S127)。進而,中介裝置10將第一資訊轉換成使模擬電腦40之假想之機器人模型進行動作之第二資訊,並發送至模擬電腦40(步驟S128)。模擬電腦40按照第二資訊使機器人模型進行動作,並將該機器人模型之動作資料發送至中介裝置10(步驟S129)。中介裝置10將所接收之動作資料轉換成對應於操作終端20處之機器人模型之圖像顯示等提示之動作資料,並發送至操作終端20(步驟S130)。操作終端20使輸出裝置31提示要執行與所接收之動作資料對應之動作之機器人模型之圖像等。再者,亦可為,模擬電腦40將假想之機器人模型之圖像資料作為動作資料發送至中介裝置10,中介裝置10將所接收之圖像資料發送至操作終端20。操作終端20亦可將所接收之圖像資料顯示於輸出裝置31。
又,中介裝置10將步驟S129中所接收之動作資料發送至指導終端60(步驟S131)。指導終端60當針對基於動作資料而於輸出裝置32提示之機器人模型之動作,由指導者輸入輔助指令時,將該輔助指令發送至中介裝置10(步驟S132)。中介裝置10將自指導終端接收到之輔助指令轉換成轉換輔助指令,並發送至操作終端20(步驟S133)。操作終端20基於所接收之轉換輔助指令,使輸出裝置31進行輔助用戶之機器人操作之提示(步驟S134)。再者,中介裝置10亦可自模擬電腦40接收假想之機器人模型之圖像資料作為動作資料,並發送至指導終端60。指導終端60亦可將所接收之圖像資料顯示於輸出裝置32。
繼而,操作終端20於執行中之訓練內容已全部完成之情形時(步驟S135中為是),進行至步驟S136,於未完成之情形時(步驟S135中為否),返回至步驟S127。操作終端20等與步驟S116~S119同樣地進行步驟S136~S139之處理。
又,如圖14C所示,於步驟S121中,中介裝置10自中介裝置10可連接之模擬機器人50之中,抽出包含可執行於步驟S104中接收之訓練構成所包含之訓練內容之機器人50A在內的模擬機器人50,並將該模擬機器人50與操作終端20連接。進而,於步驟S140中,中介裝置10與步驟S106同樣地抽出指導終端60,並與該指導終端60連接。
繼而,中介裝置10將執行訓練內容之指令發送至模擬機器人50(步驟S141)。繼而,模擬機器人50執行所指示之訓練內容(步驟S142)。進而,模擬機器人50使攝像裝置517執行機器人50A之拍攝(步驟S143)。繼而,模擬機器人50將表示執行訓練之通知發送至中介裝置10(步驟S144),進而,中介裝置10將該通知發送至操作終端20(步驟S145)。
於訓練之執行中,操作終端20將第一資訊發送至中介裝置10(步驟S146),中介裝置10將第一資訊轉換成使機器人50A動作之第二資訊,並發送至模擬機器人50(步驟S147)。模擬機器人50按照第二資訊使機器人50A動作,並檢測機器人50A各部之狀態。然後,模擬機器人50將藉由攝像裝置517拍攝所得之圖像資料發送至中介裝置10(步驟S148)。中介裝置10將所接收之圖像資料發送至操作終端20(步驟S149)。操作終端20使輸出裝置31提示所接收之圖像資料之圖像等。
又,中介裝置10將步驟S148中所接收之圖像資料作為動作資料發送至指導終端60(步驟S150)。當指導者視認輸出裝置32所提示之圖像資料之圖像,並將輔助指令輸入至指導終端60時,指導終端60將該輔助指令發送至中介裝置10(步驟S151)。中介裝置10將自指導終端接收之輔助指令轉換成轉換輔助指令,並發送至操作終端20(步驟S152)。操作終端20基於所接收之轉換輔助指令,使輸出裝置31進行輔助用戶之機器人操作之提示(步驟S153)。
繼而,操作終端20於執行中之訓練內容已全部完成之情形時(步驟S154中為是),進行至步驟S155,於未完成之情形時(步驟S154中為否),返回至步驟S146。操作終端20等與步驟S116~S119同樣地進行步驟S155~S158之處理。
藉由上述步驟S101~S158之處理,用戶可使用操作終端20,執行使用操作終端20、模擬電腦40及模擬機器人50之機器人模型中之任一者之機器人操作之訓練。進而,用戶於全部訓練中,可接受指導者對機器人操作之輔助。再者,於圖14A~圖14C之例中,構成為全部訓練受到指導者經由指導終端60進行之輔助,但輔助並非必需,例如亦可由用戶任意地選擇。於不進行輔助之情形時,於圖14A~圖14C中,亦可省略與指導終端60相關聯之處理。以此方式,用戶可藉由執行使用操作終端20之機器人操作之訓練,而提高機器人操作之熟練度。例如,於操作終端20與實機機器人經由通訊網90連接且可利用操作終端20進行機器人操作之環境中,用戶儘管位於遠處,亦可使用操作終端20利用實機機器人進行實際之作業。
<效果等> 於如上所述之實施形態之訓練系統1中,作為訓練處理裝置之中介裝置10之資訊處理裝置100管理使用操作終端20之機器人操作之訓練。資訊處理裝置100與操作終端20經由通訊網90收發資訊,於在操作終端20上執行進行機器人操作之訓練之電腦程式之過程中,受理輸入至操作終端20之作為機器人操作之資訊之第一資訊,並基於第一資訊,管理訓練。再者,例如,機器人操作亦可為用以使機器人執行作業之操作。
根據上述構成,資訊處理裝置100可進行使用操作終端20之機器人操作之訓練。又,操作終端20之用戶可位於任意場所,只要為可與通訊網90進行存取之環境即可,可接受資訊處理裝置100對訓練之管理。進而,藉由經由通訊網90,可將多個操作終端20同時連接於資訊處理裝置100,並接受資訊處理裝置100對訓練之管理。以此方式,資訊處理裝置100可藉由各種用戶進行機器人操作之訓練而操作機器人。
又,實施形態之資訊處理裝置100亦可評價訓練結果,並登錄訓練結果之評價作為對於操作操作終端20之用戶之評價即用戶評價。根據上述構成,資訊處理裝置100登錄訓練結果之評價作為操作終端20之用戶評價。藉此,可利用所登錄之用戶評價。例如,資訊處理裝置100可於訓練之實施時等,將所登錄之用戶評價提示給用戶。藉此,用戶可根據自身之用戶評價,容易地決定要執行之訓練構成。又,於用戶操作實機機器人之情形時,可基於用戶評價決定適合用戶之機器人及作業內容。
又,實施形態之資訊處理裝置100亦可基於所登錄之用戶評價,決定用戶評價之對象之用戶可執行之訓練,並使操作終端20提示所決定之訓練之資訊。根據上述構成,用戶或訓練之提供者(例如,中介裝置10)可判斷適合用戶或可執行之機器人操作之訓練。
又,實施形態之資訊處理裝置100亦可使藉由對輸入至操作終端20之機器人操作進行輔助而指導訓練之指導終端60提示第一資訊,並針對所提示之第一資訊,受理輔助被輸入至指導終端60之機器人操作之輔助指令,並使操作終端20提示輔助指令。根據上述構成,機器人操作之指導者可經由指導終端60確認作為用戶之機器人操作之資訊之第一資訊。進而,指導者可一面進行上述確認,一面將機器人操作之輔助指令輸入至指導終端60並輸送至操作終端20。用戶可一面確認由操作終端20提示之輔助指令,一面進行機器人操作之訓練,亦即,可一面接受輔助,一面進行訓練。
又,於實施形態之訓練系統1中,操作終端20與指導終端60亦可經由通訊網90連接。根據上述構成,操作終端20之用戶及指導終端60之指導者可位於任意場所,只要為可與通訊網90進行存取之環境即可,可進行訓練及其輔助。
又,於實施形態之訓練系統1中,操作終端20可為遊戲機、遊戲控制器、機器人專用之遠距離操作器、個人資訊終端、智慧型器件及個人電腦中之至少任一者。根據上述構成,可進行使用各種操作終端20之訓練。
又,實施形態之資訊處理裝置100亦可將第一資訊轉換成用以操作執行使機器人模型進行模擬動作之模擬之模擬裝置200之機器人模型的第二資訊,並按照第二資訊使模擬裝置200動作,並使操作終端20提示按照第二資訊進行動作之模擬裝置200之機器人模型之動作之資訊。再者,操作終端20與模擬裝置200亦可經由通訊網90連接。
根據上述構成,資訊處理裝置100藉由將與輸入至操作終端20之操作對應之第一資訊轉換成第二資訊,並按照第二資訊使模擬裝置200動作,從而使模擬裝置200之機器人模型進行對應於上述操作之動作。因此,用戶可於距模擬裝置200較遠之地方,使用操作終端20及模擬裝置200進行機器人操作之訓練。進而,於操作終端20與模擬裝置200之間收發之資訊分別被轉換成適合之形式之資訊,因此用戶例如可使用自身所持有之熟悉之操作終端20。因此,用戶可容易地執行向模擬裝置200之機器人操作之輸入,容易接受訓練。又,藉由操作終端20與模擬裝置200經由通訊網90而連接,而各種操作終端20可與模擬裝置200連接。因此,各種用戶可經由操作終端20存取於模擬裝置200,而進行機器人操作之訓練,藉此可操作機器人。
又,實施形態之資訊處理裝置100亦可自操作終端20受理選自使用於利用操作終端20所執行之電腦程式上發揮功能之機器人模型之第一訓練、及使用模擬裝置200之第二訓練中之訓練之請求,並決定所選擇之訓練之執行。根據上述構成,操作終端20之用戶可自第一訓練及第二訓練之中選擇並執行訓練。使用模擬裝置200之第二訓練與第一訓練相比請求細緻且高精度之機器人操作。用戶可根據自身之熟練度選擇訓練。
又,實施形態之資訊處理裝置100亦可執行使用使假想之機器人模型進行模擬動作之模擬電腦40及操作終端20之訓練,並使操作終端20提示藉由模擬電腦40所生成之假想之機器人模型之動作資訊。根據上述構成,用戶可利用模擬電腦40之模擬執行訓練。
又,實施形態之資訊處理裝置100亦可執行使用使作為機器人模型之實機機器人50A進行模擬動作之模擬機器人50及操作終端20之訓練,並使操作終端20提示藉由攝像裝置517拍攝的機器人50A之圖像資訊作為機器人模型之動作資訊。根據上述構成,用戶可利用使用實機機器人50A之模擬執行訓練。進而,用戶可一面視認實機機器人50A之圖像,一面執行訓練。
進而,實施形態之資訊處理裝置100亦可將實機機器人50A之圖像轉換成假想之機器人模型之圖像,並使操作終端20提示轉換成之圖像中之假想之機器人模型之動作資訊。例如,假想之機器人模型之圖像亦可為使用CG或動畫等之圖像。根據上述構成,可將藉由操作終端20提示給用戶之圖像設為用戶容易接受之圖像。因此,用戶變得容易接受訓練。
又,實施形態之中介裝置10可具備實施形態之資訊處理裝置100,並將操作終端20與指導終端60經由通訊網90而中介。又,實施形態之中介裝置10亦可具備實施形態之資訊處理裝置100,並將操作終端20與模擬裝置200經由通訊網90而中介。又,實施形態之中介裝置10亦可具備實施形態之資訊處理裝置100,並將操作終端20、模擬裝置200及指導終端60經由通訊網90而中介。於上述構成之任一者中,均可獲得與實施形態之資訊處理裝置100相同之效果。
又,實施形態之訓練系統1可具備實施形態之資訊處理裝置100、指導終端60、及將操作終端20與指導終端60經由通訊網90而中介之中介裝置10。又,實施形態之訓練系統1亦可具備實施形態之資訊處理裝置100、模擬裝置200、及將操作終端20與模擬裝置200經由通訊網90而中介之中介裝置10。又,實施形態之訓練系統1亦可進而具備指導終端60,且中介裝置10將操作終端20、模擬裝置200及指導終端60經由通訊網90而中介。進而,實施形態之訓練系統1亦可具備操作終端20。於上述構成之任一者中,均可獲得與實施形態之資訊處理裝置100相同之效果。
<其他實施形態> 以上,對本發明之實施形態之例進行了說明,但本發明並不限定於上述實施形態。即,可於本發明之範圍內進行各種變化及改良。例如,對實施形態實施各種變化所得者及組合不同之實施形態中之構成要素而構築之形態亦包含於本發明之範圍內。
例如,於實施形態中,資訊處理裝置100搭載於中介裝置10,但並不限定於此。例如,資訊處理裝置100亦可搭載於操作終端20、模擬裝置200及指導終端60中之任一者。又,資訊處理裝置100亦可分割地搭載於2個以上之裝置。例如,亦可為具有資訊處理裝置100之一部分功能之第1資訊處理裝置及第2資訊處理裝置分別搭載於中介裝置10、操作終端20、模擬裝置200及指導終端60中之2個。或,亦可為具有資訊處理裝置100之一部分功能之第1~第3資訊處理裝置分別搭載於中介裝置10、操作終端20、模擬裝置200及指導終端60中之3個。或,亦可為具有資訊處理裝置100之一部分功能之第1~第4資訊處理裝置分別搭載於中介裝置10、操作終端20、模擬裝置200及指導終端60。
又,實施形態之訓練系統1具備操作終端20、中介裝置10、模擬裝置200及指導終端60,但並不限定於此。例如,訓練系統1亦可不具備中介裝置10。
又,於實施形態之訓練系統1中,模擬電腦40及模擬機器人50以按照預先設定之電腦程式及資料使機器人模型進行動作之方式構成,但並不限定於此。例如,模擬電腦40及模擬機器人50亦可以利用數位孿生(Digital Twin)之環境之方式構成。於該情形時,模擬電腦40及模擬機器人50亦可以使用例如儲存於雲端上之各種資料、亦即巨量資料而動作之方式構成。例如,資料亦可包含藉由各種用戶使用各種模擬電腦40及模擬機器人50等執行各種訓練所獲得之資料、藉由使用各種機器人實際地進行各種作業所獲得之資料等。
又,本發明亦可為訓練處理方法。例如,本發明之一態樣之訓練處理方法於在上述操作終端上執行進行使用操作終端之機器人操作之訓練之電腦程式之過程中,經由通訊網受理輸入至上述操作終端之作為機器人操作之資訊之第一資訊,並基於上述第一資訊管理上述訓練。根據該方法,可獲得與上述資訊處理裝置100等相同之效果。此種訓練處理方法亦可藉由CPU、LSI等電路、IC卡或單獨之模組等實現。
又,本發明可為用以執行上述訓練處理方法之程式,亦可為記錄有上述程式之非暫時性之電腦可讀取之記錄媒介。又,上述程式當然可經由網際網路等傳送媒介流通。
又,上述所使用之序數、數量等數字係為了對全部本發明之技術具體地進行說明而例示者,本發明並不限定於所例示之數字。又,構成要素間之連接關係係為了對本發明之技術具體地進行說明而例示者,實現本發明之功能之連接關係並不限定於此。
又,功能方塊圖中之方塊之分割為一例,亦可將多個方塊以一個方塊之形式實現、將一個方塊分割成多個及/或將一部分功能轉移至其他方塊。又,亦可由單一之硬體或軟體並行或分時地處理具有類似之功能的多個方塊之功能。
1:訓練系統 10:中介裝置 10a:第一通訊部 10b:第二通訊部 10c:第三通訊部 10d:第一受理部 10e:第二受理部 10f:決定部 10g:第一轉換部 10h:第二轉換部 10i:動作資料處理部 10j:判定部 10k:記憶部 20:操作終端 21:操作終端本體 21a:通訊部 21b:輸入部 21c:程式執行部 21d:讀取部 21e:記憶部 21f:輸出部 22:操作器 22a:輸入部 22b:輸出部 31:輸出裝置 32:輸出裝置 40:模擬電腦 40a:通訊部 40b:受理部 40c:程式執行部 40d:判定部 40e:動作資料輸出部 40f:記憶部 50:模擬機器人 50a:通訊部 50b:受理部 50c:攝像控制部 50d:圖像處理部 50e:驅動控制部 50f:狀態檢測部 50g:判定部 50h:記憶部 50A、50A1~50An:機器人 51:控制裝置 60:指導終端 60a:通訊部 60b:執行內容受理部 60c:動作資料受理部 60d:提示部 60e:輔助指令受理部 60f:判定受理部 60g:記憶部 61:控制裝置 62:操作裝置 71:記錄媒體 72:記錄媒介 90:通訊網 100:資訊處理裝置(訓練處理裝置) 101:CPU 102:ROM 103:RAM 104:記憶體 106:網路I/F 107:輸入輸出I/F 113:輸入裝置 200:模擬裝置 201:CPU 202:ROM 203:RAM 204:記憶體 205:媒體I/F 206:網路I/F 207:第一輸入輸出I/F 208:圖像處理器 209:第二輸入輸出I/F 210:音訊處理器 211:第三輸入輸出I/F 212:記錄媒介驅動器 221:輸入裝置 222:操作輸入輸出I/F 401:CPU 402:ROM 403:RAM 404:記憶體 406:網路I/F 407:第一輸入輸出I/F 408:圖像處理器 409:第二輸入輸出I/F 413:輸入裝置 414:顯示器 501:CPU 502:ROM 503:RAM 504:記憶體 506:網路I/F 507:第一輸入輸出I/F 508:圖像處理器 509:第二輸入輸出I/F 514:顯示器 515:攝像I/F 516:驅動電路 517:攝像裝置 518:操作裝置 519:驅動裝置 601:CPU 602:ROM 603:RAM 604:記憶體 606:網路I/F 607:第一輸入輸出I/F 608:圖像處理器 609:第二輸入輸出I/F 610:音訊處理器 611:第三輸入輸出I/F Ad1、Ad2:指標 S1、S2:畫面
圖1係表示實施形態之訓練系統之構成之一例之圖。 圖2係表示實施形態之操作終端之硬體構成之一例之方塊圖。 圖3係表示實施形態之中介裝置之硬體構成之一例之方塊圖。 圖4係表示實施形態之模擬電腦之硬體構成之一例之方塊圖。 圖5係表示實施形態之模擬機器人之硬體構成之一例之方塊圖。 圖6係表示實施形態之指導終端之硬體構成之一例之方塊圖。 圖7係表示實施形態之操作終端之功能性構成之一例之方塊圖。 圖8係表示實施形態之中介裝置之功能性構成之一例之方塊圖。 圖9係表示實施形態之操作終端所提示之訓練構成之選擇畫面之一例之圖。 圖10係表示實施形態之操作終端所提示之輔助指令之畫面之一例之圖。 圖11係表示實施形態之模擬電腦之功能性構成之一例之方塊圖。 圖12係表示實施形態之模擬機器人之功能性構成之一例之方塊圖。 圖13係表示實施形態之指導終端之功能性構成之一例之方塊圖。 圖14A係表示實施形態之訓練系統之動作流程之一例之序列圖。 圖14B係表示實施形態之訓練系統之動作流程之一例之序列圖。 圖14C係表示實施形態之訓練系統之動作流程之一例之序列圖。
1:訓練系統
10:中介裝置
20:操作終端
31:輸出裝置
32:輸出裝置
40:模擬電腦
50:模擬機器人
50A1~50An:機器人
60:指導終端
90:通訊網
100:資訊處理裝置(訓練處理裝置)
200:模擬裝置

Claims (34)

  1. 一種訓練處理裝置,其管理使用操作終端之機器人操作之訓練,且 與上述操作終端經由通訊網收發資訊, 於在上述操作終端執行進行機器人操作之訓練之電腦程式之過程中,受理輸入至上述操作終端之作為機器人操作之資訊之第一資訊, 基於上述第一資訊管理上述訓練。
  2. 如請求項1所述之訓練處理裝置,其中使藉由對輸入至上述操作終端之機器人操作進行輔助而指導上述訓練之指導終端提示按照上述第一資訊之機器人模型之動作, 針對所提示之上述機器人模型之動作,受理輔助被輸入至上述指導終端之上述機器人操作之輔助指令, 使上述操作終端提示上述輔助指令。
  3. 如請求項2所述之訓練處理裝置,其中上述操作終端與上述指導終端經由通訊網連接。
  4. 如請求項1所述之訓練處理裝置,其基於上述第一資訊,評價上述訓練結果, 登錄上述訓練結果之評價作為對操作上述操作終端之用戶之評價即用戶評價。
  5. 如請求項4所述之訓練處理裝置,其基於所登錄之上述用戶評價,決定上述用戶評價之對象之用戶可執行之訓練, 使上述操作終端提示所決定之上述訓練之資訊。
  6. 如請求項1所述之訓練處理裝置,其中上述操作終端為遊戲機、遊戲控制器、機器人專用之遠距離操作器、個人資訊終端(PDA:Personal Data Assistant)、智慧型器件及個人電腦中之至少任一種。
  7. 如請求項1所述之訓練處理裝置,其中上述機器人操作為用以使機器人執行作業之操作。
  8. 如請求項1所述之訓練處理裝置,其中將上述第一資訊轉換成用以操作執行使機器人模型進行模擬動作之模擬的模擬裝置之上述機器人模型的第二資訊, 按照上述第二資訊使上述模擬裝置進行動作, 使上述操作終端提示按照上述第二資訊進行動作之上述模擬裝置之上述機器人模型之動作資訊。
  9. 如請求項8所述之訓練處理裝置,其自上述操作終端受理選自使用在藉由上述操作終端所執行之電腦程式上發揮功能之機器人模型之第一訓練、及使用上述模擬裝置之第二訓練中之訓練之請求, 決定上述所選擇之訓練之執行。
  10. 如請求項8所述之訓練處理裝置,其可使用作為使假想之上述機器人模型進行模擬動作之電腦裝置之上述模擬裝置及上述操作終端來執行上述訓練, 使上述操作終端提示藉由上述模擬裝置生成之上述假想之機器人模型之動作資訊。
  11. 如請求項8所述之訓練處理裝置,其可使用使作為上述機器人模型之實機機器人進行模擬動作之上述模擬裝置及上述操作終端來執行上述訓練, 使上述操作終端提示藉由攝像裝置拍攝的上述機器人之圖像資訊作為上述機器人模型之動作資訊。
  12. 如請求項11所述之訓練處理裝置,其將上述機器人之圖像轉換成假想之機器人模型之圖像, 使上述操作終端提示轉換成之圖像中之上述假想之機器人模型之動作資訊。
  13. 如請求項8所述之訓練處理裝置,其中上述操作終端與上述模擬裝置經由通訊網連接。
  14. 一種中介裝置,其具備如請求項1至13中任一項所述之訓練處理裝置, 將上述操作終端與指導終端經由通訊網而中介, 上述指導終端藉由對輸入至上述操作終端之機器人操作進行輔助而指導上述訓練, 上述訓練處理裝置係 使上述指導終端提示上述第一資訊,且 針對所提示之上述第一資訊,受理輔助被輸入至上述指導終端之上述機器人操作之輔助指令, 使上述操作終端提示上述輔助指令。
  15. 一種中介裝置,其具備如請求項1至13中任一項所述之訓練處理裝置, 將上述操作終端與模擬裝置經由通訊網而中介, 上述模擬裝置執行使機器人模型進行模擬動作之模擬, 上述訓練處理裝置係 將上述第一資訊轉換成用以操作上述模擬裝置之上述機器人模型之第二資訊, 按照上述第二資訊使上述模擬裝置進行動作, 使上述操作終端提示按照上述第二資訊進行動作之上述模擬裝置之上述機器人模型之動作資訊。
  16. 如請求項15所述之中介裝置,其將上述操作終端、上述模擬裝置及指導終端經由上述通訊網而中介, 上述指導終端藉由對輸入至上述操作終端之機器人操作進行輔助而指導上述訓練, 上述訓練處理裝置係 使上述指導終端提示上述第一資訊, 針對所提示之上述第一資訊,受理輔助被輸入至上述指導終端之上述機器人操作之輔助指令, 使上述操作終端提示上述輔助指令。
  17. 一種訓練系統,其具備: 如請求項1至13中任一項所述之訓練處理裝置; 指導終端,其藉由對輸入至上述操作終端之機器人操作進行輔助而指導上述訓練;及 中介裝置,其將上述操作終端與上述指導終端經由通訊網而中介; 上述訓練處理裝置係 使上述指導終端提示上述第一資訊, 針對所提示之上述第一資訊,受理輔助被輸入至上述指導終端之上述機器人操作之輔助指令, 使上述操作終端提示上述輔助指令。
  18. 如請求項17所述之訓練系統,其進而具備上述操作終端。
  19. 一種訓練系統,其具備: 如請求項1至13中任一項所述之訓練處理裝置; 模擬裝置,其執行使機器人模型進行模擬動作之模擬;及 中介裝置,其將上述操作終端及上述模擬裝置經由通訊網而中介;且 上述訓練處理裝置係 將上述第一資訊轉換成用以操作上述模擬裝置之上述機器人模型之第二資訊, 按照上述第二資訊使上述模擬裝置進行動作, 使上述操作終端提示按照上述第二資訊進行動作之上述模擬裝置之上述機器人模型之動作資訊。
  20. 如請求項19所述之訓練系統,其進而具備指導終端,該指導終端藉由對輸入至上述操作終端之機器人操作進行輔助而指導上述訓練, 上述中介裝置將上述操作終端、上述模擬裝置及上述指導終端經由上述通訊網而中介, 上述訓練處理裝置係 使上述指導終端提示上述第一資訊, 針對所提示之上述第一資訊,受理輔助被輸入至上述指導終端之上述機器人操作之輔助指令, 使上述操作終端提示上述輔助指令。
  21. 如請求項19所述之訓練系統,其進而具備上述操作終端。
  22. 一種訓練處理方法,其於在上述操作終端上執行進行使用操作終端之機器人操作之訓練的電腦程式之過程中,經由通訊網受理輸入至上述操作終端之作為機器人操作之資訊之第一資訊, 基於上述第一資訊管理上述訓練。
  23. 如請求項22所述之訓練處理方法,其使藉由對輸入至上述操作終端之機器人操作進行輔助而指導上述訓練之指導終端提示按照上述第一資訊之機器人模型之動作, 針對所提示之上述機器人模型之動作,受理輔助被輸入至上述指導終端之上述機器人操作之輔助指令, 使上述操作終端提示上述輔助指令。
  24. 如請求項23所述之訓練處理方法,其中上述操作終端與上述指導終端經由通訊網連接。
  25. 如請求項22所述之訓練處理方法,其基於上述第一資訊評價上述訓練結果, 登錄上述訓練結果之評價作為對操作上述操作終端之用戶之評價即用戶評價。
  26. 如請求項25所述之訓練處理方法,其基於所登錄之上述用戶評價,決定上述用戶評價之對象之用戶可執行之訓練, 使上述操作終端提示所決定之上述訓練之資訊。
  27. 如請求項22所述之訓練處理方法,其中上述操作終端為遊戲機、遊戲控制器、機器人專用之遠距離操作器、個人資訊終端(PDA)、智慧型器件及個人電腦中之至少任一者。
  28. 如請求項22所述之訓練處理方法,其中上述機器人操作為用以使機器人執行作業之操作。
  29. 如請求項22所述之訓練處理方法,其將上述第一資訊轉換成用以操作執行使機器人模型進行模擬動作之模擬的模擬裝置之上述機器人模型的第二資訊, 按照上述第二資訊使上述模擬裝置進行動作, 使上述操作終端提示按照上述第二資訊進行動作之上述模擬裝置之上述機器人模型之動作資訊。
  30. 如請求項29所述之訓練處理方法,其自上述操作終端受理選自使用在藉由上述操作終端所執行之電腦程式上發揮功能之機器人模型之第一訓練、及使用上述模擬裝置之第二訓練中之訓練之請求, 執行上述所選擇之訓練。
  31. 如請求項29所述之訓練處理方法,其可使用作為使假想之上述機器人模型進行模擬動作之電腦裝置之上述模擬裝置及上述操作終端來執行上述訓練, 使上述操作終端提示藉由上述模擬裝置所生成之上述假想之機器人模型之動作資訊。
  32. 如請求項29所述之訓練處理方法,其可使用使作為上述機器人模型之實機機器人進行模擬動作之上述模擬裝置及上述操作終端來執行上述訓練, 使上述操作終端提示藉由攝像裝置拍攝的上述機器人之圖像資訊作為上述機器人模型之動作資訊。
  33. 如請求項32所述之訓練處理方法,其中將上述機器人之圖像轉換成假想之機器人模型之圖像, 使上述操作終端提示轉換成之圖像中之上述假想之機器人模型之動作資訊。
  34. 如請求項29所述之訓練處理方法,其中上述操作終端與上述模擬裝置經由通訊網連接。
TW108128600A 2018-08-10 2019-08-12 訓練處理裝置、中介裝置、訓練系統以及訓練處理方法 TWI721523B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018151917 2018-08-10
JPJP2018-151917 2018-08-10
JP2019105751A JP7281348B2 (ja) 2018-08-10 2019-06-05 トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法
JPJP2019-105751 2019-06-05

Publications (2)

Publication Number Publication Date
TW202017625A true TW202017625A (zh) 2020-05-16
TWI721523B TWI721523B (zh) 2021-03-11

Family

ID=77926804

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108128600A TWI721523B (zh) 2018-08-10 2019-08-12 訓練處理裝置、中介裝置、訓練系統以及訓練處理方法

Country Status (6)

Country Link
US (1) US11967245B2 (zh)
EP (1) EP3836125A4 (zh)
KR (1) KR102529023B1 (zh)
CN (1) CN112543961A (zh)
TW (1) TWI721523B (zh)
WO (1) WO2020032218A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9314924B1 (en) * 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
KR102465228B1 (ko) * 2021-11-24 2022-11-09 인하대학교 산학협력단 메타버스 플랫폼 이용한 혼합현실에서의 복잡한 기계류 훈련 및 교육과 홍보 시스템

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0639753A (ja) * 1991-09-18 1994-02-15 Fujitsu Ltd ロボットの遠隔操作支援装置
JP2002254373A (ja) 2001-02-27 2002-09-10 Casio Comput Co Ltd ロボット遠隔制御システム、ロボット制御装置、及び、記録媒体
JP3853633B2 (ja) * 2001-10-26 2006-12-06 リコーエレメックス株式会社 学習支援システムおよび学習支援方法
JP4823509B2 (ja) * 2004-11-05 2011-11-24 日立電子サービス株式会社 教育受講ナビゲーションシステム
US7860614B1 (en) * 2005-09-13 2010-12-28 The United States Of America As Represented By The Secretary Of The Army Trainer for robotic vehicle
JP2007183332A (ja) 2006-01-05 2007-07-19 Advanced Telecommunication Research Institute International 操作訓練装置
JP5726850B2 (ja) * 2009-03-20 2015-06-03 ザ ジョンズ ホプキンス ユニバーシティ 技術的技能を定量化する方法及びシステム
JP5435567B2 (ja) * 2009-12-21 2014-03-05 独立行政法人産業技術総合研究所 生活支援ロボットアームの操作トレーニング装置
JP5838873B2 (ja) * 2012-03-15 2016-01-06 オムロン株式会社 シミュレーション装置、シミュレーション方法、および、シミュレーションプログラム
EP3217912B1 (en) 2014-11-13 2024-07-24 Intuitive Surgical Operations, Inc. Integrated user environments
CN104700705B (zh) * 2015-01-19 2017-02-22 清华大学 工业机器人示教系统
US20160314717A1 (en) * 2015-04-27 2016-10-27 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station coupled to remote surgeon trainee and instructor stations and associated methods
JP6676286B2 (ja) * 2015-05-12 2020-04-08 キヤノン株式会社 情報処理方法、および情報処理装置
EP3321044A4 (en) * 2015-08-25 2019-05-29 Kawasaki Jukogyo Kabushiki Kaisha REMOTELY CONTROLLED MANIPULATOR SYSTEM AND METHOD FOR OPERATION THEREOF
US10540910B2 (en) * 2016-06-06 2020-01-21 New York University Haptic-based dental simulationrpb
JP2018015857A (ja) * 2016-07-29 2018-02-01 セイコーエプソン株式会社 制御装置、及びロボット
CN206224894U (zh) 2016-10-10 2017-06-06 佛山市南海区广工大数控装备协同创新研究院 一种工业机器人培训系统
EP3595850A1 (en) * 2017-04-17 2020-01-22 Siemens Aktiengesellschaft Mixed reality assisted spatial programming of robotic systems
US10751879B2 (en) * 2017-06-05 2020-08-25 Autodesk, Inc. Adapting simulation data to real-world conditions encountered by physical processes
US10773382B2 (en) * 2017-09-15 2020-09-15 X Development Llc Machine learning methods and apparatus for robotic manipulation and that utilize multi-task domain adaptation
CN207373189U (zh) * 2017-09-27 2018-05-18 姚绪旋 一种工业机器人示教器
US10981272B1 (en) * 2017-12-18 2021-04-20 X Development Llc Robot grasp learning
US10926408B1 (en) * 2018-01-12 2021-02-23 Amazon Technologies, Inc. Artificial intelligence system for efficiently learning robotic control policies

Also Published As

Publication number Publication date
CN112543961A (zh) 2021-03-23
US20210260753A1 (en) 2021-08-26
TWI721523B (zh) 2021-03-11
EP3836125A1 (en) 2021-06-16
KR20210041061A (ko) 2021-04-14
WO2020032218A1 (ja) 2020-02-13
KR102529023B1 (ko) 2023-05-08
US11967245B2 (en) 2024-04-23
EP3836125A4 (en) 2022-06-08

Similar Documents

Publication Publication Date Title
JP7384575B2 (ja) 情報処理装置、仲介装置、シミュレートシステム、情報処理方法及びプログラム
TWI744676B (zh) 資訊處理裝置、中介裝置、模擬系統以及資訊處理方法
CN108145709B (zh) 控制机器人的方法和设备
CN107274745B (zh) 用于车辆模拟的系统和方法
JP2019188530A (ja) ロボットのシミュレーション装置
CN104858876A (zh) 机器人任务的可视调试
CN103909516A (zh) 机器人示教系统、机器人示教辅助装置和机器人示教方法
CN104602868A (zh) 用于机器人训练的用户接口
Materna et al. Interactive spatial augmented reality in collaborative robot programming: User experience evaluation
TWI721523B (zh) 訓練處理裝置、中介裝置、訓練系統以及訓練處理方法
JP2019188531A (ja) ロボットのシミュレーション装置
TW202122225A (zh) 使用先進掃描技術之用於機器人箱揀取的系統及方法
Xue et al. Enabling human-robot-interaction for remote robotic operation via augmented reality
JP6625266B1 (ja) ロボット制御装置
CN112469538A (zh) 数据生成装置及方法、数据生成程序、以及远程操作系统
JP2013161153A5 (zh)
Top et al. Human-Centered HMI for Crane Teleoperation: Empirical Study on the Operators' Mental Workload
KR101676132B1 (ko) 레버 조작 훈련을 위한 상호 촉감 공유 시스템 및 방법
Frank et al. Integrating smart mobile devices for immersive interaction and control of physical systems: a cyber-physical approach
WO2023032985A1 (ja) 操作端末、ロボットシステム及びコンピュータプログラム
WO2023032984A1 (ja) 操作端末、ロボットシステム及びコンピュータプログラム
JP6155570B2 (ja) データ表示装置、方法、プログラム
San Blas Leal et al. Expand enabling robot grasping using mixed reality
Dogangun et al. RAMPA: Robotic Augmented Reality for Machine Programming and Automation
KR20240125203A (ko) 환자 재활 관제 시스템, 방법 및 장치