KR20210040119A - 정보 처리 장치, 로봇 조작 시스템 및 로봇 조작 방법 - Google Patents

정보 처리 장치, 로봇 조작 시스템 및 로봇 조작 방법 Download PDF

Info

Publication number
KR20210040119A
KR20210040119A KR1020217006467A KR20217006467A KR20210040119A KR 20210040119 A KR20210040119 A KR 20210040119A KR 1020217006467 A KR1020217006467 A KR 1020217006467A KR 20217006467 A KR20217006467 A KR 20217006467A KR 20210040119 A KR20210040119 A KR 20210040119A
Authority
KR
South Korea
Prior art keywords
game
data
robot
robot control
learning
Prior art date
Application number
KR1020217006467A
Other languages
English (en)
Other versions
KR102511814B1 (ko
Inventor
야스히코 하시모토
마사유키 카몬
시게츠구 타나카
요시히코 마루야마
Original Assignee
카와사키 주코교 카부시키 카이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019105728A external-priority patent/JP7333204B2/ja
Application filed by 카와사키 주코교 카부시키 카이샤 filed Critical 카와사키 주코교 카부시키 카이샤
Publication of KR20210040119A publication Critical patent/KR20210040119A/ko
Application granted granted Critical
Publication of KR102511814B1 publication Critical patent/KR102511814B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/003—Manipulators for entertainment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B25J13/065—Control stands, e.g. consoles, switchboards comprising joy-sticks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/082—Grasping-force detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00—Manipulators of leader-follower type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with leader teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/16—Control of vehicles or other craft
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40116—Learn by operator observation, symbiosis, show, watch
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40131—Virtual reality control, programming of manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Fuzzy Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

로봇 조작 시스템은, 게임 컴퓨터, 게임 컨트롤러, 및 가상 공간을 표시하는 디스플레이를 구비하는 게임 단말과, 로봇 제어 데이터에 기초하여 실제 공간에서 작업을 수행하는 로봇과, 로봇을 중개하는 정보 처리 장치를 구비한다. 정보 처리 장치는, 작업의 내용에 관련지어진 게임 데이터를 게임 단말에 공급하고, 게임 데이터가 반영된 게임의 플레이 중에 게임 컨트롤러가 접수한 조작의 입력의 이력을 포함한 게임 조작 데이터를 취득하고, 게임 조작 데이터를 소정의 변환 규칙에 기초하여 로봇 제어 데이터로 변환하고, 로봇 제어 데이터를 로봇에 공급한다.

Description

정보 처리 장치, 로봇 조작 시스템 및 로봇 조작 방법
본 발명은, 컴퓨터 게임과 산업용 로봇을 융합하는 기술에 관한 것이다.
종래에, 컴퓨터 게임과 실제 물체인 로봇을 조합시키는 기술이 제안되어 있다. 특허문헌 1, 2는, 이런 종류의 기술을 개시한다. 여기서, 본 명세서에서 「컴퓨터 게임」은, 컴퓨터 상에서 동작하고, 컴퓨터와 실제 인간 사이에서 수행되는 게임의 총칭이고, 비디오 게임 등으로도 불린다.
특허문헌 1에는, 용접 및 레이저 가공용의 산업용 로봇이, 티칭 및 조작 입력용의 컨트롤러로서, 가정용 컴퓨터 게임 단말의 게임 컨트롤러를 구비하는 것이 기재되어 있다. 게임 컨트롤러와 산업용 로봇의 관련 지음은, 일반적으로 시판되고 있는 퍼스널 컴퓨터를 이용하여 주지의 프로그램 수단을 통해 수행된다.
특허문헌 2에서는, 복수의 물리 에이전트(예를 들어, 차량이나 그 액서서리 등의 게임용 로봇)이 존재하는 실제 공간과, 유저(user) 입력에 의한 물리 에이전트로의 동작 지령을 받는 컨트롤러와, 물리 에이전트와 컨트롤러 사이를 중개하는 호스트 디바이스를 구비하고, 실제 공간에서 복수의 물리 에이전트를 경쟁시키는 게임(예를 들어, 카 레이스 게임)을 실행하기 위한 시스템이 개시되어 있다. 호스트 디바이스는, 유저의 제어 하에 있는 가상 공간과, 실제 공간이 리얼 타임 등가성을 유지하도록, 물리 에이전트를 동작시켜서 실제 공간의 상태를 변화시키거나, 가상 공간의 상태를 변화시키거나 한다.
일본 특허공개 특개2012-139746호 공보 일본 특허공개 특표2015-533534호 공보
숙련된 게임 유저는, 컴퓨터 게임 단말의 디스플레이에 비춰진 가상 공간의 상태를 즉시 파악하고, 이에 대응하여 직관적하고 정확하게 게임 컨트롤러를 조작함으로써 지령을 입력할 수 있다. 본원의 발명자들은, 이러한 게임 유저의 뛰어난 기능을, 산업을 위한 자원으로 활용하는 것을 검토하고 있다.
특허문헌 1에서는, 로봇 오퍼레이터가 게임 감각으로 산업용 로봇을 조작할 수 있다는 효과가 명시되어 있다. 그러나, 로봇 오퍼레이터는, 산업용 로봇이 작업을 하고 있는 실제 공간을 눈 앞에 직접 보기 때문에, 게임 감각보다 노동하고 있다는 감각이 앞선다.
특허문헌 2에서는, 게임 유저의 제어 하에 있는 가상 공간은 실제 공간과 등가성을 가지기 때문에, 게일 유저가 인식하는 가상 공간은 실제 공간의 범주를 넘지 않는다.
본래, 게임은 오락을 목적으로 한 것이다. 게임 유저에게는, 노동하고 있다는 감각을 받는 게임은 재미가 없어서, 의욕이 저하될 우려가 있다. 본 발명에서는, 비일상적인 가상 공간을 즐긴다는 오락성을 잃지 않고, 게임 유저가 게임 플레이 중에 입력한 조작에 의해 로봇이 노동을 실시하는 구조를 제안한다.
본 발명의 일 측면에 따른 정보 처리 장치는, 게임 프로그램을 실행하는 게임 컴퓨터, 상기 게임 컴퓨터로의 조작 입력을 접수하는 게임 컨트롤러, 및 상기 게임 컴퓨터로부터 출력된 가상 공간을 표시하는 디스플레이를 구비하는 게임 단말과, 로봇 제어 데이터에 기초하여 실제 공간에서 작업을 수행하는 로봇을 중개하는 정보 처리 장치로서, 상기 작업의 내용에 관련지어진(associated) 게임 데이터를 상기 게임 단말에 공급하는 게임 데이터 공급부와, 상기 게임 데이터가 반영된 상기 게임 프로그램이 실행되는 동안에 상기 게임 컨트롤러가 접수한 조작의 입력의 이력을 포함한 게임 조작 데이터를 취득하는 게임 조작 데이터 취득부와, 상기 게임 조작 데이터를 소정의 변환 규칙에 기초하여 상기 로봇 제어 데이터로 변환하는 제1 변환부와, 상기 로봇 제어 데이터를 상기 로봇에 공급하는 로봇 제어 데이터 공급부를 구비하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 로봇 조작 시스템은, 게임 프로그램을 실행하는 게임 컴퓨터, 상기 게임 컴퓨터로의 조작 입력을 접수하는 게임 컨트롤러, 및 상기 게임 컴퓨터로부터 출력된 가상 공간을 표시하는 디스플레이를 구비하는 게임 단말과, 로봇 제어 데이터에 기초하여 실제 공간에서 작업을 수행하는 로봇과, 상기 게임 단말과 상기 로봇을 중개하는 상기 정보 처리 장치를 구비하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 로봇 조작 방법은, 게임 프로그램을 실행하는 게임 컴퓨터, 상기 게임 컴퓨터로의 조작 입력을 접수하는 게임 컨트롤러, 및 상기 게임 컴퓨터로부터 출력된 가상 공간을 표시하는 디스플레이를 구비하는 게임 단말을 이용하여, 로봇 제어 데이터에 기초하여 실제 공간에서 작업을 수행하는 로봇을 조작하는 로봇 조작 방법으로서, 상기 작업의 내용에 관련지어진 게임 데이터를, 상기 게임 단말에 공급하는 게임 프로그램 공급 스텝, 상기 게임 데이터가 반영된 상기 게임 프로그램이 실행되는 동안에 상기 게임 컨트롤러가 접수한 조작의 입력의 이력을 포함한 게임 조작 데이터를 취득하는 게임 조작 데이터 취득 스텝, 상기 게임 조작 데이터를 소정의 변환 규칙에 기초하여 상기 로봇 제어 데이터로 변환하는 로봇 제어 데이터 생성 스텝 및, 상기 로봇 제어 데이터를 상기 로봇에 공급하는 로봇 제어 데이터 공급 스텝을 포함하는 것을 특징으로 한다.
상기 정보 처리 장치, 로봇 조작 시스템 및 로봇 제어 방법에서는, 게임 조작 데이터가 변환 규칙에 기초하여 로봇 제어 데이터로 변환되기 때문에, 게임 유저가 즐기는 컴퓨팅 게임의 내용(즉, 게임의 가상 공간 나타나는 캐릭터, 아이템, 효과, 게임의 룰 등)과, 로봇이 수행하는 작업의 내용이, 직접적으로 관련될 필요가 없다. 즉, 게임 단말의 디스플레이에 비추어지는 가상 공간은, 현실 세계에서 로봇이 수행하는 작업에서 동떨어진 게임 자체의 세계로 될 수 있어, 비일상적인 가상 공간을 즐긴다는 게임의 오락성은 손상되지 않는다.
따라서, 상기 정보 처리 장치, 로봇 조작 시스템 및 로봇 제어 방법에 의하면, 로봇 오퍼레이터이기도 한 게임 유저는, 게임의 가상 세계를 순수하게 즐기면서, 게임 플레이 중에 입력한 조작에 의해 로봇 노동을 시킬 수 있다.
본 발명에 따르면, 비일상적인 가상 공간을 즐긴다는 오락성을 잃지 않고, 게임 유저가 게임 플레이 중에 입력한 조작에 의해 로봇이 노동을 실시하는 구조를 제안할 수 있다.
[도 1] 도 1은 본 발명의 일 실시예에 따른 로봇 조작 시스템의 전체적인 구성을 도시하는 블록도이다.
[도 2] 도 2는 게임 단말의 구성을 도시하는 블록도이다.
[도 3] 도 3은 게임 컨트롤러의 일례의 외관도이다.
[도 4] 도 4는 중개 서버의 기능 블록도이다.
[도 5] 도 5는 중개 서버로서 기능하는 컴퓨터의 구성을 도시하는 블록도이다.
[도 6] 도 6은 학습 장치에 의한 기계 학습의 흐름을 설명하는 도면이다.
[도 7] 도 7은 게임 데이터 생성 장치의 기능을 설명하는 도면이다.
[도 8] 도 8은 로봇 제어 데이터 생성 장치의 기능을 설명하는 도면이다.
[도 9] 도 9는 적용예 1에서 게임 단말의 디스플레이에 표시되는 게임 화면의 일례이다.
[도 10] 도 10은 적용예 1에서 작업 데이터의 일례를 설명하는 도면이다.
[도 11] 도 11은 로봇 조작 시스템에 의한 처리의 흐름도이다.
[도 12] 도 12는 변형예 1에 따른 중개 서버의 기능 블록도이다.
[도 13] 도 13은 로봇 조작 시스템의 적용예 2를 설명하는, 로봇 조작 시스템의 전체적인 구성을 도시하는 블록도이다.
[도 14] 도 14는 적용예 2에서 게임 단말의 디스플레이에 표시되는 게임 화면의 일례이다.
[도 15] 도 15는 적용예 2에서 작업 데이터의 일례를 설명하는 도면이다.
다음으로, 도면을 참조하여 본 발명의 실시예를 설명한다.
도 1은 본 발명의 일 실시예에 따른 로봇 조작 시스템(1)의 구성을 설명하는 블록도이다. 로봇 조작 시스템(1)은, 게임 단말(3), 중개 서버(2), 로봇(5) 및 통신 수단(4)을 구비한다. 통신 수단(4)은, 게임 단말(3)과 중개 서버(2) 사이를 서로 통신 가능하게 접속하고, 중개 서버(2)와 로봇(5) 사이를 서로 통신 가능하게 접속한다. 통신 수단(4)은, 예를 들어, LAN, WAN, 인터넷 등의 통신 네트워크라도 좋다. 이러한 로봇 조작 시스템(1)에서, 게임 유저는, 게임 단말(3)을 이용하여 컴퓨터 게임을 즐기는 게임 플레이어인 동시에 로봇(5)를 조작하는 로봇 오퍼레이터이다.
[게임 단말(3)]
게임 단말(3)은, 게임 시스템(31), 게임 컨트롤러(38), 디스플레이(35) 및 스피커(37)를 구비한다. 게임 단말(3)으로서, 업무용 게임 전용기, TV를 디스플레이로서 이용하는 가정용 게임 단말, 휴대용 액정 게임 단말, 정보 키오스크 단말, 스마트 폰, 태블릿 컴퓨터, 데스크톱 컴퓨터, 및 랩톱 컴퓨터 등이 사용될 수 있다. 여기에서는, 게임 단말(3)로서 가정용 게임 단말을 채용한 예를 설명한다.
도 2는 게임 단말(3)의 개략적인 구성을 도시하는 블록도이다. 도 2에 도시된 바와 같이, 게임 단말(3)의 게임 컴퓨터(31)는, 메인 프로세서(311), 사운드 프로세서(312), I/O 프로세서(313), 그래픽 프로세서(315) 및 메모리(316)를 포함한다. 사운드 프로세서(312) 및 메모리(316)는, 내부 버스를 통해 I/O 프로세서(313)와 접속되어 있다. 메인 프로세서(311)와 I/O 프로세서(313)는 서로 접속되어 있다. 메인 프로세서(311)와 그래픽 프로세서(315)는 서로 접속되어 있다. I/O 프로세서(313)는 도시되지 않는 시리얼 인터페이스를 통해 게임 컨트롤러(38) 등의 입출력 디바이스와 접속된다. I/O 프로세서(313)는, 도시되지 않은 통신 인터페이스를 통해 중개 서버(2) 등의 외부 장치와 통신한다.
게임 단말(3)은, 중개 서버(2)와의 사이에서 통신을 수행함으로써, 중개 서버(2)로부터 게임 프로그램을 다운로드할 수 있다. 다운로드한 게임 프로그램이나 세이브 데이터는 메모리(316)에 저장된다. 게임 프로그램이나 저장 데이터는, 기억 장치(314)에 저장되어 있어도 좋다.
I/O 프로세서(313)는, 게임 유저가 조작하는 게임 컨트롤러(38)로부터의 조작 신호를 메인 프로세서(311)에 공급한다. 메인 프로세서(311)는, 게임 프로그램을 읽어내어 실행하고, 소정의 연산을 실시한다. 그래픽 프로세서(315)는, 메인 프로세서(140)로부터의 지시에 따라 묘화(描畵) 처리를 실시하여, 프레임 데이터를 생성하고, 비디오 신호를 디스플레이(35)에 출력한다. 사운드 프로세서(312)는, 메인 프로세서(140)로부터의 지시에 따라 음성 데이터를 복호하여 재생하고, 스피커(37)에 출력한다.
메인 프로세서(311)는, 게임 유저가 게임 컨트롤러(38)를 통해 입력한 조작 신호 등으로부터 게임 조작 데이터를 생성하고, I/O 프로세서(313)에 전달한다. I/O 프로세서(313)는, 게임 조작 데이터를 중개 서버(2)에 송신한다. 게임 조작 데이터는, 게임 프로그램의 식별 정보와, 게임 유저의 식별 정보와, 게임 유저가 게임 플레이 중에 게임 컨트롤러(38)를 통해 입력한 조작의 이력을 적어도 포함한다.
게임 컨트롤러(38)는, 조작자(操作子)(381)와, 조작자(381)의 조작량을 검출하는 조작 검출기(382)와, 조작 검출기(382)에서 검출된 조작량을 조작 신호로서 게임 컴퓨터(31)에 출력하는 통신기(383)를 구비한다. 조작자(381)는, 예를 들어, 터치 디스플레이, 키보드, 마우스, 십자 키, 스틱, 버튼, 볼, 레버 등의 공지의 조작자 중 1 개 또는 복수의 조합이라도 좋다.
도 3은 게임 컨트롤러(38)의 일례의 외관도이다. 도 3에 도시된 게임 컨트롤러(38)는, 대략 U자 형의 외형을 나타낸다. 게임 유저는, 양 날개부의 핸들(101L, 101R)을 좌우 양손으로 파지하여 조작한다. 게임 컨트롤러(38)의 좌우 상면에는 조작 버튼 군(110, 120), 아날로그 스틱(112, 122)이 설치되어 있고, 게임 컨트롤러(38)의 우전면에는 R 버튼(111), 좌전면에는 L 버튼(121)이 각각 설치되어 있다. 조작 버튼 군(110) 및 아날로그 스틱(112)은 게임 유저의 오른손 엄지 손가락으로 조작되고, 조작 버튼 군(120) 및 아날로그 스틱(122)은 게임 유저의 왼손 엄지 손가락으로 조작된다. 또한, R 버튼(111), L 버튼(121)은 각각 게임 유저의 오른손 검지 손가락, 왼손 검지 손가락으로 조작된다. 게임 컨트롤러(38)는, 조작 버튼 군(110)과 조작 버튼 군(120) 사이에 터치 디스플레이(130)를 더 구비한다.
[로봇(5)]
로봇(5)은, 예를 들어, 공장 등의 현장에 설치되어, 실제 공간에서 작업을 수행하는 산업용 로봇이다. 이러한 산업용 로봇으로서, 수직 다관절형 로봇, 수평 다관절형 로봇, 패러럴(parallel) 링크형 로봇, 극좌표 로봇, 원통 좌표형 로봇, 직각 좌표형 로봇 등이 예시된다. 여기서, 도 1에서는 1 대의 로봇(5)가 도시되어 있지만, 로봇 조작 시스템(1)은 복수의 로봇(5)을 구비하여도 좋다.
본 실시예에 따르면, 로봇(5)의 일례로서, 도장 작업을 수행하는 도장용 로봇을 이용한다. 로봇(5)은 매니퓰레이터(204)와, 매니퓰레이터(204)의 선단에 장착된 엔드 이펙터(206)와, 로봇 컨트롤러(201)를 구비한다. 로봇(5)은, 로봇(5)(상세하게는, 매니퓰레이터(204) 및 엔드 이펙터(206))에 대한 조작의 입력을 받는 로봇 조작기(213)를 더 구비한다. 로봇(5)은, 로봇 비전을 더 구비하여도 좋다(도시 생략). 로봇 컨트롤러(201)는, 매니퓰레이터(204), 엔드 이펙터(206) 및 로봇 조작기(213)와 통신 가능하게 접속되어 있다. 로봇 컨트롤러(201)는, 컴퓨터를 구비하고, 프로세서에 저장된 프로그램이나 로봇 조작기(213)로부터 입력되는 각종 신호의 해독이나 연산 처리를 수행함으로써, 매니퓰레이터(204)의 동작 제어, 엔드 이펙터(206)의 동작 제어, 각종 출력 포트로부터의 신호 출력 등을 담당한다.
본 실시예에서, 엔드 이펙터(206)는 도장 건(gun)(206A)이다. 도장 건(206A)은, 노즐(207)과, 노즐(207)에 도료를 공급하는 도료 공급 장치(202)와, 노즐(207)에 압축 공기를 내보내는 컴프레서(205)와, 노즐(207)로부터의 도료의 토출량(토출의 ON·OFF를 포함)을 조정하는 밸브 장치(203)를 구비한다. 밸브 장치(203)의 동작은, 로봇 컨트롤러(201)에 의해 제어된다.
로봇(5)의 근방에는, 워크(work)(211)를 유지하는 지그(210)가 배치되어 있다. 또한, 로봇(5)의 근방에는, 지그(210), 워크(211) 및 로봇(5)을 포함한 로봇(5)의 작업 공간을 3 차원으로 촬상하는 촬상 장치(CA)가 설치되어 있다. 촬상 장치(CA)는 작업 공간을 2 차원으로 촬상하는 것이라도 좋다. 촬상 장치(CA)에서 생성된 촬상 데이터는, 통신 수단(4)을 통해 중개 서버(2)로 송신된다.
[중개 서버(2)]
도 4는 중개 서버(2)의 구성을 도시하는 블록도이다. 도 4에 도시된 바와 같이, 중개 서버(2)는, 제1 학습 장치(41)와, 게임 데이터 생성 장치(42)와, 로봇 제어 데이터 생성 장치(43)와, 기억 장치(24)를 구비한다. 제1 학습 장치(41)는, AI(artificial intelligence) 기술을 이용하여, 제1 학습된 모델을 작성한다. 게임 데이터 생성 장치(42)는, 로봇(5)의 작업 데이터로부터 게임 데이터를 생성하고, 그것을 게임 단말(3)에 제공한다. 로봇 제어 데이터 생성 장치(43)는, 게임 단말(3)로부터 취득한 게임 조작 데이터를 이용하여 로봇 제어 데이터를 생성하고, 그것을 로봇(5)에 제공한다. 기억 장치(24)는 학습된 모델, 학습 데이터, 교사 데이터, 게임 프로그램, 게임 파라미터 등의, 중개 서버(2)에서 사용되는 데이터를 저장한다.
중개 서버(2)는, 연산 제어기(20a)와 기억 장치(24)를 구비한다. 중개 서버(2)의 각 기능부가 적어도 1 개의 연산 제어기(20a)로 구성되어 있어도 좋고, 복수의 기능부 중 2 개 이상이 1 개의 연산 제어기(20a)로 구성되어 있어도 좋다. 도 5에 도시된 바와 같이, 중개 서버(2)의 각 연산 제어기(20a)는, 프로세서(21), ROM 및 RAM 등의 메모리(22) 및 I/O 부(25)를 구비한다. 연산 제어기(20a)에는, 인터페이스(20b)를 통해 기억 장치(24)가 접속되어 있다. 연산 제어기(20a)는, 집중 제어를 수행하는 단독의 프로세서(21)를 구비하여도 좋고, 분산 제어를 수행하는 복수의 프로세서(21)를 구비하여도 좋다. 연산 제어기(20a)는, 예를 들어, 컴퓨터, 퍼스널 컴퓨터, 마이크로 컨트롤러, 마이크로 프로세서, FPGA(field-programmable gate array) 등의 PLD(programmable logic device), PLC(programmable logic controller), 및 논리 회로 중 적어도 1 개, 또는 2 개 이상이 조합되어 구성될 수 있다. 메모리(22)나 기억 장치(24)에는, 프로세서(21)가 실행하는 기본 프로그램이나 소프트웨어 프로그램 등이 저장되어 있다. 프로세서(21)가 프로그램을 읽어내어 실행함으로써, 연산 제어기(20a)는 당해 소프트웨어 프로그램으로 구성된 기능을 실현한다.
제1 학습 장치(41)는, 학습 데이터 취득부(41a), 전처리부(41b) 및 제1 학습부(41c)의 각 기능부를 구비한다. 기억 장치(24)에는, 학습 데이터를 저장한 학습 데이터 DB와, 교사 데이터를 저장한 교사 데이터 DB 및 게임 파라미터를 저장한 파라미터 DB가 구성되어 있다.
도 6은 학습 장치(제1 학습 장치(41))에 의한 기계 학습의 흐름을 설명하는 도면이다. 도 6에 도시된 바와 같이, 학습 데이터 취득부(41a)는, 학습 데이터 등의 기계 학습에 사용되는 데이터를 취득한다. 전처리부(41b)는, 학습 데이터를 전처리하여, 교사 데이터를 작성한다. 전처리는, 데이터 형식의 변환, 이상의 확인, 데이터의 추출, 변수명이나 파일명의 변경 등의 각종 처리 중 적어도 1 개를 포함한다.
제1 학습부(41c)는, 기계 학습에 의해 입력 데이터와 출력 데이터의 상관 관계를 학습한다. 본 실시예에 따르면, 입력 데이터는 게임 조작 데이터이고, 출력 데이터는 로봇 제어 데이터이다. 제1 학습부(41c)는, 기계 학습의 학습 알고리즘의 일례로서 교사 학습을 실행한다. 일반적으로, 교사 학습은, 입력 데이터와 그에 대응하는 출력 데이터의 기지의 데이터 세트(교사 데이터라고 칭함)가 미리 대량으로 부여되고, 이러한 교사 데이터로부터 입력 데이터와 출력 데이터와의 상관성을 암시하는 특징을 식별하여, 새로운 입력 데이터에 대한 소요의 출력 데이터를 추정하기 위한 상관성 모델을 학습하는 방법이다. 학습 알고리즘의 개시 시에는 입력 데이터와 출력 데이터와의 상관성은 실질적으로 미지이지만, 제1 학습부(41c)는, 학습을 진행함에 따라서 서서히 특징을 식별하여 상관성을 해석한다. 입력 데이터와 출력 데이터와의 상관성이, 어느 정도 신뢰할 수 있는 수준까지 해석되면, 제1 학습부(41c)가 반복 출력하는 학습 결과는, 입력 데이터에 대해, 출력 데이터가 어떤 것이 될 것인가 추정을 실시하기 위해 사용할 수 있는 것이 된다. 즉, 제1 학습부(41c)는, 학습 알고리즘의 진행에 따라서, 입력 데이터와 출력 데이터의 상관성을 최적해로 서서히 접근시킬 수 있다.
본 실시예에서, 제1 학습부(41c)는, 교사 데이터를 뉴럴 네트워크에 입력하고, 입력 데이터와 출력 데이터 사이의 관계성을 학습한다. 뉴럴 네트워크에 설정된 각종 파라미터는 파라미터 DB에 기억된다. 예를 들어, 파라미터 DB는, 학습된 뉴럴 네트워크의 시냅스의 가중치 등을 기억한다. 기억되는 각각의 파라미터를 설정한 뉴럴 네트워크가 학습된 모델이다.
도 4로 돌아가면, 게임 데이터 생성 장치(42)는, 작업 데이터 취득부(42a)와, 변환부(42b)와, 게임 데이터 공급부(42c)를 구비한다.
도 7은 게임 데이터 생성 장치(42)의 기능을 설명하는 도면이다. 도 7에 도시된 바와 같이, 작업 데이터 취득부(42a)는, 로봇(5)이나 촬상 장치(CA)로부터 작업 데이터를 취득한다. 작업 데이터에는, 작업 데이터는, 작업의 내용에 관한 정보와, 작업 대상인 워크(211)에 관한 정보를 포함한다. 작업의 내용에 관한 정보는, 예를 들어, 기계 가공, 반송, 도장 등의 작업의 종류나, 작업에 사용되는 엔드 이펙터(206)의 종류, 나사나 도료 등의 작업에 사용되는 파트 등 정보가 포함되어도 좋다. 워크(211)에 관한 정보에는, 예를 들어, 워크(211)의 종류나 형상 등이 포함되어도 좋다.
변환부(42b)는, 작업 데이터를 소정의 변환 규칙으로 변환함으로써 게임 데이터를 생성한다. 변환 규칙은 기억 장치(24)에 미리 기억되어 있다. 게임 데이터에는, 게임 단말(3)에서 실행되는 게임 프로그램이 포함될 수 있다. 또한, 게임 프로그램이 미리 게임 단말(3)에 인스톨되어 있는 경우에는, 게임 데이터에는, 게임 프로그램에 적용되는 게임 파라미터가 포함될 수 있다. 게임 데이터 공급부(42c)는, 생성된 게임 데이터를 게임 단말(3)에 공급한다.
도 4로 돌아가면, 로봇 제어 데이터 생성 장치(43)는 게임 조작 데이터 취득부(43a)와, 변환부(43b)와, 로봇 제어 데이터를 출력하는 로봇 제어 데이터 공급부(43c)를 구비한다.
도 8은 로봇 제어 데이터 생성 장치(43)의 기능을 설명하는 도면이다. 도 8에 도시된 바와 같이, 게임 조작 데이터 취득부(43a)는, 게임 단말(3)로부터 게임 조작 데이터를 취득한다. 변환부(43b)는, 게임 조작 데이터를 소정의 변환 규칙으로 변환함으로써 로봇 제어 데이터를 생성한다. 로봇 제어 데이터에는, 엔드 이펙터(206)의 위치 지령 정보나, 엔드 이펙터(206)의 동작 지령 정보 등이 포함될 수 있다. 로봇 제어 데이터 공급부(43c)는, 생성된 로봇 제어 데이터를 로봇(5)에 공급한다. 로봇(5)에서는, 취득한 로봇 제어 데이터에 기초하여, 로봇(5)이 작업을 수행한다.
[적용예 1]
이하에서, 상기 구성의 로봇 조작 시스템(1)을 도장 작업을 수행하는 로봇(5)에 적용한 적용예 1을 설명한다.
도 1을 참조하면, 도장 작업을 수행하는 로봇(5)은, 손끝에 도장 건(206A)의 노즐(207)을 구비한다. 로봇 조작기(213)는, 제1 레버(A), 제2 레버(B) 및 버튼(C)을 구비한다. 제1 레버(A) 및 제2 레버(B)에 대해 입력된 조작에 따라서, 매니퓰레이터(204)가 동작하여 노즐(207)의 위치가 변화한다.
제1 레버(A)는, 노즐(207)의 좌우 및 전후 방향으로의 이동의 지령을 입력할 수 있다. 제1 레버(A)에 입력된 조작 입력 신호 값은, 제1 레버(A)의 조작 위치에 따라 0부터 1까지 연속적으로 변화한다. 제2 레버(B)는, 노즐(207)의 상하 방향으로의 이동의 지령을 입력할 수 있다. 제2 레버(B)에 의해 입력된 조작 입력 신호 값은, 제2 레버(B)의 조작 위치에 따라 0부터 1까지 연속적으로 변화한다. 버튼(C)는, 도료의 토출량의 지령을 입력할 수 있다. 버튼(C)에 의해 입력된 조작 입력 신호 값은, 버튼(C)의 조작 위치에 따라 0부터 1까지 연속적으로 변화한다.
상기 구성의 로봇(5)의 작업 대상인 워크(211)는, 지그(210)에 유지되어 있지만, 개별적으로 자세나 형상의 고르지 못함이 있다. 워크(211)의 표면에는, 요철이 있고, 이러한 표면에 고르게 도장을 수행하는 것에는, 로봇 오퍼레이터에 높은 기능이 요구된다.
게임 단말(3)에서는 낙하 게임의 게임 프로그램이 실행된다. 도 9는, 게임 단말(3)의 디스플레이(35)에 표시되는 게임 화면(92)의 일례이다. 게임 화면(92)에는, 로봇(5)이 존재하는 실제 공간이 아니고, 게임 고유의 가상 공간이 표시된다. 도 9에 도시된 게임 화면(92)에서는, 그 중앙부에 20 열의 라인(92a)이 표시되고, 각 열의 최상부로부터 소정의 낙하 패턴으로 블록이 낙하한다. 게임 화면(92)의 하부에는, 게임 유저의 조작 대상 아이템으로서의 슈팅 건(92b)과, 스코어(92c)가 표시되어 있다. 게임 유저는, 게임 컨트롤러(38)를 조작하여, 슈팅 건(92b)의 탄의 발사 방향과 발사 타이밍에 관한 지령을 게임 컴퓨터(31)에 입력할 수 있다.
게임 컨트롤러(38)에는, 조작자(381)로서, 다이얼(X)과, 버튼(Y)이 설치되어 있다. 다이얼(X)의 조작 입력 신호 값은, 다이얼(X)의 회전 각도에 따라서, 0 ~ 1까지 연속적으로 변화한다. 다이얼(X)에 의해 슈팅 건(92b)을 게임 화면(92) 상의 좌우 방향으로 이동시킬 수 있다. 다이얼(X)의 조작 입력 신호 값과 슈팅 건(92b)의 발사 방향은 대응하고 있다. 슈팅 건(92b)의 발사 방향은, 다이얼(X)의 조작 입력 신호 값 0에서 화면상 최좌단(最左端)을 향하고, 조작 입력 신호 값 1에서 화면상 최우단을 향하며, 조작 입력 신호 값 0.5에서 화면상 좌우 중앙을 향한다. 버튼(Y)의 조작 입력 신호 값은, 버튼(Y)이 눌저져 있는지 여부에 따라서, 0 또는 1의 값이 된다. 버튼(Y)에 의해, 슈팅 건(92b)으로부터 탄을 발사하는 지령을 입력할 수 있다. 즉, 버튼(Y)의 조작 입력 신호 값이 0에서 1로 바뀐 것을 트리거로서 즉시 탄이 발사된다. 그 이외의 경우는 탄이 발사되지 않는다.
게임 화면(92)에 표시된 가상 공간에서, 슈팅 건(92b)으로부터 발사된 탄으로 낙하 중의 블록이 맞아서 떨어진다. 탄이 낙하물에 명중하면, 낙하물은 게임 화면(92)으로부터 소멸한다. 모든 블록을 쏘아 떨어뜨릴 수 있으면, 미션은 성공이다. 게임 유저는, 미션의 성공 여부, 쏘아 떨어뜨린 블록의 수 및 슈팅 건(92b)의 좌우 이동 총량의 적음에 따라서 득점을 하고, 고득점을 겨룬다.
게임에서 블록의 낙하 패턴은, 게임 파라미터에 의해 정해진다. 게임 파라미터는, 변환부(42b)에서 작업 데이터가 게임 파라미터로 변환됨으로써 생성된다. 본 적용예에서는, 작업 데이터에는, 작업의 내용으로서 도장, 도료의 종류, 촬상 장치(CA)에서 얻은 워크(211) 및 그 주변을 포함한 3 차원 화상이 포함된다. 변환부(42b)는, 워크(211)의 표면 형상을 소정의 변환 규칙에 의해 게임 플레이 중 블록의 낙하 패턴으로 변환하고, 이러한 낙하 패턴을 재현하는 게임 파라미터를 생성한다.
도 10는 작업 데이터의 일례를 설명하는 도면이다. 예를 들어, 도 10에 도시된 바와 같이, 촬상 장치(CA)에서 얻은 워크(211) 및 그 주변을 포함한 3 차원 화상(또는 2 차원 화상)이, 소정 수(도 10의 예에서는 20 × 30)의 도트로 된 평면적인 맵(91)으로 변환된다. 맵(91)에서, 워크(211)가 존재하는 도트(도 10 중의 91a)에는 1이 주어지고, 존재하지 않는 도트(도 10 중 91b)에는 0이 주어진다. 나아가, 맵(91)의 각 행이 잘려지고, 연속하는 복수 행(도 10의 예에서는 30 행)의 행 데이터로 된다. 그리고, 각각의 행 데이터에서 1이 할당된 도트에만 블록이 출현하도록, 게임 파라미터가 생성된다.
상기와 같이 게임 데이터 생성 장치(42)에서 생성된 게임 파라미터는, 게임 단말(3)에 송신된다. 게임 단말(3)의 게임 컴퓨터(31)는, 게임 프로그램에 게임 파라미터를 적용시켜서, 디스플레이(35)의 게임 화면(92)에 표시되는 블록의 출현 위치 및 출현 타이밍을 결정한다. 게임 컴퓨터(31)에는, 미리 취득한 게임 유저의 기능 레벨에 따라서, 게임 파라미터를 수정하는 필터가 설정되어 있어도 좋다. 게임이 개시되면, 먼저, 제1 행에 대응하는 블록 군이 화명의 최상부에 출현한다. 출현 한 블록은, 소정의 속도로 낙하한다. 블록의 낙하 속도는, 게임 유저의 기능 레벨에 따라 차이가 있어도 좋다. 제1 행에 대응하는 블록 군이 출현하고 나서 소정 시간이 경과하면, 제2 행에 대응하는 블록 군이 화면이 최상부에 출현한다. 이에 따라서, 최초의 행으로부터 최후의 행까지 행 번호를 일정 시간 간격으로 1씩 증가시키면서, 행 번호에 대응하는 행 블록 군이 화면의 최상부에 출현하고, 출현한 블록이 연이어 낙하해 간다.
<학습 방법>
먼저, 중개 서버(2)의 제1 학습 장치(41)에서 수행되는 학습의 방법에 대해 설명한다.
학습을 위해서, 복수의 워크(211)가 준비된다. 학습용의 워크(211)의 표면 형상은 각각 다르다. 숙련된 로봇 오퍼레이터는, 로봇 조작기(213)를 이용하여, 학습용의 워크(211)의 각각에 대해서, 자신의 경험으로 표면 형상에 최적한 작업 순서로 조작을 입력한다. 로봇 컨트롤러(201)는, 숙련된 로봇 오퍼레이터가 로봇 조작기(213)에 대해 수행한 조작 입력 신호를 취득하고, 조작 입력 신호의 이력을 워크(211)마다 당해 워크(211)에 관련지어서 기억한다. 예를 들어, 어떠한 워크(211)에 대한 조작 입력 신호의 이력은, 제1 레버(A)의 조작 입력 신호 값이 단위 시간 간격으로 기록된 숫자 열(An)과, 제2 레버(B)의 조작 입력 신호 값이 단위 시간 간격으로 기록된 숫자 열(Bn)과, 버튼(C)의 조작 입력 신호 값이 단위 시간 간격으로 기록된 숫자 열(Cn)을 포함한다.
게임 단말(3)의 게임 컴퓨터(31)는, 게임 개시로부터 종료까지의 게임 플레이 중에 게임 유저가 입력한 조작의 이력을 기억한다. 미션이 성공하고, 또한, 고득점을 얻은 게임 유저(이하, 「하이 스코어 유저」라고 칭함)의 조작의 이력으로부터, 다이얼(X)의 조작 입력 신호 값이 단위 시간 간격으로 기록된 숫자 열(Xn)이 작성되고, 버튼(Y)의 조작 입력 신호 값이 단위 시간 간격으로 기록된 숫자 열(Yn)이 작성된다.
어떠한 워크(Wm)에 대해서, 숙련된 로봇 오퍼레이터의 조작 이력으로부터 얻은 숫자 열이 {Anm, Bnm, Cnm}이다. 또한, 이러한 워크(Wm)에 관련지어진 게임 파라미터가 반영된 게임 플레이 중에서, 하이 스코어 유저의 조작의 이력으로부터 얻은 숫자 열이 {Xnm, Ynm}이다(m = 1, 2, ···). 이에 따라서, 워크(Wm)에 관련지어진 숙련된 로봇 오퍼레이터의 조작의 이력 및 하이 스코어 유저의 조작의 이력으로부터, 하나의 학습 데이터 세트를 얻는다.
학습 데이터 취득부(41a)는, 방대한 수의 학습 데이터 세트를 취득하고, 기억한다. 전처리부(41b)는, 학습 데이터 세트의 전처리를 수행하여 교사 데이터 세트를 생성한다. 제1 학습부(41c)는, 교사 데이터 세트를 뉴럴 네트워크에 입력하고, 입력 데이터인 숫자 열{Xn, Yn}과 출력 데이터인 숫자 열{An, Bn, Cn} 사이의 관계성을 학습한다. 뉴럴 네트워크에 설정되는 각종 파라미터는 파라미터 DB에 기억된다. 기억되는 각 파라미터를 설정한 뉴럴 네트워크가 학습된 모델이다.
<로봇 조작 방법>
이어서, 상기의 학습된 모델을 이용한 로봇 조작 방법에 대해 설명한다.
도 11은 게임 방법의 처리의 흐름을 설명하는 흐름도이다. 도 11은 로봇 조작 시스템(1)에서 게임의 개시 준비로부터 로봇(5)이 작업을 할 때까지의 일련의 처리를 포괄적으로 나타내고, 좌측 열이 게임 단말(3)의 처리, 중앙 열이 중개 서버(2)의 처리, 우측 열이 로봇(5)의 처리를 각각 나타낸다.
게임의 개시에 즈음하여, 게임 단말(3)은 중개 서버(2)에 대해 로그인 정보와 함께 게임 개시 요구를 송신한다(스텝(S01)). 로그인 정보에는, 게임 유저 ID 등이 포함된다. 중개 서버(2)는, 게임 개시 요구를 취득하면(스텝(S02)), 작업 데이터 요구를 로봇(5)에 송신한다(스텝(S03)). 로봇(5)은, 작업 데이터 요구를 취득하면(스텝(S04)), 이에 대응하여 중개 서버(2)에 작업 데이터를 송신한다(스텝(S05)). 본 적용예에서는, 작업 데이터에는, 작업의 내용과 워크(211)의 촬상 화상이 포함된다.
작업 데이터를 취득한 중개 서버(2)는(스텝(S06)), 작업 데이터로부터 게임 데이터를 생성한다(스텝(S07)). 본 적용예에서는, 작업 데이터에 포함된 촬상 영상을 변환함으로써 게임 데이터가 작성되고, 게임 데이터에는 게임 파라미터가 포함된다. 중개 서버(2)는, 게임 데이터를 게임 단말(3)에 송신한다(스텝(S08)).
게임 데이터를 취득한 게임 단말(3)은(스텝(S09)), 게임 데이터(게임 파라미터)를 미리 기억되어 있는 게임 프로그램에 적용시켜 실행한다. 게임 단말(3)에서는, 취득한 게임 데이터가 게임 프로그램에 적용되어, 게임이 개시된다. 게임 유저가 게임 플레이 중에 게임 컨트롤러(38)를 조작함으로써 입력되는 조작 입력이 기억된다. 이에 따라서, 게임 단말(3)은 게임 파라미터가 반영된 게임을 개시한다(스텝(S10)). 본 적용예에서는, 게임 유저는, 낙하하는 블록을 쏘아 떨어뜨리는 슈팅 게임을 즐길 수 있다.
게임 단말(3)은, 게임 플레이 중에 게임 유저가 게임 컨트롤러(38)에서 수행한 조작의 이력을 기록한다(스텝(S11)). 게임 단말(3)은, 게임이 종료되면(스텝(S12)), 그 게임 플레이 중의 조작의 이력을 포함하는 게임 조작 데이터를 중개 서버(2)에 송신한다(스텝(S13)). 게임 조작 데이터는, 작업 데이터 또는 게임 데이터 중 적어도 일방과 관련지어져 있다.
중개 서버(2)의 로봇 제어 데이터 생성 장치(43)에서는, 게임 조작 데이터 취득부(43a)가 게임 조작 데이터를 취득하고(스텝(S14)), 변환부(43b)가 게임 조작 데이터를 상술한 학습된 모델을 이용하여 변환함으로써 로봇 제어 데이터를 생성한다(스텝(S15)). 게임 단말(3)로부터 중개 서버(2)에 보내지는 게임 조작 데이터에는, 게임의 스코어가 포함되어 있다. 게임의 스코어는, 게임 유저의 기능 레벨의 지표가 될 수 있다. 게임 조작 데이터를 로봇 제어 데이터로 변환할 때에, 게임 유저의 기능 레벨이 가미되어도 좋다.
중개 서버(2)는, 생성된 로봇 제어 데이터를 로봇(5)에 송신한다. 로봇(5)은, 로봇 제어 데이터를 취득하고(스텝(S17)), 이에 기초하여 로봇(5)의 매니퓰레이터(204) 및 엔드 이펙터(206)를 동작시킴으로써, 로봇(5)이 작업을 수행한다(스텝(S18)). 본 적용예에서는, 로봇(5)은 워크(211)의 도장 작업을 실시한다.
이와 같이, 본 적용예에서는, 게임 유저가 수행하는 게임의 내용과 로봇(5)이 수행하는 작업의 내용은, 일견(一見)하여 상관성이 낮다. 게임 유저는, 디스플레이(35)에 비춰진 가상 공간을 보고 게임 컨트롤러(38)에 대해 조작 입력을 수행한다. 즉, 게임 유저는, 로봇(5)이 작업을 수행하는 실제 공간을 보지 않고, 게임을 즐기면서 로봇(5)에 지령을 입력하고, 로봇(5)에 노동을 시킬 수 있다.
이상에서 설명한 바와 같이, 본 실시예에 따른 로봇 조작 시스템(1)은, 게임 프로그램을 실행하는 게임 컴퓨터(31), 게임 컴퓨터(31)로의 조작 입력을 접수하는 게임 컨트롤러(38), 및 게임 컴퓨터(31)로부터 출력된 가상 공간을 표시하는 디스플레이(35)를 구비하는 게임 단말(3)과, 로봇 제어 데이터에 기초하여 실제 공간에서 작업을 수행하는 로봇(5)과, 게임 단말(3)과 로봇(5)을 중개하는 중개 서버(2)(청구 범위의 「정보 처리 장치」를 구비하는 것을 특징으로 하고 있다.
중개 서버(2)는, 작업의 내용에 관련지어진 게임 데이터를 게임 단말(3)에 공급하는 게임 데이터 공급부(42c)와, 게임 데이터가 반영된 게임 프로그램이 실행되고 있는 동안에 게임 컨트롤러(38)가 접수하는 조작의 입력의 이력을 포함한 게임 조작 데이터를 취득하는 게임 조작 데이터 취득부(43a)와, 게임 조작 데이터를 소정의 변환 규칙에 기초하여 로봇 제어 데이터로 변환하는 제1 변환부(43b)와, 로봇 제어 데이터를 로봇(5)에 공급하는 로봇 제어 데이터 공급부(43c)를 구비한다.
또한, 본 실시예에 따른 로봇 조작 방법은, 게임 단말(3)을 이용하여, 로봇 제어 데이터에 기초하여 실제 공간에서 작업을 수행하는 로봇(5)을 조작하는 로봇 조작 방법으로서, 작업의 내용에 관련지어진 게임 데이터를, 게임 단말(3)에 공급하는 게임 프로그램 공급 스텝, 게임 데이터가 반영된 게임 프로그램이 실행되는 동안에 게임 컨트롤러(38)가 접수한 조작의 입력의 이력을 포함한 게임 조작 데이터를 취득하는 게임 조작 데이터 취득 스텝, 게임 조작 데이터를 소정의 변환 규칙에 기초하여 로봇 제어 데이터로 변환하는 로봇 제어 데이터 생성 스텝, 및 로봇 제어 데이터를 로봇(5)에 공급하는 로봇 제어 데이터 공급 스텝을 포함하는 것을 특징으로 하고 있다.
상기의 로봇 조작 시스템(1) 및 그 중개 서버(2), 및 로봇 제어 방법에서는, 게임 조작 데이터가 변환 규칙에 기초하여 로봇 제어 데이터로 변환되기 때문에, 게임 유저가 즐기는 컴퓨팅 게임의 내용(즉, 게임의 가상 공간에 나타나는 캐릭터, 아이템, 효과, 게임의 룰 등)과, 로봇(5)이 수행하는 작업의 성능이, 직접적으로 관련될 필요가 없다. 즉, 게임 단말(3)의 디스플레이(35)에 비추어지는 가상 공간은, 현실 세계에서 로봇(5)이 수행하는 작업으로부터 동떨어진 게임 자체의 세계로 할 수 있고, 비일상적인 가상 공간을 즐긴다는 게임의 오락성은 손상되지 않는다.
따라서, 본 실시예에 따른 로봇 조작 시스템(1) 및 그 중개 서버(2), 및 로봇 제어 방법에 의하면, 로봇 오퍼레이터이기도 한 게임 유저가, 게임의 가상 세계를 순수하게 즐기면서, 게임 플레이 중에 입력한 조작에 의해 로봇(5)에 노동을 시킬 수 있다.
본 실시예에서, 중개 서버(2)는, 작업의 내용에 관련지어진 게임 조작 데이터와 로봇 제어 데이터를 포함하는 제1 학습 데이터를 이용하여 게임 조작 데이터와 로봇 제어 데이터의 관계성을 학습하고, 제1 학습된 모델을 생성하는 제1 학습부(41c)를 더 구비한다. 그리고, 상기 제1 변환부(43b)가, 게임 조작 데이터와 로봇 제어 데이터의 관계성을 학습한 제1 학습된 모델에 대해 게임 조작 데이터를 입력함으로써, 게임 조작 데이터를 로봇 제어 데이터에 변환하도록 구성되어 있다.
마찬가지로, 본 실시예에서, 상기 로봇 조작 방법이, 작업의 내용에 관련지어진 게임 조작 데이터와 로봇 제어 데이터를 포함하는 제1 학습 데이터를 이용하여 게임 조작 데이터와 로봇 제어 데이터의 관계성을 학습하고, 제1 학습된 모델을 생성하는 제1 학습 스텝을 더 포함한다. 그리고, 상기 로봇 조작 방법의 로봇 제어 데이터 생성 스텝이, 게임 조작 데이터와 로봇 제어 데이터의 관계성을 학습한 제1 학습된 모델에 대해 게임 조작 데이터를 입력함으로써, 게임 조작 데이터를 로봇 제어 데이터로 변환하는 것을 포함한다.
이와 같이, 게임 조작 데이터를 로봇 제어 데이터로 변환하기 위해 학습된 모델이 이용됨으로써, 비록 게임의 내용과 로봇(5)의 작업의 내용의 직접적인 관련성이 낮아도, 게임 조작 데이터를 로봇 제어 데이터와 더 높은 정밀도로 관계지을 수 있다. 즉, 로봇(5)의 작업의 내용에 대한 게임의 내용의 자유도를 향상시킬 수 있다.
<변형예 1>
다음으로, 상기 실시예의 변형예 1을 설명한다. 도 12는 변형예 1에 따른 로봇 조작 시스템(1)의 중개 서버(2A)의 기능 블록도이다. 변형예 1에 따른 로봇 조작 시스템(1)은, 중개 서버(2A)의 제2 학습 장치(44)를 제외하고, 상기 실시예와 실질적으로 동일한 구성을 가진다. 따라서, 변형예 1의 설명에서는, 제2 학습 장치(44)에 대해 상세하게 설명하고, 상술한 실시예와 중복되는 설명을 생략한다.
상기 실시예에서는, 작업의 내용을 소정의 변환 규칙에 기초하여 게임 데이터로 변환하는 제2 변환부(42b)(게임 데이터 생성부)를 구비한다. 본 변형예에서는, 제2 변환부(42b)도, 제1 변환부(43b)(로봇 제어 데이터 생성부)와 마찬가지로, 작업의 내용을 포함한 작업 데이터를 학습된 모델(제2 학습된 모델)을 이용하여 게임 데이터로 변환한다.
변형예 1에 따른 중개 서버(2A)는, 상술한 실시예에 따른 중개 서버(2)가, 제2 학습 장치(44)를 더 구비한 것이다. 이하에서는, 제1 학습 장치(41), 게임 데이터 생성 장치(42) 및 로봇 제어 데이터 생성 장치(43)의 설명을 생략하고, 제2 학습 장치(44)에 대해 상세하게 설명한다.
도 12에 도시된 바와 같이, 제2 학습 장치(44)는, 학습 데이터 취득부(44a), 전처리부(44b), 제2 학습부(44c)의 각 기능부를 구비한다. 학습 데이터 취득부(44a)는, 작업 데이터에 관련지어진 게임 데이터를 학습 데이터 세트로서, 방대한 수의 학습 데이터 세트를 취득한다. 전처리부(44b)는, 학습 데이터 세트를 전처리하여, 교사 데이터 세트를 작성한다. 제2 학습부(44c)는, 교사 데이터 세트를 뉴럴 네트워크에 입력하고, 입력 데이터인 작업 데이터와 출력 데이터인 게임 데이터 사이의 관계성을 학습한다. 뉴럴 네트워크에 설정되는 각종 파라미터는 파라미터 DB에 기억된다. 기억되는 각각의 파라미터를 설정한 뉴럴 네트워크가 제2 학습된 모델이다.
이상과 같이, 변형예 1에 따른 중개 서버(2A)는, 작업의 내용과 관련지어진 게임 데이터를 포함하는 제2 학습 데이터를 이용하여 작업의 내용과 게임 데이터의 관계성을 학습하고, 제2 학습된 모델을 생성하는 제2 학습부(44c)를 구비한다.
그리고, 중개 서버(2A)는, 제2 변환부(42b)(게임 데이터 생성부)가, 작업의 내용과 게임 데이터의 관계성을 학습한 제2 학습된 모델에 대해 작업의 내용을 입력함으로써, 작업의 내용을 게임 데이터로 변환하도록 구성되어 있다.
마찬가지로, 변형예 1에 따른 로봇 조작 방법은, 상술한 실시예에 따른 로봇 조작 방법에 더하여, 작업의 내용과 그에 관련지어진 게임 데이터를 포함하는 제2 학습 데이터를 이용하여 작업의 내용 및 게임 데이터의 관계성을 학습하고, 제2 학습된 모델을 생성하는 제2 학습 스텝을 포함한다. 그리고, 변형예 1에 따른 로봇 조작 방법은, 상술한 실시예에 따른 로봇 조작 방법의 게임 데이터 생성 스텝에서, 작업의 내용과 게임 데이터의 관계성을 학습한 제2 학습된 모델에 대한 작업의 내용을 입력함으로써, 작업의 내용을 게임 데이터로 변환하는 것을 포함한다.
이와 같이 학습된 모델을 이용하여 작업의 내용(작업 데이터)을 게임 데이터로 변경함으로써, 더 복잡한 작업의 내용에 대해서도, 그에 적합한 게임 데이터를 작성할 수 있다. 따라서, 로봇(5)의 작업의 내용에 대한 게임의 내용의 자유도를 향상시킬 수 있다.
[적용예 2]
이하에서, 상기 구성의 로봇 조작 시스템(1)을 쓰레기의 반송 작업을 수행하는 로봇(5A)에 적용한 적용예 2를 설명한다.
도 13은 적용예 2에 따른 로봇 조작 시스템(1)의 전체적인 구성을 도시하는 블록도이다. 도 13에 도시된 로봇(5A)은, 쓰레기 피트(215)의 쓰레기를 교반하는 크레인 로봇이다. 로봇(5A)은, 크레인(208)과, 크레인(208)의 좌우 및 전후 위치를 변화시키는 갠트리(gantry)(209)와, 크레인(208) 및 갠트리(209)의 동작을 제어하는 로봇 컨트롤러(201)를 구비한다. 쓰레기 피트(215)에는, 쓰레기 피트(215) 내를 3 차원으로 촬상하는 촬상 장치(CA)가 설치되어 있다.
로봇 조작기(213)는, 제1 레버(A), 제2 레버(B) 및 버튼(C)을 구비한다. 제1 레버(A) 및 제2 레버(B)에 대해 입력된 조작에 따라서, 갠트리(209)가 동작하여 크레인(208)의 2 차원 위치가 변화한다. 제1 레버(A)는, 크레인(208)의 전후 좌우 방향으로의 이동의 지령을 입력할 수 있다. 제1 레버(A)에 의해 입력된 조작 입력 신호 값은, 제1 레버(A)의 조작 위치에 따라 0부터 1까지 연속적으로 변화한다. 제2 레버(B)는, 크레인(208)의 상하 방향으로의 이동의 지령을 입력할 수 있다. 제2 레버(B)에 의해 입력된 조작 입력 신호 값은, 제2 레버(B)의 조작 위치에 따라 0부터 1까지 연속적으로 변화한다. 버튼(C)은, 크레인(208)의 쓰레기 파지의 지령을 입력할 수 있다. 버튼(C)에 의해 입력된 조작 입력 신호 값은, 버튼(C)의 조작 위치에 따라 0부터 1까지 연속적으로 변화한다.
상기 구성의 로봇(5)의 작업 대상인 쓰레기 피트(215)의 쓰레기는, 그 표면 높이나 형상에 고르지 못함이 있고, 쓰레기 피트(215) 내의 쓰레기는 더 균일하게 되도록 교반되지 않으면 안 된다. 쓰레기의 교반은, 쓰레기 피트(215)에 있는 좌표의 쓰레기를 다른 좌표로 이동시킴으로써 수행된다. 쓰레기의 교반 작업을 효율적으로 수행하기 위해서, 크레인(208)의 이동 궤적은 적은 것이 바람직하다. 로봇(5A)을 조작하는 로봇 오퍼레이터에, 어떤 좌표의 쓰레기를 어떻게 이동시키는지, 또한, 그 이동 순서에 대해서, 높은 기능이 요구된다.
게임 단말(3)에서는, 퍼즐 게임의 게임 프로그램이 실행된다. 도 14는 게임 단말(3)의 디스플레이(35)에 표시되는 게임 화면(92A)의 일례이다. 게임 화면(92A)에는, 로봇(5A)이 존재하는 실제 공간이 아니고, 게임 고유의 가상 공간이 표시된다. 도 14에 도시된 게임 화면(92A)에서는, 그 중앙부에 그리드가 표시되어 있고, 그리드의 각 칸에는 패널이 배치되어 있다. 패널은, 빨강, 파랑, 보라색의 3 색으로 분류되어 있고, 파랑의 패널의 위에 빨강의 패널을 겹치면, 보라의 패널로 변화한다. 빨강 및 보라의 패널 위에 다른 패널을 겹칠 수는 없다. 게임 유저는, 게임 컨트롤러(38)를 조작하여, 이동시키는 패널의 선택과, 패널의 이동 위치에 관한 지령을 게임 컴퓨터(31)에 입력할 수 있다.
게임 컨트롤러(38)에는, 조작자(381)로서, 십자 키(X)와 버튼(Y)이 설치되어 있다. 십자 키(X)의 조작 입력 신호 값은, 0 ~ 1까지 연속적으로 변화한다. 십자 키(X)에 의해, 포인터를 게임 화면(92A) 상의 좌우 및 전후 방향으로 이동시킬 수 있다. 십자 키(X)의 조작 입력 신호 값과 포인터의 이동 방향 및 이동량은 대응하고 있다. 버튼(Y)의 조작 입력 신호 값은, 버튼(Y)가 눌려 있는지 여부에 따라서, 0 또는 1의 값을 취한다. 버튼(Y)은 선택의 지령을 입력할 수 있다. 예를 들어, 포인터를 이동시키는 제1 패널 위에 있는 상태에서 버튼(Y)의 조작 입력 신호 값이 0에서 1로 변하면, 제1 패널이 선택된다. 또한, 제1 패널이 선택되고, 또한 포인터가 이동할 제2 패널 위에 있는 상태에서 버튼(Y)의 조작 입력 신호 값이 0에서 1로 변하면, 제2 패널에 제1 패널이 겹쳐진다. 모든 패널의 색이 보라가 되면, 미션은 성공이다. 게임 유저는, 미션의 성공 여부, 포인터의 이동량의 적음에 따라 득점을 얻고, 고득점을 겨룬다.
퍼즐 게임에서 패널의 배색 패턴은, 게임 파라미터에 의해 정해진다. 게임 파라미터는, 제2 변환부(42b)에서 작업 데이터가 게임 파라미터로 변환됨으로써 생성된다. 본 적용예에서는, 작업 데이터에는, 촬상 장치(CA)에서 얻은 쓰레기 피트(215) 내의 3 차원 화상이 포함된다. 변환부(42b)는, 쓰레기 피트(215)의 퇴적 쓰레기의 표면 형상을 소정의 변환 규칙에 따라 게임 플레이 중의 패널의 배색 패턴으로 변환하고, 그 배색 패턴을 재현하는 게임 파라미터를 생성한다.
도 15는 작업 데이터의 일례를 설명하는 도면이다. 예를 들어, 도 15에 도시된 바와 같이, 촬상 장치(CA)에서 얻은 쓰레기 피트(215)의 3 차원 화상이, 소정 수(도 15의 예에서는 15 × 10)의 도트로 된 평면적인 맵(94)으로 변환된다. 3 차원 화상의 해석에 의해 퇴적 쓰레기 표면의 높이가 고중저로 분류되고, 고(高)의 도트에는 1이, 중(中)의 도트에는 0이, 저(低)의 도트에는 -1이 각각 주어진다. 그리고, 1의 도트에 빨강의 패널이, 0의 도트에 보라의 패널이, -1의 도트에 파랑의 패널이 출현하도록, 게임 파라미터가 생성된다. 게임 데이터는, 이러한 게임 파라미터를 포함한다.
<학습 방법>
먼저, 중개 서버(2)의 제2 학습 장치(44)에서 수행되는 학습 방법에 대해 설명한다.
학습을 위해서, 대량의 학습 데이터가 준비된다. 학습 데이터에는, 쓰레기 피트(215)의 퇴적 쓰레기의 표면 형상과, 그 표면 형상에 관련지어진 숙련된 로봇 오퍼레이터에 의한 조작의 이력이 포함된다. 퇴적 쓰레기의 표면 형상에는, 높이 위치가 포함된다. 숙련된 로봇 오퍼레이터는, 로봇 조작기(213)를 이용하여, 자신의 경험으로 퇴적 쓰레기의 표면 형상에 최적한 작업 순서로 조작을 입력함으로써, 쓰레기 피트(215) 내의 퇴적 쓰레기를 교반한다. 로봇 컨트롤러(201)는, 숙련된 로봇 오퍼레이터가 로봇 조작기(213)에 수행한 조작 입력 신호를 취득하고, 조작 입력 신호의 이력을 당해 퇴적 쓰레기의 표면 형상에 관련지어서 기억한다.
쓰레기 피트(215)의 3 차원 화상이, 소정 수(도 15의 예에서는 15 × 10)의 도트로 구성된 평면적인 퇴적 쓰레기 맵(94)으로 변환된다. 퇴적 쓰레기 맵(94)의 각 도트에는 어드레스가 할당되고, 각 도트는 퇴적 쓰레기 높이(도트에서 평균 값)에 관한 정보를 가진다. 조작 입력 신호의 이력으로부터는, 쓰레기 피트(215) 내의 쓰레기가 들어지는 도트의 어드레스와, 그 쓰레기가 놓이는 도트의 어드레스가 알려진다. 쓰레기가 들어지는 도트는 「고」로 분류되고, 쓰레기가 놓이는 도트는 「저」로 분류되며, 쓰레기의 이동이 없던 도트는 「중」으로 분류된다. 학습 데이터의 전처리에서는, 퇴적 쓰레기 맵(94)의 각 도트에 대해 상기의 규칙에 기초하여, 「고」「중」「저」가 주어진다. 퇴적 쓰레기 맵(94)을 입력 데이터로 하고, 퇴적 쓰레기 맵(94)의 각 도트의 고중저의 분류를 출력 데이터로 하는, 1 조의 교사 데이터가 작성된다.
학습 장치는, 대량의 교사 데이터를 이용하여, 퇴적 쓰레기 맵(94)의 각 도트가 「고」「중」「저」 중 어느 하나로 분류되어야 할 것인가를 모델에 학습시킨다. 게임 데이터 생성 장치(42)는, 이러한 학습된 모델에 대해 작업 데이터인 퇴적 쓰레기 맵(94)을 입력하고, 퇴적 쓰레기 맵(94)의 각 도트의 고중저의 분류의 출력을 얻고, 이를 기초로 게임 데이터를 생성한다.
<로봇 조작 방법>
이어서, 로봇 조작 방법에 대해 설명한다.
게임 방법의 처리의 흐름은, 제1 적용예와 실질적으로 동일하다. 즉, 도 11에 도시된 바와 같이, 게임 단말(3)은 중개 서버(2)에 대해 로그인 정보와 함께 게임 개시 요구를 송신한다(스텝(S01)). 중개 서버(2)는, 게임 개시 요구를 취득하면(스텝(S02)), 작업 데이터 요구를 로봇(5A)에 송신한다(스텝(S03)). 로봇(5A)은, 작업 데이터 요구를 취득하면(스텝(S04)), 이에 대응하여 중개 서버(2)에 작업 데이터를 송신한다(스텝(S05)). 본 적용예에서는, 작업 데이터에는, 작업의 내용과 쓰레기 피트(215)의 3 차원 화상이 포함된다.
작업 데이터를 취득한 중개 서버(2)는(스텝(S06)), 작업 데이터로부터 게임 데이터를 생성한다(스텝(S07)). 본 적용예에서는, 작업 데이터에 포함된 촬상 영상을 상술한 학습된 모델 변환함으로써 게임 데이터가 작성되고, 게임 데이터에는 게임 파라미터가 포함된다. 중개 서버(2)는, 게임 데이터를 게임 단말(3)에 송신한다(스텝(S08)).
게임 데이터를 취득한 게임 단말(3)은(스텝(S09)), 게임 데이터(게임 파라미터)를 미리 기억되어 있는 게임 프로그램에 적용시켜 실행한다. 게임 단말(3)에서는, 취득한 게임 데이터가 게임 프로그램에 적용되어, 게임이 개시된다. 게임 유저가 게임 플레이 중에 게임 컨트롤러(38)를 조작함으로써 입력되는 조작 입력이 기억된다. 이에 따라서, 게임 단말(3)은 게임 파라미터가 반영된 게임을 개시한다(스텝(S10)). 본 적용예에서는, 게임 유저는, 파랑과 빨강의 패널을 보라로 대체하는 컬러 퍼즐 개임을 즐길 수 있다.
게임 단말(3)은, 게임 플레이 중에 게임 유저가 게임 컨트롤러(38)에서 수행한 조작의 이력을 기록한다(스텝(S11)). 게임 단말(3)은, 게임이 종료되면(스텝(S12)), 그 게임 플레이 중의 조작의 이력을 포함하는 게임 조작 데이터를 중개 서버(2)에 송신한다(스텝(S13)). 게임 조작 데이터는, 작업 데이터 또는 게임 데이터 중 적어도 일방과 관련지어져 있다.
중개 서버(2)의 로봇 제어 데이터 생성 장치(43)에서는, 게임 조작 데이터 취득부(43a)가 게임 조작 데이터를 취득하고(스텝(S14)), 변환부(43b)가 게임 조작 데이터를 게임 제어 데이터로 변환함으로써 로봇 제어 데이터를 생성한다(스텝(S15)). 본 적용예에서, 게임 조작 데이터에는, 이동시키는 패널의 좌표와 당해 패널의 이동할 좌표의 조합, 및 패널의 이동 순서가 포함된다. 이와 같은 게임 조작 데이터로부터, 쓰레기 피트(215)에서, 쓰레기를 들어내는 좌표와 쓰레기를 들어 넣는 좌표의 조합, 및 쓰레기의 이동 순서를 포함한 로봇 제어 데이터가 생성된다.
중개 서버(2)는, 생성된 로봇 제어 데이터를 로봇(5)에 송신한다. 로봇(5)은, 로봇 제어 데이터를 취득하고(스텝(S17)), 이에 기초하여 갠트리(209)나 크레인(209)을 동작시킴으로써, 로봇(5A)이 작업을 수행한다(스텝(S18)). 본 적용예에서는, 로봇(5A)은 쓰레기 피트(215)의 교반 작업을 수행한다.
이와 같이, 본 적용예에서는, 게임 유저가 수행하는 게임의 내용과 로봇(5A)이 수행하는 작업의 내용은, 직접적인 관련이 없지만, 게임 중의 포인터의 이동과 크레인(208)의 이동에는 상관성이 있다. 이에 의해서도, 게임 유저는, 로봇(5A)이 작업을 수행하는 실제 공간을 보지 않고, 디스플레이(35)에 비추어지는 가상 공간을 보고 게임 컨트롤러(38)에 대해 조작 입력을 수행하여, 게임을 즐기면서 로봇(5A)에 지령을 입력하여, 로봇(5A)에 노동을 시킬 수 있다.
이상으로 본 발명의 바람직한 실시예를 설명하였으나, 본 발명의 사상을 벗어나지 않는 범위에서 상기 실시 형태의 구체적인 구조 및/또는 기능을 변경한 것도 본 발명에 포함될 수 있다. 상기 로봇 조작 시스템(1) 및 로봇 조작 방법은, 다음과 같이 변경할 수 있다.
예를 들어, 상기 실시예에서는, 게임 단말(3), 중개 서버(2) 및 로봇(5, 5A)은, 각각 독립한 장치이지만, 중개 서버(2)로서의 기능이 게임 단말(3) 및 로봇(5, 5A) 중 어느 일방에 구비되어도 좋다.
예를 들어, 상기 실시예에서는, 학습 모델의 예로서의 뉴럴 네트워크 모델을 학습시키는 경우를 예로 들어 설명하였지만, 학습 알고리즘은 이에 한정되는 것은 아니다. 예를 들어, 뉴럴 네트워크 모델과는 다른 그 밖의 모델을, 다른 학습 방법에 의해 학습시켜도 좋다.
예를 들어, 상기 실시예에서는, 게임 프로그램이 미리 게임 단말(3)에 기억(인스톨)되는 형태를 설명하였다. 이러한 게임 프로그램은, 통신 수단(4)을 통해 중개 서버(2)로부터 게임 단말(3)에 공급되지만, CD-ROM, DVD-ROM 및 마이크로 SD 카드 등의 기록 매체에 기록되어 게임 단말(3)에 제공되어도 좋다. 또한, 게임 프로그램은 미리 게임 단말(3)에 기억되어 있는 형태에 한정되지 않고, 미리 게임 파라미터가 적용된 게임 프로그램이 게임마다 중개 서버(2)로부터 게임 단말(3)에 공급되어도 좋다. 이 경우, 게임 데이터에는 게임 파라미터가 적용된 게임 프로그램이 포함되게 된다.
1: 로봇 조작 시스템
2, 2A: 중개 서버(정보 처리 장치의 일례)
3: 게임 단말
4: 통신 수단
5, 5A: 로봇
20a: 연산 제어기
20b: 인터페이스
21: 프로세서
22: 메모리
24: 기억 장치
25: I/O 부
31: 게임 컴퓨터
35: 디스플레이
37: 스피커
38: 게임 컨트롤러
41: 제1 학습 장치
41a: 학습 데이터 취득부
41b: 전처리부
41c: 제1 학습부
42: 게임 데이터 생성 장치
42a: 작업 데이터 취득부
42b: 변환부(제2 변환부)
42c: 게임 데이터 공급부
43: 로봇 제어 데이터 생성 장치
43a: 게임 조작 데이터 취득부
43b: 변환부(제1 변환부)
43c: 로봇 제어 데이터 공급부
44: 제2 학습 장치
44a: 학습 데이터 취득부
44b: 전처리부
44c: 제2 학습부
91: 맵
92: 게임 화면
92a: 라인
92b: 슈팅 건
92c: 스코어
201: 로봇 컨트롤러
202: 도료 공급 장치
203: 밸브 장치
204: 매니퓰레이터
205: 컴프레서
206: 엔드 이펙터
206A: 도장 건
207: 노즐
208: 크레인
209: 갠트리
210: 지그
211: 워크
213: 로봇 조작기
215: 쓰레기 피트
311: 메인 프로세서
312: 사운드 프로세서
313: I/O 프로세서
314: 기억 장치
315: 그래픽 프로세서
316: 메모리
381: 조작자
382: 조작 검출기
383: 통신기

Claims (13)

  1. 게임 프로그램을 실행하는 게임 컴퓨터, 상기 게임 컴퓨터로의 조작 입력을 접수하는 게임 컨트롤러, 및 상기 게임 컴퓨터로부터 출력된 가상 공간을 표시하는 디스플레이를 구비하는 게임 단말과, 로봇 제어 데이터에 기초하여 실제 공간에서 작업을 수행하는 로봇을 중개하는 정보 처리 장치로서,
    상기 작업의 내용에 관련지어진 게임 데이터를 상기 게임 단말에 공급하는 게임 데이터 공급부와,
    상기 게임 데이터가 반영된 상기 게임 프로그램이 실행되는 동안에 상기 게임 컨트롤러가 접수한 조작의 입력의 이력을 포함한 게임 조작 데이터를 취득하는 게임 조작 데이터 취득부와,
    상기 게임 조작 데이터를 소정의 변환 규칙에 기초하여 상기 로봇 제어 데이터로 변환하는 제1 변환부와,
    상기 로봇 제어 데이터를 상기 로봇에 공급하는 로봇 제어 데이터 공급부를 구비하는 것을 특징으로 하는 정보 처리 장치.
  2. 제1항에 있어서,
    상기 제1 변환부가, 상기 게임 조작 데이터와 상기 로봇 제어 데이터의 관계성을 학습한 제1 학습된 모델에 대해 상기 게임 조작 데이터를 입력함으로써, 상기 게임 조작 데이터를 상기 로봇 제어 데이터로 변환하도록 구성되어 있는 것을 특징으로 하는 정보 처리 장치.
  3. 제2항에 있어서,
    상기 작업의 내용에 관련지어진 상기 게임 조작 데이터와 상기 로봇 제어 데이터를 포함하는 제1 학습 데이터를 이용하여 상기 게임 조작 데이터와 상기 로봇 제어 데이터의 관계성을 학습하고, 상기 제1 학습된 모델을 생성하는 제1 학습부를 더 구비하는 것을 특징으로 하는 정보 처리 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 작업의 내용을 소정의 변환 규칙에 기초하여 상기 게임 데이터로 변환하는 제2 변환부를 더 구비하는 것을 특징으로 하는 정보 처리 장치.
  5. 제4항에 있어서,
    상기 제2 변환부가, 상기 작업의 내용과 상기 게임 데이터의 관계성을 학습한 제2 학습된 모델에 대해 상기 작업의 내용을 입력함으로써, 상기 작업의 내용을 상기 게임 데이터로 변환하도록 구성되어 있는 것을 특징으로 하는 정보 처리 장치.
  6. 제5항에 있어서,
    상기 작업의 내용과 그에 관련지어진 상기 게임 데이터를 포함하는 제2 학습 데이터를 이용하여 상기 작업의 내용과 상기 게임 데이터의 관계성을 학습하고, 상기 제2 학습된 모델을 생성하는 제2 학습부를 더 구비하는 것을 특징으로 하는 정보 처리 장치.
  7. 게임 프로그램을 실행하는 게임 컴퓨터, 상기 게임 컴퓨터로의 조작 입력을 접수하는 게임 컨트롤러, 및 상기 게임 컴퓨터로부터 출력된 가상 공간을 표시하는 디스플레이를 구비하는 게임 단말과,
    로봇 제어 데이터에 기초하여 실제 공간에서 작업을 수행하는 로봇과,
    상기 게임 단말과 상기 로봇을 중개하는 제1항 내지 제6항 중 어느 한 항에 따른 정보 처리 장치를 구비하는 것을 특징으로 하는 로봇 조작 시스템.
  8. 게임 프로그램을 실행하는 게임 컴퓨터, 상기 게임 컴퓨터로의 조작 입력을 접수하는 게임 컨트롤러, 및 상기 게임 컴퓨터로부터 출력된 가상 공간을 표시하는 디스플레이를 구비하는 게임 단말을 이용하여, 로봇 제어 데이터에 기초하여 실제 공간에서 작업을 수행하는 로봇을 조작하는 로봇 조작 방법으로서,
    상기 작업의 내용에 관련지어진 게임 데이터를, 상기 게임 단말에 공급하는 게임 프로그램 공급 스텝,
    상기 게임 데이터가 반영된 상기 게임 프로그램이 실행되는 동안에 상기 게임 컨트롤러가 접수한 조작의 입력의 이력을 포함한 게임 조작 데이터를 취득하는 게임 조작 데이터 취득 스텝,
    상기 게임 조작 데이터를 소정의 변환 규칙에 기초하여 상기 로봇 제어 데이터로 변환하는 로봇 제어 데이터 생성 스텝, 및
    상기 로봇 제어 데이터를 상기 로봇에 공급하는 로봇 제어 데이터 공급 스텝을 포함하는 것을 특징으로 하는 로봇 조작 방법.
  9. 제8항에 있어서,
    상기 로봇 제어 데이터 생성 스텝이, 상기 게임 조작 데이터와 상기 로봇 제어 데이터의 관계성을 학습한 제1 학습된 모델에 대해 상기 게임 조작 데이터를 입력함으로써, 상기 게임 조작 데이터를 상기 로봇 제어 데이터로 변환하는 것을 포함하는 것을 특징으로 하는 로봇 조작 방법.
  10. 제9항에 있어서,
    상기 작업의 내용에 관련지어진 상기 게임 조작 데이터와 상기 로봇 제어 데이터를 포함하는 제1 학습 데이터를 이용하여 상기 게임 조작 데이터와 상기 로봇 제어 데이터의 관계성을 학습하고, 상기 제1 학습된 모델을 생성하는 제1 학습 스텝을 더 포함하는 것을 특징으로 하는 로봇 조작 방법.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 작업의 내용을 소정의 변환 규칙에 기초하여 상기 게임 데이터로 변환하는 게임 데이터 생성 스텝을 더 포함하는 것을 특징으로 하는 로봇 조작 방법.
  12. 제11항에 있어서,
    상기 게임 데이터 생성 스텝이, 상기 작업의 내용과 상기 게임 데이터의 관계성를 학습한 제2 학습된 모델에 대해 상기 작업 내용을 입력함으로써, 상기 작업의 내용을 상기 게임 데이터로 변환하는 것을 포함하는 것을 특징으로 하는 로봇 조작 방법.
  13. 제12항에 있어서,
    상기 작업의 내용과 그에 관련지어진 상기 게임 데이터를 포함하는 제2 학습 데이터를 이용하여 상기 작업의 내용과 상기 게임 데이터의 관계성을 학습하고, 상기 제2 학습된 모델을 생성하는 제2 학습 스텝을 더 포함하는 것을 특징으로 하는 로봇 조작 방법.
KR1020217006467A 2018-08-10 2019-08-08 정보 처리 장치, 로봇 조작 시스템 및 로봇 조작 방법 KR102511814B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2018-151917 2018-08-10
JP2018151917 2018-08-10
JPJP-P-2019-105728 2019-06-05
JP2019105728A JP7333204B2 (ja) 2018-08-10 2019-06-05 情報処理装置、ロボット操作システム、及びロボット操作方法
PCT/JP2019/031479 WO2020032207A1 (ja) 2018-08-10 2019-08-08 情報処理装置、ロボット操作システム、及びロボット操作方法

Publications (2)

Publication Number Publication Date
KR20210040119A true KR20210040119A (ko) 2021-04-12
KR102511814B1 KR102511814B1 (ko) 2023-03-20

Family

ID=77926802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217006467A KR102511814B1 (ko) 2018-08-10 2019-08-08 정보 처리 장치, 로봇 조작 시스템 및 로봇 조작 방법

Country Status (7)

Country Link
US (1) US11769422B2 (ko)
EP (1) EP3835006A4 (ko)
JP (1) JP7529866B2 (ko)
KR (1) KR102511814B1 (ko)
CN (1) CN112423945B (ko)
TW (1) TWI728424B (ko)
WO (1) WO2020032207A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120139746A (ko) 2010-02-22 2012-12-27 티센크루프 우데 게엠베하 충진 레벨 측정 장치 및 그 방법
JP2015533534A (ja) 2012-08-27 2015-11-26 アンキ，インコーポレイテッド ロボットシステムと１つ以上のモバイルコンピューティングデバイスとの統合
JP2017519644A (ja) * 2014-04-30 2017-07-20 パーカー、コールマン、ピー．ＰＡＲＫＥＲ，Ｃｏｌｅｍａｎ，Ｐ． 仮想現実入力を用いたロボット制御システム
JP2018051652A (ja) * 2016-09-27 2018-04-05 株式会社日立製作所 ロボットシステム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3286665B2 (ja) * 1999-12-27 2002-05-27 川崎重工業株式会社 ロボット遊戯装置の制御方法およびロボット遊戯装置
JP2007183332A (ja) * 2006-01-05 2007-07-19 Advanced Telecommunication Research Institute International 操作訓練装置
TWI331931B (en) * 2007-03-02 2010-10-21 Univ Nat Taiwan Science Tech Board game system and robotic device
JP2012139746A (ja) 2010-12-28 2012-07-26 Aichi Sangyo Kk 産業用ロボット
US9025856B2 (en) * 2012-09-05 2015-05-05 Qualcomm Incorporated Robot control information
JP2015220574A (ja) * 2014-05-16 2015-12-07 ソニー株式会社 情報処理システム、記憶媒体、およびコンテンツ取得方法
CN104700705B (zh) * 2015-01-19 2017-02-22 清华大学 工业机器人示教系统
JP6240689B2 (ja) 2015-07-31 2017-11-29 ファナック株式会社 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法
CN108271365B (zh) * 2015-09-09 2021-06-11 阿瓦里有限公司 游戏机器人、系统及控制游戏机器人的方法
US10890921B2 (en) * 2018-05-31 2021-01-12 Carla R. Gillett Robot and drone array
JP7281348B2 (ja) 2018-08-10 2023-05-25 川崎重工業株式会社 トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120139746A (ko) 2010-02-22 2012-12-27 티센크루프 우데 게엠베하 충진 레벨 측정 장치 및 그 방법
JP2015533534A (ja) 2012-08-27 2015-11-26 アンキ，インコーポレイテッド ロボットシステムと１つ以上のモバイルコンピューティングデバイスとの統合
JP2017519644A (ja) * 2014-04-30 2017-07-20 パーカー、コールマン、ピー．ＰＡＲＫＥＲ，Ｃｏｌｅｍａｎ，Ｐ． 仮想現実入力を用いたロボット制御システム
JP2018051652A (ja) * 2016-09-27 2018-04-05 株式会社日立製作所 ロボットシステム

Also Published As

Publication number Publication date
TWI728424B (zh) 2021-05-21
EP3835006A4 (en) 2022-05-04
CN112423945A (zh) 2021-02-26
CN112423945B (zh) 2023-11-24
EP3835006A1 (en) 2021-06-16
KR102511814B1 (ko) 2023-03-20
JP7529866B2 (ja) 2024-08-06
US20210308582A1 (en) 2021-10-07
US11769422B2 (en) 2023-09-26
WO2020032207A1 (ja) 2020-02-13
JP2023138868A (ja) 2023-10-02
TW202015771A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
JP7333204B2 (ja) 情報処理装置、ロボット操作システム、及びロボット操作方法
Isokoski et al. Gaze controlled games
US20240013502A1 (en) Storage medium, method, and information processing apparatus
JP6779941B2 (ja) 格闘ゲームの学習装置および学習プログラム
JP2011215922A (ja) プログラム、情報記憶媒体及び画像生成システム
KR101410410B1 (ko) 체감형 학습 장치 및 방법
JP7529866B2 (ja) ロボット操作システム及びロボット操作方法
Kalus et al. MobileGravity: Mobile Simulation of a High Range of Weight in Virtual Reality
US20230405803A1 (en) Information processing device, robot manipulating system and robot manipulating method
JP4779123B2 (ja) 人体動作を感知可能な電子ゲームコントローラ
CN110741327B (zh) 基于增强现实及数字图像处理的泥胶玩具系统及其方法
WO2020016225A1 (en) Method and control unit for controlling a virtual reality display, virtual reality display and virtual reality system
Wei et al. Novel interface for first person shooting games on pdas
JP6876072B2 (ja) ビデオゲーム処理プログラム、ビデオゲーム処理装置、ビデオゲーム処理方法及び学習用プログラム
JP2023003248A (ja) 電子ゲーム提供システム、電子ゲーム提供方法、電子ゲーム提供プログラム、電子ゲーム仲介装置、電子ゲーム仲介方法及び電子ゲーム仲介プログラム
WO2022130681A1 (ja) ゲームシステム、プログラム及び情報処理方法
Hörberg Gameworld Interfaces: How can the interface be adapted to the interaction modality when gaming in VR and on PC
Gorgan Designing a Miniature Unmaned Aerial Vehicle Augmented Reality Application
KR101987864B1 (ko) 게임 유저의 액션 기반 전자 게임 제공방법
Rodriguez Baquero et al. MechVR post-mortem-Navigating design challenges for a VR game
KR20110116280A (ko) 좌표와 모션의 복합적 인식 기반 단어 게임 시뮬레이션 시스템
Logsdon Arm-Hand-Finger Video Game Interaction
Erkkilä et al. of thesis MechVR Post-mortem-Navigating design challenges for a VR game
Hübsch Exploring Alternative Interfaces for Controlling Robotic Water Cannons
Erkkilä et al. MechVR post-mortem: Navigating design challenges for a VR game

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20210303

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220707

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230101

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230315

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230316

End annual number: 3

Start annual number: 1

PG1601 Publication of registration