KR20180069288A - System for controlling manipulator using wearable device - Google Patents

System for controlling manipulator using wearable device Download PDF

Info

Publication number
KR20180069288A
KR20180069288A KR1020160171335A KR20160171335A KR20180069288A KR 20180069288 A KR20180069288 A KR 20180069288A KR 1020160171335 A KR1020160171335 A KR 1020160171335A KR 20160171335 A KR20160171335 A KR 20160171335A KR 20180069288 A KR20180069288 A KR 20180069288A
Authority
KR
South Korea
Prior art keywords
manipulator
wearable device
sensor data
data
virtual
Prior art date
Application number
KR1020160171335A
Other languages
Korean (ko)
Inventor
김태원
최현우
Original Assignee
김태원
최현우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김태원, 최현우 filed Critical 김태원
Priority to KR1020160171335A priority Critical patent/KR20180069288A/en
Publication of KR20180069288A publication Critical patent/KR20180069288A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manipulator (AREA)

Abstract

Provided is a manipulator control system using a wearable device. The present invention relates to a manipulator control system using a wearable device, comprising: a wearable device which is worn on a forearm of an operator and acquires sensor data related to movement of an arm when the operator operates the manipulator and transmits the acquired sensor data to a simulation apparatus; a manipulator operated by an operation of the operator or operated by control data generated by the simulation apparatus; and the simulation apparatus for simulating a virtual manipulator based on the sensor data received from the wearable device, and generating the control data according to a simulation result.

Description

웨어러블 디바이스를 이용한 매니퓰레이터 제어 시스템{SYSTEM FOR CONTROLLING MANIPULATOR USING WEARABLE DEVICE}TECHNICAL FIELD [0001] The present invention relates to a manipulator control system using a wearable device,

본 발명은 웨어러블 디바이스를 이용한 매니퓰레이터 제어 시스템에 관한 것으로서, 보다 상세하게는 웨어러블 디바이스를 이용하여 매니퓰레이터의 조작시의 센서 데이터를 획득하고 이에 기초하여 가상 매니퓰레이터를 시뮬레이션하고, 시뮬레이션 결과를 학습함으로써 매니퓰레이터를 최적으로 제어할 수 있는 시스템에 관한 것이다.The present invention relates to a manipulator control system using a wearable device, and more particularly, to a manipulator control system that uses a wearable device to acquire sensor data at the time of manipulation of a manipulator, simulate a virtual manipulator based on the sensor data, To a system that can control the system.

매니퓰레이터(manipulator)란 일반적으로 산업 현장의 로봇 팔을 의미하며, 컨트롤 패널(panel)이나 팬던트(pendant)라는 컨트롤러(controller)를 통해 버튼을 조작함으로써 미리 저장된 작업을 수행하는 장비를 말한다.A manipulator generally refers to a robot arm in an industrial field, and refers to a device that performs a pre-stored operation by operating a button through a controller, such as a control panel or a pendant.

이러한 매니퓰레이터의 동작을 구현하기 위해서는 모션 데이터와 이를 제어할 인터페이스를 포함하고 있어야 하지만, 제어하는데 전문가 수준의 지식 숙지가 필요하다. 따라서, 비전문가가 현장에서 매니퓰레이터의 작업 사항을 직접 수정하고 원하는 작업 사항을 동작시키는 것에 어려움이 있다. 따라서, 실제 산업 현장에서는 숙련되지 않은 인력이 매니퓰레이터를 제어해야 하는 경우가 있어서 장비의 오작동이나 사고의 위험이 항상 상존하고 있는 실정이다.In order to implement the operation of the manipulator, it is necessary to include the motion data and the interface for controlling the motion data, but it is necessary to know the expert knowledge to control the manipulator. Therefore, it is difficult for the non-specialist to directly modify the operation of the manipulator in the field and operate the desired operation. Therefore, untrained personnel may need to control the manipulator in the actual industrial field, so that there is always a risk of malfunction or accident of equipment.

본 발명은 상기한 바와 같은 한계점을 해결하기 위한 것으로서, 웨어러블 디바이스를 이용하여 매니퓰레이터의 조작시의 센서 데이터를 획득하고 이에 기초하여 가상 매니퓰레이터를 시뮬레이션하고, 시뮬레이션 결과를 학습함으로써 매니퓰레이터를 최적으로 제어할 수 있는 시스템을 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and it is an object of the present invention to provide a method and apparatus for acquiring sensor data at the time of manipulation of a manipulator using a wearable device, simulating a virtual manipulator based on the sensor data, And to provide a system having the above-mentioned functions.

상기한 바와 같은 과제를 해결하기 위하여 본 발명은, 웨어러블 디바이스를 이용한 매니퓰레이터 제어 시스템으로서, 작업자의 팔뚝에 착용되며, 작업자가 매니퓰레이터를 조작할 때의 팔의 움직임과 관련된 센서 데이터를 획득하여 시뮬레이션 장치로 전송하는 웨어러블 디바이스; 작업자의 조작에 의해 동작하거나 시뮬레이션 장치에서 생성된 제어 데이터에 의해 동작하는 매니퓰레이터; 및 웨어러블 디바이스로부터 수신한 센서 데이터에 기초하여 가상 매니퓰레이터를 시뮬레이션하고, 시뮬레이션 결과에 따라 제어 데이터를 생성하는 시뮬레이션 장치를 포함하는 웨어러블 디바이스를 이용한 매니퓰레이터 제어 시스템을 제공한다.According to an aspect of the present invention, there is provided a manipulator control system using a wearable device, wherein the manipulator is worn on the forearm of a worker and acquires sensor data related to movement of the arm when the worker operates the manipulator, A wearable device to transmit; A manipulator operated by operation of an operator or operated by control data generated by a simulation apparatus; And a simulator for simulating a virtual manipulator based on the sensor data received from the wearable device and generating control data according to a simulation result. The manipulator control system uses the wearable device.

여기에서, 상기 센서 데이터는, 작업자가 매니퓰레이터를 조작할 때의 근전도(EMG), 각속도, 가속도 데이터를 포함할 수 있다.Here, the sensor data may include EMG, angular velocity, and acceleration data when the operator operates the manipulator.

또한, 상기 시뮬레이션 장치는, 웨어러블 디바이스로부터 수신한 센서 데이터에 기초하여 가상 매니퓰레이터가 매니퓰레이터를 시뮬레이션하도록 제어하는 가상 매니퓰레이터 제어부; 가상 매니퓰레이터 제어부에 의해 조작되어 매니퓰레이터의 동작을 컴퓨터 상에서 시뮬레이션하고 매니퓰레이터의 움직임에 대한 모션 데이터를 생성하는 가상 매니퓰레이터; 가상 매니퓰레이터로부터 수신한 모션 데이터에 기초하여 매니퓰레이터의 움직임을 최적화하기 위한 학습을 수행하는 학습부; 및 학습부에서 수행된 학습 결과에 따라 매니퓰레이터의 움직임에 대한 제어 데이터를 생성하는 제어 데이터 생성부를 포함할 수 있다.The simulation apparatus may further include: a virtual manipulator control unit for controlling the virtual manipulator to simulate the manipulator based on the sensor data received from the wearable device; A virtual manipulator that is operated by a virtual manipulator control unit to simulate the operation of the manipulator on a computer and generate motion data for the manipulator's motion; A learning unit for performing learning to optimize a motion of a manipulator based on motion data received from a virtual manipulator; And a control data generation unit for generating control data for the movement of the manipulator according to the learning result performed by the learning unit.

또한, 상기 학습부는, 센서 데이터 또는 모션 데이터에 대해서 매니퓰레이터가 3차원 공간 상에서 움직이는 이동 경로 및 속도를 최적화하도록 학습하도록 구성할 수 있다.The learning unit may be configured to learn to optimize the movement path and the speed at which the manipulator moves in the three-dimensional space with respect to sensor data or motion data.

또한, 상기 웨어러블 디바이스는, 작업자가 가상 매니퓰레이터를 조작할 때의 팔의 움직임과 관련된 센서 데이터를 획득하여 시뮬레이션 장치로 전송하도록 구성할 수도 있다.In addition, the wearable device may be configured to acquire sensor data related to movement of the arm when the operator operates the virtual manipulator and transmit the sensor data to the simulation apparatus.

본 발명에 의하면, 웨어러블 디바이스를 이용하여 매니퓰레이터의 조작시의 센서 데이터를 획득하고 이에 기초하여 가상 매니퓰레이터를 시뮬레이션하고, 시뮬레이션 결과를 학습함으로써 매니퓰레이터를 최적으로 제어할 수 있는 시스템을 제공할 수 있다.According to the present invention, it is possible to provide a system capable of optimally controlling a manipulator by acquiring sensor data at the time of manipulation of a manipulator using a wearable device, simulating a virtual manipulator based on the sensor data, and learning simulation results.

또한, 본 발명에 의하면, 비전문가라도 매니퓰레이터를 효율적으로 정확하게 이용할 수 있도록 하는 효과가 있다.Further, according to the present invention, even a non-specialist can effectively use the manipulator efficiently.

또한, 본 발명은 누구나 착용하기만 하면 손쉽게 매니퓰레이터를 제어할 수 있으며, 사용자의 행동에 따라 움직여 숙련된 작업자들이 필요했던 작업을 자동화 할 수 있고, 학습을 통해 사람을 통한 작업에 비해 행동오류가 적고 시뮬레이션 상 로봇의 반복 시행으로 로봇의 움직임의 최적화 된 데이터를 저장하여 로봇에게 적용하여 정확도와 효율을 상승시킬 수 있다.In addition, the present invention can easily control the manipulator by wearing it, and it can move according to the user's actions to automate tasks required by skilled workers, In the simulation, it is possible to save the optimized data of the motion of the robot by repeated execution of the robot and apply it to the robot to increase the accuracy and efficiency.

또한, 본 발명은, 제조 공정이 빈번히 바뀌는 제조업 분야에 특히 유용하며 반복적인 작업에 대해 유동적으로 대응할 수 있고, 생산 로봇의 행동 오류들을 최소한으로 줄일 수 있고, 로봇 오작동으로 인한 인명 피해를 최소화 할 수 있고, 사람만이 할 수 있는 다양한 동작 작업 등에 적용할 수 있는 장점이 있다.In addition, the present invention is particularly useful in a manufacturing field where manufacturing processes are frequently changed, and it is possible to flexibly respond to repetitive work, minimize the behavioral errors of the production robot, and minimize human injury due to malfunction of the robot And there is an advantage that it can be applied to various operation tasks that only a person can perform.

도 1은 본 발명에 의한 웨어러블 디바이스를 이용한 매니퓰레이터 제어 시스템(100)의 전체적인 구성을 나타낸 도면이다.
도 2는 웨어러블 디바이스(10)의 일예를 나타낸 도면이다.
도 3은 매니퓰레이터(20)의 일예를 나타낸 도면이다.
도 4는 시뮬레이션 장치(30)의 구성을 나타낸 도면이다.
도 5는 센서 데이터를 화면에 표시한 상태를 나타낸 것이다.
도 6은 본 발명에 의한 시스템(100)의 동작을 개략적으로 나타낸 도면이다.FIG. 1 is a diagram showing the overall configuration of a manipulator control system 100 using a wearable device according to the present invention.
Fig. 2 is a view showing an example of the wearable device 10. Fig.
Fig. 3 is a view showing an example of the manipulator 20. Fig.
Fig. 4 is a diagram showing a configuration of the simulation apparatus 30. Fig.
5 shows a state in which the sensor data is displayed on the screen.
6 is a diagram schematically illustrating the operation of the system 100 according to the present invention.

이하, 첨부 도면을 참조하여 본 발명에 의한 실시예를 상세하게 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 의한 웨어러블 디바이스를 이용한 매니퓰레이터 제어 시스템(100)의 전체적인 구성을 나타낸 도면이다.FIG. 1 is a diagram showing the overall configuration of a manipulator control system 100 using a wearable device according to the present invention.

도 1을 참조하면, 본 발명에 의한 웨어러블 디바이스를 이용한 매니퓰레이터 제어 시스템(이하, 간단히 "시스템(100)"이라 한다)은, 웨어러블 디바이스(10), 매니퓰레이터(20) 및 시뮬레이션 장치(30)를 포함한다.1, a manipulator control system (hereinafter simply referred to as "system 100") using a wearable device according to the present invention includes a wearable device 10, a manipulator 20 and a simulation device 30 do.

웨어러블 디바이스(10)는 작업자의 손목이나 팔뚝에 착용하는 밴드형의 디바이스로서, 작업자가 매니퓰레이터(20)를 조작할 때의 팔의 움직임과 관련된 센서 데이터를 획득하여 시뮬레이션 장치(30)로 전송하는 기능을 수행한다.The wearable device 10 is a band type device to be worn on the wrist or forearm of a worker and has a function of acquiring sensor data related to the movement of the arm when the operator operates the manipulator 20 and transmitting the acquired sensor data to the simulation device 30 .

웨어러블 디바이스(10)는 작업자가 팔뚝에 착용한 상태에서, 매니퓰레이터(20)를 조작할 때 근전도(EMG), 각속도, 가속도 등과 같은 센서 데이터를 획득한다. 이를 위하여 웨어러블 디바이스(10)는 근전도 센서, 자이로 센서, 지자기 센서 및 가속도 센서 등을 구비한다.The wearable device 10 acquires sensor data such as EMG, angular velocity, and acceleration when the manipulator 20 is operated while the wearer wears the forearm. To this end, the wearable device 10 includes an electromyogram sensor, a gyro sensor, a geomagnetic sensor, and an acceleration sensor.

도 2는 웨어러블 디바이스(10)의 일예를 나타낸 도면이다.Fig. 2 is a view showing an example of the wearable device 10. Fig.

도 2의 웨어러블 디바이스(10)는 MYO사의 MYO 밴드로서, 작업자가 팔뚝에 착용하고 팔을 움직일 때 근전도, 가속도, 자이로 등과 같은 센서 데이터를 획득한다. 획득된 센서 데이터는 시뮬레이션 장치(30)로 전송된다.The wearable device 10 shown in Fig. 2 is a MYO band of MYO, and acquires sensor data such as EMG, acceleration, and gyro when the wearer wears his forearm and moves his / her arm. The obtained sensor data is transmitted to the simulation apparatus 30. [

본 발명에 사용되는 웨어러블 디바이스(10) 자체는 본 발명의 직접적인 목적은 아니며 도 2와 같이 종래 알려져 있는 상용 제품을 사용할 수 있으므로, 여기에서는 상세 설명은 생략한다.The wearable device 10 itself used in the present invention is not a direct object of the present invention, and a commercial product known in the prior art as shown in Fig. 2 can be used, so that a detailed description thereof will be omitted.

매니퓰레이터(20)는 산업 현장에서 사용되는 로봇 팔을 의미하는데, 일반적으로 제어 패널이나 펜던트(pendant)라고 하는 컨트롤러를 통해 버튼을 조작함으로써 미리 저장된 작업을 수행한다. 본 발명에서의 매니퓰레이터(20)는 이러한 종래의 장치를 의미하는데 다만 본 발명과 관련하여서는 작업자의 조작에 의해 웨어러블 디바이스(10)가 센서 데이터를 획득하는데 사용되며 또한 시뮬레이션 장치(30)에서 생성된 제어 데이터에 의해 조작되는 것을 특징으로 한다.The manipulator 20 refers to a robot arm used in an industrial field, and generally performs a pre-stored operation by operating a button through a controller, such as a control panel or a pendant. The manipulator 20 in the present invention means such a conventional apparatus. However, in the context of the present invention, the wearable device 10 is used by the operator to acquire the sensor data, And is operated by data.

여기에서, 제어 데이터는 매니퓰레이터(20)를 동작시키기 위한 데이터를 의미하며, 후술하는 시뮬레이션 장치(30)에서 생성된다.Here, the control data means data for operating the manipulator 20, and is generated in the simulation apparatus 30 described later.

도 3은 매니퓰레이터(20)의 일예를 나타낸 도면이다.Fig. 3 is a view showing an example of the manipulator 20. Fig.

도 3에 나타낸 매니퓰레이터(20)는 6개의 축을 가지며 따라서 6 자유도를 갖는다. 이러한 매니퓰레이터(20)는 일반적으로 작업자의 조작에 의해 또는 컨트롤러를 통해 조작되어 특정 작업을 수행하게 된다. The manipulator 20 shown in Figure 3 has six axes and thus has six degrees of freedom. Such a manipulator 20 is generally operated by an operator or through a controller to perform a specific operation.

시뮬레이션 장치(30)는 웨어러블 디바이스(10)로부터 수신한 센서 데이터에 기초하여 가상 매니퓰레이터를 시뮬레이션하고, 시뮬레이션 결과에 따라 제어 데이터를 생성하는 기능을 담당한다.The simulation apparatus 30 simulates a virtual manipulator based on the sensor data received from the wearable device 10, and takes charge of generating control data in accordance with a simulation result.

도 4는 시뮬레이션 장치(30)의 구성을 나타낸 도면이다.Fig. 4 is a diagram showing a configuration of the simulation apparatus 30. Fig.

도 4를 참조하면, 시뮬레이션 장치(30)는, 가상 매니퓰레이터 제어부(31), 가상 매니퓰레이터(32), 학습부(33) 및 제어 데이터 생성부(34)를 포함한다.4, the simulation apparatus 30 includes a virtual manipulator control section 31, a virtual manipulator 32, a learning section 33, and a control data generating section 34. [

가상 매니퓰레이터 제어부(31)는 웨어러블 디바이스(10)로부터 수신한 센서 데이터에 기초하여 가상 매니퓰레이터(32)가 매니퓰레이터(20)를 시뮬레이션하도록 제어하는 수단이다.The virtual manipulator control unit 31 is means for controlling the virtual manipulator 32 to simulate the manipulator 20 based on the sensor data received from the wearable device 10. [

도 5는 센서 데이터를 화면에 표시한 상태를 나타낸 것이다.5 shows a state in which the sensor data is displayed on the screen.

도 5의 센서 데이터는 왼쪽 위부터 시계 방향으로 각각 가속도, EMG, 자이로, 오리엔테이션(방향) 데이터를 나타낸 것으로서, 작업자가 웨어러블 디바이스(10)를 착용한 상태에서 매니퓰레이터(20)를 조작할 때의 센서 데이터들의 변화를 나타낸 것이다.5 shows the acceleration data, the EMG data, the gyro data, and the orientation data (direction data) from the upper left to the upper right in the clockwise direction. It shows the change of data.

가상 매니퓰레이터 제어부(31)는 이러한 센서 데이터에 기초하여 가상 매니퓰레이터(32)가 매니퓰레이터(20)의 동작을 시뮬레이션하도록 제어한다.The virtual manipulator control section 31 controls the virtual manipulator 32 to simulate the operation of the manipulator 20 based on the sensor data.

가상 매니퓰레이터(32)는 매니퓰레이터(20)를 컴퓨터 상에서 가상으로 구현한 것으로서, 가상 매니퓰레이터 제어부(31)에 의해 조작되어 매니퓰레이터(20)의 동작을 시뮬레이션하는 수단이다.The virtual manipulator 32 is a virtual implementation of the manipulator 20 on a computer and is means for simulating the operation of the manipulator 20 by the virtual manipulator control unit 31. [

가상 매니퓰레이터(32)는 가상 매니퓰레이터 제어부(31)에 의해 매니퓰레이터(20)의 동작을 시뮬레이션하면서 매니퓰레이터(20)의 모션 데이터를 생성한다The virtual manipulator 32 generates motion data of the manipulator 20 while simulating the operation of the manipulator 20 by the virtual manipulator control unit 31

여기에서, 모션 데이터는 매니퓰레이터(20)의 특정 부위 예컨대 매니퓰레이터(20)이 단부에 구비되어 물체를 집을 수 있는 그리퍼의 3차원 공간에서의 좌표값 및 이동 경로 정보를 포함할 수 있다.Here, the motion data may include coordinate values and movement path information in the three-dimensional space of the gripper, which is provided at a specific portion of the manipulator 20, for example, the manipulator 20 at the end thereof.

또한, 모션 데이터는 매니퓰레이터(20)의 각 축의 좌표값 및 이동 경로 정보를 포함할 수 있다.In addition, the motion data may include coordinate values of each axis of the manipulator 20 and movement path information.

생성된 모션 데이터는 학습부(33)로 전달된다.The generated motion data is transmitted to the learning unit 33.

학습부(33)는 가상 매니퓰레이터(32)로부터 수신한 모션 데이터에 기초하여 매니퓰레이터(20)의 움직임을 학습시키기 위한 수단이다. The learning unit 33 is means for learning the motion of the manipulator 20 based on the motion data received from the virtual manipulator 32. [

학습부(33)는 인공 신경망 및 기계 학습(machine learning) 알고리듬을 사용할 수 있다. 즉, 학습부(33)는 기계 학습 알고리듬에 의해 특정한 센서 데이터 또는 모션 데이터에 대해서 매니퓰레이터(20)가 3차원 공간 상에서 움직이는 이동 경로 및 속도를 최적화하도록 학습부(33) 내부의 분류기(classifier)에서 사용되는 변수를 학습시킨다.The learning unit 33 may use an artificial neural network and a machine learning algorithm. That is, the learning unit 33 determines the movement path and the velocity of the manipulator 20 to move in the three-dimensional space with respect to the sensor data or the motion data specified by the machine learning algorithm in a classifier in the learning unit 33 Learn the variables used.

이 때, 매니퓰레이터(20)의 특정 부위 예컨대 매니퓰레이터(20)의 단부에 설치되어 물체를 집을 수 있기 위한 그리퍼에 대한 이동 경로 및 속도를 최적화하도록 학습시킬 수 있다.At this time, it is possible to learn to optimize the movement path and the speed for the gripper to be able to pick up the object, which is provided at a specific portion of the manipulator 20, for example, at the end of the manipulator 20.

이러한 학습부(33)의 구체적인 구성은 본 발명의 직접적인 구성은 아니며 종래 기술에 의해 알려져 있는 것을 사용할 수 있으므로 상세 설명은 생략한다.The specific configuration of the learning unit 33 is not a direct configuration of the present invention, and the one known in the prior art can be used, and a detailed description thereof will be omitted.

학습부(33)에서 학습이 완료되면, 특정 센서 데이터나 모션 데이터에 대한 최적의 속도 및 경로에 대한 제어 데이터가 생성된다. 생성된 제어 데이터는 제어 데이터 생성부(34)로 전달된다.When the learning is completed in the learning unit 33, control data for the optimum speed and path for specific sensor data or motion data is generated. The generated control data is transmitted to the control data generating unit 34.

제어 데이터 생성부(34)는 학습부(33)에서 수행된 학습 결과에 따라 매니퓰레이터(20)의 움직임에 대한 제어 데이터를 생성하는 기능을 담당한다.The control data generation unit 34 is responsible for generating control data for the motion of the manipulator 20 in accordance with the learning result performed by the learning unit 33. [

제어 데이터 생성부(34)는 학습부(33)에서 피드백된 결과에 기초하여 매니퓰에이터(20)가 특정 작업을 수행할 때 요구되는 움직임을 최적화한 제어 데이터를 생성한다.The control data generation unit 34 generates control data that optimizes the motion required when the manipulator 20 performs a specific task based on the result fed back from the learning unit 33. [

제어 데이터 생성부(34)는 생성된 제어 데이터를 저장하고, 매니퓰레이터(20)로부터 요청이 있는 경우 해당 제어 데이터를 전송하거나, 매니퓰레이터(20)로 미리 전송해 두고 매니퓰레이터(20)에서 작업에 사용하도록 한다.The control data generation unit 34 stores the generated control data and transmits the control data when there is a request from the manipulator 20 or transmits the control data to the manipulator 20 in advance so that the manipulator 20 can use it do.

도 6은 본 발명에 의한 시스템(100)의 동작을 개략적으로 나타낸 도면이다.6 is a diagram schematically illustrating the operation of the system 100 according to the present invention.

도 6에 나타낸 바와 같이, 작업자가 웨어러블 디바이스(10)를 착용하여 매니퓰레이터(20)를 조작하여 센서 데이터를 획득하여 시뮬레이션 장치(30)로 전송하면, 시뮬레이션 장치(30)는 가상 시뮬레이터(32)를 구동하여 모션 데이터를 획득하고 이에 기초하여 학습을 수행한 후, 매니퓰레이터(20)를 제어하기 위한 제어 데이터를 생성하여 매니퓰레이터(20)를 제어할 수 있다.6, when the operator wears the wearable device 10 and operates the manipulator 20 to acquire sensor data and transmits the sensor data to the simulation apparatus 30, the simulation apparatus 30 acquires the virtual simulator 32 The control unit 20 can control the manipulator 20 by generating control data for controlling the manipulator 20 after learning motion based on the acquired motion data.

이상에서 본 발명에 의한 바람직한 실시예를 참조하여 본 발명을 설명하였으나 본 발명은 상기 실시예에 한정되는 것이 아니며 다양한 수정 및 변형 실시가 가능함은 물론이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments.

예컨대, 상기 실시예에서는 작업자가 웨어러블 디바이스(10)를 착용하고 매니퓰레이터(20)를 조작할 때 팔의 움직임과 관련된 센서 데이터를 획득하는 것으로 설명하였으나, 매니퓰레이터(20) 대신 가상 매니퓰레이터(32)를 조작하도록 하여 센서 데이터를 획득하는 것도 가능하다. 이 경우, 고가의 매니퓰레이터(20)의 조작으로 인한 장비의 고장이나 사고를 원천적으로 차단할 수 있다.For example, in the above-described embodiment, the operator acquires the sensor data related to the movement of the arm when the wearable device 10 is worn and manipulates the manipulator 20. However, instead of manipulating the manipulator 20, It is also possible to acquire sensor data. In this case, it is possible to fundamentally cut off the malfunction or accident of the equipment due to the manipulation of the expensive manipulator 20.

100...웨어러블 디바이스를 이용한 매니퓰레이터 제어 시스템
10...웨어러블 디바이스
20...매니퓰레이터
30...시뮬레이션 장치100 ... Manipulator control system using wearable device
10 ... wearable device
20 ... manipulator
30 ... Simulation device

Claims (5)

웨어러블 디바이스를 이용한 매니퓰레이터 제어 시스템으로서,
작업자의 팔뚝에 착용되며, 작업자가 매니퓰레이터를 조작할 때의 팔의 움직임과 관련된 센서 데이터를 획득하여 시뮬레이션 장치로 전송하는 웨어러블 디바이스;
작업자의 조작에 의해 동작하거나 시뮬레이션 장치에서 생성된 제어 데이터에 의해 동작하는 매니퓰레이터; 및
웨어러블 디바이스로부터 수신한 센서 데이터에 기초하여 가상 매니퓰레이터를 시뮬레이션하고, 시뮬레이션 결과에 따라 제어 데이터를 생성하는 시뮬레이션 장치
를 포함하는 웨어러블 디바이스를 이용한 매니퓰레이터 제어 시스템.
A manipulator control system using a wearable device,
A wearable device which is worn on the forearm of an operator and acquires sensor data related to movement of the arm when the operator operates the manipulator and transmits the acquired sensor data to the simulation device;
A manipulator operated by operation of an operator or operated by control data generated by a simulation apparatus; And
A simulation apparatus for simulating a virtual manipulator based on sensor data received from a wearable device and generating control data according to a simulation result,
And the manipulator control system using the wearable device.
제1항에 있어서,
상기 센서 데이터는, 작업자가 매니퓰레이터를 조작할 때의 근전도(EMG), 각속도, 가속도 데이터를 포함하는 것을 특징으로 하는 웨어러블 디바이스를 이용한 매니퓰레이터 제어 시스템.
The method according to claim 1,
Wherein the sensor data includes EMG, angular velocity, and acceleration data when an operator operates the manipulator.
제1항에 있어서,
상기 시뮬레이션 장치는,
웨어러블 디바이스로부터 수신한 센서 데이터에 기초하여 가상 매니퓰레이터가 매니퓰레이터를 시뮬레이션하도록 제어하는 가상 매니퓰레이터 제어부;
가상 매니퓰레이터 제어부에 의해 조작되어 매니퓰레이터의 동작을 컴퓨터 상에서 시뮬레이션하고 매니퓰레이터의 움직임에 대한 모션 데이터를 생성하는 가상 매니퓰레이터;
가상 매니퓰레이터로부터 수신한 모션 데이터에 기초하여 매니퓰레이터의 움직임을 최적화하기 위한 학습을 수행하는 학습부; 및
학습부에서 수행된 학습 결과에 따라 매니퓰레이터의 움직임에 대한 제어 데이터를 생성하는 제어 데이터 생성부
를 포함하는 것을 특징으로 하는 웨어러블 디바이스를 이용한 매니퓰레이터 제어 시스템.
The method according to claim 1,
The simulation apparatus includes:
A virtual manipulator control unit for controlling the virtual manipulator to simulate the manipulator based on the sensor data received from the wearable device;
A virtual manipulator that is operated by a virtual manipulator control unit to simulate the operation of the manipulator on a computer and generate motion data for the manipulator's motion;
A learning unit for performing learning to optimize a motion of a manipulator based on motion data received from a virtual manipulator; And
And a control data generation unit for generating control data for the movement of the manipulator in accordance with the learning result performed by the learning unit,
And a controller for controlling the wearable device.
제3항에 있어서,
상기 학습부는, 센서 데이터 또는 모션 데이터에 대해서 매니퓰레이터가 3차원 공간 상에서 움직이는 이동 경로 및 속도를 최적화하도록 학습하는 것을 특징으로 하는 웨어러블 디바이스를 이용한 매니퓰레이터 제어 시스템.
The method of claim 3,
Wherein the learning unit learns the sensor data or the motion data so as to optimize the movement path and speed at which the manipulator moves in the three-dimensional space.
제1항에 있어서,
상기 웨어러블 디바이스는, 작업자가 가상 매니퓰레이터를 조작할 때의 팔의 움직임과 관련된 센서 데이터를 획득하여 시뮬레이션 장치로 전송하는 것을 특징으로 하는 웨어러블 디바이스를 이용한 매니퓰레이터 제어 시스템.The method according to claim 1,
Wherein the wearable device acquires sensor data related to movement of the arm when the worker operates the virtual manipulator and transmits the acquired sensor data to the simulation device.
KR1020160171335A 2016-12-15 2016-12-15 System for controlling manipulator using wearable device KR20180069288A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160171335A KR20180069288A (en) 2016-12-15 2016-12-15 System for controlling manipulator using wearable device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160171335A KR20180069288A (en) 2016-12-15 2016-12-15 System for controlling manipulator using wearable device

Publications (1)

Publication Number Publication Date
KR20180069288A true KR20180069288A (en) 2018-06-25

Family

ID=62806027

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160171335A KR20180069288A (en) 2016-12-15 2016-12-15 System for controlling manipulator using wearable device

Country Status (1)

Country Link
KR (1) KR20180069288A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200026617A (en) * 2018-09-03 2020-03-11 창원대학교 산학협력단 remote controller system for robot arm
KR20210059079A (en) * 2019-11-13 2021-05-25 경일대학교산학협력단 Hand tracking system using epth camera and electromyogram sensors

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200026617A (en) * 2018-09-03 2020-03-11 창원대학교 산학협력단 remote controller system for robot arm
KR20210059079A (en) * 2019-11-13 2021-05-25 경일대학교산학협력단 Hand tracking system using epth camera and electromyogram sensors

Similar Documents

Publication Publication Date Title
US11103322B2 (en) Remote control robot system
US20210205986A1 (en) Teleoperating Of Robots With Tasks By Mapping To Human Operator Pose
CN106239516B (en) Robot control device, robot, and robot system
Bonilla et al. A robot on the shoulder: Coordinated human-wearable robot control using coloured petri nets and partial least squares predictions
US20170249561A1 (en) Robot learning via human-demonstration of tasks with force and position objectives
CN114174015B (en) Control device, control system, robot system, and control method
CN110914022A (en) System and method for direct teaching of robots
Clark et al. On the role of wearable haptics for force feedback in teleimpedance control for dual-arm robotic teleoperation
JP4534015B2 (en) Master / slave robot control information confirmation method
RU179301U1 (en) VIRTUAL REALITY GLOVE
RU187548U1 (en) VIRTUAL REALITY GLOVE
CN107257946B (en) System for virtual debugging
KR20190048589A (en) Apparatus and method for dual-arm robot teaching based on virtual reality
Odesanmi et al. Skill learning framework for human–robot interaction and manipulation tasks
KR20180069288A (en) System for controlling manipulator using wearable device
Chan et al. A multimodal system using augmented reality, gestures, and tactile feedback for robot trajectory programming and execution
Bogue The role of augmented reality in robotics
US20220101477A1 (en) Visual Interface And Communications Techniques For Use With Robots
Yan et al. Adaptive vision-based control of redundant robots with null-space interaction for human-robot collaboration
Sylari et al. Hand gesture-based on-line programming of industrial robot manipulators
Ciobanu et al. Robot telemanipulation system
Grushko et al. Improving human awareness during collaboration with robot
RU2813444C1 (en) Mixed reality human-robot interaction system
WO2023037966A1 (en) System and method for control of robot avatar by plurality of persons
US20230072317A1 (en) Wearable robot data collection system with human-machine operation interface

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application