KR20190091870A - Robot control system using motion sensor and VR - Google Patents

Robot control system using motion sensor and VR Download PDF

Info

Publication number
KR20190091870A
KR20190091870A KR1020180010968A KR20180010968A KR20190091870A KR 20190091870 A KR20190091870 A KR 20190091870A KR 1020180010968 A KR1020180010968 A KR 1020180010968A KR 20180010968 A KR20180010968 A KR 20180010968A KR 20190091870 A KR20190091870 A KR 20190091870A
Authority
KR
South Korea
Prior art keywords
robot
motion
unit
sensor
user
Prior art date
Application number
KR1020180010968A
Other languages
Korean (ko)
Inventor
김종식
황영준
이재준
Original Assignee
부산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단 filed Critical 부산대학교 산학협력단
Priority to KR1020180010968A priority Critical patent/KR20190091870A/en
Publication of KR20190091870A publication Critical patent/KR20190091870A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Abstract

The present invention relates to a robot control system using a motion sensor and virtual reality (VR), which is able to control a robot by using the motion sensor without a separate control apparatus, to install one or more cameras around the robot to remotely control the robot, and to allow a user to monitor movements of the robot in real time in a VR environment. According to the present invention, the robot control system using the motion sensor and VR comprises: a sensor unit (10) which includes one or more motion recognition sensors (100) to recognize a user′s motion and to transmit a motion sensing signal to a control unit (20); the control unit (20) which drives one or more robots (30) by corresponding to the motion sensing signal received from the sensor unit (10); the robots (30) wired or wirelessly connected to the control unit (20) to be driven in accordance with an input of the control unit (20) corresponding to the motion sensing signal; a capture unit (40) which photographs or recognizes the motion of the robots (30), and which includes one or more cameras (400) to photograph the motion of the robots (30) and to transmit the motion of the robots (30) to an image unit (50) in real time; and the image unit (50) which receives the image of the capture unit (40) to allow the user to view the motion of the robots in real time in a three-dimensional manner in a VR environment using VR technology.

Description

모션센서와 VR을 활용한 로봇 제어 시스템 {Robot control system using motion sensor and VR}Robot control system using motion sensor and VR {Robot control system using motion sensor and VR}

본 발명은 모션센서와 VR을 활용한 로봇 제어 시스템에 관한 것으로, 더욱 상세하게는 모션센서로부터 획득한 영상 데이터로부터 사용자의 움직임 정보를 생성하여 사용자의 움직임에 따라 원격으로 로봇을 구동하고, 로봇의 구동을 촬영하여 그 영상을 사용자에게 가상현실 기술(이하 VR)을 통해 실시간으로 모니터링 및 로봇 제어를 동시에 할 수 있도록 하는 시스템에 관한 것이다.The present invention relates to a robot control system using a motion sensor and VR, and more particularly, to generate a user's motion information from the image data obtained from the motion sensor to remotely drive the robot according to the user's movement, The present invention relates to a system that allows the user to simultaneously monitor and control the robot in real time through virtual reality technology (VR) by photographing the driving.

기술의 발달을 통해 로봇 팔을 이용한 수술을 하는 경우와, 위험하거나 사람이 하기 힘든 산업 현장에서 사람 대신 로봇이 투입되어 작업을 하는 경우가 늘어나고 있다. 로봇의 활용으로 의료분야에서는 수술의 정밀도 향상, 산업 현장에서는 인건비 절약과 안전사고 예방의 효과가 있다. 또한, 기존에는 소수의 사람만이 가능했던 기술들을 로봇을 통해 많은 사람들이 누릴 수 있게 된다.With advances in technology, more and more people are operating with robotic arms, and robots are being used instead of humans in dangerous or difficult industrial sites. The use of robots has the effect of improving the precision of surgery in the medical field, saving labor costs and preventing accidents in the industrial field. In addition, many people will be able to enjoy the technology that was previously only available to a few people.

그러한 가운데, 현재 4차 산업혁명이 새로운 성장 동력으로 주목받으며 많은 곳의 관심을 받고 있다. 4차 산업혁명의 주요 기술인 로봇과 VR, 모션 캡쳐를 사용한다면 사람의 행동을 대신해주는 로봇 및 로봇 팔을 제어할 수 있게 된다.In the meantime, the Fourth Industrial Revolution is drawing attention as a new growth engine and attracting much attention. Using robots, VR, and motion capture, the main technologies of the Fourth Industrial Revolution, we can control robots and robotic arms that take the place of human actions.

모션 캡쳐가 가능한 센서 중, 최근 개발자들에 의해 다방면으로 연구중인 키넥트 센서(Kinect sensor)와 같은 비전 센서는 별도의 입력 장치가 없어도 사용자 움직임을 해석하여 명령을 입력받을 수 있게 하는 센서이다. 사용자의 움직임을 이용한 입력 방법은 별도의 입력 장치가 있는 경우보다 가능한 명령의 개수가 많아지고, 입력을 위한 조작이 간편하고 직관적일 수 있다.Among sensors that can capture motion, vision sensors such as Kinect sensors, which are being studied in various fields by developers recently, are sensors that can receive commands by analyzing user movement without a separate input device. An input method using a user's movement may increase the number of possible commands more than if there is a separate input device, and operation for input may be simple and intuitive.

한편, 기존의 모션센서를 이용한 로봇 제어 시스템들은, 사용자가 로봇 주위에 위치하여 로봇을 눈으로 보면서 모션을 통해 제어하기 때문에 시간과 공간적 제약이 많다. 이 경우, 모션인식 기술을 사용함에도 불구하고, 로봇을 조작하는 방법이 직관적이라는 것 이외에 기존의 프로그램 또는 조작 버튼 등으로 제어하는 방법과 큰 차이가 없다.On the other hand, robot control systems using a conventional motion sensor, there is a lot of time and space constraints because the user is located around the robot to control the motion by looking at the robot. In this case, despite the use of the motion recognition technology, there is no significant difference from the method of controlling the robot with the existing program or the operation button, etc., in addition to being intuitive.

또한, 원격에 있는 로봇을 제어하는 경우에도 제시되는 영상의 시야 범위에서 로봇이 벗어날 경우 실시간 모니터링이 어려운 단점이 있다. 모션인식을 통해 원격으로 로봇을 제어하기 위해, 로봇 주위에 카메라를 설치해 두고 화면을 통해 모니터링 하면서 로봇을 제어하는데, 고정된 카메라의 경우 로봇이 화면 밖으로 벗어나면 모니터링이 불가능하고, 카메라가 회전 등이 가능한 경우에도 실제 로봇의 옆에서 제어하는 것에 비해 시각적으로 제한되는 부분이 크다.In addition, even in the case of controlling the robot in the remote, there is a disadvantage that real-time monitoring is difficult if the robot is out of the range of the image of the presented image. In order to control the robot remotely through motion recognition, a camera is installed around the robot and the robot is controlled by monitoring it on the screen. Even when possible, there is a large visual limitation compared to controlling by a real robot.

모션센서를 활용한 로봇 제어 시스템은 현재 용도에 맞게 다양한 형태와 종류로 개발되어 있으나, 그 중 가장 보편적인 모션센서를 활용한 로봇 제어 시스템는 국내공개특허공보 10-2017-0090316에서 개시한 형태이다.Robot control system using a motion sensor has been developed in various forms and types according to the current use, the robot control system using the most common motion sensor among them is the type disclosed in Korean Patent Publication No. 10-2017-0090316.

본 발명은 별도의 조종장치 없이 모션센서를 이용하여 로봇을 제어하며, 로봇을 원격으로 제어할 수 있도록 로봇 주위에 하나 이상의 카메라를 설치하는 것으로 사용자가 VR환경에서 실시간으로 로봇의 움직임을 모니터링 할 수 있도록 하는 것을 목적으로 한다.The present invention controls the robot using a motion sensor without a separate control device, and by installing one or more cameras around the robot to control the robot remotely, the user can monitor the movement of the robot in real time in the VR environment The purpose is to make sure.

본 발명의 실시 예에 따른 모션센서와 VR을 활용한 로봇 제어 시스템은, 하나 이상의 모션인식 센서(100)를 구비하고, 사용자의 움직임을 인식하여 모션 센싱 신호를 제어(20)부로 전송하는 센서부(10);와 상기 센서부(10)로부터 수신한 모션 센싱 신호에 대응하여 하나 이상의 로봇(30)을 구동하는 제어부(20);와 상기 제어부(20)와 유선 또는 무선으로 연결되어, 모션 센싱 신호에 대응되는 제어부(20)의 입력에 따라 구동되는 로봇(30);과 상기 로봇(30)의 움직임을 촬영 또는 인식하는 캡쳐부(40);와 상기 캡쳐부(40)는 하나 이상의 카메라(400)를 구비하여 로봇(30)의 움직임을 촬영하여, 실시간으로 로봇(30)의 움직임을 영상부(50)로 전송하는 것을 특징으로 하고, 상기 캡쳐부(40)의 영상을 수신하여, 사용자가 VR기술을 활용한 가상현실 환경에서 상기 로봇(30)의 움직임을 실시간 입체적으로 볼 수 있도록 하는 영상부(50);를 포함하는 것을 특징으로 하여 구성된다.Robot control system using a motion sensor and VR according to an embodiment of the present invention, the sensor unit having one or more motion recognition sensor 100, and recognizes the user's movement to transmit a motion sensing signal to the control unit 20 And a control unit 20 for driving one or more robots 30 in response to the motion sensing signal received from the sensor unit 10 and wired or wirelessly connected to the control unit 20 to sense motion. The robot 30 driven according to the input of the control unit 20 corresponding to the signal; and the capture unit 40 for capturing or recognizing the movement of the robot 30; and the capture unit 40 includes one or more cameras ( 400 to capture the movement of the robot 30, and transmits the movement of the robot 30 to the image unit 50 in real time, and receives the image of the capture unit 40, the user Movement of the robot 30 in a virtual reality environment using VR technology It is configured to include; video unit 50 to view in real time three-dimensional.

한편, 상기 영상부(50)는, 사용자의 머리에 착용 가능하고, 상기 캡쳐부(40)와 유선 또는 무선으로 연결되어 캡쳐부(40)의 영상을 실시간으로 출력가능하고, 상기 캡쳐부(40)는, VR카메라(400')를 구비하여, 로봇(30)의 움직임을 캡쳐부(40)를 중심으로 하여 전 방향으로 촬영 가능하며, 상기 로봇(30)은, 로봇 팔(300)을 구비하여, 사용자의 팔 움직임에 대응하여 움직이는 것으로, 사용자의 팔 움직임을 원격으로 구현할 수 있고, 상기 모션인식 센서(100)는, 키넥트 센서(Kinect Sensor, 100')인 것을 특징으로 한다.The image unit 50 may be worn on a user's head and may be connected to the capture unit 40 by wire or wirelessly to output an image of the capture unit 40 in real time, and the capture unit 40 ) Is equipped with a VR camera 400 ′, capable of photographing the movement of the robot 30 in all directions around the capture unit 40, and the robot 30 includes a robot arm 300. Thus, by moving in response to the user's arm movement, the user's arm movement can be remotely implemented, the motion recognition sensor 100 is characterized in that the Kinect sensor (Kinect Sensor, 100 ').

본 발명에 의하면, 별도의 조종장치 없이 모션센서를 이용하여 로봇을 제어할 수 있으며, 사용자가 VR환경에서 실시간으로 로봇의 움직임을 모니터링 가능한 로봇 제어 방법을 제공할 수 있다.According to the present invention, a robot can be controlled using a motion sensor without a separate control device, and a user can provide a robot control method capable of monitoring a robot's movement in real time in a VR environment.

또한, VR환경을 통해 로봇을 모니터링 하는 것으로, 원격에서 로봇을 제어하는 것이 가능하며, 단순한 영상을 통한 모니터링에 비해 더 입체적이고 현실적인 모니터링을 제공할 수 있다.In addition, by monitoring the robot through the VR environment, it is possible to control the robot remotely, and can provide more three-dimensional and realistic monitoring than monitoring through a simple image.

도 1 은 본 발명의 실시 예에 따른 모션센서와 VR을 활용한 로봇 제어 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2 는 본 발명의 실시 예에 따른 모션센서와 VR을 활용한 로봇 제어 시스템의 구성을 순서도로 나타낸 도면이다.
도 3 은 본 발명의 실시 예에 따른 모션인식에 대응한 로봇 팔의 움직임을 개략적으로 나타낸 도면이다.
도 4 는 본 발명의 실시 예에 따른 모션센서와 VR을 활용한 로봇 제어 시스템의 구성에서 Kinect Sensor의 센서 종류를 표시한 도면이다.1 is a view schematically showing the configuration of a robot control system using a motion sensor and VR according to an embodiment of the present invention.
2 is a flowchart illustrating a configuration of a robot control system using a motion sensor and VR according to an embodiment of the present invention.
3 is a view schematically showing the movement of the robot arm corresponding to the motion recognition according to an embodiment of the present invention.
4 is a view showing sensor types of a Kinect sensor in the configuration of a robot control system using a motion sensor and VR according to an embodiment of the present invention.

이하에서는 도면을 참조하여, 본 발명의 실시 예를 설명한다. 다만, 본 발명의 사상은 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 실시 예를 용이하게 제안할 수 있을 것이다.Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the spirit of the present invention is not limited to the embodiments presented, and those skilled in the art who understand the spirit of the present invention can easily suggest other embodiments within the scope of the same idea.

기존의 모션센서를 이용한 로봇 제어 시스템들은, 사용자가 로봇 주위에 위치하여 로봇을 눈으로 보면서 모션을 통해 제어하기 때문에 시간과 공간적 제약이 많다. 이 경우, 모션인식 기술을 사용함에도 불구하고, 로봇을 조작하는 방법이 직관적이라는 것 이외에 기존의 프로그램 또는 조작 버튼 등으로 제어하는 방법과 큰 차이가 없다.Robot control systems using a conventional motion sensor have a lot of time and space constraints because the user is located around the robot and controls the motion while looking at the robot. In this case, despite the use of the motion recognition technology, there is no significant difference from the method of controlling the robot with the existing program or the operation button, etc., in addition to being intuitive.

또한, 원격에 있는 로봇을 제어하는 경우에도 제시되는 영상의 시야 범위에서 로봇이 벗어날 경우 실시간 모니터링이 어려운 단점이 있다. 모션인식을 통해 원격으로 로봇을 제어하기 위해, 로봇 주위에 카메라를 설치해 두고 화면을 통해 모니터링 하면서 로봇을 제어하는데, 고정된 카메라의 경우 로봇이 화면 밖으로 벗어나면 모니터링이 불가능하고, 카메라가 회전 등이 가능한 경우에도 실제 로봇의 옆에서 제어하는 것에 비해 시각적으로 제한되는 부분이 크다.In addition, even in the case of controlling the robot in the remote, there is a disadvantage that real-time monitoring is difficult if the robot is out of the range of the image of the presented image. In order to control the robot remotely through motion recognition, a camera is installed around the robot and the robot is controlled by monitoring it on the screen. Even when possible, there is a large visual limitation compared to controlling by a real robot.

따라서, 본 발명에서는 전술한 바와 같은 종래의 모션센서를 활용한 로봇 제어 시스템의 문제점을 해결하기 위해, 하나 이상의 모션인식 센서(100)를 구비하고, 사용자의 움직임을 인식하여 모션 센싱 신호를 제어(20)부로 전송하는 센서부(10);를 포함하고 있다.Accordingly, in the present invention, in order to solve the problem of the conventional robot control system using a motion sensor as described above, having at least one motion recognition sensor 100, and recognizes the user's movement to control the motion sensing signal ( 20) the sensor unit 10 to transmit to the unit.

기본적으로는 본 발명의 실시 예와 같이, 하나의 모션인식 센서(100)를 구비하는 것으로 로봇(30)의 제어가 충분히 가능하지만, 인식의 정확성 향상이나 동시에 여러 사람의 모션 인식을 위해 여러 개의 모션인식 센서(100)를 구비하는 것도 가능하다 할 것이다.Basically, as in the embodiment of the present invention, the control of the robot 30 is sufficiently possible by having one motion recognition sensor 100, but several motions are performed to improve the accuracy of recognition or to recognize motion of several people at the same time. It will also be possible to have a recognition sensor 100.

또한, 상기 센서부(10)로부터 수신한 모션 센싱 신호에 대응하여 하나 이상의 로봇(30)을 구동하는 제어부(20);를 포함한다.The controller 20 may drive one or more robots 30 in response to the motion sensing signal received from the sensor unit 10.

대상이 되는 로봇(30)의 유형에 따라, 동일한 동작을 하는 여러 대의 로봇(30)이 있을 경우, 한 사람이 한 번의 동작을 하는 것으로 여러 대의 로봇(30)이 동일한 동작을 하도록 하는 것이 가능하다.According to the type of the robot 30 to be targeted, when there are several robots 30 that perform the same operation, it is possible to have several robots 30 perform the same operation by one person performing one operation. .

그리고, 상기 제어부(20)와 유선 또는 무선으로 연결되어, 모션 센싱 신호에 대응되는 제어부(20)의 입력에 따라 구동되는 로봇(30);을 포함한다.The robot 30 is connected to the control unit 20 by wire or wirelessly and is driven by an input of the control unit 20 corresponding to the motion sensing signal.

본 발명의 실시 예에 따른 시스템을 구현하기 위해서는, 사용자의 모션 센싱 신호마다 상기 로봇(30)이 어떤 동작을 할지 입력하는 과정이 필요하다. 모션 센싱 신호와 로봇(30)의 동작을 연동시키는 데는, 머신러닝 알고리즘을 통한 방식도 가능하다 할 것이다.In order to implement a system according to an exemplary embodiment of the present disclosure, a process of inputting what operation the robot 30 will perform for each motion sensing signal of a user is required. In order to link the motion sensing signal with the operation of the robot 30, a method through a machine learning algorithm may be possible.

또한, 상기 로봇(30)의 움직임을 촬영 또는 인식하는 캡쳐부(40);를 포함하고, 상기 캡쳐부(40)는 하나 이상의 카메라(400)를 구비하여 로봇(30)의 움직임을 촬영하여, 실시간으로 로봇(30)의 움직임을 영상부(50)로 전송하는 것을 특징으로 한다.In addition, the capture unit 40 for capturing or recognizing the movement of the robot 30; includes, the capture unit 40 is provided with one or more cameras 400 to capture the movement of the robot 30, It is characterized in that the movement of the robot 30 in real time to the image unit 50.

사용자와 원격지에 위치한 로봇(30)을 제어하기 위해, 촬영 또는 인식된 로봇(30)의 영상 또는 신호를 유무선 통신기술을 통해 사용자에게 실시간으로 전송한다. 상기 카메라(400)는 일반 카메라도 가능하지만, 제어의 대상이 되는 로봇(30)의 특성에 따라 VR카메라 또는 모션인식 센서 등을 사용하는 것도 가능하다 할 것이다. 위치가 이동하는 로봇(30)의 경우, 로봇(30)을 트래킹하는 카메라(400)를 사용할 수도 있을 것이다.In order to control the user and the robot 30 located at a remote location, the image or signal of the photographed or recognized robot 30 is transmitted to the user in real time through a wired or wireless communication technology. The camera 400 may be a general camera, but it may be possible to use a VR camera or a motion recognition sensor according to the characteristics of the robot 30 to be controlled. In the case of the robot 30 in which the position moves, the camera 400 tracking the robot 30 may be used.

그리고, 상기 캡쳐부(40)의 영상을 수신하여, 사용자가 VR기술을 활용한 가상현실 환경에서 상기 로봇(30)의 움직임을 실시간 입체적으로 볼 수 있도록 하는 영상부(50);를 포함하는 것을 특징으로 한다.And an image unit 50 that receives the image of the capture unit 40 and allows a user to see the movement of the robot 30 in real time in a virtual reality environment using VR technology. It features.

본 발명의 실시 예에서는, VR기기를 사용자가 착용한 상태에서 모션을 통해 로봇을 제어하고 있으나, 필요에 따라 VR기기 이외의 영상장치를 구비하는 구성도 가능하다 할 것이다.In an embodiment of the present invention, the robot is controlled through motion in a state where the user wears the VR device, but if necessary, a configuration including an image device other than the VR device may be possible.

또한, 상기 영상부(50)는, 사용자의 머리에 착용 가능하고, 상기 캡쳐부(40)와 유선 또는 무선으로 연결되어 캡쳐부(40)의 영상을 실시간으로 출력가능한 것을 특징으로 한다.In addition, the image unit 50 may be worn on the user's head and may be connected to the capture unit 40 by wire or wirelessly to output an image of the capture unit 40 in real time.

도 1 은 본 발명의 실시 예에 따른 모션센서와 VR을 활용한 로봇 제어 시스템의 구성을 개략적으로 나타낸 도면이다. 도 2 는 본 발명의 실시 예에 따른 모션센서와 VR을 활용한 로봇 제어 시스템의 구성을 순서도로 나타낸 도면이다.1 is a view schematically showing the configuration of a robot control system using a motion sensor and VR according to an embodiment of the present invention. 2 is a flowchart illustrating a configuration of a robot control system using a motion sensor and VR according to an embodiment of the present invention.

그리고, 상기 캡쳐부(40)는, VR카메라(400')를 구비하여, 로봇(30)의 움직임을 캡쳐부(40)를 중심으로 하여 전 방향으로 촬영 가능한 것을 특징으로 하는 모션센서와 VR을 활용한 로봇 제어 시스템.In addition, the capture unit 40 includes a VR camera 400 ′ to capture motion of the robot 30 in all directions with respect to the capture unit 40. Robot control system utilized.

또한, 상기 로봇(30)은, 로봇 팔(300)을 구비하여, 사용자의 팔 움직임에 대응하여 움직이는 것으로, 사용자의 팔 움직임을 원격으로 구현하도록 할 수 있다.In addition, the robot 30 may include a robot arm 300 and move in response to a user's arm movement to remotely implement the user's arm movement.

도 3 은 본 발명의 실시 예에 따른 모션인식에 대응한 로봇 팔의 움직임을 개략적으로 나타낸 도면이다.3 is a view schematically showing the movement of the robot arm corresponding to the motion recognition according to an embodiment of the present invention.

한편, 상기 모션인식 센서(100)는, 키넥트 센서(Kinect Sensor, 100')를 사용할 수 있으며, 이외의 모션인식 센서(100)를 사용하는 것도 무관하다.Meanwhile, the motion recognition sensor 100 may use a Kinect sensor (100 '), and other motion recognition sensors 100 may be used.

도 4 는 본 발명의 실시 예에 따른 모션센서와 VR을 활용한 로봇 제어 시스템의 구성에서 Kinect Sensor의 센서 종류를 표시한 도면이다.4 is a view showing sensor types of a Kinect sensor in the configuration of a robot control system using a motion sensor and VR according to an embodiment of the present invention.

10. 센서부
100. 모션인식 센서
100'. 키넥트 센서(Kinect Sensor)
20. 제어부
30. 로봇
300. 로봇 팔
40. 캡쳐부
400. 카메라
400'. VR 카메라
50. 영상부10. Sensor
100. Motion recognition sensor
100 '. Kinect Sensor
20. Control part
30. Robot
300. Robotic Arm
40. Capture
400. Camera
400 '. VR camera
50. Video

Claims (5)

하나 이상의 모션인식 센서(100)를 구비하고, 사용자의 움직임을 인식하여 모션 센싱 신호를 제어(20)부로 전송하는 센서부(10);와
상기 센서부(10)로부터 수신한 모션 센싱 신호에 대응하여 하나 이상의 로봇(30)을 구동하는 제어부(20);와
상기 제어부(20)와 유선 또는 무선으로 연결되어, 모션 센싱 신호에 대응되는 제어부(20)의 입력에 따라 구동되는 로봇(30);과
상기 로봇(30)의 움직임을 촬영 또는 인식하는 캡쳐부(40);와
상기 캡쳐부(40)는 하나 이상의 카메라(400)를 구비하여 로봇(30)의 움직임을 촬영하여, 실시간으로 로봇(30)의 움직임을 영상부(50)로 전송하는 것을 특징으로 하고,
상기 캡쳐부(40)의 영상을 수신하여, 사용자가 VR기술을 활용한 가상현실 환경에서 상기 로봇(30)의 움직임을 실시간 입체적으로 볼 수 있도록 하는 영상부(50);를 포함하는 것을 특징으로 하는 모션센서와 VR을 활용한 로봇 제어 시스템.
A sensor unit 10 having one or more motion recognition sensors 100 and recognizing a user's movement and transmitting a motion sensing signal to the control unit 20; and
A controller 20 driving one or more robots 30 in response to the motion sensing signal received from the sensor unit 10; and
A robot 30 connected to the controller 20 by wire or wirelessly and driven according to an input of the controller 20 corresponding to a motion sensing signal; and
Capture unit 40 for capturing or recognizing the movement of the robot 30; And
The capture unit 40 is provided with one or more cameras 400 to capture the movement of the robot 30, and transmits the movement of the robot 30 to the image unit 50 in real time,
Receiving an image of the capture unit 40, the image unit 50 for allowing a user to see the movement of the robot 30 in real time in a virtual reality environment using VR technology; Robot control system using motion sensor and VR.
제 1 항에 있어서,
상기 영상부(50)는, 사용자의 머리에 착용 가능하고, 상기 캡쳐부(40)와 유선 또는 무선으로 연결되어 캡쳐부(40)의 영상을 실시간으로 출력가능한 것을 특징으로 하는 모션센서와 VR을 활용한 로봇 제어 시스템.
The method of claim 1,
The video unit 50 may be worn on the user's head and connected to the capture unit 40 by wire or wirelessly to output the image of the capture unit 40 in real time. Robot control system utilized.
제 1 항에 있어서,
상기 캡쳐부(40)는, VR카메라(400')를 구비하여, 로봇(30)의 움직임을 캡쳐부(40)를 중심으로 하여 전 방향으로 촬영 가능한 것을 특징으로 하는 모션센서와 VR을 활용한 로봇 제어 시스템.
The method of claim 1,
The capture unit 40 is equipped with a VR camera 400 ', using the motion sensor and VR, characterized in that to capture the movement of the robot 30 in all directions around the capture unit 40 Robot control system.
제 1 항에 있어서,
상기 로봇(30)은, 로봇 팔(300)을 구비하여, 사용자의 팔 움직임에 대응하여 움직이는 것으로, 사용자의 팔 움직임을 원격으로 구현하는 것을 특징으로 하는 모션센서와 VR을 활용한 로봇 제어 시스템.
The method of claim 1,
The robot 30 includes a robot arm 300, which moves in response to a user's arm movement, and remotely implements a user's arm movement.
제 1 항에 있어서,
상기 모션인식 센서(100)는, 키넥트 센서(Kinect Sensor, 100')인 모션센서와 VR을 활용한 로봇 제어 시스템.The method of claim 1,
The motion recognition sensor 100, the Kinect sensor (Kinect Sensor, 100 ') using a motion control robot and VR.
KR1020180010968A 2018-01-29 2018-01-29 Robot control system using motion sensor and VR KR20190091870A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180010968A KR20190091870A (en) 2018-01-29 2018-01-29 Robot control system using motion sensor and VR

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180010968A KR20190091870A (en) 2018-01-29 2018-01-29 Robot control system using motion sensor and VR

Publications (1)

Publication Number Publication Date
KR20190091870A true KR20190091870A (en) 2019-08-07

Family

ID=67621716

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180010968A KR20190091870A (en) 2018-01-29 2018-01-29 Robot control system using motion sensor and VR

Country Status (1)

Country Link
KR (1) KR20190091870A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112975988A (en) * 2021-04-13 2021-06-18 盛天智能机器人(广东)有限责任公司 Live working robot control system based on VR technique
WO2022139026A1 (en) * 2020-12-22 2022-06-30 주식회사 에이스로보테크 Smart factory collaboration system using augmented reality

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022139026A1 (en) * 2020-12-22 2022-06-30 주식회사 에이스로보테크 Smart factory collaboration system using augmented reality
CN112975988A (en) * 2021-04-13 2021-06-18 盛天智能机器人(广东)有限责任公司 Live working robot control system based on VR technique

Similar Documents

Publication Publication Date Title
US10919152B1 (en) Teleoperating of robots with tasks by mapping to human operator pose
JP5028568B2 (en) Robot control system
RU2012142510A (en) ROBOTIC SURGICAL SYSTEMS WITH IMPROVED MANAGEMENT
JP2006502675A (en) Bio-type automatic vision and gaze control system based on biological eye movement system
KR20100085297A (en) Mobile display apparatus, robot have mobile display apparatus and display method thereof
KR20090113084A (en) Method and system for motion control in humanoid robot
JP7428436B2 (en) Proxy controller suit with arbitrary dual range kinematics
WO2017145787A1 (en) Remote operation device, remote operation method, remote operation system, and program
EP3797931A1 (en) Remote control system, information processing method, and program
KR20190091870A (en) Robot control system using motion sensor and VR
JP2017094466A (en) Robot monitor system
CN113396033A (en) Robot control system
US11458618B2 (en) Collaborative operation support device
JP6657858B2 (en) Robot operation system
KR102131097B1 (en) Robot control system and robot control method using the same
JP2019062293A (en) Camera device, camera device control system, and program
JP2007303913A (en) Foreign matter detecting device, robot device using the same, foreign matter detection method, and foreign matter detection program
JP2004291186A (en) Robot control method, robot control system, and suitable robot and controller used for them
JP2561561B2 (en) Robot hand remote control system
KR101485075B1 (en) Remote robot system
JPWO2021199230A5 (en) REMOTE MONITORING AND CONTROLLER, SYSTEM, METHOD AND PROGRAM
JP3657854B2 (en) Remote location observation equipment
WO2021256464A1 (en) Image capturing system and robot system
JP2019202354A (en) Robot control device, robot control method, and robot control program
JP2706864B2 (en) Surveillance TV camera remote control system