KR20200140834A - Wearable device-based mobile robot control system and control method - Google Patents

Wearable device-based mobile robot control system and control method Download PDF

Info

Publication number
KR20200140834A
KR20200140834A KR1020207030337A KR20207030337A KR20200140834A KR 20200140834 A KR20200140834 A KR 20200140834A KR 1020207030337 A KR1020207030337 A KR 1020207030337A KR 20207030337 A KR20207030337 A KR 20207030337A KR 20200140834 A KR20200140834 A KR 20200140834A
Authority
KR
South Korea
Prior art keywords
hand
control
manipulator
virtual
pose
Prior art date
Application number
KR1020207030337A
Other languages
Korean (ko)
Inventor
펑 지
펑잉 마
마오용 차오
빈펑 왕
민 리
Original Assignee
치루 유니버시티 오브 테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN2019103631554 priority Critical
Priority to CN2019103631681 priority
Priority to CN201910363155.4A priority patent/CN109955254B/en
Priority to CN201910363168.1A priority patent/CN110039545B/en
Application filed by 치루 유니버시티 오브 테크놀로지 filed Critical 치루 유니버시티 오브 테크놀로지
Priority to PCT/CN2020/087846 priority patent/WO2020221311A1/en
Publication of KR20200140834A publication Critical patent/KR20200140834A/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/006Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/02 - G06F3/16, e.g. facsimile, microfilm
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

본 발명은 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법을 제공하며, 제1 제어 방법의 프로세스는 조작자 제스처의 포즈-가상 제스처 모델의 포즈-가상 매니퓰레이터 엔드 포즈-다자유도 매니퓰레이터 엔드 포즈이고, 조작자 제스처 포즈와 다자유도 매니퓰레이터 엔드 포즈의 구동 관계를 구축함으로써, 다자유도 매니퓰레이터 엔드 포즈의 연속 제어를 구현한다. 제2 방법은 제어할 때 조작자의 다른 손을 사용하여 슬레이브 로봇의 다른 동작 부분을 제어하고, 왼손과 오른손을 각각 제어하여 슬레이브 로봇이 명령 동작을 실행하는 정확도를 더욱 높게 만든다. 제3 방법은 연결 손모양을 통하여 조작자가 물리적 컨트롤러에 대한 의존에서 벗어나도록 한다. 제스처 유형만 사용하여 로봇 동작에 대한 이산 제어를 구현하는 것에 비해, 정찰 시스템 엔드 위치의 증분식 연속 정밀 제어를 구현할 수 있다.The present invention provides a wearable device-based mobile robot control system and a control method, and the process of the first control method is a pose of an operator gesture-a pose of a virtual gesture model-a virtual manipulator end pose-a manipulator end pose with multiple degrees of freedom, and the operator By establishing the driving relationship between the gesture pose and the multi-degree of freedom manipulator end pose, continuous control of the multi-degree of freedom manipulator end pose is implemented. In the second method, the operator's other hand is used to control different motion parts of the slave robot, and the left and right hands are respectively controlled to further increase the accuracy of the slave robot executing a command operation. The third method frees the operator from dependence on the physical controller through the connection hand. Compared to implementing discrete control of robot motion using only gesture types, it is possible to implement incremental continuous precision control of the end position of the reconnaissance system.

Description

웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법Wearable device-based mobile robot control system and control method
본 발명은 이동 로봇의 원격 제어와 관련된 기술 분야에 관한 것으로, 더욱 상세하게는 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법에 관한 것이다.The present invention relates to a technical field related to remote control of a mobile robot, and more particularly, to a wearable device-based mobile robot control system and control method.
이 부분의 설명은 본 발명과 관련된 배경 기술 정보를 제공할 뿐이며 반드시 선행 기술을 구성하는 것은 아니다.The description in this part only provides background information related to the present invention and does not necessarily constitute prior art.
이동 정찰 로봇은 통상적으로 이동 로봇 차체와 차량 탑재 정찰 시스템으로 구성되며, 이는 전장 접근 정찰 감시, 잠행 급습, 위치 지정 소탕, 핵 생화학 처리 및 테러 방지와 폭발물 처리 등 다양한 전투 미션을 수행할 수 있다. 종래의 차량 탑재 정찰 시스템은 통상적으로 카메라와 2자유도의 짐벌로 구성되며, 그 제어 방식은 일반적으로 조이스틱의 피치(pitch) 각도와 요(yaw) 각도의 각도 정보를 통해 짐벌의 피치 제어를 구현한다. 다자유도 정찰 시스템이 탑재된 이동 정찰 로봇의 경우, 그 정찰 시스템은 일반적으로 다자유도 매니퓰레이터와 정찰 카메라로 구성되며, 그중 정찰 카메라는 다자유도 매니퓰레이터 엔드에 고정 연결된다. 로봇의 엔드 포즈는 지정 좌표계에서 로봇 엔드 이펙터의 위치와 자세를 말하며, 이동 정찰 로봇의 엔드 이펙터는 카메라이고, 정찰 로봇 엔드 포즈는 다자유도 매니퓰레이터의 엔드 포즈에 의해 결정되며, 다자유도 매니퓰레이터의 엔드 포즈 제어는 통상적으로 버튼 또는 조이스틱 결합 버튼의 제어 방식이 사용되는데, 조작자는 각 버튼과 차량 탑재 다자유도 매니퓰레이터 각 관절의 대응 관계를 기억해야 하므로, 이러한 조작 방식은 복잡도가 높고 직관적이지 않다.Mobile reconnaissance robots are typically composed of a mobile robot body and a vehicle-mounted reconnaissance system, which can perform various combat missions such as battlefield approach reconnaissance surveillance, subtlety raids, location sweeps, nuclear biochemical treatment, terrorism prevention and explosives disposal. Conventional vehicle-mounted reconnaissance systems are generally composed of a camera and a gimbal of 2 degrees of freedom, and the control method generally implements pitch control of the gimbal through angle information of the pitch angle and yaw angle of the joystick. . In the case of a mobile reconnaissance robot equipped with a multi-degree of freedom reconnaissance system, the reconnaissance system generally consists of a multi-degree of freedom manipulator and a reconnaissance camera, of which the reconnaissance camera is fixedly connected to the end of the multi-degree of freedom manipulator. The end pose of the robot refers to the position and posture of the robot end effector in the designated coordinate system, the end effector of the mobile reconnaissance robot is the camera, and the end pose of the reconnaissance robot is determined by the end pose of the multi-degree of freedom manipulator. End pose control is usually a control method of a button or a joystick combination button. Since the operator has to memorize the correspondence between each button and each joint of the vehicle-mounted multi-degree of freedom manipulator, this operation method is highly complex and not intuitive.
최근 제스처를 사용해 차량 탑재 다자유도 정찰 시스템 엔드 포즈를 제어하는 방식이 개시되었다. 비교적 일반적인 제스처 제어 방식은 데이터 글러브 또는 관성 구성 요소를 사용하는 것인데, 이는 인식률이 높고 안정성이 우수한 장점이 있으나, 차량 탑재 다자유도 정찰 시스템 엔드 위치는 제어할 수 없고 자세만 제어할 수 있으며 입력 디바이스가 비싸고 착용하기 불편하다는 단점이 있다. 다른 제스처 제어 방식은 시각 기반의 제어 방식이며, 이러한 제어 방식은 이미지 분류 기반의 제어 방식과 이미지 처리 기반의 제어 방식으로 나눌 수 있다. 전자는 일반적으로 시각 센서 결합 모드 인식 방법을 통해 제스처의 유형을 분석한 후, 제스처의 유형 정보에 따라 차량 탑재 다자유도 정찰 시스템 엔드 포즈의 모션 제어, 예를 들어 상향 이동, 하향 이동 등을 구현하는데, 이는 차량 탑재 다자유도 정찰 시스템 엔드 포즈에 대한 연속적인 제어를 빠르고 정확하게 구현할 수 없다는 단점이 있다. 후자는 일반적으로 시각 센서 결합 이미지 처리 방법을 통해 제스처의 모션 궤적을 분석한 후, 궤적의 위치 정보에 따라 차량 탑재 다자유도 정찰 시스템 엔드의 위치 제어를 구현하는데, 이는 차량 탑재 다자유도 정찰 시스템 엔드 자세에 대한 제어를 구현할 수 없다는 단점이 있다.Recently, a method of controlling the end pose of a vehicle-mounted multi-degree of freedom reconnaissance system using gestures has been disclosed. A relatively common gesture control method is to use a data glove or an inertial component, which has the advantage of high recognition rate and excellent stability, but cannot control the end position of the vehicle-mounted multi-degree of freedom reconnaissance system, only the posture, and input devices. It has the disadvantage of being expensive and inconvenient to wear. Another gesture control method is a visual-based control method, which can be divided into an image classification-based control method and an image processing-based control method. The former generally analyzes the type of gesture through the visual sensor combination mode recognition method, and then implements motion control of the end pose of the vehicle-mounted multi-degree of freedom reconnaissance system, for example, upward movement and downward movement, according to the type information of the gesture. However, this has the disadvantage that it is not possible to quickly and accurately implement continuous control for the end pose of the vehicle-mounted multi-degree of freedom reconnaissance system. The latter generally analyzes the motion trajectory of the gesture through a visual sensor-coupled image processing method, and then implements the position control of the end of the vehicle-mounted multi-degree of freedom reconnaissance system according to the location information of the trajectory. This is a vehicle-mounted multi-degree of freedom reconnaissance system. There is a disadvantage that it cannot implement control over the end posture.
또한 종래의 이동 로봇의 원격 제어 시스템은 통상적으로 조이스틱과 버튼이 있는 제어 박스 또는 제어함으로 구현된다. 다자유도 매니퓰레이터가 탑재된 이동 로봇의 경우 제어 박스의 버튼이 더욱 복잡하며, 조작자는 각 버튼과 이동 로봇 및 차량 탑재 매니퓰레이터의 대응 관계를 기억해야하므로 제어 방식이 상당히 직관적이지 않다. 이동 로봇과 차량 탑재 정찰 시스템은 모두 조이스틱에 대한 의존에서 벗어날 수 없으며, 조이스틱은 제어 박스 및 관련 하드웨어 디바이스의 지원이 필요하므로, 종래의 이동 정찰 로봇의 컨트롤러는 모두 일반적으로 부피가 비교적 커서 휴대 및 운송이 불편한 문제가 있다.In addition, the conventional remote control system of a mobile robot is typically implemented in a control box or control box having a joystick and buttons. In the case of a mobile robot equipped with a multi-degree of freedom manipulator, the buttons in the control box are more complex, and the control method is not quite intuitive because the operator must remember the correspondence between each button and the mobile robot and the vehicle-mounted manipulator. Both mobile robots and vehicle-mounted reconnaissance systems cannot escape from dependence on joysticks, and joysticks require the support of control boxes and related hardware devices, so the controllers of conventional mobile reconnaissance robots are generally relatively bulky to carry and transport. I have this uncomfortable problem.
제스처는 인류가 소통하는 수단 중 비교적 자연스러운 수단 중 하나이며, 특히 특수 부대 군인의 경우 수화는 팀원과의 의사소통과 명령 전달에 필수적인 수단이다. 특히 음성으로 소통하기가 불편할 때 제스처는 특수 부대 군인 간의 의사소통과 명령 전달의 유일한 수단이다. 현재 인체 제스처를 기반으로 한 인간-기계 상호 작용 원격 제어는 주로 데이터 글러브나 관성 구성요소를 착용하는 방식을 채택하고 있는데, 이는 인식률이 높고 안정성이 우수한 장점이 있는 반면 입력 디바이스가 비싸고 착용이 불편하다는 단점이 있다. 따라서 완전 무장 군인의 경우 지상 무장 정찰 로봇의 인간-기계 상호 작용 원격 조작 제어 시스템의 휴대성과 조작 직관성을 향상시킬 수 있는 방법이 매우 시급하다.Gestures are one of the relatively natural means of human communication, and sign language is an essential means of communicating with team members and delivering orders, especially for special forces soldiers. Gestures are the only means of communication and command transfer between special forces soldiers, especially when voice communication is uncomfortable. Currently, human-machine interaction remote control based on human body gestures mainly adopts a method of wearing a data glove or inertial component, which has advantages of high recognition rate and excellent stability, whereas input devices are expensive and inconvenient to wear. There are drawbacks. Therefore, in the case of fully armed soldiers, a method of improving the portability and operation intuitiveness of the human-machine interaction remote control system of the ground armed reconnaissance robot is very urgent.
최근에는 터치스크린 태블릿의 제어 방식도 등장했으며 이러한 제어 방식은 조이스틱과 버튼 대신 터치스크린 제스처를 채택하는데, 이는 컨트롤러의 부피가 크게 줄었으나 조작자의 양손을 차지한다는 단점이 여전히 있다. 특히 전장에서 완전 무장한 군인에게 일정한 중량과 일정한 부피를 가진 물리적 컨트롤러는 적지 않은 부담이 될 수 있으며, 이는 완전 무장한 군인이 전투 상태(휴대용 무기)와 조작 상태(휴대용 컨트롤러) 사이에서 빠르게 전환하는 데에 방해가 된다.Recently, a control method of a touch screen tablet has also appeared, and this control method adopts a touch screen gesture instead of a joystick and buttons, which greatly reduces the volume of the controller, but still has the disadvantage of occupying both hands of the operator. Particularly for a fully armed soldier on the battlefield, a physical controller with a certain weight and a certain volume can be a heavy burden, which allows a fully armed soldier to quickly switch between combat state (portable weapon) and operation state (portable controller). It gets in the way.
이러한 문제점을 해결하기 위해, 본 발명에서는 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법을 제공한다. 다자유도 매니퓰레이터가 탑재된 이동 로봇을 위한 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법을 제공하며, 자유로운 착탈을 통해 다자유도 매니퓰레이터 엔드 위치와 자세의 연속 제어를 구현함으로써, 종래의 이동 정찰 로봇 차량 탑재 다자유도 정찰 시스템 제어에서 제어 방식이 복잡하고 직관적으로 차량 탑재 다자유도 정찰 시스템 엔드 포즈를 제어할 수 없는 문제를 해결한다.In order to solve this problem, the present invention provides a wearable device-based mobile robot control system and control method. It provides a wearable device-based mobile robot control system and control method for a mobile robot equipped with a multi-degree of freedom manipulator, and implements continuous control of the end position and posture of the multi-degree of freedom manipulator through free attachment and detachment. It solves the problem that the control method is complex in vehicle-mounted multi-degree of freedom reconnaissance system control and the inability to intuitively control the end pose of vehicle-mounted multi-degree of freedom reconnaissance system.
상기 목적을 달성하기 위해 본 발명은 다음과 같은 기술적 해결책을 채택한다.In order to achieve the above object, the present invention adopts the following technical solutions.
본 발명의 제1 양상은 웨어러블 디바이스 기반의 이동 로봇 제어 시스템을 제공하며, 여기에는 마스터 웨어러블 원격 제어 장치와 슬레이브 로봇이 포함되고, 상기 마스터 웨어러블 원격 제어 장치와 슬레이브 로봇은 무선으로 통신하고, 상기 마스터 웨어러블 원격 제어 장치는 조작자 몸에 착용되어 제어 명령을 전송하고 슬레이브 로봇이 수집한 데이터를 수신하도록 구성되며,A first aspect of the present invention provides a wearable device-based mobile robot control system, which includes a master wearable remote control device and a slave robot, wherein the master wearable remote control device and the slave robot communicate wirelessly, and the master The wearable remote control device is worn on the operator's body and configured to transmit control commands and receive data collected by the slave robot.
마스터 웨어러블 원격 제어 장치는 웨어러블 양안 카메라 장치, 헤드 마운트 가상 디스플레이, 원격 조작 컨트롤러 및 마스터 무선 통신 디바이스를 포함하고, 상기 원격 조작 컨트롤러는 각각 웨어러블 양안 카메라 장치, 헤드 마운트 가상 디스플레이 및 마스터 무선 통신 디바이스에 연결되고, 웨어러블 양안 카메라 장치는 조작자 제스처의 이미지를 수집하도록 구성되고, 상기 헤드 마운트 가상 디스플레이는 슬레이브 로봇이 촬영한 이미지를 표시하고 슬레이브 로봇 매니퓰레이터의 가상 모델과 조작자 제스처의 가상 모델을 표시하도록 구성된다.The master wearable remote control device includes a wearable binocular camera device, a head mounted virtual display, a remote control controller and a master wireless communication device, and the remote control controllers are respectively connected to a wearable binocular camera device, a head mounted virtual display, and a master wireless communication device. The wearable binocular camera device is configured to collect an image of an operator gesture, and the head mounted virtual display is configured to display an image captured by a slave robot and display a virtual model of the slave robot manipulator and a virtual model of the operator gesture.
조작자의 머리에 웨어러블 양안 카메라 장치와 헤드 마운트 가상 디스플레이를 장착하여 이중 시야각 이미지의 수집을 구현할 수 있고, 헤드 마운트 가상 디스플레이 설치는 가상 모델과 수집된 정찰 이미지를 동시에 구현할 수 있어, 조작자가 현장에 직접 가 있는 느낌을 받을 수 있으며 슬레이브 로봇의 직관적인 제어를 원격으로 구현할 수 있고, 웨어러블 장치의 설치는 조작자의 양손을 자유롭게 하여 조작자의 부담을 덜어준다.By attaching a wearable binocular camera device and a head-mounted virtual display to the operator's head, it is possible to collect dual viewing angle images, and the head-mounted virtual display installation can simultaneously implement a virtual model and collected reconnaissance images, so that the operator can directly go to the site. It is possible to feel that there is a sense of presence, and the intuitive control of the slave robot can be implemented remotely, and the installation of the wearable device frees both hands of the operator to relieve the operator's burden.
본 발명의 제2 양상은 상기 이동 로봇 제어 시스템 기반의 로봇 엔드 포즈에 대한 원격 조작 제어 방법을 제공하며, 여기에는 다음 단계가 포함된다.A second aspect of the present invention provides a method for remotely manipulating a robot end pose based on the mobile robot control system, which includes the following steps.
단계 101: 견인 손모양과 분리 손모양을 설정한다.Step 101: Set the traction hand shape and the separation hand shape.
단계 102: 가상 매니퓰레이터와 가상 제스처 모델을 구축하고, 가상 매니퓰레이터와 가상 제스처 모델을 헤드 마운트 가상 디스플레이 뷰잉 볼륨(viewing volume)의 전단에 표시한다. Step 102: Build a virtual manipulator and a virtual gesture model, and display the virtual manipulator and virtual gesture model on a front end of a head mounted virtual display viewing volume.
단계 103: 양안 카메라의 이중 시야각 이미지를 수집한다.Step 103: Collect dual viewing angle images of the binocular camera.
단계 104: 제스처 검출 알고리즘을 이용하여 이중 시야각 이미지에 조작자의 제스처가 존재하는지 판단하고, 그렇다면 단계 105를 실행하고, 그렇지 않다면 단계 103을 실행한다.Step 104: A gesture detection algorithm is used to determine whether an operator's gesture exists in the double viewing angle image, and if so, step 105 is executed, and if not, step 103 is executed.
단계 105: 손모양 인식 알고리즘을 이용하여 제스처에 대한 손모양 인식을 수행하고, 견인 손모양이 나타났는지 판단하며, 그렇다면 단계 106을 실행하고, 그렇지 않다면 단계 103을 실행한다.Step 105: A hand shape recognition for the gesture is performed using a hand shape recognition algorithm, and it is determined whether a traction hand shape appears, and if so, step 106 is executed, otherwise, step 103 is executed.
단계 106: 촬영된 이중 시야각 이미지를 처리하고 웨어러블 양안 카메라 장치 좌표계에서 제스처의 포즈(
Figure pct00001
)를 구하고, 포즈(
Figure pct00002
)를 헤드 마운트 가상 디스플레이의 스크린 좌표계에서의 포즈 설명(
Figure pct00003
)으로 변환하고, 변환된 포즈(
Figure pct00004
)를 사용해 헤드 마운트 가상 디스플레이 뷰잉 볼륨 중의 가상 제스처 모델을 구동한다.
Step 106: Process the photographed double viewing angle image and pose of the gesture in the wearable binocular camera device coordinate system (
Figure pct00001
) And the pose (
Figure pct00002
) To the pose description in the screen coordinate system of the head mounted virtual display (
Figure pct00003
), and the transformed pose (
Figure pct00004
) To drive the virtual gesture model in the head mounted virtual display viewing volume.
단계 107: 가상 제스처 모델의 포즈(
Figure pct00005
)와 가상 매니퓰레이터(N6) 엔드 포즈(
Figure pct00006
)의 차이가 소정의 역치보다 작은지 판단하고, 그렇다면 단계 108을 실행하고, 그렇지 않다면 단계 103을 실행한다.
Step 107: Pose of the virtual gesture model (
Figure pct00005
) And virtual manipulator (N6) end pose (
Figure pct00006
It is determined whether the difference in) is less than a predetermined threshold, and if so, step 108 is executed, and if not, step 103 is executed.
단계 108: 다자유도 매니퓰레이터의 포즈가 조작자의 견인 손모양 포즈에 따라 바뀌도록 한다.Step 108: The pose of the multi-degree of freedom manipulator is changed according to the manipulator's traction hand pose.
단계 109: 분리 손모양이 나타났는지 판단하고, 그렇다면 다자유도 매니퓰레이터의 포즈는 조작자의 견인 손모양 포즈에 따라 바뀌는 것을 정지하고 단계 103을 실행하며, 그렇지 않다면 단계 108을 실행한다.Step 109: It is determined whether a separate hand shape has appeared, and if so, the pose of the multi-degree of freedom manipulator stops changing according to the manipulator's traction hand shape pose, and step 103 is executed, otherwise, step 108 is executed.
본 발명의 제2 양상에서 설치된 로봇 엔드 포즈의 원격 조작 제어 방법은, 견인 손모양이 검출되면, 조작자 손모양 포즈와 다자유도 매니퓰레이터 엔드 포즈의 구동 관계를 구축함으로써 다자유도 매니퓰레이터 엔드 포즈의 연속 제어를 구현하고, 분리 손모양이 검출되면, 분리하여 다자유도 매니퓰레이터의 포즈가 조작자의 견인 손모양에 따라 바뀌는 것을 중지시킨다. 동시에 헤드 마운트 가상 디스플레이에 가상 매니퓰레이터 엔드와 가상 제스처 모델의 견인 과정과 분리 과정을 표시하여 제어 과정을 더욱 직관적으로 만든다. 대응하는 제스처가 슬레이브 로봇의 다자유도 매니퓰레이터에 대한 제어를 시작 및 중지하도록 설치함으로써 제어 방법을 간단하고 신뢰할 수 있도록 한다.In the method for remotely controlling the robot end pose installed in the second aspect of the present invention, when a towing hand shape is detected, the multi-degree of freedom manipulator end pose is continued by establishing a driving relationship between the operator's hand pose and the multi-degree of freedom manipulator end pose. Control is implemented, and when a separate hand shape is detected, it is separated and stops changing the pose of the multi-degree of freedom manipulator according to the shape of the traction hand of the operator. At the same time, the control process is made more intuitive by displaying the pulling process and separation process of the virtual manipulator end and virtual gesture model on the head mounted virtual display. The corresponding gestures are installed to start and stop the control of the slave robot's multi-degree of freedom manipulator, making the control method simple and reliable.
본 발명의 제3 양상은 상기 이동 로봇 제어 시스템 기반의 제어 방법을 제공하며, 각각 조작자의 왼손과 오른손 동작을 수집하고, 한 손의 동작으로 이동 로봇 차체의 이동을 제어하고, 다른 한 손의 동작으로 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어하며, 여기에는 다음 단계가 포함된다.The third aspect of the present invention provides a control method based on the mobile robot control system, collects the left and right hand movements of the operator, respectively, controls the movement of the mobile robot body with the movement of one hand, and the movement of the other hand. The mobile robot's vehicle-mounted multi-degree of freedom manipulator controls the operation, which includes the following steps.
단계 201: 조작자 웨어러블 디바이스의 촬영 가능 범위 내의 이미지를 수집한다.Step 201: An image within an available range of the operator's wearable device is collected.
단계 202: 수집된 이미지에 손 영역이 있는지 판단하고, 없다면 단계 201을 실행하고, 그렇지 않다면 수집된 이미지를 전처리하여 핸드 피스를 획득한다.Step 202: It is determined whether there is a hand area in the collected image, and if not, step 201 is executed. Otherwise, the collected image is preprocessed to obtain a hand piece.
단계 203: 좌우 양손 판별 알고리즘을 이용하여 획득된 핸드 피스가 왼손 피스인지 오른손 피스인지 판단하여, 동작하는 것이 왼손인지 오른손인지 결정한다.Step 203: It is determined whether the obtained hand piece is a left-handed piece or a right-handed piece by using the left-right and right-handed discrimination algorithm, and whether it is a left-handed or a right-handed piece to be operated.
단계 204: 그 중 한 손의 동작으로 이동 로봇 차체의 이동을 제어하고, 다른 한 손의 동작으로 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어한 후 단계 201을 실행한다.Step 204: After controlling the movement of the vehicle body of the mobile robot with the motion of one hand, and controlling the motion of the vehicle-mounted multi-degree of freedom manipulator of the mobile robot with the motion of the other hand, step 201 is executed.
본 발명의 제3 양상에서 제공하는 제어 방법은 제어 시 조작자의 다른 손으로 슬레이브 로봇의 다른 동작 부위를 제어하여, 노면 상에서 차체의 이동과 다자유도 매니퓰레이터 엔드의 동작을 각각 제어한다. 좌우 양손으로 각각 제어하면 슬레이브 로봇이 명령 동작을 보다 정확하게 수행하게 만들어 슬레이브 로봇의 오류율을 줄일 수 있다.The control method provided in the third aspect of the present invention controls the movement of the vehicle body on the road surface and the operation of the multi-degree of freedom manipulator end, respectively, by controlling different motion parts of the slave robot with the other hand of the operator during control. By controlling each of the left and right hands, the slave robot can perform the command operation more accurately, reducing the error rate of the slave robot.
본 발명의 제4 양상은 상기 이동 로봇 제어 시스템 기반의 제어 방법을 제공하며, 로봇 차량 탑재 다자유도 매니퓰레이터의 광역 이동의 제어 방법에는 다음 단계가 포함된다.A fourth aspect of the present invention provides a control method based on the mobile robot control system, and the method for controlling a wide area movement of a multi-degree of freedom manipulator mounted on a robot vehicle includes the following steps.
단계 301: 연결 손모양과 대응하는 제스처 동작을 설정하고, 다른 손모양은 슬레이브 로봇의 다른 동작에 대응하도록 설정하고, 연결 손모양은 차량 탑재 다자유도 매니퓰레이터 엔드가 현재 위치에서 다음 명령을 대기하도록 설정할 수 있다.Step 301: Set the gesture motion corresponding to the connection hand shape, the other hand shape is set to correspond to the other motion of the slave robot, and the connection hand shape allows the vehicle-mounted multi-degree of freedom manipulator end to wait for the next command at the current position. Can be set.
단계 302: 조작자 웨어러블 디바이스의 촬영 가능 범위 내의 이미지를 수집한다.Step 302: An image within an available range of the operator's wearable device is collected.
단계 303: 수집된 이미지에 손 영역이 있는지 판단하고, 없다면 단계 302를 실행하고, 그렇지 않다면 수집된 이미지를 전처리하여 핸드 피스를 획득하고, 다음 단계를 실행한다.Step 303: It is determined whether there is a hand region in the collected image, and if not, step 302 is executed. Otherwise, the collected image is preprocessed to obtain a hand piece, and the next step is executed.
단계 304: 손모양 인식 알고리즘을 이용하여 전처리된 핸드 피스에 대해 손모양 인식을 수행하고 손모양 정보를 획득한다.Step 304: Hand shape recognition is performed on the pre-processed hand piece using a hand shape recognition algorithm, and hand shape information is obtained.
단계 305: 획득한 손모양 정보가 연결 손모양인지 판단하고, 그렇다면 차량 탑재 다자유도 매니퓰레이터 엔드는 연결 손모양 직전 손모양과 연결 손모양 직후 손모양의 대응하는 제어 명령의 동작을 연속으로 실행하고 단계 302를 실행하며, 그렇지 않다면 다음 단계를 실행한다.Step 305: It is determined whether the acquired hand shape information is a connected hand shape, and if so, the vehicle-mounted multi-degree of freedom manipulator end continuously executes the operation of the corresponding control command of the hand shape immediately before the connection hand shape and immediately after the connection hand shape. Step 302 is executed, otherwise the next step is executed.
단계 306: 상응하는 손모양에 따라 상응하는 동작을 실행하고 단계 302를 실행한다.Step 306: Execute a corresponding operation according to the corresponding hand shape and execute step 302.
본 발명의 제4 양상에 따른 제어 방법은 연결 손모양을 설정함으로써, 정찰 시스템 엔드 위치의 증분식 연속 정밀 제어를 구현할 수 있으며, 제어가 인간의 조작 습관에 더욱 부합한다.The control method according to the fourth aspect of the present invention can implement the incremental continuous precision control of the end position of the reconnaissance system by setting the shape of the connecting hand, and the control is more in line with human operation habits.
종래 기술과 비교한 본 발명의 유익한 효과는 다음과 같다.Advantageous effects of the present invention compared to the prior art are as follows.
(1) 본 발명의 제1 양상은 조작자의 머리에 웨어러블 양안 카메라 장치와 헤드 마운트 가상 디스플레이를 장착하여 이중 시야각 이미지의 수집을 구현할 수 있고, 헤드 마운트 가상 디스플레이 설치는 가상 모델과 수집된 정찰 이미지를 동시에 구현할 수 있어, 조작자가 현장에 직접 가 있는 느낌을 받을 수 있으며 슬레이브 로봇의 직관적인 제어를 원격으로 구현할 수 있고, 웨어러블 장치의 설치는 조작자의 양손을 자유롭게 하여 조작자의 부담을 덜어준다.(1) In the first aspect of the present invention, a wearable binocular camera device and a head-mounted virtual display can be mounted on the operator's head to realize the collection of double viewing angle images, and the head-mounted virtual display installation provides a virtual model and collected reconnaissance images. Since it can be implemented at the same time, the operator can feel that he is directly at the site, and the intuitive control of the slave robot can be implemented remotely, and the installation of the wearable device frees both hands of the operator and relieves the operator's burden.
(2) 본 발명의 제1 양상에서 제공하는 시스템은 웨어러블 양안 카메라 장치와 헤드 마운트 가상 디스플레이를 포함하는 웨어러블 디바이스 설치를 통해, 제어의 직관성을 향상시키고 로봇 조작자의 양손을 자유롭게 하였으며, 장치 구조가 단순하고 착용하기 쉬우며 조작자가 로봇을 작동하는 동시에 무기를 손에 쥐거나 다른 손 동작을 진행하기가 용이하다.(2) The system provided in the first aspect of the present invention improves control intuitiveness and frees both hands of the robot operator through the installation of a wearable device including a wearable binocular camera device and a head mounted virtual display, and the device structure is simple. It is easy to wear, and it is easy for the operator to operate the robot while holding the weapon in hand or performing other hand movements.
(3) 본 발명의 제2 양상에서 제공하는 제어 방법은, 제어 프로세스가 조작자 제스처의 포즈-가상 제스처 모델의 포즈-가상 매니퓰레이터 엔드 포즈-다자유도 매니퓰레이터 엔드 포즈이고, 조작자 제스처 포즈와 다자유도 매니퓰레이터 엔드 포즈의 구동 관계를 구축함으로써, 다자유도 매니퓰레이터 엔드 포즈의 연속 제어를 구현한다. 동시에 헤드 마운트 가상 디스플레이에 가상 매니퓰레이터 엔드와 가상 제스처 모델의 견인 과정을 표시하여 제어 과정을 더욱 직관적으로 만든다. 대응하는 제스처가 슬레이브 로봇의 다자유도 매니퓰레이터에 대한 제어를 시작 및 중지하도록 설치함으로써 제어 방법을 간단하고 신뢰할 수 있게 만든다.(3) In the control method provided in the second aspect of the present invention, the control process is a pose of an operator gesture-a pose of a virtual gesture model-a virtual manipulator end pose-a multiple degree of freedom manipulator end pose, and an operator gesture pose and multiple degrees of freedom. By establishing the driving relationship of the manipulator end pose, continuous control of the manipulator end pose with multiple degrees of freedom is realized. At the same time, the control process is made more intuitive by displaying the virtual manipulator end and the towing process of the virtual gesture model on the head mounted virtual display. The corresponding gestures are installed to start and stop the control of the slave robot's multi-degree of freedom manipulator, making the control method simple and reliable.
(4) 본 발명의 제3 양상에서 제공하는 제어 방법은 제어 시 조작자가 다른 손으로 슬레이브 로봇의 다른 동작 부위를 제어한다. 좌우 양손으로 각각 제어하면 슬레이브 로봇이 명령 동작을 보다 정확하게 수행하도록 만들 수 있으며, 슬레이브 로봇의 상이한 부위에 상이한 제스처 유형을 설정하여 제어함으로써, 제스처와 모션 궤적을 각각 인식시킨 후 제어하는 것이 이동 로봇 차체인지 차량 탑재 다자유도 매니퓰레이터인지 구분함으로써, 슬레이브 로봇의 오작동률을 줄인다. 동시에 조작자의 두 손 동작은 상이한 유형의 동작이므로 조작자에게 혼란을 주지 않으며, 제어 로직이 간단하여 기억하기 쉽고 조작하기 용이하다.(4) In the control method provided in the third aspect of the present invention, when controlling, an operator controls different motion parts of the slave robot with the other hand. By controlling each of the left and right hands, the slave robot can make the command operation more accurate.By setting and controlling different gesture types at different parts of the slave robot, it is the mobile robot body that recognizes and controls the gesture and motion trajectory respectively. By discriminating whether a vehicle-mounted multi-degree of freedom is also a manipulator, the malfunction rate of the slave robot is reduced. At the same time, the two hand movements of the operator are different types of operation, so there is no confusion to the operator, and the control logic is simple, so it is easy to remember and operate.
(5) 본 발명의 제4 양상에서 제공하는 제어 방법은 연결 손모양 설정을 통해 조작자 귀걸이형 촬영 시야 범위 내의 영역을 하나의 가상 터치스크린 영역으로 바꾸어, 조작자가 물리적인 컨트롤러에 대한 의존성에서 벗어나게 만든다. 손모양 유형만 사용해 로봇 동작에 대한 이산 제어를 구현하는 것에 비해, 본 발명은 정찰 시스템 엔드 위치의 증분식 연속 정밀 제어를 구현할 수 있어 인간의 조작 습관에 더욱 부합한다.(5) The control method provided in the fourth aspect of the present invention changes the area within the operator's earring type photographing field of view into one virtual touch screen area through the connection hand shape setting, thereby making the operator free from dependence on the physical controller. . Compared to implementing discrete control for robot motion using only the hand-shaped type, the present invention can implement incremental continuous precision control of the end position of the reconnaissance system, which is more suitable for human operation habits.
(6) 본 발명은 이미지 내의 특정 제스처의 회전 각도를 측정함으로써 이동 정찰 로봇 차량 탑재 다자유도 매니퓰레이터 정찰 방향을 정밀하게 제어할 수 있다.(6) The present invention can precisely control the direction of reconnaissance of a multi-degree of freedom manipulator mounted on a mobile reconnaissance robot vehicle by measuring the rotation angle of a specific gesture in an image.
본 출원의 일부분을 구성하는 명세서 첨부 도면은 본 출원에 대한 이해를 돕기 위해 사용되며, 본 출원의 예시적인 실시예 및 그 설명은 본 출원을 설명하기 위한 것으로 본 출원을 제한하지 않는다.
도 1은 본 발명 실시예 2에 따른 가상 착용 모식도이다.
도 2는 본 발명 실시예 2에 따른 가상 분리 모식도이다.
도 3은 본 발명 실시예 2에 따른 제어 방법의 흐름도이다.
도 4는 하나 이상의 실시예에 따른 시스템의 구조도이다.
도 5는 본 발명 실시예 1에 따른 마스터 웨어러블 원격 제어 장치의 블록도이다.
도 6은 본 발명 실시예 1에 따른 슬레이브 로봇의 블록도이다.
도 7은 본 발명 실시예 3에 따른 방법의 흐름도이다.
도 8은 본 발명 실시예 4에 따른 방법의 흐름도이다.
도 9는 본 발명 실시예 4에 따른 조작자가 이동 로봇 차체 모션을 제어하는 제스처의 모식도이다.
도 10은 본 발명 실시예 4에 따른 조작자가 차량 탑재 다자유도 매니퓰레이터 엔드의 좌회전을 제어하는 제스처의 모식도이다.
도 11은 본 발명 실시예 4에 따른 조작자가 차량 탑재 다자유도 매니퓰레이터 엔드의 우회전을 제어하는 제스처의 모식도이다.
도 12는 본 발명 실시예 4에 따른 조작자가 차량 탑재 다자유도 매니퓰레이터 엔드의 상측 이동을 제어하는 제스처의 모식도이다.
도 13은 본 발명 실시예 4에 따른 조작자가 차량 탑재 다자유도 매니퓰레이터 엔드의 하측 이동을 제어하는 제스처의 모식도이다.
도 14는 본 발명 실시예 4에 따른 조작자가 차량 탑재 다자유도 매니퓰레이터 엔드의 올려보기를 제어하는 제스처의 모식도이다.
도 15은 본 발명 실시예 4에 따른 조작자가 차량 탑재 다자유도 매니퓰레이터 엔드의 내려보기를 제어하는 제스처의 모식도이다.
The accompanying drawings of the specification constituting a part of the present application are used to aid understanding of the present application, and exemplary embodiments of the present application and the description thereof are for explaining the present application and do not limit the present application.
1 is a schematic diagram of virtual wearing according to a second embodiment of the present invention.
2 is a schematic diagram of virtual separation according to Embodiment 2 of the present invention.
3 is a flowchart of a control method according to Embodiment 2 of the present invention.
4 is a structural diagram of a system according to one or more embodiments.
5 is a block diagram of a master wearable remote control device according to Embodiment 1 of the present invention.
6 is a block diagram of a slave robot according to Embodiment 1 of the present invention.
7 is a flowchart of a method according to Embodiment 3 of the present invention.
8 is a flowchart of a method according to Embodiment 4 of the present invention.
9 is a schematic diagram of a gesture in which an operator controls a moving robot vehicle body motion according to a fourth embodiment of the present invention.
Fig. 10 is a schematic diagram of a gesture for controlling a left rotation of an end of a vehicle-mounted multi-degree of freedom manipulator by an operator according to the fourth embodiment of the present invention.
11 is a schematic diagram of a gesture for controlling a right turn of an end of a vehicle-mounted multi-degree of freedom manipulator by an operator according to the fourth embodiment of the present invention.
12 is a schematic diagram of a gesture in which an operator controls an upward movement of an end of a vehicle-mounted multi-degree of freedom manipulator according to the fourth embodiment of the present invention.
13 is a schematic diagram of a gesture in which an operator controls a downward movement of an end of a vehicle-mounted multi-degree of freedom manipulator according to the fourth embodiment of the present invention.
14 is a schematic diagram of a gesture in which an operator controls raising of an end of a vehicle-mounted multiple degree of freedom manipulator according to the fourth embodiment of the present invention.
15 is a schematic diagram of a gesture in which an operator controls an end of a vehicle-mounted multiple degree of freedom manipulator end according to the fourth embodiment of the present invention.
이하에서는 첨부 도면과 실시예를 참고하여 본 발명을 더욱 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings and examples.
이하의 상세한 설명은 모두 예시적인 것이며 본 출원의 추가 설명을 제공하기 위한 것임에 유의해야 한다. 달리 명시되지 않는 한, 본 명세서에서 사용되는 모든 기술 및 과학 용어는 본 출원이 속하는 기술 분야의 통상의 기술자가 일반적으로 이해하는 것과 동일한 의미를 갖는다.It should be noted that all of the detailed descriptions below are exemplary and are intended to provide further description of the present application. Unless otherwise specified, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this application belongs.
여기에서 사용되는 용어는 구체적인 실시예를 설명하기 위한 것으로, 본 출원에 따른 예시적 실시예를 제한하려는 의도가 아님에 유의해야 한다. 본 명세서에서 사용된 바와 같이, 문맥상 달리 명시되지 않는 한, 단수형은 복수형도 포함하는 것으로 의도되며, 본 명세서에서 “포함하는” 및/또는 “포괄하는”이라는 용어가 사용되는 경우, 이는 특징, 단계, 조작, 장치, 구성 요소 및/또는 이들의 조합이 존재하는 것을 의미한다. 본 발명의 실시예 및 실시예의 특징은 상충되지 않는 한 서로 결합될 수 있음에 유의해야 한다. 이하에서는 첨부 도면을 통해 실시예를 더욱 상세하게 설명한다.It should be noted that the terms used herein are for describing specific embodiments and are not intended to limit the exemplary embodiments according to the present application. As used herein, unless the context dictates otherwise, the singular is intended to include the plural as well, and when the terms “comprising” and/or “comprising” are used in this specification, it is a characteristic, It means that steps, operations, devices, components, and/or combinations thereof are present. It should be noted that embodiments of the present invention and features of the embodiments may be combined with each other so long as they do not conflict. Hereinafter, embodiments will be described in more detail with reference to the accompanying drawings.
로봇은 엔드 이펙터에 따라 여러 유형으로 나뉠 수 있으며, 엔드 이펙터는 로봇 매니퓰레이터의 엔드에 고정되어 상응하는 미션을 수행하도록 구성되고, 엔드 이펙터는 민첩한 손과 그리퍼, 카메라 등과 같으며, 정찰 로봇의 엔드 이펙터는 정찰 카메라이고, 본 실시예에서는 정찰 로봇을 예로 들어 설명하나, 본 발명의 로봇 엔드 포즈의 연속 제어 방법은 정찰 로봇에만 한정되지 않으며 모든 로봇의 제어에 적용될 수 있다.Robots can be divided into several types depending on the end effector, and the end effector is fixed to the end of the robot manipulator to perform the corresponding mission, and the end effector is like agile hand, gripper, camera, etc., and the end effector of the reconnaissance robot. Is a reconnaissance camera, and the present embodiment describes a reconnaissance robot as an example, but the method of continuously controlling the robot end pose of the present invention is not limited to the reconnaissance robot and can be applied to control of all robots.
실시예 1Example 1
하나 이상의 실시예에 개시된 기술적 해결책에 있어서, 도 1 및 도 2에 도시된 바와 같이, 이동 로봇 제어 시스템을 제공하며, 여기에는 마스터 웨어러블 원격 제어 장치와 슬레이브 로봇이 포함되고, 상기 마스터 웨어러블 원격 제어 장치와 슬레이브 로봇은 무선으로 통신하고, 상기 마스터 웨어러블 원격 제어 장치는 조작자 몸에 착용되어 제어 명령을 전송하고 슬레이브 로봇이 수집한 데이터를 수신하도록 구성되고,In the technical solution disclosed in one or more embodiments, as shown in FIGS. 1 and 2, a mobile robot control system is provided, which includes a master wearable remote control device and a slave robot, and the master wearable remote control device And the slave robot communicates wirelessly, and the master wearable remote control device is worn on an operator's body to transmit control commands and receive data collected by the slave robot,
마스터 웨어러블 원격 제어 장치는 웨어러블 양안 카메라 장치, 헤드 마운트 가상 디스플레이, 원격 조작 컨트롤러 및 마스터 무선 통신 디바이스를 포함하고, 상기 원격 조작 컨트롤러는 각각 웨어러블 양안 카메라 장치, 헤드 마운트 가상 디스플레이 및 마스터 무선 통신 디바이스에 연결되고, 웨어러블 양안 카메라 장치는 조작자 제스처의 이미지를 수집하도록 구성되고, 상기 헤드 마운트 가상 디스플레이는 슬레이브 로봇이 촬영한 이미지를 표시하고 슬레이브 로봇의 매니퓰레이터의 가상 모델과 조작자 제스처의 가상 모델을 표시하도록 구성된다. 양안 카메라 장치가 이중 시야각 이미지를 수집할 수 있도록 설치한다.The master wearable remote control device includes a wearable binocular camera device, a head mounted virtual display, a remote control controller and a master wireless communication device, and the remote control controllers are respectively connected to a wearable binocular camera device, a head mounted virtual display, and a master wireless communication device. The wearable binocular camera device is configured to collect an image of an operator gesture, and the head mounted virtual display is configured to display an image captured by the slave robot and display a virtual model of a manipulator of the slave robot and a virtual model of the operator gesture. . It is installed so that the binocular camera device can collect double viewing angle images.
원격 조작 컨트롤러는 웨어러블 컴퓨터일 수 있고, 상기 웨어러블 컴퓨터는 웨어러블 양안 카메라 장치가 촬영한 제스처의 이중 시야각 이미지를 실시간으로 수집하고, 제스처의 이중 시야각 이미지에 따라 조작자 제스처의 포즈 정보를 계산하며, 제스처 포즈 정보에 따라 비디오 안경의 투시 뷰잉 볼륨 전단에 실시간으로 하나의 가상 제스처 모델을 표시할 수 있고,The remote control controller may be a wearable computer, and the wearable computer collects in real time double viewing angle images of gestures captured by the wearable binocular camera device, calculates pose information of operator gestures according to the double viewing angle images of the gestures, and poses gestures. According to the information, one virtual gesture model can be displayed in real time on the front of the perspective viewing volume of the video glasses,
웨어러블 양안 카메라 장치는 양안 카메라(N5)일 수 있으며, 상기 양안 카메라(N5)는 조작자 제스처의 이중 시야각 이미지를 수집하는 데 사용된다. 조작자는 양안 카메라(N5)의 시야 범위 내에서 제스처 포즈를 사용하여 차량 탑재 다자유도 정찰 시스템 엔드 포즈의 제어를 구현한다.The wearable binocular camera device may be a binocular camera N5, and the binocular camera N5 is used to collect dual viewing angle images of operator gestures. The operator implements control of the vehicle-mounted multi-DOF reconnaissance system end pose by using a gesture pose within the field of view of the binocular camera N5.
헤드 마운트 가상 디스플레이는 비디오 안경(N4)일 수 있고, 슬레이브 로봇 정찰 카메라(N3)가 촬영한 정찰 이미지를 표시하고 다자유도 매니퓰레이터(N2)의 가상 모델과 조작자 제스처의 가상 모델을 표시하는 데 사용되고, 여기에서 정찰 이미지는 비디오 안경의 투시 뷰잉 볼륨의 후단에 위치할 수 있고, 다자유도 매니퓰레이터(N2)의 가상 모델과 조작자 제스처의 가상 모델은 비디오 안경의 투시 뷰잉 볼륨의 전단에 위치하고, 본 실시예에서는 투시 뷰잉 볼륨 표시를 채택하였으며 다른 뷰잉 볼륨을 채택할 수 있다. 투시 뷰잉 볼륨은 투시 투영을 통한 뷰잉 볼륨이며, 투시 투영된 뷰잉 볼륨은 꼭대기부와 바닥부가 모두 절단된 피라미드, 즉 프리즘과 유사하며 그 특징은 가까운 것은 크고 먼 것은 작다는 것이다.The head mounted virtual display may be video glasses (N4), and is used to display the reconnaissance image taken by the slave robot reconnaissance camera (N3) and to display the virtual model of the multi-degree of freedom manipulator (N2) and the virtual model of operator gestures. , Here, the reconnaissance image can be located at the rear end of the perspective viewing volume of the video glasses, and the virtual model of the multi-degree of freedom manipulator (N2) and the virtual model of operator gestures are located at the front end of the perspective viewing volume of the video glasses. In the example, a perspective viewing volume display has been adopted, and other viewing volumes can be adopted. The perspective viewing volume is a viewing volume through perspective projection, and the perspective projected viewing volume is similar to a pyramid, that is, a prism in which both the top and bottom portions are cut, and its characteristics are that the near one is large and the far one is small.
슬레이브 로봇은 이동 로봇 본체(N1), 다자유도 매니퓰레이터(N2), 정찰 카메라(N3), 슬레이브 무선 통신 디바이스 및 차량 탑재 컨트롤러를 포함하고, 상기 차량 탑재 컨트롤러는 각각 이동 로봇 본체(N1), 다자유도 매니퓰레이터(N2), 정찰 카메라(N3) 및 슬레이브 무선 통신 디바이스에 연결된다. 정찰 카메라(N3)는 다자유도 매니퓰레이터(N2) 엔드에 장착되어 정찰 데이터 수집에 사용되고, 이동 로봇 본체(N1)는 차체 구동 모터 유닛과 모터 드라이버를 더 포함하고, 상기 모터 드라이버는 각각 차량 탑재 컨트롤러와 구동 모터 유닛에 연결된다. 이동 로봇 본체(N1)는 차량 탑재 컨트롤러를 통해 마스터 웨어러블 원격 제어 장치의 제어를 받아 위치를 이동시킨다. 차량 탑재 컨트롤러는 제어 명령을 모터 드라이버에 전송하고, 모터 드라이버는 구동 모터 유닛의 상응하는 모터를 제어하여 슬레이브 로봇 위치의 이동을 구현한다.The slave robot includes a mobile robot body (N1), a multi-degree of freedom manipulator (N2), a reconnaissance camera (N3), a slave wireless communication device, and a vehicle-mounted controller, and the vehicle-mounted controllers are mobile robot body (N1), respectively. It is connected to a degree of freedom manipulator (N2), a reconnaissance camera (N3) and a slave wireless communication device. The reconnaissance camera (N3) is mounted on the end of the multi-degree of freedom manipulator (N2) and used for reconnaissance data collection, and the mobile robot body (N1) further includes a vehicle body drive motor unit and a motor driver, and the motor drivers are each vehicle-mounted controller. And the drive motor is connected to the unit. The mobile robot body N1 moves its position under the control of a master wearable remote control device through a vehicle-mounted controller. The vehicle-mounted controller transmits a control command to the motor driver, and the motor driver controls the corresponding motor of the driving motor unit to implement the movement of the slave robot position.
다자유도 매니퓰레이터(N2)는 마스터 웨어러블 원격 제어 장치의 제어를 받아 상응하는 동작을 실행하고, 상기 다자유도 매니퓰레이터(N2)는 연결 로드 기구, 매니퓰레이터 드라이버 및 매니퓰레이터 구동 모터 유닛을 포함한다. 차량 탑재 컨트롤러는 제어 명령을 매니퓰레이터 드라이버에 전송하고, 매니퓰레이터 드라이버는 매니퓰레이터 구동 모터 유닛의 상응하는 모터를 구동하여, 연결 로드 기구 각도와 위치의 이동을 구현함으로써, 다자유도 매니퓰레이터(N2) 각 관절의 관절 각도 정보를 변경한다.The multi-degree of freedom manipulator N2 is controlled by a master wearable remote control device to execute a corresponding operation, and the multi-degree of freedom manipulator N2 includes a connection rod mechanism, a manipulator driver, and a manipulator drive motor unit. The on-vehicle controller transmits a control command to the manipulator driver, and the manipulator driver drives the corresponding motor of the manipulator drive motor unit to realize movement of the angle and position of the connecting rod mechanism, thereby implementing the multi-degree of freedom manipulator N2 Change joint angle information.
슬레이브 로봇의 매니퓰레이터의 가상 모델은 다자유도 매니퓰레이터(N2)의 가상 모델이다. 상기 다자유도 매니퓰레이터(N2)의 가상 모델은 다자유도 매니퓰레이터(N2)의 D-H 매개 변수에 따라 제도된 가상 매니퓰레이터(N6)일 수 있다.The virtual model of the manipulator of the slave robot is a virtual model of the multi-degree of freedom manipulator N2. The virtual model of the multi-degree of freedom manipulator N2 may be a virtual manipulator N6 that is drafted according to the D-H parameter of the multi-degree of freedom manipulator N2.
조작자는 양안 카메라(N5)의 시야 범위 내에서 제스처 포즈를 사용하여 차량 탑재 다자유도 정찰 시스템 엔드 포즈의 제어를 구현한다.The operator implements control of the vehicle-mounted multi-DOF reconnaissance system end pose by using a gesture pose within the field of view of the binocular camera N5.
더 나아가, 도 4에 도시된 바와 같이, 웨어러블 디바이스 기반의 로봇 원격 제어 시스템은 무선으로 연결된 마스터 웨어러블 원격 제어 장치(100)와 슬레이브 로봇(200)을 포함하고, 상기 마스터 웨어러블 원격 제어 장치(100)는 조작자에게 착용되어 제어 명령을 전송하고 슬레이브 로봇(200)으로부터 수집된 데이터를 수신하는 데 사용된다.Furthermore, as shown in FIG. 4, the wearable device-based robot remote control system includes a master wearable remote control device 100 and a slave robot 200 connected wirelessly, and the master wearable remote control device 100 Is worn on the operator and used to transmit control commands and receive data collected from the slave robot 200.
상기 마스터 웨어러블 원격 제어 장치(100)는 웨어러블 양안 카메라 장치, 헤드 마운트 가상 디스플레이(104), 마스터 무선 통신 디바이스 및 원격 조작 컨트롤러(101)를 포함하고, 상기 웨어러블 양안 카메라 장치, 헤드 마운트 가상 디스플레이(104)와 마스터 무선 통신 디바이스는 각각 원격 조작 컨트롤러에 연결되고, 웨어러블 양안 카메라 장치는 조작자 머리 위치에 착용되어 조작자의 동작을 수집하는 데 사용되고, 원격 조작 컨트롤러(101)는 상응하는 동작에 따라 제어 명령을 생성하여 슬레이브 로봇(200)으로 전송한다.The master wearable remote control device 100 includes a wearable binocular camera device, a head mounted virtual display 104, a master wireless communication device, and a remote control controller 101, and the wearable binocular camera device, a head mounted virtual display 104 ) And the master wireless communication device are each connected to the remote control controller, the wearable binocular camera device is worn at the operator's head position and used to collect the operation of the operator, and the remote control controller 101 issues a control command according to the corresponding operation. It is generated and transmitted to the slave robot 200.
도 5에 도시된 바와 같이, 웨어러블 양안 카메라 장치는 적어도 하나가 설치되고, 웨어러블 양안 카메라 장치는 좌측 웨어러블 시각 디바이스(102)와 우측 웨어러블 시각 디바이스(103)를 포함하며, 각각 조작자 머리 좌우 양측에 착용되고, 조작자 전방의 이미지를 촬영할 수 있고, 조작자의 손 동작 정보를 수집하는 데 사용된다. 손 동작 정보는 이미지에서 손의 위치 정보와 손모양 정보를 포함할 수 있다. 좌측 웨어러블 시각 디바이스와 우측 웨어러블 시각 디바이스는 구체적으로 귀걸이형 카메라일 수 있다.As shown in FIG. 5, at least one wearable binocular camera device is installed, and the wearable binocular camera device includes a left wearable vision device 102 and a right wearable vision device 103, and is worn on both left and right sides of the operator's head, respectively. It can take an image in front of the operator, and is used to collect the operator's hand motion information. The hand motion information may include hand position information and hand shape information in the image. The left wearable visual device and the right wearable visual device may specifically be earring type cameras.
상기 헤드 마운트 가상 디스플레이(104)는 슬레이브 로봇(200)이 탑재된 감시 카메라로 촬영한 화면을 표시할 수 있고, 원격 조작 컨트롤러는 슬레이브 로봇(200)이 촬영한 화면 정보를 수신하고, 헤드 마운트 가상 디스플레이(104)를 제어하여 현장에서 촬영한 화면을 표시하며, 헤드 마운트 가상 디스플레이(104)는 구체적으로 비디오 안경일 수 있다.The head mounted virtual display 104 may display a screen shot by a surveillance camera on which the slave robot 200 is mounted, and the remote control controller receives screen information captured by the slave robot 200, and the head mounted virtual display 104 The display 104 is controlled to display a screen shot in the field, and the head mounted virtual display 104 may be specifically video glasses.
마스터 무선 통신 디바이스는 무선 전송 모듈을 통해 무선 전송을 구현하며, 데이터 전송을 위한 무선 데이터 전송 디바이스(106)와 이미지 비디오 데이터를 전송하기 위한 무선 이미지 전송 디바이스(107)로 나눌 수 있고, 마스터 웨어러블 원격 제어 장치(100)와 슬레이브 로봇(200) 사이의 정보 전송을 구현하며, 구체적으로 제어 명령을 슬레이브 로봇(200)에 전송하고 슬레이브 로봇(200)에서 반송하는 센서 데이터를 수신하며 슬레이브 로봇(200)으로부터 반송된 이미지 데이터를 수신하는 데 사용된다. 상기 무선 전송 모듈은 이미지 데이터를 전송하기 위한 이미지 전송 스테이션과 제어 명령을 전송하기 위한 데이터 전송 스테이션, 예를 들어 5.8GHz 무선 이미지 전송 스테이션과 433MHz 무선 데이터 전송 스테이션을 포함할 수 있다. 원격 제어 거리가 비교적 짧은 경우 WIFI 통신 모듈을 채택하여 이미지 전송과 제어 명령 전송을 동시에 구현할 수 있다.The master wireless communication device implements wireless transmission through a wireless transmission module, and can be divided into a wireless data transmission device 106 for data transmission and a wireless image transmission device 107 for transmitting image video data, and the master wearable remote It implements information transmission between the control device 100 and the slave robot 200, and specifically transmits a control command to the slave robot 200 and receives the sensor data conveyed by the slave robot 200, and the slave robot 200 It is used to receive the image data returned from. The wireless transmission module may include an image transmission station for transmitting image data and a data transmission station for transmitting a control command, for example, a 5.8GHz wireless image transmission station and a 433MHz wireless data transmission station. When the remote control distance is relatively short, by adopting a WIFI communication module, image transmission and control command transmission can be simultaneously implemented.
상기 마스터 웨어러블 원격 제어 장치(100)는 무선 오디오 프롬프트 디바이스(105)를 더 포함할 수 있고, 무선 오디오 프롬프트 디바이스(105)는 원격 조작 컨트롤러(101)와 연결되어, 조작자에게 실행할 제어 명령을 프롬프트하는 데 사용된다.The master wearable remote control device 100 may further include a wireless audio prompt device 105, and the wireless audio prompt device 105 is connected to the remote control controller 101 to prompt the operator for a control command to be executed. Used to
슬레이브 로봇(200)은 구체적으로 지면 무장 정찰 로봇으로 정찰 미션을 실행하는 데 사용될 수 있고, 이동 로봇 차체와 차량 탑재 다자유도 매니퓰레이터를 포함한다.The slave robot 200 may be specifically used to execute a reconnaissance mission as a ground armed reconnaissance robot, and includes a mobile robot body and a vehicle-mounted multi-degree of freedom manipulator.
더 나아가, 도 6에 도시된 바와 같이, 상기 이동 로봇 차체는 이동 로봇 본체(202), 차체 구동 모터 유닛(213), 모터 드라이버(211), 정찰 카메라(207), 라이다(lidar)(208), 슬레이브 무선 통신 디바이스 및 차량 탑재 컨트롤러(201)를 포함할 수 있고, 슬레이브 무선 통신 디바이스는 각각 데이터 및 이미지를 저장 및 전송하기 위한 슬레이브 무선 데이터 전송 디바이스(209)와 슬레이브 무선 이미지 전송 디바이스(210)를 포함한다. 마스터 웨어러블 원격 제어 장치(100)의 제어 하에서 이동하여 조작자가 위험 지역에 진입하여 전투 미션을 수행하는 것을 대신할 수 있다. 상기 모터 드라이버(211), 차체 구동 모터 유닛(213) 및 이동 로봇 본체(202)는 순차적으로 연결되고, 상기 모터 드라이버(211)는 마스터가 전송한 제어 명령에 따라 차체 구동 모터 유닛(213)을 제어하는 데 사용되고, 차체 구동 모터 유닛(213)은 이동 로봇 본체(202)를 연결하여 슬레이브 로봇(200)의 이동을 구현하고, 상기 차체 구동 모터 유닛(213)은 적어도 좌측 모터와 우측 모터를 포함하고, 상기 좌측 모터와 우측 모터는 동일한 방향으로 회전할 수 있으며, 로봇이 전진 및 후진하도록 제어할 수 있고, 상기 좌측 모터와 우측 모터는 다른 방향으로 회전할 수 있으며, 로봇을 좌회전 또는 우회전하도록 제어할 수 있다.Further, as shown in FIG. 6, the mobile robot body includes a mobile robot body 202, a vehicle body drive motor unit 213, a motor driver 211, a reconnaissance camera 207, and a lidar 208. ), a slave wireless communication device and a vehicle-mounted controller 201, wherein the slave wireless communication device includes a slave wireless data transmission device 209 and a slave wireless image transmission device 210 for storing and transmitting data and images, respectively. ). Moving under the control of the master wearable remote control device 100, the operator may enter a danger zone and perform a combat mission. The motor driver 211, the vehicle body drive motor unit 213, and the mobile robot body 202 are sequentially connected, and the motor driver 211 controls the vehicle body drive motor unit 213 according to the control command transmitted by the master. Used to control, the vehicle body drive motor unit 213 connects the mobile robot body 202 to implement the movement of the slave robot 200, and the vehicle body drive motor unit 213 includes at least a left motor and a right motor. And, the left motor and the right motor can rotate in the same direction, the robot can be controlled to move forward and backward, the left motor and the right motor can rotate in different directions, and the robot can be rotated left or right. can do.
라이다(208)는 상기 슬레이브 지면 무장 정찰 로봇 주변의 장애물 정보를 측정하는 데 사용되며, 라이다(208)는 차량 탑재 컨트롤러(201)에 연결되고, 차량 탑재 컨트롤러(201)는 측정된 장애물 정보를 수신하고 마스터의 원격 조작 컨트롤러(101)로 장애물 정보를 전송하며, 마스터의 헤드 마운트 가상 디스플레이(104) 상에 장애물 정보를 표시할 수 있다. 슬레이브 무선 통신 디바이스와 마스터 무선 통신 디바이스의 구조는 동일할 수 있으며, 동일한 무선 전송 모듈을 선택할 수 있다. 상기 정찰 카메라(207)는 전장 환경 정보를 촬영하는 데 사용되고 차체에 직접 설치될 수 있으며, 상기 정찰 카메라(207)는 차량 탑재 컨트롤러(201)와 연결되어, 수집된 환경 이미지를 마스터 원격 조작 컨트롤러로 전송하는 데 사용된다.The lidar 208 is used to measure obstacle information around the slave ground armed reconnaissance robot, the lidar 208 is connected to the vehicle-mounted controller 201, and the vehicle-mounted controller 201 is the measured obstacle information. And transmits obstacle information to the remote control controller 101 of the master, and displays the obstacle information on the head mounted virtual display 104 of the master. The structure of the slave wireless communication device and the master wireless communication device may be the same, and the same wireless transmission module may be selected. The reconnaissance camera 207 is used to photograph battlefield environment information and may be installed directly on the vehicle body, and the reconnaissance camera 207 is connected to the vehicle-mounted controller 201 to transfer the collected environmental images to a master remote control controller. Used to transmit.
차량 탑재 다자유도 매니퓰레이터는 연결 로드 기구(203), 매니퓰레이터 구동 모터 유닛(214), 매니퓰레이터 드라이버(212), 레이저 거리 측정 센서(205), 손 눈 감시 카메라(206) 및 무기 장치(204)를 포함하고, 연결 로드 기구(203)의 엔드에 손 눈 감시 카메라(206)가 고정 설치되고, 연결 로드 기구(203), 매니퓰레이터 구동 모터 유닛(214) 및 매니퓰레이터 드라이버(212)는 순차적으로 연결되고, 연결 로드 기구(203)는 적어도 두 구간의 연결 로드로 구성되고, 매니퓰레이터 드라이버(212)는 마스터가 전송한 제어 정보를 수신하여 제어 정보에 따라 매니퓰레이터 구동 모터 유닛(214)의 작업을 제어함으로써, 연결 로드 기구(203) 동작을 구동하여 조작자가 이동하려는 위치까지 이동하고, 연결 로드 기구(203) 엔드에 설치된 손 눈 감시 카메라(206)를 통해 관심 표적의 이미지 정보를 촬영한다.The vehicle-mounted multi-degree of freedom manipulator includes a connecting rod mechanism 203, a manipulator drive motor unit 214, a manipulator driver 212, a laser distance measurement sensor 205, a hand-eye surveillance camera 206, and a weapon device 204. Including, the hand eye monitoring camera 206 is fixedly installed at the end of the connecting rod mechanism 203, the connecting rod mechanism 203, the manipulator drive motor unit 214 and the manipulator driver 212 are sequentially connected, The connection rod mechanism 203 is composed of a connection rod of at least two sections, and the manipulator driver 212 receives control information transmitted from the master and controls the operation of the manipulator drive motor unit 214 according to the control information. The rod mechanism 203 moves to the position where the operator wants to move, and image information of the target of interest is photographed through the hand-eye monitoring camera 206 installed at the end of the connecting rod mechanism 203.
레이저 거리 측정 센서(205)와 무기 장치(204)는 각각 매니퓰레이터 드라이버(212)와 정찰 및 타격 미션에 사용되며, 모두 연결 로드 기구(203)의 엔드에 설치될 수 있고, 상기 레이저 거리 측정 센서(205)는 표적을 타격하는 거리 정보를 측정하는 데 사용된다.The laser distance measurement sensor 205 and the weapon device 204 are used for the manipulator driver 212 and reconnaissance and strike missions, respectively, and both can be installed at the end of the connecting rod mechanism 203, and the laser distance measurement sensor ( 205) is used to measure distance information hitting the target.
정찰 카메라(207)와 손 눈 감시 카메라(206)의 설치는 상이한 이미지를 수집하는 데 사용되는데, 정찰 카메라(207)는 환경 데이터를 수집하고, 슬레이브 로봇(200)의 이동을 통해 지나는 경로의 환경 이미지 수집을 구현하고, 손 눈 감시 카메라(206)는 조작자의 제어에 따라 중점 영역 또는 관심 영역의 이미지를 수집하는 데 사용되고, 두 카메라의 설치를 통해 사각 지대 없이 로봇 작업 현장 이미지를 수집할 수 있다.The installation of the reconnaissance camera 207 and the hand-eye surveillance camera 206 is used to collect different images. The reconnaissance camera 207 collects environmental data, and the environment of the path passing through the movement of the slave robot 200 Implement image collection, and the hand-eye surveillance camera 206 is used to collect images of a focus area or an area of interest under the control of the operator, and through the installation of two cameras, it is possible to collect images of the robot work site without a blind spot. .
차량 탑재 컨트롤러(201)는 라이다(208), 레이저 거리 측정 센서(205), 정찰 카메라(207) 및 손 눈 감시 카메라(206)의 데이터 수집을 제어하여 마스터 원격 조작 장치에 무선으로 전송할 수 있고, 상기 슬레이브 무선 통신 디바이스를 통해 마스터 원격 조작 장치가 전송하는 제어 명령을 수신하고, 제어 명령에 따라 상기 모터 드라이버(211) 또는 상기 매니퓰레이터 드라이버(212)를 통해 상응하는 상기 차체 구동 모터 유닛(213) 또는 상기 매니퓰레이터 구동 모터 유닛(214)을 제어할 수도 있다.Vehicle-mounted controller 201 controls data collection of lidar 208, laser distance measurement sensor 205, reconnaissance camera 207, and hand-eye surveillance camera 206 and transmits wirelessly to the master remote control device. , Receiving a control command transmitted from the master remote control device through the slave wireless communication device, and corresponding the vehicle body drive motor unit 213 through the motor driver 211 or the manipulator driver 212 according to the control command Alternatively, the manipulator drive motor unit 214 may be controlled.
실시예 2Example 2
본 실시예는 실시예 1의 이동 로봇 제어 시스템 기반의 로봇 엔드 포즈의 원격 조작 제어 방법을 제공하며, 도 1 내지 도 3에 도시된 바와 같이, 구체적으로 제스처의 모션을 통해 매니퓰레이터 엔드 위치와 자세의 연속 제어를 구현할 수 있는 다자유도 매니퓰레이터 엔드 포즈 원격 조작 제어 방법을 제공한다. 여기에는 다음 단계가 포함된다.This embodiment provides a method for remotely manipulating a robot end pose based on the mobile robot control system of Example 1, and as shown in Figs. 1 to 3, specifically, the manipulator end position and posture are determined through the motion of the gesture. A multi-degree of freedom manipulator end-pose remote control method that can implement continuous control is provided. This includes the following steps:
단계 101: 견인 손모양과 분리 손모양을 설정한다.Step 101: Set the traction hand shape and the separation hand shape.
상기 견인 손모양은 조작자가 이 손모양으로 감지되면, 가상 제스처 모델의 포즈와 비디오 안경 중의 가상 매니퓰레이터 엔드 포즈를 일치시키며, 조작자는 제스처의 포즈를 통해 비디오 안경(N4) 중의 가상 제스처 모델의 위치와 자세(즉 포즈)를 구동할 수 있고, 가상 제스처 모델은 가상 매니퓰레이터(N6) 엔드 포즈에 대하여 실시간 연속 제어를 수행할 수 있다.When the traction hand shape is sensed by the operator, the pose of the virtual gesture model matches the virtual manipulator end pose in the video glasses, and the operator matches the position of the virtual gesture model in the video glasses N4 through the gesture pose. A posture (that is, a pose) can be driven, and the virtual gesture model can perform real-time continuous control on the end pose of the virtual manipulator N6.
제스처가 분리 제스처로 바뀌면, 가상 제스처 모델은 더 이상 조작자의 제스처를 따라 이동하지 않으며, 조작자 제스처도 가상 매니퓰레이터(N6)에 대하여 실시간 연속 제어를 수행할 수 없다.When the gesture is changed to a separate gesture, the virtual gesture model no longer moves according to the operator's gesture, and the operator's gesture cannot perform real-time continuous control on the virtual manipulator N6.
견인 손모양과 분리 손모양은 임의 손모양일 수 있고, 필요에 따라 자체적으로 설정할 수 있다. 본 실시예에서는 견인 손모양이 카테시안(cartesian) 좌표계를 나타내는 손모양으로 설정할 수 있는데, 상기 손모양 중의 약지와 소지는 굽힌 상태이고, 엄지, 검지, 중지는 곧게 뻗은 상태이고, 세 손가락은 서로 수직으로 카테시안 좌표계를 구성한다. 분리 손모양은 한 손 주먹 손모양일 수 있다.The traction hand shape and the separating hand shape may be arbitrary hand shapes and can be set by themselves as needed. In this embodiment, the traction hand shape may be set to a hand shape representing a Cartesian coordinate system, and the ring finger and the hand held in the hand shape are in a bent state, the thumb, index finger, and middle finger are in a straight state, and the three fingers are Construct a Cartesian coordinate system vertically. The separating hand may be a one-handed fist hand.
단계 101 이전에 초기화와 무선 연결 구축의 단계를 더 포함할 수 있으며 이는 다음과 같다.Prior to step 101, steps of initializing and establishing a wireless connection may be further included, as follows.
원격 조작 컨트롤러와 슬레이브 로봇을 초기화한다.Initialize the remote control controller and slave robot.
원격 조작 컨트롤러와 슬레이브 로봇(N1) 사이에 무선 통신 채널을 구축한다.A wireless communication channel is established between the remote control controller and the slave robot N1.
단계 102: 가상 매니퓰레이터와 가상 제스처 모델을 구축하여 헤드 마운트 가상 디스플레이 뷰잉 볼륨의 전단에 표시한다.Step 102: A virtual manipulator and a virtual gesture model are constructed and displayed on the front end of the head mounted virtual display viewing volume.
상기 단계 102에서 가상 매니퓰레이터를 구축하여 헤드 마운트 가상 디스플레이 뷰잉 볼륨의 전단에 표시하는 방법은 구체적으로 다음의 단계를 포함한다.The method of constructing the virtual manipulator in step 102 and displaying it on the front end of the head mounted virtual display viewing volume specifically includes the following steps.
1021) 슬레이브 로봇의 다자유도 매니퓰레이터의 각 관절의 관절 각도 정보를 판독하고,1021) Read joint angle information of each joint of the multi-degree of freedom manipulator of the slave robot,
다자유도 매니퓰레이터의 동작은 차량 탑재 컨트롤러에 의해 제어되고, 매니퓰레이터 드라이버는 매니퓰레이터 구동 모터 유닛의 상응하는 모터를 구동하여, 연결 로드 기구 각도와 위치의 이동을 구현함으로써, 다자유도 매니퓰레이터(N2)의 각 관절의 관절 각도 정보를 변경한다. 다자유도 매니퓰레이터의 각 관절의 관절 각도 정보는 차량 탑재 컨트롤러에서 직접 판독할 수 있다.The operation of the multi-degree of freedom manipulator is controlled by the in-vehicle controller, and the manipulator driver drives the corresponding motor of the manipulator drive motor unit to realize the movement of the angle and position of the connecting rod mechanism, thereby allowing the multi-degree of freedom manipulator N2 to Change the joint angle information of each joint. The joint angle information of each joint of the multi-degree of freedom manipulator can be read directly from the vehicle-mounted controller.
1022) 원격 조작 컨트롤러는 수집된 관절 각도 정보를 기반으로 다자유도 매니퓰레이터의 D-H 매개 변수를 계산한다.1022) The remote control controller calculates the D-H parameter of the multi-degree of freedom manipulator based on the collected joint angle information.
1023) 다자유도 매니퓰레이터의 D-H 매개 변수에 따라 가상 매니퓰레이터를 구축하고, 가상 매니퓰레이터를 헤드 마운트 가상 디스플레이 뷰잉 볼륨의 전단에 표시한다.1023) Construct a virtual manipulator according to the D-H parameter of the multi-degree of freedom manipulator, and display the virtual manipulator at the front end of the head mounted virtual display viewing volume.
상기 가상 매니퓰레이터(N6)의 각 관절의 각도는 수신한 관절 각도 정보에서 제어하고, 가상 매니퓰레이터(N6)의 베이스 좌표계는 비디오 안경(N4)의 스크린 좌표계에서 설명하고, 가상 매니퓰레이터(N6)의 엔드 좌표계는
Figure pct00007
로 표기하고, 가상 매니퓰레이터(N6)의 엔드의 포즈는
Figure pct00008
로 표시하고, 위치 정보와 자세 정보를 포함한다.
The angle of each joint of the virtual manipulator N6 is controlled by the received joint angle information, the base coordinate system of the virtual manipulator N6 is described in the screen coordinate system of the video glasses N4, and the end coordinate system of the virtual manipulator N6 Is
Figure pct00007
And the pose of the end of the virtual manipulator (N6) is
Figure pct00008
And includes location information and posture information.
가상 제스처 모델의 구축 방법은 구체적으로 다음과 같을 수 있다.A method of constructing a virtual gesture model may be specifically as follows.
(1) 3D 모델링 소프트웨어를 사용하여 오프라인으로 견인 손모양의 3D 가상 제스처 모델을 구축한다.(1) Using 3D modeling software, a 3D virtual gesture model of a towing hand is built offline.
(2) 실시간으로 상기 3D 가상 제스처 모델을 헤드 마운트 가상 디스플레이 뷰잉 볼륨의 전단에 로드 및 렌더링하며, 이는 뷰잉 볼륨 중의 위치와 자세에서 조작자의 견인 손모양의 위치와 자세에 의해 구동된다.(2) The 3D virtual gesture model is loaded and rendered at the front end of the head mounted virtual display viewing volume in real time, which is driven by the position and posture of the operator's traction hand in the position and posture in the viewing volume.
조작자 조작의 목적성과 정확성을 향상시키기 위해, 비디오 안경(N4)에서 슬레이브 로봇이 위치한 지점의 정찰 환경 정보를 표시할 수 있는데, 구체적으로 정찰 카메라(N3)에서 수집한 정찰 이미지를 비디오 안경(N4)의 뷰잉 볼륨에 표시할 수 있고, 헤드 마운트 가상 디스플레이 상에 슬레이브 로봇에서 촬영한 이미지를 표시하는 단계를 포함할 수도 있다. 구체적으로는 슬레이브 로봇 엔드의 정찰 이미지를 수집하고, 원격 조작 컨트롤러가 정찰 이미지를 수신하여 이를 실시간으로 헤드 마운트 가상 디스플레이의 뷰잉 볼륨 후단에 표시한다.In order to improve the purpose and accuracy of operator operation, the video glasses (N4) can display the reconnaissance environment information of the point where the slave robot is located. Specifically, the reconnaissance images collected by the reconnaissance camera (N3) can be displayed on the video glasses (N4). It may be displayed on the viewing volume of, and may include displaying an image captured by the slave robot on the head mounted virtual display. Specifically, the reconnaissance image of the slave robot end is collected, and the remote control controller receives the reconnaissance image and displays it in real time on the rear end of the viewing volume of the head mounted virtual display.
단계 103: 양안 카메라(N5)의 이중 시야각 이미지를 수집하고, 양안 카메라(N5)를 통해 조작자의 손모양 정보를 수집한다. 이중 시야각 이미지는 좌우 두 시야각의 이미지를 포함한다.Step 103: Collect the double-view angle image of the binocular camera N5, and collect information on the shape of the operator's hand through the binocular camera N5. The double viewing angle image includes images of both left and right viewing angles.
단계 104: 제스처 검출 알고리즘을 이용하여 이중 시야각 이미지에 조작자의 제스처가 존재하는지 판단하고, 그렇다면 다음 단계를 실행하며, 그렇지 않다면 단계 103을 실행한다. 이중 시야각 이미지에 조작자의 제스처가 나타나기만 하면 단계 105를 실행한다.Step 104: It is determined whether or not the gesture of the operator exists in the double viewing angle image using the gesture detection algorithm, and if so, the next step is executed, otherwise, step 103 is executed. Step 105 is executed as long as the operator's gesture appears on the double viewing angle image.
제스처 검출 알고리즘은 구체적으로 피부색 역치 기반의 제스처 검출 알고리즘일 수 있다.Specifically, the gesture detection algorithm may be a gesture detection algorithm based on a skin color threshold.
단계 105: 손모양 인식 알고리즘을 이용하여 제스처에 대한 손모양 인식을 수행하고, 견인 손모양이 나타났는지 판단하며, 그렇다면 다음 단계를 실행하고, 그렇지 않다면 단계 103을 실행한다. 손모양 인식 알고리즘은 구체적으로 딥러닝 기반의 손모양 인식 알고리즘이다.Step 105: The hand shape recognition for the gesture is performed using the hand shape recognition algorithm, and it is determined whether a traction hand shape appears, and if so, the next step is executed, and if not, step 103 is executed. The hand shape recognition algorithm is specifically a deep learning-based hand shape recognition algorithm.
이중 시야각 이미지에서 견인 손모양이 검출되면, 이때 조작자의 손모양을 통해 다자유도 매니퓰레이터(N2)를 견인 제어해야 한다. 견인 손모양이 나타나지 않았다면, 다시 단계 3을 실행하여 양안 카메라(N5)를 통해 조작자의 손모양 정보를 수집한다.When the traction hand shape is detected in the double viewing angle image, the multi-degree of freedom manipulator N2 must be traction controlled through the hand shape of the operator. If the towing hand does not appear, step 3 is performed again to collect the operator's hand shape information through the binocular camera N5.
단계 106: 촬영된 이중 시야각 이미지를 처리하고 웨어러블 양안 카메라 장치 좌표계에서 제스처의 포즈(
Figure pct00009
)를 구하고, 포즈(
Figure pct00010
)를 헤드 마운트 가상 디스플레이의 스크린 좌표계에서의 포즈 설명(
Figure pct00011
)으로 변환하고, 변환된 포즈(
Figure pct00012
)를 이용해 헤드 마운트 가상 디스플레이 뷰잉 볼륨 중의 가상 제스처 모델을 구동한다.
Step 106: Process the photographed double viewing angle image and pose of the gesture in the wearable binocular camera device coordinate system (
Figure pct00009
) And the pose (
Figure pct00010
) To the pose description in the screen coordinate system of the head mounted virtual display (
Figure pct00011
), and the transformed pose (
Figure pct00012
) To drive the virtual gesture model in the head mounted virtual display viewing volume.
웨어러블 양안 카메라 장치 좌표계에서 견인 제스처의 포즈(
Figure pct00013
)를 구하는 것은 DeepPrior++ 알고리즘을 이용할 수 있으며, DeepPrior++ 알고리즘은 입체 시각 하에서 제스처 포즈를 추정할 수 있다.
Pose of the traction gesture in the wearable binocular camera device coordinate system (
Figure pct00013
) Can be obtained using the DeepPrior++ algorithm, and the DeepPrior++ algorithm can estimate the gesture pose under 3D perspective.
웨어러블 양안 카메라 장치 좌표계에서 견인 제스처의 포즈(
Figure pct00014
)를 구하는 것은 다음 단계를 채택할 수 있다.
Pose of the traction gesture in the wearable binocular camera device coordinate system (
Figure pct00014
Finding) can take the following steps:
(1061) 견인 제스처 포즈(
Figure pct00015
)는 위치 정보와 자세 정보를 포함하고, 여기에서 위치 정보는 좌우 뷰 중 제스처 검출 결과와 시차 원리를 사용해 구할 수 있다.
(1061) Traction gesture pose (
Figure pct00015
) Includes location information and posture information, where the location information can be obtained using the gesture detection result and the parallax principle among left and right views.
(1062) 견인 제스처 포즈(
Figure pct00016
)의 자세 정보는 회귀 학습 기반의 방법을 사용하여 구현한다.
(1062) Traction gesture pose (
Figure pct00016
The posture information of) is implemented using a regression learning-based method.
견인 제스처 포즈(
Figure pct00017
)의 자세 정보는 회귀 학습 기반의 방법을 사용하여 구현하며, 구체적으로 다음과 같을 수 있다.
Towing gesture pose (
Figure pct00017
The posture information of) is implemented using a regression learning-based method, and may be specifically as follows.
(1062.1) 먼저 이중 시야각 제스처 이미지와 대응하는 자세 데이터 세트를 수집한다. 휴대용 3축 자세 센서를 채택하여 이중 시야각 카메라 앞에서 각각 3축 자세 센서의 3개 축을 감싸며 회전 모션을 하고 자세 센서가 매회 출력하는 데이터에 대응하는 이중 시야각 제스처 검출 결과 이미지를 수집한다. 동시에 획득한 제스처 이미지 프레임 2개와 제스처 데이터 프레임 1개를 각각 입력 샘플과 출력 샘플로 사용한다. 수집된 이중 시야각 제스처 이미지와 대응하는 자세 데이터를 각각 입력 샘플 학습 세트와 출력 샘플 세트로 사용한다.(1062.1) First, collect a double viewing angle gesture image and a corresponding posture data set. By adopting a portable 3-axis posture sensor, it rotates around the three axes of the 3-axis posture sensor in front of the dual viewing angle camera, and collects the double-view angle gesture detection result image corresponding to the data that the posture sensor outputs each time. Two gesture image frames and one gesture data frame obtained at the same time are used as input samples and output samples, respectively. The collected double viewing angle gesture images and corresponding posture data are used as input sample training sets and output sample sets, respectively.
(1062.2) 회귀 학습 방법을 사용하여 이중 시야각 제스처 이미지와 자세 데이터의 매핑 관계를 맞춘다.(1062.2) Match the mapping relationship between the double viewing angle gesture image and posture data using the regression learning method.
(1062.3) 상기 두 단계를 거친 후 곧바로 이중 시야각의 제스처 이미지를 통해 견인 제스처의 자세 정보를 구할 수 있다.(1062.3) Immediately after passing through the above two steps, the posture information of the traction gesture can be obtained through the gesture image of the double viewing angle.
단계 106은 먼저 조작자의 견인 제스처와 가상 제스처 모델의 대응 관계를 구축하고, 대응 관계를 통해 포즈(
Figure pct00018
)를 포즈(
Figure pct00019
)로 변환한다. 구체적인 대응 관계는 정비례 관계일 수 있고, 웨어러블 양안 카메라 장치 좌표계에서 조작자의 견인 제스처의 포즈(
Figure pct00020
)의 위치 정보와 포즈(
Figure pct00021
)의 위치 정보는 정비례 관계이고, 포즈(
Figure pct00022
)의 자세 정보와 포즈(
Figure pct00023
)의 자세 정보도 정비례 관계이다.
Step 106 first establishes a correspondence relationship between the operator's traction gesture and the virtual gesture model, and poses (
Figure pct00018
) To pose (
Figure pct00019
). The specific correspondence relationship may be a direct proportion relationship, and the pose of the operator's traction gesture in the coordinate system of the wearable binocular camera device (
Figure pct00020
) Location information and pose (
Figure pct00021
The location information of) is in a direct proportional relationship, and the pose (
Figure pct00022
) Posture information and pose (
Figure pct00023
)'S attitude information is also directly proportional.
상기 견인 제스처의 포즈(
Figure pct00024
)는 양안 카메라(N5)의 좌표계에서 설명한 것이며, 견인 제스처의 손바닥을 원점으로 규정할 수 있고, 견인 제스처 손바닥 지점의 원점 좌표계는
Figure pct00025
이고, 견인 제스처의 중지가 가리키는 방향은 X축 방향이고, 엄지가 가리키는 방향은 Y축 방향이고, 검지가 가리키는 방향은 Z축 방향이고, 여기에서 포즈(
Figure pct00026
)의 위치 정보는 견인 제스처 손바닥의 원점(
Figure pct00027
)에서 양안 카메라(N5) 좌표계 원점에 상대적인 오프셋으로 설명되고, 포즈(
Figure pct00028
)의 자세 정보는 견인 제스처의 좌표계
Figure pct00029
축,
Figure pct00030
축 및
Figure pct00031
축의 양안 카메라(N5) 좌표계 각 축의 회전으로 설명된다.
The pose of the traction gesture (
Figure pct00024
) Is described in the coordinate system of the binocular camera N5, the palm of the towing gesture can be defined as the origin, and the origin coordinate system of the palm of the towing gesture is
Figure pct00025
, And the direction that the middle finger of the traction gesture points is in the X-axis direction, the direction that the thumb points to is in the Y-axis direction, and the direction that the index finger points is in the Z-axis direction, where the pose (
Figure pct00026
The location information of) is the origin (
Figure pct00027
) In the binocular camera (N5) as an offset relative to the origin of the coordinate system, and the pose (
Figure pct00028
)'S posture information is the coordinate system of the towing gesture
Figure pct00029
shaft,
Figure pct00030
Axis and
Figure pct00031
The axis of the binocular camera (N5) coordinate system is described as the rotation of each axis.
상기 견인 제스처의 포즈(
Figure pct00032
)는 비디오 안경(N4)의 스크린 좌표계에서 설명한 것이며, 가상 견인 제스처의 손바닥을 원점으로 규정할 수 있고, 상기 가상 견인 제스처 손바닥 지점의 원점 좌표계는
Figure pct00033
이고, 가상 견인 제스처의 중지가 가리키는 방향은 X축 방향이고, 엄지가 가리키는 방향은 Y축 방향이고, 검지가 가리키는 방향은 Z축 방향이고, 여기에서 포즈(
Figure pct00034
)의 위치 정보는 가상 견인 제스처 손바닥의 원점(
Figure pct00035
)에서 비디오 안경(N4)의 스크린 좌표계 원점에 상대적인 오프셋으로 설명되고, 포즈(
Figure pct00036
)의 자세 정보는 가상 견인 제스처의 좌표계
Figure pct00037
축,
Figure pct00038
축 및
Figure pct00039
축의 비디오 안경(N4)의 스크린 좌표계 각 축의 회전으로 설명된다.
The pose of the traction gesture (
Figure pct00032
) Is described in the screen coordinate system of the video glasses N4, and the palm of the virtual traction gesture can be defined as an origin, and the origin coordinate system of the virtual traction gesture palm point is
Figure pct00033
And, the direction the middle finger of the virtual traction gesture points to is the X-axis direction, the direction the thumb points to is the Y-axis direction, the direction the index finger points to is the Z-axis direction, where the pose (
Figure pct00034
) Of the virtual traction gesture palm origin (
Figure pct00035
) Is described as an offset relative to the origin of the screen coordinate system of the video glasses (N4), and the pose (
Figure pct00036
), the posture information of the virtual traction gesture
Figure pct00037
shaft,
Figure pct00038
Axis and
Figure pct00039
The axis is described as the rotation of each axis in the screen coordinate system of the video glasses N4.
다음으로, 변환된 포즈(
Figure pct00040
)를 채택하여 헤드 마운트 가상 디스플레이 뷰잉 볼륨 중의 가상 제스처 모델을 구동하고, 가상 제스처 모델이 조작자의 제스처의 이동에 따라 이동하기 시작한다.
Next, the transformed pose (
Figure pct00040
) To drive the virtual gesture model in the head mounted virtual display viewing volume, and the virtual gesture model starts to move according to the movement of the operator's gesture.
상기 구동 방법은 구체적으로 3D 가상 제스처 모델을 헤드 마운트 가상 디스플레이에 로드한 후, 이를 뷰잉 볼륨 중에서 실시간으로 제도할 때 필요한 위치 정보는 포즈(
Figure pct00041
)의 위치 정보에서 곧바로 값이 할당되고, 이를 뷰잉 볼륨 중에서 실시간으로 제도할 때 필요한 자세 정보는 포즈(
Figure pct00042
)의 위치 정보에서 곧바로 값이 할당된다.
In the above driving method, after loading a 3D virtual gesture model onto a head mounted virtual display, position information required when drafting it in real time in the viewing volume is a pose (
Figure pct00041
) Is assigned a value directly from the location information, and the posture information required when drafting it in real time from the viewing volume is the pose (
Figure pct00042
), the value is assigned directly from the location information.
가상 제스처 모델의 포즈는 포즈(
Figure pct00043
)의 위치 정보와 자세 정보에서 실시간으로 값이 할당되기 때문에, 뷰잉 볼륨에서 가상 제스처 모델의 포즈는 포즈(
Figure pct00044
)와 완전히 일치하므로, 가상 제스처 모델의 포즈는 포즈(
Figure pct00045
)에서 구동된다고 이해할 수 있다.
The pose of the virtual gesture model is a pose(
Figure pct00043
) Position information and posture information are allocated in real time, so the pose of the virtual gesture model in the viewing volume is
Figure pct00044
), so the pose of the virtual gesture model is the pose (
Figure pct00045
).
단계 107: 가상 제스처 모델의 포즈(
Figure pct00046
)와 가상 매니퓰레이터(N6) 엔드 포즈(
Figure pct00047
)의 차이가 소정의 역치보다 작은지 판단하고, 그렇다면 다음 단계를 실행하고, 그렇지 않다면 단계 3을 실행한다.
Step 107: Pose of the virtual gesture model (
Figure pct00046
) And virtual manipulator (N6) end pose (
Figure pct00047
It is determined whether the difference in) is less than a predetermined threshold, and if so, the next step is executed, and if not, step 3 is executed.
단계 107은 장착을 구현하는 과정이며, 구체적인 것은 가상 제스처 모델의 포즈(
Figure pct00048
)와 가상 매니퓰레이터(N6) 엔드 포즈(
Figure pct00049
)의 거리가 가까워지도록 구현한다. 단계 6에서 조작자가 견인 제스처를 이동하면 가상 제스처 모델의 포즈(
Figure pct00050
)가 가상 매니퓰레이터(N6) 엔드 포즈(
Figure pct00051
)에 가까워질 때까지 가상 제스처 모델도 함께 이동한다.
Step 107 is a process of implementing the mounting, and the specific pose of the virtual gesture model (
Figure pct00048
) And virtual manipulator (N6) end pose (
Figure pct00049
Implement so that the distance of) gets closer. In step 6, when the operator moves the towing gesture, the pose of the virtual gesture model (
Figure pct00050
) Is the virtual manipulator (N6) end pose (
Figure pct00051
The virtual gesture model moves with it until it approaches ).
단계 107의 구체적인 구현 과정은 다음과 같다. 즉, 조작자가 비디오 안경(N4)의 투시 뷰잉 볼륨 중 가상 견인 제스처 포즈(
Figure pct00052
)와 가상 매니퓰레이터(N6) 엔드 포즈(
Figure pct00053
) 간의 상대적 관계를 관찰하고, 견인 제스처의 포즈(
Figure pct00054
)를 끊임없이 이동시켜 비디오 안경(N4)의 투시 뷰잉 볼륨 중의 가상 견인 제스처의 포즈(
Figure pct00055
)와 가상 매니퓰레이터(N6) 엔드 포즈(
Figure pct00056
)의 차이를 계속해서 작게 만들며, 상기 두 포즈의 차이는 아래 식으로 설명된다.
The detailed implementation process of step 107 is as follows. That is, the operator poses a virtual traction gesture during the perspective viewing volume of the video glasses N4 (
Figure pct00052
) And virtual manipulator (N6) end pose (
Figure pct00053
), and the pose of the traction gesture (
Figure pct00054
) By constantly moving the virtual traction gesture during the perspective viewing volume of the video glasses (N4) (
Figure pct00055
) And virtual manipulator (N6) end pose (
Figure pct00056
The difference between) is continuously made smaller, and the difference between the two poses is explained by the equation below.
Figure pct00057
Figure pct00057
가상 견인 제스처의 포즈(
Figure pct00058
)와 가상 매니퓰레이터(N6) 엔드 포즈(
Figure pct00059
)의 차이(d)가 소정의 역치보다 작으면, 가상 매니퓰레이터(N6) 엔드가 이미 가상 견인 제스처와 일치하는 것으로 간주되며, 이때 형상적으로 가상 매니퓰레이터(N6) 엔드가 가상 견인 제스처에 가상으로 장착된 것으로 간주할 수 있다. 이 과정에서 원격 조작 컨트롤러는 단계 103 내지 107을 여러 번 실행하여 구현한다. 장착 과정이 완료되면 다자유도 매니퓰레이터(N2)를 견인할 수 있다.
Pose of the virtual traction gesture (
Figure pct00058
) And virtual manipulator (N6) end pose (
Figure pct00059
) Is less than a predetermined threshold, the end of the virtual manipulator (N6) is already considered to match the virtual traction gesture, and the end of the virtual manipulator (N6) is virtually mounted on the virtual traction gesture. It can be regarded as being done. In this process, the remote control controller is implemented by executing steps 103 to 107 several times. When the mounting process is completed, the multi-degree of freedom manipulator N2 can be towed.
단계 108: 다자유도 매니퓰레이터의 포즈가 조작자의 견인 손모양 포즈에 따라 바뀌도록 한다.Step 108: The pose of the multi-degree of freedom manipulator is changed according to the manipulator's traction hand pose.
상기 단계 108의 단계는 구체적으로 다음과 같다.The step of step 108 is specifically as follows.
가상 매니퓰레이터 엔드 포즈(
Figure pct00060
)의 값과 가상 제스처 모델의 포즈(
Figure pct00061
)를 같게 만들어, 가상 매니퓰레이터(N6)에 대응하는 각 관절 각도 값을 구하며, 구체적으로 로봇 역운동학 알고리즘을 통해 가상 매니퓰레이터 엔드 포즈(
Figure pct00062
)의 값과 가상 제스처 모델의 포즈(
Figure pct00063
)가 같을 때, 가상 매니퓰레이터(N6)에 대응하는 각 관절 각도 값을 실시간으로 구한다.
Virtual Manipulator End Pose (
Figure pct00060
) And the pose of the virtual gesture model (
Figure pct00061
) To equalize, obtain the angle value of each joint corresponding to the virtual manipulator (N6), and specifically, the virtual manipulator end pose (
Figure pct00062
) And the pose of the virtual gesture model (
Figure pct00063
When) is the same, each joint angle value corresponding to the virtual manipulator N6 is obtained in real time.
구한 가상 매니퓰레이터에 대응하는 각 관절 각도 값을 제어 명령으로 변환하고 슬레이브 로봇에 전송하여, 다자유도 매니퓰레이터 각 관절의 관절 각도가 가상 매니퓰레이터의 각 관절 각도 값과 같도록 만든다.Each joint angle value corresponding to the obtained virtual manipulator is converted into a control command and transmitted to the slave robot, so that the joint angle of each joint of the multi-degree of freedom manipulator is the same as the joint angle value of the virtual manipulator.
구체적으로 다음과 같을 수 있다. 즉, 원격 조작 컨트롤러는 가상 매니퓰레이터(N6) 각 관절 각도를 제어 명령으로 변환하고 무선 통신 채널을 통해 슬레이브 로봇(N1)에 전송하고, 슬레이브 로봇(N1)의 차량 탑재 컨트롤러로부터 수신된 제어 명령을 판독한 후, 제어 명령을 모터 구동 명령으로 변환한 다음, 매니퓰레이터 드라이버를 통해 다자유도 매니퓰레이터(N2)의 매니퓰레이터 구동 모터 유닛의 각 관절 모터가 회전하기 시작하도록 제어하여, 다자유도 매니퓰레이터(N2) 각 관절의 관절 각도와 가상 매니퓰레이터(N6)의 각 관절 각도가 동일하게 만들어, 다자유도 매니퓰레이터(N2)의 포즈가 조작자 제스처 포즈의 변화를 따르도록 한다.Specifically, it may be as follows. That is, the remote control controller converts each joint angle of the virtual manipulator (N6) into a control command, transmits it to the slave robot (N1) through a wireless communication channel, and reads the control command received from the in-vehicle controller of the slave robot (N1). Then, the control command is converted into a motor drive command, and then the manipulator of the multi-degree of freedom manipulator N2 controls each joint motor of the driving motor unit to start rotating through the manipulator driver. The joint angle of the joint and each joint angle of the virtual manipulator N6 are made equal, so that the pose of the multi-degree of freedom manipulator N2 follows the change of the operator's gesture pose.
조작자의 조작을 보다 직관적으로 만들기 위해 가상 매니퓰레이터의 위치를 자세로 조정할 수 있으며, 비디오 안경(N4)에 가상 매니퓰레이터(N6)의 포즈 변화를 실시간으로 표시되게 할 수 있다.In order to make the operator's operation more intuitive, the position of the virtual manipulator can be adjusted to the posture, and the change in the pose of the virtual manipulator N6 can be displayed on the video glasses N4 in real time.
상기 단계 108은 구한 가상 매니퓰레이터(N6)에 대응하는 각 관절 각도 값에 따라 뷰잉 볼륨에서 가상 매니퓰레이터(N6)에 대하여 다시 제도하는 단계를 더 포함한다. 로봇의 역운동학 알고리즘에 따라 획득된 가상 매니퓰레이터(N6)의 각 관절 각도 값은 비디오 안경(N4)의 투시 뷰잉 볼륨에서 가상 매니퓰레이터(N6)에 대하여 다시 제도되어, 가상 매니퓰레이터(N6) 엔드 포즈가 항상 가상 견인 제스처의 엔드 포즈와 동일하게 유지된다.The step 108 further includes re-drawing the virtual manipulator N6 in the viewing volume according to each joint angle value corresponding to the obtained virtual manipulator N6. Each joint angle value of the virtual manipulator N6 obtained according to the inverse kinematics algorithm of the robot is re-drawn for the virtual manipulator N6 in the perspective viewing volume of the video glasses N4, so that the end pose of the virtual manipulator N6 is always It remains the same as the end pose of the virtual traction gesture.
단계 109: 분리 손모양이 나타났는지 판단하고, 그렇다면 다자유도 매니퓰레이터의 포즈는 조작자의 견인 손모양 포즈에 따라 바뀌는 것을 정지하고 단계 103을 실행하며, 그렇지 않다면 단계 108을 실행한다. 견인 과정에서 조작자 제스처가 분리 제스처로 바뀌었는지 실시간으로 판단하며, 본 실시예는 분리 제스처를 왼손 주먹 상태로 설정할 수 있고, 조작자 제스처가 분리 제스처로 바뀌면 가상 매니퓰레이터(N6) 엔드 포즈는 더이상 조작자 제어를 받지 않으며, 이때 형상적으로 가상 매니퓰레이터(N6) 엔드가 이미 조작자의 제스처 상에서 가상으로 분리되었다고 간주된다. 분리 제스처는 임의 제스처일 수 있으며, 한 손 제스처 또는 양손 제스처일 수 있다. 여기까지 견인 과정이 종료하며, 종료되면 다른 명령을 실행할 수도 있다.Step 109: It is determined whether a separate hand shape has appeared, and if so, the pose of the multi-degree of freedom manipulator stops changing according to the manipulator's traction hand shape pose, and step 103 is executed, otherwise, step 108 is executed. During the towing process, it is determined in real time whether the operator gesture has been changed to a separation gesture, and in this embodiment, the separation gesture can be set to the left hand fist state, and when the operator gesture is changed to the separation gesture, the virtual manipulator N6 end pose no longer controls the operator. It is not received, and at this time it is considered that the end of the virtual manipulator N6 has already been virtually separated from the operator's gesture. The separation gesture may be an arbitrary gesture, and may be a one-hand gesture or a two-hand gesture. So far, the towing process is complete, and when it is finished, other commands can be executed.
실시예 3Example 3
본 실시예는 실시예 1에 따른 로봇 제어 시스템 기반의 제어 방법을 제공하며, 각각 조작자의 왼손과 오른손 동작을 수집하고, 한 손의 동작으로 이동 로봇 차체의 이동을 제어하고, 다른 한 손의 동작으로 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어한다.This embodiment provides a control method based on the robot control system according to the first embodiment, collecting the left and right hand motions of the operator, respectively, controlling the movement of the mobile robot body with the motion of one hand, and the motion of the other hand. The mobile robot's vehicle-mounted multiple degree of freedom controls the manipulator's operation.
원격 조작 컨트롤러는 웨어러블 양안 카메라 장치가 촬영한 이미지를 수집하고 이미지 중에 조작자의 좌우 손 및 그 손모양 유형과 위치 좌표가 있는지 분석하며, 조작자의 좌우 손이 검출되면 손모양 종류와 위치 좌표에 따라 무선 통신 디바이스를 통해 상응하는 제어 명령을 슬레이브 로봇(200)에 전송하여, 슬레이브 로봇(200)의 모션 및 차량 탑재 다자유도 매니퓰레이터의 모션을 제어하고, 제어 명령을 전송하기 전에 제어 명령의 명칭을 무선 오디오 프롬프트 디바이스를 통해 조작자에게 피드백하며, 그 이외에 무선 통신 디바이스가 수신한 슬레이브 로봇(200)에서 반송한 센서 데이터와 모니터링 이미지를 처리하여 헤드 마운트 가상 디스플레이(104)에 표시할 수도 있다.The remote control controller collects images captured by the wearable binocular camera device, analyzes whether there are left and right hands of the operator and the type of hand shape and position coordinates among the images. If the left and right hands of the operator are detected, it is wireless according to the hand shape and position coordinates. By transmitting a corresponding control command to the slave robot 200 through a communication device, the motion of the slave robot 200 and the motion of the vehicle-mounted multi-degree of freedom manipulator are controlled, and the name of the control command is wirelessly transmitted before the control command is transmitted. The feedback is provided to the operator through the audio prompt device. In addition, the sensor data and the monitoring image returned by the slave robot 200 received by the wireless communication device may be processed and displayed on the head mounted virtual display 104.
구체적으로 도 7에 도시된 바와 같이 다음 단계를 포함할 수 있다.Specifically, as illustrated in FIG. 7, the following steps may be included.
단계 201: 조작자 웨어러블 디바이스의 촬영 가능 범위 내의 이미지를 수집한다.Step 201: An image within an available range of the operator's wearable device is collected.
웨어러블 양안 카메라 장치는 구체적으로 웨어러블 카메라일 수 있으며, 조작자의 머리에 설치하여 조작자 주변의 이미지를 수집할 수 있고, 하나의 카메라가 설치되면 조작자는 수행할 제어에 따라 상응하는 손으로 촬영 범위 내에서 상응하는 동작을 수행해야 한다. 작업자의 자유로운 조작을 용이하게 만들기 위해, 좌우에 모두 카메라를 설치하여 좌우 카메라가 각각 좌측 이미지와 우측 이미지를 수집할 수 있으며, 이미지 스티칭 방법을 채택하여 두 이미지의 중첩 부분을 잘라내어 하나의 넓은 시야 이미지, 즉 수집된 이미지로 스티칭할 수 있다.The wearable binocular camera device may specifically be a wearable camera, and can be installed on the operator's head to collect images around the operator, and when one camera is installed, the operator can use the corresponding hand within the shooting range according to the control to be performed. You must perform the corresponding action. In order to facilitate the operator's freedom of operation, cameras are installed on both left and right so that the left and right cameras can collect the left and right images respectively, and the image stitching method is adopted to cut out the overlapping part of the two images to make one wide field of view image. In other words, it can be stitched with the collected image.
단계 202: 수집된 이미지에 손 영역이 있는지 판단하고, 없다면 단계 201을 실행하고, 그렇지 않다면 수집된 이미지를 전처리하여 핸드 피스를 획득한다.Step 202: It is determined whether there is a hand area in the collected image, and if not, step 201 is executed. Otherwise, the collected image is preprocessed to obtain a hand piece.
수집된 이미지에 손이 있는지 판단하는 방법은 제스처 검출 알고리즘을 채택할 수 있으며, 제스처 검출 알고리즘은 구체적으로 피부색 기반의 제스처 검출 알고리즘을 채택할 수 있다.A method of determining whether a hand is present in the collected image may employ a gesture detection algorithm, and the gesture detection algorithm may specifically employ a skin color-based gesture detection algorithm.
수집된 이미지에 대하여 전처리를 수행하여 핸드 피스를 획득하는 구체적인 방법은 다음과 같다. 즉, 손의 존재를 검출하면 제스처 분할 알고리즘을 사용하여 손을 포함하는 영역 중의 배경을 제거하고, 나아가 스케일 정규화를 채택하여 손을 포함하는 이미지를 동일한 크기의 핸드 피스로 정규화한다.A specific method of obtaining a hand piece by performing preprocessing on the collected image is as follows. That is, when the presence of a hand is detected, the background in the region including the hand is removed using a gesture segmentation algorithm, and further, the image including the hand is normalized to a hand piece of the same size by adopting scale normalization.
단계 203: 좌우 양손 판별 알고리즘을 이용하여 획득된 핸드 피스가 왼손 피스인지 오른손 피스인지 판단하여, 동작하는 것이 왼손인지 오른손인지 결정한다.Step 203: It is determined whether the obtained hand piece is a left-handed piece or a right-handed piece by using the left-right and right-handed discrimination algorithm, and whether it is a left-handed or a right-handed piece to be operated.
좌우 손 판별 알고리즘을 채택하여 왼손 피스인지 오른손 피스인지 판단하는 방법은 구체적으로 다음과 같다.A method of determining whether it is a left-hand piece or a right-hand piece by adopting the left and right hand discrimination algorithm is as follows.
좌우 손 판별 알고리즘은 2분류 문제이다. 먼저 왼손 이미지를 포함하는 학습 샘플 세트(예를 들어 태그가 0)와 오른손 이미지를 포함하는 학습 샘플 세트(예를 들어 태그가 1)를 준비하고, 분류기(예를 들어 콘볼루션 신경망)를 선택하여 태그가 있는 두 이미지 세트를 학습하며, 학습 방법은 오차 역전파 알고리즘을 이용하며, 학습 완료 후 하나의 좌우 손 2분류 분류기를 획득할 수 있고, 이 분류기를 사용하여 획득된 핸드 피스에 대하여 좌우 손 유형 판별을 수행할 수 있다.The left and right hand discrimination algorithm is a two-class problem. First, prepare a set of training samples containing a left-hand image (e.g. tag 0) and a set of training samples containing a right-hand image (e.g. tag 1), select a classifier (e.g., a convolutional neural network) Two sets of tagged images are learned, and the learning method uses an error backpropagation algorithm, and after completion of the learning, one left and right hand two classification classifiers can be obtained, and the left and right hand can be obtained for the handpiece acquired using this classifier. Type discrimination can be performed.
단계 204: 그 중 한 손의 동작으로 이동 로봇 차체의 이동을 제어하고, 다른 한 손의 동작으로 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어한 후 단계 201을 실행한다.Step 204: After controlling the movement of the vehicle body of the mobile robot with the motion of one hand, and controlling the motion of the vehicle-mounted multi-degree of freedom manipulator of the mobile robot with the motion of the other hand, step 201 is executed.
구체적으로 제스처와 손가락의 이동 궤적을 이용하여 슬레이브 로봇(200)의 어느 부분이 이동하는지 제어하는 것을 설정할 수 있으며, 본 실시예는 제스처를 통해 이동 로봇 차체의 이동을 제어하도록 설정하였고, 손가락의 이동 궤적을 통해 차량 탑재 다자유도 매니퓰레이터의 동작을 제어하도록 설정하였다.Specifically, it can be set to control which part of the slave robot 200 moves using a gesture and a movement trajectory of a finger, and this embodiment is set to control the movement of the vehicle body of the mobile robot through a gesture. It is set to control the operation of the vehicle-mounted multi-degree of freedom manipulator through the trajectory.
단계 204에서 그 중 한 손의 동작을 통해 이동 로봇 차체의 이동을 제어하며, 구체적인 단계는 다음과 같다.In step 204, the movement of the vehicle body of the mobile robot is controlled through the motion of one of the hands, and specific steps are as follows.
단계 2041: 슬레이브 로봇(200)의 모션 제어 명령과 손모양 정보의 대응 관계를 설정하고, 손모양 정보는 조작자가 보여주는 제스처 정보이며 주먹, 가위 손, OK 제스처 등을 포함할 수 있고, 모션 제어 명령에는 전진, 후퇴, 좌회전, 우회전, 유턴이 포함된다. 구체적인 대응 관계는 구체적인 수요에 따라 설치할 수 있다. 상응하는 대응 테이블을 생성한다.Step 2041: A correspondence relationship between the motion control command of the slave robot 200 and hand shape information is set, and the hand shape information is gesture information displayed by the operator and may include a fist, a scissors hand, an OK gesture, etc., and a motion control command Includes forward, backward, left turn, right turn, and U-turn. Specific correspondence can be established according to specific needs. Create a corresponding mapping table.
단계 2042: 인식된 핸드 피스가 이동 로봇 차체의 이동을 제어하도록 설정된 한 손인 경우, 손모양 인식 알고리즘을 이용하여 핸드 피스를 인식하여 손모양 정보를 획득하고;Step 2042: If the recognized hand piece is a single hand set to control the movement of the mobile robot body, the hand piece is recognized using a hand shape recognition algorithm to obtain hand shape information;
제어 시 조작자의 다른 손을 사용해 슬레이브 로봇(200)의 다른 동작 부위를 제어한다. 좌우 손을 각각 제어하면 슬레이브 로봇(200)이 보다 정확하게 명령 동작을 수행할 수 있는데, 먼저 왼손인지 오른손인지 판단하고, 손의 구분을 통해 이동 로봇 차체를 제어할지 차량 탑재 다자유도 매니퓰레이터를 제어할지 구분하고, 두 손 제스처의 인식과 모션 궤적 인식은 다시 이동 로봇 차체의 제어인지 차량 탑재 다자유도 매니퓰레이터 제어인지 구분하므로 오조작율이 낮아진다. 동시에 조작자의 두 손 동작은 상이한 유형의 동작이므로 조작자에게 혼란을 주지 않으며, 제어 로직이 간단하여 기억하기 쉽고 조작하기 용이하다.During control, the other operation part of the slave robot 200 is controlled using the other hand of the operator. If the left and right hands are controlled respectively, the slave robot 200 can perform the command operation more accurately.First, determine whether it is the left hand or the right hand, and whether to control the vehicle body of the mobile robot or control the vehicle-mounted multi-degree of freedom manipulator through division of the hand. In addition, since the recognition of two hand gestures and the recognition of motion trajectories is again distinguished between the control of the mobile robot body or the vehicle-mounted multi-degree of freedom manipulator control, the erroneous operation rate is lowered. At the same time, the two hand movements of the operator are different types of operation, so there is no confusion to the operator, and the control logic is simple, so it is easy to remember and operate.
그 중 어느 한 손은 이동 로봇 차체의 이동을 제어하도록 설정할 수 있으며, 본 실시예는 왼손으로 선택할 수 있다. 왼손으로 이동 로봇 차체의 이동을 제어하도록 설정한 경우, 차량 탑재 다자유도 매니퓰레이터의 동작은 오른손으로 제어된다. 구체적으로 제스처와 손가락의 이동 궤적을 이용하여 슬레이브 로봇(200)의 어느 부분이 이동하는지 제어하는 것을 설정할 수 있으며, 본 실시예는 제스처를 통해 제어한다.One of them can be set to control the movement of the mobile robot body, and this embodiment can be selected with the left hand. When it is set to control the movement of the mobile robot body with the left hand, the operation of the on-vehicle multi-degree of freedom manipulator is controlled with the right hand. Specifically, it may be set to control which part of the slave robot 200 moves using a gesture and a movement trajectory of a finger, and the present embodiment is controlled through a gesture.
단계 2043: 슬레이브 로봇(200) 모션 제어 명령과 손모양 정보의 대응 관계 및 인식 획득된 손모양 정보에 따라 슬레이브 로봇(200) 모션 제어 명령을 생성하고, 모션 제어 명령을 슬레이브 로봇(200)에 전송하며, 슬레이브 로봇(200)은 제어 명령에 따라 상응하는 동작을 실행한다.Step 2043: Recognition and correspondence between the motion control command and the hand shape information of the slave robot 200 Generates a motion control command of the slave robot 200 according to the acquired hand shape information, and transmits the motion control command to the slave robot 200 And, the slave robot 200 executes a corresponding operation according to a control command.
단계 2043은 다음 단계를 더 포함한다. 즉, 모션 제어 명령에 대응하는 모션 명칭을 설정하고, 슬레이브 로봇(200)의 모션 제어 명령을 생성한 후, 모션 제어 명령에 대응하는 모션 명칭을 무선 오디오 프롬프트 디바이스로 전송하고, 상기 무선 오디오 프롬프트 디바이스가 슬레이브 로봇(200)에 실행해야 할 동작을 알려준다. 조작자는 알림에 따라 수행할 동작이 올바른지 판단할 수 있다.Step 2043 further includes the following steps. That is, after setting the motion name corresponding to the motion control command, generating the motion control command of the slave robot 200, the motion name corresponding to the motion control command is transmitted to the wireless audio prompt device, and the wireless audio prompt device Informs the slave robot 200 of an operation to be executed. The operator can determine whether the operation to be performed is correct according to the notification.
단계 204에서 다른 손의 동작을 통해 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어하며, 구체적인 단계는 다음과 같다.In step 204, the operation of the vehicle-mounted multi-degree of freedom manipulator of the mobile robot is controlled through the motion of the other hand, and specific steps are as follows.
단계 204-1: 인식된 핸드 피스가 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어하도록 설정된 한 손인 경우, 손끝 위치결정 알고리즘을 이용하여 이미지에서 임의 손끝의 모션 궤적을 분석하고;Step 204-1: If the recognized handpiece is one hand set to control the motion of the in-vehicle multi-degree of freedom manipulator of the mobile robot, analyze the motion trajectory of the arbitrary fingertip in the image using the fingertip positioning algorithm;
단계 204-2: 모션 궤적에 따라 위치 추적 명령을 생성하고 위치 추적 명령을 슬레이브 로봇(200)에 전송하고;Step 204-2: generate a position tracking command according to the motion trajectory and transmit the position tracking command to the slave robot 200;
단계 204-3: 슬레이브 로봇(200)은 위치 추적 명령에 따라 구체적인 동작의 위치 좌표를 생성하고, 연결 로드 기구(203) 엔드는 순차적으로 위치 좌표를 거쳐 조작자 손끝 모션 궤적을 추적한다.Step 204-3: The slave robot 200 generates position coordinates of a specific motion according to the position tracking command, and the end of the connection rod mechanism 203 sequentially tracks the motion trajectory of the operator's fingertip through the position coordinates.
손끝 위치결정 알고리즘을 사용하여 이미지에서 임의 손끝의 모션 궤적을 분석하고, 윤곽 곡률 기반의 손끝 위치결정 알고리즘과 볼록 껍질 분석 기반의 손끝 위치결정 알고리즘을 채택할 수 있다.The fingertip positioning algorithm can be used to analyze the motion trajectory of an arbitrary fingertip in the image, and a fingertip positioning algorithm based on contour curvature and a fingertip positioning algorithm based on convex hull analysis can be adopted.
위치 좌표는 복수개일 수 있고, 설정된 위치 좌표의 밀도가 클수록 동작 궤적과 조작자의 손가락 동작 궤적 일치도가 높다. 위치 좌표의 설치는 연결 로드 기구(203)의 베이스를 원점으로 할 수 있다.There may be a plurality of position coordinates, and the higher the density of the set position coordinates is, the higher the degree of correspondence between the motion trajectory and the operator's finger motion trajectory. Installation of the position coordinates can take the base of the connecting rod mechanism 203 as the origin.
실시예 4Example 4
본 실시예는 실시예 1에서 설명한 웨어러블 디바이스 기반의 로봇 원격 제어 시스템에 기초한 다른 제어 방법을 제공하며, 실시에 3의 방법과 다른 점은, 좌우 손을 구분하여 제어할 필요가 없다는 것이다. 본 실시예는 상이한 제스처를 설정하여 이동 로봇 차체의 모션과 차량 탑재 다자유도 매니퓰레이터를 제어한다. 조작자의 웨어러블 양안 카메라 장치의 촬영 범위 외의 동작의 실행을 구현할 수 있다.This embodiment provides another control method based on the wearable device-based robot remote control system described in Embodiment 1, and the difference from the method of Embodiment 3 is that it is not necessary to control the left and right hands separately. In this embodiment, different gestures are set to control the motion of a mobile robot body and a vehicle-mounted multiple degree of freedom manipulator. It is possible to implement an operation outside the shooting range of the operator's wearable binocular camera device.
실시예 3의 방법에서, 손가락의 이동 궤적을 식별하여 차량 탑재 다자유도 매니퓰레이터를 제어할 때, 조작자 손의 이동 궤적은 완전히 촬영 범위 내에 있어야 하며, 조작자의 동작 폭은 웨어러블 양안 카메라 장치의 촬영 범위 내에 있어야 하고, 차량 탑재 다자유도 매니퓰레이터의 동작 폭이 제한된다. 본 실시예는 실시예 3보다 넓은 범위 내의 차량 탑재 다자유도 매니퓰레이터의 이동을 구현할 수 있다.In the method of Example 3, when controlling the vehicle-mounted multi-degree of freedom manipulator by identifying the movement trace of the finger, the movement trace of the operator's hand must be completely within the shooting range, and the operation width of the operator is the shooting range of the wearable binocular camera device. It must be in the vehicle, and the operating width of the manipulator is also limited. This embodiment can implement the movement of the vehicle-mounted multiple degree of freedom manipulator within a wider range than that of the third embodiment.
이동 로봇의 차체 제어의 경우, 조작자의 제스처가 전진 손모양을 나타내기만 하면 조작자 제스처가 정지 손모양으로 바뀌어 이동 로봇이 전진을 멈출 때까지 이동 로봇은 계속 전진한다. 즉, 이동 로봇 차체는 전진, 후퇴, 좌회전 및 우회전 과정에서 정지 손모양을 사용하여 이를 정지시킨다. 로봇 차체의 모션은 정지 신호가 나타날 때까지 유지 모션이므로, 그렇지 않으면 계속 움직인다.In the case of the vehicle body control of the mobile robot, as long as the operator's gesture represents a forward hand shape, the operator's gesture changes to a stop hand shape, and the mobile robot continues to advance until the mobile robot stops moving forward. That is, the vehicle body of the mobile robot uses a stop hand shape to stop it in the process of moving forward, retreating, turning left and turning right. The motion of the robot body is a sustained motion until a stop signal appears, otherwise it continues to move.
매니퓰레이터 엔드 제어의 경우, 정지 손모양을 설정하지 않을 수 있으며, 매니퓰레이터 엔드의 피치 각도, 상측 이동 거리, 하측 이동 거리, 좌측 이동 거리 및 우측 이동 거리는 모두 피치 손모양 또는 엔드 견인 손모양을 따라 구현된다. 일단 피치 손모양 또는 엔드 견인 손모양이 연결 손모양으로 바뀌고 제스처가 카메라 범위를 벗어나는 등의 상황이 되면, 매니퓰레이터 엔드가 자연히 멈추므로, 매니퓰레이터 엔드를 제어하기 위해 정지 손모양을 따로 추가할 필요가 없다.In the case of the manipulator end control, the stop hand shape may not be set, and the pitch angle of the manipulator end, the upper movement distance, the lower movement distance, the left movement distance and the right movement distance are all implemented according to the pitch hand shape or the end traction hand shape. . Once the pitch hand shape or the end traction hand shape changes to the connecting hand shape and the gesture goes out of the camera range, etc., the manipulator end stops naturally, so there is no need to add a separate stop hand shape to control the manipulator end. .
하나 이상의 실시예에 개시된 기술적 해결책에 있어서, 도 8에 도시된 바와 같이, 로봇 차량 탑재 다자유도 매니퓰레이터의 광역 이동을 제어하는 방법을 제공하며, 여기에는 다음의 단계가 포함된다.In the technical solution disclosed in one or more embodiments, as shown in Fig. 8, there is provided a method for controlling a wide area movement of a robotic vehicle mounted multi-degree of freedom manipulator, which includes the following steps.
단계 301: 연결 손모양과 대응하는 제스처 동작을 설정하고, 다른 손모양은 슬레이브 로봇(200)의 다른 동작에 대응하도록 설정하고, 연결 손모양은 차량 탑재 다자유도 매니퓰레이터 엔드가 현재 위치에서 다음 명령을 대기하도록 설정할 수 있다.Step 301: Set the gesture motion corresponding to the connection hand shape, the other hand shape is set to correspond to the other motion of the slave robot 200, and the connection hand shape is the vehicle-mounted multi-degree of freedom manipulator end at the current position and the next command Can be set to wait.
단계 302: 조작자 웨어러블 디바이스의 촬영 가능 범위 내의 이미지를 수집한다.Step 302: An image within an available range of the operator's wearable device is collected.
단계 303: 수집된 이미지에 손 영역이 있는지 판단하고, 없다면 단계 302를 실행하고, 그렇지 않다면 수집된 이미지를 전처리하여 핸드 피스를 획득하고, 다음 단계를 실행한다.Step 303: It is determined whether there is a hand region in the collected image, and if not, step 302 is executed. Otherwise, the collected image is preprocessed to obtain a hand piece, and the next step is executed.
단계 304: 손모양 인식 알고리즘을 이용하여 전처리된 핸드 피스에 대해 손모양 인식을 수행하여 손모양 정보를 획득한다.Step 304: Hand shape recognition is performed on the preprocessed hand piece using the hand shape recognition algorithm to obtain hand shape information.
단계 305: 획득한 손모양 정보가 연결 손모양인지 판단하고, 그렇다면 차량 탑재 다자유도 매니퓰레이터 엔드는 연결 손모양 직전 손모양과 연결 손모양 직후 손모양의 대응하는 제어 명령의 동작을 연속으로 실행하고 단계 302를 실행하며, 그렇지 않다면 다음 단계를 실행한다.Step 305: It is determined whether the acquired hand shape information is a connected hand shape, and if so, the vehicle-mounted multi-degree of freedom manipulator end continuously executes the operation of the corresponding control command of the hand shape immediately before the connection hand shape and immediately after the connection hand shape. Step 302 is executed, otherwise the next step is executed.
단계 306: 상응하는 손모양에 따라 상응하는 동작을 실행하고 단계 302를 실행한다.Step 306: Execute a corresponding operation according to the corresponding hand shape and execute step 302.
단계 301 이전에 다음 단계가 더 포함된다.The next step is further included before step 301.
3001: 원격 조작 컨트롤러와 슬레이브 로봇(200)에 대해 초기화 조작을 수행한다.3001: Initialization operation is performed on the remote control controller and the slave robot 200.
3002: 원격 조작 컨트롤러와 슬레이브 로봇(200) 사이에 무선 통신 채널을 구축한다.3002: Establish a wireless communication channel between the remote control controller and the slave robot 200.
3003: 슬레이브 로봇(200)은 로봇 카메라의 정찰 이미지를 수집한 후, 무선 통신 채널을 통해 원격 조작 컨트롤러에 전송하고, 원격 조작 컨트롤러는 무선 통신 디바이스를 통해 정찰 이미지를 수신한 후 정찰 이미지를 실시간으로 조작자가 장착한 비디오 안경 상에 표시한다.3003: The slave robot 200 collects the reconnaissance image of the robot camera and transmits it to the remote control controller through a wireless communication channel, and the remote control controller receives the reconnaissance image through a wireless communication device and then receives the reconnaissance image in real time. Display on the video glasses worn by the operator
상기 301 단계에서는 상이한 손모양이 슬레이브 로봇(200)의 상이한 동작에 대응하도록 설정하고, 대응하는 슬레이브 로봇(200)의 상응하는 동작에 상이한 손모양을 설정하여 제어하고, 조작자는 필요에 따라 자체적으로 설정할 수 있다. 슬레이브 로봇(200)의 동작은 차량 탑재 다자유도 매니퓰레이터 엔드 동작과 이동 로봇 차체 이동을 포함하고, 상기 이동 로봇 차체 이동의 이동은 정지, 전진, 후퇴, 좌회전, 우회전 등을 포함하며, 본 실시예에서 설치한 대응 손모양 및 그 대응하는 제스처 및 제어 명령의 대응 관계는 도 9에 도시된 바와 같을 수 있으며, 빈 손모양(H1)은 제어 명령 미전송에 대응하여 슬레이브 로봇(200)은 원래 지점에서 정지하고, 전진 손모양(H2)은 전진 명령에 대응하고, 이동 로봇 차체는 모터 드라이버(211)를 가동시켜 전방을 향해 이동한다. 같은 원리로 좌회전 손모양(H3), 우회전 손모양(H4), 후퇴 손모양(H5), 정지 손모양(H6)은 각각 이동 로봇 차체의 자회전, 우회전, 후퇴 및 정지 일체 동작에 대응한다. 상응하는 대응표를 구축할 수 있으며, 조작자는 자신의 습관에 따라 제스처와 제어 명령의 대응표를 변경할 수 있다.In step 301, a different hand shape is set to correspond to different motions of the slave robot 200, and a different hand shape is set and controlled for the corresponding motion of the slave robot 200, and the operator can self-control if necessary. Can be set. The operation of the slave robot 200 includes a vehicle-mounted multi-degree of freedom manipulator end operation and movement of the mobile robot body, and the movement of the mobile robot body movement includes stop, forward, retreat, left turn, right turn, and the like. The corresponding hand shape installed in and the correspondence relationship between the corresponding gesture and control command may be as shown in FIG. 9, and the empty hand shape H1 corresponds to the non-transmission of the control command, so that the slave robot 200 is the original point. It stops at, and the forward hand shape H2 corresponds to the forward command, and the mobile robot body moves the motor driver 211 to move forward. On the same principle, the left hand shape (H3), the right hand shape (H4), the retract hand shape (H5), and the stop hand shape (H6) correspond to the self-rotation, right rotation, retreat and stop motion of the mobile robot body, respectively. Corresponding correspondence tables can be constructed, and operators can change the correspondence tables between gestures and control commands according to their own habits.
상기 단계 303 및 단계 304의 방법은 실시예 2에서 설명된 방법과 동일할 수 있다.The method of step 303 and step 304 may be the same as the method described in the second embodiment.
단계 305에서 차량 탑재 다자유도 매니퓰레이터 엔드는 연결 손모양 직전 손모양과 연결 손모양 직후 손모양의 대응하는 제어 명령의 동작을 연속 실행하는 것은 구체적으로 다음과 같다.In step 305, the in-vehicle multi-degree of freedom manipulator end continuously executes the operation of the corresponding control command of the hand shape immediately before the connection hand shape and the hand shape immediately after the connection hand shape as follows.
차량 탑재 다자유도 매니퓰레이터 엔드가 직전 손모양에 대응하는 동작을 실행한 후, 현재 위치에서 정지하고;After the in-vehicle multi-degree of freedom manipulator end executes an operation corresponding to the shape of the immediately preceding hand, it stops at the current position;
단계 302 내지 단계 304를 실행하고, 연결 손모양의 다음 손모양을 검출하며, 차량 탑재 다자유도 매니퓰레이터 엔드는 현재 위치 동작으로부터 연결 손모양의 다음 손모양에 대응하는 동작을 실행한다.Steps 302 to 304 are executed, the next hand shape of the connecting hand is detected, and the on-vehicle multi-degree of freedom manipulator end executes an operation corresponding to the next hand shape of the connecting hand from the current position operation.
본 실시예에서는 빈 손모양(H1)을 연결 제스처로 설정한 예시로 설명한다. 엔드 견인 손모양(H8)을 사용하여 차량 탑재 다자유도 매니퓰레이터 엔드 위치에 대해 증분식 좌우 편향 제어 또는 상하 위치 이동 제어를 실행할 수 있다. 먼저 엔드 견인 손모양(H8)을 이 손모양에서의 이동에 결합하여 차량 탑재 다자유도 매니퓰레이터 엔드의 상향, 하향, 좌향, 우향 이동에 대응한다고 정의한다.In this embodiment, an example in which the empty hand shape H1 is set as a connection gesture will be described. The end traction hand (H8) can be used to perform incremental left and right deflection control or up and down position movement control for the on-vehicle multi-degree of freedom manipulator end position. First, by combining the end traction hand shape (H8) with the movement in this hand shape, it is defined that the vehicle-mounted multiple degree of freedom corresponds to the upward, downward, leftward, and rightward movements of the manipulator end.
조작자가 단일 제어에서 상향 이동해야 하는 거리가 촬영 범위를 벗어나는 경우, 연속 증분식의 상향 이동을 구현하기 위해 엔드 견인 손모양 연결 손모양의 직전 손모양과 직후 손모양을 엔드 견인 손모양(H8)으로 설정하여 상향 이동할 수 있고, 도 12에 도시된 바와 같이, 조작자는 엔드 견인 손모양(H8)을 사용하여 먼저 상향 이동(U1, U1)이 소정의 역치보다 크게 만든 후, 조작자는 빈 손모양(H1)을 보여주고, 빈 손모양(H1)을 다시 조작자의 귀걸이형 카메라의 시야 범위 내로 이동시킨 다음, 다시 엔드 견인 손모양(H8)을 보여주고 다시 상향 이동(U2, U1)와 (U2)를 이동의 거리로 하며, 이동 거리는 소정의 역치보다 크며, 즉 조작자의 슬라이딩이 촬영 범위를 벗어나, 조작자 귀걸이형 카메라 시야 내에서 조작자의 엔드 견인 손모양(H8)의 총 이동 거리는 U=U1+U2이고, 다자유도 매니퓰레이터 엔드 상향 이동 거리는 K2*(U1+U2)이며, 원격 조작 컨트롤러는 차량 탑재 컨트롤러(201)를 향해 순차적으로 다자유도 매니퓰레이터 엔드 상향 이동 거리 K2*U1, 현재 위치에서 중지, 현재 위치로부터 상향 이동(K2*U1) 거리의 제어 명령을 전송한다. 여기에서 K2는 변위 계수이고, 견인 손모양(H8)의 상하 이동 거리와 다자유도 매니퓰레이터 엔드 위치 상하 이동 거리의 비례 관계를 조정하는 데 사용된다.When the distance that the operator needs to move upward in a single control is out of the shooting range, connect the end traction hand shape to implement a continuous incremental upward movement. The immediately before hand shape and the immediately after hand shape of the hand shape are connected to the end traction hand shape (H8) As shown in Fig. 12, the operator makes the upward movement (U1, U1) larger than a predetermined threshold using the end traction hand shape (H8), and then the operator has an empty hand shape. Show (H1), move the empty hand (H1) back into the field of view of the operator's earring-type camera, then show the end traction hand (H8) again, and move upwards (U2, U1) and (U2) again. ) Is the distance of movement, and the movement distance is greater than a predetermined threshold, that is, the sliding of the operator is out of the shooting range, and the total movement distance of the end traction hand (H8) of the operator within the field of view of the operator's earring type camera is U=U1+ U2, the multi-degree of freedom manipulator end upward travel distance is K2*(U1+U2), and the remote control controller sequentially moves toward the vehicle-mounted controller 201, the multi-degree of freedom manipulator end upward travel distance K2*U1, stopping at the current position. , Transmits a control command for an upward movement (K2*U1) distance from the current position. Here, K2 is a displacement coefficient, and is used to adjust the proportional relationship between the vertical movement distance of the traction hand H8 and the vertical movement distance of the multi-degree of freedom manipulator end position.
조작자가 단일 제어에서 하향 이동해야 하는 거리가 카메라 범위를 벗어나는 경우, 연속 증분식의 하향 이동을 구현하기 위하여, 엔드 견인 손모양 연결 손모양의 직전 손모양과 직후 손모양을 엔드 견인 손모양(H8)으로 설정하여 하향 이동할 수 있으며, 도 13에 도시된 바와 같이, 이동 방향은 도 12와 반대이므로 여기에서 반복하여 설명하지 않는다.When the distance that the operator needs to move downwards in a single control is out of the camera range, in order to implement a continuous incremental downward movement, the end traction hand connection hand shape immediately before and immediately after the end traction hand shape (H8 ) Can be set to move downward, and as shown in FIG. 13, the moving direction is opposite to that of FIG. 12, and thus will not be described herein again.
조작자가 단일 제어에서 좌향 이동해야 하는 거리가 촬영 범위를 벗어나는 경우, 연속 증분식의 좌향 이동을 구현하기 위해, 엔드 견인 손모양 연결 손모양의 직전 손모양과 직후 손모양을 엔드 견인 손모양(H8)으로 설정하여 좌향 이동할 수 있고, 도 10에 도시된 바와 같이, 조작자는 엔드 견인 손모양(H8)을 사용하여 먼저 좌향 이동(L1)이, (L1)의 소정의 역치보다 크게 만든 후, 조작자는 빈 손모양(H1)을 보여주고, 빈 손모양(H1)을 다시 조작자의 귀걸이형 카메라의 시야 범위 내로 이동시킨 다음, 다시 엔드 견인 손모양(H8)을 보여주고 다시 좌향 이동(L2, L1와 L2)을 이동의 거리로 하며, 조작자의 귀걸이형 카메라 시야 내에서 조작자의 엔드 견인 손모양(H8)의 총 이동 거리는 L=L1+L2이고, 다자유도 매니퓰레이터 엔드 좌향 이동 각도는
Figure pct00064
이다. 원격 조작 컨트롤러는 차량 탑재 컨트롤러(201)를 향해 순차적으로 다자유도 매니퓰레이터 엔드 좌향 각도는
Figure pct00065
이고, 현재 위치에서 중지, 현재 위치로부터 좌향 각도
Figure pct00066
거리의 제어 명령을 전송한다. 여기에서 K1은 편향 계수이고, 엔드 견인 손모양(H8)의 좌우 이동 거리와 차량 탑재 다자유도 매니퓰레이터 엔드 좌우 편향 각도의 비례 관계를 조정하는 데 사용된다.
When the distance that the operator needs to move leftward in a single control is out of the shooting range, in order to implement a continuous incremental leftward movement, the end traction hand connection hand shape immediately before and immediately after the end traction hand shape (H8 ) Can be set to move leftward, and as shown in FIG. 10, the operator first makes the leftward movement (L1) larger than the predetermined threshold value of (L1) using the end traction hand shape (H8), and then operates The ruler shows an empty hand (H1), moves the empty hand (H1) back into the field of view of the operator's earring-type camera, then shows the end traction hand (H8) again and moves to the left (L2, L1). And L2) are the moving distances, and the total moving distance of the end traction hand (H8) of the operator within the field of view of the operator's earring type camera is L = L1 + L2, and the leftward moving angle of the multi-degree of freedom manipulator end is
Figure pct00064
to be. The remote control controller is sequentially directed toward the vehicle-mounted controller 201 and the leftward angle of the manipulator end is
Figure pct00065
Is, stop at the current position, the angle to the left from the current position
Figure pct00066
Transmits distance control commands. Here, K1 is the deflection coefficient, and is used to adjust the proportional relationship between the left and right travel distance of the end traction hand H8 and the vehicle-mounted multiple degree of freedom deflection angle of the manipulator end left and right.
조작자가 단일 제어에서 우향 이동해야 하는 거리가 카메라 범위를 벗어나는 경우, 연속 증분식의 우향 이동을 구현하기 위하여, 엔드 견인 손모양 연결 손모양의 직전 손모양과 직후 손모양을 엔드 견인 손모양(H8)으로 설정하여 우향 이동할 수 있으며, 도 11에 도시된 바와 같이, 이동 방향은 도 10과 반대이므로 여기에서 반복하여 설명하지 않는다.When the distance that the operator needs to move to the right in a single control is out of the camera range, in order to implement a continuous incremental rightward movement, the end traction hand connection hand shape immediately before and immediately after the hand shape is changed to the end traction hand shape (H8 ) Can be set to move to the right, and as shown in FIG. 11, the moving direction is opposite to that of FIG. 10, and thus will not be repeated here.
본 발명에서 제공하는 로봇 차량 탑재 다자유도 매니퓰레이터 광역 이동의 제어 방법은 조작자 귀걸이형 촬영 시야 범위 내의 영역을 하나의 가상 터치스크린 영역으로 바꾸어, 조작자가 물리적인 컨트롤러에 대한 의존성에서 벗어나게 만들며, 손모양 유형만 사용해 로봇 동작에 대한 이산 제어를 구현하는 것에 비해, 본 발명은 정찰 시스템 엔드 위치의 증분식 연속 정밀 제어를 구현할 수 있어 인간의 조작 습관과 더욱 부합한다.The method for controlling a wide area movement of a multi-degree of freedom manipulator mounted on a robotic vehicle provided by the present invention converts the area within the field of view of the operator's earring type to a single virtual touch screen area, thereby making the operator free from dependence on the physical controller, and Compared to implementing discrete control for robot motion using only the type, the present invention can implement incremental continuous precision control of the end position of the reconnaissance system, which is more consistent with human operation habits.
단계 306에서 상응하는 손모양에 따라 상응하는 동작을 실행하고, 손모양은 개인의 습관이나 약정된 손모양에 따라 설정할 수 있으며, 손모양에 대응하는 동작의 대응 관계를 설정하고, 슬레이브 로봇 차체의 동작은 주로 전진, 후퇴, 좌회전, 우회전 및 정지를 포함하며, 본 실시예는 구체적으로 다음과 같을 수 있다.In step 306, a corresponding motion is executed according to a corresponding hand shape, and the hand shape can be set according to an individual's habit or a contracted hand shape, and a correspondence relationship of the motion corresponding to the hand shape is set, and the slave robot body The operation mainly includes forward, backward, left turn, right turn and stop, and this embodiment may be specifically as follows.
(3061) 조작자의 손모양이 빈 손모양(H1)인 경우, 원격 조작 컨트롤러는 슬레이브 로봇(200)에 제어 명령을 전송하지 않으며 계속해서 단계 302를 실행한다.(3061) When the operator's hand is an empty hand H1, the remote control controller does not transmit a control command to the slave robot 200 and continues to execute step 302.
(3062) 조작자의 손모양이 정지 손모양(H6)인 경우, 원격 조작 컨트롤러는 무선 통신 디바이스를 통해 정지 제어 명령을 전송하여 이동 정찰 로봇의 모션을 중지시킨 다음 단계 302를 실행한다.(3062) When the operator's hand is the stationary hand H6, the remote control controller transmits a stop control command through the wireless communication device to stop the motion of the mobile reconnaissance robot, and then executes step 302.
(3063) 조작자의 손모양이 전진 손모양(H2), 후진 손모양(H3), 좌회전 손모양(H4) 또는 우회전 손모양(H5)인 경우, 원격 조작 컨트롤러는 무선 통신 디바이스를 통해 조작자가 정지 손모양(H6)을 보여줄 때까지 전진 명령, 후퇴 명령, 좌회전 명령 및 우회전 명령을 전송하며, 단계 302를 실행한다.(3063) If the operator's hand is a forward hand (H2), a reverse hand (H3), a left hand hand (H4) or a right hand hand (H5), the remote control controller stops the operator through the wireless communication device. The forward command, the retreat command, the left turn command and the right turn command are transmitted until the hand H6 is shown, and step 302 is executed.
슬레이브 로봇 다자유도 매니퓰레이터의 동작은 주로 일정 각도의 편향과 상하 좌우 이동을 포함하며, 본 실시예는 구체적으로 다음과 같을 수 있다.The operation of the slave robot multi-degree of freedom manipulator mainly includes deflection of a certain angle and vertical and horizontal movement, and the present embodiment may be specifically as follows.
(3064) 도 14 및 도 15에 도시된 바와 같이, 조작자의 손모양이 차량 탑재 다자유도 매니퓰레이터 엔드 피치 각도를 제어하는 피치 손모양(H7)인 경우, 먼저 피치 손모양(H7)의 평면 내 앙각(α) 또는 부각(β)을 계산하고, 앙각(α) 또는 부각(β)은 수평면에 상대적인 각도이다. 그런 다음 피치 손모양(H7)의 피치 각도에 따라 차량 탑재 다자유도 매니퓰레이터 엔드의 피치 각도를 계산하고, 마지막으로 조작자가 다른 손모양을 보여줄 때까지 원격 조작 컨트롤러는 무선 통신 디바이스를 통해 차량 탑재 다자유도 매니퓰레이터 엔드 피치 각도와 피치 손모양(H7)의 피치 각도를 일치시킬 수 있는 제어 명령을 전송한 후 단계 302를 실행한다. 본 발명은 이미지 내에서 피치 손모양(H7)과 같은 특정 제스처 유형의 회전 각도를 측정함으로써 다자유도 매니퓰레이터 엔드의 정찰 방향(수평면에 대한)을 정확하게 제어할 수 있으며, 카메라의 정찰 방향은 피치 손모양의 피치 각도와 같다.(3064) As shown in Figs. 14 and 15, when the operator's hand is a pitched hand (H7) that controls the end pitch angle of the vehicle-mounted multi-degree of freedom manipulator, first, in the plane of the pitched hand (H7). The elevation angle (α) or elevation angle (β) is calculated, and the elevation angle (α) or elevation angle (β) is an angle relative to the horizontal plane. Then, according to the pitch angle of the pitch hand (H7), the pitch angle of the vehicle-mounted multi-degree of freedom manipulator end is calculated, and finally, the remote control controller mounts the vehicle through the wireless communication device until the operator shows the other hand. After transmitting a control command for matching the end pitch angle of the degree of freedom manipulator and the pitch angle of the pitch hand H7, step 302 is executed. The present invention can accurately control the reconnaissance direction (relative to the horizontal plane) of the multi-degree of freedom manipulator end by measuring the rotation angle of a specific gesture type such as a pitch hand (H7) within the image, and the reconnaissance direction of the camera is a pitch hand. It is equal to the pitch angle of the shape.
(3065) 조작자의 손모양이 엔드 견인 손모양(H8)인 경우, 도 10, 도 11, 도 12 및 도 13에 도시된 바와 같이, 손모양의 변위 거리와 변위 방향을 더 검출하며, 조작자 변위 거리가 소정의 역치를 초과하지 않으면, 엔드 견인 손모양(H8)이 좌우 이동일 때, 원격 조작 컨트롤러는 무선 통신 디바이스를 통해 다자유도 매니퓰레이터 엔드의 좌향 또는 우향 각도가 각각
Figure pct00067
또는
Figure pct00068
일 수 있는 제어 명령을 전송하며, 여기에서 K1는 편향 계수이며, 엔드 견인 손모양(H8) 좌우 이동 거리와 차량 탑재 다자유도 매니퓰레이터 엔드 좌우 편향 각도의 비례 관계를 조정하는 데 사용되고, L과 R은 엔드 견인 손모양(H8)의 좌향 이동 거리와 우향 이동 거리이고, r은 차량 탑재 다자유도 매니퓰레이터 엔드가 그 베이스를 감싸는 회전 반경이고, 엔드 견인 손모양(H8)이 이동을 정지하거나 카메라 시야에서 벗어나는 경우, 원격 조작 컨트롤러는 무선 통신 디바이스를 통해 다자유도 매니퓰레이터 엔드가 좌우 편향을 정지할 수 있는 제어 명령을 전송한 후, 계속해서 단계 302를 실행한다. 엔드 견인 손모양(H8)이 연결 손모양으로 바뀌면 단계 305를 실행한다.
(3065) When the hand shape of the operator is the end traction hand shape (H8), as shown in Figs. 10, 11, 12 and 13, the displacement distance and the displacement direction of the hand shape are further detected, and the operator displacement If the distance does not exceed a predetermined threshold, when the end pulling hand H8 is moving left and right, the remote control controller uses the wireless communication device to adjust the left or right angle of the multi-degree of freedom manipulator end, respectively.
Figure pct00067
or
Figure pct00068
It transmits a control command that can be, where K1 is the deflection coefficient, and is used to adjust the proportional relationship between the end traction hand (H8) left and right travel distance and the vehicle-mounted multiple degree of freedom manipulator end left and right deflection angle, and L and R Is the left and right movement distance of the end towing hand (H8), r is the turning radius around the base of the vehicle-mounted multi-degree of freedom manipulator, and the end towing hand (H8) stops moving or the camera field of view In case of deviation, the remote control controller continuously executes step 302 after transmitting a control command for the multi-degree of freedom manipulator end to stop the left and right deflection through the wireless communication device. When the end pulling hand H8 changes to a connecting hand, step 305 is executed.
(3066) 엔드 견인 손모양(H8)이 상하 이동일 때, 원격 조작 컨트롤러는 무선 통신 디바이스를 통해 다자유도 매니퓰레이터 엔드 위치의 상향 또는 하향 거리가 각각 K2*U 또는 K2*D일 수 있는 제어 명령을 전송하며, 여기에서 K2는 변위 계수이며, 엔드 견인 손모양(H8) 상하 이동 거리와 다자유도 매니퓰레이터 엔드 위치 상하 이동 거리의 비례 관계를 조정하는 데 사용되고, U와 D는 각각 엔드 견인 손모양(H8)의 상향 이동 거리와 우향 이동 거리이고, 엔드 견인 손모양(H8)이 이동을 멈추고 카메라 시야를 벗어나면, 원격 조작 컨트롤러는 무선 통신 디바이스를 통해 차량 탑재 다자유도 매니퓰레이터 정찰 시스템이 상하 이동을 중지할 수 있는 제어 명령을 전송하고 단계 302를 실행한다. 엔드 견인 손모양(H8)이 연결 손모양으로 바뀌면 단계 305를 실행한다.(3066) When the end traction hand (H8) is in up and down movement, the remote control controller issues a control command through the wireless communication device where the up or down distance of the multi-degree of freedom manipulator end position can be K2*U or K2*D, respectively. Where K2 is the displacement coefficient, and is used to adjust the proportional relationship between the end traction hand (H8) up and down movement distance and the multi-degree of freedom manipulator end position up and down movement distance, and U and D are respectively the end traction hand ( H8) is the upward travel distance and the rightward travel distance, and when the end traction hand (H8) stops moving and leaves the camera's field of view, the remote control controller uses a wireless communication device to allow the vehicle-mounted multi-degree of freedom manipulator reconnaissance system to move up and down. Transmit a stopable control command and execute step 302. When the end pulling hand H8 changes to a connecting hand, step 305 is executed.
본 실시예에서 손모양은 예시적인 손모양일 뿐이며, 구체적인 손모양은 필요에 따라 자체적으로 설정할 수 있다.In this embodiment, the hand shape is only an exemplary hand shape, and a specific hand shape can be set by itself as needed.
실시예 5Example 5
메모리와 프로세서, 및 메모리에 저장되고 프로세서 상에서 실행되는 컴퓨터 명령을 포함하며, 상기 컴퓨터 명령이 프로세서에 의해 실행될 때 실시예 2, 3 또는 4 중 어느 하나에 따른 방법의 상기 단계를 완료하는 전자 디바이스이다.An electronic device comprising a memory and a processor, and computer instructions stored in the memory and executed on the processor, and completing the above steps of the method according to any one of Embodiments 2, 3 or 4 when the computer instructions are executed by the processor. .
실시예 6Example 6
프로세서에 의해 실행될 때 실시예 2, 3 또는 4 중 어느 하나에 따른 방법의 상기 단계를 완료하는 컴퓨터 명령을 저장하도록 구성되는 컴퓨터 판독 가능 저장 매체이다.A computer-readable storage medium configured to store computer instructions for completing the above steps of the method according to any one of embodiments 2, 3 or 4 when executed by a processor.
상기 내용은 본 출원의 바람직한 실시예일 뿐이고 본 출원을 제한하지 않으며, 본 기술 분야에서 통상의 지식을 가진 자는 다양한 수정 및 변경을 진행할 수 있다. 본 출원의 사상과 원칙 내에서 이루어진 모든 수정, 동등한 교체, 개선 등은 모두 본 출원의 보호 범위에 포함된다.The above content is only a preferred embodiment of the present application and does not limit the present application, and a person of ordinary skill in the art may perform various modifications and changes. All modifications, equivalent replacements, improvements, etc. made within the spirit and principle of this application are all included in the scope of protection of this application.
상기에서 첨부 도면을 참고하여 본 발명의 구체적인 실시예를 설명하였으나, 본 발명의 보호 범위를 제한하지 않으며, 본 기술 분야의 통상의 지식을 가진 자가 본 발명의 기술적 해결책을 기반으로 창의적인 작업 없이 진행한 모든 수정 또는 변경은 본 발명의 보호 범위 내에 속한다.Although specific embodiments of the present invention have been described with reference to the accompanying drawings above, the protection scope of the present invention is not limited, and a person of ordinary skill in the art proceeds without creative work based on the technical solution of the present invention. All modifications or changes fall within the scope of protection of the present invention.
N1: 이동 로봇 본체
N2: 다자유도 매니퓰레이터
N3: 정찰 카메라
N4: 비디오 안경
N5: 양안 카메라
N6: 가상 매니퓰레이터
100: 마스터 웨어러블 원격 제어 장치
101: 원격 조작 컨트롤러
102: 좌측 웨어러블 시각 디바이스
103: 우측 웨어러블 시각 디바이스
104: 헤드 마운트 가상 디스플레이
105: 무선 오디오 프롬프트 디바이스
106: 무선 데이터 전송 디바이스
107: 무선 이미지 전송 디바이스
200: 슬레이브 로봇
201: 차량 탑재 컨트롤러
202: 이동 로봇 본체
203: 연결 로드 기구
204: 무기 장치
205: 레이저 거리 측정 센서
206: 손 눈 감시 카메라
207: 정찰 카메라
208: 라이다(lidar)
209: 슬레이브 무선 데이터 전송 디바이스
210: 슬레이브 무선 이미지 전송 디바이스
211: 모터 드라이버
212: 매니퓰레이터 드라이버
213: 차체 구동 모터 유닛
214: 매니퓰레이터 구동 모터 유닛
N1: mobile robot body
N2: multi-degree of freedom manipulator
N3: Recon Camera
N4: video glasses
N5: binocular camera
N6: virtual manipulator
100: master wearable remote control device
101: remote control controller
102: left wearable visual device
103: right wearable visual device
104: head mounted virtual display
105: wireless audio prompt device
106: wireless data transmission device
107: wireless image transmission device
200: slave robot
201: Vehicle-mounted controller
202: mobile robot body
203: connecting rod mechanism
204: weapon device
205: laser distance measurement sensor
206: hand eye security camera
207: Recon Camera
208: Lidar
209: slave wireless data transmission device
210: slave wireless image transmission device
211: motor driver
212: Manipulator driver
213: body drive motor unit
214: manipulator drive motor unit

Claims (14)

  1. 웨어러블 디바이스 기반의 이동 로봇 제어 시스템에 있어서,
    마스터 웨어러블 원격 제어 장치와 슬레이브 로봇이 포함되고, 상기 마스터 웨어러블 원격 제어 장치와 슬레이브 로봇은 무선으로 통신하고, 상기 마스터 웨어러블 원격 제어 장치는 조작자 몸에 착용되어 제어 명령을 전송하고 슬레이브 로봇이 수집한 데이터를 수신하도록 구성되며;
    마스터 웨어러블 원격 제어 장치는 웨어러블 양안 카메라 장치, 헤드 마운트 가상 디스플레이, 원격 조작 컨트롤러 및 마스터 무선 통신 디바이스를 포함하고, 상기 원격 조작 컨트롤러는 각각 웨어러블 양안 카메라 장치, 헤드 마운트 가상 디스플레이 및 마스터 무선 통신 디바이스에 연결되고, 웨어러블 양안 카메라 장치는 조작자 제스처의 이미지를 수집하도록 구성되고, 상기 헤드 마운트 가상 디스플레이는 슬레이브 로봇이 촬영한 이미지를 표시하고 슬레이브 로봇 매니퓰레이터의 가상 모델과 조작자 제스처의 가상 모델을 표시하도록 구성되는 것을 특징으로 하는 웨어러블 디바이스 기반의 이동 로봇 제어 시스템.
    In a wearable device-based mobile robot control system,
    A master wearable remote control device and a slave robot are included, the master wearable remote control device and the slave robot communicate wirelessly, and the master wearable remote control device is worn on the operator's body to transmit a control command and data collected by the slave robot. Is configured to receive;
    The master wearable remote control device includes a wearable binocular camera device, a head mounted virtual display, a remote control controller and a master wireless communication device, and the remote control controllers are respectively connected to a wearable binocular camera device, a head mounted virtual display, and a master wireless communication device. The wearable binocular camera device is configured to collect an image of an operator gesture, and the head mounted virtual display is configured to display an image captured by the slave robot and to display a virtual model of the slave robot manipulator and a virtual model of the operator gesture. A mobile robot control system based on a wearable device, characterized by.
  2. 제1항에 있어서,
    슬레이브 로봇은 이동 로봇 본체, 다자유도 매니퓰레이터, 정찰 카메라, 무선 통신 디바이스 및 차량 탑재 컨트롤러를 포함하고, 상기 차량 탑재 컨트롤러는 각각 이동 로봇 본체(N1), 다자유도 매니퓰레이터(N2), 정찰 카메라(N3), 무선 통신 디바이스와 연결되고; 이동 로봇 본체는 마스터 웨어러블 원격 제어 장치의 제어를 받아 위치 이동을 수행하고, 차량 탑재 다자유도 매니퓰레이터는 마스터 웨어러블 원격 제어 장치의 제어를 받아 상응하는 동작을 실행하고, 상기 슬레이브 로봇의 매니퓰레이터의 가상 모델은 다자유도 매니퓰레이터의 가상 모델인 것을 특징으로 하는 웨어러블 디바이스 기반의 이동 로봇 제어 시스템.
    The method of claim 1,
    The slave robot includes a mobile robot body, a multi-degree of freedom manipulator, a reconnaissance camera, a wireless communication device, and a vehicle-mounted controller, and each of the vehicle-mounted controllers includes a mobile robot body N1, a multi-degree of freedom manipulator N2, and a reconnaissance camera. N3), connected with a wireless communication device; The mobile robot body performs position movement under the control of the master wearable remote control device, and the vehicle-mounted multi-degree of freedom manipulator executes a corresponding operation under the control of the master wearable remote control device, and a virtual model of the manipulator of the slave robot Is a wearable device-based mobile robot control system, characterized in that is a virtual model of a multi-degree of freedom manipulator.
  3. 제1항 내지 제2항 중 어느 한 항의 제어 시스템 기반의 제어 방법에 있어서,
    여기에는 이하의 단계,
    단계 101: 견인 손모양과 분리 손모양을 설정하는 단계;
    단계 102: 가상 매니퓰레이터와 가상 제스처 모델을 구축하고, 가상 매니퓰레이터와 가상 제스처 모델을 헤드 마운트 가상 디스플레이 뷰잉 볼륨(viewing volume)의 전단에 표시하는 단계;
    단계 103: 양안 카메라의 이중 시야각 이미지를 수집하는 단계;
    단계 104: 제스처 검출 알고리즘을 이용하여 이중 시야각 이미지에 조작자의 제스처가 존재하는지 판단하고, 그렇다면 다음 단계를 실행하고, 그렇지 않다면 단계 103을 실행하는 단계;
    단계 105: 손모양 인식 알고리즘을 이용하여 제스처에 대한 손모양 인식을 수행하고, 견인 손모양이 나타났는지 판단하며, 그렇다면 다음 단계를 실행하고, 그렇지 않다면 단계 103을 실행하는 단계;
    단계 106: 촬영된 이중 시야각 이미지를 처리하고 웨어러블 양안 카메라 장치 좌표계에서 제스처의 포즈(
    Figure pct00069
    )를 구하고, 포즈(
    Figure pct00070
    )를 헤드 마운트 가상 디스플레이의 스크린 좌표계에서의 포즈 설명(
    Figure pct00071
    )으로 변환하고, 변환된 포즈(
    Figure pct00072
    )를 사용해 헤드 마운트 가상 디스플레이 뷰잉 볼륨 중의 가상 제스처 모델을 구동하는 단계;
    단계 107: 가상 제스처 모델의 포즈(
    Figure pct00073
    )와 가상 매니퓰레이터(N6) 엔드 포즈(
    Figure pct00074
    )의 차이가 소정의 역치보다 작은지 판단하고, 그렇다면 다음 단계를 실행하고, 그렇지 않다면 단계 103을 실행하는 단계;
    단계 108: 다자유도 매니퓰레이터의 포즈가 조작자의 견인 손모양 포즈에 따라 바뀌도록 하는 단계;
    단계 109: 분리 손모양이 나타났는지 판단하고, 그렇다면 다자유도 매니퓰레이터의 포즈는 조작자의 견인 손모양 포즈에 따라 바뀌는 것을 정지하고 단계 103을 실행하며, 그렇지 않다면 단계 108을 실행하는 단계를 포함하는 것을 특징으로 하는 제어 방법.
    In the control system-based control method of any one of claims 1 to 2,
    This includes the following steps,
    Step 101: setting a traction hand shape and a separation hand shape;
    Step 102: building a virtual manipulator and a virtual gesture model, and displaying the virtual manipulator and the virtual gesture model on a front end of a head mounted virtual display viewing volume;
    Step 103: collecting a double viewing angle image of the binocular camera;
    Step 104: determining whether an operator's gesture exists in the double viewing angle image using a gesture detection algorithm, and if so, executing the next step, otherwise executing step 103;
    Step 105: performing a hand shape recognition for a gesture using a hand shape recognition algorithm, determining whether a traction hand shape appears, and if so, executing the next step, otherwise executing step 103;
    Step 106: Process the photographed double viewing angle image and pose of the gesture in the wearable binocular camera device coordinate system (
    Figure pct00069
    ) And the pose (
    Figure pct00070
    ) To the pose description in the screen coordinate system of the head mounted virtual display (
    Figure pct00071
    ), and the transformed pose (
    Figure pct00072
    Driving a virtual gesture model in the head mounted virtual display viewing volume using );
    Step 107: Pose of the virtual gesture model (
    Figure pct00073
    ) And virtual manipulator (N6) end pose (
    Figure pct00074
    Determining whether the difference in) is less than a predetermined threshold, and if so, executing the next step, otherwise executing step 103;
    Step 108: making the pose of the multi-degree of freedom manipulator change according to the traction hand pose of the operator;
    Step 109: It is determined whether a separate hand shape has appeared, and if so, the pose of the multi-degree of freedom manipulator stops changing according to the manipulator's traction hand shape pose, and executes step 103, otherwise executing step 108. Control method characterized by.
  4. 제3항에 있어서,
    상기 단계 108에서 다자유도 매니퓰레이터의 포즈가 조작자의 견인 손모양 포즈에 따라 바뀌도록 하는 단계는 구체적으로,
    가상 매니퓰레이터 엔드 포즈(
    Figure pct00075
    )의 값을 가상 제스처 모델의 포즈(
    Figure pct00076
    )와 같도록 만들어, 가상 매니퓰레이터에 대응하는 각 관절 각도 값을 구하고;
    구한 가상 매니퓰레이터에 대응하는 각 관절 각도 값을 제어 명령으로 변환하고 슬레이브 로봇에 전송하여, 다자유도 매니퓰레이터 각 관절의 관절 각도가 가상 매니퓰레이터의 각 관절 각도와 같도록 만들고,
    및/또는
    상기 단계 108은 구한 가상 매니퓰레이터(N6)에 대응하는 각 관절 각도 값에 따라 뷰잉 볼륨에서 가상 매니퓰레이터(N6)에 대하여 다시 제도하는 단계를 더 포함하는 것을 특징으로 하는 제어 방법.
    The method of claim 3,
    The step of changing the pose of the multi-degree of freedom manipulator in step 108 according to the traction hand pose of the operator is specifically,
    Virtual Manipulator End Pose (
    Figure pct00075
    ) Of the virtual gesture model's pose (
    Figure pct00076
    ) To obtain each joint angle value corresponding to the virtual manipulator;
    Each joint angle value corresponding to the obtained virtual manipulator is converted into a control command and transmitted to the slave robot so that the joint angle of each joint of the multi-degree of freedom manipulator is the same as that of the virtual manipulator.
    And/or
    The step 108 further comprises drafting the virtual manipulator (N6) again in the viewing volume according to each joint angle value corresponding to the obtained virtual manipulator (N6).
  5. 제3항에 있어서,
    웨어러블 양안 촬영 장치 좌표계에서 견인 제스처의 포즈(
    Figure pct00077
    )의 위치 정보와 포즈(
    Figure pct00078
    )의 위치 정보는 정비례 관계이고, 포즈(
    Figure pct00079
    )의 자세 정보와 포즈(
    Figure pct00080
    )의 자세 정보도 정비례 관계인 것을 특징으로 하는 제어 방법.
    The method of claim 3,
    The pose of the traction gesture in the wearable binocular imaging device coordinate system (
    Figure pct00077
    ) Location information and pose (
    Figure pct00078
    The location information of) is in a direct proportional relationship, and the pose (
    Figure pct00079
    ) Posture information and pose (
    Figure pct00080
    ), the attitude information of the control method, characterized in that a direct proportion relationship.
  6. 제3항에 있어서,
    상기 단계 102에서 복수의 가상 매니퓰레이터를 구축하여 헤드 마운트 가상 디스플레이 뷰잉 볼륨의 전단에 표시하는 단계는 구체적으로,
    슬레이브 로봇의 다자유도 매니퓰레이터의 각 관절의 관절 각도 정보를 판독하고;
    원격 조작 컨트롤러는 수집된 관절 각도 정보를 기반으로 다자유도 매니퓰레이터의 D-H 매개 변수를 계산하고;
    다자유도 매니퓰레이터의 D-H 매개 변수에 따라 가상 매니퓰레이터를 구축하고, 가상 매니퓰레이터를 헤드 마운트 가상 디스플레이 뷰잉 볼륨의 전단에 표시하는 것을 특징으로 하는 제어 방법.
    The method of claim 3,
    The step of constructing a plurality of virtual manipulators in step 102 and displaying them on the front end of the head mounted virtual display viewing volume is specifically,
    Read joint angle information of each joint of the multi-degree of freedom manipulator of the slave robot;
    The remote control controller calculates the DH parameter of the multi-degree of freedom manipulator based on the collected joint angle information;
    A control method, comprising: constructing a virtual manipulator according to a DH parameter of a multi-degree of freedom manipulator, and displaying the virtual manipulator on a front end of a head mounted virtual display viewing volume.
  7. 제3항에 있어서,
    상기 단계 103 이전에 헤드 마운트 가상 디스플레이 상에 슬레이브 로봇이 촬영한 이미지를 표시하는 단계를 더 포함하고, 구체적으로
    슬레이브 로봇단의 정찰 이미지를 수집하고;
    원격 조작 컨트롤러가 정찰 이미지를 수신하여 이를 헤드 마운트 가상 디스플레이의 뷰잉 볼륨 후단에 표시하는 것을 특징으로 하는 제어 방법.
    The method of claim 3,
    Further comprising the step of displaying the image captured by the slave robot on the head mounted virtual display prior to step 103, and specifically
    Collect reconnaissance images of slave robots;
    A control method, characterized in that the remote control controller receives the reconnaissance image and displays it on the rear end of the viewing volume of the head mounted virtual display.
  8. 제1항 내지 제2항 중 어느 한 항의 제어 시스템 기반의 제어 방법에 있어서,
    각각 조작자의 왼손과 오른손 동작을 수집하고, 한 손의 동작으로 이동 로봇 차체의 이동을 제어하고, 다른 한 손의 동작으로 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어하며, 여기에는 다음의 단계,
    단계 201: 조작자 웨어러블 디바이스의 촬영 가능 범위 내의 이미지를 수집하는 단계;
    단계 202: 수집된 이미지에 손 영역이 있는지 판단하고, 없다면 단계 201을 실행하고; 그렇지 않다면 수집된 이미지를 전처리하여 핸드 피스를 획득하는 단계;
    단계 203: 좌우 양손 판별 알고리즘을 이용하여 획득된 핸드 피스가 왼손 피스인지 오른손 피스인지 판단하여, 동작하는 것이 왼손인지 오른손인지 결정하는 단계;
    단계 204: 그 중 한 손의 동작으로 이동 로봇 차체의 이동을 제어하고, 다른 한 손의 동작으로 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어한 후 단계 201을 실행하는 단계를 포함하는 것을 특징으로 하는 제어 방법.
    In the control system-based control method of any one of claims 1 to 2,
    Each manipulator's left and right hand movements are collected, the movement of the mobile robot body is controlled by the movement of one hand, and the movement of the mobile robot's vehicle-mounted multi-degree of freedom manipulator is controlled by the movement of the other hand. step,
    Step 201: collecting an image within an available range of the operator's wearable device;
    Step 202: Determine whether there is a hand region in the collected image, and if not, execute step 201; Otherwise, preprocessing the collected image to obtain a hand piece;
    Step 203: determining whether the obtained hand piece is a left-hand piece or a right-hand piece by using the left-right and both-hand discrimination algorithm, and determining whether it is a left-handed or a right-handed piece;
    Step 204: including the step of controlling the movement of the vehicle body of the mobile robot with the motion of one hand and controlling the motion of the vehicle-mounted multi-degree of freedom manipulator of the mobile robot with the motion of the other hand, and then executing step 201. Control method characterized by.
  9. 제8항에 있어서,
    상기 단계 204에서 그 중 한 손의 동작을 통해 이동 로봇 차체의 이동을 제어하는 단계는 구체적으로,
    슬레이브 로봇 모션 제어 명령과 손모양 정보의 대응 관계를 설정하고;
    인식된 핸드 피스가 이동 로봇 차체의 이동을 제어하도록 설정된 한 손인 경우, 손모양 인식 알고리즘을 이용하여 핸드 피스를 인식하여 손모양 정보를 획득하고;
    슬레이브 로봇 모션 제어 명령과 손모양 정보의 대응 관계 및 인식 획득된 손모양 정보에 따라 슬레이브 로봇 모션 제어 명령을 생성하고, 모션 제어 명령을 슬레이브 로봇에 전송하며, 슬레이브 로봇은 제어 명령에 따라 상응하는 동작을 실행하는 것을 특징으로 하는 제어 방법.
    The method of claim 8,
    The step of controlling the movement of the vehicle body of the mobile robot through the motion of one of the hands in step 204 is specifically,
    Setting a correspondence relationship between the slave robot motion control command and hand shape information;
    If the recognized hand piece is a hand set to control the movement of the mobile robot body, the hand piece is recognized using a hand shape recognition algorithm to obtain hand shape information;
    Correspondence and Recognition of Slave Robot Motion Control Command and Hand Shape Information Based on the acquired hand shape information, a slave robot motion control command is generated, and the motion control command is transmitted to the slave robot, and the slave robot moves according to the control command. A control method, characterized in that to execute.
  10. 제8항에 있어서,
    상기 단계 204에서 다른 한 손의 동작을 통해 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어하는 단계는 구체적으로,
    인식된 핸드 피스가 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어하도록 설정된 한 손인 경우, 손끝 위치결정 알고리즘을 이용하여 이미지에서 임의 손끝의 모션 궤적을 분석하고;
    모션 궤적에 따라 위치 추적 명령을 생성하여 위치 추적 명령을 슬레이브 로봇에 전송하고;
    슬레이브 로봇은 위치 추적 명령에 따라 구체적인 동작의 위치 좌표를 생성하고, 연결 로드 기구 엔드는 순차적으로 위치 좌표를 거쳐 조작자 손끝 모션 궤적을 추적하는 것을 특징으로 하는 제어 방법.
    The method of claim 8,
    The step of controlling the operation of the vehicle-mounted multi-degree of freedom manipulator of the mobile robot through the motion of the other hand in step 204 is specifically,
    If the recognized handpiece is one hand set to control the motion of the vehicle-mounted multi-degree of freedom manipulator of the mobile robot, the motion trajectory of the arbitrary fingertip is analyzed in the image using the fingertip positioning algorithm;
    Generating a position tracking command according to the motion trajectory and transmitting the position tracking command to the slave robot;
    The slave robot generates position coordinates of a specific motion according to a position tracking command, and the end of the connection rod device sequentially tracks a motion trajectory of an operator's fingertip through the position coordinates.
  11. 제1항 내지 제2항 중 어느 한 하으이 제어 시스템 기반의 제어 방법에 있어서,
    로봇 차량 탑재 다자유도 매니퓰레이터의 광역 이동의 제어 방법에는 다음의 단계,
    단계 301: 연결 손모양과 대응하는 제스처 동작을 설정하고, 다른 손모양은 슬레이브 로봇의 다른 동작에 대응하도록 설정하고, 연결 손모양은 차량 탑재 다자유도 매니퓰레이터 엔드가 현재 위치에서 다음 명령을 대기하도록 설정할 수 있는 단계;
    단계 302: 조작자 웨어러블 디바이스의 촬영 가능 범위 내의 이미지를 수집하는 단계;
    단계 303: 수집된 이미지에 손 영역이 있는지 판단하고, 없다면 단계 302를 실행하고; 그렇지 않다면 수집된 이미지를 전처리하여 핸드 피스를 획득하고, 다음 단계를 실행하는 단계;
    단계 304: 손모양 인식 알고리즘을 이용하여 전처리된 핸드 피스에 대해 손모양 인식을 수행하고 손모양 정보를 획득하는 단계;
    단계 305: 획득한 손모양 정보가 연결 손모양인지 판단하고, 그렇다면, 차량 탑재 다자유도 매니퓰레이터 엔드는 연결 손모양 직전 손모양과 연결 손모양 직후 손모양의 대응하는 제어 명령의 동작을 연속으로 실행하고 단계 302를 실행하며; 그렇지 않다면 다음 단계를 실행하는 단계;
    단계 306: 상응하는 손모양에 따라 상응하는 동작을 실행하고 단계 302를 실행하는 단계를 포함하는 것을 특징으로 하는 제어 방법.
    In the control method based on any one of claims 1 to 2, the Hay control system,
    The following steps are included in the method of controlling the wide area movement of a multi-degree of freedom manipulator mounted on a robotic vehicle
    Step 301: Set the gesture motion corresponding to the connection hand shape, the other hand shape is set to correspond to the other motion of the slave robot, and the connection hand shape allows the vehicle-mounted multi-degree of freedom manipulator end to wait for the next command at the current position. Steps that can be set;
    Step 302: collecting an image within a shooting range of the operator's wearable device;
    Step 303: Determine whether there is a hand area in the collected image, and if not, execute step 302; Otherwise, pre-processing the collected image to obtain a hand piece, and performing the next step;
    Step 304: performing hand shape recognition on the preprocessed hand piece using a hand shape recognition algorithm and acquiring hand shape information;
    Step 305: Determine whether the acquired hand shape information is a connected hand shape, and if so, the vehicle-mounted multi-degree of freedom manipulator end continuously executes the operation of the corresponding control command in the hand shape immediately before the connection hand shape and immediately after the connection hand shape. And execute step 302; If not, executing the next step;
    Step 306: executing a corresponding operation according to a corresponding hand shape and executing step 302.
  12. 제11항에 있어서,
    상기 단계 305에서, 차량 탑재 다자유도 매니퓰레이터 엔드가 연결 손모양 직전 손모양과 연결 손모양 직후 손모양의 대응하는 제어 명령의 동작을 연속 실행하는 단계는 구체적으로,
    차량 탑재 다자유도 매니퓰레이터 엔드가 직전 손모양에 대응하는 동작을 실행한 후, 현재 위치에서 정지하고;
    단계 302 내지 단계 304를 실행하고, 연결 손모양의 다음 손모양을 검출하며, 차량 탑재 다자유도 매니퓰레이터 엔드는 현재 위치 동작으로부터 연결 손모양의 다음 손모양에 대응하는 동작을 실행하는 것을 특징으로 하는 제어 방법.
    The method of claim 11,
    In step 305, the step of continuously executing the operation of the hand shape corresponding to the hand shape immediately before the connection hand shape and the hand shape immediately before the connection hand shape by the end of the vehicle-mounted multi-degree of freedom manipulator is specifically,
    After the in-vehicle multi-degree of freedom manipulator end executes an operation corresponding to the shape of the immediately preceding hand, it stops at the current position;
    Executing steps 302 to 304, detecting the next hand shape of the connecting hand, and the on-vehicle multi-degree of freedom manipulator end executes an operation corresponding to the next hand shape of the connecting hand from the current position motion. Control method.
  13. 메모리, 프로세서, 및 메모리에 저장되고 프로세서 상에서 실행되는 컴퓨터 명령을 포함하며, 상기 컴퓨터 명령이 프로세서에 의해 실행될 때 제3항 내지 제12항 중 어느 한 항에 따른 방법의 상기 단계를 완료하는 것을 특징으로 하는 전자 디바이스.Comprising a memory, a processor, and computer instructions stored in the memory and executed on the processor, wherein the computer instructions complete the step of the method according to any one of claims 3 to 12 when executed by the processor. Electronic device.
  14. 프로세서에 의해 실행될 때 제3항 내지 제12항 중 어느 한 항에 따른 방법의 상기 단계를 완료하는 컴퓨터 명령을 저장하도록 구성되는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.13. A computer-readable storage medium configured to store computer instructions for completing said step of the method according to any one of claims 3 to 12 when executed by a processor.
KR1020207030337A 2019-04-30 2020-04-29 Wearable device-based mobile robot control system and control method KR20200140834A (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN2019103631554 2019-04-30
CN2019103631681 2019-04-30
CN201910363155.4A CN109955254B (en) 2019-04-30 2019-04-30 Mobile robot control system and teleoperation control method for robot end pose
CN201910363168.1A CN110039545B (en) 2019-04-30 2019-04-30 Robot remote control system and control method based on wearable equipment
PCT/CN2020/087846 WO2020221311A1 (en) 2019-04-30 2020-04-29 Wearable device-based mobile robot control system and control method

Publications (1)

Publication Number Publication Date
KR20200140834A true KR20200140834A (en) 2020-12-16

Family

ID=73028793

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207030337A KR20200140834A (en) 2019-04-30 2020-04-29 Wearable device-based mobile robot control system and control method

Country Status (2)

Country Link
KR (1) KR20200140834A (en)
WO (1) WO2020221311A1 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279191B (en) * 2013-06-18 2016-01-06 北京科技大学 A kind of 3D virtual interacting method based on Gesture Recognition and system
CN103398702B (en) * 2013-08-05 2015-08-19 青岛海通机器人系统有限公司 A kind of mobile robot's remote operation controller and manipulation technology thereof
CN104057450B (en) * 2014-06-20 2016-09-07 哈尔滨工业大学深圳研究生院 A kind of higher-dimension motion arm teleoperation method for service robot
JP2016107379A (en) * 2014-12-08 2016-06-20 ファナック株式会社 Robot system including augmented reality corresponding display
CN109955254B (en) * 2019-04-30 2020-10-09 齐鲁工业大学 Mobile robot control system and teleoperation control method for robot end pose
CN110039545B (en) * 2019-04-30 2020-10-02 齐鲁工业大学 Robot remote control system and control method based on wearable equipment

Also Published As

Publication number Publication date
WO2020221311A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
US20180160035A1 (en) Robot System for Controlling a Robot in a Tele-Operation
US8577126B2 (en) System and method for cooperative remote vehicle behavior
EP3342564A1 (en) Remote control robot system
US10406686B2 (en) Bare hand robot path teaching
KR101762638B1 (en) Method and apparatus for hand gesture control in a minimally invasive surgical system
US10969784B2 (en) System and method for providing easy-to-use release and auto-positioning for drone applications
US20090180668A1 (en) System and method for cooperative remote vehicle behavior
KR20120025582A (en) Method of creating teaching data for robot, and teaching system for robot
KR20140015144A (en) Method and system for hand presence detection in a minimally invasive surgical system
KR20120115487A (en) Method and system for hand control of a teleoperated minimally invasive slave surgical instrument
KR20110055062A (en) Robot system and method for controlling the same
KR20120102647A (en) A master finger tracking device and method of use in a minimally invasive surgical system
JP2013034835A (en) Operation support device and method for controlling the same
CN102902271A (en) Binocular vision-based robot target identifying and gripping system and method
CN109955254B (en) Mobile robot control system and teleoperation control method for robot end pose
JP2011110620A (en) Method of controlling action of robot, and robot system
CN109983510A (en) Robot control system, Machinery Control System, robot control method, mechanical control method and recording medium
CN110039545B (en) Robot remote control system and control method based on wearable equipment
CN108062102A (en) A kind of gesture control has the function of the Mobile Robot Teleoperation System Based of obstacle avoidance aiding
CN107968915A (en) Underwater robot camera pan-tilt real-time control system and its method
Gromov et al. Proximity human-robot interaction using pointing gestures and a wrist-mounted IMU
JP2009258884A (en) User interface
US20200055195A1 (en) Systems and Methods for Remotely Controlling a Robotic Device
KR20200140834A (en) Wearable device-based mobile robot control system and control method
Gromov et al. Intuitive 3D control of a quadrotor in user proximity with pointing gestures