KR20200043827A - Hybrid joystick apparatus for remote control of mobile robot and operating method and system using thereof - Google Patents

Hybrid joystick apparatus for remote control of mobile robot and operating method and system using thereof Download PDF

Info

Publication number
KR20200043827A
KR20200043827A KR1020180124689A KR20180124689A KR20200043827A KR 20200043827 A KR20200043827 A KR 20200043827A KR 1020180124689 A KR1020180124689 A KR 1020180124689A KR 20180124689 A KR20180124689 A KR 20180124689A KR 20200043827 A KR20200043827 A KR 20200043827A
Authority
KR
South Korea
Prior art keywords
mobile robot
hybrid
joystick
upper plate
joystick device
Prior art date
Application number
KR1020180124689A
Other languages
Korean (ko)
Other versions
KR102159432B1 (en
Inventor
이장명
이동혁
안종우
강호선
최지욱
황도경
Original Assignee
부산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단 filed Critical 부산대학교 산학협력단
Priority to KR1020180124689A priority Critical patent/KR102159432B1/en
Publication of KR20200043827A publication Critical patent/KR20200043827A/en
Application granted granted Critical
Publication of KR102159432B1 publication Critical patent/KR102159432B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • B25J13/065Control stands, e.g. consoles, switchboards comprising joy-sticks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

Provided are a hybrid joystick apparatus for a remote control of a mobile robot, and an operating method and system thereof, which are able to have a proper shape for an effective control and a stable remote control of the mobile robot. According to one embodiment of the present invention, the hybrid joystick apparatus for a remote control of a mobile robot comprises: an upper plate; a lower plate configured by being spaced apart from the upper plate at a certain interval; a linear actuator connecting the upper plate and the lower plate; a hall sensor unit including a joystick which is configured on an upper end of the upper plate and a hall sensor which detects the steering direction as an operator controls the joystick; a force sensor unit configured on the connection unit between the upper plate and the linear actuator to detect the force pushing downwards by a force applied to the joystick; and a control unit receiving hall sensor data from the hall sensor unit to generate a direction command for the mobile robot and receiving the force sensor data from the force sensor unit to generate a speed command for the mobile robot, thereby controlling the mobile robot.

Description

이동 로봇의 원격 제어를 위한 하이브리드 조이스틱 장치 및 이의 동작 방법 및 시스템{HYBRID JOYSTICK APPARATUS FOR REMOTE CONTROL OF MOBILE ROBOT AND OPERATING METHOD AND SYSTEM USING THEREOF}HYBRID JOYSTICK APPARATUS FOR REMOTE CONTROL OF MOBILE ROBOT AND OPERATING METHOD AND SYSTEM USING THEREOF

아래의 실시예들은 이동 로봇의 원격 제어를 위한 하이브리드 조이스틱 장치 및 이의 동작 방법 및 시스템에 관한 것이다. The following embodiments relate to a hybrid joystick device for remote control of a mobile robot and a method and system for operating the same.

다양한 산업 환경에 적용할 수 있는 로봇들이 개발되면서 로봇을 제어하는 원격 제어의 활용범위가 점차 넓어지고 있다. 하지만 대부분의 원격 제어에 적용되는 조이스틱(joystick)은 머니퓰레이터(manipulator)를 중심으로 디자인되고 활용되고 있다. 이에 비해 이동 로봇을 중심으로 제어할 수 있는 햅틱(haptic) 조이스틱의 개발은 부족한 실정이다. With the development of robots that can be applied to various industrial environments, the range of remote control to control the robot is gradually expanding. However, joysticks applied to most remote controls are designed and utilized mainly for manipulators. On the other hand, the development of a haptic joystick that can be controlled around a mobile robot is insufficient.

산업적, 군사적, 재해 및 재난 등 다양한 환경에서 적용되는 이동 로봇의 경우, 보다 효과적이고 안정적으로 제어할 수 있는 조이스틱 및 제어기술 개발이 필수적이다. 한편, 기존의 이동 로봇의 경우 2 자유도에 국한되어 있기 때문에 머니퓰레이터에 적용되는 일반적인 다자유도 조이스틱을 통한 제어를 할 경우 여러 가지 불편한 점이 있다. For mobile robots applied in various environments such as industrial, military, disaster and disaster, it is essential to develop a joystick and control technology that can be controlled more effectively and stably. On the other hand, since the existing mobile robot is limited to two degrees of freedom, there are various inconveniences when controlling through a general multi-degree-of-freedom joystick applied to a manipulator.

한국공개특허 10-2006-0116922호는 이러한 이동형 로봇 시스템에 관한 것으로, 전방향(全方向) 제어가 용이하고 상기 이동형 로봇의 상태를 알려주는 이동형 로봇의 원격조정기에 관한 기술을 기재하고 있다.Korean Patent Publication No. 10-2006-0116922 relates to such a mobile robot system, and describes technology for a remote controller of a mobile robot that is easy to control in all directions and informs the state of the mobile robot.

한국공개특허 10-2006-0116922호Korean Patent Publication No. 10-2006-0116922

실시예들은 이동 로봇의 원격 제어를 위한 하이브리드 조이스틱 장치 및 이의 동작 방법 및 시스템에 관하여 기술하며, 보다 구체적으로 이동 로봇을 효과적인 제어와 안정적인 원격 제어에 적합한 형태를 가지는 하이브리드 조이스틱 장치를 설계하고 이를 제어하는 기술을 제공한다. Embodiments describe a hybrid joystick device for remote control of a mobile robot and a method and system for operating the same, and more specifically, design and control a hybrid joystick device having a form suitable for effective control and stable remote control of the mobile robot Provide technology.

실시예들은 이동 로봇에 장착된 카메라를 통하여 조작자가 영상정보를 이용하여 하이브리드 조이스틱을 통하여 이동 로봇을 제어하며, 이동 로봇에 장착된 INS 센서를 통하여 이동 로봇의 현재 상태 값 및 이동 로봇이 이동하고 있는 지면의 현재 값을 롤(roll), 피치(pitch), 요(yaw) 값으로 피드백 받아서 조작자가 제어하는 조이스틱으로 피드백 해줌으로써 조작자가 이동 로봇의 상태 값을 즉각적으로 알 수 있는 이동 로봇의 원격 제어를 위한 하이브리드 조이스틱 장치 및 이의 동작 방법 및 시스템을 제공하는데 있다. In the embodiments, the operator controls the mobile robot through the hybrid joystick using the image information through the camera mounted on the mobile robot, and the current state value of the mobile robot and the mobile robot are moving through the INS sensor mounted on the mobile robot. Remote control of the mobile robot that allows the operator to immediately know the state value of the mobile robot by receiving feedback of the current value of the ground as a roll, pitch, and yaw values and feeding them back to the joystick controlled by the operator. It is to provide a hybrid joystick device and a method and system for its operation.

일 실시예에 따른 이동 로봇의 원격 제어를 위한 하이브리드 조이스틱 장치는, 상부 플레이트; 상기 상부 플레이트와 소정 간격 이격되어 구성되는 하부 플레이트; 상기 상부 플레이트와 상기 하부 플레이트를 연결하는 리니어 액추에이터; 상기 상부 플레이트의 상단에 구성된 조이스틱과, 조작자가 상기 조이스틱을 조정함에 따라 조향 방향을 감지하는 홀 센서를 포함하는 홀 센서부; 상기 상부 플레이트와 상기 리니어 액추에이터의 연결부에 구성되어 상기 조이스틱에 가해지는 힘에 의해 하측으로 미는 힘을 검출하는 힘 센서부; 및 상기 홀 센서부로부터 홀 센서 데이터를 전달 받아 이동 로봇의 방향 명령을 생성하고, 상기 힘 센서부로부터 힘 센서 데이터를 전달 받아 상기 이동 로봇의 속도 명령을 생성하여 상기 이동 로봇을 제어하는 제어부를 포함하여 이루어질 수 있다. Hybrid joystick device for remote control of a mobile robot according to an embodiment, the upper plate; A lower plate configured to be spaced apart from the upper plate by a predetermined distance; A linear actuator connecting the upper plate and the lower plate; A hall sensor unit including a joystick configured at an upper end of the upper plate and a hall sensor detecting a steering direction as the operator adjusts the joystick; A force sensor unit configured to be connected to the upper plate and the linear actuator to detect a force pushed downward by a force applied to the joystick; And a control unit for controlling the mobile robot by generating the direction command of the mobile robot by receiving the hall sensor data from the hall sensor unit, and generating the speed command of the mobile robot by receiving the force sensor data from the force sensor unit. Can be achieved.

상기 제어부는, 상기 상부 플레이트에 가해지는 힘에 임계 값(threshold)을 설정하여, 상기 임계 값 이상인 경우 상기 이동 로봇을 가속시키고 상기 임계 값 이하인 경우 상기 이동 로봇을 감속시키도록 제어할 수 있다. The control unit may set a threshold to a force applied to the upper plate to control the acceleration of the mobile robot when the threshold is greater than or equal to the deceleration of the mobile robot if the threshold is lower than the threshold.

상기 임계 값은, 상기 이동 로봇의 구동을 위해 상기 조작자가 상기 상부 플레이트에 손을 올리고 상기 조이스틱을 파지할 때의 무게를 초기 값으로 설정하여 상기 이동 로봇의 기본 속도로 설정하게 되며, 상기 조작자가 상기 이동 로봇을 제어하기 이전에 각각의 조작자에 맞게 조정될 수 있다. The threshold value is set to the basic speed of the mobile robot by setting the weight when the operator raises a hand on the upper plate and grips the joystick to drive the mobile robot, and sets the initial speed to the mobile robot. Before controlling the mobile robot, it can be adjusted for each operator.

상기 제어부는, 상기 이동 로봇으로부터 주행 중인 지형의 경사도(slope) 및 틸트(tilt) 값을 전달 받아 상기 리니어 액추에이터를 통해 상기 상부 플레이트의 기울기로 피드백하여, 상기 상부 플레이트의 상단에 구성된 상기 조이스틱을 파지하고 있는 조작자에게 피드백할 수 있다. The control unit receives the slope and tilt values of the terrain being driven from the mobile robot and feeds them back to the slope of the upper plate through the linear actuator to grip the joystick configured at the top of the upper plate. Feedback can be made to the operator.

상기 힘 센서부는, 상기 이동 로봇에 부착된 INS(Inertial Navigation System) 센서부가 감지한 경사도(slope) 및 틸트(tilt)의 지형 조건에 각각 대응하는 피치(pitch) 및 롤(roll) 운동을 생성하고, 상기 리니어 액추에이터는, 3개 구성되어, 상기 힘 센서부에서 생성된 상기 피치(pitch) 및 롤(roll) 운동에 따라 상기 상부 플레이트를 기울일 수 있다. The force sensor unit generates pitch and roll motions corresponding to terrain conditions of slope and tilt, respectively, detected by the INS (Inertial Navigation System) sensor unit attached to the mobile robot, , The linear actuator is composed of three, it is possible to tilt the upper plate according to the pitch (pitch) and roll (roll) movement generated by the force sensor unit.

상기 하부 플레이트의 하측에 독립적으로 구성되며, 요(yaw) 운동에 의한 조향 명령의 결과를 반영하는 회전 조인트(revolute joint)가 구성되는 베이스 프레임을 더 포함할 수 있다. It may be configured independently on the lower side of the lower plate, and may further include a base frame configured with a revolute joint that reflects the result of the steering command due to yaw motion.

상기 베이스 프레임은, 상기 조향 명령이 일치할 때 요 운동은 0이 되어, 상기 조작자가 상기 조향 명령과 상기 요 운동에 의해 생성된 실제 주행 피드백 간의 차이를 인식하도록 할 수 있다. The base frame, when the steering command coincides, the yaw motion becomes 0, so that the operator can recognize the difference between the steering command and the actual driving feedback generated by the yaw motion.

상기 이동 로봇에 부착된 비전 센서부에서 획득한 영상정보를 전달 받아 제공하는 모니터부를 더 포함하여 이루어질 수 있다. 상기 모니터부는, 상기 하이브리드 조이스틱 장치에 구성되거나 상기 하이브리드 조이스틱 장치에 연결되어 상기 이동 로봇의 위치 또는 상태 정보를 영상으로 제공할 수 있다. It may further include a monitor unit for receiving and providing the image information obtained from the vision sensor unit attached to the mobile robot. The monitor unit may be configured in the hybrid joystick device or connected to the hybrid joystick device to provide location or status information of the mobile robot as an image.

다른 실시예에 따른 이동 로봇의 원격 제어를 위한 하이브리드 조이스틱 장치의 동작 시스템은, 조작자가 상부 플레이트의 상단에 구성된 조이스틱을 조정함에 따라 홀 센서를 통해 조향 방향을 감지하는 홀 센서부; 상기 홀 센서부로부터 홀 센서 데이터를 전달 받아 이동 로봇의 방향 명령을 생성하여 상기 이동 로봇으로 전달함에 따라 이동 로봇의 방향을 제어하는 방향 제어부; 상기 상부 플레이트와 상기 상부 플레이트의 하부에 구성된 리니어 액추에이터의 연결부에 구성되어, 상기 조이스틱에 가해지는 힘에 의해 하측으로 미는 힘을 검출하는 힘 센서부; 및 상기 힘 센서부로부터 힘 센서 데이터를 전달 받아 상기 이동 로봇의 속도 명령을 생성하여 상기 이동 로봇으로 전달함에 따라 이동 로봇의 속도를 제어하는 속도 제어부를 포함하여 이루어질 수 있다. According to another embodiment, an operation system of a hybrid joystick device for remote control of a mobile robot includes: a hall sensor unit that senses a steering direction through a hall sensor as an operator adjusts a joystick configured on the top of the upper plate; A direction control unit controlling the direction of the mobile robot by generating the direction command of the mobile robot by receiving the hall sensor data from the hall sensor unit and transmitting the command to the mobile robot; A force sensor unit configured to be connected to the upper plate and a linear actuator configured at a lower portion of the upper plate to detect a force pushed downward by a force applied to the joystick; And a speed control unit configured to receive the force sensor data from the force sensor unit and generate a speed command of the mobile robot to control the speed of the mobile robot as it is transmitted to the mobile robot.

상기 속도 제어부는, 상기 상부 플레이트에 가해지는 힘에 임계 값(threshold)을 설정하여, 상기 임계 값 이상인 경우 상기 이동 로봇을 가속시키고 상기 임계 값 이하인 경우 상기 이동 로봇을 감속시키도록 제어할 수 있다. The speed control unit may set a threshold to a force applied to the upper plate to control the acceleration of the mobile robot when the threshold is greater than or equal to the deceleration of the mobile robot if the threshold is lower than the threshold.

상기 이동 로봇으로부터 주행 중인 지형의 경사도(slope) 및 틸트(tilt) 값을 전달 받아 상기 리니어 액추에이터를 통해 상기 상부 플레이트의 기울기로 피드백하여, 상기 상부 플레이트의 상단에 구성된 상기 조이스틱을 파지하고 있는 조작자에게 피드백하는 피드백 제어부를 더 포함할 수 있다. The operator receives the slope and tilt values of the terrain being driven from the mobile robot and feeds them back to the slope of the upper plate through the linear actuator to the operator holding the joystick configured at the top of the upper plate. It may further include a feedback control unit for feedback.

상기 피드백 제어부는, 상기 힘 센서부를 이용하여 상기 이동 로봇에 부착된 INS(Inertial Navigation System) 센서부가 감지한 경사도(slope) 및 틸트(tilt)의 지형 조건에 각각 대응하는 피치(pitch) 및 롤(roll) 운동을 생성하고, 3개로 구성된 상기 리니어 액추에이터를 이용하여 상기 힘 센서부에서 생성된 상기 피치(pitch) 및 롤(roll) 운동에 따라 상기 상부 플레이트를 기울이도록 제어하여 상기 조작자에게 피드백할 수 있다. The feedback control unit, using the force sensor unit, the INS (Inertial Navigation System) attached to the mobile robot sensed by the slope (slope) and tilt (tilt) corresponding to the terrain conditions of each pitch (pitch) and roll ( roll) to generate motion, and control the inclination of the upper plate according to the pitch and roll motion generated by the force sensor unit using the linear actuator composed of three to feedback to the operator. have.

상기 하부 플레이트의 하측에 독립적으로 구성되어, 회전 조인트(revolute joint)를 통해 요(yaw) 운동에 의한 조향 명령의 결과를 반영하는 편향 각 제어부를 더 포함할 수 있다. It is configured independently on the lower side of the lower plate, and may further include a deflection angle control unit that reflects a result of a steering command due to yaw motion through a revolute joint.

상기 이동 로봇에 부착된 비전 센서부에서 획득한 영상정보를 전달 받아 제공하는 모니터부를 더 포함하여 이루어질 수 있다. 상기 모니터부는, 상기 하이브리드 조이스틱 장치에 구성되거나 상기 하이브리드 조이스틱 장치에 연결되어 상기 이동 로봇의 위치 또는 상태 정보를 영상으로 제공할 수 있다. It may further include a monitor unit for receiving and providing the image information obtained from the vision sensor unit attached to the mobile robot. The monitor unit may be configured in the hybrid joystick device or connected to the hybrid joystick device to provide location or status information of the mobile robot as an image.

또 다른 실시예에 따른 이동 로봇의 원격 제어를 위한 하이브리드 조이스틱 장치의 동작 방법은, 조작자가 상부 플레이트의 상단에 구성된 조이스틱을 조정함에 따라 홀 센서를 통해 조향 방향을 감지하는 단계; 상기 홀 센서로부터 홀 센서 데이터를 전달 받아 이동 로봇의 방향 명령을 생성하여 상기 이동 로봇으로 전달함에 따라 이동 로봇의 방향을 제어하는 단계; 상기 상부 플레이트와 상기 상부 플레이트의 하부에 구성된 리니어 액추에이터의 연결부에 구성되어, 힘 센서를 통해 상기 조이스틱에 가해지는 힘에 의해 하측으로 미는 힘을 검출하는 단계; 및 상기 힘 센서로부터 힘 센서 데이터를 전달 받아 상기 이동 로봇의 속도 명령을 생성하여 상기 이동 로봇으로 전달함에 따라 이동 로봇의 속도를 제어하는 단계를 포함하여 이루어질 수 있다. A method of operating a hybrid joystick device for remote control of a mobile robot according to another embodiment includes the steps of sensing a steering direction through a hall sensor as an operator adjusts a joystick configured on the top of the upper plate; Controlling the direction of the mobile robot as it receives the hall sensor data from the hall sensor and generates a direction command of the mobile robot and transmits it to the mobile robot; Comprising a connection portion of the upper plate and the linear actuator configured in the lower portion of the upper plate, detecting a force pushed downward by a force applied to the joystick through a force sensor; And receiving speed sensor data from the force sensor to generate a speed command of the mobile robot and controlling the speed of the mobile robot as it is transmitted to the mobile robot.

상기 이동 로봇의 속도를 제어하는 단계는, 상기 상부 플레이트에 가해지는 힘에 임계 값(threshold)을 설정하여, 상기 임계 값 이상인 경우 상기 이동 로봇을 가속시키고 상기 임계 값 이하인 경우 상기 이동 로봇을 감속시키도록 제어할 수 있다. In the step of controlling the speed of the mobile robot, a threshold is set to a force applied to the upper plate to accelerate the mobile robot when the threshold is higher than the threshold and decelerate the mobile robot if the threshold is lower than the threshold. Control.

상기 이동 로봇으로부터 주행 중인 지형의 경사도(slope) 및 틸트(tilt) 값을 전달 받아 상기 리니어 액추에이터를 통해 상기 상부 플레이트의 기울기로 피드백하여, 상기 상부 플레이트의 상단에 구성된 상기 조이스틱을 파지하고 있는 조작자에게 피드백하는 단계를 더 포함할 수 있다. The operator receives the slope and tilt values of the terrain being driven from the mobile robot and feeds them back to the slope of the upper plate through the linear actuator to the operator holding the joystick configured at the top of the upper plate. It may further include the step of feedback.

상기 조작자에게 피드백하는 단계는, 상기 힘 센서를 이용하여 상기 이동 로봇에 부착된 INS(Inertial Navigation System) 센서부가 감지한 경사도(slope) 및 틸트(tilt)의 지형 조건에 각각 대응하는 피치(pitch) 및 롤(roll) 운동을 생성하고, 3개로 구성된 상기 리니어 액추에이터를 이용하여 상기 힘 센서에서 생성된 상기 피치(pitch) 및 롤(roll) 운동에 따라 상기 상부 플레이트를 기울이도록 제어하여 상기 조작자에게 피드백할 수 있다. The feedback to the operator may include a pitch corresponding to terrain conditions of slope and tilt detected by an INS (Inertial Navigation System) sensor unit attached to the mobile robot using the force sensor, respectively. And generating a roll motion, and controlling the inclination of the upper plate according to the pitch and roll motion generated by the force sensor using the linear actuator composed of three pieces, thereby providing feedback to the operator. can do.

상기 하부 플레이트의 하측에 독립적으로 구성되어, 회전 조인트(revolute joint)를 통해 요(yaw) 운동에 의한 조향 명령의 결과를 반영하는 단계를 더 포함할 수 있다. Independently configured on the lower side of the lower plate, it may further include the step of reflecting the result of the steering command by yaw (yaw) movement through a revolute joint (revolute joint).

상기 이동 로봇에 부착된 비전 센서부에서 획득한 영상정보를 전달 받아 모니터를 통해 제공하는 단계를 더 포함하고, 상기 영상정보를 전달 받아 모니터를 통해 제공하는 단계는, 상기 하이브리드 조이스틱 장치에 구성되거나 상기 하이브리드 조이스틱 장치에 연결되어 상기 이동 로봇의 위치 또는 상태 정보를 영상으로 제공할 수 있다. Further comprising the step of receiving the image information obtained from the vision sensor attached to the mobile robot and providing it through a monitor, the step of receiving the image information and providing it through the monitor is configured in the hybrid joystick device or the It can be connected to the hybrid joystick device to provide the location or status information of the mobile robot as an image.

실시예들에 따르면 이동 로봇에 장착된 카메라를 통하여 조작자가 영상정보를 이용하여 하이브리드 조이스틱을 통하여 이동 로봇을 제어하며, 이동 로봇에 장착된 INS 센서를 통하여 이동 로봇의 현재 상태 값, 이동 로봇이 이동하고 있는 지면의 현재 값을 롤(roll), 피치(pitch), 요(yaw) 값을 피드백 받아서 조작자가 제어하는 조이스틱으로 피드백 해줌으로써 조작자가 이동 로봇의 상태 값을 즉각적으로 알 수 있으며, 피드백되는 값에 따라 이동 로봇의 속도를 제어할 수 있는 하이브리드 조이스틱 장치 및 이의 동작 방법 및 시스템을 제공할 수 있다.According to embodiments, the operator controls the mobile robot through the hybrid joystick using the image information through the camera mounted on the mobile robot, and the current state value of the mobile robot and the mobile robot move through the INS sensor mounted on the mobile robot. The current value of the ground being operated is fed back to the joystick controlled by the operator by receiving the roll, pitch, and yaw values, and the operator can immediately know the state value of the mobile robot. It is possible to provide a hybrid joystick device capable of controlling the speed of a mobile robot according to a value, and an operation method and system thereof.

실시예들에 따르면 이동 로봇의 상태 및 지형에 따른 효과적이고 안정적인 주행을 가능하게 할 수 있다.According to the embodiments, it is possible to enable effective and stable driving according to the state and terrain of the mobile robot.

도 1은 일 실시예에 따른 하이브리드 조이스틱 장치를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 하이브리드 조이스틱 장치에서 사용하는 좌표계를 나타내는 도면이다.
도 3은 일 실시예에 따른 하이브리드 조이스틱 장치의 상부 플레이트의 피치 각을 나타내는 도면이다.
도 4는 일 실시예에 따른 하이브리드 조이스틱 장치의 상부 플레이트의 롤 각을 나타내는 도면이다.
도 5는 일 실시예에 따른 전체 시스템의 블록 다이어그램을 나타내는 도면이다.
도 6은 일 실시예에 따른 상부 플레이트의 힘 감지를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 전체 시스템의 동작을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 이동 로봇의 구조를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 하이브리드 조이스틱 장치의 구성을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 하이브리드 조이스틱 장치의 동작 방법을 나타내는 흐름도이다.
도 11은 일 실시예에 따른 하이브리드 조이스틱 장치의 동작 시스템을 나타내는 블록도이다.
1 is a view for explaining a hybrid joystick device according to an embodiment.
2 is a view showing a coordinate system used in a hybrid joystick device according to an embodiment.
3 is a view showing the pitch angle of the upper plate of the hybrid joystick device according to an embodiment.
4 is a view showing the roll angle of the upper plate of the hybrid joystick device according to an embodiment.
5 is a block diagram of an entire system according to an embodiment.
6 is a view for explaining the force detection of the upper plate according to an embodiment.
7 is a view for explaining the operation of the entire system according to an embodiment.
8 is a view for explaining the structure of a mobile robot according to an embodiment.
9 is a view for explaining the configuration of a hybrid joystick device according to an embodiment.
10 is a flowchart illustrating a method of operating a hybrid joystick device according to an embodiment.
11 is a block diagram illustrating an operation system of a hybrid joystick device according to an embodiment.

이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.Hereinafter, embodiments will be described with reference to the accompanying drawings. However, the described embodiments may be modified in various other forms, and the scope of the present invention is not limited by the embodiments described below. In addition, various embodiments are provided to more fully describe the present invention to those skilled in the art. The shape and size of elements in the drawings may be exaggerated for a more clear description.

아래의 실시예들은 이동 로봇의 원격 제어를 위한 하이브리드 조이스틱 장치 및 이의 동작 방법 및 시스템에 관한 것으로, 이동 로봇을 효과적으로 제어하고 안정적으로 원격 제어할 수 있는 하이브리드 조이스틱 장치를 설계하고 이를 제어하는 기술을 제공한다. The following embodiments relate to a hybrid joystick device for remote control of a mobile robot, and a method and system for operating the same, designing a hybrid joystick device capable of effectively controlling the mobile robot and stably remotely controlling it, and providing a technology for controlling the same. do.

실시예들은 3 자유도 입력과 3 자유도 피드백 신호를 가지는 6 자유도(Degrees Of Freedom, DOF) 하이브리드 조이스틱 장치를 제공할 수 있다. 하이브리드 조이스틱 장치를 통해 이동 로봇을 원격 제어하기 위해 x, y 및 z 방향 동작을 사용하는 3 자유도 조이스틱으로 조향 및 가속 명령을 생성할 수 있다. Embodiments may provide a six degrees of freedom (DOF) hybrid joystick device having a three degrees of freedom input and a three degrees of freedom feedback signal. The steering and acceleration commands can be generated with a three-degree-of-freedom joystick that uses x, y, and z-direction motions to remotely control a mobile robot through a hybrid joystick device.

일반적으로 하이브리드 조이스틱 장치의 조작자는 동적으로 변하는 지형 조건을 명확하게 볼 수 없다. 따라서 롤(roll) 및 피치(pitch) 값을 조이스틱을 통해 조작자에게 피드백함으로써 동적으로 변하는 지형 조건의 정보를 제공할 수 있다. 이 값은 관성항법시스템(Inertial Navigation System, INS)을 기반으로 생성될 수 있다. 또한, 편향 각(요(yaw) 값)은 조향 제어를 통해 로봇의 실제 방향을 피드백하는데 사용될 수 있다. 실시예들에 따르면 하이브리드 조이스틱 장치의 메커니즘과 제어 시스템이 새롭게 설계되었으며, 이러한 하이브리드 조이스틱 장치의 효과는 경사도(slope) 및 틸트(tilt)된 지형에서 움직이는 이동 로봇의 실제 원격 작동을 통해 검증되었다.In general, the operator of the hybrid joystick device cannot clearly see the dynamically changing terrain conditions. Therefore, it is possible to provide information of dynamically changing terrain conditions by feeding roll and pitch values to an operator through a joystick. This value can be generated based on the Inertial Navigation System (INS). In addition, the deflection angle (yaw value) can be used to feedback the actual direction of the robot through steering control. According to the embodiments, the mechanism and control system of the hybrid joystick device have been newly designed, and the effect of the hybrid joystick device has been verified through the actual remote operation of the mobile robot moving on the slope and tilted terrain.

도 1은 일 실시예에 따른 하이브리드 조이스틱 장치를 설명하기 위한 도면이다. 1 is a view for explaining a hybrid joystick device according to an embodiment.

도 1을 참조하면, 일 실시예에 따른 하이브리드 조이스틱 장치는 이동 로봇을 제어하는 장치로, 상부 프레임(110), 하부 프레임(120) 및 베이스 프레임(130)을 포함하여 이루어질 수 있으며, 6 자유도(6-DOF) 제어 신호를 생성할 수 있다. 아래에서는 하이브리드 조이스틱 장치에 의해 제어되는 이동 로봇을 간단히 로봇이라고 언급할 수 있으며, 이동 로봇과 로봇을 혼용하여 사용할 수 있다. 아래에서는 도 1 및 도 6을 함께 참조하여 보다 구체적으로 설명한다. Referring to FIG. 1, a hybrid joystick device according to an embodiment is a device for controlling a mobile robot, and may include an upper frame 110, a lower frame 120 and a base frame 130, and has 6 degrees of freedom (6-DOF) A control signal can be generated. In the following, a mobile robot controlled by a hybrid joystick device can be simply referred to as a robot, and a mobile robot and a robot can be used interchangeably. Hereinafter, with reference to FIGS. 1 and 6 together, it will be described in more detail.

먼저, 상부 프레임(110)은 이동 로봇의 방향 명령을 생성할 수 있으며, 하이브리드 조이스틱 장치가 이동 로봇으로 방향 및 속도에 대한 입력을 주는 입력부 역할을 할 수 있다. First, the upper frame 110 may generate a direction command of the mobile robot, and the hybrid joystick device may serve as an input unit for inputting directions and speeds to the mobile robot.

이러한 상부 프레임(110)은 상부 플레이트(111)로 이루어질 수 있으며, 홀 센서(hall sensor)부 및 힘 센서부(113)를 포함할 수 있다. 또한, 상부 플레이트(111)에는 INS 센서부를 더 포함할 수 있다. 여기서, INS 센서부는 관성항법시스템(Inertial Navigation System, INS)으로 구성될 수 있다. The upper frame 110 may be made of an upper plate 111 and may include a hall sensor unit and a force sensor unit 113. In addition, the upper plate 111 may further include an INS sensor unit. Here, the INS sensor unit may be configured with an inertial navigation system (INS).

홀 센서부(112)는 홀 센서 및 조이스틱을 포함할 수 있으며, 조작자가 조이스틱을 조정함에 따라 홀 센서를 통해 조작자의 조향 의도를 감지하여 이를 로봇의 방향 제어로 변환할 수 있다. 예를 들어, 상부 프레임(110)은 로봇의 방향 명령을 생성하는 2 자유도(DOF) 조이스틱으로 구성될 수 있으며, 방향 입력으로는 2축 홀 센서 조이스틱이 사용되어 이동 로봇의 x-y축으로의 조향 제어에 이용될 수 있다.The hall sensor unit 112 may include a hall sensor and a joystick. As the operator adjusts the joystick, the hall sensor may sense the intention of the operator to steer and convert it into a direction control of the robot. For example, the upper frame 110 may be composed of a two-degree-of-freedom (DOF) joystick that generates a direction command of the robot, and a two-axis Hall sensor joystick is used as a direction input to steer the mobile robot to the xy axis. It can be used for control.

이동 로봇의 속도 제어는 조작자의 손에 의해 발생되며 상부 플레이트(111)에 가해지는 z축으로 누르는 힘을 통해 이동 로봇의 가속도를 발생시키도록 한다. 상부 플레이트(111)에 가해지는 힘에 임계 값(threshold)을 지정하여, 임계 값 이상인 경우 가속시키고, 임계 값 이하인 경우 감속을 시키도록 할 수 있다. 여기서, 이동 로봇의 구동을 위해 조작자가 상부 프레임(110)의 상부 플레이트(111)에 손을 올리고 조이스틱을 잡게 되면 조작자의 손의 무게만큼 초기 값을 설정하여 이동 로봇의 기본 속도로 설정하게 된다. The speed control of the mobile robot is generated by the operator's hand and generates acceleration of the mobile robot through a force pressing in the z-axis applied to the upper plate 111. The threshold applied to the force applied to the upper plate 111 may be set to accelerate if the threshold is higher than the threshold, and decelerate if the threshold is lower than the threshold. Here, in order to drive the mobile robot, when the operator raises his hand on the upper plate 111 of the upper frame 110 and holds the joystick, the initial value is set as the weight of the operator's hand to set the basic speed of the mobile robot.

힘 센서부(113)는 적어도 하나 이상의 힘 센서로 구성되며, 예컨대 3 개의 힘 센서가 구성될 수 있다. 힘 센서부(113)의 힘 센서는 미는 힘을 검출하기 위해 상부 및 하부 플레이트(121)를 연결하는 리니어 액추에이터(122)(linear actuator)의 연결부에 구성될 수 있다. The force sensor unit 113 is composed of at least one force sensor, for example, three force sensors may be configured. The force sensor of the force sensor unit 113 may be configured at a connection portion of a linear actuator 122 connecting the upper and lower plates 121 to detect the pushing force.

속도의 변화는 자동차의 액셀러레이터 메커니즘(accelerator mechanism)과 유사하게 조작자가 손으로 상부 플레이트(111)를 하측으로 미는 힘을 작용시킴에 따라 형성될 수 있다. 힘 센서부(113)를 통해 미는 힘을 검출할 수 있으며, 상부 플레이트(111)에 가해지는 미는 힘의 감속과 가속 명령을 구분하기 위해 임계 값을 설정할 수 있다. 또한, 임계 값은 제로 가속도 또는 일정 속도를 나타내기 위해 사용될 수 있다. The change in speed can be formed as the operator exerts a force pushing the upper plate 111 downward by hand, similar to the accelerator mechanism of a vehicle. The pushing force may be detected through the force sensor unit 113, and a threshold may be set to distinguish the deceleration and acceleration commands of the pushing force applied to the upper plate 111. Also, the threshold value can be used to indicate zero acceleration or constant velocity.

그리고, 하부 프레임(120)은 상부 프레임(110)의 하측에 배치되는 것으로, 하부 플레이트(121) 및 리니어 액추에이터(122)를 포함할 수 있다. 즉, 상부 플레이트(111)와 이격되어 구성되는 하부 플레이트(121)를 리니어 액추에이터(122)를 통해 연결시킬 수 있다. 리니어 액추에이터(122)는 복수 개 구성될 수 있으며, 예컨대 3 개 구성될 수 있다. In addition, the lower frame 120 is disposed below the upper frame 110 and may include a lower plate 121 and a linear actuator 122. That is, the lower plate 121 configured to be spaced apart from the upper plate 111 may be connected through the linear actuator 122. A plurality of linear actuators 122 may be configured, for example, three.

이러한 하부 프레임(120)은 3 개의 리니어 액추에이터(122)(actuator)로 구성된 스튜어트 프레임으로, 이동 로봇이 주행하는 도로의 현재 경사도(slope) 및 틸트(tilt) 값을 피드백 구현하는데 이용될 수 있다. 여기서, 이 피드백 구현은 이동 로봇의 안정적인 제어에 많은 영향을 끼칠 수 있다. 이동 로봇이 경사도를 가지는 도로를 이동하게 되면 그 경사도(slope)의 값이 상부 플레이트(111)의 기울기로 피드백되며, 이때 조이스틱을 쥐고 있는 조작자가 힘을 느끼게 된다. 그 힘을 자연스럽게 저항하는 가운데 언덕을 올라갈 때 가속하는 명령 또 경사를 내려갈 때 감속하는 명령이 자연스럽게 주어지게 된다. The lower frame 120 is a Stewart frame composed of three linear actuators 122 and may be used to feedback the current slope and tilt values of a road on which the mobile robot travels. Here, this feedback implementation can have a great influence on the stable control of the mobile robot. When the mobile robot moves the road having the slope, the value of the slope is fed back to the slope of the top plate 111, and the operator holding the joystick feels the force. While naturally resisting the force, a command to accelerate when climbing a hill and a command to decelerate when descending a slope are naturally given.

마지막으로, 베이스 프레임(130)은 상부 프레임(110) 및 하부 프레임(120)과 독립적으로 구성될 수 있으며, 서보 모터를 포함할 수 있다. 베이스 프레임(130)에는 요(yaw) 운동에 의한 조향 명령의 결과를 반영하는 회전 조인트(revolute joint)가 구성될 수 있고, 제어부가 구성되는 제어 박스(control box)를 더 포함할 수 있다. Finally, the base frame 130 may be configured independently of the upper frame 110 and the lower frame 120, and may include a servo motor. The base frame 130 may include a revolute joint that reflects the result of a steering command due to yaw motion, and may further include a control box in which a control unit is configured.

베이스 프레임(130)은 조향 명령이 일치할 때, 요 운동은 0이 된다. 이에 따라 조작자는 자신의 명령과 요 운동에 의해 생성된 실제 주행 피드백 간의 차이를 인식할 수 있다. 즉, 베이스 프레임(130)은 조작자가 조향(steering) 방향으로 이동 로봇이 잘 주행하고 있는지 여부를 피드백하여 이동 로봇의 도로 주행의 방향성을 제어할 수 있다. When the steering command of the base frame 130 coincides, the yaw motion becomes zero. Accordingly, the operator can recognize the difference between his command and the actual driving feedback generated by the yaw motion. That is, the base frame 130 may control whether the mobile robot is traveling in the road by feeding back whether the mobile robot is traveling well in the steering direction.

아래에서 일 실시예에 따른 하이브리드 조이스틱 장치에 대해 보다 구체적으로 설명한다. Hereinafter, a hybrid joystick device according to an embodiment will be described in more detail.

도 2는 일 실시예에 따른 하이브리드 조이스틱 장치에서 사용하는 좌표계를 나타내는 도면이다. 2 is a view showing a coordinate system used in a hybrid joystick device according to an embodiment.

도 2를 참조하면, 일 실시예에 따른 하이브리드 조이스틱 장치는 베이스 프레임(

Figure pat00001
), 하부 플레이트(
Figure pat00002
) 및 상부 플레이트(
Figure pat00003
)로 구분될 수 있다. 3 개의 리니어 액추에이터에 의해 상부 플레이트 상의 운동 구성 요소는 피치, 롤 및 요(
Figure pat00004
)이다. 하부 및 상부 플레이트는 동일한 크기로 이루어질 수 있고, 3 개의 리니어 액추에이터는 이들 사이에 수직으로 위치하며, P1, P2 및 P3로 표시될 수 있다.2, the hybrid joystick device according to an embodiment of the base frame (
Figure pat00001
), Bottom plate (
Figure pat00002
) And top plate (
Figure pat00003
). The movement components on the top plate by three linear actuators are used for pitch, roll and yaw (
Figure pat00004
)to be. The lower and upper plates can be of the same size, the three linear actuators are positioned vertically between them, and can be represented by P 1 , P 2 and P 3 .

이러한 3 개의 리니어 액추에이터는

Figure pat00005
및 요 운동을 생성할 수 없다.
Figure pat00006
의 운동 명령은 상부 플레이트의 조이스틱에 의해 생성되어 이동 로봇의 제어부로 직접 전송될 수 있다. 또한, 요 운동은 하부 플레이트의 아래의 회전 조인트에 의해 발생될 수 있다.These three linear actuators
Figure pat00005
And cannot produce yaw movements.
Figure pat00006
The movement command of is generated by the joystick of the top plate and can be transmitted directly to the control unit of the mobile robot. Also, yaw motion may be caused by a rotating joint below the lower plate.

도 3은 일 실시예에 따른 하이브리드 조이스틱 장치의 상부 플레이트의 피치 각을 나타내는 도면이다. 3 is a view showing the pitch angle of the upper plate of the hybrid joystick device according to an embodiment.

도 3을 참조하면, 상부 플레이트의 중심(OU)에 대해 정의된 상부 플레이트의 피치 각(

Figure pat00007
)을 나타낸다. OU는 상부 플레이트의 중심에 고정되어 있으며, 상부 플레이트의 피치 각(
Figure pat00008
)은 다음 식과 같이 나타낼 수 있다, Referring to FIG. 3, the pitch angle of the top plate defined relative to the center O U of the top plate (
Figure pat00007
). O U is fixed at the center of the top plate, and the pitch angle of the top plate (
Figure pat00008
) Can be expressed as

[수학식 1][Equation 1]

Figure pat00009
Figure pat00009

여기서, a는 P2 및 P3 사이의 중심점 사이와 P1 사이의 길이를 나타낸다. Here, a represents the length between the center points between P 2 and P 3 and between P 1 .

도 4는 일 실시예에 따른 하이브리드 조이스틱 장치의 상부 플레이트의 롤 각을 나타내는 도면이다. 4 is a view showing the roll angle of the upper plate of the hybrid joystick device according to an embodiment.

도 4를 참조하면, 상부 플레이트의 중심(OU)에 대해 정의된 상부 플레이트의 롤 각(

Figure pat00010
)을 나타낸다. OU는 상부 플레이트의 중심에 고정되어 있으며, 상부 플레이트의 롤 각(
Figure pat00011
)은 다음 식과 같이 나타낼 수 있다,Referring to FIG. 4, the roll angle of the top plate defined relative to the center O U of the top plate (
Figure pat00010
). O U is fixed at the center of the top plate, and the roll angle (
Figure pat00011
) Can be expressed as

[수학식 2][Equation 2]

Figure pat00012
Figure pat00012

여기서, c는 P2 및 P3 사이의 거리를 나타낸다. Here, c denotes the distance between P 2 and P 3 .

다시 도 2를 참조하면, 요 각(

Figure pat00013
)은 OL 와 OB 사이의 회전 조인트에 의해 생성될 수 있다. 이는 이동 로봇의 주행 방향을 드러내는
Figure pat00014
범위 내로 제한될 수 있다. 회전 조인트는 각도의 제한 없이 제어될 수 있다. 그러나 일반적인 사람의 손목 동작을 반영하는 데는 한계가 있으며, 일반적으로 대략
Figure pat00015
로 제한될 수 있다. Referring back to Figure 2, the yaw angle (
Figure pat00013
) Can be produced by a rotating joint between O L and O B. This reveals the moving direction of the mobile robot.
Figure pat00014
It may be limited to the range. The rotating joint can be controlled without limiting the angle. However, there is a limit to reflecting a person's wrist movements, and in general,
Figure pat00015
Can be limited to.

z 방향 운동은 3 개의 리니어 액추에이터 P1, P2 및 P3에 의해 동일한 양의 운동에 의해 발생될 수 있으며, 다음 식과 같이 나타낼 수 있다. The z-direction motion can be generated by the same amount of motion by three linear actuators P 1 , P 2 and P 3 , and can be expressed by the following equation.

[수학식 3][Equation 3]

Figure pat00016
Figure pat00016

여기서, z 방향 운동은 피치 및 롤 운동과는 독립적이다. Here, the z-direction motion is independent of the pitch and roll motion.

도 5는 일 실시예에 따른 전체 시스템의 블록 다이어그램을 나타내는 도면이다.5 is a block diagram of an entire system according to an embodiment.

도 5를 참조하면, 조작자(501)는 이동 로봇(503)을 제어하기 위해 홀 센서 및 조이스틱(502)을 통해 조향할 수 있으며, 이동 로봇(503)의 모니터링 및 제어에 영상정보를 사용할 수 있다. 이동 로봇(503)에 부착된 INS 센서부는 주행로의 경사도(slope) 및 틸트(tilt)와 조향 정보와 같은 지형 조건을 모은 다음, 하이브리드 조이스틱 장치에 피치, 롤 및 요 값을 각각 피드백할 수 있다. 여기서, 이동 로봇(503)은 컴퓨터 등 모니터에 영상정보를 제공하기 위해 비전 센서 데이터(504)를 전달하고, 하이브리드 조이스틱 장치에 INS 센서부에서 INS 센서 데이터(505)를 전달할 수 있다. Referring to FIG. 5, the operator 501 may steer through the hall sensor and the joystick 502 to control the mobile robot 503, and may use image information for monitoring and control of the mobile robot 503. . The INS sensor unit attached to the mobile robot 503 collects terrain conditions such as slope and tilt and steering information of the driving route, and then feeds back the pitch, roll, and yaw values to the hybrid joystick device, respectively. . Here, the mobile robot 503 may transmit vision sensor data 504 to provide image information to a monitor such as a computer, and may transmit INS sensor data 505 from the INS sensor unit to the hybrid joystick device.

하이브리드 조이스틱 장치의 피치 제어(506) 및 롤 제어(507)의 경우, 하이브리드 조이스틱 장치의 리니어 액추에이터의 끝 부분과 상부 플레이트 사이에 설치된 힘 센서부에 의해 도 6에 도시된 바와 같이 fP1, fP2 및 fP3(509)이 제공될 수 있다. fP1, fP2 및 fP3의 일반적인 구성 요소는

Figure pat00017
의 명령으로 변환하여 이동 로봇(503)의 속도를 변경(510)하는 데 사용될 수 있다.In the case of the pitch control 506 and roll control 507 of the hybrid joystick device, f P1 , f P2 as shown in FIG. 6 by the force sensor unit installed between the top plate and the end of the linear actuator of the hybrid joystick device And f P3 509 can be provided. The common components of f P1 , f P2 and f P3 are
Figure pat00017
It can be used to change the speed of the mobile robot 503 by converting it to the command 510.

홀 센서 및 조이스틱(502)은 조작자(501)가 조향 명령을 생성하고 명령을

Figure pat00018
에 의해 이동 로봇(503)에 직접 전송하는 데 사용될 수 있다. 2 자유도 운동에는 제어 동작이 요구되지 않는다. The hall sensor and the joystick 502 allow the operator 501 to generate a steering command and issue the command.
Figure pat00018
It can be used to transmit directly to the mobile robot 503. Control action is not required for two-degree-of-freedom motion.

그리고 하부 플레이트의 회전 조인트는 안정적이고 빠른 성능을 얻기 위해 PD(Proportional-Derivative) 제어 알고리즘에 의해 제어된 조향 명령에 따라 이동 로봇(503)의 요 각을 감지하는데 사용될 수 있다. And the rotating joint of the lower plate can be used to detect the yaw angle of the mobile robot 503 according to a steering command controlled by a PD (Proportional-Derivative) control algorithm to obtain stable and fast performance.

도 6은 일 실시예에 따른 상부 플레이트의 힘 감지를 설명하기 위한 도면이다. 6 is a view for explaining the force detection of the upper plate according to an embodiment.

도 6을 참조하면, 상부 플레이트(111)의 힘 센서부(113)를 통한 힘 감지 구조를 나타내는 것으로, 힘 센서부(113)는 P1, P2 및 P3의 끝 부분에 3 개의 힘 센서를 설치함으로써 조작자가 이동 로봇의 속도(vd)에 대한 명령(

Figure pat00019
)을 생성하기 위해 미는 힘을 감지하고, 지형의 경사도(slope) 및 틸트(tilt) 각에 해당하는 롤 및 피치 운동을 생성할 수 있다. 이는 힘과 운동 사이에 원하는 관계를 유지하는 임피던스 제어를 기반으로 한다. 이러한 관계는 다음 식과 같이 나타낼 수 있다. Referring to FIG. 6, the force sensing structure through the force sensor unit 113 of the upper plate 111 is shown, and the force sensor unit 113 has three force sensors at the ends of P 1 , P 2 and P 3 By installing the operator, the command for the speed (v d ) of the mobile robot (
Figure pat00019
) To sense the pushing force and generate roll and pitch motions corresponding to the slope and tilt angles of the terrain. It is based on impedance control that maintains the desired relationship between force and motion. This relationship can be expressed as the following equation.

[수학식 4][Equation 4]

Figure pat00020
Figure pat00020

[수학식 5][Equation 5]

Figure pat00021
Figure pat00021

조작자는 가속 및 감속을 구별하기 위해 임계 값(fthre)으로 사용된 특정 힘으로 상부 플레이트(111)를 손으로 밀 수 있다. 여기서, 임계 값(fthre)은 이동 로봇을 제어하기 전에 각각의 조작자에 맞게 조정할 수 있다. 상부 플레이트(111) 중심의 힘은 3개의 힘 센서를 통해 획득될 수 있으며, 다음 식과 같이 나타낼 수 있다. The operator can push the upper plate 111 by hand with a specific force used as the threshold f thre to distinguish acceleration and deceleration. Here, the threshold value f thre can be adjusted for each operator before controlling the mobile robot. The force at the center of the upper plate 111 can be obtained through three force sensors, and can be expressed as the following equation.

[수학식 6][Equation 6]

Figure pat00022
Figure pat00022

[수학식 5] 및 [수학식 6]에서와 같이, fP1, fP2, fP3

Figure pat00023
사이의 관계를 정확하게 결정해야 한다. 이는 상부 플레이트(111)의 운동 및 힘이 상부 플레이트(111)의 조작자의 손을 통해 서로 직접적으로 관련되기 때문이다. 따라서 3 개의 리니어 액추에이터(122)
Figure pat00024
에 의한 상부 플레이트(111)의 제어는 3 개의 힘 센서를 통한 fP1, fP2, fP3의 센싱에 의해 원하는 임피던스로 정확하게 관리할 수 있다.As in Equation 5 and Equation 6, f P1 , f P2 , f P3 and
Figure pat00023
The relationship between them must be determined accurately. This is because the movement and force of the top plate 111 are directly related to each other through the hands of the operator of the top plate 111. Therefore, three linear actuators 122
Figure pat00024
Control of the upper plate 111 by can be accurately managed to the desired impedance by sensing f P1 , f P2 , f P3 through three force sensors.

도 7은 일 실시예에 따른 전체 시스템의 동작을 설명하기 위한 도면이다. 7 is a view for explaining the operation of the entire system according to an embodiment.

도 7을 참조하면, 조작자는 이동 로봇(710)의 CCD(Charge-Coupled Device) 카메라에서 보낸 이미지(image)를 사용하여 하이브리드 조이스틱 장치를 조작함에 따라 원격에서 이동 로봇(710)을 제어할 수 있다. 이동 로봇(710)이 비전 센서부를 통해 획득한 이미지를 기반으로 장애물을 피할 수 있고 2 자유도 홀 센서 조이스틱을 사용하여 통신 네트워크의 지정된 경로를 따르도록 이동 로봇(710)을 조작할 수 있다. Referring to FIG. 7, an operator may remotely control the mobile robot 710 by operating the hybrid joystick device using an image sent from a CCD (Charge-Coupled Device) camera of the mobile robot 710. . The mobile robot 710 can avoid the obstacle based on the image acquired through the vision sensor unit, and can operate the mobile robot 710 to follow the designated path of the communication network using a two-degree-of-freedom hall sensor joystick.

이동 로봇(710)을 가속 또는 감속시키기 위해 하이브리드 조이스틱 장치의 리니어 액추에이터의 끝 부분에 설치된 힘 센서부를 이용하여 감지된 힘에 따라 상부 플레이트를 밀거나 약간 당길 수 있다. 동시에, 경사도(slope) 및 틸트(tilt)의 지형 조건을 이동 로봇(710)의 INS 센서부로 측정한 다음, 경사도(slope) 및 틸트(tilt)에 대응하는 롤과 피치 운동을 통해 상부 플레이트를 제어하여 조작자 손으로 다시 보낼 수 있다.In order to accelerate or decelerate the mobile robot 710, the upper plate may be pushed or slightly pulled according to the sensed force by using a force sensor installed at the end of the linear actuator of the hybrid joystick device. At the same time, the terrain conditions of slope and tilt are measured by the INS sensor unit of the mobile robot 710, and then the upper plate is controlled through roll and pitch motions corresponding to the slope and tilt. Can be sent back to the operator's hand.

도 8은 일 실시예에 따른 이동 로봇의 구조를 설명하기 위한 도면이다. 8 is a view for explaining the structure of a mobile robot according to an embodiment.

도 8을 참조하면, 일 실시예에 따른 이동 로봇은 이동 로봇의 제어부, DC 모터, 엔코더, INS 센서부 및 비전 센서부를 포함하여 이루어질 수 있다. Referring to FIG. 8, a mobile robot according to an embodiment may include a control unit of a mobile robot, a DC motor, an encoder, an INS sensor unit, and a vision sensor unit.

이동 로봇의 제어부는 MCU(Micro Controller Unit)로 구성될 수 있으며, 예컨대 DSP로 이루어질 수 있다. The control unit of the mobile robot may be composed of a microcontroller unit (MCU), for example, a DSP.

DC 모터 및 엔코더(encoder)는 휠(wheel)을 구동하고 감지하는데 사용될 수 있다. 이때, DC 모터 및 엔코더는 복수 개 구성될 수 있으며, 예컨대 2 개의 DC 모터와 2개의 엔코더로 구성될 수 있다. DC motors and encoders can be used to drive and sense wheels. At this time, a plurality of DC motors and encoders may be configured, for example, two DC motors and two encoders.

INS 센서부 및 비전 센서부는 롤, 피치 및 요 각들을 감지하기 위해 구성될 수 있으며, 예컨대 비전 센서부는 CCD 카메라로 이동 로봇에 설치될 수 있다. INS 센서부에서 획득한 INS 센서 데이터와 비전 센서부에서 획득한 영상정보는 통신 채널을 통해 원격의 하이브리드 조이스틱 장치로 전달됨으로써 조작자에게 전달될 수 있다. 여기서, 비전 센서부에서 획득한 영상정보는 컴퓨터 등의 외부 모니터(830)로 전달됨으로써 조작자에게 제공될 수 있다.The INS sensor unit and the vision sensor unit may be configured to detect roll, pitch, and yaw angles, for example, the vision sensor unit may be installed on a mobile robot with a CCD camera. The INS sensor data obtained from the INS sensor unit and the image information obtained from the vision sensor unit may be transmitted to the remote hybrid joystick device through a communication channel, and thus transmitted to the operator. Here, the image information obtained from the vision sensor unit can be provided to the operator by being transmitted to an external monitor 830 such as a computer.

도 9는 일 실시예에 따른 하이브리드 조이스틱 장치의 구성을 설명하기 위한 도면이다. 9 is a view for explaining the configuration of a hybrid joystick device according to an embodiment.

도 9를 참조하면, 일 실시예에 따른 하이브리드 조이스틱 장치는 상부 플레이트(921), 하부 플레이트(922), 리니어 액추에이터(923), 홀 센서부(924), 힘 센서부(925) 및 제어부(926)를 포함하여 이루어질 수 있다. 실시예에 따라 하이브리드 조이스틱 장치는 베이스 프레임, 서보 모터(928) 및 엔코더(929)를 포함하여 이루어질 수 있다. 이동 로봇(910)에서 측정되는 INS 센서 데이터와 영상정보를 전달 받아 이동 로봇(910)의 상태를 판단하고, 그에 따라 서보 모터(928)와 리니어 액추에이터(923)를 제어하여 피드백을 구현할 수 있다. 일 실시예에 따른 하이브리드 조이스틱 장치는 도 1을 비롯하여 앞에서 설명한 구성을 포함할 수 있다. Referring to FIG. 9, the hybrid joystick device according to an embodiment includes an upper plate 921, a lower plate 922, a linear actuator 923, a hall sensor unit 924, a force sensor unit 925, and a control unit 926 ). According to an embodiment, the hybrid joystick device may include a base frame, a servo motor 928 and an encoder 929. By receiving the INS sensor data and image information measured by the mobile robot 910, the state of the mobile robot 910 is determined, and accordingly, the servo motor 928 and the linear actuator 923 are controlled to implement feedback. The hybrid joystick device according to an embodiment may include the configuration described above, including FIG. 1.

먼저, 도 1에서 설명한 바와 같이, 상부 플레이트(921)와 소정 간격 이격되어 하부 플레이트(922)가 구성되고, 상부 플레이트(921)와 하부 플레이트(922)를 연결하는 리니어 액추에이터(923)가 구성될 수 있다. 이 때 리니어 액추에이터(923)는 복수 개 구성될 수 있으며, 예컨대 3개 구성될 수 있다. First, as described in FIG. 1, the lower plate 922 is configured to be spaced apart from the upper plate 921 by a predetermined distance, and the linear actuator 923 to connect the upper plate 921 and the lower plate 922 is configured. You can. At this time, a plurality of linear actuators 923 may be configured, for example, three.

홀 센서부(924)는 상부 플레이트(921)의 상단에 구성된 조이스틱과, 조작자가 조이스틱을 조정함에 따라 조향 방향을 감지하는 홀 센서를 포함할 수 있으며, 조작자가 조이스틱을 조정함에 따라 홀 센서를 통해 조작자의 조향 의도를 감지하여 이를 로봇의 방향 제어로 변환할 수 있다. 조이스틱은 조작자의 손이 안착되는 상부 플레이트(921)의 상단에 부착될 수 있다. 그리고 홀 센서는 복수 개 사용될 수 있으며, 예컨대 x-y축으로의 조향 제어를 감지하기 위해 2 개의 홀 센서가 사용될 수 있다. The hall sensor unit 924 may include a joystick configured on the top of the upper plate 921 and a hall sensor that senses a steering direction as the operator adjusts the joystick, and through the hall sensor as the operator adjusts the joystick. The steering intention of the operator can be sensed and converted into the direction control of the robot. The joystick can be attached to the top of the top plate 921 on which the operator's hand rests. In addition, a plurality of Hall sensors may be used, for example, two Hall sensors may be used to sense steering control in the x-y axis.

한편, 이동 로봇(910)의 위치는 컴퓨터 등 모니터(930)에서 모니터링될 수 있으며, 이동 로봇(910)의 비전 센서부를 통해 이미지 등 영상정보를 획득할 수 있다. Meanwhile, the location of the mobile robot 910 may be monitored by a monitor 930 such as a computer, and image information such as an image may be acquired through the vision sensor unit of the mobile robot 910.

힘 센서부(925)는 적어도 하나 이상의 힘 센서로 구성되며, 예컨대 3 개의 힘 센서가 구성될 수 있다. 힘 센서부(925)는 상부 플레이트(921)와 리니어 액추에이터(923)의 연결부에 구성되어 조이스틱에 가해지는 힘에 의해 하측으로 미는 힘을 검출할 수 있다. The force sensor unit 925 is composed of at least one force sensor, and for example, three force sensors may be configured. The force sensor unit 925 is configured at a connection portion between the upper plate 921 and the linear actuator 923 to detect a force pushed downward by a force applied to the joystick.

힘 센서부(925)는 이동 로봇(910)에 부착된 INS(Inertial Navigation System) 센서부가 감지한 경사도(slope) 및 틸트(tilt)의 지형 조건에 각각 대응하는 피치(pitch) 및 롤(roll) 운동을 생성할 수 있다. 이에 따라 리니어 액추에이터(923)는 3개 구성되어, 힘 센서부(925)에서 생성된 피치(pitch) 및 롤(roll) 운동에 따라 상부 플레이트(921)를 기울일 수 있다. The force sensor unit 925 is a pitch and roll corresponding to the terrain conditions of slope and tilt, respectively, detected by the INS (Inertial Navigation System) sensor unit attached to the mobile robot 910. Can generate workouts. Accordingly, three linear actuators 923 may be configured, and the upper plate 921 may be tilted according to a pitch and roll motion generated by the force sensor unit 925.

제어부(926)는 홀 센서부(924)로부터 홀 센서 데이터를 전달 받아 이동 로봇(910)의 방향 명령을 생성하고, 힘 센서부(925)로부터 힘 센서 데이터를 전달 받아 이동 로봇(910)의 속도 명령을 생성하여 이동 로봇(910)을 제어할 수 있다. 이러한 제어부(926)는 MCU(Micro Controller Unit)로 구성될 수 있으며, 예컨대 ARM이 사용될 수 있다. The control unit 926 receives the Hall sensor data from the Hall sensor unit 924, generates a direction command of the mobile robot 910, receives the Force sensor data from the Force sensor unit 925, and the speed of the mobile robot 910. The mobile robot 910 may be controlled by generating a command. The control unit 926 may be configured as a microcontroller unit (MCU), for example, an ARM may be used.

제어부(926)는 상부 플레이트(921)에 가해지는 힘에 임계 값(threshold)을 설정하여, 임계 값 이상인 경우 이동 로봇(910)을 가속시키고 임계 값 이하인 경우 이동 로봇(910)을 감속시키도록 제어할 수 있다. 여기서, 임계 값은 이동 로봇(910)의 구동을 위해 조작자가 상부 플레이트(921)에 손을 올리고 조이스틱을 파지할 때의 무게를 초기 값으로 설정하여 이동 로봇(910)의 기본 속도로 설정하게 되며, 조작자가 이동 로봇(910)을 제어하기 이전에 각각의 조작자에 맞게 조정될 수 있다. The control unit 926 sets a threshold value to the force applied to the upper plate 921 so as to accelerate the mobile robot 910 when the threshold value is higher than the threshold value and decelerate the mobile robot 910 when the threshold value is lower than the threshold value. can do. Here, the threshold value is set to the basic speed of the mobile robot 910 by setting the weight when the operator raises the hand on the upper plate 921 and grips the joystick to drive the mobile robot 910 as the initial value. , Before the operator controls the mobile robot 910, it can be adjusted for each operator.

이동 로봇(910)의 INS 센서부에서 획득한 INS 센서 데이터는 지형의 경사도(slope) 및 틸트(tilt) 조건을 반영하여 리니어 액추에이터(923)를 제어하기 위해 하이브리드 조이스틱 장치의 제어부(926)로 전송될 수 있다. The INS sensor data obtained from the INS sensor unit of the mobile robot 910 is transmitted to the controller 926 of the hybrid joystick device to control the linear actuator 923 by reflecting the slope and tilt conditions of the terrain. Can be.

제어부(926)는 이동 로봇(910)으로부터 주행 중인 지형의 경사도(slope) 및 틸트(tilt) 값을 전달 받아 리니어 액추에이터(923)를 통해 상부 플레이트(921)의 기울기로 피드백하여, 상부 플레이트(921)의 상단에 구성된 조이스틱을 파지하고 있는 조작자에게 피드백할 수 있다. The control unit 926 receives the slope and tilt values of the driving terrain from the mobile robot 910 and feeds them back to the inclination of the upper plate 921 through the linear actuator 923, so that the upper plate 921 ) Can be fed back to the operator holding the joystick configured at the top.

다시 말하면, 리니어 액추에이터(923)의 동작은 경사도(slope) 및 틸트(tilt)의 지형 조건에 각각 대응하는 피치(pitch) 및 롤(roll) 운동을 생성하는 데 사용될 수 있다. 이동 로봇(910)이 경사도(slope) 및 틸트(tilt) 있는 지형을 만날 때 이동 로봇(910)에 부착된 INS 센서부가 경사도(slope) 및 틸트(tilt) 값을 감지하며, 이를 하이브리드 조이스틱 장치로 다시 보내고 조이스틱은 상부 플레이트(921)의 해당 동작에 따라 값을 반영할 수 있다. 따라서 조작자는 상부 플레이트(921)를 통해 경사도(slope) 및 틸트(tilt)를 감지할 수 있으며, 그에 따라 속도를 변경할 수 있다. 예를 들어, 로봇이 경사면에 있을 때 경사도(slope) 피드백에 의해 인식되는 속도가 감소한다. 이에 따라 조작자는 상부 플레이트(921)를 하측으로 밀어서 속도를 증가시킬 수 있다. In other words, the motion of the linear actuator 923 can be used to generate pitch and roll motions corresponding to terrain conditions of slope and tilt, respectively. When the mobile robot 910 encounters a slope and tilted terrain, the INS sensor unit attached to the mobile robot 910 detects the slope and tilt values, and this is a hybrid joystick device. Send again and the joystick can reflect the value according to the corresponding operation of the top plate 921. Therefore, the operator can sense the slope and tilt through the upper plate 921, and can change the speed accordingly. For example, the speed perceived by slope feedback decreases when the robot is on a slope. Accordingly, the operator can increase the speed by pushing the upper plate 921 downward.

또한, PD 제어 알고리즘에 의해 요 각을 제어하는 데 사용된, 실제 롤, 피치 및 요 각들을 측정하기 위해, 추가 INS 센서부(927)가 상부 플레이트(921)의 바닥부에 부착될 수 있다. In addition, an additional INS sensor portion 927 may be attached to the bottom portion of the top plate 921 to measure the actual roll, pitch and yaw angles used to control the yaw angle by the PD control algorithm.

베이스 프레임은 하부 플레이트(922)의 하측에 독립적으로 구성되며, 요(yaw) 운동에 의한 조향 명령의 결과를 반영하는 회전 조인트(revolute joint)가 구성될 수 있다. 이러한 베이스 프레임은 조향 명령이 일치할 때 요 운동은 0이 되어, 조작자가 조향 명령과 요 운동에 의해 생성된 실제 주행 피드백 간의 차이를 인식하도록 할 수 있다. The base frame is independently configured at the lower side of the lower plate 922, and a revolute joint may be configured to reflect the result of the steering command by yaw motion. The base frame can cause the yaw motion to become zero when the steering command coincides, allowing the operator to recognize the difference between the steering command and the actual driving feedback generated by the yaw motion.

또한, 이동 로봇(910)에 부착된 비전 센서부에서 획득한 영상정보를 전달 받아 제공하는 모니터부(930)를 더 포함하여 이루어질 수 있다. 모니터부(930)는 하이브리드 조이스틱 장치에 구성되거나 외부의 컴퓨터 등에 구성되며 하이브리드 조이스틱 장치에 연결되어 이동 로봇(910)의 위치 또는 상태 정보를 영상으로 제공할 수 있다. In addition, it may be made to further include a monitor unit 930 for receiving and providing the image information obtained from the vision sensor unit attached to the mobile robot 910. The monitor unit 930 may be configured in a hybrid joystick device or an external computer, and may be connected to the hybrid joystick device to provide location or status information of the mobile robot 910 as an image.

도 10은 일 실시예에 따른 하이브리드 조이스틱 장치의 동작 방법을 나타내는 흐름도이다. 10 is a flowchart illustrating a method of operating a hybrid joystick device according to an embodiment.

도 10을 참조하면, 일 실시예에 따른 이동 로봇의 원격 제어를 위한 하이브리드 조이스틱 장치의 동작 방법은, 조작자가 상부 플레이트의 상단에 구성된 조이스틱을 조정함에 따라 홀 센서를 통해 조향 방향을 감지하는 단계(S110), 홀 센서로부터 홀 센서 데이터를 전달 받아 이동 로봇의 방향 명령을 생성하여 이동 로봇으로 전달함에 따라 이동 로봇의 방향을 제어하는 단계(S120), 상부 플레이트와 상부 플레이트의 하부에 구성된 리니어 액추에이터의 연결부에 구성되어, 힘 센서를 통해 조이스틱에 가해지는 힘에 의해 하측으로 미는 힘을 검출하는 단계(S130), 및 힘 센서로부터 힘 센서 데이터를 전달 받아 이동 로봇의 속도 명령을 생성하여 이동 로봇으로 전달함에 따라 이동 로봇의 속도를 제어하는 단계(S140)를 포함하여 이루어질 수 있다. Referring to FIG. 10, an operation method of a hybrid joystick device for remote control of a mobile robot according to an embodiment includes detecting a steering direction through a hall sensor as an operator adjusts a joystick configured on the top of the upper plate ( S110), receiving the Hall sensor data from the Hall sensor, generating a direction command of the mobile robot and controlling the direction of the mobile robot as it is transmitted to the mobile robot (S120), of the linear actuator configured in the upper plate and the lower portion of the upper plate It is configured in the connection part, the step of detecting the force pushed downward by the force applied to the joystick through the force sensor (S130), and receives the force sensor data from the force sensor to generate a speed command of the mobile robot and transmits it to the mobile robot It may be made by including the step of controlling the speed of the mobile robot (S140).

또한, 이동 로봇으로부터 주행 중인 지형의 경사도(slope) 및 틸트(tilt) 값을 전달 받아 리니어 액추에이터를 통해 상부 플레이트의 기울기로 피드백하여, 상부 플레이트의 상단에 구성된 조이스틱을 파지하고 있는 조작자에게 피드백하는 단계(S150)를 더 포함할 수 있다. In addition, receiving the slope and tilt values of the terrain being driven from the mobile robot and feeding back to the slope of the top plate through the linear actuator, feedback to the operator holding the joystick configured at the top of the top plate. (S150) may be further included.

그리고 하부 플레이트의 하측에 독립적으로 구성되어, 회전 조인트(revolute joint)를 통해 요(yaw) 운동에 의한 조향 명령의 결과를 반영하는 단계(S160)를 더 포함할 수 있다. And it is configured independently on the lower side of the lower plate, it may further include a step (S160) of reflecting the result of the steering command by yaw (yaw) movement through a revolute joint (revolute joint).

아래에서 일 실시예에 따른 이동 로봇의 원격 제어를 위한 하이브리드 조이스틱 장치의 동작 방법에 대해 보다 구체적으로 설명한다. Hereinafter, a method of operating a hybrid joystick device for remote control of a mobile robot according to an embodiment will be described in more detail.

일 실시예에 따른 이동 로봇의 원격 제어를 위한 하이브리드 조이스틱 장치의 동작 방법은 일 실시예에 따른 이동 로봇의 원격 제어를 위한 하이브리드 조이스틱 장치의 동작 시스템을 이용하여 보다 구체적으로 설명할 수 있다. A method of operating a hybrid joystick device for remote control of a mobile robot according to an embodiment may be described in more detail by using an operation system of a hybrid joystick device for remote control of a mobile robot according to an embodiment.

도 11은 일 실시예에 따른 하이브리드 조이스틱 장치의 동작 시스템을 나타내는 블록도이다. 11 is a block diagram illustrating an operation system of a hybrid joystick device according to an embodiment.

도 11에 도시된 바와 같이, 일 실시예에 따른 이동 로봇의 원격 제어를 위한 하이브리드 조이스틱 장치의 동작 시스템(1100)은 홀 센서부(1110), 방향 제어부(1130), 힘 센서부(1120) 및 속도 제어부(1140)를 포함하여 이루어질 수 있다. 실시예에 따라 이동 로봇의 원격 제어를 위한 하이브리드 조이스틱 장치의 동작 시스템(1100)은 피드백 제어부(1150) 및 편향 각 제어부(1160)를 포함할 수 있다. 또한, 모니터부를 더 포함하거나 외부 모니터와 연결될 수 있다. As shown in FIG. 11, the operation system 1100 of the hybrid joystick device for remote control of a mobile robot according to an embodiment includes a hall sensor unit 1110, a direction control unit 1130, a force sensor unit 1120, and It may be made by including the speed control unit 1140. According to an embodiment, the operation system 1100 of the hybrid joystick device for remote control of the mobile robot may include a feedback control unit 1150 and a deflection angle control unit 1160. In addition, it may further include a monitor unit or may be connected to an external monitor.

단계(S110)에서, 홀 센서부(1110)는 조작자가 상부 플레이트의 상단에 구성된 조이스틱을 조정함에 따라 홀 센서를 통해 조향 방향을 감지할 수 있다. In step S110, the hall sensor unit 1110 may sense the steering direction through the hall sensor as the operator adjusts the joystick configured on the top of the upper plate.

단계(S120)에서, 방향 제어부(1130)는 홀 센서로부터 홀 센서 데이터를 전달 받아 이동 로봇의 방향 명령을 생성하여 이동 로봇으로 전달함에 따라 이동 로봇의 방향을 제어할 수 있다. In step S120, the direction control unit 1130 may receive the hall sensor data from the hall sensor, generate a direction command of the mobile robot, and control the direction of the mobile robot as it is transmitted to the mobile robot.

단계(S130)에서, 힘 센서부(1120)는 상부 플레이트와 상부 플레이트의 하부에 구성된 리니어 액추에이터의 연결부에 구성되어, 힘 센서를 통해 조이스틱에 가해지는 힘에 의해 하측으로 미는 힘을 검출할 수 있다. In step (S130), the force sensor unit 1120 is configured in the connection portion of the upper plate and the linear actuator configured in the lower portion of the upper plate, it is possible to detect the force pushed downward by the force applied to the joystick through the force sensor. .

단계(S140)에서, 속도 제어부(1140)는 힘 센서로부터 힘 센서 데이터를 전달 받아 이동 로봇의 속도 명령을 생성하여 이동 로봇으로 전달함에 따라 이동 로봇의 속도를 제어할 수 있다. 여기서, 속도 제어부(1140)는 상부 플레이트에 가해지는 힘에 임계 값(threshold)을 설정하여, 임계 값 이상인 경우 이동 로봇을 가속시키고 임계 값 이하인 경우 이동 로봇을 감속시키도록 제어할 수 있다. In step S140, the speed control unit 1140 may receive the force sensor data from the force sensor, generate a speed command of the mobile robot, and control the speed of the mobile robot as it is transmitted to the mobile robot. Here, the speed control unit 1140 may set a threshold value to a force applied to the upper plate to accelerate the mobile robot when the threshold value is higher than the threshold value and decelerate the mobile robot when the threshold value is lower than the threshold value.

단계(S150)에서, 피드백 제어부(1150)는 이동 로봇으로부터 주행 중인 지형의 경사도(slope) 및 틸트(tilt) 값을 전달 받아 리니어 액추에이터를 통해 상부 플레이트의 기울기로 피드백하여, 상부 플레이트의 상단에 구성된 조이스틱을 파지하고 있는 조작자에게 피드백할 수 있다. In step (S150), the feedback control unit 1150 receives the slope and tilt values of the terrain being driven from the mobile robot and feeds them back to the slope of the upper plate through the linear actuator, configured at the top of the upper plate Feedback to the operator holding the joystick is possible.

보다 구체적으로, 피드백 제어부(1150)는 힘 센서부(1120)를 이용하여 이동 로봇에 부착된 INS(Inertial Navigation System) 센서부가 감지한 경사도(slope) 및 틸트(tilt)의 지형 조건에 각각 대응하는 피치(pitch) 및 롤(roll) 운동을 생성하고, 3개로 구성된 리니어 액추에이터를 이용하여 힘 센서부(1120)에서 생성된 피치(pitch) 및 롤(roll) 운동에 따라 상부 플레이트를 기울이도록 제어하여 조작자에게 피드백할 수 있다. More specifically, the feedback control unit 1150 uses the force sensor unit 1120 to respectively correspond to the terrain conditions of slope and tilt detected by the INS (Inertial Navigation System) sensor unit attached to the mobile robot. Pitch and roll motion is generated, and the upper plate is controlled to incline according to the pitch and roll motion generated by the force sensor unit 1120 using a linear actuator composed of three parts. Feedback to the operator is possible.

단계(S160)에서, 편향 각 제어부(1160)는 하부 플레이트의 하측에 독립적으로 구성되어, 회전 조인트(revolute joint)를 통해 요(yaw) 운동에 의한 조향 명령의 결과를 반영할 수 있다. In step S160, the deflection angle control unit 1160 is independently configured on the lower side of the lower plate, and may reflect the result of the steering command by yaw movement through a revolute joint.

한편, 이동 로봇에 부착된 비전 센서부에서 획득한 영상정보를 전달 받아 제공하는 모니터부를 더 포함할 수 있다. 모니터부는 하이브리드 조이스틱 장치에 구성되거나 하이브리드 조이스틱 장치에 연결되어 이동 로봇의 위치 또는 상태 정보를 영상으로 제공할 수 있다. On the other hand, it may further include a monitor for receiving and providing the image information obtained from the vision sensor unit attached to the mobile robot. The monitor unit may be configured in a hybrid joystick device or connected to the hybrid joystick device to provide location or status information of the mobile robot as an image.

실시예들은 이동 로봇에 장착된 카메라를 통하여 조작자가 영상정보를 이용하여 하이브리드 조이스틱 장치를 통하여 이동 로봇을 제어하며, 이동 로봇에 장착된 INS 센서를 통하여 이동 로봇의 현재 상태 값, 이동 로봇이 이동하고 있는 지면의 현재 값을 롤(roll), 피치(pitch), 요(yaw) 값을 피드백 받아서 조작자가 제어하는 조이스틱으로 피드백 해줌으로써 조작자가 이동 로봇의 상태 값을 즉각적으로 알 수 있도록 한다. 또한, 피드백되는 값에 따라 이동 로봇의 속도가 제어될 수 있다. In the embodiments, the operator controls the mobile robot through the hybrid joystick device using the image information through the camera mounted on the mobile robot, the current state value of the mobile robot, the mobile robot moves through the INS sensor mounted on the mobile robot, and The current value of the ground is fed back to the joystick controlled by the operator by receiving the roll, pitch, and yaw values, so that the operator can immediately know the state value of the mobile robot. In addition, the speed of the mobile robot can be controlled according to the feedback value.

하이브리드 조이스틱 장치의 상부 플레이트에 장착된 힘 센서를 이용하여 조작자가 하이브리드 조이스틱 장치의 상부 플레이트를 누르는 힘과 상부 플레이트가 이동 로봇의 현재 상태 값을 피드백하기 위하여 움직이는 힘 사이에서 발생하는 힘을 측정하여 이동 로봇의 속도를 제어하고, 조작자는 하이브리드 조이스틱 장치의 상부 플레이트에 장착된 2 자유도 조이스틱을 통하여 이동 로봇의 방향 값만을 제어하도록 할 수 있다. 이를 통하여 이동 로봇의 상태 및 지형에 따른 효과적이고 안정적인 주행을 가능하게 할 수 있다. By using the force sensor mounted on the upper plate of the hybrid joystick device, the operator moves by measuring the force generated between the force of pressing the upper plate of the hybrid joystick device and the moving force of the upper plate to feed back the current state value of the mobile robot. The speed of the robot is controlled, and the operator can control only the direction value of the mobile robot through the two degree of freedom joystick mounted on the upper plate of the hybrid joystick device. Through this, it is possible to enable effective and stable driving according to the state and terrain of the mobile robot.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented with hardware components, software components, and / or combinations of hardware components and software components. For example, the devices and components described in the embodiments include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor (micro signal processor), a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose computers or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may run an operating system (OS) and one or more software applications running on the operating system. In addition, the processing device may access, store, manipulate, process, and generate data in response to the execution of the software. For convenience of understanding, a processing device may be described as one being used, but a person having ordinary skill in the art, the processing device may include a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that may include. For example, a processing device may include a plurality of processors or a processor and a controller. In addition, other processing configurations, such as parallel processors, are possible.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instruction, or a combination of one or more of these, and configure the processing device to operate as desired, or process independently or collectively You can command the device. Software and / or data may be interpreted by a processing device, or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. Can be embodied in The software may be distributed on networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiments or may be known and usable by those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks. -Hardware devices specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by a limited embodiment and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques are performed in a different order than the described method, and / or the components of the described system, structure, device, circuit, etc. are combined or combined in a different form from the described method, or other components Alternatively, even if replaced or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다. Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (20)

이동 로봇의 원격 제어를 위한 하이브리드 조이스틱 장치에 있어서,
상부 플레이트;
상기 상부 플레이트와 소정 간격 이격되어 구성되는 하부 플레이트;
상기 상부 플레이트와 상기 하부 플레이트를 연결하는 리니어 액추에이터;
상기 상부 플레이트의 상단에 구성된 조이스틱과, 조작자가 상기 조이스틱을 조정함에 따라 조향 방향을 감지하는 홀 센서를 포함하는 홀 센서부;
상기 상부 플레이트와 상기 리니어 액추에이터의 연결부에 구성되어 상기 조이스틱에 가해지는 힘에 의해 하측으로 미는 힘을 검출하는 힘 센서부; 및
상기 홀 센서부로부터 홀 센서 데이터를 전달 받아 이동 로봇의 방향 명령을 생성하고, 상기 힘 센서부로부터 힘 센서 데이터를 전달 받아 상기 이동 로봇의 속도 명령을 생성하여 상기 이동 로봇을 제어하는 제어부
를 포함하는, 하이브리드 조이스틱 장치.
In the hybrid joystick device for remote control of a mobile robot,
Top plate;
A lower plate configured to be spaced apart from the upper plate by a predetermined distance;
A linear actuator connecting the upper plate and the lower plate;
A hall sensor unit including a joystick configured at an upper end of the upper plate and a hall sensor detecting a steering direction as the operator adjusts the joystick;
A force sensor unit configured to be connected to the upper plate and the linear actuator to detect a force pushed downward by a force applied to the joystick; And
The control unit for controlling the mobile robot by generating the direction command of the mobile robot by receiving the hall sensor data from the hall sensor unit, and generating the speed command of the mobile robot by receiving the force sensor data from the force sensor unit
Hybrid joystick device comprising a.
제1항에 있어서,
상기 제어부는,
상기 상부 플레이트에 가해지는 힘에 임계 값(threshold)을 설정하여, 상기 임계 값 이상인 경우 상기 이동 로봇을 가속시키고 상기 임계 값 이하인 경우 상기 이동 로봇을 감속시키도록 제어하는 것
을 특징으로 하는, 하이브리드 조이스틱 장치.
According to claim 1,
The control unit,
Setting a threshold to a force applied to the upper plate to accelerate the mobile robot when it is above the threshold and decelerate the mobile robot if it is below the threshold
Characterized by, a hybrid joystick device.
제1항에 있어서,
상기 임계 값은,
상기 이동 로봇의 구동을 위해 상기 조작자가 상기 상부 플레이트에 손을 올리고 상기 조이스틱을 파지할 때의 무게를 초기 값으로 설정하여 상기 이동 로봇의 기본 속도로 설정하게 되며, 상기 조작자가 상기 이동 로봇을 제어하기 이전에 각각의 조작자에 맞게 조정되는 것
을 특징으로 하는, 하이브리드 조이스틱 장치.
According to claim 1,
The threshold value,
In order to drive the mobile robot, the operator raises a hand on the upper plate and sets the weight when gripping the joystick to an initial value to set the basic speed of the mobile robot, and the operator controls the mobile robot Adjusted for each operator prior to
Characterized by, a hybrid joystick device.
제1항에 있어서,
상기 제어부는,
상기 이동 로봇으로부터 주행 중인 지형의 경사도(slope) 및 틸트(tilt) 값을 전달 받아 상기 리니어 액추에이터를 통해 상기 상부 플레이트의 기울기로 피드백하여, 상기 상부 플레이트의 상단에 구성된 상기 조이스틱을 파지하고 있는 조작자에게 피드백하는 것
을 특징으로 하는, 하이브리드 조이스틱 장치.
According to claim 1,
The control unit,
The operator receives the slope and tilt values of the terrain being driven from the mobile robot and feeds them back to the slope of the upper plate through the linear actuator, to an operator holding the joystick configured at the top of the upper plate. Feedback
Characterized by, a hybrid joystick device.
제4항에 있어서,
상기 힘 센서부는,
상기 이동 로봇에 부착된 INS(Inertial Navigation System) 센서부가 감지한 경사도(slope) 및 틸트(tilt)의 지형 조건에 각각 대응하는 피치(pitch) 및 롤(roll) 운동을 생성하고,
상기 리니어 액추에이터는,
3개 구성되어, 상기 힘 센서부에서 생성된 상기 피치(pitch) 및 롤(roll) 운동에 따라 상기 상부 플레이트를 기울이는 것
을 특징으로 하는, 하이브리드 조이스틱 장치.
According to claim 4,
The force sensor unit,
The pitch and roll motions respectively corresponding to the terrain conditions of the slope and tilt detected by the INS (Inertial Navigation System) sensor unit attached to the mobile robot are generated,
The linear actuator,
It is composed of three, tilting the upper plate according to the pitch (pitch) and roll (roll) movement generated by the force sensor unit
Characterized by, a hybrid joystick device.
제1항에 있어서,
상기 하부 플레이트의 하측에 독립적으로 구성되며, 요(yaw) 운동에 의한 조향 명령의 결과를 반영하는 회전 조인트(revolute joint)가 구성되는 베이스 프레임
을 더 포함하는, 하이브리드 조이스틱 장치.
According to claim 1,
The base frame is formed independently on the lower side of the lower plate, and is composed of a revolute joint that reflects the result of the steering command by yaw motion.
Further comprising, a hybrid joystick device.
제6항에 있어서,
상기 베이스 프레임은,
상기 조향 명령이 일치할 때 요 운동은 0이 되어, 상기 조작자가 상기 조향 명령과 상기 요 운동에 의해 생성된 실제 주행 피드백 간의 차이를 인식하도록 하는 것
을 특징으로 하는, 하이브리드 조이스틱 장치.
The method of claim 6,
The base frame,
When the steering command coincides, the yaw motion becomes 0, so that the operator recognizes the difference between the steering command and the actual driving feedback generated by the yaw motion.
Characterized by, a hybrid joystick device.
제1항에 있어서,
상기 이동 로봇에 부착된 비전 센서부에서 획득한 영상정보를 전달 받아 제공하는 모니터부
를 더 포함하고,
상기 모니터부는,
상기 하이브리드 조이스틱 장치에 구성되거나 상기 하이브리드 조이스틱 장치에 연결되어 상기 이동 로봇의 위치 또는 상태 정보를 영상으로 제공하는 것
을 특징으로 하는, 하이브리드 조이스틱 장치.
According to claim 1,
A monitor unit that receives and provides image information obtained from the vision sensor unit attached to the mobile robot
Further comprising,
The monitor unit,
It is configured in the hybrid joystick device or connected to the hybrid joystick device to provide the position or status information of the mobile robot as an image.
Characterized by, a hybrid joystick device.
이동 로봇의 원격 제어를 위한 하이브리드 조이스틱 장치의 동작 시스템에 있어서,
조작자가 상부 플레이트의 상단에 구성된 조이스틱을 조정함에 따라 홀 센서를 통해 조향 방향을 감지하는 홀 센서부;
상기 홀 센서부로부터 홀 센서 데이터를 전달 받아 이동 로봇의 방향 명령을 생성하여 상기 이동 로봇으로 전달함에 따라 이동 로봇의 방향을 제어하는 방향 제어부;
상기 상부 플레이트와 상기 상부 플레이트의 하부에 구성된 리니어 액추에이터의 연결부에 구성되어, 상기 조이스틱에 가해지는 힘에 의해 하측으로 미는 힘을 검출하는 힘 센서부; 및
상기 힘 센서부로부터 힘 센서 데이터를 전달 받아 상기 이동 로봇의 속도 명령을 생성하여 상기 이동 로봇으로 전달함에 따라 이동 로봇의 속도를 제어하는 속도 제어부
를 포함하는, 하이브리드 조이스틱 장치의 동작 시스템.
In the operation system of a hybrid joystick device for remote control of a mobile robot,
A hall sensor unit detecting a steering direction through a hall sensor as the operator adjusts a joystick configured on the top of the upper plate;
A direction control unit controlling the direction of the mobile robot by generating the direction command of the mobile robot by receiving the hall sensor data from the hall sensor unit and transmitting the command to the mobile robot;
A force sensor unit configured to be connected to the upper plate and a linear actuator configured at a lower portion of the upper plate to detect a force pushed downward by a force applied to the joystick; And
A speed controller that receives the force sensor data from the force sensor unit and generates a speed command of the mobile robot to control the speed of the mobile robot as it is transmitted to the mobile robot.
Including, operating system of a hybrid joystick device.
제9항에 있어서,
상기 속도 제어부는,
상기 상부 플레이트에 가해지는 힘에 임계 값(threshold)을 설정하여, 상기 임계 값 이상인 경우 상기 이동 로봇을 가속시키고 상기 임계 값 이하인 경우 상기 이동 로봇을 감속시키도록 제어하는 것
을 특징으로 하는, 하이브리드 조이스틱 장치의 동작 시스템.
The method of claim 9,
The speed control unit,
Setting a threshold to a force applied to the upper plate to accelerate the mobile robot when it is above the threshold and decelerate the mobile robot if it is below the threshold
Characterized in that, the operation system of the hybrid joystick device.
제9항에 있어서,
상기 이동 로봇으로부터 주행 중인 지형의 경사도(slope) 및 틸트(tilt) 값을 전달 받아 상기 리니어 액추에이터를 통해 상기 상부 플레이트의 기울기로 피드백하여, 상기 상부 플레이트의 상단에 구성된 상기 조이스틱을 파지하고 있는 조작자에게 피드백하는 피드백 제어부
를 더 포함하는, 하이브리드 조이스틱 장치의 동작 시스템.
The method of claim 9,
The operator receives the slope and tilt values of the terrain being driven from the mobile robot and feeds them back to the slope of the upper plate through the linear actuator, to an operator holding the joystick configured at the top of the upper plate. Feedback control to feedback
Further comprising, the operating system of the hybrid joystick device.
제11항에 있어서,
상기 피드백 제어부는,
상기 힘 센서부를 이용하여 상기 이동 로봇에 부착된 INS(Inertial Navigation System) 센서부가 감지한 경사도(slope) 및 틸트(tilt)의 지형 조건에 각각 대응하는 피치(pitch) 및 롤(roll) 운동을 생성하고, 3개로 구성된 상기 리니어 액추에이터를 이용하여 상기 힘 센서부에서 생성된 상기 피치(pitch) 및 롤(roll) 운동에 따라 상기 상부 플레이트를 기울이도록 제어하여 상기 조작자에게 피드백하는 것
을 특징으로 하는, 하이브리드 조이스틱 장치의 동작 시스템.
The method of claim 11,
The feedback control unit,
Using the force sensor unit, a pitch and roll motion corresponding to terrain conditions of slope and tilt detected by an INS (Inertial Navigation System) sensor unit attached to the mobile robot is generated. And, using the linear actuator consisting of three controls to tilt the upper plate according to the pitch (pitch) and roll (roll) movement generated by the force sensor unit to feedback to the operator
Characterized in that, the operation system of the hybrid joystick device.
제9항에 있어서,
상기 하부 플레이트의 하측에 독립적으로 구성되어, 회전 조인트(revolute joint)를 통해 요(yaw) 운동에 의한 조향 명령의 결과를 반영하는 편향 각 제어부
를 더 포함하는, 하이브리드 조이스틱 장치의 동작 시스템.
The method of claim 9,
Deflection angle control unit configured independently on the lower side of the lower plate to reflect the result of the steering command by yaw movement through a revolute joint
Further comprising, the operating system of the hybrid joystick device.
제9항에 있어서,
상기 이동 로봇에 부착된 비전 센서부에서 획득한 영상정보를 전달 받아 제공하는 모니터부
를 더 포함하고,
상기 모니터부는,
상기 하이브리드 조이스틱 장치에 구성되거나 상기 하이브리드 조이스틱 장치에 연결되어 상기 이동 로봇의 위치 또는 상태 정보를 영상으로 제공하는 것
을 특징으로 하는, 하이브리드 조이스틱 장치의 동작 시스템.
The method of claim 9,
A monitor unit that receives and provides image information obtained from the vision sensor unit attached to the mobile robot
Further comprising,
The monitor unit,
It is configured in the hybrid joystick device or connected to the hybrid joystick device to provide the position or status information of the mobile robot as an image.
Characterized in that, the operation system of the hybrid joystick device.
이동 로봇의 원격 제어를 위한 하이브리드 조이스틱 장치의 동작 방법에 있어서,
조작자가 상부 플레이트의 상단에 구성된 조이스틱을 조정함에 따라 홀 센서를 통해 조향 방향을 감지하는 단계;
상기 홀 센서로부터 홀 센서 데이터를 전달 받아 이동 로봇의 방향 명령을 생성하여 상기 이동 로봇으로 전달함에 따라 이동 로봇의 방향을 제어하는 단계;
상기 상부 플레이트와 상기 상부 플레이트의 하부에 구성된 리니어 액추에이터의 연결부에 구성되어, 힘 센서를 통해 상기 조이스틱에 가해지는 힘에 의해 하측으로 미는 힘을 검출하는 단계; 및
상기 힘 센서로부터 힘 센서 데이터를 전달 받아 상기 이동 로봇의 속도 명령을 생성하여 상기 이동 로봇으로 전달함에 따라 이동 로봇의 속도를 제어하는 단계
를 포함하는, 하이브리드 조이스틱 장치의 동작 방법.
In the operation method of the hybrid joystick device for remote control of a mobile robot,
Sensing the steering direction through the hall sensor as the operator adjusts the joystick configured at the top of the upper plate;
Controlling the direction of the mobile robot as it receives the hall sensor data from the hall sensor and generates a direction command of the mobile robot and transmits it to the mobile robot;
Comprising a connection portion of the upper plate and the linear actuator configured in the lower portion of the upper plate, detecting a force pushed downward by a force applied to the joystick through a force sensor; And
Controlling the speed of the mobile robot by receiving the force sensor data from the force sensor, generating a speed command of the mobile robot and transmitting it to the mobile robot.
A method of operating a hybrid joystick device comprising a.
제15항에 있어서,
상기 이동 로봇의 속도를 제어하는 단계는,
상기 상부 플레이트에 가해지는 힘에 임계 값(threshold)을 설정하여, 상기 임계 값 이상인 경우 상기 이동 로봇을 가속시키고 상기 임계 값 이하인 경우 상기 이동 로봇을 감속시키도록 제어하는 것
을 특징으로 하는, 하이브리드 조이스틱 장치의 동작 방법.
The method of claim 15,
The step of controlling the speed of the mobile robot,
Setting a threshold to a force applied to the upper plate to accelerate the mobile robot when it is above the threshold and decelerate the mobile robot if it is below the threshold
Characterized in that, the operation method of the hybrid joystick device.
제15항에 있어서,
상기 이동 로봇으로부터 주행 중인 지형의 경사도(slope) 및 틸트(tilt) 값을 전달 받아 상기 리니어 액추에이터를 통해 상기 상부 플레이트의 기울기로 피드백하여, 상기 상부 플레이트의 상단에 구성된 상기 조이스틱을 파지하고 있는 조작자에게 피드백하는 단계
를 더 포함하는, 하이브리드 조이스틱 장치의 동작 방법.
The method of claim 15,
The operator receives the slope and tilt values of the terrain being driven from the mobile robot and feeds them back to the slope of the upper plate through the linear actuator, to an operator holding the joystick configured at the top of the upper plate. Feedback steps
A method of operating a hybrid joystick device further comprising a.
제17항에 있어서,
상기 조작자에게 피드백하는 단계는,
상기 힘 센서를 이용하여 상기 이동 로봇에 부착된 INS(Inertial Navigation System) 센서부가 감지한 경사도(slope) 및 틸트(tilt)의 지형 조건에 각각 대응하는 피치(pitch) 및 롤(roll) 운동을 생성하고, 3개로 구성된 상기 리니어 액추에이터를 이용하여 상기 힘 센서에서 생성된 상기 피치(pitch) 및 롤(roll) 운동에 따라 상기 상부 플레이트를 기울이도록 제어하여 상기 조작자에게 피드백하는 것
을 특징으로 하는, 하이브리드 조이스틱 장치의 동작 방법.
The method of claim 17,
The feedback to the operator,
Using the force sensor, a pitch and roll motion corresponding to terrain conditions of slope and tilt respectively detected by an INS (Inertial Navigation System) sensor unit attached to the mobile robot is generated. And, using the linear actuator consisting of three controls to tilt the upper plate according to the pitch (pitch) and roll (roll) movement generated by the force sensor to feedback to the operator
Characterized in that, the operation method of the hybrid joystick device.
제15항에 있어서,
상기 하부 플레이트의 하측에 독립적으로 구성되어, 회전 조인트(revolute joint)를 통해 요(yaw) 운동에 의한 조향 명령의 결과를 반영하는 단계
를 더 포함하는, 하이브리드 조이스틱 장치의 동작 방법.
The method of claim 15,
Independently configured on the lower side of the lower plate, through a revolute joint (revolute joint) to reflect the result of the steering command by yaw (yaw) motion
A method of operating a hybrid joystick device further comprising a.
제15항에 있어서,
상기 이동 로봇에 부착된 비전 센서부에서 획득한 영상정보를 전달 받아 모니터를 통해 제공하는 단계
를 더 포함하고,
상기 영상정보를 전달 받아 모니터를 통해 제공하는 단계는,
상기 하이브리드 조이스틱 장치에 구성되거나 상기 하이브리드 조이스틱 장치에 연결되어 상기 이동 로봇의 위치 또는 상태 정보를 영상으로 제공하는 것
을 특징으로 하는, 하이브리드 조이스틱 장치의 동작 방법.
The method of claim 15,
Step of receiving image information obtained from the vision sensor attached to the mobile robot and providing it through a monitor
Further comprising,
The step of receiving the video information and providing it through a monitor is
It is configured in the hybrid joystick device or connected to the hybrid joystick device to provide the position or status information of the mobile robot as an image.
Characterized in that, the operation method of the hybrid joystick device.
KR1020180124689A 2018-10-18 2018-10-18 Hybrid joystick apparatus for remote control of mobile robot and operating method and system using thereof KR102159432B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180124689A KR102159432B1 (en) 2018-10-18 2018-10-18 Hybrid joystick apparatus for remote control of mobile robot and operating method and system using thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180124689A KR102159432B1 (en) 2018-10-18 2018-10-18 Hybrid joystick apparatus for remote control of mobile robot and operating method and system using thereof

Publications (2)

Publication Number Publication Date
KR20200043827A true KR20200043827A (en) 2020-04-28
KR102159432B1 KR102159432B1 (en) 2020-09-23

Family

ID=70456200

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180124689A KR102159432B1 (en) 2018-10-18 2018-10-18 Hybrid joystick apparatus for remote control of mobile robot and operating method and system using thereof

Country Status (1)

Country Link
KR (1) KR102159432B1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010086798A (en) * 2000-03-03 2001-09-15 김효근 Haptic joystick with a parallel mechanism for use in virtual reality conversation
KR20040100011A (en) * 2003-05-21 2004-12-02 한국과학기술연구원 Parallel haptic joystick system
KR20060116922A (en) 2005-05-11 2006-11-16 엘지전자 주식회사 Remote controller of roving robot
JP2009090751A (en) * 2007-10-05 2009-04-30 Toyota Motor Corp Steering device, boarding type movable body equipped with steering device, and steering method of movable body
KR20100085621A (en) * 2009-01-21 2010-07-29 한국생산기술연구원 Excavator control unit using 3d.o.f parallel-type haptic device with vibration motor for force feedback
KR101421449B1 (en) * 2013-02-05 2014-07-23 한국생산기술연구원 Haptic device
JP2017144282A (en) * 2011-06-02 2017-08-24 メドロボティクス コーポレイション Robotic system, robotic system user interface, human interface device for controlling robotic system, and method of controlling robotic system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010086798A (en) * 2000-03-03 2001-09-15 김효근 Haptic joystick with a parallel mechanism for use in virtual reality conversation
KR20040100011A (en) * 2003-05-21 2004-12-02 한국과학기술연구원 Parallel haptic joystick system
KR20060116922A (en) 2005-05-11 2006-11-16 엘지전자 주식회사 Remote controller of roving robot
JP2009090751A (en) * 2007-10-05 2009-04-30 Toyota Motor Corp Steering device, boarding type movable body equipped with steering device, and steering method of movable body
KR20100085621A (en) * 2009-01-21 2010-07-29 한국생산기술연구원 Excavator control unit using 3d.o.f parallel-type haptic device with vibration motor for force feedback
JP2017144282A (en) * 2011-06-02 2017-08-24 メドロボティクス コーポレイション Robotic system, robotic system user interface, human interface device for controlling robotic system, and method of controlling robotic system
KR101421449B1 (en) * 2013-02-05 2014-07-23 한국생산기술연구원 Haptic device

Also Published As

Publication number Publication date
KR102159432B1 (en) 2020-09-23

Similar Documents

Publication Publication Date Title
US9002517B2 (en) Telematic interface with directional translation
CN107717981B (en) Control device of mechanical arm and teaching system and method thereof
US8447440B2 (en) Autonomous behaviors for a remote vehicle
US8918215B2 (en) Telematic interface with control signal scaling based on force sensor feedback
US9592608B1 (en) Methods and systems for providing feedback during teach mode
KR101947825B1 (en) Robot and method for operating a robot
US9073211B2 (en) Control system and teaching method for seven-axis articulated robot
US9300430B2 (en) Latency smoothing for teleoperation systems
US9969086B1 (en) Achieving a target gait in a legged robot based on steering commands
TWI651175B (en) Control device of robot arm and teaching system and method using the same
JP2012125918A (en) Haptic interface handle with force-indicating trigger mechanism
US11059532B1 (en) Control of robotic devices with non-constant body pitch
KR101436555B1 (en) Internet based Teleoperation System of UAV
JP2012166315A (en) Robot
CN114502335A (en) Method and system for trajectory optimization of a non-linear robotic system with geometric constraints
Ryu et al. Multi-modal user interface for teleoperation of ROBHAZ-DT2 field robot system
Mariappan et al. A navigation methodology of an holonomic mobile robot using optical tracking device (OTD)
KR102159432B1 (en) Hybrid joystick apparatus for remote control of mobile robot and operating method and system using thereof
US10232519B2 (en) Robot and method of controlling the same
Jung et al. Motion planning algorithms of an omni-directional mobile robot with active caster wheels
Xu et al. Passive bilateral teleoperation of a car-like mobile robot
US20220009101A1 (en) Control device, control method, and non-transitory recording medium
US20190265698A1 (en) Systems and methods for tele-present recovery of self-driving vehicles
JP2009107035A (en) Method for operating legged movable body, and legged movable body
Lo et al. Co-operative control of Internet based multi-robot systems with force reflection

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant