KR102085751B1

KR102085751B1 - Remote control method for Robot manipulator using distance measurement and robot thereof

Info

Publication number: KR102085751B1
Application number: KR1020180018761A
Authority: KR
Inventors: 이상룡; 박태문; 이학
Original assignee: 경북대학교 산학협력단
Priority date: 2018-02-14
Filing date: 2018-02-14
Publication date: 2020-04-29
Also published as: KR20190098612A

Abstract

본 발명에 따르는 거리측정을 이용한 로봇 매니퓰레이터의 원격조종방법은, 로봇이, 외부로부터 로봇 매니퓰레이터의 원격조종정보가 제공되는지를 체크하는 단계; 상기 원격조종정보가 제공되면, 가공물과의 이격거리를 검출하는 단계; 및 상기 가공물과의 이격거리가 미리 정해둔 제1거리 이하이면, 상기 로봇 매니퓰레이터의 구동속도를 미리 정해둔 속도로 변경하면서 상기 로봇 매니퓰레이터를 상기 원격조종정보에 따라 구동하는 단계;를 구비하며, 상기 원격조종정보에는 로봇 매니퓰레이터의 구동속도 및 동작정보를 포함하는 것을 특징으로 한다. A method of remotely controlling a robot manipulator using distance measurement according to the present invention includes: a step in which a robot checks whether remote control information of a robot manipulator is provided from the outside; If the remote control information is provided, detecting a separation distance from the workpiece; And if the separation distance from the workpiece is equal to or less than a predetermined first distance, driving the robot manipulator according to the remote control information while changing the driving speed of the robot manipulator to a predetermined speed. The remote control information is characterized by including the driving speed and operation information of the robot manipulator.

Description

Remote control method for robot manipulator using distance measurement and robot thereof

본 발명은 로봇 매니플레이터 제어기술에 관한 것으로, 더욱 상세하게는 사용자가 로봇이 촬상한 촬상정보를 토대로 로봇 암인 로봇 매니퓰레이터를 원격 조종하는 로봇이 로봇 매니퓰레이터의 구동속도를 장애물에 따라 자동으로 변경하여 촬상시의 사각지대가 존재하거나 사용자의 조작 미숙 또는 실수 등이 발생하더라도 로봇이 워크 스페이스에서 안정적으로 작업할 수 있게 하는 거리측정을 이용한 로봇 매니퓰레이터의 원격조종방법 및 그에 따른 로봇에 관한 것이다. The present invention relates to a robot manipulator control technology, and more specifically, a robot that remotely controls a robot manipulator, which is a robot arm, based on imaging information captured by a robot, automatically changes the driving speed of the robot manipulator according to an obstacle. The present invention relates to a remote control method of a robot manipulator using a distance measurement that enables a robot to stably work in a workspace even when a blind spot at the time of imaging exists or a user's manipulation is incomplete or a mistake, and the related robot.

최근 과학 기술의 발달로 로봇이 여러 분야에서 사용되고 있다. 가정에서 청소에 사용되는 로봇부터 깊은 바닷속을 조사하는 로봇까지 다양한 분야에서 사용되고 있으며, 청소, 구조, 조사, 군사목적 등 여러가지 목적으로 사용되고 있다.Recently, with the development of science and technology, robots are used in various fields. It is used in various fields, from robots used for cleaning at home to robots examining deep water, and is used for various purposes such as cleaning, rescue, investigation, and military purposes.

또한 상기한 로봇은 사람이 직접 작업하기 힘든 산업 현장, 핵 발전소, 전장, 수중 등과 같은 위험한 환경에서 유용하게 사용된다. 이러한 환경에서는 로봇이 자율적으로 동작하기보다는 조작자에 의해 직접 조정되며, 이는 자율 주행의 기술적인 한계에 따른다. In addition, the aforementioned robot is useful in dangerous environments such as industrial sites, nuclear power plants, battlefields, and underwater, which are difficult for humans to directly work with. In this environment, the robot is directly controlled by the operator rather than operating autonomously, which is subject to the technical limitations of autonomous driving.

이와 같이 산업용 로봇 등 로봇의 무인화가 활발히 이루어지고 있으며, 사람을 대신하여 작업을 수행할 수 있는 로봇에 대한 많은 연구가 진행중이다. 그러나 작업 환경의 불확실성 또는 복잡하고 다양한 작업에 대한 한계성 때문에 로봇의 원격조종을 통한 작업 수행이 여전히 활발히 진행되고 있다. As described above, unmanned robots such as industrial robots are actively being performed, and many studies are being conducted on robots capable of performing tasks on behalf of people. However, due to the uncertainty of the working environment or the limitations of complex and diverse tasks, the task execution through the remote control of the robot is still active.

이러한 기술로는 대한민국 특허청에 이동로봇 원격조종 시스템 및 방법을 명칭으로 하여 특허등록된 제10-1536415호가 있으며, 이는 사용자로부터 동작 명령을 입력받고, 이동로봇 장치가 장애물을 피하며 이동 가능한 범위인 가이드 서클을 정의하여 상기 동작 명령을 상기 가이드 서클에 따른 속도 명령으로 수정하여 제공하는 리모트 오퍼레이터; 및 주변을 촬영하고 장애물을 감지하며, 촬영된 영상 및 감지된 장애물의 위치를 상기 리모트 오퍼레이터로 송신하고, 상기 리모트 오퍼레이터로부터 수정된 속도 명령을 수신하여 제어되는 이동로봇 장치를 포함하되, 상기 리모트 오퍼레이터는 상기 가이드 서클을 초기 가이드 서클로부터 확장된 가이드 서클인 확장된 가이드 서클로 정의하고, 상기 확장된 가이드 서클의 범위에 따라 상기 이동로봇 장치에 수정된 속도 명령을 송신하는 것을 특징으로 한다. Such technology has a patent registration No. 10-1536415 registered as a mobile robot remote control system and method in the name of the Korean Intellectual Property Office, which is a range that allows the mobile robot device to avoid obstacles and move, A remote operator defining a circle and modifying and providing the operation command with a speed command according to the guide circle; And a mobile robot device that photographs the surroundings, detects an obstacle, transmits the photographed image and the position of the detected obstacle to the remote operator, and is controlled by receiving a modified speed command from the remote operator. Is characterized by defining the guide circle as an extended guide circle that is an extended guide circle from an initial guide circle, and transmitting a modified speed command to the mobile robot device according to the range of the extended guide circle.

그리고 대한민국 특허청에 랩어라운드 영상을 이용한 로봇 원격조정을 위한 방법 및 이를 위한 장치를 명칭으로 하여 특허등록된 제10-1305947호가 있으며, 이는 로봇 자신을 기준으로 상기 로봇을 중심으로 사방을 평면도와 같이 나타내는 랩어라운드 영상을 생성하고, 상기 랩어라운드 영상에서 로봇 자신의 위치한 영역이 아닌 영역을 장애물 영역으로 표시하며, 장애물 영역이 표시된 랩어라운드 영상을 전송하는 상기 로봇; 및 상기 장애물 영역이 표시된 랩어라운드 영상을 화면으로 표시하고, 표시된 랩어라운드 영상에 따라 로봇의 위치 이동을 위한 입력이 있으면, 상기 입력에 따라 로봇이 이동하도록 제어하는 제어 신호를 상기 로봇에 전송하는 단말;을 포함하는 것을 특징으로 하는 로봇을 원격으로 제어하기 위한 장치를 개시하고 있다. In addition, there is a patent registration No. 10-1305947 for the method of remote control of a robot using a wrap-around image and a device therefor in the Korean Intellectual Property Office, which shows the four sides of the robot as a plan view based on the robot itself. A robot that generates a wraparound image, displays an area other than the robot's own location in the wraparound image as an obstacle area, and transmits a wraparound image in which the obstacle area is displayed; And a terminal that displays a wraparound image in which the obstacle area is displayed on a screen, and if there is an input for moving a robot according to the displayed wraparound image, transmits a control signal that controls the robot to move according to the input to the robot. It discloses a device for remotely controlling a robot, characterized in that it comprises a.

상기한 종래의 로봇의 원격조종 기술은 로봇이 촬상한 촬상정보를 토대로 로봇 암인 로봇 매니퓰레이터를 원격 조종하는 경우에는 촬상정보에 사각지대가 존재하고 사용자의 조작 미숙 또는 실수 등이 발생하는 경우에 로봇이 워크 스페이스에서 안정적으로 작업할 수 없는 문제가 있었다. In the remote control technology of the conventional robot, when the robot manipulator, which is a robot arm, is remotely controlled based on the imaging information captured by the robot, a blind spot is present in the imaging information and the robot is operated in the event of inexperience or mistakes by the user. There was a problem that could not work stably in the workspace.

대한민국 특허등록 제10-1536415호Republic of Korea Patent Registration No. 10-1536415 대한민국 특허등록 제10-1305947호Republic of Korea Patent Registration No. 10-1305947

본 발명은 사용자가 로봇이 촬상한 촬상정보를 토대로 로봇 암인 로봇 매니퓰레이터를 원격 조종하는 로봇이 로봇 매니퓰레이터의 구동속도를 가공물 또는 장애물에 따라 자동으로 변경하여 촬상시의 사각지대가 존재하거나 사용자의 조작 미숙 또는 실수 등이 발생하더라도 로봇이 워크 스페이스에서 안정적으로 작업할 수 있게 하는 거리측정을 이용한 로봇 매니퓰레이터의 원격조종방법 및 그에 따른 로봇을 제공하는 것을 그 목적으로 한다. According to the present invention, a robot that remotely controls a robot manipulator, which is a robot arm, based on imaging information captured by a robot, automatically changes the driving speed of the robot manipulator according to a workpiece or an obstacle, so that a blind spot at the time of imaging exists or the user is inexperienced. Another object of the present invention is to provide a robot manipulator remote control method using a distance measurement that enables a robot to stably work in a work space even if a mistake occurs, and a robot according thereto.

상기한 목적을 달성하기 위한 본 발명에 따르는 거리측정을 이용한 로봇 매니퓰레이터의 원격조종방법은, 로봇이, 외부로부터 로봇 매니퓰레이터의 원격조종정보가 제공되는지를 체크하는 단계; 상기 원격조종정보가 제공되면, 가공물 또는 장애물과의 이격거리를 검출하는 단계; 상기 가공물 또는 장애물과의 이격거리가 미리 정해둔 제1거리 이하이면, 상기 로봇 매니퓰레이터의 구동속도를 미리 정해둔 속도로 변경하면서 상기 로봇 매니퓰레이터를 상기 원격조종정보에 따라 구동하는 단계;를 구비하며, 상기 원격조종정보에는 로봇 매니퓰레이터의 구동속도 및 동작정보를 포함하는 것을 특징으로 한다. A method of remotely controlling a robot manipulator using a distance measurement according to the present invention for achieving the above object includes: a robot checking whether remote control information of the robot manipulator is provided from the outside; If the remote control information is provided, detecting a separation distance from a workpiece or an obstacle; If the separation distance from the workpiece or obstacle is less than a predetermined first distance, driving the robot manipulator according to the remote control information while changing the driving speed of the robot manipulator to a predetermined speed; The remote control information may include driving speed and operation information of a robot manipulator.

상기한 본 발명은 사용자가 로봇이 촬상한 촬상정보를 토대로 로봇 암인 로봇 매니퓰레이터를 원격 조종하는 로봇이 로봇 매니퓰레이터의 구동속도를 가공물 또는 장애물에 따라 자동으로 변경하여 촬상시의 사각지대가 존재하거나 사용자의 조작 미숙 또는 실수 등이 발생하더라도 로봇이 워크 스페이스에서 안정적으로 작업할 수 있게 하는 효과를 야기한다. According to the present invention, a robot that remotely controls a robot manipulator, which is a robot arm, automatically changes a driving speed of a robot manipulator according to a work piece or an obstacle based on the imaging information captured by the robot, so that a blind spot at the time of imaging exists or the user Even if an inexperienced operation or a mistake occurs, it causes an effect that the robot can stably work in the workspace.

도 1은 본 발명의 바람직한 실시예에 따르는 거리측정을 이용한 로봇 매니퓰레이터의 원격조종 시스템의 구성도.
도 2는 도 1의 원격조종부의 구성도.
도 3은 도 1의 로봇의 구성도.
도 4는 본 발명의 바람직한 실시예에 따르는 거리 측정을 이용한 로봇 매니퓰레이터의 원격조종방법의 흐름도. 1 is a configuration diagram of a remote control system of a robot manipulator using a distance measurement according to a preferred embodiment of the present invention.
2 is a configuration diagram of the remote control unit of FIG. 1;
Figure 3 is a block diagram of the robot of Figure 1;
Figure 4 is a flow chart of a remote control method of a robot manipulator using distance measurement according to a preferred embodiment of the present invention.

본 발명은 사용자가 로봇이 촬상한 촬상정보를 토대로 로봇 암인 로봇 매니퓰레이터를 원격 조종하는 로봇이 로봇 매니퓰레이터의 구동속도를 장애물에 따라 자동으로 변경하여 촬상시의 사각지대가 존재하거나 사용자의 조작 미숙 또는 실수 등이 발생하더라도 로봇이 워크 스페이스에서 안정적으로 작업할 수 있게 한다. According to the present invention, a robot that remotely controls a robot manipulator, which is a robot arm, based on imaging information captured by a robot, automatically changes the driving speed of the robot manipulator according to an obstacle, so that a blind spot at the time of imaging exists or user manipulation is incomplete or mistaken. Even if a back occurs, the robot can work stably in the workspace.

<거리측정을 이용한 로봇 매니퓰레이터의 원격조종 시스템의 구성><Configuration of remote control system for robot manipulator using distance measurement>

상기한 본 발명에 따르는 거리측정을 이용한 로봇 매니퓰레이터의 원격조종 시스템의 구성을 도 1을 참조하여 설명한다. The configuration of the remote control system of the robot manipulator using distance measurement according to the present invention will be described with reference to FIG. 1.

상기 로봇 매니퓰레이터의 원격조종 시스템은 원격조종부(100)와 다수의 로봇(1021~102N)으로 구성된다. 상기 원격조종부(100)는 상기 다수의 로봇(1021~102N) 중 하나 또는 그 이상에 대한 모니터링 정보를 제공받아 뷰잉하여 사용자에게 안내하고, 사용자로부터 제공되는 원격조종정보를 상기 다수의 로봇(1021~102N) 중 하나 또는 그 이상으로 전송한다. 상기 원격조종정보에는 로봇 매니퓰레이터의 구동속도 및 로봇 매니퓰레이터의 동작정보 등이 포함된다.The remote control system of the robot manipulator is composed of a remote control unit 100 and a plurality of robots (1021 ~ 102N). The remote control unit 100 receives monitoring information for one or more of the plurality of robots 1021 to 102N, views and guides the user, and remote control information provided by the user from the plurality of robots 1021 ~ 102N). The remote control information includes a driving speed of the robot manipulator and operation information of the robot manipulator.

특히, 본 발명은 가공물 또는 주변 장애물과의 거리를 측정하고, 측정된 거리에 따른 모드변환이 이루어지게 된다. 사용자가 원격 조정에서 원격조종부(100)의 움직임에 따라 로봇 매니퓰레이터가 동작하게 되는데, 대부분의 원격조종부(100)는 로봇 매니퓰레이터보다 작은 작업공간(workspace)을 가지게 된다. 또한, 일반적으로 원격조종부(100)로 로봇 매니퓰레이터를 조종하게 되면 특정한 비율로 움직이게 되는데, 예를 들어 마스터 암(원격조종부); 슬레이브 암(매니퓰레이터)= 1:1의 조종 비율로 로봇 매니퓰레이터를 조종할 경우 대부분의 마스터 암은 슬레이브 암에 비해 작은 작업공간(가용범위)를 가지게 된다. 또한, 로봇 매니퓰레이터의 작동 범위를 고려하여 마스터 암에 비해 슬레이브 암의 움직임을 크게 하면 슬레이브 암(로봇 매니퓰레이터)의 작업공간은 넓어지게 되나, 로봇 매니플레이터의 정밀한 조종이 어렵게 된다. In particular, the present invention measures the distance from the workpiece or surrounding obstacles, and mode conversion is performed according to the measured distance. The robot manipulator operates according to the movement of the remote control unit 100 by the user in remote control, and most of the remote control units 100 have a smaller workspace than the robot manipulator. In addition, in general, when the robot manipulator is controlled by the remote control unit 100, it moves at a specific rate, for example, a master arm (remote control unit); Slave arm (manipulator) = When manipulating a robot manipulator with a 1: 1 control ratio, most master arms have a smaller working space (available range) than the slave arm. In addition, considering the operating range of the robot manipulator and increasing the movement of the slave arm compared to the master arm, the working space of the slave arm (robot manipulator) is widened, but precise manipulation of the robot manipulator becomes difficult.

따라서, 로봇 매니퓰레이터 움직임에서 스테레오 촬상장치(비젼 시스템)이나 레이저 센서를 통해 거리가 측정되고, 그 거리에 따라 총 3가지 모드로 모드 변환이 이루어지는데, 이를 살펴보면 다음과 같다.Therefore, in the robot manipulator movement, the distance is measured through a stereo imaging device (vision system) or a laser sensor, and mode conversion is performed in a total of three modes according to the distance.

먼저, 상기 다수의 로봇(1021~102N) 각각은 상기 원격조종부(100)의 요청에 따라 스테레오 촬상장치 및 레이저 센서를 통해 획득된 주변 환경 정보에 자신의 식별정보를 부가하여 모니터링 정보를 생성하고, 상기 모니터링 정보를 상기 원격조종부(100)에 제공한다. 이 모니터링 정보는 원격조종을 수행하는 사용자에게 로봇의 주변환경을 안내하기 위한 것이다. First, each of the plurality of robots 1021 to 102N generates monitoring information by adding its own identification information to surrounding environment information obtained through a stereo imaging device and a laser sensor at the request of the remote controller 100 and , Provide the monitoring information to the remote control unit 100. This monitoring information is for guiding the environment of the robot to the user who performs remote control.

상기 다수의 로봇(1021~102N) 각각은 상기 원격조종부(100)가 제공하는 원격조종정보에 따라 로봇 매니퓰레이터를 구동한다. Each of the plurality of robots 1021 to 102N drives a robot manipulator according to remote control information provided by the remote control unit 100.

특히 상기 다수의 로봇(1021~102N) 각각은 본 발명의 바람직한 실시예에 따라 원격조종이 요청되면, 가공물 또는 장애물과의 미리 정해둔 제1거리 이하이면, 가공물 또는 장애물이 위치한 방향에 대한 로봇 매니퓰레이터의 구동속도를 자동으로 변경하면서 로봇 매니퓰레이터를 원격조종정보에 따라 구동한다. 즉, 원격 조정부(100)와 로봇 매니플레이터의 조종 비율을 달리하는 1:n의 색인 모드(index mode)에 해당된다. 여기서, 1:n은 마스터 암(원격조종부)의 허용 작동(궤적) 범위와 슬레이브 암(로봇 매니퓰레이터)의 허용 작동(궤적) 범위의 비를 나타내며, 이는 원격조종부가 1만큼 움직였을 때, 조종이 되는 로봇 매니퓰레이터는 조종기*n의 비율로 움직이게 된다. 예를 들어, 원격조종부의 허용 각도범위가 120도이고 로봇 매니퓰레이터의 허용각도범위가 360도이면 1:3의 색인모드가 해당된다. 이러한 색인 모드에서는 마스터 암(원격 조종부)을 조금만 움직여도 슬레이브 암(로봇 매니플레이터)는 큰 범위로 움직일 수 있으며, 따라서 상대적으로 빠른 움직임을 가지게 되지만 정밀도가 떨어지게 된다. In particular, if the remote control is requested according to a preferred embodiment of the present invention, each of the plurality of robots 1021 to 102N is a robot manipulator for the direction in which the workpiece or obstacle is located, provided that it is less than a predetermined first distance from the workpiece or obstacle. The robot manipulator is operated in accordance with the remote control information while automatically changing the driving speed of. That is, it corresponds to an index mode of 1: n in which the control ratio of the remote control unit 100 and the robot manipulator is different. Here, 1: n represents the ratio of the allowable operation (trajectory) range of the master arm (remote control section) and the allowable operation (trajectory) range of the slave arm (robot manipulator), which means that when the remote control section is moved by 1, The robot manipulator will move at a ratio of the remote controller * n. For example, if the allowable angle range of the remote controller is 120 degrees and the allowable angle range of the robot manipulator is 360 degrees, an index mode of 1: 3 is applicable. In this index mode, even a slight movement of the master arm (remote control) allows the slave arm (robot manipulator) to move in a large range, and thus has relatively fast movement, but loses precision.

또한, 상기 색인 모드 변환 이후에, 상기 다수의 로봇(1021~102N) 각각은 본 발명의 바람직한 실시예에 따라 원격조종이 요청되면, 가공물 또는 장애물과의 거리가 미리 정해둔 제2거리와 비교하여, 상기 제2 거리를 초과하면 정밀 모드로 변환하고, 상기 제2 거리 이하이면 안정 모드로 변환된다. 여기서, 상기 제2 거리는 목표지점(가공물 또는 장애물)에 거의 도달하는 거리값으로 설정될 수 있으며, 제1 거리 설정값 보다 작고 상기 제1 거리 설정값의 범위내에서 설정된다. 또한, 제2 거리는 가공물의 경우에는 매니퓰레이터의 엔드이펙터(로봇의 말단 + 툴의 길이)에서 목표지점(가공물)까지의 거리값에 해당되고, 장애물의 경우에는 매니퓰레이터의 끝단(로봇의 말단)에서 목표지점(장애물)까지의 거리값에 해당된다.In addition, after the index mode conversion, each of the plurality of robots (1021 ~ 102N), when a remote control is requested according to a preferred embodiment of the present invention, compared with the predetermined distance to the workpiece or obstacle distance , If it exceeds the second distance, it is converted into a precision mode, and if it is less than the second distance, it is converted into a stable mode. Here, the second distance may be set as a distance value almost reaching the target point (workpiece or obstacle), smaller than the first distance set value, and set within the range of the first distance set value. In addition, the second distance corresponds to the distance value from the end effector (the end of the robot + the length of the tool) of the manipulator in the case of a workpiece, and in the case of an obstacle, the end at the end of the manipulator (the end of the robot). It corresponds to the distance to the point (obstacle).

상기 정밀 모드에서는 로봇 매니퓰레이터의 움직임은 조종비율 1: 1~0.5로 설정되어, 마스터 암: 슬레이브 암의 비율의 조종비율이 작아지면서 로봇의 정밀한 조작이 가능하게 된다.In the precision mode, the movement of the robot manipulator is set to a control ratio of 1: 1 to 0.5, so that the control ratio of the master arm: slave arm ratio becomes small, thereby enabling precise manipulation of the robot.

한편, 안정 모드에서는 마스터 암의 조작에도 불구하고 로봇 매니퓰레이터가 움직이지 않게 되므로, 로봇 매니퓰레이터의 충돌을 방지하고 안정적인 조종이 가능하게 한다. 이를 통해, 기존 원격 조종의 경우에는 영상정보만을 이용하므로 로봇 매니퓰레이터의 조종시 부족한 정보로 충돌이 발생할 수 있으나, 본 발명에서는 안정 모드로 충돌을 미연에 방지할 수 있다.On the other hand, in the stable mode, the robot manipulator does not move in spite of the operation of the master arm, thus preventing collision of the robot manipulator and enabling stable maneuvering. Through this, in the case of the existing remote control, since only the image information is used, a collision may occur due to insufficient information when controlling the robot manipulator, but in the present invention, the collision can be prevented in a stable mode.

또한, 제1 거리 또는 제2 거리는 로봇 매니퓰레이터의 속도에 따라 가변이 가능하다.Also, the first distance or the second distance can be varied according to the speed of the robot manipulator.

<원격조종부의 구성><Configuration of remote control unit>

상기한 본 발명의 바람직한 실시예에 따르는 원격조종부(100)의 구성 및 동작을 도 2를 참조하여 상세히 설명한다. The configuration and operation of the remote control unit 100 according to the preferred embodiment of the present invention will be described in detail with reference to FIG. 2.

상기 원격조종부(100)는 제어장치(200)와, 메모리부(202)와, 사용자 인터페이스(204)와, 통신부(206)와, 디스플레이부(208)로 구성된다. 상기 제어장치(200)는 상기 원격조종부(100)를 전반적으로 제어함은 물론이고, 본 발명의 바람직한 실시예에 따라 다수의 로봇(1021~102N) 중 하나 또는 그 이상에 대한 모니터링 정보를 제공받아 디스플레이부(208)를 통해 뷰잉하여 사용자에게 안내하고, 사용자 인터페이스부(204)를 통한 사용자 입력에 따른 원격조종정보를 상기 다수의 로봇(1021~102N) 중 하나 또는 그 이상으로 전송한다. 상기 원격조종정보에는 로봇 매니퓰레이터의 구동속도 및 동작정보가 포함된다. The remote control unit 100 includes a control device 200, a memory unit 202, a user interface 204, a communication unit 206, and a display unit 208. The control device 200 not only controls the remote control unit 100 as a whole, but also provides monitoring information for one or more of the plurality of robots 1021 to 102N according to a preferred embodiment of the present invention. Receive and view through the display unit 208 to guide the user, and transmit remote control information according to a user input through the user interface unit 204 to one or more of the plurality of robots 1021 to 102N. The remote control information includes driving speed and operation information of the robot manipulator.

상기 메모리부(202)는 상기 제어장치(200)의 제어 프로그램을 포함하는 다양한 정보를 저장한다. The memory unit 202 stores various information including a control program of the control device 200.

상기 사용자 인터페이스부(204)는 사용자로부터의 각종 명령 및 정보를 입력받아 상기 제어장치(200)로 제공한다. The user interface unit 204 receives various commands and information from the user and provides them to the control device 200.

상기 통신부(206)는 상기 다수의 로봇(1021~102N)과 상기 제어장치(200) 사이의 통신을 담당한다. The communication unit 206 is in charge of communication between the plurality of robots 1021-102N and the control device 200.

상기 디스플레이부(208)는 상기 제어장치(200)의 제어에 따른 화면을 뷰잉하여 사용자에게 제공한다. The display unit 208 views a screen under the control of the control device 200 and provides it to a user.

<로봇의 구성><Robot Configuration>

상기한 본 발명의 바람직한 실시예에 따르는 다수의 로봇(1021~102N)의 구성 및 동작은 동일하므로, 이하 어느 한 로봇의 구성 및 동작을 도 3을 참조하여 상세하게 설명한다. Since the configuration and operation of the plurality of robots 1021 to 102N according to the preferred embodiment of the present invention are the same, the configuration and operation of any one robot will be described in detail below with reference to FIG. 3.

상기 로봇은 제어장치(300)와, 메모리부(302)와, 통신부(304)와, 레이저 센서(312)와, 스테레오 촬상장치(306)와, 기구구동부(308)와, 로봇 매니퓰레이터(310)로 구성된다. The robot includes a control device 300, a memory unit 302, a communication unit 304, a laser sensor 312, a stereo imaging device 306, a mechanism driving unit 308, and a robot manipulator 310. It consists of.

상기 제어장치(300)는 상기 로봇을 전반적으로 제어함은 물론이며 본 발명에 따라 원격조종부(100)의 요청에 따라 스테레오 촬상장치(306) 및 레이저 센서(312)를 통해 획득된 주변 환경 정보에 자신의 식별정보를 부가하여 모니터링 정보를 생성하고, 상기 모니터링 정보를 상기 원격조종부(100)에 제공한다. 상기 주변 환경 정보는 스테레오 촬상장치(306)로부터 획득된 촬상정보와 상기 레이저 센서(312)로부터 획득된 주변사물과의 거리정보 등이 포함된다. The control device 300 controls the robot as a whole, as well as surrounding environment information obtained through the stereo imaging device 306 and the laser sensor 312 at the request of the remote control unit 100 according to the present invention. It generates monitoring information by adding its own identification information to the, and provides the monitoring information to the remote control unit 100. The surrounding environment information includes distance information between the imaging information obtained from the stereo imaging device 306 and surrounding objects obtained from the laser sensor 312.

또한 상기 제어장치(300)는 상기 원격조종부(100)가 제공하는 원격조종정보에 따라 기구구동부(308)를 제어하여 로봇 매니퓰레이터(310)를 구동한다. 특히 상기 제어장치(300)는 가공물 사이의 거리를 측정하여, 가공물과의 거리가 미리 정해둔 제1거리 이하이면 가공물이 위치한 방향에 대한 로봇 매니퓰레이터의 구동속도를 자동으로 변경하여 구동한다. 상기 가공물이 위치한 방향에 대한 구동속도는 로봇 매니퓰레이터(310)의 안정적인 동작을 위해 가공물과의 이격거리별로 상이하게 설정될 수 있으며, 이를 위해 이격거리별 구동속도가 매칭된 테이블이 메모리부(302)에 미리 저장된다. 여기서, 상기 구동속도는 가공물과의 이격거리가 짧아질수록 늦어지게 결정된다. In addition, the control device 300 controls the mechanism driving unit 308 according to the remote control information provided by the remote control unit 100 to drive the robot manipulator 310. In particular, the control device 300 measures the distance between the workpieces, and if the distance to the workpieces is less than or equal to a predetermined first distance, the driving speed of the robot manipulator for the direction in which the workpieces are located is automatically changed and driven. The driving speed for the direction in which the workpiece is located may be set differently for each stable distance from the workpiece for stable operation of the robot manipulator 310, and for this purpose, a table in which the driving speed for each separation distance is matched is the memory unit 302. It is stored in advance. Here, the driving speed is determined to be slower as the separation distance from the workpiece becomes shorter.

이후 상기 제어장치(300)는 장애물 사이의 거리를 측정하여, 장애물과의 거리가 미리 정해둔 제1거리 이하이면 장애물이 위치한 방향에 대한 로봇 매니퓰레이터의 구동속도를 자동으로 변경하여 구동한다. 상기 장애물이 위치한 방향에 대한 구동속도는 로봇 매니퓰레이터(310)의 안정적인 동작을 위해 장애물과의 이격거리별로 상이하게 설정될 수 있으며, 이를 위해 이격거리별 구동속도가 매칭된 테이블이 메모리부(302)에 미리 저장된다. 여기서, 상기 구동속도는 장애물과의 이격거리가 짧아질수록 늦어지게 결정된다. Thereafter, the control device 300 measures the distance between the obstacles, and if the distance to the obstacle is equal to or less than a predetermined first distance, automatically changes the driving speed of the robot manipulator with respect to the direction in which the obstacle is located to drive. The driving speed for the direction in which the obstacle is located may be set differently for each stable distance from the obstacle for stable operation of the robot manipulator 310, and for this purpose, a table in which the driving speed for each distance is matched is the memory unit 302. It is stored in advance. Here, the driving speed is determined to be slower as the separation distance from the obstacle becomes shorter.

상기 메모리부(302)는 상기 제어장치(300)의 처리 프로그램을 포함하는 다양한 정보를 저장하며, 특히 본 발명을 위해 가공물 또는 장애물과의 이격거리별로 로봇 매니퓰레이터(310)의 구동속도를 매칭시켜둔 테이블을 기록한다. The memory unit 302 stores various information including the processing program of the control device 300, and in particular, for the present invention, the driving speed of the robot manipulator 310 is matched for each distance between the workpiece or the obstacle. Record the table.

상기 통신부(304)는 원격조종부(100) 또는 다른 로봇들과 제어장치(300) 사이의 통신을 담당한다. The communication unit 304 is in charge of communication between the remote control unit 100 or other robots and the control device 300.

상기 레이저 센서(312)는 로봇의 주변에 위치하는 장애물 또는 가공물 사이의 거리를 측정하고, 그 측정된 거리정보를 상기 제어장치(300)에 제공한다. 여기서, 레이저센서(312)는 레이저광을 발산하는 발광부와, 반사된 레이저광을 감지하는 수광부와, 시간측정을 위한 타이머로 구성될 수 있다. 즉, 발광부에서 발생된 레이저광이 장애물 또는 가공물에 부딪혀 반사되고, 반사된 레이저광을 수광부에서 감지하여 거리를 측정할 수 있다. 또한, 레이저센서는 TOF(time-of-flight) 측정법을 이용하는데, 이는 발광부에서 레이저광을 전송하고, 전송된 레이저광이 장애물 또는 가공물에 맞고 되돌아 오는 시간을 계산하여 센서와 장애물 또는 가공물 간의 거리를 측정하는 방식이다. 가령, TOF 측정방식에서 장애물 또는 장애물이 없는 경우에는 측정거리가 일정하게 유지되고, 장애물 또는 가공물이 있으면 측정거리가 변하게 된다. 이에, 상기 제어장치(300)는 레이저광 조사에 따라 시간당 거리의 변화를 감지하게 되면, 소정 시간당 거리의 변화가 감지된 부분으로 발광부을 통한 레이저 조사시에 기구구동부(308)를 통해 로봇 매니플레이터(310)가 장애물 또는 가공물 방향으로 회전하도록 방향조절이 이루어진다. 즉, 상기 레이저센서는 로봇 매니플레이터(310)의 엔드 이팩터부(end effector, 로봇의 말단 + 툴의 길이)에 형성되고, 레이저 센서는 장애물 또는 가공물의 정면에서 일관된 거리측정 가능하고, 정확성을 높일 수 있다.The laser sensor 312 measures the distance between obstacles or workpieces located in the vicinity of the robot, and provides the measured distance information to the control device 300. Here, the laser sensor 312 may include a light emitting unit that emits laser light, a light receiving unit that senses reflected laser light, and a timer for time measurement. That is, the laser light generated from the light emitting unit is reflected by hitting an obstacle or a workpiece, and the reflected laser light can be detected by the light receiving unit to measure the distance. In addition, the laser sensor uses a time-of-flight (TOF) measurement method, which transmits laser light from the light emitting unit and calculates the time when the transmitted laser light hits an obstacle or a workpiece and returns between the sensor and the obstacle or workpiece. It is a way to measure distance. For example, in the TOF measurement method, if there are no obstacles or obstacles, the measurement distance is kept constant, and if there are obstacles or artifacts, the measurement distance changes. Accordingly, when the control device 300 detects a change in the distance per hour according to the laser light irradiation, the change in the distance per hour is a part where the change in the distance per hour is detected. Direction adjustment is made so that the rotor 310 rotates in the direction of an obstacle or a workpiece. That is, the laser sensor is formed on the end effector (end effector of the robot + the length of the tool) of the robot manifolder 310, and the laser sensor is capable of measuring a consistent distance from the front of an obstacle or a work piece. Can be increased.

상기 스테레오 촬상장치(306)는 로봇의 주변을 스테레오 촬상하여 로봇 주변에 대한 3차원 찰상정보를 획득하고, 이를 상기 제어장치(300)에 제공한다. The stereo imaging apparatus 306 acquires 3D scratch information about the robot surroundings by stereo imaging the surroundings of the robot and provides it to the control apparatus 300.

상기 기구구동부(308)는 상기 제어장치(300)의 제어에 따라 로봇 매니퓰레이터(310)를 구동하며, 전동식 서보모터가 사용될 수 있다. The mechanism driving part 308 drives the robot manipulator 310 under the control of the control device 300, and an electric servo motor may be used.

상기 로봇 매니퓰레이터(310)는 상기 기구구동부(308)에 의해 구동하여 소정의 동작, 예를 들면 가공물에 대한 가공 등을 이행한다. The robot manipulator 310 is driven by the mechanism driving unit 308 to perform a predetermined operation, for example, processing on a workpiece.

<거리측정을 이용한 로봇 매니퓰레이터의 원격조종 방법><Remote control method of robot manipulator using distance measurement>

상기한 본 발명에 따르는 거리측정을 이용한 로봇 매니퓰레이터의 원격조종 시스템에 적용 가능한 원격조종방법을 도 4를 참조하여 상세히 설명한다. A remote control method applicable to the remote control system of the robot manipulator using distance measurement according to the present invention will be described in detail with reference to FIG. 4.

상기 로봇 매니퓰레이터의 원격조종 시스템은 원격조종부(100)는 사용자에 의한 로봇 모니터링이 요청되면(400단계), 모니터링 요청된 로봇으로 모니터링 정보를 요청한다(402단계). In the remote control system of the robot manipulator, when the remote control unit 100 requests robot monitoring by the user (step 400), it requests monitoring information to the monitoring requested robot (step 402).

상기 로봇은 모니터링 정보가 수신되면, 스테레오 촬상장치로 촬상한 로봇의 주변의 3차원 촬상정보와 레이저 센서로 측정한 주변의 장애물 또는 가공물 사이의 거리정보에 자신의 식별정보를 부가하여 모니터링 정보를 생성하고, 이를 상기 원격조종부(100)로 제공한다(404,406단계). When the monitoring information is received, the robot generates monitoring information by adding its own identification information to the distance information between the three-dimensional imaging information of the robot captured by the stereo imaging device and the surrounding obstacle or workpiece measured by the laser sensor. Then, it is provided to the remote control unit 100 (steps 404,406).

상기 원격조종부(100)는 상기 모니터링 정보가 수신되면 상기 모니터링 정보를 뷰잉하여 사용자에게 안내한다(407단계). 이로서 사용자는 해당 로봇의 주변을 모니터링할 수 있게 된다. When the monitoring information is received, the remote controller 100 views the monitoring information and guides the user (step 407). This allows the user to monitor the surroundings of the robot.

상기 원격조종부(100)는 사용자에 의한 로봇 원격조종이 요청되면(408단계), 사용자로부터 원격조종정보를 입력받아 해당 로봇으로 전송한다(410단계). 상기 원격조종정보에는 로봇 매니퓰레이터의 구동속도 및 동작정보가 포함된다. When the remote control unit 100 requests a robot remote control by the user (step 408), the remote control information is received from the user and transmitted to the corresponding robot (step 410). The remote control information includes driving speed and operation information of the robot manipulator.

상기 로봇은 원격조종부(100)로부터의 원격조종정보가 제공되면(412단계), 스테레오 촬상장치 및 레이저 센서를 통해 주변 환경을 분석하여 로봇 주변의 장애물 및 가공물을 검출한다(414,416단계). 즉 주변의 3차원 촬상정보를 통해 주변의 장애물 또는 가공물의 위치 및 이격거리를 검출한다. 특히 주변의 장애물 또는 가공물의 이격거리의 정확도를 높이기 위해 레이저 센서가 이용된다. 특히, 본 발명은 가공물 또는 주변 장애물과의 거리를 측정하고, 측정된 거리에 따른 모드변환이 이루어지게 된다. 따라서, 로봇 매니퓰레이터 움직임에서 스테레오 촬상장치(비젼 시스템)이나 레이저 센서를 통해 거리가 측정되고, 그 거리에 따라 총 3가지 모드로 모드 변환이 이루어지는데, 이를 살펴보면 다음과 같다.When the remote control information from the remote controller 100 is provided (step 412), the robot analyzes the surrounding environment through a stereo imaging device and a laser sensor to detect obstacles and artifacts around the robot (steps 414,416). That is, the location and separation distance of obstacles or artifacts in the vicinity are detected through the surrounding 3D imaging information. In particular, a laser sensor is used to increase the accuracy of the distance between obstacles or workpieces. In particular, the present invention measures the distance from the workpiece or surrounding obstacles, and mode conversion is performed according to the measured distance. Therefore, in the robot manipulator movement, the distance is measured through a stereo imaging device (vision system) or a laser sensor, and mode conversion is performed in a total of three modes according to the distance.

먼저, 상기 로봇은 가공물 또는 장애물과의 거리가 미리 정해둔 제1거리 이하인지를 체크한다(418단계). 상기 가공물 또는 장애물과의 거리가 미리 정해둔 제1거리 이하이면, 상기 로봇은 가공물이 위치한 방향에 대한 로봇 매니퓰레이터의 구동속도를 자동으로 변경하면서 로봇 매니퓰레이터를 구동한다(420단계). 즉, 원격조종부(100)와 로봇 매니플레이터의 조종 비율을 달리하는 1:n의 색인 모드(index mode)에 해당된다. 이는 원격조종부가 1만큼 움직였을 때, 조정이 되는 로봇 매니퓰레이터는 조정기*n의 비율로 움직이게 된다. 이러한 색인 모드에서는 마스터 암(원격 조종부)을 조금만 움직여도 슬레이브 암(로봇 매니플레이터)는 큰 범위로 움직일 수 있으며, 따라서 상대적으로 빠른 움직임을 가지게 되지만 정밀도가 떨어지게 된다. First, the robot checks whether a distance from a workpiece or an obstacle is equal to or less than a predetermined first distance (step 418). If the distance from the workpiece or the obstacle is equal to or less than a predetermined first distance, the robot drives the robot manipulator while automatically changing the driving speed of the robot manipulator in the direction in which the workpiece is located (step 420). That is, it corresponds to an index mode of 1: n in which the control ratios of the remote control unit 100 and the robot manifold are different. This means that when the remote control unit moves by one, the robot manipulator that is being adjusted moves at the ratio of the regulator * n. In this index mode, even a slight movement of the master arm (remote control) allows the slave arm (robot manipulator) to move in a large range, and thus has relatively fast movement, but loses precision.

그리고 상기 로봇은 가공물 또는 장애물과의 거리가 미리 정해둔 제2거리 이하인지를 체크한다(422단계). 상기 장애물과의 거리가 미리 정해둔 제2거리와 비교하여, 상기 제2 거리를 초과하면 정밀 모드로 변환하고(423단계), 상기 제2 거리 이하이면 안정 모드로 변환된다(424단계). 여기서, 상기 제2 거리는 목표지점(가공물 또는 장애물)에 거의 도달하는 거리값으로 설정될 수 있으며, 제1 거리 설정값 보다 작고 상기 제1 거리 설정값의 범위내에서 설정된다. 또한, 제2 거리는 가공물의 경우에는 매니퓰레이터의 엔드이펙터(로봇의 말단 + 툴의 길이)에서 목표지점(가공물)까지의 거리값에 해당되고, 장애물의 경우에는 매니퓰레이터의 끝단(로봇의 말단)에서 목표지점(장애물)까지의 거리값에 해당된다.Then, the robot checks whether the distance from the workpiece or the obstacle is less than a predetermined second distance (step 422). When the distance to the obstacle is compared to a predetermined second distance, if the second distance is exceeded, it is converted into a precision mode (step 423), and if it is less than the second distance, it is converted into a stable mode (step 424). Here, the second distance may be set as a distance value almost reaching the target point (workpiece or obstacle), smaller than the first distance set value, and set within the range of the first distance set value. In addition, the second distance corresponds to the distance value from the end effector (the end of the robot + the length of the tool) of the manipulator in the case of a workpiece, and in the case of an obstacle, the target at the end of the manipulator (the end of the robot). It corresponds to the distance to the point (obstacle).

상기한 본 발명은 로봇 암인 로봇 매니퓰레이터를 원격 조정의 대상으로 하며, 로봇 매니퓰레이터의 워크 스페이스인 작업 영역에서 특정한 동작을 행하는 것을 목표로 한다. 상기한 로봇 매니퓰레이터의 원격 조종시에 단순히 모니터를 통해 동작을 조정하면 모니터 상의 사각지대가 존재하여 로봇 매니퓰레이터의 안정적인 원격 조종이 불가능할 수 있으며, 사용자가 원격 조종에 완전히 숙련하지 않은 경우에도 로봇 매니퓰레이터의 안정적인 원격 조종이 불가능하다. 이에 본 발명은 스테레오 촬상장치 또는 레이저 센서를 통해 측정된 거리정보를 통해 로봇 매니퓰레이터의 조종시에 구동속도를 자동적으로 가변하여 로봇 매니퓰레이터의 안정적인 원격 조종을 가능하게 한다. The above-described present invention aims to perform a specific operation in a work area that is a robot arm manipulator robot manipulator and a robot manipulator workspace. In the remote control of the robot manipulator, simply adjusting the motion through the monitor may cause blind spots on the monitor to make stable remote control of the robot manipulator impossible, and stable operation of the robot manipulator even if the user is not completely skilled in remote control. Remote control is not possible. Accordingly, the present invention enables stable remote control of the robot manipulator by automatically varying the driving speed when manipulating the robot manipulator through distance information measured by a stereo imaging device or a laser sensor.

상기한 본 발명의 바람직한 실시예에서는 스테레오 촬상장치와 레이저 센서를 동시에 구비한 것만을 예시하였으나, 스테레오 촬상장치와 레이저 센서 중 어느 하나만 선택 사용할 수 있으며, 이는 본 발명에 의해 당업자에게 자명하다. In the above-described preferred embodiment of the present invention, only those having a stereo imaging device and a laser sensor are exemplified, but any one of the stereo imaging device and the laser sensor can be selected and used, which is apparent to those skilled in the art by the present invention.

100 : 원격조종부
1021~102N : 다수의 로봇
200 : 제어장치
202 : 메모리부
204 : 사용자 인터페이스부
206 : 통신부
208 : 디스플레이부
300 : 제어장치
302 : 메모리부
304 : 통신부
306 : 스테레오 촬상장치
308 : 기구구동부
310 : 로봇 매니퓰레이터
312 : 레이저 센서100: remote control unit
1021 ~ 102N: Multiple robots
200: control device
202: memory unit
204: user interface
206: communication unit
208: display unit
300: control device
302: memory unit
304: communication unit
306: stereo imaging device
308: mechanism driving unit
310: robot manipulator
312: laser sensor

Claims

In the remote control method of a robot manipulator in a robot control system in which a single remote control unit and a plurality of robots are connected by a network,
The robot,
Checking whether remote control information of the robot manipulator is provided from the remote control unit and detecting a separation distance from a workpiece or an obstacle when the remote control information is provided;
Converting the remote control unit and the robot manipulator into a different indexing mode when the distance between the workpiece or the obstacle is equal to or less than a predetermined first distance; And
Including the step of converting to a precision mode when the distance between the workpiece or the obstacle exceeds a predetermined second distance compared to a predetermined second distance, and to the stable mode if the distance is less than the second distance.
The remote control information includes driving speed and operation information of the robot manipulator,
The second distance set value is less than the first distance set value and the remote control method of the robot manipulator using a distance measurement, characterized in that within the range of the first distance set value.

According to claim 1,
The second distance corresponds to a distance value from the end effector of the robot manipulator to the workpiece in the case of the workpiece, and in the case of the obstacle, corresponds to a distance value from the end of the robot manipulator to the obstacle. Remote control method of robot manipulator using distance measurement.

According to claim 1,
The robot further includes the step of providing monitoring information by generating monitoring information by adding identification information of the robot itself to surrounding environment information obtained at the request of the remote control unit, and providing the monitoring information to the remote control unit,
The ambient environment information includes remote control method of a robot manipulator using a distance measurement, characterized in that it comprises distance information between the imaging object obtained from the stereo imaging device and the surrounding object obtained from the laser sensor.

According to claim 3,
The laser sensor is a remote control method of a robot manipulator using a distance measurement, characterized in that formed in the end effector portion of the robot manipulator.

In a robot control system in which a single remote control unit and multiple robots are connected by a network,
The robot,
A communication unit in charge of communication with an external remote control unit;
Robot manipulators;
A mechanism driving unit for driving the robot manipulator; And
When the remote control information of the robot manipulator is provided from the outside, the distance between the workpiece or the obstacle is detected,
If the separation distance between the workpiece or the obstacle is equal to or less than a predetermined first distance, the remote control unit and the robot manipulator control ratio is converted into a different indexing mode, and the separation distance between the workpiece or the obstacle is predetermined. And a control device for converting to a precision mode when the second distance is exceeded and a stable mode when the second distance is less than the second distance.
The remote control information includes driving speed and operation information of the robot manipulator,
The second distance setpoint is smaller than the first distance setpoint and is within the range of the first distance setpoint. A robot performing remote control of a robot manipulator using a distance measurement.

The method of claim 5,
The second distance corresponds to a distance value from the end effector of the robot manipulator to the workpiece in the case of the workpiece, and in the case of the obstacle, corresponds to a distance value from the end of the robot manipulator to the obstacle. A robot that performs remote control of a robot manipulator using distance measurement.

The method of claim 5,
The robot generates monitoring information by adding identification information of the robot itself to surrounding environment information obtained at the request of the remote control unit, and provides the monitoring information to the remote control unit,
The surrounding environment information includes distance information between the imaging object obtained from the stereo imaging device and the surrounding object obtained from the laser sensor. A robot performing remote control of a robot manipulator using a distance measurement.

The method of claim 7,
The laser sensor is a robot that performs remote control of the robot manipulator using a distance measurement, characterized in that formed in the end effector portion of the robot manipulator.

delete