KR20130074903A

KR20130074903A - A method for remote controlling robot using wrap around image and an apparatus thereof

Info

Publication number: KR20130074903A
Application number: KR1020110143004A
Authority: KR
Inventors: 전세웅; 정일균; 황정훈; 김승훈
Original assignee: 전자부품연구원
Priority date: 2011-12-27
Filing date: 2011-12-27
Publication date: 2013-07-05
Also published as: KR101305947B1

Abstract

PURPOSE: A method to remote control robots using wrap around images and a device therefor are provided to intuitionally determine obstacles for remote controlling the robot and to intuitionally recognize the obstacle without different sensors except a camera sensor. CONSTITUTION: A device to remote control robots using wrap around images comprises a robot and a terminal. The robot generates the wrap around image displaying all directions such as a plan around the robot based on the robot itself. The robot displays an area in which is not the position of the robot as an area of obstacles in the wrap around image and transmits the wrap around image in which the area of the obstacle is displayed. The terminal displays the wrap around image to the screen. When input is generated to move the robot according to the displayed wrap around image, the terminal transmits a control signal controlling the robot to move according to the input to the robot. [Reference numerals] (S10) Obtain a plurality of images from a plurality of cameras; (S20) Combine the images into one wrap around image; (S30) Devide the wrap around image into a plurality of areas; (S40) Sort divided areas into an area to which a robot belongs or not; (S50) Display by setting the area to which the robot does not belong to an area of obstacles

Description

A method for remote controlling robot using wrap around image and an apparatus

본 발명은 로봇 제어 기술에 관한 것으로, 보다 상세하게는 장애물 영역과 함께 랩어라운드(wrap around) 영상을 제공하여, 직관적으로 장애물을 인식하고 로봇을 원격 제어하기 위한 방법 및 이를 위한 장치에 관한 것이다. The present invention relates to a robot control technology, and more particularly, to a method and an apparatus therefor for intuitively recognizing an obstacle and remotely controlling the robot by providing a wrap around image together with an obstacle area.

로봇(Robot)은 자동 조절에 의해 조작이나 이동 등의 일을 수행할 수 있는 기계 장치로서, 인간을 대신하여 여러 작업에 이용되고 있다. 그 동안 로봇 산업은 급속도로 발전해 왔으며, 산업용/특수 작업용 로봇에 대한 연구에서 가정용, 교육용 로봇과 같이 인간의 작업을 돕고 인간의 생활에 즐거움을 주는 목적으로 만들어지는 로봇에 대한 연구로 확대되고 있는 실정이다. 이러한 로봇들은 인간 생활환경 안에서 작업을 수행하기 때문에, 주로 작은 크기의 이동 로봇(Mobile Robot)들이 대부분이다. 이런 이동 로봇의 주행에 관한 연구는 로봇 분야에서 매우 중요한 연구 분야 중 하나이다. 기존의 이동 로봇에 대한 연구는 특정 영역에서 고정되어 있는 형태 또는 미리 정형화된 경로(Path)를 따라서만 이동하는 형태의 로봇에 대해 주로 행해졌다. 하지만, 사용자의 제어를 통해 로봇을 이동시키는 기술에 대한 연구가 점차 활성화되어 왔다. Robot is a mechanical device that can perform operations such as operation and movement by automatic adjustment, and is used for various tasks on behalf of humans. The robot industry has developed rapidly, and is expanding from the research on industrial / special work robots to the research on robots that are made for the purpose of helping humans and enjoying human life such as home and educational robots. to be. Most of these robots are small sized mobile robots because they perform work in the human living environment. Research on the travel of such mobile robots is one of the most important research fields in robotics. Research on existing mobile robots is mainly performed for robots that are fixed in a specific area or move only along a predetermined path. However, research on the technology of moving the robot through the control of the user has been gradually activated.

종래의 로봇을 원격제어 할 경우 시야각이 제한된 하나의 카메라로 한정된 시야각을 통한 원격제어만 가능하였다. 이를 극복하려고 많은 연구가 시도되었다. 전체의 시각을 볼 수 있는 전방향(Omni-directional) 카메라, 또는 어안렌즈를 사용하는 광각의 카메라 등이 연구되었다. 그러나 이러한 시도들은 각각 왜곡된 영상을 제공하여 훈련이나 경험을 통해서만 숙련된 조작법을 익힐 수 있어 조작에 어려움이 있다. 특히, 종래의 로봇을 원격 제어할 경우, 제공되는 영상을 통해 장애물을 인식하기에는 많은 수의 센서가 필요하고, 사용자의 시각으로 장애물을 인식하는 경우에는 제공되는 화면의 해상도에 따라 정확한 인식이 어려울 수도 있다. In the case of remote control of a conventional robot, only one camera with a limited viewing angle was able to remotely control the viewing angle. Many studies have been attempted to overcome this. Omni-directional cameras, or wide-angle cameras using fisheye lenses, have been studied. However, these attempts have difficulty in manipulation because they provide distorted images and can be learned only by skilled operators through training or experience. In particular, when remotely controlling a conventional robot, a large number of sensors are required to recognize an obstacle through a provided image, and when the obstacle is recognized from a user's perspective, accurate recognition may be difficult depending on the resolution of the provided screen. have.

상술한 바와 같은 점을 감안한 본 발명의 목적은 로봇의 원격 제어를 직관적으로 할 수 있는 방법 및 장치를 제공함에 있다. SUMMARY OF THE INVENTION An object of the present invention in view of the above-described points is to provide a method and apparatus capable of intuitively remotely controlling a robot.

또한, 로봇의 원격 제어 시, 장애물을 직관적으로 판단할 수 있도록 제어 화면을 제공하는 방법 및 장치를 제공함에 있다. In addition, the present invention provides a method and apparatus for providing a control screen for intuitively determining an obstacle when remotely controlling a robot.

특히, 로봇의 원격 제어 시, 카메라 센서 이외의 다른 센서의 도움 없이 장애물을 직관적으로 인식할 수 있는 방법 및 장치를 제공함에 있다. In particular, the present invention provides a method and apparatus for intuitively recognizing an obstacle without the aid of a sensor other than a camera sensor when remotely controlling a robot.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 로봇을 원격으로 제어하기 위한 장치는, 로봇 자신을 기준으로 상기 로봇을 중심으로 사방을 평면도와 같이 나타내는 랩어라운드 영상을 생성하고, 상기 랩어라운드 영상에서 로봇 자신의 위치한 영역이 아닌 영역을 장애물 영역으로 표시하며, 장애물 영역이 표시된 랩어라운드 영상을 전송하는 상기 로봇과, 상기 장애물 영역이 표시된 랩어라운드 영상을 화면으로 표시하고, 표시된 랩어라운드 영상에 따라 로봇의 위치 이동을 위한 입력이 있으면, 상기 입력에 따라 로봇이 이동하도록 제어하는 제어 신호를 상기 로봇에 전송하는 단말을 포함한다. An apparatus for remotely controlling a robot according to a preferred embodiment of the present invention for achieving the above object, generates a wrap-around image showing the four sides of the robot as a plan view with respect to the robot itself, In the wrap-around image, an area other than the robot's own area is displayed as an obstacle area, the robot transmitting a wrap-around image in which the obstacle area is displayed, and a wrap-around image in which the obstacle area is displayed on the screen, and the displayed wrap If there is an input for moving the position of the robot in accordance with the around image, and includes a terminal for transmitting a control signal for controlling the robot to move in accordance with the input.

여기서, 로봇은 그래프 기반 이미지 세그멘테이션(Efficient Graph based Segmentation) 기법을 이용하여, 랩어라운드 영상을 복수의 영역으로 분할하고, 분할된 영역 중 로봇이 위치한 영역과 텍스처 비교를 통해 미리 설정된 기준에 따라 로봇이 속한 영역과 유사도를 가지는 영역을 로봇과 동일한 영역으로 포함시키고, 나머지 영역을 장애물 영역으로 설정할 수 있다. Here, the robot divides the wrap-around image into a plurality of areas by using an efficient graph based segmentation technique, and compares the robot with the area where the robot is located according to a preset criteria by comparing the texture with the area where the robot is located. An area having similarity with the area to which it belongs may be included as the same area as the robot, and the remaining area may be set as an obstacle area.

또한, 로봇은 로봇을 중심으로 사방을 모두 촬영하는 복수의 카메라를 포함하며, 랩어라운드 영상은 상기 로봇을 중심으로 사방을 모두 촬영한 복수의 영상을 하나의 영상으로 병합한 영상인 것을 특징으로 하는 로봇을 원격으로 제어할 수 있다. In addition, the robot includes a plurality of cameras to shoot all around the robot, and the wrap-around image is characterized in that the image is a combination of a plurality of images taken all around the robot into one image The robot can be controlled remotely.

여기서, 단말은 랩어라운드 영상에 상기 로봇을 직관적으로 나타내는 로봇 아이콘을 표시하고, 상기 장애물 영역과 장애물 영역이 아닌 영역과 구분되도록 표시하며, 상기 로봇 아이콘을 이동시키는 터치에 의한 입력을 감지하여, 상기 터치 입력에 의한 자취가 상기 장애물 영역에 포함되면, 이동할 수 없는 영역임을 나타내는 에러 메시지를 출력하고, 상기 터치 입력에 의한 자취가 상기 장애물 영역에 포함되지 않으면, 상기 터치에 의한 입력의 자취를 포함하는 제어 신호를 생성할 수 있다. Herein, the terminal displays a robot icon that intuitively represents the robot on a wraparound image, displays the robot icon to be distinguished from the obstacle area and the non-obstacle area, and detects an input by a touch for moving the robot icon. If the trace by the touch input is included in the obstacle area, an error message indicating that it cannot move is output; and when the trace by the touch input is not included in the obstacle area, the trace of the input by the touch is included. A control signal can be generated.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 로봇을 원격으로 제어하기 위한 방법에 있어서, 상기 로봇이 로봇 자신을 기준으로 상기 사방을 평면도와 같이 나타내는 랩어라운드 영상을 생성하는 단계와, 상기 랩어라운드 영상에서 로봇 자신의 위치한 영역이 아닌 영역을 장애물 영역으로 설정하는 단계와, 상기 장애물 영역이 표시된 랩어라운드 영상을 단말에 전송하는 단계와, 상기 단말이 상기 랩어라운드 영상을 표시하는 단계와, 상기 단말이 상기 표시된 랩어라운드 영상에 로봇의 위치 이동을 위한 입력이 있으면, 상기 입력에 따라 상기 로봇이 이동하도록 제어하는 제어 신호를 생성하는 단계 및 상기 제어 신호를 상기 로봇에 전송하는 단계를 포함한다. In the method for remotely controlling a robot according to a preferred embodiment of the present invention for achieving the object as described above, the robot generating a wrap-around image showing the four sides of the robot as a plan view based on the robot itself And setting an area other than the robot's own area as an obstacle area in the wraparound image, transmitting a wraparound image in which the obstacle area is displayed to the terminal, and displaying the wraparound image by the terminal. And generating, by the terminal, a control signal for controlling the robot to move according to the input if the terminal has an input for moving the position of the robot on the displayed wraparound image, and transmitting the control signal to the robot. It includes.

여기서, 상기 설정하는 단계는 그래프 기반 이미지 세그멘테이션(Efficient Graph based Segmentation) 기법을 이용하여, 상기 랩어라운드 영상을 복수의 영역으로 분할하는 단계와, 상기 분할된 영역 중 로봇이 위치한 영역과 텍스처 비교를 통해 미리 설정된 기준에 따라 로봇이 속한 영역과 유사도를 가지는 영역을 로봇과 동일한 영역으로 포함시키고, 나머지 영역을 장애물 영역으로 설정하는 단계를 포함한다. Here, the setting may be performed by dividing the wraparound image into a plurality of regions by using an efficient graph based segmentation technique, and comparing the texture with the region where the robot is located among the divided regions. And including an area having a similarity with the area to which the robot belongs, as the same area as the robot, and setting the remaining area as an obstacle area according to a preset criterion.

또한, 상기 표시하는 단계는 상기 단말은 랩어라운드 영상에 상기 로봇을 직관적으로 나타내는 로봇 아이콘을 표시하고, 장애물 영역을 장애물이 아닌 영역과 구분되도록 표시할 수 있다. 이에 따라, 상기 제어 신호를 생성하는 단계는 상기 로봇 아이콘을 이동시키는 터치에 의한 입력을 감지하여, 상기 터치 입력에 의한 자취가 상기 장애물 영역에 포함되면, 이동할 수 없는 영역임을 나타내는 에러 메시지를 출력하고, 상기 터치 입력에 의한 자취가 상기 장애물 영역에 포함되지 않으면, 상기 터치에 의한 입력의 자취를 포함하는 제어 신호를 생성할 수 있다. In addition, the displaying may include displaying a robot icon that intuitively represents the robot on a wraparound image, and displaying an obstacle area to be distinguished from an area that is not an obstacle. Accordingly, the generating of the control signal detects an input by a touch for moving the robot icon, and outputs an error message indicating that the touch input is an area that cannot be moved when the trace by the touch input is included in the obstacle area. If the trace by the touch input is not included in the obstacle area, a control signal including the trace of the input by the touch may be generated.

또한, 상기 로봇은 상기 사방을 촬영하는 복수의 카메라를 구비하며, 상기 랩어라운드 영상을 생성하는 단계는 상기 로봇을 중심으로 복수의 카메라를 통해 촬영한 복수의 영상을 병합하여 상기 랩어라운드 영상을 생성할 수 있다. The robot may include a plurality of cameras for photographing the four sides, and the generating of the wraparound image may include generating a wraparound image by merging a plurality of images photographed by a plurality of cameras around the robot. can do.

상술한 바와 같이 본 발명은 랩어라운드 영상을 이용하여 로봇을 마치 하늘에서 내려다 보다는 시점, 즉, 로봇을 중심으로 사방을 평면도와 같이 표현한 영상을 제공함으로써, 사용자가 로봇의 이동 경로를 제어할 때, 직관적으로 제어할 수 있도록 한다. 특히, 사용자가 로봇을 위에서 내려다보는 관점에서 제어를 할 수 있어 좁은 지역에서 상대적으로 짧은 이동과 회전이 많은 로봇의 경우, 예컨대, 청소 로봇 등의 경우에, 훨씬 더 직관적인 제어가 가능하다. As described above, the present invention provides a view of the robot as a plan view of the four sides of the robot, rather than looking down from the sky as if using a wrap-around image, when the user controls the movement path of the robot, Intuitive control. In particular, since the user can control the robot from the viewpoint of looking down from the top, a robot having a lot of relatively short movements and rotations in a small area, for example, a cleaning robot, etc., is much more intuitive to control.

또한, 본 발명은 랩어라운드 영상에 장애물을 표시하여 제공함으로써, 사용자가 직관적으로 장애물을 인식할 수 있으며, 로봇을 조작할 시, 장애물을 인식하여 조작할 수 있으며, 오직, 카메라, 즉, 광학 센서만을 이용하여 장애물을 인식할 수 있어, 비용이 절약되며, 효율적으로 로봇을 조작할 수 있다. In addition, the present invention by displaying the obstacle in the wrap-around image, the user can intuitively recognize the obstacle, when operating the robot can recognize and manipulate the obstacle, only the camera, that is, the optical sensor Obstacles can be recognized using the bay, which saves money and enables the robot to be operated efficiently.

도 1은 본 발명의 실시예에 따른 로봇 원격 제어를 위한 시스템을 설명하기 위한 블록도.
도 2는 도 1에 도시된 본 발명의 실시예에 따른 로봇의 보다 구체적인 구성을 설명하기 위한 블록도.
도 3은 도 1에 도시된 본 발명의 실시예에 따른 단말의 보다 구체적인 구성을 설명하기 위한 블록도.
도 4는 본 발명의 실시예에 따른 랩어라운드 영상을 얻는 방법을 설명하기 위한 화면 예.
도 5는 본 발명의 실시예에 따른 장애물 영역을 설정하는 방법을 설명하기 위한 흐름도.
도 6은 본 발명의 실시예에 따른 장애물 영역을 설정하는 방법을 설명하기 위한 화면 예.
도 7은 본 발명의 실시예에 따른 랩어라운드 영상을 이용한 로봇의 제어 방법을 설명하기 위한 화면 예.
도 8은 본 발명의 실시예에 따른 랩어라운드 영상을 이용한 제어 방법을 설명하기 위한 흐름도. 1 is a block diagram illustrating a system for robot remote control according to an embodiment of the present invention.
2 is a block diagram for explaining a more specific configuration of a robot according to an embodiment of the present invention shown in FIG.
3 is a block diagram for explaining a more specific configuration of a terminal according to an embodiment of the present invention shown in FIG.
4 is a screen example for explaining a method of obtaining a wraparound image according to an embodiment of the present invention.
5 is a flowchart illustrating a method of setting an obstacle area according to an embodiment of the present invention.
6 is a screen example for explaining a method for setting an obstacle area according to an embodiment of the present invention.
7 is a screen example for explaining a control method of a robot using a wraparound image according to an embodiment of the present invention.
8 is a flowchart illustrating a control method using a wraparound image according to an embodiment of the present invention.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다. 실시 예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다. 마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, so that those skilled in the art can easily carry out the present invention. In describing the embodiments, descriptions of technical contents that are well known in the technical field to which the present invention belongs and are not directly related to the present invention will be omitted. This is for the sake of clarity of the present invention without omitting the unnecessary explanation. For the same reason, some of the components in the drawings are exaggerated, omitted, or schematically illustrated. Also, the size of each component does not entirely reflect the actual size.

도 1은 본 발명의 실시예에 따른 로봇 원격 제어를 위한 시스템을 설명하기 위한 블록도이다. 1 is a block diagram illustrating a system for robot remote control according to an embodiment of the present invention.

본 발명의 실시예에 따른 로봇 원격 제어 시스템은 로봇(100)과 로봇을 원격 제어하기 위한 단말(200)을 포함한다. Robot remote control system according to an embodiment of the present invention includes a robot 100 and a terminal 200 for remotely controlling the robot.

로봇(100)은 랩어라운드 영상을 지속적으로 획득한다. 여기서, 랩어라운드 영상은 로봇(100) 자신을 기준으로 기 설정된 반경 이내의 사방의 지면을 촬영한 복수의 영상을 병합한 것이며, 특히, 랩어라운드 영상은 로봇(100)을 중심으로 사방을 평면도와 같이 나타낸다. 이를 위하여, 로봇(100)은 복수의 카메라를 구비할 수 있다. 그리고 로봇(100)은 랩어라운드 영상을 단말(200)에 전송한다. The robot 100 continuously acquires a wraparound image. Here, the wraparound image is a merging of a plurality of images photographing the four sides of the ground within a predetermined radius based on the robot 100 itself. It is shown together. To this end, the robot 100 may be provided with a plurality of cameras. The robot 100 transmits the wraparound image to the terminal 200.

단말(200)은 랩어라운드 영상을 화면(바람직하게, 터치스크린)에 표시한다. 이때, 랩어라운드 영상은 로봇(100)을 중심으로 촬영된 것이기 때문에, 단말(100)은 그 영상에 중심에 로봇(100)을 나타내는 아이콘을 같이 표시한다. 사용자가 그 로봇(100)을 이동시키고자 하는 자취를 터치스크린을 통해 입력하면, 단말(200)이 사용자의 입력을 반영한 제어 신호를 생성하여, 로봇(100)에 전송한다. 그러면, 로봇(100)은 제어 신호에 따라 이동할 수 있다. The terminal 200 displays a wrap around image on a screen (preferably, a touch screen). In this case, since the wrap-around image is captured by the robot 100, the terminal 100 displays an icon representing the robot 100 in the center of the image. When the user inputs a trace for moving the robot 100 through the touch screen, the terminal 200 generates a control signal reflecting the user's input and transmits the control signal to the robot 100. Then, the robot 100 may move according to the control signal.

도 2는 도 1에 도시된 본 발명의 실시예에 따른 로봇의 보다 구체적인 구성을 설명하기 위한 블록도이다. 2 is a block diagram illustrating a more specific configuration of a robot according to an embodiment of the present invention shown in FIG. 1.

도 2를 참조하면, 본 발명의 실시 예에 따른 로봇(100)은 통신 모듈(110), 카메라 모듈(120), 저장 모듈(130), 표시 모듈(140), 이동 모듈(150) 및 제어 모듈(150)을 포함한다. Referring to FIG. 2, the robot 100 according to an embodiment of the present invention may include a communication module 110, a camera module 120, a storage module 130, a display module 140, a movement module 150, and a control module. And 150.

통신 모듈(110)은 단말(200)과의 통신을 위한 것이다. 통신 모듈(110)은 제어모듈(150)의 제어에 의해 랩어라운드 영상을 단말(200)에 전송한다. 또한, 통신 모듈(110)은 단말(200)로부터 제어 신호를 수신하면, 수신된 제어 신호를 제어 모듈(150)에 전달한다. 이러한 통신 모듈(110)의 통신 프로토콜은 제한이 있는 것이 아니나, ISM 대역(Industrial Scientific Medical band)을 이용할 수 있는 통신 프로토콜을 사용함이 바람직하며, 광대역을 이용하는 통신 프로토콜도 무방하다. The communication module 110 is for communication with the terminal 200. The communication module 110 transmits a wrap around image to the terminal 200 under the control of the control module 150. In addition, when the communication module 110 receives the control signal from the terminal 200, the communication module 110 transmits the received control signal to the control module 150. Although the communication protocol of the communication module 110 is not limited, it is preferable to use a communication protocol that can use the Industrial Scientific Medical band (ISM band), and a communication protocol using a wide band may be used.

카메라 모듈(120)은 랩어라운드 영상을 촬영하기 위한 것으로, "랩어라운드 카메라 모듈"이 될 수 있다. 본 발명의 실시예에서 "랩어라운드 영상"은 로봇을 기준으로 기 설정된 반경의 사방의 영상을 촬영한 것이다. 특히, 랩어라운드 영상은 로봇을 중심으로 사방을 평면도와 같이 나타낸다. 카메라 모듈(120)은 랩어라운드 영상을 구성하기 위해 서로 다른 방향의 영상을 촬영하는 복수의 카메라로 이루어질 수 있다. 카메라는 렌즈, 광학 센서, 신호처리장치 및 영상처리장치를 구비할 수 있다. 광학 센서는 렌즈를 통해 영상을 촬영하며, 촬영된 영상인 광학적 화상 신호를 전기적 화상 신호로 변환한다. 광학 센서는 CCD(Charge Coupled Device) 센서를 사용함이 바람직하다. 신호처리장치는 광학 센서로부터 출력되는 아날로그 화상 신호를 디지털 화상 신호로 변환한다. 여기서 신호처리장치는 DSP(Digital Signal Processor)로 구현함이 바람직하다. 영상처리장치는 신호처리장치에서 출력되는 화상 신호를 가공하여 표시 장치에 맞춰 표시하는 화면 화상 신호를 생성하여 출력한다. The camera module 120 is for capturing a wraparound image, and may be a "wraparound camera module." In the embodiment of the present invention, the "wrap-around image" is an image of four sides of a predetermined radius with respect to the robot. In particular, the wrap-around image shows the plane around the robot as a plan view. The camera module 120 may include a plurality of cameras for capturing images of different directions to form a wraparound image. The camera may include a lens, an optical sensor, a signal processor, and an image processor. The optical sensor captures an image through a lens, and converts an optical image signal, which is a captured image, into an electrical image signal. As the optical sensor, a CCD (Charge Coupled Device) sensor is preferably used. The signal processing apparatus converts the analog image signal output from the optical sensor into a digital image signal. In this case, the signal processing device is preferably implemented by a digital signal processor (DSP). The image processing apparatus generates and outputs a screen image signal for processing the image signal output from the signal processing apparatus and displaying the image signal in accordance with the display device.

저장 모듈(130)은 소위 하드디스크(hard disk)와 같은 스토리지 디바이스(storage device), 소위 디램(DRAM)과 같은 메모리(memory)를 포함하며, 스토리지 디바이스 및 메모리는 착탈 가능한 형태로 구현될 수 있다. 저장 모듈(130)은 착탈 가능하도록 소정의 착탈 장비를 포함하여 구성될 수 있다. 이러한 저장 모듈(130)은 본 발명의 실시 예에 따른 필요한 데이터를 저장한다. The storage module 130 includes a storage device such as a hard disk, a memory such as a DRAM, and the storage device and the memory may be implemented in a removable form. . Storage module 130 may be configured to include a predetermined detachable equipment to be detachable. The storage module 130 stores necessary data according to an embodiment of the present invention.

표시 모듈(140)은 현재 로봇의 상태 정보(예컨대, 위치, 배터리 등)를 시각적으로 알리기 위한 화면, 로봇이 제공한 서비스를 안내하는 화면 등의 정보를 제공한다. 이러한 표시 모듈(140)은 터치스크린 형태로 형성될 수 있다. 터치스크린 형태로 표시 모듈(140)이 형성된 경우, 표시 모듈(140)은 입력 장치의 역할의 일부 또는 전부를 수행할 수 있다. The display module 140 provides information such as a screen for visually informing the state information (eg, location, battery, etc.) of the robot, and a screen for guiding a service provided by the robot. The display module 140 may be formed in the form of a touch screen. When the display module 140 is formed in the form of a touch screen, the display module 140 may perform part or all of the role of the input device.

이동 모듈(150)은 제어 모듈(160)의 제어에 따라 제어 모듈(160)이 제공한 경로를 통해 로봇을 이동시킨다. 이를 위하여, 이동 모듈(150)은 실제로 로봇을 이동시키기 위한 수단인 이동 장치를 포함한다. 이동 장치는 바퀴, 캐터필러(caterpillar), 4족, 6족, 등 다양한 형태로 구성될 수 있다.The movement module 150 moves the robot through a path provided by the control module 160 under the control of the control module 160. For this purpose, the moving module 150 includes a moving device which is actually a means for moving the robot. The moving device may be configured in various forms such as a wheel, a caterpillar, a group 4, a group 6, and the like.

제어 모듈(160)은 로봇의 전반적인 기능을 제어하기 위한 것으로, 본 발명의 실시 예에 따른 제어 모듈(160)은 카메라 모듈의 복수의 카메라를 통해 촬영된 영상을 하나의 영상, 즉, 랩어라운드 영상을 병합하고, 병합된 영상을 통신 모듈(110)을 통해 단말(200)에 전송하는 역할을 수행한다. 또한, 제어 모듈(150)은 그래프 기반 이미지 세그멘테이션(Efficient Graph based Segmentation) 기법 및 텍스처 비교를 통해 로봇이 속한 영역과 로봇이 속하지 않은 영역인 장애물 영역을 구분하여 설정한다. 또한, 제어 모듈(160)은 단말(200)로부터 제어 신호를 통신 모듈(110)을 통해 수신하여, 제어 신호에 따라 이동 모듈(150)을 제어하여, 로봇(100)을 이동시키도록 한다. The control module 160 is for controlling the overall function of the robot. The control module 160 according to an embodiment of the present invention is a single image, that is, a wrap-around image captured by a plurality of cameras of the camera module. Merge, and transmits the merged image to the terminal 200 through the communication module 110. In addition, the control module 150 distinguishes and sets an obstacle region, which is an area to which the robot belongs and an area to which the robot does not belong, through a graph-based image segmentation technique and texture comparison. In addition, the control module 160 receives a control signal from the terminal 200 through the communication module 110, controls the moving module 150 according to the control signal, and moves the robot 100.

도 3은 도 1에 도시된 본 발명의 실시예에 따른 단말의 보다 구체적인 구성을 설명하기 위한 블록도이다. 3 is a block diagram illustrating a more specific configuration of a terminal according to an embodiment of the present invention shown in FIG. 1.

본 발명의 실시예에 따른 단말(200)은 이동통신 단말(200)기, PDA, 노트북, PC, TV, 노트패드, 휴대용 게임기 등을 예시할 수 있으며, 로봇(100)을 제어하기 위한 전용의 장치가 될 수도 있다. 특히, 단말(200)은 로봇(100)과 통신하여 로봇(100)의 랩어라운드 영상을 수신하고, 이를 통해 로봇을 제어할 수 있다면, 어떤 종류의 장치라도 무방하다. The terminal 200 according to the embodiment of the present invention may exemplify a mobile communication terminal 200 device, a PDA, a notebook computer, a PC, a TV, a notepad, a portable game machine, and the like. It could be a device. In particular, the terminal 200 may communicate with the robot 100 to receive a wraparound image of the robot 100 and control the robot through this, and any kind of device may be used.

도 3을 참조하면, 본 발명의 실시예에 따른 단말(200)은 통신부(210), 표시부(220), 입력부(230), 저장부(250) 및 제어부(260)를 포함한다. 여기서, 표시부(220) 및 입력부(230)가 통합되는 경우 표시부(220) 및 입력부(230)는 표시입력부(240)가 될 수 있다. Referring to FIG. 3, the terminal 200 according to the embodiment of the present invention includes a communication unit 210, a display unit 220, an input unit 230, a storage unit 250, and a controller 260. Here, when the display unit 220 and the input unit 230 are integrated, the display unit 220 and the input unit 230 may be the display input unit 240.

통신부(210)는 로봇(100)과 통신하여, 데이터를 송수신하는 수단으로서, 특히, 랩어라운드 영상을 수신하고, 로봇(100)을 제어하는 제어 신호를 전송하기 위한 것이다. 여기서, 통신부(210)는 로봇(100)의 통신 모듈(110)과 동일한 프로토콜을 이용하여 통신함이 바람직하다. 로봇(100)과 통신하기 위한 통신부(210)의 통신 프로토콜은 제한이 있는 것이 아니나, ISM 대역(Industrial Scientific Medical band)을 이용할 수 있는 통신 프로토콜을 사용함이 바람직하며, 광대역을 이용하는 통신 프로토콜도 무방하다. 통신부(210)의 통신은 무선랜(WLAN, Wireless Local Area Network)급이거나, 무선팬(WPAN, Wireless Personal Area Network)급 통신이 될 수 있다. 구체적으로, 통신부(210)는 블루투스(Bluetooth), 적외선 통신(IrDA), 지그비(ZigBee) 등을 이용하여 통신할 수 있다. 통신부(210)는 랩어라운드 영상을 수신하면, 수신된 영상을 제어부(260)에 전달한다. 또한, 제어부(260)로부터 로봇(100)을 제어하기 위한 제어 신호를 수신하면, 이를 로봇(100)에 전송한다. The communication unit 210 is a means for communicating with the robot 100 to transmit and receive data, particularly for receiving a wraparound image and transmitting a control signal for controlling the robot 100. Here, the communication unit 210 preferably communicates using the same protocol as the communication module 110 of the robot 100. Although the communication protocol of the communication unit 210 for communicating with the robot 100 is not limited, it is preferable to use a communication protocol that can use the Industrial Scientific Medical band (ISM band), and a communication protocol using broadband may be used. . The communication of the communication unit 210 may be wireless local area network (WLAN) level or wireless personal area network (WPAN) level communication. In detail, the communication unit 210 may communicate using Bluetooth, infrared communication (IrDA), ZigBee, or the like. When the communicator 210 receives the wraparound image, the communicator 210 transmits the received image to the controller 260. In addition, when receiving a control signal for controlling the robot 100 from the control unit 260, and transmits it to the robot (100).

표시부(220)는 기본적으로, 단말(200)의 동작에 따른 결과 또는 정보를 사용자가 시각적으로 인식 가능하도록 출력하는 수단이다. 본 발명의 실시예에서, 표시부(220)는 랩어라운드 영상 등을 시각적인 정보로 출력하는 디스플레이 수단이다. 이러한 디스플레이 수단은 터치스크린(touch screen)이 될 수 있으며, 이와 같이, 터치스크린 형태로 디스플레이 수단이 형성된 경우, 디스플레이 수단은 입력부(230)의 기능 중 일부 또는 전부를 수행할 수 있다. The display unit 220 is basically a means for outputting a result or information according to the operation of the terminal 200 so that the user can visually recognize it. In an embodiment of the present invention, the display unit 220 is a display means for outputting a wraparound image or the like as visual information. The display means may be a touch screen. As such, when the display means is formed in the form of a touch screen, the display means may perform some or all of the functions of the input unit 230.

입력부(230)는 사용자의 명령, 선택, 데이터, 정보 중에서 어느 하나를 입력 받기 위한 수단으로서, 숫자 또는 문자 정보를 입력 받고 다양한 기능을 설정하기 위한 다수의 입력키 및 기능키를 포함할 수 있다. 그리고 입력부(230)는 사용자의 키 입력을 감지하여, 감지된 키 입력에 따른 입력 신호를 제어부(260)로 전달한다. 예컨대, 입력부(230)는 키보드, 키패드, 마우스, 조이스틱 등과 같은 통상적인 입력 장치 외에도 향후 개발될 수 있는 모든 형태의 입력 수단이 사용될 수 있다. 이러한 입력부(230)는 표시부(220)가 터치스크린 형태인 경우, 터치스크린에 포함될 수 있다. The input unit 230 is a means for receiving any one of a user's command, selection, data, and information. The input unit 230 may include a plurality of input keys and function keys for receiving numeric or text information and setting various functions. The input unit 230 detects a user's key input and transmits an input signal according to the detected key input to the controller 260. For example, the input unit 230 may be any type of input means that can be developed in the future, in addition to a conventional input device such as a keyboard, a keypad, a mouse, a joystick, and the like. The input unit 230 may be included in the touch screen when the display unit 220 is in the form of a touch screen.

본 발명의 실시예에서는 터치스크린이 가장 바람직함으로, 터치스크린을 기준으로 설명하며, "표시입력부(240)"로 칭하기로 한다. 표시입력부(240)는 랩어라운드 영상을 표시하며, 사용자의 터치 입력을 입력 받아, 입력 받은 터치 입력의 자취를 제어부(260)에 전달한다. In the exemplary embodiment of the present invention, the touch screen is most preferable. The touch screen will be described with reference to the touch screen and will be referred to as a "display input unit 240". The display input unit 240 displays a wrap around image, receives a user's touch input, and transmits a trace of the received touch input to the controller 260.

저장부(250)는 데이터를 저장하기 위한 장치로, 주 기억 장치 및 보조 기억 장치를 포함한다. 이러한 저장부(250)는 운영 체제, 각종 어플리케이션을 저장할 수 있다. 특히, 저장부(250)는 본 발명의 실시예에 따라 로봇(100)을 제어하기 위한 어플리케이션을 저장할 수 있다. 그리고 저장부(250)는 로봇(100)으로부터 수신된 랩어라운드 영상을 저장하라 수 있다. 저장부(260)에 저장되는 데이터 등은 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다. The storage unit 250 is a device for storing data, and includes a main memory device and an auxiliary memory device. The storage unit 250 may store an operating system and various applications. In particular, the storage unit 250 may store an application for controlling the robot 100 according to an embodiment of the present invention. The storage unit 250 may store the wraparound image received from the robot 100. Data stored in the storage unit 260 may be deleted, changed, or added according to a user's manipulation.

제어부(260)는 운영 체제 및 어플리케이션 등을 실제로 구동시키는 프로세스 장치가 될 수 있다. 예컨대, 제어부는 중앙처리장치(CPU, Central Processing Unit)가 될 수 있다. 제어부(260)는 단말(200)의 전원이 켜지면, 운영 체제(OS, Operation System)를 저장부(250)의 보조 기억 장치로부터 주 기억 장치로 이동시킨 후, 운영 체제를 구동하는 부팅(booting)을 수행한다. 또한, 제어부(260)는 사용자의 조작에 따른 어플리케이션의 실행의 요청이 있는 경우, 저장부(250)에 미리 저장된 어플리케이션을 로드하여 실행시킬 수 있다. 특히, 제어부(260)는 랩어라운드 영상을 표시입력부(240)에 표시하며, 사용자의 터치 입력이 있는 경우, 이러한 입력에 따른 자취를 표시입력부(240)로부터 수신하여, 이러한 자취를 포함하는 제어 신호를 생성한 후, 생성된 제어 신호를 로봇(100)에 전송하여 로봇(100)이 터치 입력의 자취에 따라 이동하도록 한다. 이때, 제어부(260)는 랩어라운드 영상에서 장애물 영역을 침범하는 터치 입력이 있는 경우, 에러 메시지를 출력한다. The controller 260 may be a process device that actually drives an operating system and applications. For example, the control unit may be a central processing unit (CPU). When the terminal 200 is powered on, the controller 260 moves an operating system (OS) from the auxiliary storage device of the storage unit 250 to the main storage device, and then boots to drive the operating system. ). In addition, when there is a request for execution of an application according to a user's operation, the controller 260 may load and execute an application previously stored in the storage 250. In particular, the control unit 260 displays the wrap-around image on the display input unit 240 and, when there is a user's touch input, receives a trace corresponding to the input from the display input unit 240, and includes a control signal including the trace. After generating the, transmit the generated control signal to the robot 100 to move the robot 100 according to the trace of the touch input. In this case, the controller 260 outputs an error message when there is a touch input that invades the obstacle area in the wraparound image.

도 4는 본 발명의 실시예에 따른 랩어라운드 영상을 얻는 방법을 설명하기 위한 화면 예이다. 4 is a screen example for explaining a method of obtaining a wraparound image according to an exemplary embodiment of the present invention.

도 4를 참조하면, 본 발명의 실시예에서 랩어라운드 영상을 얻기 위해 4개의 카메라를 이용한다고 가정한다. 또한, 도면 부호 (a)에 도시된 바와 같이, 특정 공간에 로봇(100)이 화살표(400) 방향을 향하고 있다고 가정한다. 그리고 도면 부호 (b)에 도시된 바와 같이, 로봇(100)은 로봇 자신을 중심(450)으로 4개의 카메라를 통해 제1 내지 제4 영상(410 내지 440)을 촬영한다. 로봇(100)은 이러한 4개의 영상(410 내지 440)을 조합하여 하나의 랩어라운드 영상을 생성할 수 있다. 도시된 바와 같이, 랩어라운드 영상은 마치 하늘에서 내려다보는 것과 같은 모습을 보인다. 즉, 랩어라운드 영상은 로봇을 중심으로 사방을 평면도와 같이 표현한다. Referring to FIG. 4, it is assumed that an embodiment of the present invention uses four cameras to obtain a wraparound image. Also, as shown by reference numeral (a), it is assumed that the robot 100 faces the direction of the arrow 400 in a specific space. As shown in (b), the robot 100 captures the first to fourth images 410 to 440 through four cameras around the robot itself 450. The robot 100 may generate one wraparound image by combining the four images 410 to 440. As shown, the wraparound image looks like a view from the sky. That is, the wrap-around image expresses all sides of the robot as a plan view.

랩어라운드 영상을 생성하기 전, 로봇(100)은 체커 보드를 이용하여 칼리브레이션을 수행하여, 카메라의 내부변수 및 외부변수를 얻는다. 그런 다음, 로봇(100)은 이웃하는 카메라들 간에 렉터피케이션을 수행한다. 렉터피케이션은 칼리브레이션을 통해 구한 외부변수를 통해 이웃하는 카메라의 영상을 변형하여 두 영상의 y 축을 일치시키는 것을 말한다. 렉터피케이션은 이웃하는 카메라 간의 영상을 매칭시킬 때 연산량을 줄일 수 있다. 예를 들어, 제1 영상(410)의 한 점에 대한 제2 영상(420) 또는 제4 영상(440)의 매칭점을 찾을 때, 렉터피케이션 하지 않았을 경우 제2 영상(420) 또는 제4 영상(440)의 전체 또는 일부를 검색해야하는 반면, 렉터피케이션을 한 후에는 동일 y 좌표를 가지는 가로선 하나만을 검색하면 되기 때문에 연산량을 줄일 수 있다. 칼리브레이션 및 렉터피케이션을 수행한 후, 로봇(100)은 제1 내지 제4 영상(410 내지 440)을 조합하여 랩어라운드(Wrap Around) 영상을 생성한다. Before generating the wraparound image, the robot 100 performs calibration using a checker board to obtain internal and external variables of the camera. Then, the robot 100 performs acquisition between neighboring cameras. Retraction refers to matching the y-axis of two images by transforming the images of neighboring cameras through external variables obtained through calibration. Retraction can reduce the amount of computation when matching images between neighboring cameras. For example, when a matching point of the second image 420 or the fourth image 440 with respect to a point of the first image 410 is found, the second image 420 or the fourth image is not acquired. While all or part of the image 440 needs to be searched, since only one horizontal line having the same y coordinate needs to be searched after the retraction, the amount of computation can be reduced. After performing calibration and retraction, the robot 100 generates a wrap around image by combining the first to fourth images 410 to 440.

도 5는 본 발명의 실시예에 따른 장애물 영역을 설정하는 방법을 설명하기 위한 흐름도이며, 도 6은 본 발명의 실시예에 따른 장애물 영역을 설정하는 방법을 설명하기 위한 화면 예이다. 5 is a flowchart illustrating a method for setting an obstacle area according to an embodiment of the present invention, and FIG. 6 is a screen example for explaining a method for setting an obstacle area according to an embodiment of the present invention.

도 4, 도 5 및 도 6을 참조하면, 로봇(100)은 S10 단계에서 복수의 카메라로부터 복수의 영상을 획득한다. 그런 다음, 로봇(100)은 S20 단계에서 복수의 영상을 하나의 랩어라운드 영상으로 조합한다. 이는 앞서 설명한 바와 같다. 이러한 화면 예를 도 6의 (a)에 도시하였다. 랩어라운드 영상을 표시부(220) 또는 표시입력부(240)에 표시한다. 이때, 로봇(100)은 랩어라운드 영상을 생성할 시, 로봇(100) 자신을 중심(450)으로 촬영한 영상을 조합함으로, 화면의 중심에 로봇(100)이 위치한다. 랩어라운드 영상(510)을 표시할 때, 이러한 로봇(100)의 위치(450)를 같이 표시하며, 로봇(100)을 직관적으로 식별할 수 있는 로봇 아이콘(101) 등을 이용하여 표시할 수 있다. 4, 5 and 6, the robot 100 obtains a plurality of images from a plurality of cameras in step S10. Then, the robot 100 combines the plurality of images into one wraparound image in step S20. This is as described above. An example of such a screen is shown in FIG. The wrap around image is displayed on the display unit 220 or the display input unit 240. In this case, when the robot 100 generates the wrap-around image, the robot 100 combines the images photographed by the robot 450 as the center 450, and the robot 100 is positioned at the center of the screen. When displaying the wraparound image 510, the location 450 of the robot 100 may be displayed together, and the robot 100 may be displayed using a robot icon 101 that can intuitively identify the robot 100. .

그런 다음, 로봇(100)은 S30 단계에서 랩어라운드 영상을 복수의 영역으로 분할한다. 도 6의 도면 부호 (b)에 하나의 랩어라운드 영상을 복수의 영역으로 분할한 화면을 도시하였다. 본 발명의 실시예에서는 랩어라운드 영상으로부터 그래프 기반 이미지 세그멘테이션(Efficient Graph based Segmentation) 기법을 이용하여, 랩어라운드 영상을 복수의 영역으로 분할한다. 이때, 분할되는 영상에 대한 파라미터를 설정할 때, 가우시안 값을 조절하여, 너무 많은 영역으로 분할되지 않도록 조절한다. 이러한 가우시안 값은 실험값으로 결정함이 바람직하다. Then, the robot 100 divides the wraparound image into a plurality of regions in step S30. 6B illustrates a screen obtained by dividing one wraparound image into a plurality of regions. In an embodiment of the present invention, the wraparound image is divided into a plurality of regions by using an efficient graph based segmentation technique from the wraparound image. At this time, when setting a parameter for the divided image, the gaussian value is adjusted so as not to be divided into too many regions. Such Gaussian values are preferably determined by experimental values.

로봇(100)은 S40 단계에서 분할된 복수의 영역에서 로봇(100)이 속한 영역과 그렇지 않은 영역으로 구분한다. 이러한 구분은 분할된 영역의 텍스처와 다른 영역의 텍스처를 비교하여 이루어진다. 즉, 로봇(100)은 분할된 영역 중 로봇(100)이 위치한 영역과 텍스처 비교를 통해 미리 설정된 기준에 따라 로봇(100)이 속한 영역과 유사도를 가지는 영역을 로봇이 속한 영역과 동일한 영역으로 포함시킨다. The robot 100 is divided into a region to which the robot 100 belongs and a region not to the plurality of regions divided in operation S40. This distinction is made by comparing the texture of the divided region with the texture of another region. That is, the robot 100 includes a region having similarity with the region to which the robot 100 belongs, according to a preset reference, through texture comparison with the region where the robot 100 is located, as the region to which the robot belongs. Let's do it.

그런 다음, 로봇(100)은 S50 단계에서 앞서 S40 단계에서 포함되지 않은 영역을 장애물 영역(610)으로 설정하여 표시한다. Then, the robot 100 sets and displays an area not included in the step S40 as the obstacle area 610 in step S50.

정리하면, 로봇(100)이 이동할 수 있는 영역은 일반적으로 바닥이며, 이때, 바닥은 동일한 텍스처를 가진다. 본 발명의 실시예에서는 그래프 기반 이미지 세그멘테이션(Efficient Graph based Segmentation) 기법을 이용하여 1차로 복수의 영역으로 구분하고, 1차로 구분된 영역에서 로봇(100)이 위치한 영역과 다른 영역의 텍스처의 비교를 통해 미리 결정된 유사도에 따라 1차로 구분된 영역에서 로봇(100)이 위치한 영역과 유사한 텍스처를 가지는 영역을 로봇이 속한 영역에 포함시킨다. 그리고 나머지 영역을 장애물 영역(610)으로 결정한다. 이와 같이, 랩어라운드 영상에 장애물 영역(610)을 설정한 화면 예를 도 6의 (c)에 도시하였다. In summary, the area in which the robot 100 can move is generally a floor, where the floor has the same texture. In the exemplary embodiment of the present invention, an efficient graph based segmentation technique is used to firstly divide into a plurality of regions, and compare the texture of the region where the robot 100 is located with the texture of another region in the first divided region. In this case, a region having a texture similar to a region where the robot 100 is located in a region classified as a primary according to a predetermined similarity is included in the region to which the robot belongs. The remaining area is determined as the obstacle area 610. As such, an example of a screen in which the obstacle area 610 is set in the wraparound image is illustrated in FIG. 6C.

도 7은 본 발명의 실시예에 따른 랩어라운드 영상을 이용한 로봇의 제어 방법을 설명하기 위한 화면 예이다. 7 is a screen example for explaining a control method of a robot using a wraparound image according to an exemplary embodiment of the present invention.

도 4 내지 도 7을 참조하면, 로봇(100)은 장애물 영역(610)을 설정하고, 표시한 랩어라운드 영상을 단말(200)에 전송한다. 단말(200)은 랩어라운드 영상을 표시부(220) 또는 표시입력부(240)에 표시할 수 있다. 이때, 로봇(100)은 랩어라운드 영상을 생성할 시, 로봇(100) 자신을 중심(450)으로 촬영한 영상을 조합함으로, 화면의 중심에 로봇(100)이 위치한다. 단말(200)은 표시부(220) 또는 표시입력부(240)에 랩어라운드 영상(510)을 표시할 때, 이러한 로봇(100)의 위치(450)에 로봇(100)을 직관적으로 식별할 수 있는 로봇 아이콘(101) 등을 이용하여 표시할 수 있다. 4 to 7, the robot 100 sets the obstacle area 610 and transmits the displayed wraparound image to the terminal 200. The terminal 200 may display the wrap around image on the display unit 220 or the display input unit 240. In this case, when the robot 100 generates the wrap-around image, the robot 100 combines the images photographed by the robot 450 as the center 450, and the robot 100 is positioned at the center of the screen. When the terminal 200 displays the wrap-around image 510 on the display unit 220 or the display input unit 240, the robot 100 may intuitively identify the robot 100 at the position 450 of the robot 100. It can be displayed using the icon 101 or the like.

사용자는 터치 입력을 통해 해당 로봇 아이콘(101)을 이동시킬 수 있다. 예컨대, 사용자는 표시입력부(240)에서 로봇 아이콘(101)을 터치하여 이동을 원하는 위치로 드래그 할 수 있다. The user may move the robot icon 101 through a touch input. For example, the user may touch the robot icon 101 on the display input unit 240 and drag the robot icon to a desired position.

도 7의 (a)를 참조하면, 사용자의 터치 입력인 드래그에 따른 자취(710)가 장애물 영역(610)을 침범하였다. 이러한 경우, 단말(200)은 해당 영역으로 이동할 수 없음을 알리는 에러 메시지 등을 출력한다. 이러한 에러 메시지는 소리, 음성, 진동, 텍스트, 램프 등 다양한 방법을 제공될 수 있다. Referring to FIG. 7A, the trace 710 in response to a drag, which is a touch input of a user, invades the obstacle area 610. In this case, the terminal 200 outputs an error message indicating that it cannot move to the corresponding area. The error message may be provided with various methods such as sound, voice, vibration, text, and lamp.

한편, 도 7의 (b)를 참조하면, 사용자의 터치 입력에 따른 자취(720)가 장애물 영역(610)을 침범하지 않았다. 이러한 경우, 표시입력부(240)는 이러한 터치 입력에 따른 자취(720)를 제어부(260)에 전달한다. 그러면, 제어부(260)는 이러한 자취(720)를 포함하는 제어 신호를 생성한 후, 생성된 제어 신호를 로봇(100)에 전송하여 로봇(100)이 터치 입력의 자취(720)에 따라 이동하도록 한다. Meanwhile, referring to FIG. 7B, the trace 720 according to the user's touch input did not invade the obstacle area 610. In this case, the display input unit 240 transmits the trace 720 according to the touch input to the controller 260. Then, the controller 260 generates a control signal including the trace 720 and transmits the generated control signal to the robot 100 so that the robot 100 moves according to the trace 720 of the touch input. do.

도 8은 본 발명의 실시예에 따른 랩어라운드 영상을 이용한 제어 방법을 설명하기 위한 흐름도이다. 8 is a flowchart illustrating a control method using a wraparound image according to an embodiment of the present invention.

도 8을 참조하면, 로봇(100)은 S801 단계에서 복수의 방향에 대한 영상, 즉, 로봇(100)을 중심으로 사방의 영상(410, 420, 430, 440)을 복수의 카메라를 이용하여 획득한다. 그런 다음, 로봇(100)은 S603 단계에서 복수의 영상(410, 420, 430, 440)을 하나로 병합하여 랩어라운드 영상을 얻고, 장애물 영역(610)을 설정한다. 즉, 랩어라운드 영상으로부터 그래프 기반 이미지 세그멘테이션(Efficient Graph based Segmentation) 기법을 이용하여, 랩어라운드 영상을 복수의 영역으로 분할하고, 분할된 복수의 영역에서 텍스처의 유사도를 이용하여 로봇이 속하지 않은 영역을 장애물 영역(610)으로 설정하여 표시한다. 랩어라운드 영상에 장애물 영역(610)을 설정한 화면 예를 도 6의 (c)에 도시하였다. 이와 같이, 장애물 영역(610)을 설정한 랩어라운드 영상을 생성한 후, 로봇(100)은 S805 단계에서 랩어라운드 영상을 단말(200)에 전송한다. Referring to FIG. 8, in operation S801, the robot 100 acquires images of a plurality of directions, that is, images 410, 420, 430, and 440 of four directions around the robot 100 using a plurality of cameras. do. In operation S603, the robot 100 merges the plurality of images 410, 420, 430, and 440 into one to obtain a wraparound image, and sets the obstacle area 610. In other words, using a graph-based image segmentation technique from the wrap-around image, the wrap-around image is divided into a plurality of regions, and the similarity of the textures in the divided plurality of regions is used to determine an area where the robot does not belong. The obstacle area 610 is set and displayed. An example of a screen in which an obstacle area 610 is set in a wrap around image is illustrated in FIG. 6C. As such, after generating the wraparound image in which the obstacle area 610 is set, the robot 100 transmits the wraparound image to the terminal 200 in step S805.

단말(200)은 랩어라운드 영상을 수신하면, 선택적으로, 단말(200)과 로봇(100)은 S807 단계에서 랩어라운드 영상에 대해 동기를 맞추는 작업을 진행할 수 있다. 예컨대, 단말(200)의 표시부(220) 또는 표시입력부(240)의 해상도와 스크린의 크기에 따라 랩어라운드 영상(510)의 일부는 표시되지 못할 수 있다. 이러한 이유로, 단말(200)이 표시 또는 제어할 수 있는 랩어라운드 영상(510)의 높이(height) 및 폭(width)에 대해 상호간에 동기를 맞추는 것이 바람직하다. When the terminal 200 receives the wraparound image, optionally, the terminal 200 and the robot 100 may proceed to synchronize the wraparound image at operation S807. For example, a part of the wraparound image 510 may not be displayed depending on the resolution of the display unit 220 or the display input unit 240 of the terminal 200 and the size of the screen. For this reason, it is desirable to synchronize the height and width of the wraparound image 510 that the terminal 200 can display or control.

랩어라운드 영상(510)에 대한 상호간에 동기 설정이 완료되면, 단말(200)은 S809 단계에서 수신된 랩어라운드 영상(510)을 표시입력부(240)에 표시한다. 랩어라운드 영상은 로봇을 중심(450)으로 촬영되었기 때문에, 단말(200)은 도 4의 로봇(100)의 위치(450)에 로봇을 직관적으로 나타내는 로봇 아이콘(101) 등을 이용하여 표시할 수 있다. 특히, 랩어라운드 영상은 장애물 영역(610)을 같이 표시한다. When the synchronization setting for the wraparound image 510 is completed, the terminal 200 displays the wraparound image 510 received in step S809 on the display input unit 240. Since the wrap-around image is captured by the robot 450, the terminal 200 may display the robot at the location 450 of the robot 100 using the robot icon 101 that intuitively indicates the robot. have. In particular, the wraparound image displays the obstacle area 610 together.

사용자는 로봇 아이콘(101)을 통해 로봇(100)의 현재 위치를 직관적으로 인식할 수 있으며, 터치 입력을 이용하여 로봇을 이동시키고자 하는 경로를 입력할 수 있다. 또한, 사용자는 장애물 영역(610)을 통해 장애물을 직관적으로 인식할 수 있다. 이때, 사용자가 터치 입력을 통해 로봇을 이동시키고자 하는 경로를 입력하면, 단말(200)은 S811 단계에서 이러한 터치 입력을 수신한다. 그런 다음, 단말(200)은 S813 단계에서 터치 입력의 자취를 포함하는 제어 신호를 생성한다. 이때, 터치 입력의 자취가 장애물 영역(610)을 침범하는 경우, 에러 메시지를 리턴하고, 제어 신호를 생성하지 않을 수 있다. 이어서, 단말(200)은 S815 단계에서 제어 신호를 로봇(100)에 전송한다. The user may intuitively recognize the current position of the robot 100 through the robot icon 101, and may input a path for moving the robot by using a touch input. In addition, the user may intuitively recognize the obstacle through the obstacle area 610. In this case, when the user inputs a path to move the robot through the touch input, the terminal 200 receives the touch input in step S811. Then, the terminal 200 generates a control signal including the trace of the touch input in step S813. In this case, when the trace of the touch input invades the obstacle area 610, an error message may be returned and no control signal may be generated. Subsequently, the terminal 200 transmits a control signal to the robot 100 in step S815.

제어 신호를 수신한 로봇(100)은 S817 단계에서 수신된 제어 신호의 터치 입력의 자취에 따라 이동하되, 실제 지면에서의 스케일에 따라 이동한다. The robot 100 receiving the control signal moves according to the trace of the touch input of the control signal received in step S817, but moves according to the scale on the actual ground.

한편, 지금까지, 표시입력부(240)를 통해서 랩어라운드 영상을 표시하고, 로봇(100)의 이동을 위한 터치입력이 행해지는 것으로 설명되었지만, 표시부(220) 및 입력부(230)를 분할하여 표시부(220)에서 랩어라운드 영상을 표시하고, 입력부(230)의 조작을 통해 랩어라운드 영상의 로봇 아이콘(101)을 이동시킴으로써 로봇(100)을 조작할 수도 있다. On the other hand, it has been described that the display of the wrap-around image through the display input unit 240 and the touch input for the movement of the robot 100 is performed, but the display unit 220 and the input unit 230 are divided into the display unit ( The robot 100 may be manipulated by displaying a wraparound image at 220 and moving the robot icon 101 of the wraparound image through manipulation of the input unit 230.

상술한 본 발명의 실시예에 따른 로봇의 원격 제어 방법은, 다양한 컴퓨터 수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함 할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. The remote control method of the robot according to the embodiment of the present invention described above may be implemented in a program form readable through various computer means and recorded on a computer readable recording medium. Here, the recording medium may include a program command, a data file, a data structure, etc. alone or in combination. The program instructions recorded on the recording medium may be those specially designed and constructed for the present invention, or may be known and available to those skilled in computer software. For example, the recording medium may be a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, an optical medium such as a CD-ROM or a DVD, a magneto-optical medium such as a floppy disk magneto-optical media, and hardware devices that are specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions may include machine language code such as those generated by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like. Such a hardware device may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

지금까지, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is evident that many alternatives, modifications, and variations will be apparent to those skilled in the art. It is obvious to those who have the knowledge of. In addition, although specific terms are used in the specification and the drawings, they are only used in a general sense to easily explain the technical contents of the present invention and to help the understanding of the present invention, and are not intended to limit the scope of the present invention.

본 발명은 랩어라운드 영상을 이용한 로봇 원격 제어를 위한 방법 및 이를 위한 장치에 관한 것이며, 이러한 본 발명은 로봇 자신을 기준으로 상기 로봇을 중심으로 사방을 평면도와 같이 나타내는 랩어라운드 영상을 생성하고, 상기 랩어라운드 영상에서 로봇 자신의 위치한 영역이 아닌 영역을 장애물 영역으로 표시하며, 장애물 영역이 표시된 랩어라운드 영상을 전송하는 상기 로봇과, 상기 장애물 영역이 표시된 랩어라운드 영상을 화면으로 표시하고, 표시된 랩어라운드 영상에 따라 로봇의 위치 이동을 위한 입력이 있으면, 상기 입력에 따라 로봇이 이동하도록 제어하는 제어 신호를 상기 로봇에 전송하는 단말을 포함하여 제공한다. 상술한 바와 같이 본 발명은 랩어라운드를 이용하여 로봇을 마치 하늘에서 내려다 보다는 시점을 제공함으로써, 사용자가 로봇의 이동 경로를 제어할 때, 직관적으로 제어할 수 있도록 한다. 특히, 사용자가 로봇을 위에서 내려다보는 관점에서 제어를 할 수 있어 좁은 지역에서 상대적으로 짧은 이동과 회전이 많은 로봇의 경우, 예컨대, 청소 로봇 등의 경우에, 훨씬 더 직관적인 제어가 가능하다. 또한, 본 발명은 랩어라운드 영상에 장애물을 표시하여 제공함으로써, 사용자가 직관적으로 장애물을 인식할 수 있으며, 로봇을 조작할 시, 장애물을 인식하여 조작할 수 있으며, 오직, 카메라, 즉, 광학 센서만을 이용하여 장애물을 인식할 수 있어, 비용이 절약되며, 효율적으로 로봇을 조작할 수 있다. 이는 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다. The present invention relates to a method for remotely controlling a robot using a wraparound image, and an apparatus therefor. The present invention generates a wraparound image representing a plane around the robot as a plan view based on the robot itself. In the wrap-around image, an area other than the robot's own area is displayed as an obstacle area, and the robot transmitting a wrap-around image in which the obstacle area is displayed, and a wrap-around image in which the obstacle area is displayed, are displayed on the screen. If there is an input for moving the position of the robot according to the image, it provides a terminal including a control signal for controlling the robot to move according to the input to the robot. As described above, the present invention provides a viewpoint through the robot as if looking down from the sky, so that the user can intuitively control the robot's movement path. In particular, since the user can control the robot from the viewpoint of looking down from the top, a robot having a lot of relatively short movements and rotations in a small area, for example, a cleaning robot, etc., is much more intuitive to control. In addition, the present invention by displaying the obstacle in the wrap-around image, the user can intuitively recognize the obstacle, when operating the robot can recognize and manipulate the obstacle, only the camera, that is, the optical sensor Obstacles can be recognized using the bay, which saves money and enables the robot to be operated efficiently. This is not only a possibility of commercialization or sales, but also a possibility of being industrially applicable since it is practically possible to carry out clearly.

100: 로봇
110: 카메라 모듈 120: 통신 모듈
130: 저장 모듈 140: 표시 모듈
150: 이동 모듈 160: 제어 모듈
200: 단말
210: 통신부 220: 표시부
230: 입력부 240: 표시입력부
250: 저장부 260: 제어부100: Robot
110: camera module 120: communication module
130: storage module 140: display module
150: moving module 160: control module
200: terminal
210: communication unit 220: display unit
230: input unit 240: display input unit
250: storage unit 260: control unit

Claims

An apparatus for remotely controlling a robot,
Create a wrap-around image showing the four sides of the robot as a plan view with respect to the robot itself, and display a region around the robot as the obstacle region, the wrap-around image showing the obstacle region in the wrap-around image The robot to transmit; And
A terminal for displaying a wraparound image in which the obstacle area is displayed on the screen, and transmitting a control signal to the robot to control the robot to move according to the input when an input for moving the robot is located according to the displayed wraparound image; Characterized in that it comprises
Device for controlling the robot remotely.

The method of claim 1, wherein the robot
Using an efficient graph based segmentation technique, the wraparound image is divided into a plurality of areas, and the similarity with the area to which the robot belongs is set according to a predetermined standard through texture comparison with the area where the robot is located among the divided areas. An apparatus for remotely controlling a robot comprising an area having a same area as the robot and setting the remaining area as an obstacle area.

The method of claim 1, wherein the robot
It includes a plurality of cameras for shooting all around the robot,
Wrap-around image is a device for remotely controlling the robot, characterized in that the image is a combination of a plurality of images taken all around the robot into one image.

The method of claim 1, wherein the terminal is a wraparound video
Displaying a robot icon that intuitively represents the robot,
It is displayed to be distinguished from the obstacle area and the non-obstruction area,
Detects an input by a touch for moving the robot icon, and if the trace by the touch input is included in the obstacle area, outputs an error message indicating that the robot cannot move, and the trace by the touch input is the obstacle area. If not included, the apparatus for remotely controlling the robot, characterized in that for generating a control signal including a trace of the input by the touch.

In the method for controlling the robot remotely,
Generating, by the robot, a wrap around image representing the four sides of the robot as a plan view based on the robot itself;
Setting an area other than the robot's own area as an obstacle area in the wraparound image;
Transmitting a wraparound image displaying the obstacle area to a terminal;
Displaying, by the terminal, the wraparound image;
Generating, by the terminal, a control signal for controlling the robot to move according to the input if an input for moving the position of the robot exists in the displayed wraparound image; And
Transmitting the control signal to the robot.

The method of claim 5,
The setting step
Dividing the wraparound image into a plurality of regions by using an efficient graph based segmentation technique; And
And including an area having similarity with the area to which the robot belongs according to a preset reference through texture comparison with the area where the robot is located among the divided areas as the same area as the robot, and setting the remaining area as an obstacle area. Characterized by
A method for remotely controlling a robot, characterized in that.

The method of claim 5,
In the displaying, the terminal displays a robot icon that intuitively represents the robot on a wraparound image, and displays an obstacle area to be distinguished from an area that is not an obstacle.
The generating of the control signal may include detecting an input by a touch for moving the robot icon, outputting an error message indicating that the touch input is an area that cannot be moved when the trace input by the touch input is included in the obstacle area, and touching the touch. If the trace by the input is not included in the obstacle area, generating a control signal including the trace of the input by the touch.

The method of claim 5,
The robot has a plurality of cameras for shooting the four sides,
The generating of the wraparound image may include generating a wraparound image by merging a plurality of images taken by a plurality of cameras based on the robot.
Method for remotely controlling the robot.