KR101358064B1 - Method for remote controlling using user image and system of the same - Google Patents

Method for remote controlling using user image and system of the same Download PDF

Info

Publication number
KR101358064B1
KR101358064B1 KR1020120120705A KR20120120705A KR101358064B1 KR 101358064 B1 KR101358064 B1 KR 101358064B1 KR 1020120120705 A KR1020120120705 A KR 1020120120705A KR 20120120705 A KR20120120705 A KR 20120120705A KR 101358064 B1 KR101358064 B1 KR 101358064B1
Authority
KR
South Korea
Prior art keywords
image
user
target position
user image
remote control
Prior art date
Application number
KR1020120120705A
Other languages
Korean (ko)
Inventor
홍성용
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020120120705A priority Critical patent/KR101358064B1/en
Application granted granted Critical
Publication of KR101358064B1 publication Critical patent/KR101358064B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Abstract

The present invention relates to a device and a system for remote controlling using a user image, the method includes: a step that a remote control device displays a user image on a touch screen by a remote control device; a step that the remote control device provides a selected result to a remote moving device when a destination location or a travel route on the user image is selected by a user; a step that the remote moving device matches an image by converting the destination location or the travel route on the user image into a destination location or a travel route on a front image by performing image matching operation between the its own front image and the user image; and a motion control step that the remote moving device performs motion control operation based on a destination location or a travel route on the front image. [Reference numerals] (AA) User image; (BB) Destination location

Description

사용자 이미지를 이용한 원격 제어 방법 및 시스템{METHOD FOR REMOTE CONTROLLING USING USER IMAGE AND SYSTEM OF THE SAME} METHOOD FOR REMOTE CONTROLLING USING USER IMAGE AND SYSTEM OF THE SAME}

본 발명은 로봇 원격 제어 기술에 관한 것으로, 특히 사용자가 원격 제어 장치의 터치 스크린을 통해 표시된 사용자 이미지를 이용하여 로봇의 위치 또는 이동 경로를 원격 제어할 수 있도록 하는 사용자 이미지를 이용한 원격 제어 방법 및 시스템에 관한 것이다. The present invention relates to a robot remote control technology, and in particular, a method and system for remote control using a user image that enables a user to remotely control the position or movement path of a robot using a user image displayed through a touch screen of a remote control device. It is about.

일반적으로 로봇을 제어하기 위해서는, 로봇 움직임을 제어하기 위한 각종 명령어들을 사전에 정의하고 이들 명령어를 데이터 또는 음성 형태로 입력하거나, 각종 명령어가 매핑된 버튼을 구비하고 키 버튼 선택 동작을 통해 사용자가 원하는 명령어가 제공되도록 한다. Generally, in order to control the robot, various commands for controlling the robot movement are defined in advance and these commands are inputted in data or voice form, or buttons to which various commands are mapped, Let the command be provided.

그러나 명령어를 통해 로봇을 제어하고자 하는 경우에는, 사용자는 특정 명령어를 숙지하고 있어야 하고, 이를 시기 적절하게 로봇에 제공해야지만 로봇을 자신이 원하는 데로 움직일 수 있어, 로봇 제어에 숙련된 기술이 필요로 하는 문제가 있다. However, if the user wishes to control the robot through commands, the user must know a specific command and provide the robot in a timely manner. However, since the robot can be moved as desired, There is a problem.

또한 키 버튼을 통해 로봇을 제어하는 경우에도, 사용자가 원하는 명령어를 입력하기 위해 해당 키 버튼을 일일이 선택해줘야 하는 번거로움이 있었다. Further, even when the robot is controlled by the key button, there is a problem that the user must select the corresponding key button individually in order to input a desired command.

이에 본 발명에서는 사용자가 원격 제어 장치의 터치 스크린을 통해 표시된 사용자 이미지를 통해 로봇의 이동 목표 위치 또는 이동 경로를 선택하는 단순 동작을 통해 원격지에 위치하는 로봇의 움직임을 제어할 수 있도록 함으로써, 사용자가 편이성을 극대화시켜 줄 수 있도록 하는 사용자 이미지를 이용한 원격 제어 방법 및 시스템을 제공하고자 한다. Accordingly, in the present invention, by allowing the user to control the movement of the robot located at a remote location through a simple operation of selecting the moving target position or the moving path of the robot through the user image displayed on the touch screen of the remote control device, To provide a remote control method and system using a user image to maximize the convenience.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 원격 제어 장치가 사용자 이미지를 터치 스크린에 표시하는 표시 단계; 사용자에 의해 상기 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 선택되면, 상기 선택 결과를 원격 이동 장치에 제공하는 선택 단계; 상기 원격 이동 장치가 자신의 전방 이미지와 상기 사용자 이미지 간 이미지 매칭 동작을 수행하여, 상기 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 상기 전방 이미지 상에서의 이동 목표 위치 또는 이동 경로로 변환하는 이미지 매칭 단계; 및 상기 원격 이동 장치가 상기 전방 이미지 상에서의 이동 목표 위치 또는 이동 경로를 기반으로 움직임 제어 동작을 수행하는 움직임 제어 단계를 포함하는 터치 스크린을 이용한 원격 제어 방법을 제공한다. As a means for solving the above problems, according to an embodiment of the present invention, the remote control device display step of displaying a user image on the touch screen; Selecting a moving target position or moving path on the user image by a user, providing a selection result to a remote mobile device; An image matching step of converting a moving target position or a moving path on the user image into a moving target position or a moving path on the front image by performing the image matching operation between the front image and the user image of the remote mobile device; ; And a motion control step of performing, by the remote mobile device, a motion control operation based on a movement target position or a movement path on the front image.

상기 사용자 이미지는 상기 원격 제어 장치가 상기 원격 제어 장치에 내장된 카메라를 통해 실시간 촬영한 이미지일 수 있다.The user image may be an image captured by the remote controller in real time through a camera embedded in the remote controller.

상기 사용자 이미지는 상기 원격 제어 장치에 미리 등록된 사진들 중 사용자에 의해 선택된 사진이며, 상기 원격 장치에 미리 등록된 사진들 각각은 이미지 데이터 이외에 촬영 시점 정보를 메타 데이터로 더 구비할 수 있다. The user image may be a picture selected by a user among pictures pre-registered in the remote control device, and each of the pictures pre-registered in the remote device may further include photographing time information as metadata in addition to image data.

상기 선택 단계는 상기 사용자 이미지, 상기 사용자 이미지의 시점, 상기 이동 목표 위치의 이미지 좌표, 상기 이동 목표 위치에 존재하는 객체 중 적어도 하나에 대한 정보를 상기 선택 결과로 원격 이동 장치에 제공할 수 있다. The selecting step may provide the remote mobile device with information on at least one of the user image, the viewpoint of the user image, the image coordinates of the moving target position, and the object existing in the moving target position.

상기 사용자 이미지의 시점은 상기 원격 제어 장치에 구비된 위치 추적 장치와 모션 감지 장치를 통해 획득된 위치 좌표, 방위, 기울기 각도에 의해 결정되는 것을 특징으로 한다. The viewpoint of the user image may be determined by position coordinates, azimuths, and inclination angles obtained through the location tracking device and the motion detection device provided in the remote control device.

상기 이미지 매칭 단계는 상기 원격 이동 장치가 자신의 전방 이미지를 촬영하고, 상기 전방 이미지의 시점 정보를 획득하는 단계; 상기 사용자 이미지와 상기 전방 이미지의 시점을 비교하여 시점차를 계산하는 단계; 및 상기 시점차를 기반으로 상기 사용자 이미지와 상기 전방 이미지를 이미지 매칭하여 상기 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 상기 전방 이미지 상에서의 이동 목표 위치 또는 이동 경로로 변환하는 단계;를 포함할 수 있다. The image matching step may include: photographing, by the remote mobile device, its front image and obtaining view information of the front image; Calculating a viewpoint difference by comparing the viewpoints of the user image and the front image; And converting the moving target position or the moving path on the user image into the moving target position or the moving path on the front image by image matching the user image and the front image based on the viewpoint difference. have.

상기 이미지 매칭 단계는 상기 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 상기 전방 이미지 상에서의 이동 목표 위치 또는 이동 경로로 변환이 불가능하면, 상기 시점차를 고려하여 상기 원격 이동 장치의 촬영 방위, 촬영 각도, 촬영 위치 중 적어도 하나를 추가 조정한 후, 이미지 매칭 동작을 재수행하는 단계를 더 포함할 수 있다.
In the image matching step, when it is impossible to convert the moving target position or the moving path on the user image into the moving target position or the moving path on the front image, the photographing orientation and the photographing angle of the remote mobile device in consideration of the viewpoint difference. The method may further include performing an image matching operation after additionally adjusting at least one of the photographing positions.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따르면, 사용자 이미지를 터치 스크린에 표시하고, 사용자에 의해 상기 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 선택되면, 상기 선택 결과를 통보하는 원격 제어 장치; 및 전방 이미지를 획득 및 제공하는 카메라를 구비하며, 상기 선택 결과를 기반으로 상기 전방 이미지와 상기 사용자 이미지 간 이미지 매칭 동작을 수행하여 상기 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 상기 전방 이미지 상에서의 이동 목표 위치 또는 이동 경로로 변환한 후, 상기 변환 결과에 따라 움직임 제어 동작을 수행하는 원격 이동 장치;를 포함하는 터치 스크린을 이용한 원격 제어 시스템을 제공한다. As a means for solving the above problem, according to another embodiment of the present invention, the user image is displayed on the touch screen, and the user is notified of the selection result when the moving target position or the moving path is selected on the user image. Remote control device; And a camera for acquiring and providing a front image, and performing an image matching operation between the front image and the user image based on the selection result to determine a moving target position or a moving path on the user image on the front image. And a remote mobile device configured to perform a motion control operation according to the conversion result after converting to a moving target position or a moving path.

상기 원격 제어 장치는 상기 사용자 이미지를 화면 표시하고, 상기 사용자 이미지 상에서의 이동 목표 위치 또는 이동 경로를 결정하기 위한 사용자의 터치 지점 또는 드래그 제스처를 인식 및 통보하는 터치 스크린; 상기 원격 제어 장치에 구비된 카메라를 통해 획득된 이미지 또는 미리 등록된 사진들 중 사용자에 의해 선택된 사진을 사용자 이미지로 획득 및 제공하는 이미지 획득부; 상기 사용자 이미지의 시점을 파악 및 통보하는 사용자 시점 결정부; 및 상기 터치 스크린에 상기 사용자 이미지를 표시한 후, 사용자에 의해 상기 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 선택되면 상기 사용자 이미지, 상기 사용자 이미지의 시점 정보, 및 상기 이동 목표 위치 또는 이동 경로에 대한 정보를 상기 원격 이동 장치에 제공하는 원격 제어부;를 포함할 수 있다. The remote control device may include: a touch screen displaying the user image and recognizing and notifying a user's touch point or drag gesture for determining a moving target position or a moving path on the user image; An image acquiring unit for acquiring and providing a user image of an image acquired through a camera included in the remote control apparatus or a photo selected by a user among pre-registered photos; A user viewpoint determiner for identifying and notifying a viewpoint of the user image; And after displaying the user image on the touch screen and selecting a moving target position or moving path on the user image by the user, the user image, viewpoint information of the user image, and the moving target position or moving path. It may include; a remote control unit for providing information on the remote mobile device.

상기 원격 장치에 미리 등록된 사진들 각각은 이미지 데이터 이외에 촬영 시점 정보를 메타 데이터로 더 구비할 수 있다. Each of the photos registered in advance in the remote device may further include photographing time information as metadata in addition to image data.

상기 사용자 시점 결정부는 상기 사용자 이미지가 상기 원격 제어 장치에 구비된 카메라를 통해 획득된 이미지인 경우에는 상기 원격 제어 장치에 구비된 위치 추적 장치와 모션 감지 장치를 통해 획득된 위치 좌표, 방위, 기울기 각도를 통해 상기 사용자 이미지의 시점을 파악하고, When the user image is an image obtained through a camera provided in the remote control device, the user view determiner determines the position coordinates, azimuth, and tilt angles obtained by the position tracking device and the motion detection device provided in the remote control device. To determine the viewpoint of the user image,

상기 원격 제어 장치에 미리 등록된 사진인 경우에는 상기 원격 장치에 미리 등록된 사진에 포함된 촬영 시점 정보일 수 있다. When the picture is registered in advance in the remote control device, the photograph may be photographing time point information included in the picture previously registered in the remote device.

상기 원격 제어부는 상기 이동 목표 위치의 이미지 좌표 정보, 상기 이동 목표 위치에 존재하는 객체에 대한 정보를 상기 이동 목표 위치에 대한 정보로 획득할 수 있다. The remote controller may acquire image coordinate information of the moving target position and information on an object existing at the moving target position as the information on the moving target position.

상기 이동 목표 위치에 존재하는 객체에 대한 정보는 객체 색상 정보, 객체 형상 정보, 및 객체 특징점 정보 중 적어도 하나일 수 있다. The information on the object present at the movement target position may be at least one of object color information, object shape information, and object feature point information.

상기 원격 이동 장치는 상기 원격 이동 장치에 구비된 카메라를 통해 상기 원격 이동 장치에 구비된 카메라를 통해 전방 영역을 촬영하여 상기 전방 이미지를 획득하는 이미지 촬영부; 상기 원격 이동 장치에 구비된 위치 추적 장치와 모션 감지 장치를 통해 획득된 위치 좌표, 방위, 기울기 각도를 기반으로 상기 전방 이미지의 시점을 파악하는 시점 결정부; 및 상기 사용자 이미지와 상기 전방 이미지의 시점차에 따라 상기 사용자 이미지와 상기 전방 이미지를 이미지 매칭하여 상기 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 상기 전방 이미지 상에서의 이동 목표 위치 또는 이동 경로로 변환하고, 상기 변환 결과에 따라 움직임 제어 동작을 수행하는 이동부;를 포함할 수 있다. The remote mobile device may include: an image photographing unit which acquires the front image by capturing a front area through a camera provided in the remote mobile device through a camera provided in the remote mobile device; A viewpoint determination unit that grasps the viewpoint of the front image based on the position coordinates, the orientation, and the inclination angle obtained through the position tracking device and the motion detection device included in the remote mobile device; And image matching the user image and the front image according to a viewpoint difference between the user image and the front image to convert a moving target position or a moving path on the user image into a moving target position or a moving path on the front image. And a moving unit performing a motion control operation according to the conversion result.

상기 이동부는 이미지 매칭 결과, 상기 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 상기 전방 이미지 상에서의 이동 목표 위치 또는 이동 경로로 변환이 불가능하면, 상기 시점차를 고려하여 상기 원격 이동 장치의 촬영 방위, 촬영 각도, 촬영 위치 중 적어도 하나를 추가 조정한 후, 이미지 매칭 동작을 재수행할 수 있다. If it is impossible to convert the moving target position or the moving path on the user image into the moving target position or the moving path on the front image as a result of the image matching, the moving direction of the remote moving device in consideration of the viewpoint difference, After further adjusting at least one of the photographing angle and the photographing position, the image matching operation may be performed again.

상기 원격 이동 장치는 로봇 또는 휠체어일 수 있다. The remote mobile device may be a robot or a wheelchair.

본 발명의 사용자 이미지를 이용한 원격 제어 방법 및 시스템은 사용자가 명령어 또는 키 버튼을 반복 선택하여 로봇의 움직임을 지속적으로 제어할 필요 없이, 원격 제어 장치의 터치 스크린에 표시된 이미지를 통해 특정 위치 또는 이동 경로를 한번만 선택하더라도, 로봇이 해당 위치 또는 이동 경로로 자동 이동될 수 있도록 함을 알 수 있다. 이에 사용자의 제어 편이성은 극대화될 수 있게 된다. In the remote control method and system using the user image of the present invention, the user does not need to repeatedly select a command or a key button to continuously control the movement of the robot, and a specific position or movement path through the image displayed on the touch screen of the remote control device. Even if only once is selected, it can be seen that the robot can be automatically moved to the corresponding position or movement path. In this way, the user's control convenience can be maximized.

도1은 본 발명의 일 실시예에 따른 사용자 이미지를 이용한 원격 제어 시스템을 도시한 도면이다.
도2은 본 발명의 일 실시예에 따른 사용자 이미지를 이용한 원격 제어 시스템의 상세 구성을 도시한 도면이다.
도3은 본 발명의 일 실시예에 따른 원격 제어 방법을 설명하기 위한 도면이다.
도4은 본 발명의 일 실시예에 따라 터치 스크린에 표시되는 사용자 이미지의 일 예를 도시한 도면이다.
도5는 본 발명의 일 실시예에 따라 터치 스크린에 표시되는 사용자 이미지를 통해 선택되는 이동 목표 위치의 일 예를 도시한 도면이다.
도6은 본 발명의 일 실시예에 따른 이미지 매칭 결과 예를 도시한 도면이다.
도7은 본 발명의 일 실시예에 따른 원격 제어 개념을 도시한 도면이다.
도8은 본 발명의 다른 실시예에 따른 원격 제어 방법을 설명하기 위한 도면이다.
도9는 본 발명의 다른 실시예에 따른 원격 제어 개념을 도시한 도면이다.1 is a view showing a remote control system using a user image according to an embodiment of the present invention.
2 is a diagram illustrating a detailed configuration of a remote control system using a user image according to an embodiment of the present invention.
3 is a view for explaining a remote control method according to an embodiment of the present invention.
4 is a diagram illustrating an example of a user image displayed on a touch screen according to an embodiment of the present invention.
5 is a diagram illustrating an example of a moving target position selected through a user image displayed on a touch screen according to an embodiment of the present invention.
6 is a diagram illustrating an example of an image matching result according to an embodiment of the present invention.
7 is a diagram illustrating a remote control concept according to an embodiment of the present invention.
8 is a view for explaining a remote control method according to another embodiment of the present invention.
9 is a diagram illustrating a remote control concept according to another embodiment of the present invention.

이하 첨부된 도면을 참조하여 본 발명에 대해 구체적으로 살펴보기로 한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

다만, 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 용어가 동일하더라도 표시하는 부분이 상이하면 도면 부호가 일치하지 않음을 미리 말해두는 바이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. Even if the terms are the same, it is to be noted that when the portions to be displayed differ, the reference signs do not coincide.

그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 설정된 용어들로서 이는 실험자 및 측정자와 같은 사용자의 의도 또는 관례에 따라 달라질 수 있으므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed.

본 명세서에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. The terms first, second, etc. in this specification may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise.

다르게 정의되지 않는 하, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the relevant art and are to be interpreted in an ideal or overly formal sense unless explicitly defined in the present application Do not.

이하 첨부된 도면을 참조하여 본 발명에 대해 구체적으로 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. In order to facilitate the understanding of the present invention, the same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.

도1은 본 발명의 일 실시예에 따른 사용자 이미지를 이용한 원격 제어 시스템을 도시한 도면이다.1 is a view showing a remote control system using a user image according to an embodiment of the present invention.

도1에 도시된 바와 같이, 본 발명의 원격 제어 시스템은 크게 원격 이동 장치(20)과, 상기 원격 이동 장치(20)의 움직임을 제어하는 원격 제어 장치(10)로 구성되며, 원격 이동 장치(20)과 원격 제어 장치(10)는 유/무선 방식으로 서로 통신하도록 한다. As shown in FIG. 1, the remote control system of the present invention is composed of a remote mobile device 20 and a remote control device 10 that controls the movement of the remote mobile device 20. 20 and the remote control device 10 to communicate with each other in a wired / wireless manner.

상기 원격 이동 장치(20)는 로봇, 휠체어, 장난감 자동차 등과 같이 외부로부터 전송되는 제어 신호에 따라 이동 가능한 모든 장치로 구현될 수 있다. 다만, 본 발명에서는 설명의 편이를 위해 로봇을 원격 이동 장치의 일례로 들어 설명하기로 하고, 로봇과 원격 이동 장치가 동일한 식별 부호(20)를 가지도록 한다. The remote mobile device 20 may be implemented as any device that can move according to a control signal transmitted from the outside, such as a robot, a wheelchair, a toy car, and the like. However, in the present invention, for convenience of description, the robot will be described as an example of a remote mobile device, and the robot and the remote mobile device have the same identification code 20.

상기 원격 제어 장치(10)는 터치 스크린을 구비한 소형 휴대 단말 장치로 구현되거나, 스마트 폰, 태블릿 PC 및 노트북 등과 같이 터치 스크린을 구비하는 각종 통신 기기에 내장되는 형태로 구현되어, 사용자가 터치 스크린에 표시되는 이미지를 통해 로봇의 이동 목표 위치 또는 이동 경로를 설정하면, 이에 따라 로봇의 움직임을 원격 제어하도록 한다.
The remote control device 10 is implemented as a small portable terminal device having a touch screen, or embedded in various communication devices including a touch screen such as a smart phone, a tablet PC, a laptop, and the like. When the moving target position or the movement path of the robot is set through the image displayed on the screen, the robot movement is remotely controlled accordingly.

도2은 본 발명의 일 실시예에 따른 사용자 이미지를 이용한 원격 제어 시스템의 상세 구성을 도시한 도면이다. 2 is a diagram illustrating a detailed configuration of a remote control system using a user image according to an embodiment of the present invention.

도2를 참고하면, 본 발명의 원격 제어 장치(10)는 이미지 획득부(110), 사용자 시점 결정부(120), 로봇 원격 제어부(130), 터치 스크린(140), 및 통신부(150) 등을 포함할 수 있다. Referring to FIG. 2, the remote control apparatus 10 of the present invention may include an image acquirer 110, a user viewpoint determiner 120, a robot remote controller 130, a touch screen 140, a communication unit 150, and the like. It may include.

이미지 획득부(110)는 로봇(20)의 움직임 제어에 이용할 사용자 이미지를 획득한다. The image acquirer 110 acquires a user image to be used for controlling the movement of the robot 20.

특히, 본 발명의 이미지 획득부(110)는 원격 제어 장치(10)에 내장된 카메라를 통해 실시간 촬영된 이미지를 사용자 이미지로 활용할 수 있으나, 로봇이 주로 이용되는 장소의 이미지들을 미리 등록한 후, 이들을 사용자 이미지로 활용할 수도 있도록 한다. 다만, 원격 제어 장치(10)에 미리 등록된 이미지는 이미지 데이터 이외에 촬영 시점 정보를 메타 데이터로 구비하는 것이 더욱 바람직하다. In particular, the image acquisition unit 110 of the present invention may utilize the image taken in real time through a camera built in the remote control device 10 as a user image, but before registering the image of the place where the robot is mainly used, It can also be used as a user image. However, it is more preferable that the image registered in advance in the remote control apparatus 10 includes photographing time information as metadata as well as image data.

또한, 이미지 획득부(110)는 이미지 업데이트 동작을 지원하여, 사용자가 항상 최신 버전의 이미지를 사용하여 로봇을 원격 제어할 수 있도록 한다. In addition, the image acquisition unit 110 supports an image update operation, so that the user can always remotely control the robot using the latest version of the image.

사용자 시점 결정부(120)는 GPS 장치 등과 같은 위치 추적 장치와, 나침반 센서, 가속도 센서, 및 각속도 센서 등과 같은 모션 감지 장치를 구비하며, 이들을 통해 사용자 이미지의 시점을 파악한다. 이때, 사용자 이미지 시점은 원격 제어 장치의 위치 좌표, 방위, 기울기 각도에 의해 결정되는 3차원 시점이 될 수 있을 것이다. The user viewpoint determiner 120 includes a location tracking device such as a GPS device, and a motion detection device such as a compass sensor, an acceleration sensor, and an angular velocity sensor. In this case, the user image viewpoint may be a three-dimensional viewpoint determined by the position coordinates, the orientation, and the tilt angle of the remote control apparatus.

다만, 카메라 촬영 이미지를 사용자 이미지로 이용하는 경우에는, 사용자 시점 결정부(120)는 상기 위치 추적 장치와 모션 감지 장치를 통해 파악된 3차원 시점을 사용자 이미지의 3차원 시점으로 그대로 활용하도록 하나, 원격 제어 장치(10)에 기 등록된 이미지들 중 하나를 사용자 이미지로 이용하는 경우에는, 선택 이미지의 메타 데이터에 포함된 시점 정보를 사용자 이미지의 3차원 시점으로 활용하도록 한다. However, the camera shoots images In the case of using a user image, the user viewpoint determiner 120 uses the three-dimensional view point detected by the position tracking device and the motion detection device as a three-dimensional view point of the user image. When one of the pre-registered images is used as the user image, the viewpoint information included in the metadata of the selected image is used as the 3D viewpoint of the user image.

로봇 원격 제어부(130)는 사용자가 로봇 원격 제어를 요청하면, 터치 스크린(140)에 사용자 이미지를 표시하여 사용자가 사용자 이미지를 통해 로봇의 이동 목표 위치 또는 이동 경로를 선택할 수 있도록 한다. 그리고 사용자 선택이 완료되면, 사용자 이미지, 로봇의 이동 목표 위치 또는 이동 경로, 사용자 이미지 시점 등에 관련된 정보를 수집한 후 로봇(20)에 제공하여, 로봇(20)가 이를 기준으로 위치 제어 동작을 수행할 수 있도록 한다. When the user requests the robot remote control, the robot remote controller 130 displays a user image on the touch screen 140 so that the user can select a moving target position or a moving path of the robot through the user image. When the user selection is completed, information related to a user image, a moving target position or a moving path of the robot, a user image viewpoint, and the like are collected and provided to the robot 20, and the robot 20 performs a position control operation based on the information. Do it.

터치 스크린(140)는 로봇 원격 제어에 필요한 각종 정보를 표시함과 동시에 사용자로부터 입력되는 각종 제어값을 획득하여 로봇 원격 제어부(130)에 제공하며, 특히 본 발명의 터치 스크린(140)은 사용자 이미지를 화면 표시한 후, 사용자 이미지 상에서의 이동 목표 위치 또는 이동 경로를 결정하기 위한 사용자의 터치 지점 또는 드래그 제스처를 인식 및 통보해준다. The touch screen 140 displays various information required for the remote control of the robot and at the same time obtains various control values input from the user and provides them to the robot remote control unit 130. In particular, the touch screen 140 of the present invention provides a user image. After the screen is displayed, the touch point or the drag gesture of the user for determining the moving target position or the moving path on the user image is recognized and notified.

그리고 통신부(150)는 로봇(20)와의 통신 채널을 설정하고, 상기 통신 채널을 통해 각종 정보를 송수신한다.
The communication unit 150 establishes a communication channel with the robot 20 and transmits and receives various types of information through the communication channel.

계속하여 도2를 참고하면, 본 발명의 로봇(20)는 통신부(210), 이미지 촬영부(220), 로봇 시점 결정부(230), 및 로봇 이동부(240) 등을 포함할 수 있다. 2, the robot 20 of the present invention may include a communication unit 210, an image photographing unit 220, a robot viewpoint determining unit 230, a robot moving unit 240, and the like.

통신부(210)는 원격 제어 장치(10)와의 통신 채널을 설정하고, 상기 통신 채널을 통해 각종 정보를 송수신하도록 한다. The communication unit 210 establishes a communication channel with the remote control device 10 and transmits and receives various information through the communication channel.

이미지 촬영부(220)는 로봇(20)에 내장된 카메라를 통해 로봇 전방 영역을 촬영하여 로봇 이미지를 획득한다. The image capturing unit 220 acquires a robot image by photographing a front region of the robot through a camera built in the robot 20.

로봇 시점 결정부(230)는 GPS 장치 등과 같은 위치 추적 장치와, 나침반 센서, 가속도 센서, 및 각속도 센서 등과 같은 모션 감지 장치를 구비하고, 이들을 통해 이미지 촬영부(220)를 통해 획득된 로봇 이미지의 시점을 파악한다. 즉, 로봇이 현재 어디에서 어느 곳을 바라보고 있는지를 정확하게 파악할 수 있도록 한다. 이때의 로봇 이미지 시점 또한 위치 좌표, 방위, 기울기 각도에 의해 결정되는 3차원 시점이 될 수 있을 것이다. The robot viewpoint determination unit 230 includes a position tracking device such as a GPS device, and a motion detection device such as a compass sensor, an acceleration sensor, and an angular velocity sensor. Know the timing. In other words, it can accurately determine where and where the robot is currently looking. The robot image viewpoint at this time may also be a three-dimensional viewpoint determined by position coordinates, azimuth, and tilt angle.

로봇 이동부(240)는 원격 제어 장치(10)가 사용자 이미지, 로봇의 이동 목표 위치 또는 이동 경로, 사용자 이미지 시점에 관련된 정보를 전송하면, 먼저 사용자 이미지 시점과 로봇 이미지 시점을 비교하여 시점차를 확인한 후, 상기 시점차를 기반으로 사용자 이미지와 로봇 이미지를 매칭하여 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 전방 이미지 상에서의 이동 목표 위치 또는 이동 경로로 변환하도록 한다. 만약, 이미지 매칭 결과, 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 전방 이미지 상에서의 이동 목표 위치 또는 이동 경로로 변환이 성공하여 사용자가 선택한 로봇의 이동 목표 위치 또는 이동 경로가 로봇 이미지에 포함되면, 로봇 이미지에 포함된 이동 목표 위치 또는 이동 경로에 따라 로봇(20)를 이동시킨다. 그러나, 상기 변환이 실패하여 사용자가 선택한 로봇의 이동 목표 위치 또는 이동 경로가 로봇 이미지에 포함되지 않으면, 상기 시점차를 로봇(20)의 촬영 방위, 촬영 각도, 촬영 위치 중 적어도 하나를 추가 조정하여 로봇 이미지에 포함된 이동 목표 위치 또는 이동 경로가 포함되도록 한 후, 그를 기준으로 로봇 이동 동작을 수행한다. When the remote controller 10 transmits information related to a user image, a moving target position or movement path of the robot, and a user image viewpoint, the robot moving unit 240 first compares the viewpoint of the user image with the viewpoint of the robot image to determine a viewpoint difference. After checking, the user image and the robot image are matched based on the viewpoint difference to convert the moving target position or the moving path on the user image into the moving target position or the moving path on the front image. If, as a result of the image matching, the movement target position or the movement path on the user image is successfully converted to the movement target position or the movement path on the front image and the movement target position or the movement path of the robot selected by the user is included in the robot image, The robot 20 is moved according to the movement target position or the movement path included in the robot image. However, if the conversion fails and the moving target position or the movement path of the robot selected by the user is not included in the robot image, the viewpoint difference is further adjusted by adjusting at least one of the shooting orientation, the shooting angle, and the shooting position of the robot 20. After the movement target position or the movement path included in the robot image is included, the robot movement operation is performed based on the movement target position.

또한, 로봇 이동부(240)는 로봇(20)의 이동 결과를 원격 제어 장치(10)에 피드백시켜 줌으로써, 사용자가 자신의 제어 결과를 확인할 수 있도록 한다. In addition, the robot moving unit 240 feeds back the movement result of the robot 20 to the remote control device 10, so that the user can check his or her control result.

즉, 본 발명에서는 사용자가 명령어 또는 키 버튼을 반복 선택하여 로봇의 움직임을 지속적으로 제어할 필요 없이, 원격 제어 장치의 터치 스크린에 표시된 이미지를 통해 특정 위치 또는 이동 경로를 한번만 선택하더라도, 로봇이 해당 위치 또는 이동 경로로 자동 이동될 수 있도록 함을 알 수 있다.
That is, in the present invention, even if a user selects a specific position or a moving path only once through an image displayed on the touch screen of the remote control device, the robot does not need to repeatedly select a command or a key button to continuously control the movement of the robot. It can be seen that it can be automatically moved to a location or movement path.

도3은 본 발명의 일 실시예에 따른 원격 제어 방법을 설명하기 위한 도면으로, 이는 사용자가 로봇의 이동 목표 위치를 선택하여, 로봇을 원격 제어하는 경우에 관한 것이다. 3 is a view for explaining a remote control method according to an embodiment of the present invention, which relates to a case in which the user selects a moving target position of the robot to remotely control the robot.

먼저, 사용자가 로봇 원격 제어를 요청하면, 원격 제어 장치(10)는 사용자에게 사용자 이미지 선택을 문의하고, 이에 응답하여 사용자가 선택한 이미지를 도4와 같이 자신의 터치 스크린(140)에 표시함과 동시에 해당 이미지의 3차원 시점을 파악한다(S1). First, when the user requests the robot remote control, the remote control device 10 asks the user to select a user image and, in response, displays the image selected by the user on his or her touch screen 140 as shown in FIG. 4. At the same time, the 3D viewpoint of the corresponding image is detected (S1).

이러한 상태에서, 사용자가 도5에서와 같이 사용자 이미지의 특정 지점을 이동 목표 위치(도5에서 별표로 표시)로 선택하면, 원격 제어 장치(10)는 이동 목표 위치에 대한 정보를 수집한 후(S2), 사용자 이미지 및 사용자 이미지의 3차원 시점 정보와 함께 로봇(20)에 제공한다(S3). In this state, when the user selects a specific point of the user image as the moving target position (marked with an asterisk in FIG. 5) as in FIG. 5, the remote control device 10 collects information on the moving target position ( S2), together with the user image and the three-dimensional viewpoint information of the user image is provided to the robot 20 (S3).

단계 S2를 통해 이동 목표 위치가 선택되는 경우, 원격 제어 장치(10)는 이동 목표 위치의 이미지 좌표 정보 이외에 이동 목표 위치에 존재하는 객체에 대한 정보(예를 들어, 객체 색상 정보, 객체 형상 정보, 객체 특징점 정보 중 적어도 하나)을 추가 수집하도록 한다. 이는 사용자 이미지의 시점은 3차원인데 반해 사용자 이미지는 2차원 정보를 가짐으로써 생길 수 있는 이미지 왜곡율을 보상하기 위한 것이다. 이에 로봇은 이미지 좌표 정보를 통해 이동 목표 위치의 대략적인 위치를 파악한 후, 객체 색상 정보, 객체 형상 정보, 객체 특징점 정보 등을 이용한 객체 인식 기술을 통해 이동 목표 위치에 존재하던 객체를 검출하는 과정을 통해, 이동 목표 위치를 보다 정밀하게 파악할 수 있게 된다. When the moving target position is selected through the step S2, the remote control apparatus 10 may include information about an object present at the moving target position (for example, object color information, object shape information, Additionally collect at least one of object feature point information). This is to compensate for image distortion that may occur due to the user image having two-dimensional information while the viewpoint of the user image is three-dimensional. The robot detects the approximate location of the moving target location through the image coordinate information, and then detects the object existing at the moving target location through object recognition technology using object color information, object shape information, and object feature point information. Through this, it is possible to more accurately grasp the movement target position.

한편, 로봇(20)은 원격 제어 장치(10)가 단계 S1 내지 S3을 수행하는 동안, 자신에 구비된 카메라를 이용하여 로봇 이미지를 획득하고, 자신에 구비된 위치 추적 장치와 모션 감지 장치를 통해 로봇 이미지의 3차원 시점으로 획득하도록 한다(S4). Meanwhile, the robot 20 acquires a robot image by using a camera included in the remote control device 10 while performing the steps S1 to S3 and through the position tracking device and the motion detection device provided therein. The robot image may be acquired as a 3D viewpoint of the robot image (S4).

그리고 나서, 원격 제어 장치(10)로부터 사용자 이미지, 사용자 이미지의 시점, 및 이동 목표 위치에 대한 정보를 수신하면, 로봇(20)은 사용자 이미지 시점과 로봇 이미지 시점을 비교하여 시점차(Δ촬영 위치 좌표, Δ촬영 방위, Δ촬영 각도)를 확인한다. 그리고 도6와 같이 상기 시점차, 이동 목표 위치의 이미지 좌표와 객체 정보 등을 기반으로 사용자 이미지와 로봇 이미지간 이미지 매칭 동작을 수행하여 사용자 이미지상에서의 이동 목표 위치를 로봇 이미지 상에서의 이동 목표 위치로 변환한다(S5).Then, when receiving information on the user image, the viewpoint of the user image, and the moving target position from the remote control device 10, the robot 20 compares the viewpoint of the user image with the viewpoint of the robot image, the viewpoint difference (Δ shooting position) Check the coordinates, Δ shooting orientation, and Δ shooting angle. As shown in FIG. 6, the image matching operation between the user image and the robot image is performed based on the viewpoint difference, the image coordinates of the moving target position, and the object information, thereby moving the moving target position on the user image to the moving target position on the robot image. (S5).

만약, 이미지 매칭 결과, 사용자 이미지상에서의 이동 목표 위치가 로봇 이미지 상에서의 이동 목표 위치로 변환되었으면(즉, 사용자가 선택한 이동 목표 위치가 로봇 이미지에 포함되면)(S6), 로봇(20)은 로봇 이미지 상에서의 이동 목표 위치를 기준으로 로봇(20)이 현재 위치에서 상기 이동 목표 위치에 도달하기 위한 최단 이동 경로를 산출한 후, 산출된 이동 경로에 따라 로봇(20)을 위치 이동시킨다(S7). If, as a result of the image matching, the moving target position on the user image has been converted to the moving target position on the robot image (that is, when the moving target position selected by the user is included in the robot image) (S6), the robot 20 is a robot. The robot 20 calculates the shortest movement path for reaching the movement target position from the current position based on the movement target position on the image, and then moves the robot 20 according to the calculated movement path (S7). .

반면, 이미지 매칭 결과, 사용자 이미지상에서의 이동 목표 위치를 로봇 이미지 상에서의 이동 목표 위치로 변환하지 못하면(즉, 사용자가 선택한 이동 목표 위치가 로봇 이미지에 포함되지 못하면)(S6), 로봇(20)은 사용자 이미지와 로봇 이미지의 시점차(Δ촬영 위치 좌표, Δ촬영 방위, Δ촬영 각도)를 고려하여 로봇의 촬영 방위, 촬영 각도, 촬영 위치 중 적어도 하나를 조정한 후 다시 단계S5로 재진입하여 이미지 매칭 동작을 다시 수행하도록 한다(S8). 즉, 사용자 이미지에 포함된 이동 목표 위치가 로봇 이미지에 포함되지 못하면, 로봇(20)이 자신의 촬영 시점을 조정하여 상기 이동 목표 위치가 포함된 로봇 이미지를 다시 획득하도록 한 후, 이를 기준으로 위치 이동 동작을 수행할 수 있도록 한다. 참고로, 본 발명에서, 로봇(20)이 자신이 획득한 이미지의 특정 위치(특히, 이미지 좌표)를 인식하고, 이를 기준으로 이동하는 기술은 공지된 기술에 따르도록 하고, 이에 대한 상세한 설명은 생략하기로 한다.
On the other hand, if the image matching result does not convert the moving target position on the user image to the moving target position on the robot image (that is, the moving target position selected by the user is not included in the robot image) (S6), the robot 20 After adjusting at least one of the robot's shooting orientation, shooting angle, and shooting position in consideration of the viewpoint difference (Δ shooting position coordinate, Δ shooting orientation, Δ shooting angle) between the user image and the robot image, the robot re-enters the image to step S5 again. The matching operation is performed again (S8). That is, if the moving target position included in the user image is not included in the robot image, the robot 20 adjusts its photographing time point to acquire the robot image including the moving target position again, and then the position based on this Allows you to perform a move operation. For reference, in the present invention, the robot 20 recognizes a specific position (particularly, image coordinates) of an image acquired by the robot 20 and moves based on the technique according to a known technique. It will be omitted.

이와 같이, 본 발명에서는 사용자는 도7에서와 같이 로봇의 움직임을 지속적으로 제어할 필요없이 터치 스크린에 표시된 이미지의 특정 지점(또는 객체)을 선택하는 단순 동작을 수행하여, 로봇이 해당 위치로 자동 이동될 수 있도록 함을 알 수 있게 된다. 이에 본 발명은 사용자의 로봇 제어 편이성을 극대화할 수 있게 된다.
As described above, in the present invention, the user performs a simple operation of selecting a specific point (or object) of the image displayed on the touch screen without continuously controlling the movement of the robot as shown in FIG. It can be seen that it can be moved. Accordingly, the present invention can maximize the user's robot control ease.

더하여, 본 발명에서는 사용자가 터치 스크린에 표시된 사용자 이미지상에서 드래그 제스처를 통해 로봇의 이동 경로를 설정하도록 하고, 로봇은 이에 따라 자신의 이동 경로를 결정하는 기술도 제안하고자 한다. 즉, 사용자가 로봇의 이동 목표 위치뿐 만 아니라, 해당 위치에 도달하기 위한 경로까지도 제어할 수 있도록 한다. In addition, the present invention allows the user to set the moving path of the robot through a drag gesture on the user image displayed on the touch screen, and the robot also proposes a technique for determining its own moving path accordingly. That is, the user can control not only the movement target position of the robot but also the path for reaching the position.

도8은 본 발명의 다른 실시예에 따른 원격 제어 방법을 설명하기 위한 도면으로, 이는 사용자가 드래그 제스처를 통해 로봇의 이동 경로를 선택하여, 로봇을 원격 제어하는 경우에 관한 것이다.  8 is a view for explaining a remote control method according to another embodiment of the present invention, which relates to a case where a user remotely controls the robot by selecting a moving path of the robot through a drag gesture.

먼저, 사용자가 로봇 원격 제어를 요청하면, 원격 제어 장치(10)는 사용자에게 사용자 이미지 선택을 문의하고, 이에 응답하여 사용자가 선택한 이미지를 도4와 같이 자신의 터치 스크린(140)에 표시함과 동시에 해당 이미지의 3차원 시점을 파악한다(S11). First, when the user requests the robot remote control, the remote control device 10 asks the user to select a user image and, in response, displays the image selected by the user on his or her touch screen 140 as shown in FIG. 4. At the same time, the three-dimensional viewpoint of the corresponding image is detected (S11).

이러한 상태에서, 사용자가 도9에서와 같이 터치 스크린(140) 상에서 드래그 제스처를 발생하여, 사용자 이미지상에서 로봇의 이동 경로를 설정하면(도9의 화살표), 원격 제어 장치(10)는 이동 경로에 대한 정보를 수집하고(S12), 이를 사용자 이미지 및 사용자 이미지의 3차원 시점 정보와 함께 로봇(20)에 제공한다(S13). 본 발명에서는 이동 경로가 결정되는 경우에도, 이동 경로의 이미지 좌표 정보 이외에 이동 경로상에 존재하는 객체들에 대한 정보(예를 들어, 객체 색상 정보, 객체 형상 정보 등)을 추가 수집 및 제공하도록 함으로써, 로봇이 이동 경로 또한 객체 인식 기술을 이용하여 파악할 수 있도록 한다. In this state, when the user generates a drag gesture on the touch screen 140 as shown in FIG. 9 to set the movement path of the robot on the user image (arrow in FIG. 9), the remote control device 10 moves to the movement path. Information is collected (S12) and provided to the robot 20 together with the user image and three-dimensional view information of the user image (S13). In the present invention, even when the movement path is determined, by additionally collecting and providing information (eg, object color information, object shape information, etc.) about objects existing on the movement path in addition to the image coordinate information of the movement path. In addition, the robot can identify the movement path and object recognition technology.

한편, 로봇(20)은 원격 제어 장치(10)가 단계 S11 내지 S13을 수행하는 동안, 자신에 구비된 카메라를 이용하여 로봇 이미지를 획득하고, 자신에 구비된 위치 추적 장치와 모션 감지 장치를 통해 로봇 이미지의 3차원 시점으로 획득하도록 한다(S14). Meanwhile, the robot 20 acquires a robot image by using a camera included in the remote control device 10 while performing the steps S11 to S13 and through the position tracking device and the motion detection device provided therein. The robot image is acquired at a three-dimensional viewpoint of the robot image (S14).

그리고 나서, 원격 제어 장치(10)로부터 사용자 이미지, 사용자 이미지의 3차원 시점 정보, 및 이동 경로 정보를 수신하면, 로봇(20)은 사용자 이미지 시점과 로봇 이미지 시점을 비교하여 시점차(Δ촬영 위치 좌표, Δ촬영 방위, Δ촬영 각도)를 확인한 후, 이미지 매칭 동작을 수행하여 사용자 이미지상에서의 이동 경로를 로봇 이미지 상에서의 이동 경로로 변환한다(S15).Then, when receiving the user image, the three-dimensional viewpoint information of the user image, and the movement path information from the remote control device 10, the robot 20 compares the user image viewpoint and the robot image viewpoint, the viewpoint difference (Δ shooting position) After checking the coordinates, the Δ shooting orientation, and the Δ shooting angle), an image matching operation is performed to convert the moving path on the user image into the moving path on the robot image (S15).

만약, 이미지 매칭 결과, 사용자 이미지상에서의 이동 경로가 로봇 이미지 상에서의 이동 경로로 변환되었으면(즉, 사용자가 선택한 이동 경로가 로봇 이미지에 포함되면)(S16), 로봇(20)은 로봇 이미지 상에서의 이동 경로를 기준으로 로봇(20)을 위치 이동시킨다(S17). If, as a result of the image matching, the movement path on the user image has been converted to the movement path on the robot image (that is, if the movement path selected by the user is included in the robot image) (S16), the robot 20 may be used on the robot image. The robot 20 is moved in position based on the movement path (S17).

반면, 이미지 매칭 결과, 사용자 이미지상에서의 이동 경로가 로봇 이미지 상에서의 이동 경로로 변환하지 못하면(즉, 사용자가 선택한 이동 경로가 로봇 이미지에 포함되지 못하면)(S16), 로봇(20)은 사용자 이미지와 로봇 이미지의 시점차(Δ촬영 위치 좌표, Δ촬영 방위, Δ촬영 각도)를 고려하여 로봇의 촬영 방위, 촬영 각도, 촬영 위치 중 적어도 하나를 조정하여 사용자가 선택한 이동 경로가 로봇 이미지에 포함될 수 있도록 한 후, 다시 위치 이동 동작을 수행하도록 한다(S17).
On the other hand, if the image matching result indicates that the movement path on the user image is not converted to the movement path on the robot image (that is, the movement path selected by the user is not included in the robot image) (S16), the robot 20 may determine the user image. The robot image may include a moving path selected by the user by adjusting at least one of the shooting orientation, the shooting angle, and the shooting position in consideration of the viewpoint difference (Δ shooting position coordinate, Δ shooting orientation, and Δ shooting angle) of the robot image. After that, the position movement operation is performed again (S17).

이와 같이, 본 발명에서는 사용자가 터치 스크린에 표시되는 이미지를 통해 이동 목표 위치 또는 이동 경로를 직관적으로 설정할 수 있도록 함으로써, 사용자가 보다 편리하고 정확하게 로봇의 움직임을 제어할 수 있도록 한다.
As described above, in the present invention, the user can intuitively set the moving target position or the moving path through the image displayed on the touch screen, so that the user can more conveniently and accurately control the movement of the robot.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

또한, 본 발명에 따른 로봇 원격 제어 방법 또는 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치, 하드 디스크, 플래시 드라이브 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.In addition, the robot remote control method or apparatus according to the present invention can be embodied as computer readable codes on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the recording medium include a ROM, a RAM, a CD ROM, a magnetic tape, a floppy disk, an optical data storage device, a hard disk, a flash drive, and the like, and may be implemented in the form of a carrier wave . The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

Claims (18)

원격 제어 장치가 사용자 이미지를 터치 스크린에 표시하는 표시 단계;
사용자에 의해 상기 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 선택되면, 상기 선택 결과를 원격 이동 장치에 제공하는 선택 단계;
상기 원격 이동 장치가 자신의 전방 이미지와 상기 사용자 이미지 간 이미지 매칭 동작을 수행하여, 상기 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 상기 전방 이미지 상에서의 이동 목표 위치 또는 이동 경로로 변환하는 이미지 매칭 단계; 및
상기 원격 이동 장치가 상기 전방 이미지 상에서의 이동 목표 위치 또는 이동 경로를 기반으로 움직임 제어 동작을 수행하는 움직임 제어 단계를 포함하는 사용자 이미지를 이용한 원격 제어 방법.
A display step of displaying, by the remote control device, the user image on the touch screen;
Selecting a moving target position or moving path on the user image by a user, providing a selection result to a remote mobile device;
An image matching step of converting a moving target position or a moving path on the user image into a moving target position or a moving path on the front image by performing the image matching operation between the front image and the user image of the remote mobile device; ; And
And a motion control step of performing, by the remote mobile device, a motion control operation based on a movement target position or a movement path on the front image.
제1항에 있어서, 상기 사용자 이미지는
상기 원격 제어 장치가 상기 원격 제어 장치에 내장된 카메라를 통해 실시간 촬영한 이미지인 것을 특징으로 하는 사용자 이미지를 이용한 원격 제어 방법.
The method of claim 1, wherein the user image is
The remote control method using a user image, characterized in that the remote control device is an image taken in real time through a camera built in the remote control device.
제1항에 있어서,
상기 사용자 이미지는 상기 원격 제어 장치에 미리 등록된 사진들 중 사용자에 의해 선택된 사진이며,
상기 원격 장치에 미리 등록된 사진들 각각은 이미지 데이터 이외에 촬영 시점 정보를 메타 데이터로 더 구비하는 것을 특징으로 하는 사용자 이미지를 이용한 원격 제어 방법.
The method of claim 1,
The user image is a picture selected by the user among the pictures registered in advance on the remote control device,
Each of the photographs registered in advance in the remote device further includes photographing time information as meta data in addition to image data.
제1항에 있어서, 상기 선택 단계는
상기 사용자 이미지, 상기 사용자 이미지의 시점, 상기 이동 목표 위치의 이미지 좌표, 상기 이동 목표 위치에 존재하는 객체 중 적어도 하나에 대한 정보를 상기 선택 결과로 원격 이동 장치에 제공하는 것을 특징으로 하는 사용자 이미지를 이용한 원격 제어 방법.
2. The method of claim 1,
And providing information on at least one of the user image, a viewpoint of the user image, an image coordinate of the moving target position, and an object existing at the moving target position to the remote mobile device as a result of the selection. Remote control method used.
제4항에 있어서, 상기 사용자 이미지의 시점은
상기 원격 제어 장치에 구비된 위치 추적 장치와 모션 감지 장치를 통해 획득된 위치 좌표, 방위, 기울기 각도에 의해 결정되는 것을 특징으로 하는 사용자 이미지를 이용한 원격 제어 방법.
The method of claim 4, wherein the viewpoint of the user image is
Remote control method using a user image, characterized in that determined by the position coordinates, azimuth, tilt angle obtained through the position tracking device and the motion detection device provided in the remote control device.
제4항에 있어서, 상기 이미지 매칭 단계는
상기 원격 이동 장치가 자신의 전방 이미지를 촬영하고, 상기 전방 이미지의 시점 정보를 획득하는 단계;
상기 사용자 이미지와 상기 전방 이미지의 시점을 비교하여 시점차를 계산하는 단계; 및
상기 시점차를 기반으로 상기 사용자 이미지와 상기 전방 이미지를 이미지 매칭하여 상기 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 상기 전방 이미지 상에서의 이동 목표 위치 또는 이동 경로로 변환하는 단계;를 포함하는 것을 특징으로 하는 사용자 이미지를 이용한 원격 제어 방법.
The method of claim 4, wherein the image matching step
Photographing, by the remote mobile device, its front image and obtaining view information of the front image;
Calculating a viewpoint difference by comparing the viewpoints of the user image and the front image; And
And image matching the user image and the front image based on the viewpoint difference to convert the moving target position or the moving path on the user image into the moving target position or the moving path on the front image. Remote control method using a user image.
제6항에 있어서, 상기 이미지 매칭 단계는
상기 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 상기 전방 이미지 상에서의 이동 목표 위치 또는 이동 경로로 변환이 불가능하면, 상기 시점차를 고려하여 상기 원격 이동 장치의 촬영 방위, 촬영 각도, 촬영 위치 중 적어도 하나를 추가 조정한 후, 이미지 매칭 동작을 재수행하는 단계를 더 포함하는 것을 특징으로 하는 사용자 이미지를 이용한 원격 제어 방법.
The method of claim 6, wherein the image matching step
If it is impossible to convert the moving target position or the moving path on the user image into the moving target position or the moving path on the front image, at least one of a shooting orientation, a shooting angle, and a shooting position of the remote mobile device in consideration of the viewpoint difference. And further performing an image matching operation after adjusting one more.
청구항 8은(는) 설정등록료 납부시 포기되었습니다.Claim 8 was abandoned when the registration fee was paid. 제1항 내지 제7항 중 어느 한 항에 기재된 사용자 이미지를 이용한 원격 제어 방법을 실행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
A computer-readable recording medium having recorded thereon a program for executing a remote control method using the user image according to any one of claims 1 to 7.
사용자 이미지를 터치 스크린에 표시하고, 사용자에 의해 상기 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 선택되면, 상기 선택 결과를 통보하는 원격 제어 장치; 및
전방 이미지를 획득 및 제공하는 카메라를 구비하며, 상기 선택 결과를 기반으로 상기 전방 이미지와 상기 사용자 이미지 간 이미지 매칭 동작을 수행하여 상기 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 상기 전방 이미지 상에서의 이동 목표 위치 또는 이동 경로로 변환한 후, 상기 변환 결과에 따라 움직임 제어 동작을 수행하는 원격 이동 장치;를 포함하는 사용자 이미지를 이용한 원격 제어 시스템.
A remote control device which displays a user image on a touch screen and notifies the selection result when a moving target position or a moving path on the user image is selected by the user; And
A camera for acquiring and providing a forward image, and performing an image matching operation between the front image and the user image based on the selection result to move a moving target position or moving path on the user image on the front image And a remote mobile device for converting to a target position or a moving path and performing a motion control operation according to the conversion result.
제9항에 있어서, 상기 원격 제어 장치는
상기 사용자 이미지를 화면 표시하고, 상기 사용자 이미지 상에서의 이동 목표 위치 또는 이동 경로를 결정하기 위한 사용자의 터치 지점 또는 드래그 제스처를 인식 및 통보하는 터치 스크린;
상기 원격 제어 장치에 구비된 카메라를 통해 획득된 이미지 또는 미리 등록된 사진들 중 사용자에 의해 선택된 사진을 사용자 이미지로 획득 및 제공하는 이미지 획득부;
상기 사용자 이미지의 시점을 파악 및 통보하는 사용자 시점 결정부; 및
상기 터치 스크린에 상기 사용자 이미지를 표시한 후, 사용자에 의해 상기 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 선택되면 상기 사용자 이미지, 상기 사용자 이미지의 시점 정보, 및 상기 이동 목표 위치 또는 이동 경로에 대한 정보를 상기 원격 이동 장치에 제공하는 원격 제어부;를 포함하는 것을 특징으로 하는 사용자 이미지를 이용한 원격 제어 시스템.
10. The device of claim 9, wherein the remote control device
A touch screen for displaying the user image and recognizing and notifying a user's touch point or drag gesture for determining a moving target position or a moving path on the user image;
An image acquiring unit for acquiring and providing a user image of an image acquired through a camera included in the remote control apparatus or a photo selected by a user among pre-registered photos;
A user viewpoint determiner for identifying and notifying a viewpoint of the user image; And
After displaying the user image on the touch screen, if a moving target position or moving path is selected by the user on the user image, the user image, viewpoint information of the user image, and the moving target position or moving path And a remote control unit for providing information to the remote mobile device.
제10항에 있어서, 상기 원격 장치에 미리 등록된 사진들 각각은
이미지 데이터 이외에 촬영 시점 정보를 메타 데이터로 더 구비하는 것을 특징으로 하는 사용자 이미지를 이용한 원격 제어 시스템.
11. The method of claim 10, wherein each of the photos registered in advance on the remote device
In addition to the image data, the remote control system using the user image, characterized in that the photographing time information further comprises as metadata.
제11항에 있어서, 상기 사용자 시점 결정부는
상기 사용자 이미지가 상기 원격 제어 장치에 구비된 카메라를 통해 획득된 이미지인 경우에는 상기 원격 제어 장치에 구비된 위치 추적 장치와 모션 감지 장치를 통해 획득된 위치 좌표, 방위, 기울기 각도를 통해 상기 사용자 이미지의 시점을 파악하고,
상기 원격 제어 장치에 미리 등록된 사진인 경우에는 상기 원격 장치에 미리 등록된 사진에 포함된 촬영 시점 정보인 것을 특징으로 하는 사용자 이미지를 이용한 원격 제어 시스템.
The method of claim 11, wherein the user viewpoint determiner
When the user image is an image obtained through a camera provided in the remote control device, the user image is obtained by using a position coordinate, a direction, and an inclination angle obtained by the position tracking device and the motion detection device provided in the remote control device. Figure out the point of time,
When the picture is registered in advance in the remote control device, the remote control system using the user image, characterized in that the shooting time information included in the picture registered in advance in the remote device.
제11항에 있어서, 상기 원격 제어부는
상기 이동 목표 위치의 이미지 좌표 정보, 상기 이동 목표 위치에 존재하는 객체에 대한 정보를 상기 이동 목표 위치에 대한 정보로 획득하는 것을 특징으로 하는 사용자 이미지를 이용한 원격 제어 시스템.
The method of claim 11, wherein the remote control
And image coordinate information of the moving target position and information on an object existing at the moving target position as information on the moving target position.
제13항에 있어서, 상기 이동 목표 위치에 존재하는 객체에 대한 정보는
객체 색상 정보, 객체 형상 정보, 및 객체 특징점 정보 중 적어도 하나인 것을 특징으로 하는 사용자 이미지를 이용한 원격 제어 시스템.
The method of claim 13, wherein the information about the object present in the moving target location is
And at least one of object color information, object shape information, and object feature point information.
제9항에 있어서, 상기 원격 이동 장치는
상기 원격 이동 장치에 구비된 카메라를 통해 상기 원격 이동 장치에 구비된 카메라를 통해 전방 영역을 촬영하여 상기 전방 이미지를 획득하는 이미지 촬영부;
상기 원격 이동 장치에 구비된 위치 추적 장치와 모션 감지 장치를 통해 획득된 위치 좌표, 방위, 기울기 각도를 기반으로 상기 전방 이미지의 시점을 파악하는 시점 결정부; 및
상기 사용자 이미지와 상기 전방 이미지의 시점차에 따라 상기 사용자 이미지와 상기 전방 이미지를 이미지 매칭하여 상기 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 상기 전방 이미지 상에서의 이동 목표 위치 또는 이동 경로로 변환하고, 상기 변환 결과에 따라 움직임 제어 동작을 수행하는 이동부;를 포함하는 것을 특징으로 하는 사용자 이미지를 이용한 원격 제어 시스템.
10. The device of claim 9, wherein the remote mobile device is
An image capturing unit which acquires the front image by capturing a front area through a camera provided in the remote mobile device through a camera provided in the remote mobile device;
A viewpoint determination unit that grasps the viewpoint of the front image based on the position coordinates, the orientation, and the inclination angle obtained through the position tracking device and the motion detection device included in the remote mobile device; And
Image matching the user image and the front image according to a viewpoint difference between the user image and the front image to convert a moving target position or moving path on the user image into a moving target position or moving path on the front image, And a moving unit to perform a motion control operation according to the conversion result.
제15항에 있어서, 상기 이동부는
이미지 매칭 결과, 상기 사용자 이미지상에서의 이동 목표 위치 또는 이동 경로를 상기 전방 이미지 상에서의 이동 목표 위치 또는 이동 경로로 변환이 불가능하면, 상기 시점차를 고려하여 상기 원격 이동 장치의 촬영 방위, 촬영 각도, 촬영 위치 중 적어도 하나를 추가 조정한 후, 이미지 매칭 동작을 재수행하는 것을 특징으로 하는 사용자 이미지를 이용한 원격 제어 시스템.
16. The apparatus according to claim 15, wherein the moving unit
As a result of the image matching, if it is impossible to convert the moving target position or the moving path on the user image into the moving target position or the moving path on the front image, the photographing orientation, the photographing angle, And further performing image matching operation after further adjusting at least one of the photographing positions.
청구항 17은(는) 설정등록료 납부시 포기되었습니다.Claim 17 has been abandoned due to the setting registration fee. 제9항에 있어서, 상기 원격 이동 장치는
로봇 또는 휠체어인 것을 특징으로 하는 사용자 이미지를 이용한 원격 제어 시스템.
10. The device of claim 9, wherein the remote mobile device is
Remote control system using a user image, characterized in that the robot or wheelchair.
청구항 18은(는) 설정등록료 납부시 포기되었습니다.Claim 18 has been abandoned due to the setting registration fee. 제9항 내지 제17항 중 어느 한 항에 기재된 원격 제어 장치를 포함하는 사용자 단말. A user terminal comprising the remote control device according to any one of claims 9 to 17.
KR1020120120705A 2012-10-29 2012-10-29 Method for remote controlling using user image and system of the same KR101358064B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120120705A KR101358064B1 (en) 2012-10-29 2012-10-29 Method for remote controlling using user image and system of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120120705A KR101358064B1 (en) 2012-10-29 2012-10-29 Method for remote controlling using user image and system of the same

Publications (1)

Publication Number Publication Date
KR101358064B1 true KR101358064B1 (en) 2014-02-11

Family

ID=50269761

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120120705A KR101358064B1 (en) 2012-10-29 2012-10-29 Method for remote controlling using user image and system of the same

Country Status (1)

Country Link
KR (1) KR101358064B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760106A (en) * 2016-03-08 2016-07-13 网易（杭州）网络有限公司 Interaction method and interaction device of intelligent household equipment
KR20170016744A (en) * 2015-08-04 2017-02-14 서울과학기술대학교 산학협력단 Apparatus and method for remote controlling device using metadata
CN111422186A (en) * 2019-01-08 2020-07-17 丰田自动车株式会社 Remote driving system and remote driving application software

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060081068A (en) * 2005-01-07 2006-07-12 주식회사 케이티프리텔 System for acquiring location information using camera of mobile-phone, method thereof, and mobile-phone
KR100706912B1 (en) 2006-01-03 2007-04-12 에스케이 텔레콤주식회사 System and method for mapping photo according to position

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060081068A (en) * 2005-01-07 2006-07-12 주식회사 케이티프리텔 System for acquiring location information using camera of mobile-phone, method thereof, and mobile-phone
KR100706912B1 (en) 2006-01-03 2007-04-12 에스케이 텔레콤주식회사 System and method for mapping photo according to position

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170016744A (en) * 2015-08-04 2017-02-14 서울과학기술대학교 산학협력단 Apparatus and method for remote controlling device using metadata
KR101711822B1 (en) 2015-08-04 2017-03-03 서울과학기술대학교 산학협력단 Apparatus and method for remote controlling device using metadata
CN105760106A (en) * 2016-03-08 2016-07-13 网易（杭州）网络有限公司 Interaction method and interaction device of intelligent household equipment
CN105760106B (en) * 2016-03-08 2019-01-15 网易（杭州）网络有限公司 A kind of smart home device exchange method and device
CN111422186A (en) * 2019-01-08 2020-07-17 丰田自动车株式会社 Remote driving system and remote driving application software
CN111422186B (en) * 2019-01-08 2023-10-27 丰田自动车株式会社 Remote travel system and remote travel application software

Similar Documents

Publication Publication Date Title
CN107040698B (en) Image capturing method of unmanned image capturing apparatus and electronic apparatus supporting the same
US11475390B2 (en) Logistics system, package delivery method, and program
KR102219698B1 (en) Apparatus and method for controlling unmanned aerial vehicle
CN106598071B (en) Flight control method and device, the unmanned plane of trailing type
US10514708B2 (en) Method, apparatus and system for controlling unmanned aerial vehicle
US20180022454A1 (en) Flight control method and apparatus
JP6943988B2 (en) Control methods, equipment and systems for movable objects
JP6587628B2 (en) Instruction generation method and apparatus
KR20170136750A (en) Electronic apparatus and operating method thereof
US9412202B2 (en) Client terminal, server, and medium for providing a view from an indicated position
KR20180064253A (en) Flight controlling method and electronic device supporting the same
EP2708982B1 (en) Method for guiding the user of a controller of a multimedia apparatus to move within recognizable range of the multimedia apparatus, the multimedia apparatus, and target tracking apparatus thereof
KR20160003553A (en) Electroninc device for providing map information
WO2020014987A1 (en) Mobile robot control method and apparatus, device, and storage medium
KR101959366B1 (en) Mutual recognition method between UAV and wireless device
CN109916408A (en) Robot indoor positioning and air navigation aid, device, equipment and storage medium
WO2021127888A1 (en) Control method, smart glasses, mobile platform, gimbal, control system, and computer-readable storage medium
JP2017138947A (en) Flight altitude control device, unmanned aerial vehicle, flight altitude control method, and flight altitude control program
JP2007098555A (en) Position indicating method, indicator and program for achieving the method
CN110622089A (en) Following control method, control terminal and unmanned aerial vehicle
KR101358064B1 (en) Method for remote controlling using user image and system of the same
US20180082119A1 (en) System and method for remotely assisted user-orientation
CN113532444B (en) Navigation path processing method and device, electronic equipment and storage medium
KR20150097274A (en) System and Method for Taking Pictures While Following Subject with Automatical Camera
KR20160020828A (en) Flight recording system and operating method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200106

Year of fee payment: 7