KR20210092357A - System and method for controlling mobile robot - Google Patents

System and method for controlling mobile robot Download PDF

Info

Publication number
KR20210092357A
KR20210092357A KR1020200005290A KR20200005290A KR20210092357A KR 20210092357 A KR20210092357 A KR 20210092357A KR 1020200005290 A KR1020200005290 A KR 1020200005290A KR 20200005290 A KR20200005290 A KR 20200005290A KR 20210092357 A KR20210092357 A KR 20210092357A
Authority
KR
South Korea
Prior art keywords
mobile robot
user
command
control command
control
Prior art date
Application number
KR1020200005290A
Other languages
Korean (ko)
Other versions
KR102301763B1 (en
Inventor
노진홍
최종석
임윤섭
윤상석
Original Assignee
한국과학기술연구원
신라대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원, 신라대학교 산학협력단 filed Critical 한국과학기술연구원
Priority to KR1020200005290A priority Critical patent/KR102301763B1/en
Publication of KR20210092357A publication Critical patent/KR20210092357A/en
Application granted granted Critical
Publication of KR102301763B1 publication Critical patent/KR102301763B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

The present invention relates to a system for controlling a mobile robot. According to one embodiment of the present invention, the control system comprises: a surrounding environment sensing unit to acquire surrounding environment data of a mobile robot; a situation information generation unit to generate situation information based on the surrounding environment data; a situation information processing unit to provide the situation information for the user through a user interface, and receive a control command inputted from the user to process the control command; and a mobile robot control unit to control the mobile robot based on the control command. The control command includes a direct control command for directly determining the moving direction of the mobile robot or an indirect control command for allowing the mobile robot to perform a specific operation. According to the embodiment, the user can select the direct control method of directly controlling the moving direction of the robot in a situation in which a precise operation of the robot is required or in an unfamiliar environment in which map information is not given, and select the indirect control method of issuing a corresponding command to the robot in a situation in which the robot moves to a specific space or the robot must follow a specific target. Accordingly, the mobile robot can run adaptively in various environments while minimizing the fatigue of the user.

Description

이동로봇을 제어하기 위한 시스템 및 방법{SYSTEM AND METHOD FOR CONTROLLING MOBILE ROBOT}SYSTEM AND METHOD FOR CONTROLLING MOBILE ROBOT

본 발명은 이동로봇을 제어하기 위한 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 사용자가 이동로봇의 이동방향을 직접 제어하거나 이동로봇이 특정 행동을 수행하도록 간접 제어함으로써 이동로봇이 다양한 환경에서 적응적으로 주행할 수 있도록 제어하기 위한 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for controlling a mobile robot, and more particularly, by allowing a user to directly control the moving direction of the mobile robot or indirectly control the mobile robot to perform a specific action, so that the mobile robot can be adaptive in various environments. It relates to a system and method for controlling the vehicle to be driven.

[국가지원 연구개발에 대한 설명][Description of state-funded R&D]

본 연구는 한국과학기술연구원의 주관 하에 과학기술정보통신부의 국가혁신형사업(생각만으로 실생활 기기 및 AR/VR 디바이스를 제어하는 비침습 BCI 통합 뇌인지컴퓨팅 SW 플랫폼 기술 개발, 과제고유번호: 1711080929)의 지원에 의하여 이루어진 것이다.This study is a national innovation project of the Ministry of Science and ICT under the supervision of the Korea Research Institute of Science and Technology (Non-invasive BCI integrated brain cognitive computing SW platform technology development that controls real life devices and AR/VR devices with just thoughts, task identification number: 1711080929) This was done with the support of

이동로봇(mobile robot)은 주변환경을 감지할 수 있는 센서와 컴퓨터와 같은 처리장치를 구비하여 인간의 조작에 의해 제어가 가능하거나 스스로 상황을 판단하여 주행이 가능한 수송차량 또는 원격로봇을 의미한다. 전기적으로 제어할 수 있는 동력 장치를 구비하여 자동으로 이동이 가능한 전동 휠체어는 이러한 이동로봇의 예시 중 하나이다. 최근 생활수준의 향상 및 노인 인구의 증가에 따라 전동 휠체어 수요가 점차 증가하는 중이다. A mobile robot refers to a transport vehicle or remote robot that is equipped with a processing device such as a computer and a sensor that can detect the surrounding environment, and can be controlled by human manipulation or can run by judging the situation by itself. An electric wheelchair capable of moving automatically with an electrically controllable power device is one example of such a mobile robot. Recently, with the improvement of living standards and the increase of the elderly population, the demand for electric wheelchairs is gradually increasing.

초기의 전동 휠체어는 단순히 전기적으로 제어 가능한 바퀴를 이용하여 사용자(탑승자)가 버튼을 조작함으로써 휠체어의 주행과 정지를 결정하는 단순한 형태였다. 그러나 전동 휠체어를 이용하는 대부분의 사용자는 거동이 불편한 환자 또는 노인인 경우가 많기 때문에 이동을 위해서 장치를 지속적으로 조작해야 하는 상황이 피곤하게 느껴질 수 있다. Early electric wheelchairs were a simple form in which the user (occupant) decided to run or stop the wheelchair by operating a button by simply using electrically controllable wheels. However, since most users of electric wheelchairs are patients or the elderly with reduced mobility, the need to continuously operate the device to move may feel tiring.

이를 개선하기 위해, 최근에는 컴퓨터 기술과 센서 기술의 발달에 힘입어 다양한 기능들을 구비한 전동 휠체어가 개발되고 있다. 예를 들어, 선행기술에 따르면 건물 내 목적지를 설정하면 해당 목적지까지 이동로봇(전동 휠체어)가 자동으로 이동하는 기술이 제공될 수 있다. In order to improve this, electric wheelchairs with various functions have recently been developed thanks to the development of computer technology and sensor technology. For example, according to the prior art, when a destination in a building is set, a technology for automatically moving a mobile robot (electric wheelchair) to the destination may be provided.

이와 같은 이동로봇의 자율주행 방식을 '간접제어방식'이라고 한다. 간접제어방식에 따르면 사용자가 일단 목적지를 선택한 이후에는 이동로봇의 동작을 위해 별도의 조작을 할 필요가 없어 편리하지만, 건물의 내부 지도 정보가 반드시 미리 입력되어야 하므로 사전정보가 부족한 낯선 환경에서는 적용되기 어렵다는 문제점이 있다. 또한, 자율주행을 수행하는 대부분의 상호작용 로봇은 사용자에 의해 목적지가 선택되면 사용자의 중간개입이 불가능하거나 지극히 제약적이어서, 주행 도중 발생하는 돌발 상황(예컨대 지도 정보에 표시되지 않은 장애물이 설치되어 있거나 보행자가 주행 경로에 끼어드는 경우)에 대한 대처능력이 떨어질 수밖에 없었다.The autonomous driving method of such a mobile robot is called an 'indirect control method'. According to the indirect control method, it is convenient because there is no need to operate the mobile robot after the user has selected a destination. However, it is not applicable in an unfamiliar environment where prior information is lacking because information on the map inside the building must be entered in advance. There is a difficult problem. In addition, most interactive robots that perform autonomous driving cannot intervene when a destination is selected by the user, or the user's intervention is extremely limited, so unexpected situations that occur during driving (eg, obstacles not displayed in map information are installed or Pedestrians intervening in the driving path) had to be reduced.

또 다른 선행기술에 따르면, 건물 내부 지도 정보와 같은 사전정보가 없는 상황에서도 이동로봇을 편리하게 조작하기 위해, 로봇의 전방에 부착된 비전 센서를 이용하여 사용자에게 이동방향에 대한 선택지를 제공하고, 사용자가 이동방향을 선택하면 이동로봇이 해당 방향으로 자동으로 이동하는 기술이 제공된다. According to another prior art, in order to conveniently operate the mobile robot even in the absence of prior information such as map information inside a building, a vision sensor attached to the front of the robot is used to provide the user with a choice of movement direction, When the user selects a moving direction, a technology is provided that automatically moves the mobile robot in that direction.

이와 같이 사용자가 직접 로봇의 이동방향을 지정하는 방식을 '직접제어방식'이라고 한다. 직접제어방식에 따르면 이동로봇을 정밀하게 움직일 수 있으며 사용자가 로봇의 주변환경을 직접 모니터링하면서 돌발 상황에 대처할 수 있다는 장점이 있으나, 매 순간마다 사용자에게 조작을 요구하므로 피로감이 크다는 단점이 있다.In this way, a method in which the user directly designates the movement direction of the robot is called a 'direct control method'. According to the direct control method, the mobile robot can be precisely moved and the user can respond to unexpected situations while directly monitoring the robot's surrounding environment.

PERRIN, Xavier, et al. Learning user habits for semi-autonomous navigation using low throughput interfaces. In: 2011 IEEE International Conference on Systems, Man, and Cybernetics. IEEE, 2011. p. 1-6. PERRIN, Xavier, et al. Learning user habits for semi-autonomous navigation using low throughput interfaces. In: 2011 IEEE International Conference on Systems, Man, and Cybernetics. IEEE, 2011. p. 1-6. ESCOLANO, Carlos; ANTELIS, Javier Mauricio; MINGUEZ, Javier. A telepresence mobile robot controlled with a noninvasive brain-computer interface. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2011, 42.3: 793-804. ESCOLANO, Carlos; ANTELIS, Javier Mauricio; MINGUEZ, Javier. A telepresence mobile robot controlled with a noninvasive brain-computer interface. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2011, 42.3: 793-804.

본 발명은 상기한 문제점을 해결하기 위해 착안한 것으로서, 사용자가 직접제어방식(로봇의 이동방향을 직접 제어하는 방식)과 간접제어방식(로봇이 특정 행동을 자동으로 수행하도록 명령하여 제어하는 방식) 중 어느 하나의 제어방식을 주변상황에 맞게 선택함으로써, 사용자의 피로도를 낮추면서도 이동로봇이 다양한 환경에서 적응적으로 주행할 수 있도록 하기 위한 제어시스템 및 제어방법을 제공하는 것을 목적으로 한다.The present invention was conceived to solve the above problems, and the user direct control method (a method of directly controlling the movement direction of the robot) and an indirect control method (a method of controlling the robot by commanding to automatically perform a specific action) An object of the present invention is to provide a control system and a control method for enabling a mobile robot to adaptively drive in various environments while reducing user fatigue by selecting any one of the control methods according to the surrounding situation.

본 발명의 목적을 달성하기 위한 바람직한 실시예들이 다음과 같이 제공된다.Preferred embodiments for achieving the object of the present invention are provided as follows.

일 실시예에 따른 이동로봇의 제어시스템은, 이동로봇의 주변환경 데이터를 획득하기 위한 주변환경 감지부; 상기 주변환경 데이터에 기초하여 상황정보를 생성하기 위한 상황정보 생성부; 사용자 인터페이스를 통해 상기 상황정보를 사용자에게 제공하고 사용자로부터 입력된 제어명령을 수신하여 처리하기 위한 상황정보 처리부; 및 상기 제어명령에 기초하여 상기 이동로봇을 제어하기 위한 이동로봇 제어부를 포함하되, 상기 제어명령은 상기 이동로봇의 이동방향을 직접 결정하는 직접제어명령 또는 상기 이동로봇이 특정 동작을 수행하도록 하는 간접제어명령을 포함한다.A control system of a mobile robot according to an embodiment includes: a surrounding environment sensing unit for acquiring surrounding environment data of the mobile robot; a contextual information generator for generating contextual information based on the surrounding environment data; a context information processing unit for providing the context information to the user through a user interface and receiving and processing a control command input from the user; and a mobile robot controller for controlling the mobile robot based on the control command, wherein the control command is a direct control command for directly determining a moving direction of the mobile robot or an indirect command for causing the mobile robot to perform a specific operation Includes control commands.

일 실시예에 따르면, 상기 간접제어명령은, 상기 이동로봇을 목표지점으로 이동시키거나, 상기 이동로봇이 특정 대상을 추종하게 하거나, 상기 이동로봇이 벽을 따라 이동하도록 제어할 수 있다.According to an embodiment, the indirect control command may control the mobile robot to move to a target point, make the mobile robot follow a specific target, or control the mobile robot to move along a wall.

일 실시예에 따르면, 상기 간접제어명령을 결정하기 위한 명령체계는 계층적으로 구성되어 상위계층에서 하위계층으로 갈수록 구체화될 수 있다.According to an embodiment, the command system for determining the indirect control command is hierarchically configured and may be further refined from an upper layer to a lower layer.

일 실시예에 따르면, 상기 주변환경 데이터는 상기 이동로봇의 주변환경을 촬영한 비디오 데이터를 포함하고, 상기 주변환경 감지부는 상기 비디오 데이터를 획득하기 위한 비전센서를 포함할 수 있다.According to an embodiment, the surrounding environment data may include video data obtained by photographing a surrounding environment of the mobile robot, and the surrounding environment sensing unit may include a vision sensor for acquiring the video data.

일 실시예에 따르면, 상기 주변환경 데이터는 상기 이동로봇의 주변환경으로부터 감지되는 오디오 데이터를 더 포함하고, 상기 주변환경 감지부는 상기 오디오 데이터를 획득하기 위한 음성센서를 더 포함할 수 있다.According to an embodiment, the surrounding environment data may further include audio data sensed from a surrounding environment of the mobile robot, and the surrounding environment sensing unit may further include a voice sensor for acquiring the audio data.

일 실시예에 따르면, 상기 상황정보 생성부는, 상기 주변환경의 비디오 데이터에 기초하여 주변환경의 지도정보, 객체인식정보 및 상기 이동로봇의 위치정보 중 적어도 하나를 포함하는 상황정보를 생성하도록 구성될 수 있다.According to an embodiment, the context information generating unit may be configured to generate context information including at least one of map information of the surrounding environment, object recognition information, and location information of the mobile robot based on the video data of the surrounding environment. can

일 실시예에 따르면, 상기 사용자 인터페이스는, 상기 상황정보를 사용자에게 제공하기 위한 출력부 및 사용자의 입력에 따른 제어명령을 생성하기 위한 입력부를 포함할 수 있다.According to an embodiment, the user interface may include an output unit for providing the context information to the user and an input unit for generating a control command according to the user's input.

일 실시예에 따르면, 상기 입력부는 사용자의 제스처를 인식하기 위한 제스처센서를 포함하고, 상기 제스처와 대응되는 제어명령을 생성하도록 구성될 수 있다.According to an embodiment, the input unit may include a gesture sensor for recognizing a user's gesture, and may be configured to generate a control command corresponding to the gesture.

일 실시예에 따르면, 상기 제스처는 직접명령모드에서는 상기 이동로봇을 특정 방향으로 이동시키기 위한 직접명령 제스처 및 상기 직접명령모드를 간접명령모드로 전환하기 위한 모드전환 제스처를 포함하며, 상기 직접명령 제스처 중 적어도 하나의 제스처는 간접명령모드에서는 간접제어명령을 선택하기 위한 제스처로 인식될 수 있다.According to an embodiment, the gesture includes a direct command gesture for moving the mobile robot in a specific direction in a direct command mode and a mode switching gesture for switching the direct command mode to an indirect command mode, and the direct command gesture At least one of the gestures may be recognized as a gesture for selecting an indirect control command in the indirect command mode.

일 실시예에 따르면, 상기 입력부는 사용자의 뇌파를 감지하기 위한 뇌파센서 또는 사용자의 시선방향을 감지하기 위한 시선방향센서를 포함하고, 상기 뇌파 또는 상기 시선방향에 대응되는 제어명령을 생성하도록 구성될 수 있다.According to one embodiment, the input unit includes an EEG sensor for detecting the user's brain wave or a gaze direction sensor for detecting the user's gaze direction, and is configured to generate a control command corresponding to the brain wave or the gaze direction. can

일 실시예에 따른 이동로봇의 제어방법은, 프로세서를 구비한 컴퓨터 장치에 의해 수행되며, 센서로부터 획득한 이동로봇의 주변환경 데이터에 기초하여 상황정보를 생성하는 단계; 사용자 인터페이스를 통해 상기 상황정보를 사용자에게 제공하는 단계; 사용자로부터 입력된 제어명령을 수신하여 처리하는 단계; 및 상기 제어명령에 기초하여 상기 이동로봇을 제어하는 단계를 포함하되, 상기 제어명령은, 상기 이동로봇의 이동방향을 직접 결정하는 직접제어명령 및 상기 이동로봇이 특정 동작을 수행하도록 하는 간접제어명령 중 적어도 하나를 포함한다.According to an exemplary embodiment, a method for controlling a mobile robot is performed by a computer device having a processor, comprising the steps of: generating context information based on surrounding environment data of the mobile robot obtained from a sensor; providing the context information to a user through a user interface; receiving and processing a control command input from a user; and controlling the mobile robot based on the control command, wherein the control command includes a direct control command for directly determining a moving direction of the mobile robot and an indirect control command for causing the mobile robot to perform a specific operation. at least one of

실시예에 따른 이동로봇의 제어방법을 구현하기 위한, 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램이 제공될 수 있다.A computer program stored in a computer-readable recording medium for implementing the control method of the mobile robot according to the embodiment may be provided.

본 발명의 일 실시예에 따르면, 이동로봇을 제어함에 있어서 사용자가 주변상황에 맞게 직접제어방식(로봇의 이동방향을 직접 제어하는 방식) 또는 간접제어방식(로봇이 특정 행동을 자동으로 수행하도록 명령하여 제어하는 방식)을 선택할 수 있다. 제어모드는 특정 제스처를 통해 손쉽게 전환할 수 있으며, 간접제어명령을 결정하기 위한 명령체계는 계층적으로 구성되어 사용자는 제한적인 환경에서도 이동로봇에게 다양한 명령을 내릴 수 있다. According to an embodiment of the present invention, in controlling the mobile robot, the user commands a direct control method (directly controlling the movement direction of the robot) or an indirect control method (instructing the robot to automatically perform a specific action according to the surrounding situation) control method) can be selected. The control mode can be easily switched through a specific gesture, and the command system for determining the indirect control command is structured hierarchically, so that the user can give various commands to the mobile robot even in a limited environment.

실시예에 따르면, 사용자는 로봇의 정밀한 동작이 요구되는 상황이나 지도정보가 주어지지 않은 낯선 환경에서는 로봇의 이동방향을 직접 제어하는 직접제어방식을 선택하고, 특정 공간으로 이동하거나 특정 대상을 추종해야 하는 상황에서는 로봇에게 해당 명령을 내리는 간접제어방식을 선택할 수 있다. 이로써 사용자의 피로도를 최소화하면서도 이동로봇이 다양한 환경에서 적응적으로 주행할 수 있다.According to the embodiment, the user must select a direct control method to directly control the movement direction of the robot in a situation requiring precise movement of the robot or an unfamiliar environment where map information is not given, and must move to a specific space or follow a specific target. In this situation, you can choose an indirect control method that gives the robot a corresponding command. This allows the mobile robot to adaptively drive in various environments while minimizing user fatigue.

도 1은 일 실시예에 따른 이동로봇의 제어시스템의 구성을 나타내는 구성도이다.
도 2는 사용자의 손 제스처와 대응되는 직접명령 및 간접명령을 나타낸 표이다.
도 3은 일 실시예에 따른 제어시스템에 있어서 계층적으로 구성된 간접제어명령 체계를 나타낸 도면이다.
도 4는 일 실시예에 따른 제어시스템에 있어서 사용자의 뇌파 또는 시선방향을 이용하여 간접제어명령을 선택하는 것을 나타낸 도면이다.
도 5는 일 실시예에 따른 이동로봇이 간접제어명령에 따라 벽을 타고 이동하는 것을 나타낸 도면이다.
도 6은 일 실시예에 따른 제어시스템에 있어서 사용자가 특정 동작 수행 시 디스플레이에 표시되는 전체 지도정보를 나타낸 도면이다.
도 7은 일 실시예에 따른 이동로봇이 카메라를 이용하여 촬영한 주변환경 및 인식된 객체를 디스플레이에 표시한 것을 나타낸 도면이다.
도 8은 일 실시예에 따른 제어시스템을 이용하여 이동로봇의 이동을 직접 및 간접적으로 제어하는 예시적인 시나리오를 나타낸 도면이다.
도 9는 일 실시예에 따른 이동로봇의 제어방법을 나타낸 순서도이다.1 is a configuration diagram showing the configuration of a control system of a mobile robot according to an embodiment.
2 is a table showing direct commands and indirect commands corresponding to a user's hand gesture.
3 is a diagram illustrating an indirect control command system configured hierarchically in a control system according to an embodiment.
4 is a diagram illustrating selection of an indirect control command using a user's brain waves or a gaze direction in the control system according to an embodiment.
5 is a diagram illustrating a mobile robot moving along a wall according to an indirect control command according to an embodiment.
6 is a diagram illustrating overall map information displayed on a display when a user performs a specific operation in a control system according to an embodiment.
FIG. 7 is a diagram illustrating a display of a recognized object and a surrounding environment photographed by a mobile robot using a camera according to an exemplary embodiment;
8 is a diagram illustrating an exemplary scenario of directly and indirectly controlling the movement of a mobile robot using a control system according to an embodiment.
9 is a flowchart illustrating a method for controlling a mobile robot according to an embodiment.

본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.The terms used in the present specification have been selected as widely used general terms as possible while considering their functions, but may vary depending on the intentions or customs of those of ordinary skill in the art or the emergence of new technologies. In addition, in specific cases, there are also terms arbitrarily selected by the applicant, and in this case, the meaning will be described in the description of the corresponding specification. Therefore, it is intended to clarify that the terms used in this specification should be interpreted based on the actual meaning of the terms and the contents of the entire specification, rather than the names of simple terms.

또한, 본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "유닛(unit)", "장치(device)" 또는 "시스템(system)" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 부, 유닛, 장치 또는 시스템은 플랫폼(platform)의 일부 또는 전부를 구성하는 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 애플리케이션(application) 등의 소프트웨어를 지칭하는 것일 수 있다.Further, embodiments described herein may have aspects that are entirely hardware, partially hardware and partially software, or entirely software. As used herein, “unit”, “unit”, “device” or “system” refers to hardware, a combination of hardware and software, or a computer-related entity such as software. refers to For example, a part, unit, device or system may refer to hardware constituting a part or all of a platform and/or software such as an application for driving the hardware.

이하에서는 첨부 도면들을 참조하여 실시예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시예들에 의해 제한되거나 한정되지 아니한다.Hereinafter, the embodiments will be described in detail with reference to the accompanying drawings, but the scope of the claims is not limited or limited by the embodiments.

도 1은 일 실시예에 따른 이동로봇의 제어시스템의 구성을 나타내는 구성도이다. 이동로봇(mobile robot)은 전기적으로 제어할 수 있는 구동 장치를 구비하여 인간의 조작에 의해 제어가 가능하거나 스스로 상황을 판단하여 주행이 가능한 기계를 의미한다. 본 명세서에서 이동로봇은 센서, 프로세서 등을 포함한 제어시스템을 구비하며 전기적인 제어에 의해 이동이 가능한 장치로 넓게 해석되어야 하며, 특정 형태나 작동 방식으로 제한되지 아니한다. 예를 들어, 이동로봇은 사용자가 직접 탑승하여 제어할 수 있도록 구성된 전동 휠체어나 수송차량, 또는 사용자가 탑승하지 않고 통신을 통해 원격으로 제어할 수 있는 무인로봇 등에 해당할 수 있다.1 is a configuration diagram showing the configuration of a control system of a mobile robot according to an embodiment. A mobile robot refers to a machine that has a driving device that can be controlled electrically and can be controlled by human manipulation or can run by judging a situation by itself. In the present specification, a mobile robot should be broadly interpreted as a device that has a control system including a sensor, a processor, and the like and can move by electrical control, and is not limited to a specific form or operation method. For example, the mobile robot may correspond to an electric wheelchair or transport vehicle configured to be controlled by a user on board, or an unmanned robot that can be remotely controlled through communication without a user riding on it.

본 발명의 일 실시예에 따른 제어시스템은, 사용자(이동로봇에 탑승하여 제어하거나 원격으로 이동로봇을 제어하는 사람)가 이동로봇의 이동방향을 직접 제어하거나 이동로봇이 특정 동작(목표지점으로 자동으로 이동하거나 특정 대상을 추종하는 동작 등)을 수행하도록 간접 제어함으로써 이동로봇에게 다양한 주행명령을 내릴 수 있도록 구성된다.In a control system according to an embodiment of the present invention, a user (a person who rides and controls the mobile robot or remotely controls the mobile robot) directly controls the moving direction of the mobile robot, or the mobile robot performs a specific operation (automatically to a target point). It is configured so that various driving commands can be given to the mobile robot by indirectly controlling it to move to or follow a specific target.

도 1을 참조하면, 일 실시예에 따른 이동로봇의 제어 시스템(10)은, 이동로봇의 주변환경 데이터를 획득하기 위한 주변환경 감지부(110), 주변환경 데이터에 기초하여 상황정보를 생성하기 위한 상황정보 생성부(120), 사용자 인터페이스(20)를 통해 상기 상황정보를 사용자에게 제공하고, 사용자로부터 입력된 제어명령을 수신하여 처리하기 위한 상황정보 처리부(130), 및 제어명령에 기초하여 이동로봇 구동계(30)를 제어하기 위한 이동로봇 제어부(140)로 구성된다.Referring to FIG. 1 , a control system 10 for a mobile robot according to an embodiment includes a surrounding environment sensing unit 110 for acquiring surrounding environment data of the mobile robot, and generating context information based on the surrounding environment data. Based on the context information generating unit 120 for providing the context information to the user through the user interface 20, the context information processing unit 130 for receiving and processing the control command input from the user, and the control command and a mobile robot controller 140 for controlling the mobile robot drive system 30 .

주변환경 감지부(110)는 이동로봇을 둘러싼 주변환경과 관련된 데이터(예컨대 주변환경의 이미지, 사운드, 장애물이나 보행자의 위치 등)를 획득하기 위한 구성요소이다. 일 실시예에 따르면, 상기 주변환경 데이터는 상기 이동로봇의 주변환경을 촬영한 비디오 데이터를 포함할 수 있고, 이를 얻기 위해 주변환경 감지부(110)는 비전센서를 구비할 수 있다. 비전센서는 예컨대 팬-틸팅(pan-tilting) 기능을 구비하여 상하좌우로 촬영각도를 조절할 수 있는 카메라, 또는 주변환경의 적외선 이미지를 획득할 수 있는 적외선센서 등에 해당한다.The surrounding environment sensing unit 110 is a component for acquiring data related to the surrounding environment surrounding the mobile robot (eg, an image of the surrounding environment, a sound, the location of an obstacle or a pedestrian, etc.). According to an embodiment, the surrounding environment data may include video data of the surrounding environment of the mobile robot, and to obtain this, the surrounding environment sensing unit 110 may include a vision sensor. The vision sensor corresponds to, for example, a camera having a pan-tilting function to adjust a shooting angle vertically, horizontally, horizontally, or an infrared sensor capable of acquiring an infrared image of a surrounding environment.

추가적인 실시예에 따르면, 주변환경 감지부(110)는 마이크 등의 음성센서를 구비하여 주변환경에서 발생하는 소리를 녹음함으로써 오디오 데이터를 획득할 수 있다.According to an additional embodiment, the ambient environment sensing unit 110 may include a voice sensor such as a microphone to acquire audio data by recording sounds generated in the surrounding environment.

일 실시예에 따르면, 주변환경 감지부(110)는 신호 송수신기를 구비하여 로봇 주위로 신호를 송출하고 장애물에 반사되어 돌아오는 신호를 수신하여 상기 장애물과 이동로봇 간의 거리를 계산하는 방식으로 장애물을 감지할 수 있다. 예를 들어, LiDAR와 같이 레이저 펄스를 송출하고 물체에 반사되어 돌아오는 신호를 수신하여 거리를 측정하는 방식으로 주변환경 정보를 시각적으로 인지할 수 있다. According to one embodiment, the surrounding environment sensing unit 110 is provided with a signal transceiver to transmit a signal around the robot and receive a signal that is reflected back from the obstacle to detect the obstacle in a manner that calculates the distance between the obstacle and the mobile robot. can detect For example, as in LiDAR, information about the surrounding environment can be visually recognized by sending out a laser pulse and measuring the distance by receiving a signal that is reflected back from an object.

주변환경 감지부(110)는 이동로봇의 전방(사용자가 바라보는 방향)에 설치된 하나의 센서로 구성될 수도 있고, 이동로봇의 전후좌우 방향에 설치된 복수개의 센서로 구성될 수도 있다. 또는, 이동로봇의 상단부에 설치되어 360도 회전하면서 전방향을 감지하도록 구성될 수도 있다. The surrounding environment sensing unit 110 may be configured with one sensor installed in front of the mobile robot (in the direction the user looks at), or may be configured with a plurality of sensors installed in front, rear, left, right, and right directions of the mobile robot. Alternatively, it may be installed at the upper end of the mobile robot and configured to rotate 360 degrees and sense all directions.

상황정보 생성부(120)는 주변환경 감지부(110)에서 획득한 주변환경 데이터에 기초하여 상황정보를 생성하도록 구성된다. 상황정보는 이동로봇을 둘러싼 주변환경에 대해 분석한 결과로서 사용자 인터페이스를 통해 사용자에게 제공되는 정보이다. 예를 들어, 상황정보는 주변환경의 지도정보, 센서를 통해 인식한 객체인식정보, 이동로봇의 현재 위치정보 등을 포함할 수 있다. The contextual information generator 120 is configured to generate contextual information based on the surrounding environment data obtained from the surrounding environment sensing unit 110 . Context information is information provided to a user through a user interface as a result of analyzing the surrounding environment surrounding the mobile robot. For example, the context information may include map information of the surrounding environment, object recognition information recognized through a sensor, current location information of the mobile robot, and the like.

예를 들어, 센서를 통해 주변의 벽 또는 장애물까지의 거리를 측정하고 이를 바탕으로 지도정보를 생성하거나, 카메라로 촬영한 이미지에서 윤곽을 인식하여 객체인식정보를 생성할 수 있다. 또한, 주변의 벽 또는 장애물까지의 거리를 미리 저장된 지도정보와 대조하여 이동로봇의 현재 위치를 파악할 수도 있다. 나아가, 지도상에서의 이동 가능 목적지 정보, 이동 방향 결정을 위한 경로 분기 정보, 카메라의 팬틸트 응시방향의 비전인식 객체 정보, 팬틸트 응시방향의 비전 기반 이동 영역 정보 등을 상황정보로서 생성할 수 있다.For example, the distance to a nearby wall or obstacle is measured through a sensor and map information is generated based on this, or object recognition information can be generated by recognizing an outline from an image taken with a camera. In addition, the current location of the mobile robot may be determined by comparing the distance to the surrounding wall or obstacle with the map information stored in advance. Furthermore, it is possible to generate moving destination information on the map, route branch information for determining the moving direction, vision recognition object information in the pan-tilt gaze direction of the camera, and vision-based movement area information in the pan-tilt gaze direction as context information. .

상황정보 처리부(130)는 사용자 인터페이스를 통해 상기 생성된 상황정보를 사용자에게 제공하며, 사용자로부터 입력된 제어명령을 수신하여 처리하도록 구성된다. 즉, 사용자가 상황정보를 인식할 수 있도록 사용자 인터페이스 프로그램 및 장치를 제어하여 사용자에게 정보를 제공한다.The context information processing unit 130 is configured to provide the generated context information to the user through a user interface, and to receive and process a control command input from the user. That is, the information is provided to the user by controlling the user interface program and the device so that the user can recognize the context information.

사용자 인터페이스(User Interface)는 사람이 컴퓨터 단말기와 정보를 주고 받을 수 있도록 매개하는 소프트웨어 프로그램 및/또는 이를 구현하기 위한 하드웨어 장치들을 의미한다. 도 1을 참조하면, 본 발명의 실시예에 따른 사용자 인터페이스(20)는 생성된 상황정보를 사용자에게 제공하기 위한 출력부(210) 및 사용자의 입력에 따른 제어명령을 생성하기 위한 입력부(220)를 포함한다. A user interface means a software program that mediates so that a person can exchange information with a computer terminal and/or hardware devices for implementing the same. Referring to FIG. 1 , the user interface 20 according to an embodiment of the present invention includes an output unit 210 for providing the generated context information to a user and an input unit 220 for generating a control command according to the user's input. includes

출력부(210)의 형태는 사용자에게 제공하고자 하는 데이터 및 정보의 종류에 따라 달라질 수 있으며, 이를 제공하기 위한 하드웨어 장치뿐만 아니라 소프트웨어 프로그램을 모두 포괄하는 개념으로 이해되어야 한다. 일 실시예에 따르면, 출력부(210)는 예컨대 비전센서를 통해 획득한 주변환경의 이미지(즉, 사진이나 동영상 등의 비디오 데이터)를 표시하기 위한 디스플레이 및 음성센서를 통해 획득한 주변환경의 소리(즉, 오디오 데이터)를 출력하기 위한 스피커 등의 장치를 포함할 수 있다. The shape of the output unit 210 may vary depending on the type of data and information to be provided to the user, and should be understood as a concept encompassing all software programs as well as hardware devices for providing them. According to one embodiment, the output unit 210 is, for example, a display for displaying an image of the surrounding environment acquired through a vision sensor (ie, video data such as a picture or video) and a sound of the surrounding environment acquired through a voice sensor. It may include a device such as a speaker for outputting (ie, audio data).

또 다른 실시예에 따르면, 출력부(210)는 사용자의 머리에 착용되어 가상현실 환경을 제공하기 위한 헤드마운티드 디스플레이(Head Mounted Display; HMD)일 수 있다. HMD는 기존의 모니터와는 달리 영상의 거리감이 느껴지도록 좌우의 영상이 다르게 표시되며 이를 통해 사용자가 입체감을 느낄 수 있는 것이 특징이다. HMD 형태의 디스플레이는 내부에 IMU 센서, 즉 관성 측정 장치를 구비하여 사용자가 HMD를 착용한 상태에서 머리를 상하좌우로 움직이면 상기 IMU 센서가 측정한 회전, 가속도, 또는 각속도에 기초하여 디스플레이에 출력되는 오브젝트를 제어하는 입력 장치로서 동작할 수도 있다.According to another embodiment, the output unit 210 may be a head mounted display (HMD) worn on the user's head to provide a virtual reality environment. Unlike the existing monitors, the HMD displays the left and right images differently so that the distance of the image can be felt, and through this, the user can feel a three-dimensional effect. The HMD-type display has an IMU sensor, that is, an inertial measurement device, and is output to the display based on the rotation, acceleration, or angular velocity measured by the IMU sensor when the user moves the head up, down, left and right while wearing the HMD. It can also act as an input device for controlling an object.

사용자는 출력부(210)를 통해 상황정보를 모니터링하면서, 필요한 경우 이동로봇을 제어하기 위한 제어명령을 입력한다. 본 발명의 실시예에서, 제어명령은 상기 이동로봇의 이동방향을 직접 결정하는 직접제어명령 또는 상기 이동로봇이 특정 동작을 수행하도록 하는 간접제어명령을 포함한다. 이동로봇의 명령체계에 대해서는 상세하게 후술하기로 한다.The user inputs a control command for controlling the mobile robot, if necessary, while monitoring the situation information through the output unit 210 . In an embodiment of the present invention, the control command includes a direct control command for directly determining the moving direction of the mobile robot or an indirect control command for causing the mobile robot to perform a specific operation. The command system of the mobile robot will be described later in detail.

이동로봇 제어부(140)는 사용자 인터페이스를 통해 입력된 제어명령에 기초하여 이동로봇을, 보다 구체적으로는 이동로봇의 구동계(30)를 제어한다. 구동계(30)는 이동로봇을 전진 또는 후진시키는 이동유닛(예를 들어, 바퀴 등)과 상기 이동로봇의 방향을 회전시킬 수 있는 방향회전유닛(예를 들어, 조향장치 등)으로 구성될 수 있다. 예시에 따르면, 사용자로부터 좌측으로 이동하라는 이동명령이 입력된 경우, 이동로봇 제어부(140)는 이동로봇의 조향장치를 제어하여 로봇이 왼쪽을 향하게 한 후 바퀴를 구동시켜 로봇을 주행시킬 수 있다.The mobile robot controller 140 controls the mobile robot, more specifically, the driving system 30 of the mobile robot, based on the control command input through the user interface. The drive system 30 may be composed of a moving unit (for example, a wheel, etc.) for moving the mobile robot forward or backward and a direction rotation unit (for example, a steering device, etc.) capable of rotating the direction of the mobile robot. . According to an example, when a movement command to move to the left is input from the user, the mobile robot controller 140 controls the steering device of the mobile robot to direct the robot to the left, and then drives the wheels to drive the robot.

이하에서는 사용자가 이동로봇의 이동 방향을 직접 제어하거나 특정 동작을 수행하도록 간접 제어하는 실시예에 대해 설명한다. 실시예에 의하면 이동로봇의 제어모드를 직접명령모드와 간접명령모드로 구분하여, 동일한 제스처라도 각 모드에 따라 상이한 명령을 내리도록 구성될 수 있다.Hereinafter, an embodiment in which the user directly controls the moving direction of the mobile robot or indirectly controls to perform a specific operation will be described. According to an embodiment, the control mode of the mobile robot may be divided into a direct command mode and an indirect command mode, so that even the same gesture may be configured to issue a different command according to each mode.

직접제어명령은 사용자가 이동로봇의 이동방향 및 속도를 직접 제어하기 위한 명령이다. 예를 들어, 로봇을 전진, 후진, 좌회전, 우회전시키거나 속도를 가속 또는 감속시키는 명령들이 이에 해당한다. 제어명령은 키보드, 마우스, 터치스크린, 핸들, 페달, 조이스틱, 음성마이크 등 다양한 형태의 입력장치를 통해 입력될 수 있다. 직접제어방식에 따르면 이동로봇을 원하는 방식으로 정밀하게 움직일 수 있고 사용자가 로봇의 주변환경을 직접 모니터링하면서 돌발 상황에 대처할 수 있다.The direct control command is a command for the user to directly control the moving direction and speed of the mobile robot. For example, commands for moving the robot forward, backward, left turn, right turn, or accelerate or decelerate the robot speed. The control command may be input through various types of input devices, such as a keyboard, mouse, touch screen, handle, pedal, joystick, and voice microphone. According to the direct control method, the mobile robot can be moved precisely in a desired way, and the user can directly monitor the robot's surrounding environment and respond to unexpected situations.

반면, 간접제어명령은 이동로봇을 지도상의 목표지점으로 이동시키거나, 이동로봇이 대상을 추종하게 하거나, 이동로봇이 벽을 따라 이동하도록 하는 등 특정 동작을 수행하게 하여 이동로봇을 간접적으로 이동시키는 명령에 해당한다. 간접제어방식에 따르면 사용자가 일단 명령을 선택한 이후에는 이동로봇의 동작을 위해 별도의 조작을 수행할 필요가 없으므로 조작에 따른 사용자의 피로도가 줄어든다.On the other hand, the indirect control command indirectly moves the mobile robot by performing a specific action, such as moving the mobile robot to a target point on the map, making the mobile robot follow a target, or making the mobile robot move along a wall. corresponds to the command. According to the indirect control method, after the user selects a command, there is no need to perform a separate operation for the operation of the mobile robot, so the user's fatigue due to the operation is reduced.

본 발명의 일 실시예에 따르면, 사용자가 제스처를 통해 이동로봇의 제어모드를 자유롭게 전환하여 직접제어명령 또는 간접제어명령을 선택할 수 있다. 따라서 상황에 따라 적절한 제어방식을 선택하여 사용자의 피로도를 낮추는 동시에 이동로봇에게 다양한 동작을 수행하게 할 수 있다.According to an embodiment of the present invention, a user can freely switch the control mode of the mobile robot through a gesture to select a direct control command or an indirect control command. Therefore, it is possible to reduce user fatigue by selecting an appropriate control method according to the situation and at the same time allow the mobile robot to perform various operations.

본 실시예에서, 상기 입력부(220)는 사용자의 제스처를 인식하기 위한 제스처센서를 포함하고, 상기 제스처와 대응되는 제어명령을 생성하도록 구성될 수 있다. 예를 들어, 제스처센서는 사용자의 손 모양을 촬영하여 이미지를 획득하고 상기 이미지를 저장장치에 미리 저장된 손 모양 이미지와 비교하여 사용자가 어떤 형태의 제스처를 취하였는지 인식할 수 있다.In this embodiment, the input unit 220 may include a gesture sensor for recognizing a user's gesture, and may be configured to generate a control command corresponding to the gesture. For example, the gesture sensor may acquire an image by photographing the user's hand shape, and compare the image with a hand shape image previously stored in a storage device to recognize what type of gesture the user has taken.

도 2는 사용자의 제스처와 대응되는 직접명령 및 간접명령을 예시적으로 나타낸 표이다. 도 2를 참조하면, 제스처(1)는 손으로 주먹을 쥐는 동작으로서 이는 직접명령모드에서 이동로봇을 전방으로 이동시키는 명령과 대응될 수 있다. 제스처(2)는 손바닥을 펴는 동작으로서 이는 직접명령모드에서 이동로봇을 후방으로 이동시키는 명령과 대응될 수 있다. 제스처(3)는 오른손 손바닥을 편 채로 왼쪽으로(안쪽으로) 구부리는 동작으로서 이는 직접명령모드에서 이동로봇을 좌측으로 이동시키는 명령과 대응될 수 있다. 제스처(4)는 오른손 손바닥을 편 채로 오른쪽으로(바깥쪽으로) 구부리는 동작으로서 이는 직접명령모드에서 이동로봇을 우측으로 이동시키는 명령과 대응될 수 있다. 그러나 도시된 각각의 제스처와 명령의 대응관계는 예시에 불과하며, 도시되지 않은 다양한 형태의 제스처와 이에 대응되는 제어명령이 저장될 수 있다.2 is a table exemplarily showing direct commands and indirect commands corresponding to a user's gesture. Referring to FIG. 2 , the gesture 1 is an operation of clenching a fist with a hand, which may correspond to a command to move the mobile robot forward in the direct command mode. The gesture (2) is an action to open the palm, which may correspond to a command to move the mobile robot backward in the direct command mode. The gesture 3 is an operation of bending the left hand (inward) with the palm of the right hand open, which may correspond to a command for moving the mobile robot to the left in the direct command mode. The gesture 4 is an operation of bending the right palm to the right (outward) with the palm open, which may correspond to a command to move the mobile robot to the right in the direct command mode. However, the correspondence between each gesture and the command shown is only an example, and various types of gestures and corresponding control commands not shown may be stored.

일 실시예에 따르면, 제스처는 직접명령모드에서 이동로봇을 특정 방향으로 이동시키기 위한 직접명령 제스처(예컨대, 제스처(1) 내지 제스처(4)) 이외에도, 직접명령모드를 간접명령모드로 전환(또는 간접명령모드를 직접명령모드로 전환)하기 위한 모드전환 제스처를 포함할 수 있다. 도 2에 도시된 제스처(5)는 오른손으로 물건을 집는 듯한 동작으로서, 제스처센서가 이러한 동작을 인식하게 되면, 시스템의 현재 제어모드가 직접명령모드라면 간접명령모드로 전환하고, 현재 제어모드가 간접명령모드라면 직접명령모드로 전환한다.According to one embodiment, in addition to the direct command gesture (eg, gesture 1 to gesture 4) for moving the mobile robot in a specific direction in the direct command mode, the gesture may change the direct command mode to the indirect command mode (or It may include a mode switching gesture for switching the indirect command mode to the direct command mode). The gesture 5 shown in FIG. 2 is an operation like picking up an object with the right hand. When the gesture sensor recognizes this operation, if the current control mode of the system is the direct command mode, it switches to the indirect command mode, and the current control mode is If it is indirect command mode, it switches to direct command mode.

이때, 직접명령 제스처(예컨대, 제스처(1) 내지 제스처(4)) 중 적어도 하나의 제스처는 간접명령모드에서는 간접제어명령을 선택하기 위한 제스처로 인식될 수 있다. 예를 들어, 제스처(3)는 직접명령모드에서는 전술한 바와 같이 이동로봇을 좌회전시키는 명령과 대응되지만 간접명령모드에서는 지도 상에서 이동할 노드(주행환경 토폴로지를 구성하는 각각의 지점들)를 변경하는 명령과 대응될 수 있고, 제스처(4)는 직접명령모드에서는 이동로봇을 우회전시키는 명령과 대응되지만 간접명령모드에서는 이동로봇을 선택한 목적지로 이동시키는 명령과 대응될 수 있다. In this case, at least one of the direct command gestures (eg, gestures 1 to 4) may be recognized as a gesture for selecting an indirect control command in the indirect command mode. For example, the gesture 3 corresponds to the command to rotate the mobile robot left as described above in the direct command mode, but in the indirect command mode, a command to change the node (each point constituting the driving environment topology) to move on the map In the direct command mode, the gesture 4 may correspond to a command to turn the mobile robot right, but in the indirect command mode, it may correspond to a command to move the mobile robot to a selected destination.

사람이 손 동작을 통해 구현할 수 있는 제스처의 종류에는 한계가 있으나 이와 같이 동일한 제스처라도 제어모드가 전환될 경우 다른 명령과 대응되도록 구성함으로써 한정된 제스처로 다양한 명령을 내릴 수 있다.Although there is a limit to the types of gestures that a person can implement through hand gestures, various commands can be issued with limited gestures by configuring such gestures to correspond to other commands when the control mode is switched.

간접제어명령모드에서는 사용자가 이동로봇에게 특정동작을 수행하도록 명령할 수 있다. 즉, 이동로봇에게 구체적인 이동방향(전후좌우)을 지시하는 것이 아니라, 선택된 목표위치로 이동하거나 지정 대상을 따라가도록 로봇의 행동을 지시할 수 있다. 일 실시예에 따르면, 간접제어명령을 결정하기 위한 명령체계는 계층적으로 구성되어 상위계층에서 하위계층으로 갈수록 명령이 구체화되는 체계일 수 있다. In the indirect control command mode, the user can command the mobile robot to perform a specific operation. That is, instead of instructing the mobile robot in a specific movement direction (front, back, left, right), it is possible to instruct the robot to move to a selected target position or to follow a designated target. According to an embodiment, the command system for determining the indirect control command may be a system in which the command is structured hierarchically from an upper layer to a lower layer.

사용자가 특정 제스처(예를 들어, 도 2의 제스처(5))를 취해 간접제어모드로 진입하게 되면, 디스플레이에는 도 3에 도시된 것처럼 계층적으로 구성된 간접제어명령 선택 창이 표시될 수 있다. 이동로봇의 간접명령 중 가장 상위계층은 '이동(로봇을 이동시키기 위한 명령)', '대화(로봇과 대화를 주고받기 위한 명령)', '탐색(로봇에게 특정지점을 탐색시키기 위한 명령)' 등으로 카테고리화될 수 있다. 여기서 사용자가 '이동' 탭을 선택할 경우, 해당 탭의 하위계층으로 진입하며 하위 탭은 '장소(로봇을 특정 장소로 이동시키기 위한 명령)', '방향(로봇이 벽을 타고 특정 방향으로 이동하도록 제어하기 위한 명령)', '사람(로봇이 특정 인물을 추종하도록 하기 위한 명령)' 등으로 카테고리화될 수 있다. 사용자가 '장소' 탭을 선택할 경우 해당 탭의 하위계층으로 진입하며 하위 탭은 '큰방', '안방', '부엌', '거실' 등 구체적인 이동 목표장소로 카테고리화될 수 있다. 도 3에 도시된 것처럼 '큰방'을 선택하게 되면 이동로봇은 지도 정보에 기초하여 사용자의 방향 지시 없이도 큰방으로 이동하게 된다.When the user enters the indirect control mode by taking a specific gesture (eg, gesture 5 in FIG. 2 ), a hierarchically structured indirect control command selection window may be displayed on the display as shown in FIG. 3 . Among the indirect commands of the mobile robot, the highest layer is 'Move (command to move the robot)', 'Conversation (command to communicate with the robot)', 'Search (command to give the robot a search for a specific point)' can be categorized as Here, if the user selects the 'Move' tab, it enters the lower layer of the corresponding tab, and the lower tabs are 'place (command to move the robot to a specific place)', 'direction (to make the robot move in a specific direction on the wall)' It can be categorized into 'command to control)', 'person (command to make the robot follow a specific person)', and the like. When the user selects the 'Place' tab, the user enters the lower layer of the corresponding tab, and the lower tab can be categorized into specific moving target places such as 'Big Room', 'Main Room', 'Kitchen', 'Living Room'. As shown in FIG. 3 , when 'big room' is selected, the mobile robot moves to the big room based on the map information without the user's direction instruction.

도 3의 간접제어명령 선택 창은 예시일 뿐이며 명령체계는 다양한 형태로 구성될 수 있다. 또한, 이러한 선택 창이 디스플레이에 출력되지 않은 채 음성안내에 따라 사용자가 단계적으로 간접명령을 선택할 수도 있다. 예컨대, '명령의 카테고리를 선택하세요', '이동 명령의 카테고리를 선택하세요', '이동 장소를 선택하세요' 등의 메시지가 차례로 출력되어 사용자의 간접 명령 선택을 유도할 수 있다.The indirect control command selection window of FIG. 3 is only an example, and the command system may be configured in various forms. In addition, the user may select the indirect command step by step according to the voice guidance without such a selection window being output on the display. For example, messages such as 'select a command category', 'select a movement command category', and 'select a moving location' may be sequentially output to induce the user to select an indirect command.

사용자의 입력명령은 전술한 제스처 기반 입력장치뿐만 아니라 다양한 형태의 입력장치를 통해 제어시스템으로 입력될 수 있다. 일 실시예에 따르면 입력부(220)는 사용자의 뇌파를 감지하기 위한 뇌파센서 또는 사용자의 시선방향을 감지하기 위한 시선방향센서를 포함하고, 상기 뇌파 또는 상기 시선방향에 대응되는 제어명령을 생성하도록 구성될 수 있다. 뇌파센서는 사용자의 두개골에 부착된 전극을 이용해 뇌파의 크기, 파형, 주파수 등 특성을 감지하고 어떠한 특성을 갖는 뇌파가 검출되면 이에 대응하여 프로그램 및 장치를 제어하는 제어신호를 생성하도록 구성되는 BCI(Brain-Computer Interface) 시스템을 포함한다. 또한, 시선방향센서는 사용자의 눈 주변에 부착되어 사용자의 눈동자 위치를 추적함으로써 시선방향을 검출한다. 시선방향이 디스플레이에 표시되는 오브젝트를 향하고 있다고 인식하면 해당 오브젝트를 선택하도록 제어신호를 생성한다.The user's input command may be input to the control system through various types of input devices as well as the above-described gesture-based input device. According to an embodiment, the input unit 220 includes an EEG sensor for detecting the user's brain wave or a gaze direction sensor for detecting the user's gaze direction, and is configured to generate a control command corresponding to the brain wave or the gaze direction. can be The EEG sensor detects characteristics such as the size, waveform, and frequency of EEG using electrodes attached to the user's skull, and when EEG with certain characteristics is detected, the BCI (BCI) is configured to generate a control signal to control the program and device in response. Brain-Computer Interface) system. In addition, the gaze direction sensor is attached around the user's eyes and detects the gaze direction by tracking the position of the user's pupil. When it is recognized that the gaze direction is facing the object displayed on the display, a control signal is generated to select the corresponding object.

도 4는 일 실시예에 따른 제어시스템에 있어서 사용자의 뇌파 또는 시선방향을 이용하여 간접제어명령을 선택하는 것을 나타낸 도면이다. 도 4의 좌측은 사용자가 간접명령의 상위계층 명령(장소, 방향, 사람, 지도, 시간 등)을 선택하는 것을 나타내고, 우측은 사용자가 이동 탭을 선택하여 구체적인 이동 장소(큰방, 안방, 부엌, 거실, 화장실, 현관 등)를 선택하는 것을 나타낸다. 4 is a diagram illustrating selection of an indirect control command using a user's brain waves or a gaze direction in the control system according to an embodiment. The left side of FIG. 4 shows that the user selects a higher-level command (place, direction, person, map, time, etc.) of the indirect command, and the right side shows the user selecting a movement tab to move to a specific place (large room, master bedroom, kitchen, living room, bathroom, hallway, etc.)

앞서 설명한 바와 같이, 뇌파 또는 시선방향을 이용하여 간접제어명령을 선택하는 것은 인터페이스 제어방법의 예시에 불과하며, 손 제스처나 음성인식 등 다양한 방법을 통해서도 간접제어명령을 선택할 수 있다.As described above, selecting the indirect control command using the brain wave or the gaze direction is only an example of an interface control method, and the indirect control command can be selected through various methods such as hand gestures or voice recognition.

도 5는 일 실시예에 따른 이동로봇이 간접제어명령에 따라 벽을 타고 이동하는 것을 나타낸 도면이다. 이동로봇의 주행 중 전방에 장애물이 위치한 경우 사용자가 이동방향을 지정하여 장애물을 회피하도록 지시할 수도 있지만(직접제어), 벽을 타고 이동하도록 명령함으로써 장애물을 피해갈 수도 있다(간접제어). 이와 같이 직접제어방식과 간접제어방식을 혼합하여 이동로봇을 제어함으로써 사용자의 피로도를 줄이면서도 원하는 방향으로 로봇을 이동시킬 수 있다.5 is a diagram illustrating a mobile robot moving along a wall according to an indirect control command according to an embodiment. When an obstacle is located in front of the mobile robot while driving, the user may instruct the user to avoid the obstacle by designating the direction of movement (direct control), but may also avoid the obstacle by instructing the user to move on the wall (indirect control). In this way, by controlling the mobile robot by mixing the direct control method and the indirect control method, it is possible to move the robot in a desired direction while reducing user fatigue.

도 6는 일 실시예에 따른 제어시스템에 있어서 사용자가 특정 동작 수행 시 디스플레이에 표시되는 전체 지도정보를 나타낸 도면이다. 사용자는 직접제어 도중에 이동로봇의 현재위치를 확인하기 위해, 또는 간접제어로 이동로봇의 이동 목표지점을 선택하기 위해 지도정보를 확인할 수 있다. 지도정보는 주행 전에 저장장치에 미리 저장되거나 전술한 바와 같이 주변환경 감지부를 통해 생성될 수도 있다. 6 is a diagram illustrating overall map information displayed on a display when a user performs a specific operation in a control system according to an embodiment. The user may check the map information to check the current position of the mobile robot during direct control or to select a moving target point of the mobile robot by indirect control. The map information may be pre-stored in the storage device before driving or may be generated through the surrounding environment sensing unit as described above.

일 실시예에서, 사용자는 머리 움직임을 인식할 수 있는 헤드마운티드 디스플레이(HMD)를 착용한 상태에서 천장을 응시하는 동작(즉, 머리가 천장을 향하게 하는 동작)을 수행하여 디스플레이에 지도가 출력되도록 시스템을 제어할 수 있다. 지도가 출력된 상태에서 제스처를 취하는 등 후속 동작을 수행하여 이동로봇의 이동 목표지점을 선택할 수 있다.In an embodiment, the user performs an operation of gazing at the ceiling (ie, an operation of turning the head toward the ceiling) while wearing a head mounted display (HMD) capable of recognizing head movement so that a map is output on the display. You can control the system. In a state in which the map is output, a follow-up operation such as taking a gesture may be performed to select a moving target point of the mobile robot.

도 7은 일 실시예에 따른 이동로봇이 카메라를 이용하여 촬영한 주변환경 및 인식된 객체를 디스플레이에 표시한 것을 나타낸 도면이다. 주변환경 감지부(도 1의 110)를 통해 주변환경의 이미지(비디오 데이터)를 획득하면, 상황정보 생성부(도 1의 120)는 이를 기초로 사용자에게 제공될 상황정보를 생성한다. 즉, 단순히 카메라로 촬영된 이미지를 스트리밍하는 것을 넘어 이미지에 포함된 인물/사물(철수, 태민, 쓰레기통)을 데이터베이스와 비교하여 객체로 인식하고 해당 정보를 텍스트와 함께 사용자에게 제공할 수 있다. 또한, 지도정보에 기초하여 해당 장면에서 좌측으로 이동하면 주방으로 갈 수 있고 우측으로 이동하면 거실로 갈 수 있다는 등의 방향정보를 제공할 수 있다.FIG. 7 is a diagram illustrating a display of a recognized object and a surrounding environment photographed by a mobile robot using a camera according to an exemplary embodiment; When an image (video data) of the surrounding environment is obtained through the surrounding environment sensor ( 110 of FIG. 1 ), the context information generator ( 120 of FIG. 1 ) generates context information to be provided to the user based on this. That is, beyond simply streaming the image captured by the camera, the person/object (Chulsu, Taemin, trash can) included in the image is compared with the database to recognize it as an object, and the information can be provided to the user along with text. In addition, based on the map information, direction information such as moving to the left in the corresponding scene to go to the kitchen and moving to the right to go to the living room may be provided.

사용자는 상황정보를 제공 받으면서, 이동로봇이 이동할 장소(주방 또는 거실)를 선택하거나 추종할 대상(철수 또는 태민)을 선택하는 등 후속적인 간접명령을 내릴 수 있다. 특별한 명령이 없다면 이동로봇은 바로 직전에 입력된 제어명령에 따라 동작을 계속하게 된다.While receiving contextual information, the user can issue subsequent indirect commands, such as selecting a location (kitchen or living room) to which the mobile robot will move or selecting a target to follow (withdrawal or Taemin). If there is no special command, the mobile robot continues to operate according to the control command entered immediately before.

도 8은 일 실시예에 따른 제어시스템을 이용하여 이동로봇의 이동을 직접 및 간접적으로 제어하는 예시적인 시나리오를 나타낸 도면이다. 도 8에 도시된 것처럼 이동로봇에 대한 직접 제어와 간접 제어를 선택하여 효율적인 주행이 가능하다. 본 실시예에서 사용자는 손 제스처 및 HMD를 이용한 머리방향 전환을 통해 이동로봇을 제어한다.8 is a diagram illustrating an exemplary scenario of directly and indirectly controlling the movement of a mobile robot using a control system according to an embodiment. As shown in FIG. 8 , efficient driving is possible by selecting direct control and indirect control for the mobile robot. In this embodiment, the user controls the mobile robot through a hand gesture and a head direction change using the HMD.

① 이동로봇의 출발지점으로서 사용자로부터 직진 명령을 수신하여 전방으로 이동함(직접제어)① As the starting point of the mobile robot, it receives the command to go straight from the user and moves forward (direct control)

② 막다른 벽에서 사용자로부터 우회전 명령을 수신하여 우측으로 이동함 (직접제어)② Receives a right turn command from the user at a dead end wall and moves to the right (direct control)

③ 막다른 벽에서 사용자로부터 좌회전 명령을 수신하여 좌측으로 이동함(직접제어)③ Receives a left turn command from the user at the dead end wall and moves to the left (direct control)

④ 사용자로부터 정지 명령을 수신하여 이동 중지 후 좌회전 명령을 수신하여 좌측으로 이동함(직접제어)④ Receives a stop command from the user and stops moving, then receives a left turn command and moves to the left (direct control)

⑤ 사용자로부터 직진 명령을 수신하여 전방으로 이동함(직접제어)⑤ Receives a straight forward command from the user and moves forward (direct control)

⑥ 사용자로부터 우회전 명령을 수신하여 우측으로 이동함(직접제어)⑥ Receives a right turn command from the user and moves to the right (direct control)

⑦ 사용자로부터 직진 명령을 수신하여 전방으로 이동함(직접제어)⑦ Receives a straight forward command from the user and moves forward (direct control)

⑧ 사용자로부터 좌회전 명령을 수신하여 좌측으로 이동함(직접제어)⑧ Receives a left turn command from the user and moves to the left (direct control)

⑨ 사용자로부터 직진 명령을 수신하여 전방으로 이동함(직접제어)⑨ Receives a straight forward command from the user and moves forward (direct control)

⑩ 특정 제스처를 취해 간접명령모드로 전환함. 사용자가 천장을 응시하여 지도를 출력한 상태에서 작은방으로 이동하라는 명령을 내림(간접제어)⑩ Switch to indirect command mode by taking a specific gesture. The user gazes at the ceiling and gives a command to move to a small room while the map is printed (indirect control)

⑪ ⑩의 명령에 따라 작은방 입구를 통과해 안쪽으로 진입함(간접제어)⑪ Enter through the entrance of the small room according to the command of ⑩ (indirect control)

⑫ 주행 중 전방에 놓인 장애물을 자동으로 회피하여 작은방 안쪽까지 진입함(간접제어)⑫ Automatically avoids obstacles placed in front while driving and enters the small room (indirect control)

⑬ 사용자가 천장을 응시하여 지도를 출력한 상태에서 큰방으로 이동하라는 명령을 내림(간접제어)⑬ The user gazes at the ceiling and gives a command to move to a large room while the map is printed (indirect control)

⑭ 사용자가 왼쪽을 응시한 상태에서 직진 명령을 내리면 좌측 벽으로 이동함(간접제어)⑭ If the user gives a command to go straight while looking to the left, it moves to the left wall (indirect control)

⑮ 사용자가 오른쪽을 응시한 상태에서 직진 명령을 내리면 벽을 따라 우측으로 이동함. 목적지에 도착.⑮ If the user gives a command to go straight while looking to the right, it moves to the right along the wall. Arrive at destination.

이 때, ① 내지 ⑨의 동작은 사용자의 직접명령 외에도 '좌측 벽을 타고 이동'하라는 간접명령에 의해서도 수행할 수 있으며, 지도 중앙으로 이동하라는 간접명령을 받으면 자동으로 장애물을 회피하여 ⑨의 지점으로 이동할 수 있다.At this time, operations ① to ⑨ can be performed by an indirect command to 'move on the left wall' in addition to the user's direct command, and when an indirect command to move to the center of the map is received, it automatically avoids obstacles and returns to the point ⑨. can move

이와 같이, 사용자는 주변상황에 맞게 직접제어명령(①-⑨) 또는 간접제어명령(⑩-⑮)을 적절히 선택함으로써 로봇의 이동을 효율적으로 제어할 수 있다. 제스처를 통해 제어모드를 손쉽게 전환할 수 있으며, 간접제어 명령체계는 계층적으로 구성되어 제한적인 인터페이스 내에서도 이동로봇에게 다양한 명령을 내릴 수 있다. 이에 따르면 사용자의 피로도를 최소화하면서도 이동로봇이 다양한 환경에서 적응적으로 주행할 수 있도록 한다.In this way, the user can efficiently control the movement of the robot by appropriately selecting the direct control command (①-⑨) or the indirect control command (⑩-⑮) according to the surrounding situation. The control mode can be easily switched through gestures, and the indirect control command system is hierarchically structured so that various commands can be given to the mobile robot even within a limited interface. According to this, the mobile robot can adaptively drive in various environments while minimizing user fatigue.

이하에서는 도 9를 참조하여 일 실시예에 따른 이동로봇의 제어방법에 대해 설명한다. 도 9는 일 실시예에 따른 이동로봇의 제어방법을 나타낸 순서도이다.Hereinafter, a method of controlling a mobile robot according to an embodiment will be described with reference to FIG. 9 . 9 is a flowchart illustrating a method for controlling a mobile robot according to an embodiment.

도 9를 참조하면, 먼저 센서로부터 획득한 이동로봇의 주변환경 데이터에 기초하여 상황정보를 생성하는 단계가 수행된다(S10). 센서는 이동로봇을 둘러싼 주변환경과 관련된 데이터(예컨대 주변환경의 이미지, 사운드, 장애물이나 보행자의 위치 등)를 획득하는데 이용된다. 예를 들어, 이동로봇의 주변환경을 촬영한 비디오 데이터를 획득하기 위해 팬-틸팅 기능을 구비한 카메라, 적외선 센서 등의 비전센서가 이용될 수 있다. 또한, 주변환경에서 감지되는 오디오 데이터를 획득하기 위해 마이크 등의 음성센서를 이용할 수 있다.Referring to FIG. 9 , first, the step of generating context information based on the surrounding environment data of the mobile robot obtained from the sensor is performed ( S10 ). The sensor is used to acquire data related to the surrounding environment surrounding the mobile robot (eg, an image of the surrounding environment, sound, location of obstacles or pedestrians, etc.). For example, a vision sensor such as a camera having a pan-tilting function and an infrared sensor may be used to obtain video data of the surrounding environment of the mobile robot. In addition, a voice sensor such as a microphone may be used to acquire audio data sensed in the surrounding environment.

상황정보는 주변환경의 지도정보, 센서를 통해 인식한 객체인식정보, 이동로봇의 현재 위치정보 등을 포함할 수 있다. 예를 들어, LiDAR를 통해 주변의 벽 또는 장애물까지의 거리를 측정하고 이를 바탕으로 지도정보를 생성하거나, 카메라로 촬영한 이미지에서 윤곽을 인식하여 객체인식정보를 생성할 수 있다. 또한, 주변의 벽 또는 장애물까지의 거리를 미리 저장된 지도정보와 대조하여 이동로봇의 현재 위치를 파악할 수도 있다. 나아가, 지도상에서의 이동 가능 목적지 정보, 이동 방향 결정을 위한 경로 분기 정보, 카메라의 팬틸트 응시방향의 비전인식 객체 정보, 팬틸트 응시방향의 비전 기반 이동 영역 정보 등을 상황정보로서 생성할 수 있다.The context information may include map information of the surrounding environment, object recognition information recognized through a sensor, current location information of the mobile robot, and the like. For example, through LiDAR, the distance to a nearby wall or obstacle is measured and map information is generated based on this, or object recognition information can be generated by recognizing an outline from an image taken with a camera. In addition, the current location of the mobile robot may be determined by comparing the distance to the surrounding wall or obstacle with the map information stored in advance. Furthermore, it is possible to generate moving destination information on the map, route branch information for determining the moving direction, vision recognition object information in the pan-tilt gaze direction of the camera, and vision-based movement area information in the pan-tilt gaze direction as context information. .

이이서, 사용자 인터페이스를 통해 상기 상황정보를 사용자에게 제공하는 단계가 수행된다(S20). 사용자 인터페이스는 사람에게 정보를 출력하거나 사람으로부터 입력을 수신하기 위한 소프트웨어 및/또는 하드웨어를 의미한다. 일 실시예에서, 출력부는 비전센서를 통해 획득한 주변환경의 이미지(즉, 사진이나 동영상 등의 비디오 데이터)를 표시하기 위한 디스플레이 및 음성센서를 통해 획득한 주변환경의 소리(즉, 오디오 데이터)를 출력하기 위한 스피커 등의 장치를 포함할 수 있다. Then, the step of providing the context information to the user through the user interface is performed (S20). The user interface refers to software and/or hardware for outputting information to or receiving input from a person. In one embodiment, the output unit is a display for displaying an image of the surrounding environment (ie, video data such as a picture or video) acquired through the vision sensor and a sound of the surrounding environment acquired through a voice sensor (ie, audio data) It may include a device such as a speaker for outputting.

이어서, 사용자로부터 입력된 제어명령을 수신하여 처리하는 단계가 수행된다(S30). 입력부는 사용자로부터 입력된 제어명령을 처리유닛으로 전송하는데, 제어명령에는 사용자가 이동로봇의 이동방향 및 속도를 직접 제어하기 위한 직접제어명령과, 이동로봇에게 특정 동작을 수행하도록 하는 간접제어명령이 포함된다. Then, a step of receiving and processing the control command input from the user is performed (S30). The input unit transmits a control command input by the user to the processing unit. The control command includes a direct control command for the user to directly control the moving direction and speed of the mobile robot and an indirect control command for making the mobile robot perform a specific operation. Included.

직접제어명령은 예를 들어 로봇을 전진, 후진, 좌회전, 우회전시키거나 속도를 가속 또는 감속시키는 명령일 수 있고, 간접제어명령은 이동로봇을 목표지점으로 이동시키거나 이동로봇이 특정 대상을 추종하게 하거나 이동로봇이 벽을 따라 이동하도록 하는 등의 명령일 수 있다. 간접제어방식에 따르면 사용자가 일단 명령을 선택한 이후에는 이동로봇의 동작을 위해 별도의 조작을 수행할 필요가 없다.The direct control command may be, for example, a command to move the robot forward, backward, left turn, or right turn, or to accelerate or decelerate the speed, and the indirect control command moves the mobile robot to a target point or causes the mobile robot to follow a specific target. Or it may be a command such as to make the mobile robot move along the wall. According to the indirect control method, after the user selects a command, there is no need to perform a separate operation for the operation of the mobile robot.

일 실시예에 따르면, 센서를 이용하여 사용자의 손 모양을 인식하고 제스처를 판단하여 이에 대응하는 제어명령을 생성하거나, 사용자의 뇌파를 감지하기 위한 뇌파센서 또는 사용자의 시선방향을 감지하기 위한 시선방향센서를 이용하여 사용자의 뇌파 또는 시선방향에 대응하는 제어명령을 생성할 수 있다.According to an embodiment, a user's hand shape is recognized using a sensor and a gesture is determined to generate a control command corresponding thereto, or an EEG sensor for detecting the user's brain waves or a gaze direction for detecting the user's gaze direction. A control command corresponding to the user's brain wave or gaze direction may be generated using the sensor.

실시예에 따르면, 사용자는 직접제어모드에서는 제스처를 통해 이동로봇의 이동방향을 지정할 수 있고, 특정 제스처를 통해 이동로봇의 제어모드를 간접제어모드로 전환할 수 있다, 이러한 제스처, 뇌파신호, 시선방향에 따라 인터페이스를 제어하는 기술에 대해서는 전술하였으므로 중복되는 설명은 생략하기로 한다.According to an embodiment, in the direct control mode, the user can designate the movement direction of the mobile robot through a gesture, and can switch the control mode of the mobile robot to the indirect control mode through a specific gesture. Such gestures, EEG signals, gaze Since the technology for controlling the interface according to the direction has been described above, the overlapping description will be omitted.

이어서, 제어명령에 기초하여 이동로봇을 제어하는 단계가 수행된다(S40). 프로세서는 사용자 인터페이스를 통해 입력된 제어명령에 기초하여 이동로봇을, 보다 구체적으로는 이동로봇의 구동계를 제어한다. 전술한 바와 같이, 구동계는 이동로봇을 전진 또는 후진시키는 이동유닛(바퀴 등)과 상기 이동로봇의 방향을 회전시킬 수 있는 방향회전유닛(조향장치 등)으로 구성될 수 있으나 이는 예시일 뿐이며 특정한 형태나 구성으로 한정되는 것은 아니다. Next, a step of controlling the mobile robot based on the control command is performed (S40). The processor controls the mobile robot, more specifically, the driving system of the mobile robot, based on the control command input through the user interface. As described above, the drive system may be composed of a moving unit (wheels, etc.) for moving the mobile robot forward or backward and a direction rotating unit (steering device, etc.) capable of rotating the direction of the mobile robot, but this is only an example and a specific form I am not limited to the composition.

실시예에 따른 이동로봇을 제어방법은, 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. The method for controlling the mobile robot according to the embodiment may be implemented as an application or implemented in the form of program instructions that may be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks. media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.

이상에서 설명한 이동로봇의 제어시스템 및 제어방법에 의하면, 이동로봇을 제어함에 있어서 사용자가 주변상황에 맞게 직접제어방식(로봇의 이동방향을 직접 제어하는 방식) 또는 간접제어방식(로봇이 특정 행동을 자동으로 수행하도록 명령하여 제어하는 방식)을 선택할 수 있다. 직접명령모드와 간접명령모드는 제스처와 같은 입력을 통해 손쉽게 전환할 수 있으며, 간접제어명령을 결정하기 위한 명령체계는 계층적으로 구성되어 사용자는 제한적인 인터페이스 내에서도 이동로봇에게 다양한 명령을 내릴 수 있다. According to the control system and control method of the mobile robot described above, in controlling the mobile robot, a direct control method (a method in which the user directly controls the movement direction of the robot) or an indirect control method (a method in which the robot performs a specific action according to the surrounding situation) You can select a method to control it by commanding it to be performed automatically). Direct command mode and indirect command mode can be easily switched through input such as gestures, and the command system for determining indirect control commands is hierarchically structured so that users can give various commands to the mobile robot even within a limited interface. .

이러한 구성에 의하면, 사용자는 로봇의 정밀한 동작이 요구되는 상황이나 지도정보가 주어지지 않은 낯선 환경에서는 로봇의 이동방향을 직접 제어하는 직접제어방식을 선택하고, 특정 공간으로 이동하거나 특정 대상을 추종해야 하는 상황에서는 로봇에게 해당 명령을 내리는 간접제어방식을 선택할 수 있다. 이로써 사용자의 피로도를 최소화하면서도 이동로봇이 다양한 환경에서 적응적으로 주행할 수 있다.According to this configuration, the user must select the direct control method to directly control the movement direction of the robot in a situation requiring precise movement of the robot or in an unfamiliar environment where map information is not given, and must move to a specific space or follow a specific target. In this situation, you can choose an indirect control method that gives the robot a corresponding command. This allows the mobile robot to adaptively drive in various environments while minimizing user fatigue.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to the embodiments, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention described in the claims below You will understand.

10: 이동로봇의 제어시스템
110: 주변환경 감지부
120: 상황정보 생성부
130: 상황정보 처리부
140: 이동로봇 제어부
20: 사용자 인터페이스
210: 출력부
220: 입력부
30: 이동로봇 구동계10: control system of mobile robot
110: surrounding environment sensing unit
120: context information generation unit
130: context information processing unit
140: mobile robot control unit
20: User Interface
210: output unit
220: input unit
30: mobile robot drivetrain

Claims (14)

이동로봇의 주변환경 데이터를 획득하기 위한 주변환경 감지부;
상기 주변환경 데이터에 기초하여 상황정보를 생성하기 위한 상황정보 생성부;
사용자 인터페이스를 통해 상기 상황정보를 사용자에게 제공하고, 사용자로부터 입력된 제어명령을 수신하여 처리하기 위한 상황정보 처리부; 및
상기 제어명령에 기초하여 상기 이동로봇을 제어하기 위한 이동로봇 제어부를 포함하되,
상기 제어명령은, 상기 이동로봇의 이동방향을 직접 결정하는 직접제어명령 또는 상기 이동로봇이 특정 동작을 수행하도록 하는 간접제어명령을 포함하는, 이동로봇의 제어시스템.
a surrounding environment sensing unit for acquiring surrounding environment data of the mobile robot;
a contextual information generator for generating contextual information based on the surrounding environment data;
a context information processing unit for providing the context information to the user through a user interface, and receiving and processing a control command input from the user; and
A mobile robot control unit for controlling the mobile robot based on the control command,
The control command includes a direct control command for directly determining a moving direction of the mobile robot or an indirect control command for causing the mobile robot to perform a specific operation.
 제1항에 있어서,
상기 간접제어명령은, 상기 이동로봇을 목표지점으로 이동시키거나, 상기 이동로봇이 특정 대상을 추종하게 하거나, 상기 이동로봇이 벽을 따라 이동하도록 제어하는 것을 특징으로 하는, 이동로봇의 제어시스템.
According to claim 1,
The indirect control command is a control system for a mobile robot, characterized in that the mobile robot moves to a target point, the mobile robot follows a specific target, or controls the mobile robot to move along a wall.
 제2항에 있어서,
상기 간접제어명령을 결정하기 위한 명령체계는 계층적으로 구성되어 상위계층에서 하위계층으로 갈수록 구체화되는 것을 특징으로 하는, 이동로봇의 제어시스템.
3. The method of claim 2,
A control system for a mobile robot, characterized in that the command system for determining the indirect control command is structured hierarchically and is further refined from an upper layer to a lower layer.
 제1항에 있어서,
상기 주변환경 데이터는 상기 이동로봇의 주변환경을 촬영한 비디오 데이터를 포함하고,
상기 주변환경 감지부는 상기 비디오 데이터를 획득하기 위한 비전센서를 포함하는 것을 특징으로 하는, 이동로봇의 제어시스템.
According to claim 1,
The surrounding environment data includes video data capturing the surrounding environment of the mobile robot,
The control system of the mobile robot, characterized in that the surrounding environment sensor comprises a vision sensor for acquiring the video data.
 제4항에 있어서,
상기 주변환경 데이터는 상기 이동로봇의 주변환경으로부터 감지되는 오디오 데이터를 더 포함하고,
상기 주변환경 감지부는 상기 오디오 데이터를 획득하기 위한 음성센서를 더 포함하는 것을 특징으로 하는, 이동로봇의 제어시스템.
5. The method of claim 4,
The surrounding environment data further includes audio data sensed from the surrounding environment of the mobile robot,
The control system of the mobile robot, characterized in that the ambient environment sensor further comprises a voice sensor for acquiring the audio data.
 제4항에 있어서,
상기 상황정보 생성부는, 상기 주변환경의 비디오 데이터에 기초하여 주변환경의 지도정보, 객체인식정보 및 상기 이동로봇의 위치정보 중 적어도 하나를 포함하는 상황정보를 생성하도록 구성되는 것을 특징으로 하는, 이동로봇의 제어시스템.
5. The method of claim 4,
The context information generating unit is configured to generate context information including at least one of map information of the surrounding environment, object recognition information, and location information of the mobile robot based on the video data of the surrounding environment. Robot control system.
 제1항에 있어서,
상기 사용자 인터페이스는, 상기 상황정보를 사용자에게 제공하기 위한 출력부 및 사용자의 입력에 따른 제어명령을 생성하기 위한 입력부를 포함하는 것을 특징으로 하는, 이동로봇의 제어시스템.
According to claim 1,
The user interface comprises an output unit for providing the context information to a user and an input unit for generating a control command according to the user's input.
 제7항에 있어서,
상기 입력부는 사용자의 제스처를 인식하기 위한 제스처센서를 포함하고, 상기 제스처와 대응되는 제어명령을 생성하도록 구성되는 것을 특징으로 하는, 이동로봇의 제어시스템.
8. The method of claim 7,
The input unit includes a gesture sensor for recognizing a user's gesture, and is configured to generate a control command corresponding to the gesture.
 제8항에 있어서,
상기 제스처는 직접명령모드에서 상기 이동로봇을 특정 방향으로 이동시키기 위한 직접명령 제스처 및 상기 직접명령모드를 간접명령모드로 전환하기 위한 모드전환 제스처를 포함하며,
상기 직접명령 제스처 중 적어도 하나의 제스처는, 간접명령모드에서는 간접제어명령을 선택하기 위한 제스처로 인식되는 것을 특징으로 하는, 이동로봇의 제어시스템.
9. The method of claim 8,
The gesture includes a direct command gesture for moving the mobile robot in a specific direction in a direct command mode and a mode switching gesture for converting the direct command mode to an indirect command mode,
At least one of the direct command gestures is recognized as a gesture for selecting an indirect control command in the indirect command mode.
 제7항에 있어서,
상기 입력부는 사용자의 뇌파를 감지하기 위한 뇌파센서 또는 사용자의 시선방향을 감지하기 위한 시선방향센서를 포함하고,
상기 뇌파 또는 상기 시선방향에 대응되는 제어명령을 생성하도록 구성되는 것을 특징으로 하는, 이동로봇의 제어시스템.
8. The method of claim 7,
The input unit includes an EEG sensor for detecting the user's EEG or a gaze direction sensor for detecting the user's gaze direction,
A control system for a mobile robot, characterized in that it is configured to generate a control command corresponding to the brain wave or the gaze direction.
 프로세서를 구비한 컴퓨터 장치에 의해 수행되는 이동로봇을 위한 제어방법으로서,
센서로부터 획득한 이동로봇의 주변환경 데이터에 기초하여 상황정보를 생성하는 단계;
사용자 인터페이스를 통해 상기 상황정보를 사용자에게 제공하는 단계;
사용자로부터 입력된 제어명령을 수신하여 처리하는 단계; 및
상기 제어명령에 기초하여 상기 이동로봇을 제어하는 단계를 포함하되,
상기 제어명령은, 상기 이동로봇의 이동방향을 직접 결정하는 직접제어명령 및 상기 이동로봇이 특정 동작을 수행하도록 하는 간접제어명령 중 적어도 하나를 포함하는, 이동로봇의 제어방법.
A control method for a mobile robot performed by a computer device having a processor, comprising:
generating context information based on the surrounding environment data of the mobile robot obtained from the sensor;
providing the context information to a user through a user interface;
receiving and processing a control command input from a user; and
Comprising the step of controlling the mobile robot based on the control command,
The control command includes at least one of a direct control command for directly determining a moving direction of the mobile robot and an indirect control command for causing the mobile robot to perform a specific operation.
 제11항에 있어서,
상기 간접제어명령은, 상기 이동로봇을 이동목표지점으로 이동시키거나, 상기 이동로봇이 특정 대상을 추종하게 하거나, 상기 이동로봇이 벽을 따라 이동하도록 제어하는 것을 특징으로 하는, 이동로봇의 제어방법.
12. The method of claim 11,
The indirect control command is a control method of a mobile robot, characterized in that the mobile robot is moved to a moving target point, the mobile robot follows a specific target, or controls the mobile robot to move along a wall. .
 제12항에 있어서,
상기 간접제어명령을 결정하기 위한 명령체계는 계층적으로 구성되어 상위계층에서 하위계층으로 갈수록 구체화되는 것을 특징으로 하는, 이동로봇의 제어방법.
13. The method of claim 12,
The control method of a mobile robot, characterized in that the command system for determining the indirect control command is structured hierarchically and becomes more concrete from an upper layer to a lower layer.
 제11항 내지 제13항 중 어느 한 항에 따른 이동로봇의 제어방법을 실행하기 위한, 컴퓨터로 판독 가능한 저장매체에 저장된 컴퓨터 프로그램.A computer program stored in a computer-readable storage medium for executing the method of controlling a mobile robot according to any one of claims 11 to 13.
KR1020200005290A 2020-01-15 2020-01-15 System and method for controlling mobile robot KR102301763B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200005290A KR102301763B1 (en) 2020-01-15 2020-01-15 System and method for controlling mobile robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200005290A KR102301763B1 (en) 2020-01-15 2020-01-15 System and method for controlling mobile robot

Publications (2)

Publication Number Publication Date
KR20210092357A true KR20210092357A (en) 2021-07-26
KR102301763B1 KR102301763B1 (en) 2021-09-16

Family

ID=77125060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200005290A KR102301763B1 (en) 2020-01-15 2020-01-15 System and method for controlling mobile robot

Country Status (1)

Country Link
KR (1) KR102301763B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116847957A (en) 2021-06-28 2023-10-03 三星电子株式会社 Robot and method for operating a robot

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07100778A (en) * 1993-10-06 1995-04-18 Nec Corp Robot control system
KR20110055062A (en) * 2009-11-19 2011-05-25 삼성전자주식회사 Robot system and method for controlling the same
JP2012138086A (en) * 2005-09-30 2012-07-19 Irobot Corp Companion robot for personal interaction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07100778A (en) * 1993-10-06 1995-04-18 Nec Corp Robot control system
JP2012138086A (en) * 2005-09-30 2012-07-19 Irobot Corp Companion robot for personal interaction
KR20110055062A (en) * 2009-11-19 2011-05-25 삼성전자주식회사 Robot system and method for controlling the same

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ESCOLANO, Carlos; ANTELIS, Javier Mauricio; MINGUEZ, Javier. A telepresence mobile robot controlled with a noninvasive brain-computer interface. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2011, 42.3: 793-804.
PERRIN, Xavier, et al. Learning user habits for semi-autonomous navigation using low throughput interfaces. In: 2011 IEEE International Conference on Systems, Man, and Cybernetics. IEEE, 2011. p. 1-6.

Also Published As

Publication number Publication date
KR102301763B1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
EP3781896B1 (en) System for locating and identifying an object in unconstrained environments
US20230200923A1 (en) Systems, methods, and computer-readable program products for controlling a robotically delivered manipulator
US10913463B2 (en) Gesture based control of autonomous vehicles
US10466800B2 (en) Vehicle information processing device
EP3395600B1 (en) In-vehicle device
US20210346557A1 (en) Robotic social interaction
EP3178617B1 (en) Hybrid reality based i-bot navigation and control
JP5779641B2 (en) Information processing apparatus, method, and program
JP5318623B2 (en) Remote control device and remote control program
KR102463806B1 (en) Electronic device capable of moving and method for operating thereof
Escobedo et al. Multimodal control of a robotic wheelchair: Using contextual information for usability improvement
CN108369451B (en) Information processing apparatus, information processing method, and computer-readable storage medium
JP5776544B2 (en) Robot control method, robot control device, and robot
KR102301763B1 (en) System and method for controlling mobile robot
JP2019079204A (en) Information input-output control system and method
KR20180074404A (en) Robot for airport and method thereof
KR102380807B1 (en) Catechetical type shared control system and mobile robot having the same
KR20210073429A (en) Integration Interface Method and System based on Eye tracking and Gesture recognition for Wearable Augmented Reality Device
JP2019202354A (en) Robot control device, robot control method, and robot control program
CN109740564A (en) Scene perception method, device, equipment and the storage medium of service robot
Ishida et al. AR based user interface for driving electric wheelchairs
US20230116341A1 (en) Methods and apparatuses for hand gesture-based control of selection focus
Novák et al. AI support for a gaze controlled wheelchair
US20230364992A1 (en) System for recognizing gesture for vehicle and method for controlling the same
CN117008723A (en) Autonomous mobile robot with augmented reality display and interaction technology energized

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant