KR102063891B1 - Following robot control method and system and computing device for executing the system - Google Patents

Following robot control method and system and computing device for executing the system Download PDF

Info

Publication number
KR102063891B1
KR102063891B1 KR1020190066259A KR20190066259A KR102063891B1 KR 102063891 B1 KR102063891 B1 KR 102063891B1 KR 1020190066259 A KR1020190066259 A KR 1020190066259A KR 20190066259 A KR20190066259 A KR 20190066259A KR 102063891 B1 KR102063891 B1 KR 102063891B1
Authority
KR
South Korea
Prior art keywords
user
robot
following robot
image
following
Prior art date
Application number
KR1020190066259A
Other languages
Korean (ko)
Inventor
이동인
이동수
김봉환
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Priority to KR1020190066259A priority Critical patent/KR102063891B1/en
Application granted granted Critical
Publication of KR102063891B1 publication Critical patent/KR102063891B1/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/12Target-seeking control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089Determining the position of the robot with reference to its environment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/026Acoustical sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291Fleet control
    • G05D1/0295Fleet control by at least one leading vehicle of the fleet

Abstract

Disclosed are a method and system for controlling a following robot and a computing device for executing the same. According to one embodiment of the present invention, the system for improving the efficiency of work comprises: a user terminal including a GPS module for obtaining GPS information; and a following robot receiving the GPS information from the user terminal and following a user by extracting position information of the user based on the GPS information. The following robot includes a control unit for calculating position information of the following robot and comparing the position information of the user and the position information of the following robot to control the following robot to maintain a predetermined distance from the user.

Description

추종 로봇 제어 방법과 시스템, 및 이를 수행하기 위한 컴퓨팅 장치{FOLLOWING ROBOT CONTROL METHOD AND SYSTEM AND COMPUTING DEVICE FOR EXECUTING THE SYSTEM}Tracking robot control method and system, and a computing device for performing the same {FOLLOWING ROBOT CONTROL METHOD AND SYSTEM AND COMPUTING DEVICE FOR EXECUTING THE SYSTEM}

본 발명의 실시예들은 추종 로봇 기술과 관련된다.Embodiments of the present invention relate to following robotic technology.

종래의 사용자 추종 로봇은 초음파 거리센서와 같은 거리센서를 이용하여 사용자와 거리를 측정하여 일정거리보다 멀면 주행하고 가까우면 정지하였다.Conventional user tracking robots measure distances from users using distance sensors such as ultrasonic distance sensors and travel when they are farther than a certain distance and stop when they are close.

그러나, 종래의 사용자 추종 로봇과 사용자 사이에 다른 사람이나 물체가 나타나면 사용자를 추종하지 못하는 문제점이 있다.However, if another person or object appears between the user following the robot and the conventional user, there is a problem that the user cannot be followed.

대한민국 등록특허공보 제10-0877983호 (2009.01.05.)Republic of Korea Patent Publication No. 10-0877983 (2009.01.05.)

본 발명의 실시예들은 추종 로봇이 사용자와 일정 거리를 유지하면서 추종하여 작업의 효율성을 향상하기 위한 것이다.Embodiments of the present invention are to follow the robot while maintaining a certain distance from the user to improve the efficiency of the work.

또한, 본 발명의 실시예들은 사용자 단말의 GPS 정보를 기반으로 사용자를 추종하여 추종 정밀도를 향상하기 위한 것이다.In addition, embodiments of the present invention are to follow the user based on the GPS information of the user terminal to improve the tracking accuracy.

본 발명의 예시적인 실시예에 따르면, GPS 정보를 획득하는 GPS 모듈을 포함하는 사용자 단말; 및 상기 사용자 단말로부터 GPS 정보를 수신하고, 상기 GPS 정보를 기초로 사용자의 위치 정보를 추출하여 상기 사용자를 추종하는 추종 로봇을 포함하고, 상기 추종 로봇은, 상기 추종 로봇의 위치 정보를 산출하고, 상기 사용자의 위치 정보와 상기 추종 로봇의 위치 정보를 비교하여 상기 추종 로봇이 상기 사용자로부터 기 설정된 거리를 유지하도록 상기 추종 로봇을 제어하는 제어부를 포함하는 추종 로봇 시스템이 제공된다.According to an exemplary embodiment of the present invention, a user terminal including a GPS module for obtaining GPS information; And a following robot that receives GPS information from the user terminal, extracts the location information of the user based on the GPS information, and follows the user, wherein the following robot calculates the location information of the following robot, A tracking robot system is provided that includes a controller configured to control the tracking robot so that the tracking robot maintains a predetermined distance from the user by comparing the location information of the user with the location information of the tracking robot.

상기 제어부는 상기 사용자의 위치 정보를 제1 목표지점으로 설정하고, 상기 제1 목표지점과 상기 추종 로봇의 위치 정보를 비교하여 상기 제1 목표지점을 도달하도록 상기 추종 로봇을 제어할 수 있다.The controller may set the location information of the user as a first target point, and control the following robot to reach the first target point by comparing the first target point with the position information of the following robot.

상기 제어부는 상기 제1 목표지점으로부터 상기 사용자의 다음 위치 정보를 추출하여 제2 목표지점으로 설정하고, 상기 제1 목표지점과 상기 제2 목표지점을 바탕으로 상기 추종 로봇의 방향 벡터를 산출하여 상기 제2 목표지점으로 도달하도록 상기 추종 로봇을 제어할 수 있다.The controller extracts the next location information of the user from the first target point and sets the second target point, and calculates a direction vector of the following robot based on the first target point and the second target point. The following robot may be controlled to reach a second target point.

상기 추종 로봇은 상기 추종 로봇의 주변을 촬영하도록 상기 추종 로봇에 마련되는 촬영부; 및 상기 촬영부로부터 촬영된 영상에서 주변 이미지를 추출하는 제1 전처리 모듈, 및 상기 주변 이미지를 입력받아 상기 주변 이미지에서 장애물을 검출하는 제1 딥러닝 모듈을 포함하는 추종부를 더 포함할 수 있다.The following robot may include a photographing unit provided in the following robot to photograph the surroundings of the following robot; And a follower including a first preprocessing module that extracts a surrounding image from the image photographed by the photographing unit, and a first deep learning module that receives the surrounding image and detects an obstacle in the surrounding image.

상기 제1 딥러닝모듈은 상기 주변 이미지가 입력되는 경우, 입력된 주변 이미지에서 장애물을 검출하여 출력하도록 학습된 합성곱 신경망(CNN : Convolution Neural Network)을 이용할 수 있다.When the surrounding image is input, the first deep learning module may use a convolutional neural network (CNN) trained to detect and output an obstacle in the input surrounding image.

상기 제어부는 상기 추종부로부터 장애물이 검출되는 경우, 상기 장애물을 회피하여 상기 사용자를 추종하도록 상기 추종 로봇을 제어할 수 있다.The controller may control the following robot to follow the user by avoiding the obstacle when an obstacle is detected from the follower.

상기 추종 로봇은 상기 추종 로봇의 주변을 촬영하도록 상기 추종 로봇에 마련되는 촬영부; 및 상기 촬영부로부터 촬영된 영상에서 작물 이미지를 추출하는 제2 전처리 모듈, 상기 작물 이미지를 입력받아 상기 작물 이미지에서 병충해 의심 부분을 검출하는 제2 딥러닝모듈, 및 상기 작물 이미지를 입력받아 상기 작물 이미지에서 수확물의 성장 정도를 검출하는 제3 딥러닝모듈을 포함하는 작물 관리부를 더 포함하며, 상기 작물 관리부는, 상기 병충해 의심 부분 또는 상기 수확물의 성장 정도 중 적어도 하나를 상기 사용자 단말로 제공할 수 있다.The following robot may include a photographing unit provided in the following robot to photograph the surroundings of the following robot; And a second preprocessing module for extracting a crop image from the image photographed by the photographing unit, a second deep learning module that receives the crop image and detects a suspected pest part in the crop image, and receives the crop image. The crop management unit may further include a crop management unit including a third deep learning module configured to detect a growth level of the crop in the image, wherein the crop management unit may provide at least one of the suspected pest or growth level of the harvest to the user terminal. have.

상기 제 2 딥러닝모듈은 상기 작물 이미지가 입력되는 경우, 입력된 작물 이미지에서 병충해 의심 부분을 검출하여 출력하도록 학습된 합성곱 신경망(CNN : Convolution Neural Network)을 이용할 수 있다.When the crop image is input, the second deep learning module may use a convolutional neural network (CNN) trained to detect and output a suspected pest portion in the input crop image.

상기 제3 딥러닝모듈은 상기 작물 이미지가 입력되는 경우, 입력된 작물 이미지에서 수확물의 성장 정도를 검출하여 출력하도록 학습된 합성곱 신경망(CNN : Convolution Neural Network)을 이용할 수 있다.When the crop image is input, the third deep learning module may use a convolutional neural network (CNN) trained to detect and output a growth level of a harvest from the input crop image.

상기 추종 로봇은 상기 추종 로봇의 주변을 촬영하도록 상기 추종 로봇에 마련되는 촬영부; 상기 촬영부로부터 촬영된 영상에서 주변 이미지를 추출하는 제1 전처리 모듈, 및 상기 주변 이미지를 입력받아 상기 주변 이미지에서 장애물을 검출하는 제1 딥러닝 모듈을 포함하는 추종부; 및 상기 촬영부로부터 촬영된 영상에서 작물 이미지를 추출하는 제2 전처리 모듈, 상기 작물 이미지를 입력받아 상기 작물 이미지에서 병충해 의심 부분을 검출하는 제2 딥러닝모듈, 및 상기 작물 이미지를 입력받아 상기 작물 이미지에서 수확물의 성장 정도를 검출하는 제3 딥러닝모듈을 포함하는 작물 관리부를 더 포함하며, 상기 작물 관리부는, 상기 병충해 의심 부분 또는 상기 수확물의 성장 정도 중 적어도 하나를 상기 사용자 단말로 제공할 수 있다.The following robot may include a photographing unit provided in the following robot to photograph the surroundings of the following robot; A follower including a first preprocessing module for extracting a surrounding image from the image photographed by the photographing unit, and a first deep learning module that receives the surrounding image and detects an obstacle in the surrounding image; And a second preprocessing module that extracts a crop image from the image photographed by the photographing unit, a second deep learning module that receives the crop image and detects a suspected pest in the crop image, and receives the crop image. The crop management unit may further include a crop management unit including a third deep learning module configured to detect a growth level of the crop in the image, wherein the crop management unit may provide at least one of the suspected pest or growth level of the harvest to the user terminal. have.

본 발명의 다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 사용자 단말로부터 GPS 정보를 수신하는 통신부; 및 상기 GPS 정보를 기초로 사용자의 위치 정보를 추출하고 추종 로봇의 위치 정보를 산출하며, 상기 사용자의 위치 정보와 상기 추종 로봇의 위치 정보를 비교하여 상기 추종 로봇이 상기 사용자로부터 기 설정된 거리를 유지하도록 상기 추종 로봇을 제어하는 제어부를 포함하는 컴퓨팅 장치가 제공된다.According to another exemplary embodiment of the present invention, a computing device having one or more processors and a memory storing one or more programs executed by the one or more processors, the computing device comprising: a communication unit configured to receive GPS information from a user terminal; And extracting the location information of the user based on the GPS information and calculating the location information of the following robot, and comparing the location information of the user with the location information of the following robot to maintain the preset distance from the user. A computing device including a control unit for controlling the following robot is provided.

상기 제어부는 상기 사용자의 위치 정보를 제1 목표지점으로 설정하고, 상기 제1 목표지점과 상기 추종 로봇의 위치 정보를 비교하여 상기 제1 목표지점을 도달하도록 상기 추종 로봇을 제어할 수 있다.The controller may set the location information of the user as a first target point, and control the following robot to reach the first target point by comparing the first target point with the position information of the following robot.

상기 제어부는 상기 제1 목표지점으로부터 상기 사용자의 다음 위치 정보를 추출하여 제2 목표지점으로 설정하고, 상기 제1 목표지점과 상기 제2 목표지점을 바탕으로 상기 추종 로봇의 방향 벡터를 산출하여 상기 제2 목표지점으로 도달하도록 상기 추종 로봇을 제어할 수 있다.The controller extracts the next location information of the user from the first target point and sets the second target point, and calculates a direction vector of the following robot based on the first target point and the second target point. The following robot may be controlled to reach a second target point.

상기 컴퓨팅 장치는 상기 추종 로봇의 주변을 촬영하도록 상기 추종 로봇에 마련되는 촬영부; 및 상기 촬영부로부터 촬영된 영상에서 주변 이미지를 추출하는 제1 전처리 모듈, 및 상기 주변 이미지를 입력받아 상기 주변 이미지에서 장애물을 검출하는 제1 딥러닝 모듈을 포함하는 추종부를 더 포함할 수 있다.The computing device may include a photographing unit provided in the following robot to photograph the surroundings of the following robot; And a follower including a first preprocessing module that extracts a surrounding image from the image photographed by the photographing unit, and a first deep learning module that receives the surrounding image and detects an obstacle in the surrounding image.

상기 컴퓨팅 장치는 상기 추종 로봇의 주변을 촬영하도록 상기 추종 로봇에 마련되는 촬영부; 및 상기 촬영부로부터 촬영된 영상에서 작물 이미지를 추출하는 제2 전처리 모듈, 상기 작물 이미지를 입력받아 상기 작물 이미지에서 병충해 의심 부분을 검출하는 제2 딥러닝모듈, 및 상기 작물 이미지를 입력받아 상기 작물 이미지에서 수확물의 성장 정도를 검출하는 제3 딥러닝모듈을 포함하는 작물 관리부를 더 포함하며, 상기 작물 관리부는, 상기 병충해 의심 부분 또는 상기 수확물의 성장 정도 중 적어도 하나를 상기 사용자 단말로 제공할 수 있다.The computing device may include a photographing unit provided in the following robot to photograph the surroundings of the following robot; And a second preprocessing module for extracting a crop image from the image photographed by the photographing unit, a second deep learning module that receives the crop image and detects a suspected pest part in the crop image, and receives the crop image. The crop management unit may further include a crop management unit including a third deep learning module configured to detect a growth level of the crop in the image, wherein the crop management unit may provide at least one of the suspected pest or growth level of the harvest to the user terminal. have.

본 발명의 또 다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 추종 로봇에서, 사용자 단말로부터 GPS 정보를 수신하는 단계; 상기 추종 로봇에서, 상기 GPS 정보를 기초로 사용자의 위치 정보를 추출하고 상기 추종 로봇의 위치 정보를 산출하는 단계; 상기 추종 로봇에서, 상기 사용자의 위치 정보를 제1 목표지점으로 설정하고, 상기 제1 목표지점과 상기 추종 로봇의 위치 정보를 비교하여 상기 제1 목표지점을 도달하도록 주행하는 단계; 및 상기 추종 로봇에서, 상기 제1 목표지점으로부터 상기 사용자의 다음 위치 정보를 추출하여 제2 목표지점으로 설정하고, 상기 제1 목표지점과 상기 제2 목표지점을 바탕으로 상기 추종 로봇의 방향 벡터를 산출하여 상기 제2 목표지점으로 도달하도록 주행하는 단계를 포함하는 추종 로봇 제어 방법이 제공된다.According to yet another exemplary embodiment of the present invention, a method performed in a computing device having one or more processors and a memory storing one or more programs executed by the one or more processors, the following method comprising: Receiving GPS information from the terminal; Extracting, by the tracking robot, location information of the user based on the GPS information and calculating location information of the tracking robot; Setting, by the tracking robot, location information of the user as a first target point and traveling to reach the first target point by comparing the first target point and the position information of the following robot; And extracting, by the following robot, the next position information of the user from the first target point, and setting the second target point, and setting the direction vector of the following robot based on the first target point and the second target point. A tracking robot control method is provided, which includes calculating and traveling to reach the second target point.

본 발명의 실시예들에 따르면, 추종 로봇이 사용자와 일정 거리를 유지하면서 추종함으로써, 작업의 효율성을 향상할 수 있다.According to the embodiments of the present invention, the following robot may follow the user while maintaining a certain distance, thereby improving the efficiency of the work.

또한, 본 발명의 실시예들에 따르면, 사용자 단말의 GPS 정보를 기반으로 궤적 추종 기법을 적용하여 사용자를 추종함으로써, 주변 환경과 장애물의 영향을 받지 않아 추종 정밀도를 향상할 수 있다.In addition, according to embodiments of the present invention, by following a user by applying a trajectory tracking technique based on GPS information of the user terminal, the tracking accuracy may be improved without being affected by the surrounding environment and obstacles.

도 1은 본 발명의 일 실시예에 따른 추종 로봇 시스템을 설명하기 위한 구성도
도 2는 본 발명의 일 실시예에 따른 추종 로봇 시스템의 추종 로봇을 설명하기 위한 블록도
도 3은 본 발명의 일 실시예에 따른 추종 로봇 시스템의 추종 로봇에서 추종부 및 작물 관리부를 설명하기 위한 블록도
도 4는 본 발명의 일 실시예에 따른 추종 로봇 시스템의 추종 로봇 제어 방법을 설명하기 위한 흐름도
도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
1 is a configuration diagram for explaining a tracking robot system according to an embodiment of the present invention;
2 is a block diagram illustrating a tracking robot of a tracking robot system according to an exemplary embodiment of the present invention.
3 is a block diagram illustrating a follower and a crop management unit in a follower robot of a follower robot system according to an exemplary embodiment of the present invention;
4 is a flowchart illustrating a tracking robot control method of a tracking robot system according to an exemplary embodiment of the present invention.
5 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The following detailed description is provided to assist in a comprehensive understanding of the methods, devices, and / or systems described herein. However, this is only an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or an operator. Therefore, the definition should be made based on the contents throughout the specification. The terminology used in the description is for the purpose of describing embodiments of the invention only and should not be limiting. Unless expressly used otherwise, the singular forms “a,” “an,” and “the” include plural forms of meaning. In this description, expressions such as "comprises" or "equipment" are intended to indicate certain features, numbers, steps, actions, elements, portions or combinations thereof, and one or more than those described. It should not be construed to exclude the presence or possibility of other features, numbers, steps, actions, elements, portions or combinations thereof.

한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Meanwhile, an embodiment of the present invention may include a program for performing the methods described herein on a computer, and a computer readable recording medium including the program. The computer-readable recording medium may include program instructions, local data files, local data structures, etc. alone or in combination. The media may be those specially designed and constructed for the purposes of the present invention, or those conventionally available in the field of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical recording media such as CD-ROMs, DVDs, and specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Hardware devices are included. Examples of such programs may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler.

도 1은 본 발명의 일 실시예에 따른 추종 로봇 시스템을 설명하기 위한 구성도이고, 도 2는 본 발명의 일 실시예에 따른 추종 로봇 시스템의 추종 로봇을 설명하기 위한 구성도이며, 도 3은 본 발명의 일 실시예에 따른 추종 로봇 시스템의 추종 로봇에서 추종부 및 작물 관리부를 설명하기 위한 블록도이다.1 is a block diagram for explaining a tracking robot system according to an embodiment of the present invention, Figure 2 is a block diagram for explaining a tracking robot of the following robot system according to an embodiment of the present invention, Figure 3 In the following robot of the following robot system according to an embodiment of the present invention is a block diagram for explaining the follower and crop management unit.

도 1 내지 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 추종 로봇 시스템(1)은 사용자 단말(100) 및 추종 로봇(200)을 포함할 수 있다.As shown in FIGS. 1 to 3, the following robot system 1 according to an embodiment of the present invention may include a user terminal 100 and a following robot 200.

사용자 단말(100)은 추종 로봇(200)과 네트워크를 이용하여 연결될 수 있다. 사용자 단말(100)은 스마트 폰, 태블릿 PC, 스마트 워치 등 무선 통신을 사용할 수 있는 모든 스마트 기기를 포함할 수 있다. 여기서, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet) 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다. 특히, 근거리 통신 기술인 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등을 사용할 수 있다. 사용자 단말(100)은 사용자 단말(100)의 GPS 정보를 획득하는 GPS 모듈을 구비할 수 있다.The user terminal 100 may be connected to the tracking robot 200 using a network. The user terminal 100 may include any smart device capable of using wireless communication such as a smart phone, a tablet PC, a smart watch, and the like. Here, the network is implemented as all kinds of wired / wireless networks such as a local area network (LAN), a wide area network (WAN), a mobile radio communication network, and a wireless broadband Internet (Wibro). Can be. In particular, a short-range communication technology such as Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), and ZigBee may be used. The user terminal 100 may include a GPS module for acquiring GPS information of the user terminal 100.

사용자 단말(100)과 추종 로봇(200)은 네트워크을 이용하여 데이터 통신을 수행할 수 있으며, 사용자 단말(100)의 GPS(Global Position System) 정보가 추종 로봇(200)으로 전송될 수 있다. The user terminal 100 and the following robot 200 may perform data communication using a network, and the GPS (Global Position System) information of the user terminal 100 may be transmitted to the following robot 200.

여기서, GPS 정보를 이용하여 사용자 단말(100)의 현 위치를 확인할 수 있다. GPS 정보는 현 위치를 실시간으로 산출할 수 있으며, 이를 이용하여 속도 정보를 산출할 수 있다. 또한, GPS 정보는 기 정의된 시간의 간격으로 실시간 업데이트될 수 있다. 또한, 사용자 단말(100)의 전력 소모를 줄이기 위해 GPS 정보의 전송은 GPS 동작이 온(ON)인 상태에서만 수행되는 것으로 제한될 수 있다.Here, the current position of the user terminal 100 can be checked using the GPS information. The GPS information may calculate the current position in real time, and the speed information may be calculated using the GPS position. In addition, the GPS information may be updated in real time at predefined time intervals. In addition, in order to reduce power consumption of the user terminal 100, the transmission of the GPS information may be limited to being performed only when the GPS operation is ON.

또한, 사용자 단말(100)은 추종 로봇 서비스를 제공하기 위한 어플리케이션이 설치될 수 있다. 상기 어플리케이션은 사용자 단말(100)의 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 상기 어플리케이션은 사용자 단말(100)의 프로세서에 의해 실행 가능한 명령어의 소정의 집합을 포함한다. 상기 명령어는 사용자 단말(100)의 프로세서로 하여금 예시적인 실시예에 따른 동작을 수행하게 할 수 있다. 사용자 단말(100)의 컴퓨터 판독 가능 저장 매체는 사용자 단말(100) 상에서 상기 어플리케이션과 같은 명령어 집합을 실행하기 위한 운영 체제의 컴포넌트들을 포함한다. 예를 들어, 이러한 운영 체제는 애플(Apple) 사의 iOS 또는 구글(Google) 사의 Android 일 수 있다.In addition, the user terminal 100 may be installed with an application for providing a tracking robot service. The application may be stored in a computer readable storage medium of the user terminal 100. The application includes a predetermined set of instructions executable by the processor of the user terminal 100. The command may cause the processor of the user terminal 100 to perform an operation according to an exemplary embodiment. The computer readable storage medium of the user terminal 100 includes components of an operating system for executing the same set of instructions as the application on the user terminal 100. For example, such an operating system may be Apple's iOS or Google's Android.

여기서, 추종 로봇 서비스를 제공하기 위한 어플리케이션은 추종 로봇(200)으로부터 수신한 작물 정보를 화면에 제공할 수 있다. 여기서, 작물 정보는 병충해 감염 여부, 수확물의 성장 정도 등을 포함할 수 있다. Here, the application for providing the tracking robot service may provide crop information received from the tracking robot 200 on the screen. Here, the crop information may include a pest infection, the degree of growth of the harvest.

추종 로봇(200)은 통신부(202), 촬영부(204), 추종부(206), 작물 관리부(208), 제어부(210), 구동부(212) 및 저장부(214)를 포함할 수 있다.The tracking robot 200 may include a communication unit 202, a photographing unit 204, a follower 206, a crop manager 208, a controller 210, a driver 212, and a storage unit 214.

여기서, 추종 로봇(200)은 농작물 시설에서 사용자를 추종하도록 하는 이송 로봇일 수 있다. 또한, 사용자를 추종하면서 소정의 도구, 물건 또는 농작물 등을 적재할 수 있는 공간이 형성될 수 있다. 추종 로봇(200)은 농작물의 운반, 수확 등이 가능한 농업용 로봇이라면 공지된 어떠한 로봇에 적용하여도 무방하다.Here, the following robot 200 may be a transfer robot to follow the user in the crop facility. In addition, a space in which a predetermined tool, an object, a crop, or the like can be loaded while following the user may be formed. The following robot 200 may be applied to any known robot as long as it is an agricultural robot capable of transporting, harvesting, or the like.

통신부(202)는 사용자 단말(100)과 네트워크를 통하여 통신을 수행할 수 있다. 통신부(202)는 사용자 단말(100)로부터 GPS 정보를 수신할 수 있다. 또한, 통신부(202)는 작물 관리부(208)에서 생성된 작물 정보를 사용자 단말(100)로 전송할 수 있다. 작물 정보는 병충해 감염 여부, 수확물의 성장 정도 등을 포함할 수 있다.The communication unit 202 may communicate with the user terminal 100 through a network. The communication unit 202 may receive GPS information from the user terminal 100. In addition, the communicator 202 may transmit crop information generated by the crop manager 208 to the user terminal 100. Crop information may include the presence of pests and the extent of crop growth.

촬영부(204)는 추종 로봇(200)의 주변을 촬영할 수 있도록 각종 카메라 등을 이용할 수 있다. 촬영부(204)는 추종 로봇(200)에 설치되어 전방위를 촬영할 수 있도록 형성될 수 있다.The photographing unit 204 may use various cameras and the like to photograph the surroundings of the following robot 200. The photographing unit 204 may be installed on the following robot 200 so as to photograph the omnidirectional image.

추종부(206)는 촬영부(204)로부터 촬영된 영상에서 주변 이미지(예를 들어, 농작물의 가지나 잎, 농기계, 돌, 풀, 고랑 등의 장애물 이미지)를 추출하고, 추출된 주변 이미지로부터 딥 러닝(Deep Learning) 기반 기술을 사용하여 장애물을 확인할 수 있다. The follower 206 extracts a surrounding image (eg, an obstacle image of a branch or leaf, a farm machine, a stone, a grass, a furrow, etc. of a crop) from an image captured by the photographing unit 204, and dips the extracted surrounding image. Obstacles can be identified using deep learning-based technology.

추종부(206)는 제1 전처리 모듈(221) 및 제1 딥러닝 모듈(223)을 포함할 수 있다.The follower 206 may include a first preprocessing module 221 and a first deep learning module 223.

제1 전처리 모듈(221)은 촬영부(204)로부터 촬영된 영상에서 주변 이미지(예를 들어, 농작물의 가지나 잎, 농기계, 돌, 풀, 고랑 등의 장애물 이미지)를 추출할 수 있다. 제1 전처리 모듈(221)은 추출된 주변 이미지를 제1 딥러닝 모듈(223)로 전달할 수 있다.The first preprocessing module 221 may extract a surrounding image (for example, an obstacle image of a branch or a leaf, a farm machine, a stone, a grass, a furrow, etc. of a crop) from an image captured by the photographing unit 204. The first preprocessing module 221 may transfer the extracted surrounding image to the first deep learning module 223.

제1 딥러닝 모듈(223)은 추출된 주변 이미지를 입력받아 주변 이미지에서 장애물을 검출할 수 있다. 제1 딥러닝 모듈(223)은 주변 이미지가 입력되는 경우, 이미 학습된 이미지(즉, 장애물 이미지)들을 기반으로 딥러닝(Deep Learning)을 수행하여 입력된 주변 이미지에서 장애물을 검출할 수 있다. The first deep learning module 223 may receive the extracted surrounding image and detect an obstacle in the surrounding image. When the surrounding image is input, the first deep learning module 223 may detect an obstacle in the input surrounding image by performing deep learning based on already learned images (that is, the obstacle image).

예시적인 실시예에서, 제1 딥러닝 모듈(223)은 딥러닝 기술로 합성곱 신경망(CNN : Convolution Neural Network)을 이용할 수 있다. 이 경우, 제1 딥러닝 모듈(223)은 주변 이미지가 입력되는 경우, 입력된 주변 이미지에서 장애물을 검출하여 출력하도록 학습된 신경망일 수 있다. 합성곱 신경망은 기 공지된 기술이므로 이에 대한 자세한 설명은 생략하기로 한다.In an exemplary embodiment, the first deep learning module 223 may use a convolutional neural network (CNN) as a deep learning technique. In this case, when the surrounding image is input, the first deep learning module 223 may be a neural network learned to detect and output an obstacle from the input surrounding image. Since the multiplicative neural network is a known technique, a detailed description thereof will be omitted.

작물 관리부(208)는 촬영부(204)로부터 촬영된 영상에서 작물 이미지(예를 들어, 잎 이미지)를 추출하고, 추출된 작물 이미지로부터 딥 러닝(Deep Learning) 기반 기술을 사용하여 병충해를 검출하고 진단할 수 있다. The crop manager 208 extracts a crop image (eg, a leaf image) from the image captured by the photographing unit 204, detects a pest using a deep learning based technology from the extracted crop image, and Diagnosis can be made.

또한, 작물 관리부(208)는 촬영부(204)로부터 촬영된 영상에서 작물 이미지(예를 들어, 수확물 이미지)를 추출하고 추출된 작물이미지로부터 딥 러닝(Deep Learning) 기반 기술을 사용하여 수확물의 성장 정도를 검출하고 판단할 수 있다. In addition, the crop manager 208 extracts a crop image (eg, a crop image) from an image captured by the photographing unit 204 and grows a crop using a deep learning based technique from the extracted crop image. The degree can be detected and judged.

작물 관리부(208)는 제2 전처리 모듈(231), 제2 딥러닝 모듈(233) 및 제3 딥러닝 모듈(235)을 포함할 수 있다.The crop manager 208 may include a second pretreatment module 231, a second deep learning module 233, and a third deep learning module 235.

제2 전처리 모듈(231)은 촬영부(204)로부터 촬영된 영상에서 작물 이미지(예를 들어, 수확물 이미지)를 추출할 수 있다. 제2 전처리 모듈(231)은 추출된 작물 이미지를 제2 딥러닝 모듈(233) 및 제3 딥러닝 모듈(235)로 전달할 수 있다.The second preprocessing module 231 may extract a crop image (eg, a harvest image) from the image photographed by the photographing unit 204. The second preprocessing module 231 may transfer the extracted crop image to the second deep learning module 233 and the third deep learning module 235.

제2 딥러닝 모듈(233)은 추출된 작물 이미지를 입력받아 작물 이미지에서 병충해 의심 부분을 검출할 수 있다. 제2 딥러닝 모듈(233)은 작물 이미지가 입력되는 경우, 이미 학습된 데이터(즉, 병충해 정보)들을 기반으로 딥러닝(Deep Learning)을 수행하여 입력된 작물 이미지에서 병충해 의심 부분을 검출할 수 있다.The second deep learning module 233 may receive the extracted crop image and detect a suspected pest part in the crop image. When the crop image is input, the second deep learning module 233 may detect a pest suspect part in the input crop image by performing deep learning based on already learned data (ie, pest information). have.

예시적인 실시예에서, 제2 딥러닝 모듈(233)은 딥러닝 기술로 합성곱 신경망(CNN : Convolution Neural Network)을 이용할 수 있다. 이 경우, 제2 딥러닝 모듈(233)은 작물 이미지가 입력되는 경우, 입력된 작물 이미지에서 병충해 의심 부분을 검출하여 출력하도록 학습된 신경망일 수 있다. In an exemplary embodiment, the second deep learning module 233 may use a convolutional neural network (CNN) as a deep learning technique. In this case, when the crop image is input, the second deep learning module 233 may be a neural network trained to detect and output a suspected pest part in the input crop image.

제3 딥러닝 모듈(235)은 추출된 작물 이미지를 입력받아 작물 이미지에서 수확물의 성장 정도를 검출할 수 있다. 제3 딥러닝 모듈(235)은 작물 이미지가 입력되는 경우, 이미 학습된 데이터(즉, 수확물 정보)들을 기반으로 딥러닝(Deep Learning)을 수행하여 입력된 작물 이미지에서 수확물의 성장 정도를 검출할 수 있다.The third deep learning module 235 may receive the extracted crop image and detect a growth level of the harvest from the crop image. When the crop image is input, the third deep learning module 235 performs deep learning based on already learned data (that is, harvest information) to detect a growth level of the crop in the input crop image. Can be.

예시적인 실시예에서, 제3 딥러닝 모듈(235)은 딥러닝 기술로 합성곱 신경망(CNN : Convolution Neural Network)을 이용할 수 있다. 이 경우, 제3 딥러닝 모듈(235)은 작물 이미지가 입력되는 경우, 입력된 작물 이미지에서 수확물의 성장 정도를 검출하여 출력하도록 학습된 신경망일 수 있다. In an exemplary embodiment, the third deep learning module 235 may use a convolutional neural network (CNN) as a deep learning technique. In this case, when the crop image is input, the third deep learning module 235 may be a neural network learned to detect and output a growth level of the harvest from the input crop image.

제어부(210)는 통신부(202)를 통하여 수신된 사용자 단말(100)의 GPS 정보를 기초로 사용자의 위치 정보를 추출하여 사용자를 추종하도록 구동부(212)를 제어할 수 있다. 제어부(210)는 추종 로봇(200)의 GPS, 주행계, 및 디지털 컴퍼스의 정보를 칼만필터로 융합하여 로봇의 위치 정보를 산출할 수 있으며, 사용자의 위치 정보와 로봇의 위치 정보를 비교하여 추종 로봇(200)이 사용자로부터 기 설정된 거리를 유지하여 사용자를 추종하도록 구동부(212)를 제어할 수 있다. The controller 210 may control the driver 212 to follow the user by extracting the location information of the user based on the GPS information of the user terminal 100 received through the communication unit 202. The controller 210 may calculate the position information of the robot by fusing the GPS, the odometer, and the digital compass information of the following robot 200 with a Kalman filter, and compare the position information of the user with the position information of the robot. The robot 200 may control the driver 212 to follow the user by maintaining a predetermined distance from the user.

이 때, 제어부(210)는 사용자를 추종하기 위하여 사용자 단말(100)의 GPS 정보를 기초로 사용자의 이동 궤적을 추종하는 궤적 추종 기법을 사용할 수 있다. 여기서, 궤적 추종 기법은 사용자의 이동 궤적의 각 위치를 순차적으로 목표지점으로 설정하여 추종하는 기법이다. In this case, the controller 210 may use a trajectory following technique for following the user's movement trajectory based on the GPS information of the user terminal 100 to follow the user. Here, the trajectory following technique is a technique of sequentially setting and following each position of the user's moving trajectory as a target point.

즉, 제어부(210)는 추종 로봇(200)의 위치 정보로부터 사용자 단말(100)의 GPS 정보를 기초로 설정된 제1 목표지점(X1, Y1)의 도달 여부를 판단할 수 있다. 이 때, 제어부(210)는 제1 목표지점의 도달 여부를 아래의 수학식 1을 이용하여 판단할 수 있다.That is, the controller 210 may determine whether the first target points X1 and Y1 have been reached based on the GPS information of the user terminal 100 from the position information of the follower robot 200. In this case, the controller 210 may determine whether the first target point is reached by using Equation 1 below.

Figure 112019057550343-pat00001
Figure 112019057550343-pat00001

여기서, d는 추종 로봇(200)의 위치 정보와 제1 목표지점 사이의 거리이며, R은 추종 로봇(200)의 현재 위치 정보와 제1 목표지점 사이의 거리 오차에 대한 공분산 행렬의 제곱근의 각 대각 성분이며, 상기 공분산 행렬의 제곱근은 Cholesky 분해 법을 사용하여 산출할 수 있다.Here, d is a distance between the position information of the following robot 200 and the first target point, and R is the angle of the square root of the covariance matrix with respect to the distance error between the current position information of the following robot 200 and the first target point. It is a diagonal component, and the square root of the covariance matrix can be calculated using the Cholesky decomposition method.

제어부(210)는 제1 목표지점으로의 도달 여부를 판단하여 추종 로봇(200)의 제1 위치 정보가 제1 목표지점에 도달하지 못한 경우, 추종 로봇이 제1 목표지점으로 도달할 때까지 제1 목표지점을 유지하도록 제어할 수 있다. 제어부(210)는 제1 목표지점으로의 도달 여부를 판단하여 추종 로봇(200)이 제1 목표지점에 도달한 경우, 사용자의 이동 궤적으로부터 다음 지점을 추출하여 제2 목표지점(X2, Y2)으로 설정할 수 있다. 이 때, 제2 목표지점이 설정되는 경우, 제어부(210)는 추종 로봇(200)의 방향전환을 수행하도록 추종 로봇(200)의 방향벡터 D1을 아래의 수학식 2를 이용하여 산출할 수 있다. If the first position information of the following robot 200 does not reach the first target point, the controller 210 determines whether the first target point has been reached or not until the following robot reaches the first target point. 1 Can be controlled to maintain the target point. When the following robot 200 reaches the first target point, the controller 210 determines whether to reach the first target point, and extracts the next point from the movement trajectory of the user to determine the second target point (X2, Y2). Can be set. In this case, when the second target point is set, the controller 210 may calculate the direction vector D1 of the following robot 200 by using Equation 2 below to change the direction of the following robot 200. .

Figure 112019057550343-pat00002
Figure 112019057550343-pat00002

한편, GPS 정보는 동일한 지면이라고 설정할 수 있다. 즉, GPS 정보의 Z 좌표는 동일하다고 설정할 수 있다.Meanwhile, the GPS information may be set to the same ground. That is, the Z coordinates of the GPS information may be set to be the same.

이와 같이, 제어부(210)는 상기 과정을 반복 수행함으로써 사용자의 궤적을 따라 추종하도록 구동부(212)를 제어할 수 있다.As such, the controller 210 may control the driving unit 212 to follow the user's trajectory by repeatedly performing the above process.

또한, 제어부(210)는 사용자를 추종하는 궤적 추종 기법으로부터 저장된 주행 정보를 기반으로 추종 로봇(200)이 주행하도록 구동부(212)를 제어할 수 있다. 제어부(210)는 촬영된 영상으로부터 장애물이 검출된 경우, 장애물을 회피하도록 추종 로봇(200)의 방향을 전환하여 구동부(212)를 제어할 수 있다. 즉, 제어부(210)는 주행 정보를 기반으로 주행하고, 촬영 영상을 기반으로 장애물의 유무에 따라 장애물을 회피하도록 구동부(212)를 제어할 수 있다. 이에, 본 발명의 일 실시예에 따른 추종 로봇(200) 시스템은 사용자를 추종하는 것뿐만 아니라 주행 정보 및 촬영 영상을 기반으로 주행할 수 있다. In addition, the controller 210 may control the driver 212 to drive the following robot 200 based on driving information stored from a trajectory following technique for following a user. When an obstacle is detected from the captured image, the controller 210 may control the driving unit 212 by changing the direction of the follower robot 200 to avoid the obstacle. That is, the controller 210 may drive based on the driving information, and control the driver 212 to avoid the obstacle based on the presence or absence of the obstacle based on the captured image. Accordingly, the tracking robot 200 system according to an embodiment of the present invention may not only follow the user but also travel based on the driving information and the captured image.

구동부(212)는 추종 로봇(200)이 사용자를 추종하도록 할 수 있으며, 주행하도록 할 수 있다. 구동부(212)는 직선운동 및 회전운동이 모두 구현되도록 바퀴, 모터, 샤프트, 기어 등 다양한 요소들로 이루어질 수 있다. 구동부(212)는 제어부(210)로부터 입력되는 구동신호에 따라 작동되어 추종 로봇(200)이 사용자의 뒤를 따라 움직일 수 있도록 할 수 있다. 또한, 구동부(212)는 제어부(210)로부터 입력되는 구동신호에 따라 작동되어 추종 로봇(200)이 저장부(214)에 저장된 주행 정보에 따라 주행하도록 할 수 있다. The driving unit 212 may allow the following robot 200 to follow the user and may drive the following. The driving unit 212 may be formed of various elements such as wheels, motors, shafts, and gears such that both linear and rotary motions are implemented. The driving unit 212 may operate according to a driving signal input from the control unit 210 to allow the following robot 200 to move along the back of the user. In addition, the driving unit 212 may be operated according to the driving signal input from the control unit 210 to allow the following robot 200 to travel according to the driving information stored in the storage unit 214.

저장부(214)는 사용자 단말(100) 정보를 저장할 수 있다. 저장된 사용자 단말(100) 정보를 이용하여 등록된 사용자 단말(100)을 인증할 수 있다. 저장부(214)는 촬영부(204)로부터 촬영된 영상을 저장할 수 있다. 저장부(214)는 사용자를 추종하는 궤적 추종 기법으로부터 주행 정보를 저장할 수 있다.The storage unit 214 may store the user terminal 100 information. The registered user terminal 100 may be authenticated using the stored user terminal 100 information. The storage unit 214 may store an image photographed by the photographing unit 204. The storage unit 214 may store driving information from a trajectory following technique for following a user.

도 4는 본 발명의 일 실시예에 따른 추종 로봇(200) 시스템의 추종 로봇(200) 제어 방법을 설명하기 위한 흐름도이다. 도 3에 도시된 방법은 예를 들어, 전술한 추종 로봇(200) 시스템에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.4 is a flowchart illustrating a method for controlling a tracking robot 200 in a tracking robot 200 system according to an exemplary embodiment of the present invention. The method shown in FIG. 3 may be performed by the following robot 200 system described above, for example. In the illustrated flow chart, the method is divided into a plurality of steps, but at least some of the steps may be performed in a reverse order, in combination with other steps, omitted, divided into substeps, or not shown. One or more steps may be added and performed.

추종 로봇(200)은 사용자 단말(100)의 GPS 정보를 기초로 사용자의 초기 위치 정보를 추출하여 제1 목표지점으로 설정한다(S301).The tracking robot 200 extracts initial position information of the user based on the GPS information of the user terminal 100 and sets it as a first target point (S301).

그 다음, 추종 로봇(200)은 추종 로봇(200)의 제1 위치 정보를 산출한다(S302). 구체적으로, 추종 로봇(200)의 GPS, 주행계, 및 디지털 컴퍼스의 정보를 칼만필터로 융합하여 로봇의 위치 정보를 산출할 수 있다. 그 후, 추종 로봇(200)은 제1 목표지점과 제1 위치 정보를 비교하고(S303), 추종 로봇(200)이 제1 목표지점으로 도달하였는지 판단한다(S304). Next, the following robot 200 calculates first position information of the following robot 200 (S302). In detail, the position information of the robot may be calculated by fusing GPS, traveling system, and digital compass information of the tracking robot 200 with a Kalman filter. Thereafter, the following robot 200 compares the first target point with the first position information (S303), and determines whether the following robot 200 has reached the first target point (S304).

그 다음, 추종 로봇(200)이 제1 목표 지점에 도달하지 못한 경우, 추종 로봇(200)은 제1 목표지점에 도달할 때까지 제1 목표지점으로 주행한다(S305). 추종 로봇(200)이 제1 목표지점에 도달한 경우, 추종 로봇(200)은 사용자의 이동 궤적으로부터 사용자의 다음 위치 정보를 추출하여 제2 목표지점으로 설정한다(S306).Then, when the following robot 200 does not reach the first target point, the following robot 200 travels to the first target point until reaching the first target point (S305). When the following robot 200 reaches the first target point, the following robot 200 extracts the next position information of the user from the user's moving trajectory and sets it as the second target point (S306).

그 다음, 추종 로봇(200)은 제2 목표지점으로 이동하기 위하여 추종 로봇(200)의 방향 벡터를 산출한다(S307). 그 후, 추종 로봇(200)은 산출된 방향벡터를 따라 추종 로봇(200)의 방향을 전환하여 사용자의 이동 궤적을 따라 추종한다(S308).Next, the following robot 200 calculates a direction vector of the following robot 200 to move to the second target point (S307). Thereafter, the tracking robot 200 changes the direction of the tracking robot 200 according to the calculated direction vector and follows the movement trajectory of the user (S308).

마지막으로, 추종 로봇(200)은 사용자의 이동 궤적을 따라 추종하면서, 최종 목표 지점에 도착하였는지 판단한다(S309). 추종 로봇(200)은 최종 목표 지점에 도달하도록 S306 내지 S308 의 과정을 반복 수행한다. Finally, the following robot 200 follows the user's movement trajectory, and determines whether the robot reaches the final target point (S309). The tracking robot 200 repeats the process of S306 to S308 to reach the final target point.

이에, 본 발명에 따른 추종 로봇(200) 시스템은 사용자 단말(100)의 GPS 정보를 기반으로 궤적 추종 기법을 적용하여 사용자를 추종함으로써, 주변 환경과 장애물의 영향을 받지 않아 추종 정밀도를 향상할 수 있다.Accordingly, the tracking robot 200 system according to the present invention applies a trajectory tracking technique based on the GPS information of the user terminal 100 to follow the user, thereby improving the tracking accuracy without being affected by the surrounding environment and obstacles. have.

도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.5 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments. In the illustrated embodiment, each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those described below.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 사용자 단말(100)일 수 있다. 또한, 컴퓨팅 장치(12)는 추종 로봇(200)일 수 있다.The illustrated computing environment 10 includes a computing device 12. In one embodiment, computing device 12 may be user terminal 100. In addition, the computing device 12 may be a follower robot 200.

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다. Computing device 12 includes at least one processor 14, computer readable storage medium 16, and communication bus 18. The processor 14 may cause the computing device 12 to operate according to the example embodiments mentioned above. For example, processor 14 may execute one or more programs stored in computer readable storage medium 16. The one or more programs may include one or more computer executable instructions that, when executed by the processor 14, cause the computing device 12 to perform operations in accordance with an exemplary embodiment. Can be.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer readable storage medium 16 is configured to store computer executable instructions or program code, program data and / or other suitable forms of information. The program 20 stored in the computer readable storage medium 16 includes a set of instructions executable by the processor 14. In one embodiment, computer readable storage medium 16 includes memory (volatile memory, such as random access memory, nonvolatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash Memory devices, or any other form of storage medium that is accessible by computing device 12 and capable of storing desired information, or a suitable combination thereof.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.The communication bus 18 interconnects various other components of the computing device 12, including the processor 14 and the computer readable storage medium 16.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.Computing device 12 may also include one or more input / output interfaces 22 and one or more network communication interfaces 26 that provide an interface for one or more input / output devices 24. The input / output interface 22 and the network communication interface 26 are connected to the communication bus 18. The input / output device 24 may be connected to other components of the computing device 12 via the input / output interface 22. Exemplary input / output devices 24 may include pointing devices (such as a mouse or trackpad), keyboards, touch input devices (such as touchpads or touchscreens), voice or sound input devices, various types of sensor devices, and / or imaging devices. Input devices, and / or output devices such as display devices, printers, speakers, and / or network cards. The example input / output device 24 may be included inside the computing device 12 as one component of the computing device 12, and may be connected to the computing device 12 as a separate device from the computing device 12. It may be.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.While the exemplary embodiments of the present invention have been described in detail above, those skilled in the art will appreciate that various modifications can be made to the above-described embodiments without departing from the scope of the present invention. . Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the claims below and equivalents thereof.

100 : 사용자 단말
200 : 추종 로봇
202 : 통신부
204 : 촬영부
206 : 추종부
208 : 제어부
210 : 구동부
212 : 저장부
221 : 제1 전처리 모듈
223 : 제1 딥러닝 모듈
231 : 제2 전처리 모듈
233 : 제2 딥러닝 모듈
235 : 제3 딥러닝 모듈
100: user terminal
200: following robot
202: communication unit
204: the photographing unit
206: follower
208: control unit
210: driving part
212: storage unit
221: first pretreatment module
223: first deep learning module
231: second pretreatment module
233: second deep learning module
235: third deep learning module

Claims (16)

GPS 정보를 획득하는 GPS 모듈을 포함하는 사용자 단말; 및
상기 사용자 단말로부터 GPS 정보를 수신하고, 상기 GPS 정보를 기초로 사용자의 위치 정보를 추출하여 상기 사용자를 추종하는 추종 로봇을 포함하고,
상기 추종 로봇은,
상기 추종 로봇의 위치 정보를 산출하고, 상기 사용자의 위치 정보와 상기 추종 로봇의 위치 정보를 비교하여 상기 추종 로봇이 상기 사용자로부터 기 설정된 거리를 유지하도록 상기 추종 로봇을 제어하는 제어부를 포함하며,
상기 제어부는,
상기 사용자의 위치 정보를 제1 목표지점으로 설정하고, 상기 제1 목표지점과 상기 추종 로봇의 위치 정보를 비교하여 상기 제1 목표지점을 도달하도록 상기 추종 로봇을 제어하고,
상기 제1 목표지점으로부터 상기 사용자의 다음 위치 정보를 추출하여 제2 목표지점으로 설정하고, 상기 제1 목표지점과 상기 제2 목표지점을 바탕으로 상기 추종 로봇의 방향 벡터를 산출하여 상기 제2 목표지점으로 도달하도록 상기 추종 로봇을 제어하며,
상기 추종 로봇은,
상기 추종 로봇의 주변을 촬영하도록 상기 추종 로봇에 마련되는 촬영부;
상기 촬영부로부터 촬영된 영상에서 주변 이미지를 추출하는 제1 전처리 모듈, 및 상기 주변 이미지를 입력받아 상기 주변 이미지에서 장애물을 검출하는 제1 딥러닝 모듈을 포함하는 추종부; 및
상기 촬영부로부터 촬영된 영상에서 작물 이미지를 추출하는 제2 전처리 모듈, 상기 작물 이미지를 입력받아 상기 작물 이미지에서 병충해 의심 부분을 검출하는 제2 딥러닝모듈, 및 상기 작물 이미지를 입력받아 상기 작물 이미지에서 수확물의 성장 정도를 검출하는 제3 딥러닝모듈을 포함하는 작물 관리부를 더 포함하며,
상기 작물 관리부는, 상기 병충해 의심 부분 또는 상기 수확물의 성장 정도 중 적어도 하나를 상기 사용자 단말로 제공하며,
상기 제어부는,
상기 사용자를 추종하는 궤적 추종 기법으로부터 저장된 주행정보를 기반으로 상기 추종 로봇을 제어하되, 상기 추종부로부터 장애물이 검출되는 경우, 상기 장애물을 회피하여 상기 사용자를 추종하도록 상기 추종 로봇을 제어하는, 추종 로봇 시스템.
A user terminal including a GPS module for obtaining GPS information; And
Receiving a GPS information from the user terminal, extracting location information of the user based on the GPS information, and including a following robot for following the user,
The following robot,
Calculating a position information of the following robot, comparing the position information of the user with the position information of the following robot, and controlling the following robot to control the following robot to maintain a preset distance from the user,
The control unit,
Setting the location information of the user as a first target point, controlling the following robot to reach the first target point by comparing the first target point with the position information of the following robot,
The next location information of the user is extracted from the first target point and is set as a second target point, and the direction vector of the following robot is calculated based on the first target point and the second target point and the second target point is obtained. Control the following robot to reach the point,
The following robot,
A photographing unit provided in the following robot to photograph the surroundings of the following robot;
A follower including a first preprocessing module for extracting a surrounding image from the image photographed by the photographing unit, and a first deep learning module that receives the surrounding image and detects an obstacle in the surrounding image; And
A second preprocessing module which extracts a crop image from the image photographed by the photographing unit, a second deep learning module that receives the crop image and detects a suspected pest from the crop image, and receives the crop image and the crop image Further comprising a crop management unit comprising a third deep learning module for detecting the growth of the harvest in,
The crop management unit provides the user terminal with at least one of the suspected pests or the degree of growth of the harvest,
The control unit,
The following robot is controlled based on driving information stored from a trajectory following technique for following the user, and when the obstacle is detected from the following unit, the following robot is controlled to avoid the obstacle and follow the user. Robotic system.
삭제delete 삭제delete 삭제delete 청구항 1에 있어서,
상기 제1 딥러닝모듈은,
상기 주변 이미지가 입력되는 경우, 입력된 주변 이미지에서 장애물을 검출하여 출력하도록 학습된 합성곱 신경망(CNN : Convolution Neural Network)을 이용하는, 추종 로봇 시스템.
The method according to claim 1,
The first deep learning module,
And a convolutional neural network (CNN) trained to detect and output obstacles in the input peripheral image when the surrounding image is input.
삭제delete 삭제delete 청구항 1에 있어서,
상기 제 2 딥러닝모듈은,
상기 작물 이미지가 입력되는 경우, 입력된 작물 이미지에서 병충해 의심 부분을 검출하여 출력하도록 학습된 합성곱 신경망(CNN : Convolution Neural Network)을 이용하는, 추종 로봇 시스템.
The method according to claim 1,
The second deep learning module,
When the crop image is input, a tracking robot system using a convolutional neural network (CNN) trained to detect and output a suspected pest part in the input crop image.
청구항 1에 있어서,
상기 제3 딥러닝모듈은,
상기 작물 이미지가 입력되는 경우, 입력된 작물 이미지에서 수확물의 성장 정도를 검출하여 출력하도록 학습된 합성곱 신경망(CNN : Convolution Neural Network)을 이용하는, 추종 로봇 시스템.
The method according to claim 1,
The third deep learning module,
When the crop image is input, a tracking robot system using a convolutional neural network (CNN) trained to detect and output the growth of the harvest from the input crop image.
삭제delete 하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
사용자 단말로부터 GPS 정보를 수신하는 통신부; 및
상기 GPS 정보를 기초로 사용자의 위치 정보를 추출하고 추종 로봇의 위치 정보를 산출하며, 상기 사용자의 위치 정보와 상기 추종 로봇의 위치 정보를 비교하여 상기 추종 로봇이 상기 사용자로부터 기 설정된 거리를 유지하도록 상기 추종 로봇을 제어하는 제어부를 포함하며,
상기 제어부는,
상기 사용자의 위치 정보를 제1 목표지점으로 설정하고, 상기 제1 목표지점과 상기 추종 로봇의 위치 정보를 비교하여 상기 제1 목표지점을 도달하도록 상기 추종 로봇을 제어하고,
상기 제1 목표지점으로부터 상기 사용자의 다음 위치 정보를 추출하여 제2 목표지점으로 설정하고, 상기 제1 목표지점과 상기 제2 목표지점을 바탕으로 상기 추종 로봇의 방향 벡터를 산출하여 상기 제2 목표지점으로 도달하도록 상기 추종 로봇을 제어하며,
상기 컴퓨팅 장치는,
상기 추종 로봇의 주변을 촬영하도록 상기 추종 로봇에 마련되는 촬영부;
상기 촬영부로부터 촬영된 영상에서 주변 이미지를 추출하는 제1 전처리 모듈, 및 상기 주변 이미지를 입력받아 상기 주변 이미지에서 장애물을 검출하는 제1 딥러닝 모듈을 포함하는 추종부; 및
상기 촬영부로부터 촬영된 영상에서 작물 이미지를 추출하는 제2 전처리 모듈, 상기 작물 이미지를 입력받아 상기 작물 이미지에서 병충해 의심 부분을 검출하는 제2 딥러닝모듈, 및 상기 작물 이미지를 입력받아 상기 작물 이미지에서 수확물의 성장 정도를 검출하는 제3 딥러닝모듈을 포함하는 작물 관리부를 더 포함하며,
상기 작물 관리부는, 상기 병충해 의심 부분 또는 상기 수확물의 성장 정도 중 적어도 하나를 상기 사용자 단말로 제공하며,
상기 제어부는,
상기 사용자를 추종하는 궤적 추종 기법으로부터 저장된 주행정보를 기반으로 상기 추종 로봇을 제어하되, 상기 추종부로부터 장애물이 검출되는 경우, 상기 장애물을 회피하여 상기 사용자를 추종하도록 상기 추종 로봇을 제어하는, 컴퓨팅 장치.
One or more processors, and
A computing device having a memory for storing one or more programs executed by the one or more processors, the computing device comprising:
Communication unit for receiving GPS information from the user terminal; And
Extract the location information of the user based on the GPS information, calculate the location information of the following robot, and compare the location information of the user with the location information of the following robot to maintain the preset distance from the user. It includes a control unit for controlling the following robot,
The control unit,
Setting the location information of the user as a first target point, controlling the following robot to reach the first target point by comparing the first target point with the position information of the following robot,
The next location information of the user is extracted from the first target point and is set as a second target point, and the direction vector of the following robot is calculated based on the first target point and the second target point and the second target point is obtained. Control the following robot to reach the point,
The computing device,
A photographing unit provided in the following robot to photograph the surroundings of the following robot;
A follower including a first preprocessing module for extracting a surrounding image from the image photographed by the photographing unit, and a first deep learning module that receives the surrounding image and detects an obstacle in the surrounding image; And
A second preprocessing module which extracts a crop image from the image photographed by the photographing unit, a second deep learning module that receives the crop image and detects a suspected pest from the crop image, and receives the crop image and the crop image Further comprising a crop management unit including a third deep learning module for detecting the growth level of the harvest in,
The crop management unit provides the user terminal with at least one of the suspected pests or the degree of growth of the harvest,
The control unit,
Computing the following robot based on the driving information stored from the trajectory tracking method for following the user, if the obstacle is detected from the following unit, the following robot is controlled to avoid the obstacle to follow the user, computing Device.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020190066259A 2019-06-04 2019-06-04 Following robot control method and system and computing device for executing the system KR102063891B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190066259A KR102063891B1 (en) 2019-06-04 2019-06-04 Following robot control method and system and computing device for executing the system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190066259A KR102063891B1 (en) 2019-06-04 2019-06-04 Following robot control method and system and computing device for executing the system

Publications (1)

Publication Number Publication Date
KR102063891B1 true KR102063891B1 (en) 2020-01-08

Family

ID=69154116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190066259A KR102063891B1 (en) 2019-06-04 2019-06-04 Following robot control method and system and computing device for executing the system

Country Status (1)

Country Link
KR (1) KR102063891B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113641095A (en) * 2021-08-18 2021-11-12 苏州英特数智控制系统有限公司 Active safety backup control method and system based on laser radar
CN114200934A (en) * 2021-12-06 2022-03-18 北京云迹科技股份有限公司 Robot target following control method and device, electronic equipment and storage medium
KR20220091390A (en) * 2020-12-23 2022-06-30 시리우스 로보틱스 코., 엘티디. Methods, equipment and storage medium to reduce the waiting time for human-computer interaction
KR20220120918A (en) 2021-02-24 2022-08-31 주식회사 하다(HADA Co.,Ltd) Human worker-following transfer rovot
CN117021089A (en) * 2023-08-14 2023-11-10 北京小米机器人技术有限公司 Robot control method, device, robot and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100877983B1 (en) 2002-03-11 2009-01-12 주식회사 엘지이아이 Objcctive compoliancy apparatus and method of robot
KR20150124305A (en) * 2014-04-28 2015-11-05 이철희 Agricultural robot
KR20180106472A (en) * 2017-03-20 2018-10-01 엘지전자 주식회사 Moving robot

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100877983B1 (en) 2002-03-11 2009-01-12 주식회사 엘지이아이 Objcctive compoliancy apparatus and method of robot
KR20150124305A (en) * 2014-04-28 2015-11-05 이철희 Agricultural robot
KR20180106472A (en) * 2017-03-20 2018-10-01 엘지전자 주식회사 Moving robot

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220091390A (en) * 2020-12-23 2022-06-30 시리우스 로보틱스 코., 엘티디. Methods, equipment and storage medium to reduce the waiting time for human-computer interaction
KR102460039B1 (en) 2020-12-23 2022-10-28 시리우스 로보틱스 코., 엘티디. Methods, equipment and storage medium to reduce the waiting time for human-computer interaction
KR20220120918A (en) 2021-02-24 2022-08-31 주식회사 하다(HADA Co.,Ltd) Human worker-following transfer rovot
CN113641095A (en) * 2021-08-18 2021-11-12 苏州英特数智控制系统有限公司 Active safety backup control method and system based on laser radar
CN113641095B (en) * 2021-08-18 2024-02-09 苏州英特数智控制系统有限公司 Active safety machine leaning control method and system based on laser radar
CN114200934A (en) * 2021-12-06 2022-03-18 北京云迹科技股份有限公司 Robot target following control method and device, electronic equipment and storage medium
CN117021089A (en) * 2023-08-14 2023-11-10 北京小米机器人技术有限公司 Robot control method, device, robot and storage medium

Similar Documents

Publication Publication Date Title
KR102063891B1 (en) Following robot control method and system and computing device for executing the system
JP6705465B2 (en) Observability grid-based autonomous environment search
US10322507B2 (en) Apparatus and methods for control of robot actions based on corrective user inputs
EP3367199B1 (en) Moving robot and method of controlling the same
US20210149411A1 (en) Method, apparatus and storage medium for detecting small obstacles
US20200064827A1 (en) Self-driving mobile robots using human-robot interactions
US11249492B2 (en) Methods and apparatus to facilitate autonomous navigation of robotic devices
CN111630460A (en) Path planning for autonomous mobile devices
US9684305B2 (en) System and method for mobile robot teleoperation
US8077919B2 (en) Toro: tracking and observing robot
US20200233061A1 (en) Method and system for creating an inverse sensor model and method for detecting obstacles
CN115655262B (en) Deep learning perception-based multi-level semantic map construction method and device
KR102303126B1 (en) Method and system for optimizing reinforcement learning based navigation to human preference
US11112780B2 (en) Collaborative determination of a load footprint of a robotic vehicle
US20200401151A1 (en) Device motion control
US20210343043A1 (en) Adversarial scene adaptation for camera pose regression
US20180311819A1 (en) Data Association Aware Belief Space Planning And Perception
KR102310606B1 (en) Method for correcting difference of multiple sensors, and computer program recorded on record-medium for executing method therefor
US20220350342A1 (en) Moving target following method, robot and computer-readable storage medium
KR102464906B1 (en) Electronic device, server and method thereof for recommending fashion item
US20230350418A1 (en) Position determination by means of neural networks
US20230140830A2 (en) Implement recognition lighting
US11341596B2 (en) Robot and method for correcting position of same
US20210109541A1 (en) Method of estimating position in local area of large space and robot and cloud server implementing thereof
Beraldo et al. Shared-autonomy navigation for mobile robots driven by a door detection module

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant