KR102063891B1 - Following robot control method and system and computing device for executing the system - Google Patents
Following robot control method and system and computing device for executing the system Download PDFInfo
- Publication number
- KR102063891B1 KR102063891B1 KR1020190066259A KR20190066259A KR102063891B1 KR 102063891 B1 KR102063891 B1 KR 102063891B1 KR 1020190066259 A KR1020190066259 A KR 1020190066259A KR 20190066259 A KR20190066259 A KR 20190066259A KR 102063891 B1 KR102063891 B1 KR 102063891B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- robot
- following robot
- image
- following
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/12—Target-seeking control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
- B25J13/089—Determining the position of the robot with reference to its environment
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/026—Acoustical sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
- G05D1/0291—Fleet control
- G05D1/0295—Fleet control by at least one leading vehicle of the fleet
Abstract
Description
본 발명의 실시예들은 추종 로봇 기술과 관련된다.Embodiments of the present invention relate to following robotic technology.
종래의 사용자 추종 로봇은 초음파 거리센서와 같은 거리센서를 이용하여 사용자와 거리를 측정하여 일정거리보다 멀면 주행하고 가까우면 정지하였다.Conventional user tracking robots measure distances from users using distance sensors such as ultrasonic distance sensors and travel when they are farther than a certain distance and stop when they are close.
그러나, 종래의 사용자 추종 로봇과 사용자 사이에 다른 사람이나 물체가 나타나면 사용자를 추종하지 못하는 문제점이 있다.However, if another person or object appears between the user following the robot and the conventional user, there is a problem that the user cannot be followed.
본 발명의 실시예들은 추종 로봇이 사용자와 일정 거리를 유지하면서 추종하여 작업의 효율성을 향상하기 위한 것이다.Embodiments of the present invention are to follow the robot while maintaining a certain distance from the user to improve the efficiency of the work.
또한, 본 발명의 실시예들은 사용자 단말의 GPS 정보를 기반으로 사용자를 추종하여 추종 정밀도를 향상하기 위한 것이다.In addition, embodiments of the present invention are to follow the user based on the GPS information of the user terminal to improve the tracking accuracy.
본 발명의 예시적인 실시예에 따르면, GPS 정보를 획득하는 GPS 모듈을 포함하는 사용자 단말; 및 상기 사용자 단말로부터 GPS 정보를 수신하고, 상기 GPS 정보를 기초로 사용자의 위치 정보를 추출하여 상기 사용자를 추종하는 추종 로봇을 포함하고, 상기 추종 로봇은, 상기 추종 로봇의 위치 정보를 산출하고, 상기 사용자의 위치 정보와 상기 추종 로봇의 위치 정보를 비교하여 상기 추종 로봇이 상기 사용자로부터 기 설정된 거리를 유지하도록 상기 추종 로봇을 제어하는 제어부를 포함하는 추종 로봇 시스템이 제공된다.According to an exemplary embodiment of the present invention, a user terminal including a GPS module for obtaining GPS information; And a following robot that receives GPS information from the user terminal, extracts the location information of the user based on the GPS information, and follows the user, wherein the following robot calculates the location information of the following robot, A tracking robot system is provided that includes a controller configured to control the tracking robot so that the tracking robot maintains a predetermined distance from the user by comparing the location information of the user with the location information of the tracking robot.
상기 제어부는 상기 사용자의 위치 정보를 제1 목표지점으로 설정하고, 상기 제1 목표지점과 상기 추종 로봇의 위치 정보를 비교하여 상기 제1 목표지점을 도달하도록 상기 추종 로봇을 제어할 수 있다.The controller may set the location information of the user as a first target point, and control the following robot to reach the first target point by comparing the first target point with the position information of the following robot.
상기 제어부는 상기 제1 목표지점으로부터 상기 사용자의 다음 위치 정보를 추출하여 제2 목표지점으로 설정하고, 상기 제1 목표지점과 상기 제2 목표지점을 바탕으로 상기 추종 로봇의 방향 벡터를 산출하여 상기 제2 목표지점으로 도달하도록 상기 추종 로봇을 제어할 수 있다.The controller extracts the next location information of the user from the first target point and sets the second target point, and calculates a direction vector of the following robot based on the first target point and the second target point. The following robot may be controlled to reach a second target point.
상기 추종 로봇은 상기 추종 로봇의 주변을 촬영하도록 상기 추종 로봇에 마련되는 촬영부; 및 상기 촬영부로부터 촬영된 영상에서 주변 이미지를 추출하는 제1 전처리 모듈, 및 상기 주변 이미지를 입력받아 상기 주변 이미지에서 장애물을 검출하는 제1 딥러닝 모듈을 포함하는 추종부를 더 포함할 수 있다.The following robot may include a photographing unit provided in the following robot to photograph the surroundings of the following robot; And a follower including a first preprocessing module that extracts a surrounding image from the image photographed by the photographing unit, and a first deep learning module that receives the surrounding image and detects an obstacle in the surrounding image.
상기 제1 딥러닝모듈은 상기 주변 이미지가 입력되는 경우, 입력된 주변 이미지에서 장애물을 검출하여 출력하도록 학습된 합성곱 신경망(CNN : Convolution Neural Network)을 이용할 수 있다.When the surrounding image is input, the first deep learning module may use a convolutional neural network (CNN) trained to detect and output an obstacle in the input surrounding image.
상기 제어부는 상기 추종부로부터 장애물이 검출되는 경우, 상기 장애물을 회피하여 상기 사용자를 추종하도록 상기 추종 로봇을 제어할 수 있다.The controller may control the following robot to follow the user by avoiding the obstacle when an obstacle is detected from the follower.
상기 추종 로봇은 상기 추종 로봇의 주변을 촬영하도록 상기 추종 로봇에 마련되는 촬영부; 및 상기 촬영부로부터 촬영된 영상에서 작물 이미지를 추출하는 제2 전처리 모듈, 상기 작물 이미지를 입력받아 상기 작물 이미지에서 병충해 의심 부분을 검출하는 제2 딥러닝모듈, 및 상기 작물 이미지를 입력받아 상기 작물 이미지에서 수확물의 성장 정도를 검출하는 제3 딥러닝모듈을 포함하는 작물 관리부를 더 포함하며, 상기 작물 관리부는, 상기 병충해 의심 부분 또는 상기 수확물의 성장 정도 중 적어도 하나를 상기 사용자 단말로 제공할 수 있다.The following robot may include a photographing unit provided in the following robot to photograph the surroundings of the following robot; And a second preprocessing module for extracting a crop image from the image photographed by the photographing unit, a second deep learning module that receives the crop image and detects a suspected pest part in the crop image, and receives the crop image. The crop management unit may further include a crop management unit including a third deep learning module configured to detect a growth level of the crop in the image, wherein the crop management unit may provide at least one of the suspected pest or growth level of the harvest to the user terminal. have.
상기 제 2 딥러닝모듈은 상기 작물 이미지가 입력되는 경우, 입력된 작물 이미지에서 병충해 의심 부분을 검출하여 출력하도록 학습된 합성곱 신경망(CNN : Convolution Neural Network)을 이용할 수 있다.When the crop image is input, the second deep learning module may use a convolutional neural network (CNN) trained to detect and output a suspected pest portion in the input crop image.
상기 제3 딥러닝모듈은 상기 작물 이미지가 입력되는 경우, 입력된 작물 이미지에서 수확물의 성장 정도를 검출하여 출력하도록 학습된 합성곱 신경망(CNN : Convolution Neural Network)을 이용할 수 있다.When the crop image is input, the third deep learning module may use a convolutional neural network (CNN) trained to detect and output a growth level of a harvest from the input crop image.
상기 추종 로봇은 상기 추종 로봇의 주변을 촬영하도록 상기 추종 로봇에 마련되는 촬영부; 상기 촬영부로부터 촬영된 영상에서 주변 이미지를 추출하는 제1 전처리 모듈, 및 상기 주변 이미지를 입력받아 상기 주변 이미지에서 장애물을 검출하는 제1 딥러닝 모듈을 포함하는 추종부; 및 상기 촬영부로부터 촬영된 영상에서 작물 이미지를 추출하는 제2 전처리 모듈, 상기 작물 이미지를 입력받아 상기 작물 이미지에서 병충해 의심 부분을 검출하는 제2 딥러닝모듈, 및 상기 작물 이미지를 입력받아 상기 작물 이미지에서 수확물의 성장 정도를 검출하는 제3 딥러닝모듈을 포함하는 작물 관리부를 더 포함하며, 상기 작물 관리부는, 상기 병충해 의심 부분 또는 상기 수확물의 성장 정도 중 적어도 하나를 상기 사용자 단말로 제공할 수 있다.The following robot may include a photographing unit provided in the following robot to photograph the surroundings of the following robot; A follower including a first preprocessing module for extracting a surrounding image from the image photographed by the photographing unit, and a first deep learning module that receives the surrounding image and detects an obstacle in the surrounding image; And a second preprocessing module that extracts a crop image from the image photographed by the photographing unit, a second deep learning module that receives the crop image and detects a suspected pest in the crop image, and receives the crop image. The crop management unit may further include a crop management unit including a third deep learning module configured to detect a growth level of the crop in the image, wherein the crop management unit may provide at least one of the suspected pest or growth level of the harvest to the user terminal. have.
본 발명의 다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 사용자 단말로부터 GPS 정보를 수신하는 통신부; 및 상기 GPS 정보를 기초로 사용자의 위치 정보를 추출하고 추종 로봇의 위치 정보를 산출하며, 상기 사용자의 위치 정보와 상기 추종 로봇의 위치 정보를 비교하여 상기 추종 로봇이 상기 사용자로부터 기 설정된 거리를 유지하도록 상기 추종 로봇을 제어하는 제어부를 포함하는 컴퓨팅 장치가 제공된다.According to another exemplary embodiment of the present invention, a computing device having one or more processors and a memory storing one or more programs executed by the one or more processors, the computing device comprising: a communication unit configured to receive GPS information from a user terminal; And extracting the location information of the user based on the GPS information and calculating the location information of the following robot, and comparing the location information of the user with the location information of the following robot to maintain the preset distance from the user. A computing device including a control unit for controlling the following robot is provided.
상기 제어부는 상기 사용자의 위치 정보를 제1 목표지점으로 설정하고, 상기 제1 목표지점과 상기 추종 로봇의 위치 정보를 비교하여 상기 제1 목표지점을 도달하도록 상기 추종 로봇을 제어할 수 있다.The controller may set the location information of the user as a first target point, and control the following robot to reach the first target point by comparing the first target point with the position information of the following robot.
상기 제어부는 상기 제1 목표지점으로부터 상기 사용자의 다음 위치 정보를 추출하여 제2 목표지점으로 설정하고, 상기 제1 목표지점과 상기 제2 목표지점을 바탕으로 상기 추종 로봇의 방향 벡터를 산출하여 상기 제2 목표지점으로 도달하도록 상기 추종 로봇을 제어할 수 있다.The controller extracts the next location information of the user from the first target point and sets the second target point, and calculates a direction vector of the following robot based on the first target point and the second target point. The following robot may be controlled to reach a second target point.
상기 컴퓨팅 장치는 상기 추종 로봇의 주변을 촬영하도록 상기 추종 로봇에 마련되는 촬영부; 및 상기 촬영부로부터 촬영된 영상에서 주변 이미지를 추출하는 제1 전처리 모듈, 및 상기 주변 이미지를 입력받아 상기 주변 이미지에서 장애물을 검출하는 제1 딥러닝 모듈을 포함하는 추종부를 더 포함할 수 있다.The computing device may include a photographing unit provided in the following robot to photograph the surroundings of the following robot; And a follower including a first preprocessing module that extracts a surrounding image from the image photographed by the photographing unit, and a first deep learning module that receives the surrounding image and detects an obstacle in the surrounding image.
상기 컴퓨팅 장치는 상기 추종 로봇의 주변을 촬영하도록 상기 추종 로봇에 마련되는 촬영부; 및 상기 촬영부로부터 촬영된 영상에서 작물 이미지를 추출하는 제2 전처리 모듈, 상기 작물 이미지를 입력받아 상기 작물 이미지에서 병충해 의심 부분을 검출하는 제2 딥러닝모듈, 및 상기 작물 이미지를 입력받아 상기 작물 이미지에서 수확물의 성장 정도를 검출하는 제3 딥러닝모듈을 포함하는 작물 관리부를 더 포함하며, 상기 작물 관리부는, 상기 병충해 의심 부분 또는 상기 수확물의 성장 정도 중 적어도 하나를 상기 사용자 단말로 제공할 수 있다.The computing device may include a photographing unit provided in the following robot to photograph the surroundings of the following robot; And a second preprocessing module for extracting a crop image from the image photographed by the photographing unit, a second deep learning module that receives the crop image and detects a suspected pest part in the crop image, and receives the crop image. The crop management unit may further include a crop management unit including a third deep learning module configured to detect a growth level of the crop in the image, wherein the crop management unit may provide at least one of the suspected pest or growth level of the harvest to the user terminal. have.
본 발명의 또 다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 추종 로봇에서, 사용자 단말로부터 GPS 정보를 수신하는 단계; 상기 추종 로봇에서, 상기 GPS 정보를 기초로 사용자의 위치 정보를 추출하고 상기 추종 로봇의 위치 정보를 산출하는 단계; 상기 추종 로봇에서, 상기 사용자의 위치 정보를 제1 목표지점으로 설정하고, 상기 제1 목표지점과 상기 추종 로봇의 위치 정보를 비교하여 상기 제1 목표지점을 도달하도록 주행하는 단계; 및 상기 추종 로봇에서, 상기 제1 목표지점으로부터 상기 사용자의 다음 위치 정보를 추출하여 제2 목표지점으로 설정하고, 상기 제1 목표지점과 상기 제2 목표지점을 바탕으로 상기 추종 로봇의 방향 벡터를 산출하여 상기 제2 목표지점으로 도달하도록 주행하는 단계를 포함하는 추종 로봇 제어 방법이 제공된다.According to yet another exemplary embodiment of the present invention, a method performed in a computing device having one or more processors and a memory storing one or more programs executed by the one or more processors, the following method comprising: Receiving GPS information from the terminal; Extracting, by the tracking robot, location information of the user based on the GPS information and calculating location information of the tracking robot; Setting, by the tracking robot, location information of the user as a first target point and traveling to reach the first target point by comparing the first target point and the position information of the following robot; And extracting, by the following robot, the next position information of the user from the first target point, and setting the second target point, and setting the direction vector of the following robot based on the first target point and the second target point. A tracking robot control method is provided, which includes calculating and traveling to reach the second target point.
본 발명의 실시예들에 따르면, 추종 로봇이 사용자와 일정 거리를 유지하면서 추종함으로써, 작업의 효율성을 향상할 수 있다.According to the embodiments of the present invention, the following robot may follow the user while maintaining a certain distance, thereby improving the efficiency of the work.
또한, 본 발명의 실시예들에 따르면, 사용자 단말의 GPS 정보를 기반으로 궤적 추종 기법을 적용하여 사용자를 추종함으로써, 주변 환경과 장애물의 영향을 받지 않아 추종 정밀도를 향상할 수 있다.In addition, according to embodiments of the present invention, by following a user by applying a trajectory tracking technique based on GPS information of the user terminal, the tracking accuracy may be improved without being affected by the surrounding environment and obstacles.
도 1은 본 발명의 일 실시예에 따른 추종 로봇 시스템을 설명하기 위한 구성도
도 2는 본 발명의 일 실시예에 따른 추종 로봇 시스템의 추종 로봇을 설명하기 위한 블록도
도 3은 본 발명의 일 실시예에 따른 추종 로봇 시스템의 추종 로봇에서 추종부 및 작물 관리부를 설명하기 위한 블록도
도 4는 본 발명의 일 실시예에 따른 추종 로봇 시스템의 추종 로봇 제어 방법을 설명하기 위한 흐름도
도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a configuration diagram for explaining a tracking robot system according to an embodiment of the present invention;
2 is a block diagram illustrating a tracking robot of a tracking robot system according to an exemplary embodiment of the present invention.
3 is a block diagram illustrating a follower and a crop management unit in a follower robot of a follower robot system according to an exemplary embodiment of the present invention;
4 is a flowchart illustrating a tracking robot control method of a tracking robot system according to an exemplary embodiment of the present invention.
5 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments.
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The following detailed description is provided to assist in a comprehensive understanding of the methods, devices, and / or systems described herein. However, this is only an example and the present invention is not limited thereto.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or an operator. Therefore, the definition should be made based on the contents throughout the specification. The terminology used in the description is for the purpose of describing embodiments of the invention only and should not be limiting. Unless expressly used otherwise, the singular forms “a,” “an,” and “the” include plural forms of meaning. In this description, expressions such as "comprises" or "equipment" are intended to indicate certain features, numbers, steps, actions, elements, portions or combinations thereof, and one or more than those described. It should not be construed to exclude the presence or possibility of other features, numbers, steps, actions, elements, portions or combinations thereof.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Meanwhile, an embodiment of the present invention may include a program for performing the methods described herein on a computer, and a computer readable recording medium including the program. The computer-readable recording medium may include program instructions, local data files, local data structures, etc. alone or in combination. The media may be those specially designed and constructed for the purposes of the present invention, or those conventionally available in the field of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical recording media such as CD-ROMs, DVDs, and specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Hardware devices are included. Examples of such programs may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler.
도 1은 본 발명의 일 실시예에 따른 추종 로봇 시스템을 설명하기 위한 구성도이고, 도 2는 본 발명의 일 실시예에 따른 추종 로봇 시스템의 추종 로봇을 설명하기 위한 구성도이며, 도 3은 본 발명의 일 실시예에 따른 추종 로봇 시스템의 추종 로봇에서 추종부 및 작물 관리부를 설명하기 위한 블록도이다.1 is a block diagram for explaining a tracking robot system according to an embodiment of the present invention, Figure 2 is a block diagram for explaining a tracking robot of the following robot system according to an embodiment of the present invention, Figure 3 In the following robot of the following robot system according to an embodiment of the present invention is a block diagram for explaining the follower and crop management unit.
도 1 내지 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 추종 로봇 시스템(1)은 사용자 단말(100) 및 추종 로봇(200)을 포함할 수 있다.As shown in FIGS. 1 to 3, the following robot system 1 according to an embodiment of the present invention may include a
사용자 단말(100)은 추종 로봇(200)과 네트워크를 이용하여 연결될 수 있다. 사용자 단말(100)은 스마트 폰, 태블릿 PC, 스마트 워치 등 무선 통신을 사용할 수 있는 모든 스마트 기기를 포함할 수 있다. 여기서, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet) 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다. 특히, 근거리 통신 기술인 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등을 사용할 수 있다. 사용자 단말(100)은 사용자 단말(100)의 GPS 정보를 획득하는 GPS 모듈을 구비할 수 있다.The
사용자 단말(100)과 추종 로봇(200)은 네트워크을 이용하여 데이터 통신을 수행할 수 있으며, 사용자 단말(100)의 GPS(Global Position System) 정보가 추종 로봇(200)으로 전송될 수 있다. The
여기서, GPS 정보를 이용하여 사용자 단말(100)의 현 위치를 확인할 수 있다. GPS 정보는 현 위치를 실시간으로 산출할 수 있으며, 이를 이용하여 속도 정보를 산출할 수 있다. 또한, GPS 정보는 기 정의된 시간의 간격으로 실시간 업데이트될 수 있다. 또한, 사용자 단말(100)의 전력 소모를 줄이기 위해 GPS 정보의 전송은 GPS 동작이 온(ON)인 상태에서만 수행되는 것으로 제한될 수 있다.Here, the current position of the
또한, 사용자 단말(100)은 추종 로봇 서비스를 제공하기 위한 어플리케이션이 설치될 수 있다. 상기 어플리케이션은 사용자 단말(100)의 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 상기 어플리케이션은 사용자 단말(100)의 프로세서에 의해 실행 가능한 명령어의 소정의 집합을 포함한다. 상기 명령어는 사용자 단말(100)의 프로세서로 하여금 예시적인 실시예에 따른 동작을 수행하게 할 수 있다. 사용자 단말(100)의 컴퓨터 판독 가능 저장 매체는 사용자 단말(100) 상에서 상기 어플리케이션과 같은 명령어 집합을 실행하기 위한 운영 체제의 컴포넌트들을 포함한다. 예를 들어, 이러한 운영 체제는 애플(Apple) 사의 iOS 또는 구글(Google) 사의 Android 일 수 있다.In addition, the
여기서, 추종 로봇 서비스를 제공하기 위한 어플리케이션은 추종 로봇(200)으로부터 수신한 작물 정보를 화면에 제공할 수 있다. 여기서, 작물 정보는 병충해 감염 여부, 수확물의 성장 정도 등을 포함할 수 있다. Here, the application for providing the tracking robot service may provide crop information received from the tracking
추종 로봇(200)은 통신부(202), 촬영부(204), 추종부(206), 작물 관리부(208), 제어부(210), 구동부(212) 및 저장부(214)를 포함할 수 있다.The tracking
여기서, 추종 로봇(200)은 농작물 시설에서 사용자를 추종하도록 하는 이송 로봇일 수 있다. 또한, 사용자를 추종하면서 소정의 도구, 물건 또는 농작물 등을 적재할 수 있는 공간이 형성될 수 있다. 추종 로봇(200)은 농작물의 운반, 수확 등이 가능한 농업용 로봇이라면 공지된 어떠한 로봇에 적용하여도 무방하다.Here, the following
통신부(202)는 사용자 단말(100)과 네트워크를 통하여 통신을 수행할 수 있다. 통신부(202)는 사용자 단말(100)로부터 GPS 정보를 수신할 수 있다. 또한, 통신부(202)는 작물 관리부(208)에서 생성된 작물 정보를 사용자 단말(100)로 전송할 수 있다. 작물 정보는 병충해 감염 여부, 수확물의 성장 정도 등을 포함할 수 있다.The
촬영부(204)는 추종 로봇(200)의 주변을 촬영할 수 있도록 각종 카메라 등을 이용할 수 있다. 촬영부(204)는 추종 로봇(200)에 설치되어 전방위를 촬영할 수 있도록 형성될 수 있다.The photographing
추종부(206)는 촬영부(204)로부터 촬영된 영상에서 주변 이미지(예를 들어, 농작물의 가지나 잎, 농기계, 돌, 풀, 고랑 등의 장애물 이미지)를 추출하고, 추출된 주변 이미지로부터 딥 러닝(Deep Learning) 기반 기술을 사용하여 장애물을 확인할 수 있다. The
추종부(206)는 제1 전처리 모듈(221) 및 제1 딥러닝 모듈(223)을 포함할 수 있다.The
제1 전처리 모듈(221)은 촬영부(204)로부터 촬영된 영상에서 주변 이미지(예를 들어, 농작물의 가지나 잎, 농기계, 돌, 풀, 고랑 등의 장애물 이미지)를 추출할 수 있다. 제1 전처리 모듈(221)은 추출된 주변 이미지를 제1 딥러닝 모듈(223)로 전달할 수 있다.The
제1 딥러닝 모듈(223)은 추출된 주변 이미지를 입력받아 주변 이미지에서 장애물을 검출할 수 있다. 제1 딥러닝 모듈(223)은 주변 이미지가 입력되는 경우, 이미 학습된 이미지(즉, 장애물 이미지)들을 기반으로 딥러닝(Deep Learning)을 수행하여 입력된 주변 이미지에서 장애물을 검출할 수 있다. The first
예시적인 실시예에서, 제1 딥러닝 모듈(223)은 딥러닝 기술로 합성곱 신경망(CNN : Convolution Neural Network)을 이용할 수 있다. 이 경우, 제1 딥러닝 모듈(223)은 주변 이미지가 입력되는 경우, 입력된 주변 이미지에서 장애물을 검출하여 출력하도록 학습된 신경망일 수 있다. 합성곱 신경망은 기 공지된 기술이므로 이에 대한 자세한 설명은 생략하기로 한다.In an exemplary embodiment, the first
작물 관리부(208)는 촬영부(204)로부터 촬영된 영상에서 작물 이미지(예를 들어, 잎 이미지)를 추출하고, 추출된 작물 이미지로부터 딥 러닝(Deep Learning) 기반 기술을 사용하여 병충해를 검출하고 진단할 수 있다. The
또한, 작물 관리부(208)는 촬영부(204)로부터 촬영된 영상에서 작물 이미지(예를 들어, 수확물 이미지)를 추출하고 추출된 작물이미지로부터 딥 러닝(Deep Learning) 기반 기술을 사용하여 수확물의 성장 정도를 검출하고 판단할 수 있다. In addition, the
작물 관리부(208)는 제2 전처리 모듈(231), 제2 딥러닝 모듈(233) 및 제3 딥러닝 모듈(235)을 포함할 수 있다.The
제2 전처리 모듈(231)은 촬영부(204)로부터 촬영된 영상에서 작물 이미지(예를 들어, 수확물 이미지)를 추출할 수 있다. 제2 전처리 모듈(231)은 추출된 작물 이미지를 제2 딥러닝 모듈(233) 및 제3 딥러닝 모듈(235)로 전달할 수 있다.The
제2 딥러닝 모듈(233)은 추출된 작물 이미지를 입력받아 작물 이미지에서 병충해 의심 부분을 검출할 수 있다. 제2 딥러닝 모듈(233)은 작물 이미지가 입력되는 경우, 이미 학습된 데이터(즉, 병충해 정보)들을 기반으로 딥러닝(Deep Learning)을 수행하여 입력된 작물 이미지에서 병충해 의심 부분을 검출할 수 있다.The second
예시적인 실시예에서, 제2 딥러닝 모듈(233)은 딥러닝 기술로 합성곱 신경망(CNN : Convolution Neural Network)을 이용할 수 있다. 이 경우, 제2 딥러닝 모듈(233)은 작물 이미지가 입력되는 경우, 입력된 작물 이미지에서 병충해 의심 부분을 검출하여 출력하도록 학습된 신경망일 수 있다. In an exemplary embodiment, the second
제3 딥러닝 모듈(235)은 추출된 작물 이미지를 입력받아 작물 이미지에서 수확물의 성장 정도를 검출할 수 있다. 제3 딥러닝 모듈(235)은 작물 이미지가 입력되는 경우, 이미 학습된 데이터(즉, 수확물 정보)들을 기반으로 딥러닝(Deep Learning)을 수행하여 입력된 작물 이미지에서 수확물의 성장 정도를 검출할 수 있다.The third
예시적인 실시예에서, 제3 딥러닝 모듈(235)은 딥러닝 기술로 합성곱 신경망(CNN : Convolution Neural Network)을 이용할 수 있다. 이 경우, 제3 딥러닝 모듈(235)은 작물 이미지가 입력되는 경우, 입력된 작물 이미지에서 수확물의 성장 정도를 검출하여 출력하도록 학습된 신경망일 수 있다. In an exemplary embodiment, the third
제어부(210)는 통신부(202)를 통하여 수신된 사용자 단말(100)의 GPS 정보를 기초로 사용자의 위치 정보를 추출하여 사용자를 추종하도록 구동부(212)를 제어할 수 있다. 제어부(210)는 추종 로봇(200)의 GPS, 주행계, 및 디지털 컴퍼스의 정보를 칼만필터로 융합하여 로봇의 위치 정보를 산출할 수 있으며, 사용자의 위치 정보와 로봇의 위치 정보를 비교하여 추종 로봇(200)이 사용자로부터 기 설정된 거리를 유지하여 사용자를 추종하도록 구동부(212)를 제어할 수 있다. The
이 때, 제어부(210)는 사용자를 추종하기 위하여 사용자 단말(100)의 GPS 정보를 기초로 사용자의 이동 궤적을 추종하는 궤적 추종 기법을 사용할 수 있다. 여기서, 궤적 추종 기법은 사용자의 이동 궤적의 각 위치를 순차적으로 목표지점으로 설정하여 추종하는 기법이다. In this case, the
즉, 제어부(210)는 추종 로봇(200)의 위치 정보로부터 사용자 단말(100)의 GPS 정보를 기초로 설정된 제1 목표지점(X1, Y1)의 도달 여부를 판단할 수 있다. 이 때, 제어부(210)는 제1 목표지점의 도달 여부를 아래의 수학식 1을 이용하여 판단할 수 있다.That is, the
여기서, d는 추종 로봇(200)의 위치 정보와 제1 목표지점 사이의 거리이며, R은 추종 로봇(200)의 현재 위치 정보와 제1 목표지점 사이의 거리 오차에 대한 공분산 행렬의 제곱근의 각 대각 성분이며, 상기 공분산 행렬의 제곱근은 Cholesky 분해 법을 사용하여 산출할 수 있다.Here, d is a distance between the position information of the following
제어부(210)는 제1 목표지점으로의 도달 여부를 판단하여 추종 로봇(200)의 제1 위치 정보가 제1 목표지점에 도달하지 못한 경우, 추종 로봇이 제1 목표지점으로 도달할 때까지 제1 목표지점을 유지하도록 제어할 수 있다. 제어부(210)는 제1 목표지점으로의 도달 여부를 판단하여 추종 로봇(200)이 제1 목표지점에 도달한 경우, 사용자의 이동 궤적으로부터 다음 지점을 추출하여 제2 목표지점(X2, Y2)으로 설정할 수 있다. 이 때, 제2 목표지점이 설정되는 경우, 제어부(210)는 추종 로봇(200)의 방향전환을 수행하도록 추종 로봇(200)의 방향벡터 D1을 아래의 수학식 2를 이용하여 산출할 수 있다. If the first position information of the following
한편, GPS 정보는 동일한 지면이라고 설정할 수 있다. 즉, GPS 정보의 Z 좌표는 동일하다고 설정할 수 있다.Meanwhile, the GPS information may be set to the same ground. That is, the Z coordinates of the GPS information may be set to be the same.
이와 같이, 제어부(210)는 상기 과정을 반복 수행함으로써 사용자의 궤적을 따라 추종하도록 구동부(212)를 제어할 수 있다.As such, the
또한, 제어부(210)는 사용자를 추종하는 궤적 추종 기법으로부터 저장된 주행 정보를 기반으로 추종 로봇(200)이 주행하도록 구동부(212)를 제어할 수 있다. 제어부(210)는 촬영된 영상으로부터 장애물이 검출된 경우, 장애물을 회피하도록 추종 로봇(200)의 방향을 전환하여 구동부(212)를 제어할 수 있다. 즉, 제어부(210)는 주행 정보를 기반으로 주행하고, 촬영 영상을 기반으로 장애물의 유무에 따라 장애물을 회피하도록 구동부(212)를 제어할 수 있다. 이에, 본 발명의 일 실시예에 따른 추종 로봇(200) 시스템은 사용자를 추종하는 것뿐만 아니라 주행 정보 및 촬영 영상을 기반으로 주행할 수 있다. In addition, the
구동부(212)는 추종 로봇(200)이 사용자를 추종하도록 할 수 있으며, 주행하도록 할 수 있다. 구동부(212)는 직선운동 및 회전운동이 모두 구현되도록 바퀴, 모터, 샤프트, 기어 등 다양한 요소들로 이루어질 수 있다. 구동부(212)는 제어부(210)로부터 입력되는 구동신호에 따라 작동되어 추종 로봇(200)이 사용자의 뒤를 따라 움직일 수 있도록 할 수 있다. 또한, 구동부(212)는 제어부(210)로부터 입력되는 구동신호에 따라 작동되어 추종 로봇(200)이 저장부(214)에 저장된 주행 정보에 따라 주행하도록 할 수 있다. The driving
저장부(214)는 사용자 단말(100) 정보를 저장할 수 있다. 저장된 사용자 단말(100) 정보를 이용하여 등록된 사용자 단말(100)을 인증할 수 있다. 저장부(214)는 촬영부(204)로부터 촬영된 영상을 저장할 수 있다. 저장부(214)는 사용자를 추종하는 궤적 추종 기법으로부터 주행 정보를 저장할 수 있다.The
도 4는 본 발명의 일 실시예에 따른 추종 로봇(200) 시스템의 추종 로봇(200) 제어 방법을 설명하기 위한 흐름도이다. 도 3에 도시된 방법은 예를 들어, 전술한 추종 로봇(200) 시스템에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.4 is a flowchart illustrating a method for controlling a
추종 로봇(200)은 사용자 단말(100)의 GPS 정보를 기초로 사용자의 초기 위치 정보를 추출하여 제1 목표지점으로 설정한다(S301).The tracking
그 다음, 추종 로봇(200)은 추종 로봇(200)의 제1 위치 정보를 산출한다(S302). 구체적으로, 추종 로봇(200)의 GPS, 주행계, 및 디지털 컴퍼스의 정보를 칼만필터로 융합하여 로봇의 위치 정보를 산출할 수 있다. 그 후, 추종 로봇(200)은 제1 목표지점과 제1 위치 정보를 비교하고(S303), 추종 로봇(200)이 제1 목표지점으로 도달하였는지 판단한다(S304). Next, the following
그 다음, 추종 로봇(200)이 제1 목표 지점에 도달하지 못한 경우, 추종 로봇(200)은 제1 목표지점에 도달할 때까지 제1 목표지점으로 주행한다(S305). 추종 로봇(200)이 제1 목표지점에 도달한 경우, 추종 로봇(200)은 사용자의 이동 궤적으로부터 사용자의 다음 위치 정보를 추출하여 제2 목표지점으로 설정한다(S306).Then, when the following
그 다음, 추종 로봇(200)은 제2 목표지점으로 이동하기 위하여 추종 로봇(200)의 방향 벡터를 산출한다(S307). 그 후, 추종 로봇(200)은 산출된 방향벡터를 따라 추종 로봇(200)의 방향을 전환하여 사용자의 이동 궤적을 따라 추종한다(S308).Next, the following
마지막으로, 추종 로봇(200)은 사용자의 이동 궤적을 따라 추종하면서, 최종 목표 지점에 도착하였는지 판단한다(S309). 추종 로봇(200)은 최종 목표 지점에 도달하도록 S306 내지 S308 의 과정을 반복 수행한다. Finally, the following
이에, 본 발명에 따른 추종 로봇(200) 시스템은 사용자 단말(100)의 GPS 정보를 기반으로 궤적 추종 기법을 적용하여 사용자를 추종함으로써, 주변 환경과 장애물의 영향을 받지 않아 추종 정밀도를 향상할 수 있다.Accordingly, the tracking
도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.5 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments. In the illustrated embodiment, each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those described below.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 사용자 단말(100)일 수 있다. 또한, 컴퓨팅 장치(12)는 추종 로봇(200)일 수 있다.The illustrated
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.The
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.While the exemplary embodiments of the present invention have been described in detail above, those skilled in the art will appreciate that various modifications can be made to the above-described embodiments without departing from the scope of the present invention. . Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the claims below and equivalents thereof.
100 : 사용자 단말
200 : 추종 로봇
202 : 통신부
204 : 촬영부
206 : 추종부
208 : 제어부
210 : 구동부
212 : 저장부
221 : 제1 전처리 모듈
223 : 제1 딥러닝 모듈
231 : 제2 전처리 모듈
233 : 제2 딥러닝 모듈
235 : 제3 딥러닝 모듈100: user terminal
200: following robot
202: communication unit
204: the photographing unit
206: follower
208: control unit
210: driving part
212: storage unit
221: first pretreatment module
223: first deep learning module
231: second pretreatment module
233: second deep learning module
235: third deep learning module
Claims (16)
상기 사용자 단말로부터 GPS 정보를 수신하고, 상기 GPS 정보를 기초로 사용자의 위치 정보를 추출하여 상기 사용자를 추종하는 추종 로봇을 포함하고,
상기 추종 로봇은,
상기 추종 로봇의 위치 정보를 산출하고, 상기 사용자의 위치 정보와 상기 추종 로봇의 위치 정보를 비교하여 상기 추종 로봇이 상기 사용자로부터 기 설정된 거리를 유지하도록 상기 추종 로봇을 제어하는 제어부를 포함하며,
상기 제어부는,
상기 사용자의 위치 정보를 제1 목표지점으로 설정하고, 상기 제1 목표지점과 상기 추종 로봇의 위치 정보를 비교하여 상기 제1 목표지점을 도달하도록 상기 추종 로봇을 제어하고,
상기 제1 목표지점으로부터 상기 사용자의 다음 위치 정보를 추출하여 제2 목표지점으로 설정하고, 상기 제1 목표지점과 상기 제2 목표지점을 바탕으로 상기 추종 로봇의 방향 벡터를 산출하여 상기 제2 목표지점으로 도달하도록 상기 추종 로봇을 제어하며,
상기 추종 로봇은,
상기 추종 로봇의 주변을 촬영하도록 상기 추종 로봇에 마련되는 촬영부;
상기 촬영부로부터 촬영된 영상에서 주변 이미지를 추출하는 제1 전처리 모듈, 및 상기 주변 이미지를 입력받아 상기 주변 이미지에서 장애물을 검출하는 제1 딥러닝 모듈을 포함하는 추종부; 및
상기 촬영부로부터 촬영된 영상에서 작물 이미지를 추출하는 제2 전처리 모듈, 상기 작물 이미지를 입력받아 상기 작물 이미지에서 병충해 의심 부분을 검출하는 제2 딥러닝모듈, 및 상기 작물 이미지를 입력받아 상기 작물 이미지에서 수확물의 성장 정도를 검출하는 제3 딥러닝모듈을 포함하는 작물 관리부를 더 포함하며,
상기 작물 관리부는, 상기 병충해 의심 부분 또는 상기 수확물의 성장 정도 중 적어도 하나를 상기 사용자 단말로 제공하며,
상기 제어부는,
상기 사용자를 추종하는 궤적 추종 기법으로부터 저장된 주행정보를 기반으로 상기 추종 로봇을 제어하되, 상기 추종부로부터 장애물이 검출되는 경우, 상기 장애물을 회피하여 상기 사용자를 추종하도록 상기 추종 로봇을 제어하는, 추종 로봇 시스템.
A user terminal including a GPS module for obtaining GPS information; And
Receiving a GPS information from the user terminal, extracting location information of the user based on the GPS information, and including a following robot for following the user,
The following robot,
Calculating a position information of the following robot, comparing the position information of the user with the position information of the following robot, and controlling the following robot to control the following robot to maintain a preset distance from the user,
The control unit,
Setting the location information of the user as a first target point, controlling the following robot to reach the first target point by comparing the first target point with the position information of the following robot,
The next location information of the user is extracted from the first target point and is set as a second target point, and the direction vector of the following robot is calculated based on the first target point and the second target point and the second target point is obtained. Control the following robot to reach the point,
The following robot,
A photographing unit provided in the following robot to photograph the surroundings of the following robot;
A follower including a first preprocessing module for extracting a surrounding image from the image photographed by the photographing unit, and a first deep learning module that receives the surrounding image and detects an obstacle in the surrounding image; And
A second preprocessing module which extracts a crop image from the image photographed by the photographing unit, a second deep learning module that receives the crop image and detects a suspected pest from the crop image, and receives the crop image and the crop image Further comprising a crop management unit comprising a third deep learning module for detecting the growth of the harvest in,
The crop management unit provides the user terminal with at least one of the suspected pests or the degree of growth of the harvest,
The control unit,
The following robot is controlled based on driving information stored from a trajectory following technique for following the user, and when the obstacle is detected from the following unit, the following robot is controlled to avoid the obstacle and follow the user. Robotic system.
상기 제1 딥러닝모듈은,
상기 주변 이미지가 입력되는 경우, 입력된 주변 이미지에서 장애물을 검출하여 출력하도록 학습된 합성곱 신경망(CNN : Convolution Neural Network)을 이용하는, 추종 로봇 시스템.
The method according to claim 1,
The first deep learning module,
And a convolutional neural network (CNN) trained to detect and output obstacles in the input peripheral image when the surrounding image is input.
상기 제 2 딥러닝모듈은,
상기 작물 이미지가 입력되는 경우, 입력된 작물 이미지에서 병충해 의심 부분을 검출하여 출력하도록 학습된 합성곱 신경망(CNN : Convolution Neural Network)을 이용하는, 추종 로봇 시스템.
The method according to claim 1,
The second deep learning module,
When the crop image is input, a tracking robot system using a convolutional neural network (CNN) trained to detect and output a suspected pest part in the input crop image.
상기 제3 딥러닝모듈은,
상기 작물 이미지가 입력되는 경우, 입력된 작물 이미지에서 수확물의 성장 정도를 검출하여 출력하도록 학습된 합성곱 신경망(CNN : Convolution Neural Network)을 이용하는, 추종 로봇 시스템.
The method according to claim 1,
The third deep learning module,
When the crop image is input, a tracking robot system using a convolutional neural network (CNN) trained to detect and output the growth of the harvest from the input crop image.
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
사용자 단말로부터 GPS 정보를 수신하는 통신부; 및
상기 GPS 정보를 기초로 사용자의 위치 정보를 추출하고 추종 로봇의 위치 정보를 산출하며, 상기 사용자의 위치 정보와 상기 추종 로봇의 위치 정보를 비교하여 상기 추종 로봇이 상기 사용자로부터 기 설정된 거리를 유지하도록 상기 추종 로봇을 제어하는 제어부를 포함하며,
상기 제어부는,
상기 사용자의 위치 정보를 제1 목표지점으로 설정하고, 상기 제1 목표지점과 상기 추종 로봇의 위치 정보를 비교하여 상기 제1 목표지점을 도달하도록 상기 추종 로봇을 제어하고,
상기 제1 목표지점으로부터 상기 사용자의 다음 위치 정보를 추출하여 제2 목표지점으로 설정하고, 상기 제1 목표지점과 상기 제2 목표지점을 바탕으로 상기 추종 로봇의 방향 벡터를 산출하여 상기 제2 목표지점으로 도달하도록 상기 추종 로봇을 제어하며,
상기 컴퓨팅 장치는,
상기 추종 로봇의 주변을 촬영하도록 상기 추종 로봇에 마련되는 촬영부;
상기 촬영부로부터 촬영된 영상에서 주변 이미지를 추출하는 제1 전처리 모듈, 및 상기 주변 이미지를 입력받아 상기 주변 이미지에서 장애물을 검출하는 제1 딥러닝 모듈을 포함하는 추종부; 및
상기 촬영부로부터 촬영된 영상에서 작물 이미지를 추출하는 제2 전처리 모듈, 상기 작물 이미지를 입력받아 상기 작물 이미지에서 병충해 의심 부분을 검출하는 제2 딥러닝모듈, 및 상기 작물 이미지를 입력받아 상기 작물 이미지에서 수확물의 성장 정도를 검출하는 제3 딥러닝모듈을 포함하는 작물 관리부를 더 포함하며,
상기 작물 관리부는, 상기 병충해 의심 부분 또는 상기 수확물의 성장 정도 중 적어도 하나를 상기 사용자 단말로 제공하며,
상기 제어부는,
상기 사용자를 추종하는 궤적 추종 기법으로부터 저장된 주행정보를 기반으로 상기 추종 로봇을 제어하되, 상기 추종부로부터 장애물이 검출되는 경우, 상기 장애물을 회피하여 상기 사용자를 추종하도록 상기 추종 로봇을 제어하는, 컴퓨팅 장치.
One or more processors, and
A computing device having a memory for storing one or more programs executed by the one or more processors, the computing device comprising:
Communication unit for receiving GPS information from the user terminal; And
Extract the location information of the user based on the GPS information, calculate the location information of the following robot, and compare the location information of the user with the location information of the following robot to maintain the preset distance from the user. It includes a control unit for controlling the following robot,
The control unit,
Setting the location information of the user as a first target point, controlling the following robot to reach the first target point by comparing the first target point with the position information of the following robot,
The next location information of the user is extracted from the first target point and is set as a second target point, and the direction vector of the following robot is calculated based on the first target point and the second target point and the second target point is obtained. Control the following robot to reach the point,
The computing device,
A photographing unit provided in the following robot to photograph the surroundings of the following robot;
A follower including a first preprocessing module for extracting a surrounding image from the image photographed by the photographing unit, and a first deep learning module that receives the surrounding image and detects an obstacle in the surrounding image; And
A second preprocessing module which extracts a crop image from the image photographed by the photographing unit, a second deep learning module that receives the crop image and detects a suspected pest from the crop image, and receives the crop image and the crop image Further comprising a crop management unit including a third deep learning module for detecting the growth level of the harvest in,
The crop management unit provides the user terminal with at least one of the suspected pests or the degree of growth of the harvest,
The control unit,
Computing the following robot based on the driving information stored from the trajectory tracking method for following the user, if the obstacle is detected from the following unit, the following robot is controlled to avoid the obstacle to follow the user, computing Device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190066259A KR102063891B1 (en) | 2019-06-04 | 2019-06-04 | Following robot control method and system and computing device for executing the system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190066259A KR102063891B1 (en) | 2019-06-04 | 2019-06-04 | Following robot control method and system and computing device for executing the system |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102063891B1 true KR102063891B1 (en) | 2020-01-08 |
Family
ID=69154116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190066259A KR102063891B1 (en) | 2019-06-04 | 2019-06-04 | Following robot control method and system and computing device for executing the system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102063891B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113641095A (en) * | 2021-08-18 | 2021-11-12 | 苏州英特数智控制系统有限公司 | Active safety backup control method and system based on laser radar |
CN114200934A (en) * | 2021-12-06 | 2022-03-18 | 北京云迹科技股份有限公司 | Robot target following control method and device, electronic equipment and storage medium |
KR20220091390A (en) * | 2020-12-23 | 2022-06-30 | 시리우스 로보틱스 코., 엘티디. | Methods, equipment and storage medium to reduce the waiting time for human-computer interaction |
KR20220120918A (en) | 2021-02-24 | 2022-08-31 | 주식회사 하다(HADA Co.,Ltd) | Human worker-following transfer rovot |
CN117021089A (en) * | 2023-08-14 | 2023-11-10 | 北京小米机器人技术有限公司 | Robot control method, device, robot and storage medium |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100877983B1 (en) | 2002-03-11 | 2009-01-12 | 주식회사 엘지이아이 | Objcctive compoliancy apparatus and method of robot |
KR20150124305A (en) * | 2014-04-28 | 2015-11-05 | 이철희 | Agricultural robot |
KR20180106472A (en) * | 2017-03-20 | 2018-10-01 | 엘지전자 주식회사 | Moving robot |
-
2019
- 2019-06-04 KR KR1020190066259A patent/KR102063891B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100877983B1 (en) | 2002-03-11 | 2009-01-12 | 주식회사 엘지이아이 | Objcctive compoliancy apparatus and method of robot |
KR20150124305A (en) * | 2014-04-28 | 2015-11-05 | 이철희 | Agricultural robot |
KR20180106472A (en) * | 2017-03-20 | 2018-10-01 | 엘지전자 주식회사 | Moving robot |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220091390A (en) * | 2020-12-23 | 2022-06-30 | 시리우스 로보틱스 코., 엘티디. | Methods, equipment and storage medium to reduce the waiting time for human-computer interaction |
KR102460039B1 (en) | 2020-12-23 | 2022-10-28 | 시리우스 로보틱스 코., 엘티디. | Methods, equipment and storage medium to reduce the waiting time for human-computer interaction |
KR20220120918A (en) | 2021-02-24 | 2022-08-31 | 주식회사 하다(HADA Co.,Ltd) | Human worker-following transfer rovot |
CN113641095A (en) * | 2021-08-18 | 2021-11-12 | 苏州英特数智控制系统有限公司 | Active safety backup control method and system based on laser radar |
CN113641095B (en) * | 2021-08-18 | 2024-02-09 | 苏州英特数智控制系统有限公司 | Active safety machine leaning control method and system based on laser radar |
CN114200934A (en) * | 2021-12-06 | 2022-03-18 | 北京云迹科技股份有限公司 | Robot target following control method and device, electronic equipment and storage medium |
CN117021089A (en) * | 2023-08-14 | 2023-11-10 | 北京小米机器人技术有限公司 | Robot control method, device, robot and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102063891B1 (en) | Following robot control method and system and computing device for executing the system | |
JP6705465B2 (en) | Observability grid-based autonomous environment search | |
US10322507B2 (en) | Apparatus and methods for control of robot actions based on corrective user inputs | |
EP3367199B1 (en) | Moving robot and method of controlling the same | |
US20210149411A1 (en) | Method, apparatus and storage medium for detecting small obstacles | |
US20200064827A1 (en) | Self-driving mobile robots using human-robot interactions | |
US11249492B2 (en) | Methods and apparatus to facilitate autonomous navigation of robotic devices | |
CN111630460A (en) | Path planning for autonomous mobile devices | |
US9684305B2 (en) | System and method for mobile robot teleoperation | |
US8077919B2 (en) | Toro: tracking and observing robot | |
US20200233061A1 (en) | Method and system for creating an inverse sensor model and method for detecting obstacles | |
CN115655262B (en) | Deep learning perception-based multi-level semantic map construction method and device | |
KR102303126B1 (en) | Method and system for optimizing reinforcement learning based navigation to human preference | |
US11112780B2 (en) | Collaborative determination of a load footprint of a robotic vehicle | |
US20200401151A1 (en) | Device motion control | |
US20210343043A1 (en) | Adversarial scene adaptation for camera pose regression | |
US20180311819A1 (en) | Data Association Aware Belief Space Planning And Perception | |
KR102310606B1 (en) | Method for correcting difference of multiple sensors, and computer program recorded on record-medium for executing method therefor | |
US20220350342A1 (en) | Moving target following method, robot and computer-readable storage medium | |
KR102464906B1 (en) | Electronic device, server and method thereof for recommending fashion item | |
US20230350418A1 (en) | Position determination by means of neural networks | |
US20230140830A2 (en) | Implement recognition lighting | |
US11341596B2 (en) | Robot and method for correcting position of same | |
US20210109541A1 (en) | Method of estimating position in local area of large space and robot and cloud server implementing thereof | |
Beraldo et al. | Shared-autonomy navigation for mobile robots driven by a door detection module |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |