KR102630545B1 - Robot and robot control method carrying out management information according to the condition of the grass - Google Patents

Robot and robot control method carrying out management information according to the condition of the grass Download PDF

Info

Publication number
KR102630545B1
KR102630545B1 KR1020230102963A KR20230102963A KR102630545B1 KR 102630545 B1 KR102630545 B1 KR 102630545B1 KR 1020230102963 A KR1020230102963 A KR 1020230102963A KR 20230102963 A KR20230102963 A KR 20230102963A KR 102630545 B1 KR102630545 B1 KR 102630545B1
Authority
KR
South Korea
Prior art keywords
robot
information
area
detection
detection target
Prior art date
Application number
KR1020230102963A
Other languages
Korean (ko)
Inventor
하순태
Original Assignee
하순태
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하순태 filed Critical 하순태
Priority to KR1020230102963A priority Critical patent/KR102630545B1/en
Application granted granted Critical
Publication of KR102630545B1 publication Critical patent/KR102630545B1/en

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0089Regulating or controlling systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/022Optical sensing devices using lasers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Environmental Sciences (AREA)
  • Multimedia (AREA)
  • Zoology (AREA)
  • Pest Control & Pesticides (AREA)
  • Human Computer Interaction (AREA)
  • Insects & Arthropods (AREA)
  • Optics & Photonics (AREA)
  • Wood Science & Technology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Catching Or Destruction (AREA)

Abstract

복수의 센서로부터 획득되는 복수의 잔디 영역 데이터에 기초하여 병충해 피해 영역으로 예측되는 복수의 탐지 대상 영역을 획득하는 단계; 상기 복수의 탐지 대상 영역에 대한 이미지 분석을 수행함에 따라 각 영역의 크기 정보, 위치 정보 및 영역 내 유사 모양의 반복 유무 정보를 포함하는 대상 영역 특성 정보를 획득하는 단계; 상기 대상 영역 특성 정보에 기초하여 로봇의 예상 경로를 나타내는 탐지 경로를 결정하는 단계; 상기 로봇이 상기 탐지 경로로 이동함에 따라 획득되는 상기 복수의 탐지 대상 영역에 대한 병충해 예측 정보를 획득하는 단계; 및 상기 병충해 예측 정보에 기초하여 상기 로봇이 농약을 분사하도록 상기 로봇을 제어하는 단계;를 포함하는, 로봇 제어 방법 및 로봇이 개시된다. Obtaining a plurality of detection target areas predicted to be pest-damaged areas based on a plurality of lawn area data obtained from a plurality of sensors; By performing image analysis on the plurality of detection target areas, obtaining target area characteristic information including size information of each area, location information, and information on whether or not a similar shape is repeated within the area; determining a detection path representing the expected path of the robot based on the target area characteristic information; Obtaining pest prediction information for the plurality of detection target areas acquired as the robot moves along the detection path; and controlling the robot so that the robot sprays pesticide based on the pest prediction information. A robot control method and a robot are disclosed.

Description

잔디 상태에 따른 관리를 수행하는 로봇 및 로봇 제어 방법{Robot and robot control method carrying out management information according to the condition of the grass}Robot and robot control method carrying out management information according to the condition of the grass}

본 개시의 기술 분야는 잔디 상태에 따른 관리를 수행하는 로봇 및 로봇 제어 방법에 관한 것으로, 더욱 상세하게는, 잔디 상태를 모니터링함에 따라 로봇을 제어함으로써 잔디 관리, 병충해 예측을 용이하게 할 수 있도록 하는 기술 분야와 관련된다. The technical field of the present disclosure relates to a robot and robot control method that performs management according to the state of the lawn. More specifically, it relates to a robot that controls the robot according to the monitoring of the state of the lawn to facilitate lawn management and pest prediction. It is related to the technical field.

환경과 자연을 이용한 여가 활동에 대한 관심이 증가하면서, 골프 등 잔디에서의 여가 활동이 증가하고 있다. 골프, 축구 등과 같이 잔디를 이용한 스포츠의 경우 잔디 상태에 따라 스포츠의 질이 달라질 수 있어 이에 대한 확인이 필수적일 수 있다. 종래에는 잔디 이상이 예측되는 영역을 관리자가 직접 방문하여 확인함에 따라 농약을 분사하거나 관리하는 수동적인 시스템이 주를 이루고 있다. 따라서, 해당 관리자가 부재할 경우 잔디를 관리하는데 어려움이 발생한다는 한계점이 존재하며, 관리자가 넓은 잔디 영역을 확인하고 관리하는데 소요되는 시간이 클 수 있고, 해당 영역을 직접 확인하러 가고, 확인하는데 있어 관리자의 컨디션 또는 상황에 따라 정확도가 떨어질 수 있다는 문제점이 있다. 또한, 이러한 수동적 관리 측면 영역에 대한 개선의 방향을 찾지 못하고 있는 실정이다. 따라서, 관리자의 편의성이 향상되면서 자동적으로 잔디 상태를 확인하고 이에 따른 관리가 가능할 수 있도록 하는 로봇 및 로봇을 제어할 수 있는 방법 및 대책이 필요한 실정이다.As interest in leisure activities using the environment and nature increases, leisure activities on grass, such as golf, are increasing. In the case of sports using grass, such as golf and soccer, the quality of the sport may vary depending on the condition of the grass, so confirmation of this may be essential. Conventionally, the main system is a passive system in which pesticides are sprayed or managed as managers personally visit and check areas where turf abnormalities are predicted. Therefore, there is a limitation that it is difficult to manage the lawn if the manager is absent, and the time it takes for the manager to check and manage a large lawn area can be large, and it is difficult to go to check the area directly and check it. There is a problem that accuracy may decrease depending on the administrator's condition or situation. In addition, it is not possible to find a direction for improvement in this passive management aspect area. Therefore, as the convenience of managers improves, there is a need for robots that can automatically check the state of the lawn and manage them accordingly, and methods and measures to control the robots.

한국공개특허 제 10-2020-0071884호(2020.06.22) 노지 작물의 병해 예측 서비스 장치 및 방법Korean Patent Publication No. 10-2020-0071884 (2020.06.22) Disease prediction service device and method for field crops

본 개시에서 해결하고자 하는 과제는 로봇을 제어하는 방법 및 잔디 상태에 따른 관리를 수행하는 로봇에 대해서 개시하고 있으며, 보다 효율적으로 잔디를 관리하는 방법에 대한 정보를 제공하기 위한 것이다.The problem to be solved in this disclosure is to disclose a method of controlling a robot and a robot that performs management according to the state of the lawn, and is intended to provide information on how to manage the lawn more efficiently.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로써, 본 개시의 제 1 측면에 따른 잔디 상태에 따른 관리를 수행하는 로봇 제어 방법은 복수의 센서로부터 획득되는 복수의 잔디 영역 데이터에 기초하여 병충해 피해 영역으로 예측되는 복수의 탐지 대상 영역을 획득하는 단계; 상기 복수의 탐지 대상 영역에 대한 이미지 분석을 수행함에 따라 각 영역의 크기 정보, 위치 정보 및 영역 내 유사 모양의 반복 유무 정보를 포함하는 대상 영역 특성 정보를 획득하는 단계; 상기 대상 영역 특성 정보에 기초하여 로봇의 예상 경로를 나타내는 탐지 경로를 결정하는 단계; 상기 로봇이 상기 탐지 경로로 이동함에 따라 획득되는 상기 복수의 탐지 대상 영역에 대한 병충해 예측 정보를 획득하는 단계; 및 상기 병충해 예측 정보에 기초하여 상기 로봇이 농약을 분사하도록 상기 로봇을 제어하는 단계;를 포함할 수 있다.As a technical means for achieving the above-described technical problem, the robot control method for performing management according to the lawn condition according to the first aspect of the present disclosure is to control the robot control method to control the pest-damaged area based on a plurality of lawn area data obtained from a plurality of sensors. Obtaining a plurality of predicted detection target areas; By performing image analysis on the plurality of detection target areas, obtaining target area characteristic information including size information of each area, location information, and information on whether or not a similar shape is repeated within the area; determining a detection path representing the expected path of the robot based on the target area characteristic information; Obtaining pest prediction information for the plurality of detection target areas acquired as the robot moves along the detection path; and controlling the robot to spray pesticide based on the pest prediction information.

또한, 상기 병충해 예측 정보는 갈색잎마름병, 여름잎마름병, 라이족토니아마름병 및 동전마름병 중 적어도 하나를 포함할 수 있다.Additionally, the pest prediction information may include at least one of brown leaf blight, summer leaf blight, Rhizoctonia blight, and coin blight.

또한, 상기 탐지 대상 영역을 획득하는 단계는 카메라 센서 및 라이다 센서를 이용하여 상기 복수의 잔디 영역으로부터 복수의 경계선을 포함하는 캘리브레이션 이미지를 획득하는 단계; 및 상기 복수의 경계선에 기초하여 상기 복수의 탐지 대상 영역의 위치 정보를 획득하는 단계;를 포함할 수 있다.In addition, the step of acquiring the detection target area includes obtaining a calibration image including a plurality of boundary lines from the plurality of grass areas using a camera sensor and a LiDAR sensor; and acquiring location information of the plurality of detection target areas based on the plurality of boundary lines.

또한, 상기 탐지 경로를 결정하는 단계는 상기 복수의 탐지 대상 영역에 대한 비정형화된 도형 정보를 획득하는 단계; 및 비정형화된 도형의 중심을 나타내는 중앙값 및 상기 로봇의 거리에 기초하여 상기 탐지 경로를 결정하는 단계;를 포함할 수 있다.Additionally, determining the detection path may include obtaining unstructured shape information about the plurality of detection target areas; and determining the detection path based on the median value indicating the center of the irregular shape and the distance of the robot.

또한, 상기 탐지 경로를 결정하는 단계는 상기 위치 정보, 상기 크기 정보 및 상기 영역 내 유사 모양의 반복 유무 정보의 순서로 부여되는 가중치에 기초하여 상기 복수의 탐지 대상 영역에 대한 우선 순위를 결정하는 단계; 및 상기 우선 순위에 따른 순서에 따라 상기 탐지 경로를 결정하는 단계;를 포함할 수 있다. In addition, the step of determining the detection path includes determining priorities for the plurality of detection target areas based on weights given in the order of the location information, the size information, and information on whether or not a similar shape is repeated in the area. ; and determining the detection path according to the priority order.

또한, 상기 병충해 예측 정보를 획득하는 단계는 상기 탐지 경로의 주변 영역을 모니터링함에 따라 동전마름병 예측 영역을 획득하는 단계; 및 상기 로봇이 상기 탐지 경로를 이동함에 따라 센서로부터 획득되는 하나 이상의 곤충에 대한 종류 및 곤충 획득 횟수를 카운팅하는 단계;를 포함하고, 상기 동전마름병 예측 영역에 기초하여 상기 복수의 탐지 대상 영역에 대한 우선 순위를 갱신하는 단계; 및 상기 곤충에 대한 종류 및 카운팅된 상기 곤충 획득 횟수에 기초하여 상기 로봇이 농약을 분사하도록 상기 로봇을 제어하는 단계;를 더 포함할 수 있다.In addition, the step of obtaining the pest prediction information includes obtaining a coin blight prediction area by monitoring a surrounding area of the detection path; And counting the type and number of insect acquisitions for one or more insects obtained from a sensor as the robot moves the detection path, based on the coin blight prediction area for the plurality of detection target areas. updating priorities; and controlling the robot to spray pesticide based on the type of insect and the counted number of times the insect has been acquired.

본 개시의 제 2 측면에 따른 잔디 상태에 따른 관리를 수행하는 로봇은 복수의 센서로부터 복수의 잔디 영역 데이터를 획득하는 수신부; 및 상기 복수의 잔디 영역 데이터에 기초하여 병충해 피해 영역으로 예측되는 복수의 탐지 대상 영역을 획득하고, 상기 복수의 탐지 대상 영역에 대한 이미지 분석을 수행함에 따라 각 영역의 크기 정보, 위치 정보 및 영역 내 유사 모양의 반복 유무 정보를 포함하는 대상 영역 특성 정보를 획득하고, 상기 대상 영역 특성 정보에 기초하여 로봇의 예상 경로를 나타내는 탐지 경로를 결정하고, 상기 로봇이 상기 탐지 경로로 이동함에 따라 획득되는 상기 복수의 탐지 대상 영역에 대한 병충해 예측 정보를 획득하고, 상기 병충해 예측 정보에 기초하여 상기 로봇이 농약을 분사하도록 상기 로봇을 제어하는 프로세서;를 포함할 수 있다. A robot that performs management according to lawn conditions according to a second aspect of the present disclosure includes a receiver that acquires a plurality of lawn area data from a plurality of sensors; And obtaining a plurality of detection target areas predicted to be pest-damaged areas based on the plurality of lawn area data, and performing image analysis on the plurality of detection target areas, such as size information, location information, and area information of each area. Obtain target area characteristic information including information on whether or not a similar shape is repeated, determine a detection path indicating the expected path of the robot based on the target area characteristic information, and determine the detection path that is obtained as the robot moves along the detection path. It may include a processor that acquires pest prediction information for a plurality of detection target areas and controls the robot to spray pesticide based on the pest prediction information.

본 개시의 일 실시 예에 따르면, 잔디 관리 로봇이 복수의 센서로부터 획득되는 데이터에 따라 자동적으로 잔디의 상태를 확인하고 이에 대한 관리가 가능하다는 점에서 관리자의 편의성이 향상될 수 있다.According to an embodiment of the present disclosure, the convenience of the manager can be improved in that the lawn care robot can automatically check the state of the lawn and manage it according to data obtained from a plurality of sensors.

또한, 로봇을 통한 잔디 자동 관리 시스템을 제공받기 때문에 소요되는 시간이 감소될 수 있다는 점에서 효율성이 향상될 수 있다.Additionally, efficiency can be improved in that the time required can be reduced because an automatic lawn management system is provided through a robot.

또한, 자율주행과 같이 로봇이 탐지 경로를 이동함에 따라 원거리, 근거리를 구분하도록 하여 잔디 상태를 확인한다는 점에서 잔디 관리에 대한 정확도 및 효율성이 향상될 수 있다. In addition, like autonomous driving, the accuracy and efficiency of lawn management can be improved in that the robot checks the state of the grass by distinguishing between long distance and short distance as it moves along the detection path.

본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present disclosure are not limited to the effects mentioned above, and other effects not mentioned may be clearly understood by those skilled in the art from the description below.

도 1은 일 실시 예에 따른 로봇의 구성을 개략적으로 도시한 블록도이다.
도 2는 일 실시 예에 따른 로봇 제어 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시 예에 따른 로봇이 복수의 탐지 대상 영역을 획득하는 일 예를 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 로봇이 탐지 경로에 따라 이동하는 일 예를 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 로봇이 탐지 경로에 따라 근거리에서 병충해 예측 정보를 획득하는 일 예를 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 로봇이 동작하는 전체적인 흐름을 개략적으로 도시한 흐름도이다.
Figure 1 is a block diagram schematically showing the configuration of a robot according to an embodiment.
Figure 2 is a flowchart for explaining a robot control method according to an embodiment.
FIG. 3 is a diagram illustrating an example in which a robot acquires a plurality of detection target areas according to an embodiment.
Figure 4 is a diagram for explaining an example of a robot moving along a detection path according to an embodiment.
FIG. 5 is a diagram illustrating an example in which a robot acquires pest prediction information at a short distance along a detection path according to an embodiment.
Figure 6 is a flowchart schematically showing the overall flow of operation of a robot according to an embodiment.

본 개시에서 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시 예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 개시가 완전 하도록 하고, 해당 기술 분야에 속하는 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이다. Advantages and features in the present disclosure, and methods for achieving them, will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present disclosure is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure is complete and to those skilled in the art. It is provided to provide complete information.

본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terms used herein are for describing embodiments and are not intended to limit the disclosure. As used herein, singular forms also include plural forms, unless specifically stated otherwise in the context. As used in the specification, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other elements in addition to the mentioned elements. Like reference numerals refer to like elements throughout the specification, and “and/or” includes each and every combination of one or more of the referenced elements. Although “first”, “second”, etc. are used to describe various components, these components are of course not limited by these terms. These terms are merely used to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may also be the second component within the technical spirit of the present disclosure.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 해당 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art. Additionally, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless clearly specifically defined.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작 시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.Spatially relative terms such as “below”, “beneath”, “lower”, “above”, “upper”, etc. are used as a single term as shown in the drawing. It can be used to easily describe the correlation between a component and other components. Spatially relative terms should be understood as terms that include different directions of components during use or operation in addition to the directions shown in the drawings. For example, if a component shown in a drawing is flipped over, a component described as “below” or “beneath” another component will be placed “above” the other component. You can. Accordingly, the illustrative term “down” may include both downward and upward directions. Components can also be oriented in other directions, so spatially relative terms can be interpreted according to orientation.

이하에서는 도면을 참조하여 다양한 실시 예들을 상세히 설명한다.Hereinafter, various embodiments will be described in detail with reference to the drawings.

도 1은 일 실시 예에 따른 로봇(100)의 구성을 개략적으로 도시한 블록도이다.Figure 1 is a block diagram schematically showing the configuration of a robot 100 according to an embodiment.

도 1을 참조하면, 로봇(100)은 수신부(110) 및 프로세서(120)를 포함할 수 있다.Referring to FIG. 1, the robot 100 may include a receiver 110 and a processor 120.

일 실시 예에 따른 수신부(110)는 하나 이상의 센서로부터 복수의 잔디 영역 데이터를 획득할 수 있다. The receiver 110 according to one embodiment may obtain a plurality of grass area data from one or more sensors.

일 실시 예에 따른 프로세서(120)는 복수의 잔디 영역 데이터에 기초하여 병충해 피해 영역으로 예측되는 복수의 탐지 대상 영역을 획득할 수 있다. 또한, 프로세서(120)는 복수의 탐지 대상 영역에 대한 이미지 분석을 수행함에 따라 각 영역의 크기 정보, 위치 정보 및 영역 내 유사 모양의 반복 유무 정보를 포함하는 대상 영역 특성 정보를 획득할 수 있다. 또한, 프로세서(120)는 대상 영역 특성 정보에 기초하여 로봇의 예상 경로를 나타내는 탐지 경로를 결정할 수 있다. 또한, 프로세서(120)는 로봇이 탐지 경로로 이동함에 따라 획득되는 복수의 탐지 대상 영역에 대한 병충해 예측 정보를 획득할 수 있다. 또한, 프로세서(120)는 병충해 예측 정보에 기초하여 로봇이 농약을 분사하도록 로봇(100)을 제어할 수 있다. The processor 120 according to an embodiment may obtain a plurality of detection target areas predicted to be pest-damaged areas based on a plurality of lawn area data. Additionally, as the processor 120 performs image analysis on a plurality of detection target areas, it may obtain target area characteristic information including size information of each area, location information, and information on whether or not a similar shape is repeated within the area. Additionally, the processor 120 may determine a detection path representing the expected path of the robot based on target area characteristic information. Additionally, the processor 120 may obtain pest prediction information for a plurality of detection target areas acquired as the robot moves along the detection path. Additionally, the processor 120 may control the robot 100 so that the robot sprays pesticide based on pest prediction information.

또한, 잔디 상태에 따른 관리를 수행하는 로봇(100)은 수신부(110)에서 복수의 잔디 영역을 획득하고, 프로세서(120)에서 탐지 대상 영역, 탐지 대상 특성 정보, 탐지 경로를 결정하여 병충해 예측 정보를 획득하고 로봇이 농약을 분사하도록 제어하게 되는 과정에서 인터넷망 또는 이동통신망 등과 같은 종래의 다양한 네트워크 조합에 의해 결합될 수 있으며, 이에 대해서는 특별한 제한이 없음을 유의해야 한다. In addition, the robot 100, which performs management according to the grass condition, acquires a plurality of lawn areas from the receiver 110, determines the detection target area, detection target characteristic information, and detection path from the processor 120 to provide pest prediction information. It should be noted that in the process of acquiring and controlling the robot to spray pesticides, it can be combined by various conventional network combinations such as the Internet network or mobile communication network, and there are no special restrictions on this.

더하여, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소가 잔디 상태에 따른 관리를 수행하는 로봇(100)에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들면, 잔디 상태에 따른 관리를 수행하는 로봇(100)은 각 단계를 수행하기 위한 구동 제어 모듈, 경로 탐지 모듈, 데이터 처리 모듈 등을 포함할 수 있고, 복수의 센서로부터 센싱 데이터를 획득하는 센싱부를 포함할 수 있다. 또한, 로봇(100)은 제어부를 통해 제어될 수 있으며, 복수의 정보가 저장되는 메모리(미도시) 또는 잔디 상태 정보를 송신하는 송신부(미도시)를 더 포함할 수 있다. 또는 다른 실시 예에 따를 경우, 도 1에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.In addition, those skilled in the art can understand that other general-purpose components in addition to the components shown in FIG. 1 may be further included in the robot 100 that performs management according to the state of the lawn. For example, the robot 100 that performs management according to the grass condition may include a drive control module, a path detection module, a data processing module, etc. for performing each step, and may acquire sensing data from a plurality of sensors. It may include a sensing unit. Additionally, the robot 100 may be controlled through a control unit and may further include a memory (not shown) that stores a plurality of information or a transmitter (not shown) that transmits turf condition information. Alternatively, according to another embodiment, those skilled in the art may understand that some of the components shown in FIG. 1 may be omitted.

일 실시 예에 따른 잔디 상태에 따른 관리를 수행하는 로봇(100) 및 로봇 제어 방법은 사용자에 의해 이용될 수 있고, 휴대폰, 스마트폰, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 태블릿 PC 등과 같이 터치 스크린 패널이 구비된 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 연동될 수 있으며, 이 외에도 데스크탑 PC, 태블릿 PC, 랩탑 PC, 셋탑 박스를 포함하는 IPTV와 같이, 애플리케이션을 설치하고 실행할 수 있는 기반이 마련된 장치에 포함되거나 연동될 수 있다.The robot 100 and robot control method that performs management according to the lawn condition according to an embodiment can be used by a user and can be used by a mobile phone, smartphone, PDA (Personal Digital Assistant), PMP (Portable Multimedia Player), or tablet. It can be linked with all types of handheld wireless communication devices equipped with touch screen panels, such as PCs, and in addition, applications such as IPTV including desktop PCs, tablet PCs, laptop PCs, and set-top boxes. It can be included in or linked to a device with a ready base for installation and execution.

잔디 상태에 따른 관리를 수행하는 로봇(100)은 본 명세서에서 설명되는 기능을 실현시키기 위한 컴퓨터 프로그램을 통해 동작하는 컴퓨터 등의 단말기로 구현될 수 있다.The robot 100 that performs management according to the state of the lawn may be implemented as a terminal such as a computer that operates through a computer program to realize the functions described in this specification.

일 실시 예에 따른 잔디 상태에 따른 관리를 수행하는 로봇(100)은 잔디 관리 로봇을 제어하는 시스템(미도시) 및 관련 서버(미도시)를 포함할 수 있으나, 이에 제한되지 않는다. 일 실시 예에 따른 서버는 잔디 관리 로봇을 제어하는 애플리케이션을 지원할 수 있다.The robot 100 that performs management according to the state of the lawn according to one embodiment may include, but is not limited to, a system (not shown) that controls the lawn management robot and a related server (not shown). The server according to one embodiment may support an application that controls a lawn care robot.

이하에서는 일 실시 예에 따른 잔디 상태에 따른 관리를 수행하는 로봇(100)이 독립적으로 잔디를 관리하는 실시 예를 중심으로 서술하도록 하지만, 전술한 것처럼, 서버와의 연동을 통해 수행될 수도 있다. 즉, 일 실시 예에 따른 잔디 상태에 따른 관리를 수행하는 로봇(100)과 서버는 그 기능의 측면에서 통합 구현될 수 있고, 서버는 생략될 수도 있으며, 어느 하나의 실시 예에 제한되지 않음을 알 수 있다.Hereinafter, the description will focus on an embodiment in which the robot 100, which performs management according to the state of the lawn, manages the lawn independently. However, as described above, this may be performed through interworking with a server. That is, the robot 100 and the server that perform management according to the lawn condition according to one embodiment may be integrated in terms of their functions, and the server may be omitted, and is not limited to any one embodiment. Able to know.

일 실시 예에서, 로봇(100)과 로봇을 제어하는 서버는 연동될 수 있으며 잔디 관리를 수행하도록 로봇을 제어하는 시스템에 대한 구성은 서버에 의해 수행될 수 있으며 로봇(100)에서 자동으로 수행될 수도 있다. 예를 들면 로봇(100)은 서버로서 동작 할 수 있고 이하에서는 로봇(100)으로 통일하여 후술하도록 한다.In one embodiment, the robot 100 and the server that controls the robot may be linked, and configuration of the system that controls the robot to perform lawn care may be performed by the server and may be automatically performed by the robot 100. It may be possible. For example, the robot 100 can operate as a server, and hereinafter it will be unified as the robot 100 and described later.

도 2는 일 실시 예에 따른 로봇 제어 방법을 설명하기 위한 흐름도이다.Figure 2 is a flowchart for explaining a robot control method according to an embodiment.

단계 S210을 참조하면, 일 실시 예에 따른 로봇(100)은 하나 이상의 센서로부터 획득되는 복수의 잔디 영역에 기초하여 병충해 피해 영역으로 예측되는 복수의 탐지 대상 영역을 획득할 수 있다. 일 실시 예에서, 로봇(100)은 복수의 센서로부터 잔디에 대한 이미지, 로봇(100)의 위치, 온도, 습도 등 복수의 잔디 관련 정보를 획득할 수 있다. 또한, 이미지에는 색상 정보가 포함될 수 있다. 로봇(100)은 복수의 잔디 관련 정보를 획득함에 따라 병충해 피해 영역으로 예측되는 복수의 잔디 영역의 일부인 복수의 탐지 대상 영역을 획득할 수 있다. 예를 들면, 일 실시 예에 따른 로봇(100)은 복수의 센서 중 카메라 센서 및 라이다 센서를 이용하여 복수의 잔디 영역으로부터 복수의 경계선을 포함하는 캘리브레이션 이미지를 획득할 수 있다. 이미지 및 영상을 통해 대상 위치를 획득하는 카메라 센서 및 대상 위치에 대한 거리를 획득하는 라이다 센서를 통해 대상 영역을 예측할 수 있는 캘리브레이션 이미지를 획득할 수 있다. 로봇(100)은 AI 기반 이상 영역 탐지 학습 알고리즘에 기초하여 캘리브레이션 이미지에 포함되는 복수의 경계선을 비교분석함에 따라 복수의 잔디 영역 중 이상이 탐지되는 영역인 복수의 탐지 대상 영역의 위치 정보를 획득할 수 있다. 디바이스(100)는 3D 라이다 센서 등의 센서로부터 획득되는 대상 위치에 대한 지형 정보에 카메라로부터 획득되는 영상을 이용하여 색상 정보를 부여할 수 있다. 예를 들면, 디바이스(100)는 다중 센서를 포함할 수 있고, 카메라 센서 및 다중 센서로부터 획득되는 이미지에 포함되는 복수의 대상 위치에 대한 공간적인 위치를 파악하기 위한 캘리브레이션 프로세스를 수행할 수 있다. 각 센서로부터 획득되는 데이터들로부터 각 위치에 대한 특징점을 검출하고, 하나의 좌표계로 정합함에 따라 각 데이터 특징점들을 비교하여 동일한 거리상의 점들을 매칭함에 따라 복수의 대응쌍을 생성할 수 있다. 이에 따라 각 대응쌍이 이어지는 복수의 경계선이 획득될 수 있다. 따라서, 복수의 경계선에는 대응쌍에 따라 획득되는 서로 다른 색상의 선들이 포함될 수 있으며, 이에 따라, 복수의 경계선을 통해 이미지 내 동일 선상의 위치 정보를 획득할 수 있다. 따라서, 디바이스(100)는 캘리브레이션 프로세스를 통해 복수의 탐지 대상 영역의 위치를 예측할 수 있고, 각 대상 영역 위치까지의 거리 정보를 획득할 수 있다.Referring to step S210, the robot 100 according to one embodiment may acquire a plurality of detection target areas predicted to be pest-damaged areas based on a plurality of grass areas obtained from one or more sensors. In one embodiment, the robot 100 may obtain a plurality of lawn-related information, such as an image of the lawn, the location of the robot 100, temperature, and humidity, from a plurality of sensors. Additionally, images may include color information. As the robot 100 acquires a plurality of lawn-related information, it can acquire a plurality of detection target areas that are part of the plurality of grass areas predicted to be pest-damaged areas. For example, the robot 100 according to one embodiment may acquire a calibration image including a plurality of boundary lines from a plurality of grass areas using a camera sensor and a lidar sensor among a plurality of sensors. A calibration image that can predict the target area can be obtained through a camera sensor that acquires the target location through images and videos and a lidar sensor that acquires the distance to the target location. The robot 100 compares and analyzes a plurality of boundaries included in the calibration image based on an AI-based abnormal area detection learning algorithm to obtain location information of a plurality of detection target areas, which are areas where abnormalities are detected among a plurality of grass areas. You can. The device 100 may provide color information using an image obtained from a camera to topographical information about the target location obtained from a sensor such as a 3D LiDAR sensor. For example, the device 100 may include multiple sensors and may perform a calibration process to determine the spatial location of a plurality of target positions included in images acquired from a camera sensor and multiple sensors. By detecting feature points for each location from data acquired from each sensor and matching them to one coordinate system, multiple corresponding pairs can be created by comparing each data feature point and matching points at the same distance. Accordingly, a plurality of boundary lines connecting each corresponding pair can be obtained. Accordingly, the plurality of borderlines may include lines of different colors obtained according to corresponding pairs, and thus, position information on the same line in the image can be obtained through the plurality of borderlines. Accordingly, the device 100 can predict the locations of a plurality of detection target areas through a calibration process and obtain distance information to the location of each target area.

단계 S220을 참조하면, 일 실시 예에 따른 로봇(100)은 복수의 탐지 대상 영역에 대한 이미지 분석을 수행함에 따라 각 영역의 크기 정보, 위치 정보 및 영역 내 유사 모양의 반복 유무 정보를 포함하는 대상 영역 특성 정보를 획득할 수 있다. 일 실시 예에서, 이미지 분석은 상술한 바와 같이 AI 기반 이상 탐지 학습 알고리즘에 따라 수행될 수 있고, 로봇(100)은 복수의 탐지 영역에 대한 크기 정보, 위치 정보, 영역 내 유사 모양의 반복 유무를 결정할 수 있다. 일 실시 예에서, 크기 정보는 이상이 탐지되는 영역 바운더리 내 전체 영역의 크기를 의미할 수 있고, 위치 정보는 이상이 탐지되는 영역의 위치로, 로봇(100)과의 거리를 확인하기 위한 요소일 수 있다. 또한, 영역 내 유사 모양의 반복 유무는 영역 내에 이상이 탐지되는 잔디에 대한 형상을 나타내는 것으로, 모양이 반복적으로 나타나는지에 대한 확인을 하기 위한 요소일 수 있다. 따라서, 디바이스(100)는 복수의 탐지 대상 영역 각 영역에 대한 크기 정보, 위치 정보 및 유사 모양의 반복 유무 정보를 포함하는 대상 영역 특성 정보를 획득할 수 있다.Referring to step S220, as the robot 100 according to one embodiment performs image analysis on a plurality of detection target areas, the target includes size information of each area, location information, and information on whether or not a similar shape is repeated within the area. Area characteristic information can be obtained. In one embodiment, image analysis may be performed according to an AI-based anomaly detection learning algorithm as described above, and the robot 100 determines the size information, location information, and presence or absence of repetition of similar shapes in a plurality of detection areas. You can decide. In one embodiment, the size information may mean the size of the entire area within the area boundary where an abnormality is detected, and the location information is the location of the area where an abnormality is detected, and may be an element for checking the distance from the robot 100. You can. Additionally, the presence or absence of repetition of a similar shape within an area indicates the shape of the grass in which an abnormality is detected within the area, and may be an element for checking whether the shape appears repeatedly. Accordingly, the device 100 may obtain target area characteristic information including size information, location information, and information on whether or not a similar shape is repeated for each of the plurality of detection target areas.

단계 S230을 참조하면, 일 실시 예에 따른 로봇(100)은 대상 영역 특성 정보에 기초하여 로봇(100)의 예상 경로를 나타내는 탐지 경로를 결정할 수 있다. 일 실시 예에서, 탐지 경로는 로봇(100)이 탐지 대상 영역으로 결정된 복수의 영역을 관리 또는 영역을 분석하기 위해 이동하는 경로를 의미할 수 있다. 일 실시 예에 따른 로봇(100)은 복수의 탐지 대상 영역에 대한 비정형화된 도형 정보를 획득할 수 있다. 비정형화된 도형 정보는 이상이 탐지되는 영역 바운더리 내 포함되는 잔디의 형상 정보 및 위치에 따른 복수의 좌표값에 대한 정보를 포함할 수 있다. 로봇(100)은 비정형화된 도형의 중심을 나타내는 중앙값 및 로봇(100)과의 거리에 기초하여 탐지 경로를 결정할 수 있다. 예를 들면, 로봇(100)은 복수의 잔디 영역에서의 복수의 기설정 포인트 위치에 기초하여 복수의 탐지 대상 영역에 대한 비정형화된 도형에서의 중앙값에 가장 가까운 기설정 포인트 위치 정보를 획득함에 따라 라이다 데이터를 이용하여 탐지 대상 영역과 로봇(100)의 거리를 추론할 수 있다. 또한, 로봇(100)은 복수의 탐지 대상 영역에 대한 위치 정보, 크기 정보 및 영역 내 유사 모양의 반복 유무 정보의 순서로 부여되는 가중치에 기초하여 복수의 탐지 대상 영역에 대한 우선 순위를 결정할 수 있고, 우선 순위에 따른 순서에 따라 탐지 경로를 결정할 수 있다. 일 실시 예에서, 로봇(100)은 근거리에 위치한 탐지 대상 영역을 우선적으로 관리할 수 있다. 따라서, 위치 정보는 로봇(100)에서 떨어진 정도를 확인할 수 있는 가장 직접적인 요소이기 때문에 위치 정보에 탐지 경로를 결정하는데 있어 가장 높은 가중치가 부여될 수 있다. 또한, 위치 정보에 따라 복수의 탐지 대상 영역이 로봇(100)에서 떨어진 정도가 유사한 경우에는 탐지 대상 영역의 크기가 큰 영역이 보다 빨리 관리 해야할 필요성이 높은 영역이기 때문에 크기 정보에 2순위로 높은 가중치가 부여될 수 있다. 또한, 유사 모양의 반복 유무 정보는 유사 모양이 반복적으로 나타나는 경우 이상 탐지 영역일 확률이 높다는 점에서 탐지 대상 영역으로 결정하는데 정확도를 향상시킬 수 있기 때문에 이를 확인하는 것이 바람직할 수 있으나, 병해 특성상, 유사 모양이 반복적으로 나타나지 않는 병해도 다수 존재할 수 있다는 점에서 영역 내 유사 모양의 반복 유무 정보에 3순위로 높은 가중치가 부여될 수 있다. 따라서, 복수의 요소에 상술한 순서로 높은 가중치를 부여함에 따라 탐지 경로 순서를 결정함에 따라 보다 용이한 탐지 경로 순서가 결정될 수 있다. 로봇(100)이 탐지 대상 영역을 관리하는데 있어 가까운 영역 및 관리 필요성이 높은 영역이 보다 빠르게 관리되도록 위치 정보, 크기 정보 및 영역 내 유사 모양의 반복 유무 정보에 서로 다른 가중치를 부여하여 탐지 경로를 결정한다는 점에서 잔디 관리 효율성이 향상될 수 있다는 효과가 있다. Referring to step S230, the robot 100 according to one embodiment may determine a detection path indicating the expected path of the robot 100 based on target area characteristic information. In one embodiment, the detection path may mean a path along which the robot 100 moves to manage or analyze a plurality of areas determined as detection target areas. The robot 100 according to one embodiment may acquire non-standardized shape information about a plurality of detection target areas. The unstructured shape information may include information about the shape of the grass included within the boundary of the area where the abnormality is detected and information about a plurality of coordinate values according to the location. The robot 100 may determine a detection path based on the median value indicating the center of the irregular shape and the distance from the robot 100. For example, the robot 100 acquires the preset point position information closest to the median value in the unstructured shape for the plurality of detection target areas based on the positions of the plurality of preset points in the plurality of grass areas. The distance between the detection target area and the robot 100 can be inferred using LIDAR data. In addition, the robot 100 can determine the priority for a plurality of detection target areas based on weights given in the order of location information, size information, and information on whether or not a similar shape is repeated within the area. , the detection path can be determined in order of priority. In one embodiment, the robot 100 may preferentially manage a detection target area located nearby. Therefore, because location information is the most direct element that can confirm the degree of separation from the robot 100, the highest weight may be given to location information in determining the detection path. In addition, if a plurality of detection target areas are similar in distance from the robot 100 according to the location information, the size information is given the second highest weight because the area with a large detection target area is an area that needs to be managed more quickly. may be granted. In addition, it may be desirable to check information on the presence or absence of repetition of similar shapes because it can improve the accuracy in determining the detection target area in that there is a high probability that it is an abnormal detection area when similar shapes appear repeatedly. However, due to the nature of the disease, Given that there may be many diseases in which similar shapes do not appear repeatedly, information on the presence or absence of repetitions of similar shapes within an area may be given a high third-rank weight. Accordingly, by assigning high weights to a plurality of elements in the above-described order, the detection path order can be determined more easily. When the robot 100 manages the detection target area, the detection path is determined by assigning different weights to the location information, size information, and information about the presence or absence of repetition of similar shapes in the area so that nearby areas and areas requiring management are managed more quickly. This has the effect of improving lawn management efficiency.

단계 S240을 참조하면, 일 실시 예에 따른 로봇(100)은 탐지 경로를 이동함에 따라 획득되는 복수의 탐지 대상 영역에 대한 병충해 예측 정보를 획득할 수 있다. 일 실시 예에서, 로봇(100)은 원거리에서 복수의 탐지 대상 영역을 획득할 수 있고, 획득된 복수의 탐지 대상 영역에 따라 결정되는 탐지 경로를 따라 근거리에서의 복수의 탐지 대상 영역의 이미지를 획득할 수 있다. 따라서, 로봇(100)은 탐지 경로를 이동함에 따라 각 영역의 이미지를 획득할 수 있고, 이미지 분석 결과로써, 병충해 예측 정보를 획득할 수 있다. 일 실시 예에서, 병충해 예측 정보는 잔디의 병명에 대응되는 갈색잎마름병, 여름잎마름병, 라이족토니아마름병 및 동전마름병 중 적어도 하나를 포함할 수 있다. 갈색잎마름병, 여름잎마름병, 라이족토니아마름병 및 동전마름병은 잔디에서 주로 발생하는 병해일 수 있고, 로봇(100)은 탐지 대상 영역에서 잔디에 대한 이미지를 획득하고, 이미지를 분석함에 따라 잔디의 병명을 포함하는 병충해 예측 정보를 획득할 수 있다. 일 실시 예에서, 로봇(100)은 갈색잎마름병, 여름잎마름병, 라이족토니아마름병 및 동전마름병이 아닌 복수의 잔디의 병명의 경우 상술한 바와 같이, 위치 정보, 크기 정보 및 영역 내 유사 모양의 반복 유무 정보의 순서로 높게 부여되는 가중치에 기초하여 복수의 탐지 대상 영역에 대한 우선 순위를 결정할 수 있고, 잔디의 병명이 갈색잎마름병인 경우 크기 정보, 위치 정보 및 영역 내 유사 모양의 반복 유무 정보의 순서로 높게 부여되는 가중치에 기초하여 복수의 탐지 대상 영역에 대한 우선 순위를 결정할 수 있다. 예를 들면, 갈색잎마름병의 경우 잔디의 형상이 반복적인 모양이 나타나지 않는 것을 특징으로 하는 경우가 많아 단독적인 모양이 나타날 수 있기 때문에 영역의 크기가 큰 경우에는 단독적인 모양이 큰 것을 뜻하는 것으로 대상 영역의 손상도가 매우 클 수 있다는 점에서 크기 정보에 더 높은 가중치를 부여하도록 하고, 단독적인 모양이 나타나는 경우 유사 모양 반복 유무의 중요도가 낮아질 수 있기 때문에 영역 내 유사 모양 반복 유무에 가장 낮은 가중치를 부여할 수 있다. 또한, 잔디의 병명이 여름잎마름병, 라이족토니아마름병 및 동전마름병인 경우 위치 정보, 영역 내 유사 모양의 반복 유무 정보 및 크기 정보의 순서로 높게 부여되는 가중치에 기초하여 복수의 탐지 대상 영역에 대한 우선 순위를 결정할 수 있다. 예를 들면, 여름잎마름병, 라이족토니아마름병 및 동전마름병의 경우 잔디의 형상이 반복적인 모양이 대체로 나타나는 경우가 많기 때문에 유사 모양 반복 유무에 따라 탐지 대상 영역에 퍼진 정도를 보다 정확하게 확인할 수 있다는 점에서 유사 모양 반복 유무 정보에 위치 정보 다음으로 높은 가중치를 부여하고, 크기 정보의 경우 전체적인 탐지 대상 영역의 바운더리를 확인할 수 있으나, 탐지 대상 영역 내에서의 반복적으로 나타나는 정도가 적은 경우는 크기 정보는 크게 획득될 수 있으나, 손상도는 그에 비해 적을 수 있어, 정확도가 다소 떨어질 수 있다는 점에서 크기 정보에 3순위로 높은 가중치를 부여할 수 있다. 따라서, 잔디의 병명에 따라 복수의 각 요소에 부여되는 가중치의 크기를 상이하도록 함으로써, 복수의 탐지 대상 영역에 대한 우선 순위를 갱신할 수 있고 보다 정확도 높은 탐지 경로를 획득할 수 있다는 효과가 있다. Referring to step S240, the robot 100 according to one embodiment may acquire pest prediction information for a plurality of detection target areas acquired as it moves along the detection path. In one embodiment, the robot 100 may acquire a plurality of detection target areas at a distance, and acquire images of a plurality of detection target areas at a short distance along a detection path determined according to the acquired plurality of detection target areas. can do. Accordingly, the robot 100 can acquire images of each area as it moves the detection path, and obtain pest prediction information as a result of image analysis. In one embodiment, the pest prediction information may include at least one of brown leaf blight, summer leaf blight, Rhizoctonia blight, and coin blight corresponding to the disease name of the lawn. Brown leaf blight, summer leaf blight, Rhizoctonia blight, and coin blight may be diseases that mainly occur in lawns, and the robot 100 acquires images of grass in the detection target area, and analyzes the images to determine the size of the grass. Pest prediction information including disease name can be obtained. In one embodiment, the robot 100 provides location information, size information, and similar shapes within the area, as described above in the case of a plurality of lawn diseases other than brown leaf blight, summer leaf blight, Rhizoctonia blight, and coin blight. Priority for multiple detection target areas can be determined based on the weight given in the order of repetition presence or absence information. If the disease name of the lawn is brown leaf blight, size information, location information, and repetition presence or absence of similar shapes within the area can be determined. Priorities for a plurality of detection target areas can be determined based on weights assigned to a higher order. For example, in the case of brown leaf blight, the shape of the grass is often characterized by a lack of repetitive shapes, so individual shapes may appear, so if the size of the area is large, this means that the individual shape is large. Since the degree of damage to the target area may be very large, a higher weight is given to the size information, and when a single shape appears, the importance of whether or not a similar shape is repeated may be lowered, so the lowest weight is given to the presence or absence of a similar shape repeated in the area. can be given. In addition, if the disease name of the lawn is summer leaf blight, Rhizoctonia blight, and penny blight, multiple detection target areas are detected based on the weight given in the order of location information, information on the presence or absence of repetition of similar shapes in the area, and size information. You can decide your priorities. For example, in the case of summer leaf blight, Rhizoctonia blight, and coin blight, the shape of the lawn is often repetitive, so the extent of spread in the detection target area can be more accurately confirmed depending on the presence or absence of repetition of similar shapes. Next to location information, the next highest weight is given to information on whether similar shapes are repeated, and in the case of size information, the boundaries of the overall detection target area can be confirmed. However, if the degree of repetitive appearance within the detection target area is small, the size information is largely It can be obtained, but the degree of damage may be less than that, so the size information may be given a high third place weight in that the accuracy may be somewhat lower. Therefore, by varying the size of the weight assigned to each of the plurality of elements according to the disease name of the grass, the priority for a plurality of detection target areas can be updated and a more accurate detection path can be obtained.

단계 S250을 참조하면, 일 실시 예에 따른 로봇(100)은 병충해 예측 정보에 기초하여 농약을 분사하도록 제어될 수 있다. 일 실시 예에서, 로봇(100)은 병충해 예측 정보를 획득함에 따라 예측되는 병해, 탐지 대상 영역의 크기 및 상태에 따라 이에 대응되는 농약의 종류 및 분사량을 결정할 수 있다. 일 실시 예에서, 로봇(100)은 결정된 농약의 종류 및 분사량에 따라 탐지 대상 영역에 농약을 분사할 수 있다. 또한, 일 실시 예에 따른 로봇(100)은 탐지 경로의 주변 영역을 모니터링함에 따라 동전마름병 예측 영역을 획득할 수 있다. 일 실시 예에서, 동전마름병에 대응되는 모양의 경우 매우 작을 수 있어 예측이 어려울 수 있고, 먼 거리의 경우 인식되지 않을 확률이 높기 때문에 로봇(100)은 결정된 탐지 경로를 이동하는 중에 주변 영역에 대한 동전마름병 식별 프로세스를 수행할 수 있다. 또한, 탐지 경로를 이동 중에 동전마름병 예측 영역이 획득되는 경우 복수의 탐지 대상 영역에 대한 우선 순위를 갱신함에 따라 탐지 경로를 갱신할 수 있다. 예를 들면, 로봇(100)은 탐지 대상 영역 리스트에 포함되는 복수의 탐지 대상 영역 각각에 대한 위험도를 결정할 수 있다. 로봇(100)은 복수의 탐지 대상 영역 각각에 대한 위험도에 기초하여 동전마름병 예측 영역이 우선 순위 중간에 삽입되도록 하여 우선 순위를 갱신하고, 탐지 경로를 수정할 수 있다. 예를 들면, 복수의 탐지 대상 영역 중 위험도가 기설정 퍼센트(예를 들면 70퍼센트) 이상인 탐지 대상 영역의 우선 순위는 그대로 유지하고, 위험도가 기설정 퍼센트(예를 들면 50퍼센트 이상 70퍼센트 미만) 범위인 경우 동전마름병 예측 영역의 위험도를 획득함에 따라 위험도에 대한 비교 결과에 따라 위험도 퍼센트가 높은 영역의 우선 순위가 더 높아지도록 하여 복수의 탐지 대상 영역의 우선 순위를 갱신할 수 있다. 또한, 탐지 대상 영역의 위험도가 기설정 퍼센트(예를 들면 50 퍼센트) 미만인 경우에는 동전마름병 예측 영역이 현재 시점에 로봇(100)과 더 가깝기 때문에 동전마름병 예측 영역의 우선 순위가 해당 탐지 대상 영역의 우선 순위보다 높아지도록 하여 복수의 탐지 대상 영역 우선 순위를 갱신할 수 있다. 따라서, 로봇(100)이 이동 중에 획득되는 동전마름병 예측 영역에 따라 추가적인 관리 프로세스를 수행할 수 있다는 효과가 있다. 또한, 로봇(100)은 탐지 경로를 이동함에 따라 하나 이상의 센서로부터 획득되는 곤충에 대한 정보를 획득할 수 있다. 예를 들면, 로봇(100)은 탐지 경로를 따라 복수의 잔디 영역을 이동하는 중 하나 이상의 센서로부터 주변 영역에서 곤충이 인식되는지에 대한 여부 및 인식되는 곤충에 대한 종류 정보를 획득할 수 있고, 곤충 획득 횟수를 카운팅할 수 있다. 따라서, 로봇(100)은 곤충에 대한 종류 및 곤충 획득 횟수에 기초하여 대응되는 농약의 종류 및 분사량을 결정할 수 있고 결정된 농약의 종류 및 분사량에 따라 해당 영역에 농약을 분사할 수 있다. 따라서, 로봇(100)은 탐지 경로를 따라 이동 중 곤충에 대한 병충해 예측 정보를 획득할 수 있고, 곤충 획득 횟수가 기설정 횟수 이상인 구역에 농약을 분사함에 따라 잔디 관리의 효율성을 향상시킬 수 있다. Referring to step S250, the robot 100 according to one embodiment may be controlled to spray pesticide based on pest prediction information. In one embodiment, as the robot 100 acquires pest prediction information, it can determine the type and spray amount of pesticide corresponding to the predicted pest and the size and condition of the detection target area. In one embodiment, the robot 100 may spray pesticide to the detection target area according to the determined type and spray amount of pesticide. Additionally, the robot 100 according to one embodiment may obtain a coin blight prediction area by monitoring the surrounding area of the detection path. In one embodiment, the shape corresponding to the coin blight may be very small, making it difficult to predict, and in the case of a long distance, there is a high probability that it will not be recognized, so the robot 100 detects the surrounding area while moving the determined detection path. A coin blight identification process can be performed. Additionally, if a coin blight prediction area is acquired while moving the detection route, the detection route can be updated by updating the priorities for a plurality of detection target areas. For example, the robot 100 may determine the risk level for each of a plurality of detection target areas included in the detection target area list. The robot 100 may update the priority and modify the detection path by inserting the coin blight prediction area in the middle of the priority based on the risk for each of the plurality of detection target areas. For example, among multiple detection target areas, the priority of the detection target area with a risk of more than a preset percent (e.g., 70%) is maintained, and the priority of the detection target area with a risk of more than a preset percent (e.g., 50% or more but less than 70%) is maintained. In the case of a range, as the risk of the coin blight prediction area is obtained, the priority of multiple detection target areas can be updated by giving the area with a higher risk percentage a higher priority according to the comparison results of the risk. In addition, when the risk of the detection target area is less than a preset percent (for example, 50 percent), the coin blight prediction area is closer to the robot 100 at the current time, so the priority of the coin blight prediction area is that of the corresponding detection target area. The priority of multiple detection target areas can be updated by making it higher than the priority. Therefore, there is an effect that the robot 100 can perform an additional management process according to the coin blight prediction area acquired while moving. Additionally, the robot 100 may acquire information about insects obtained from one or more sensors as it moves along the detection path. For example, the robot 100 may acquire information about whether an insect is recognized in the surrounding area and the type of insect recognized from one or more sensors while moving through a plurality of grass areas along a detection path. You can count the number of acquisitions. Accordingly, the robot 100 can determine the type and spray amount of the corresponding pesticide based on the type of insect and the number of times it has acquired the insect, and can spray the pesticide to the corresponding area according to the determined type and spray amount of the pesticide. Accordingly, the robot 100 can obtain pest prediction information about insects while moving along the detection path, and can improve the efficiency of lawn management by spraying pesticides in areas where the number of insect acquisitions is more than a preset number.

도 3은 일 실시 예에 따른 로봇(100)이 복수의 탐지 대상 영역을 획득하는 일 예를 설명하기 위한 도면이다.FIG. 3 is a diagram illustrating an example in which the robot 100 acquires a plurality of detection target areas according to an embodiment.

도 3을 참조하면, 로봇(100)은 캘리브레이션 이미지를 획득함에 따라 복수의 경계선을 확인할 수 있고, 복수의 경계선에 기초하여 복수의 탐지 대상 영역을 획득할 수 있다. 또한, 카메라 센서를 이용하여 탐지 대상 영역의 위치를 획득하고, 탐지 예상 영역의 중앙값을 획득하여 라이다 센서를 이용하여 로봇(100)과의 떨어진 거리값을 획득할 수 있다. Referring to FIG. 3, the robot 100 can confirm a plurality of boundary lines by acquiring a calibration image and acquire a plurality of detection target areas based on the plurality of boundary lines. In addition, the location of the detection target area can be acquired using a camera sensor, the median value of the expected detection area can be obtained, and the distance value from the robot 100 can be obtained using a LiDAR sensor.

도 4는 일 실시 예에 따른 로봇(100)이 탐지 경로에 따라 이동하는 일 예를 설명하기 위한 도면이다. FIG. 4 is a diagram illustrating an example in which the robot 100 moves along a detection path according to an embodiment.

도 4를 참조하면, 일 실시 예에 따른 로봇(100)은 원거리 탐지를 수행할 수 있고, 원거리 탐지를 수행함에 따라 복수의 탐지 대상 영역(도 4에서 5M, 15M 떨어진 영역)을 획득할 수 있다. 로봇(100)은 원거리 탐지 프로세스를 통해 획득된 복수의 탐지 대상 영역 중 더 가까운 거리에 위치하는 영역에 대한 탐지를 수행할 수 있다. 도 4에 도시된 바와 같이, 라이다 센서를 이용하여 로봇(100)은 더 근거리에 위치한 탐지 대상 영역(도 4에서 5M 떨어진 영역)을 탐지하는 근거리 A 탐지 프로세스를 수행할 수 있고, 근거리에 대응되는 탐지 대상 영역으로 이동함에 따라 탐지 대상 영역의 분석을 위한 근거리 B 탐지 프로세스를 수행할 수 있다. 즉, 일 실시 예에서, 원거리 탐지 프로세스는 복수의 탐지 대상 영역을 획득하는데 이용될 수 있고, 근거리 A 탐지 프로세스는 획득된 복수의 탐지 대상 영역 중 근거리에 대응되는 탐지 대상 영역을 획득 및 탐지 대상 영역의 잔디 이미지 및 영상에 따라 잔디 형상을 식별하는데 이용될 수 있다. 또한, 근거리 B 탐지 프로세스는 로봇(100)이 근거리에 대응되는 탐지 대상 영역으로 이동함에 따라 해당 영역의 잔디 형상을 분석하여 병충해 정보를 예측하는데 이용될 수 있다. 또한, 도 4에 도시된 바와 같이 로봇(100)은 근거리 B 탐지 프로세스를 수행한 이후 다음 우선 순위에 대응되는 탐지 대상 영역으로 이동할 수 있다. Referring to FIG. 4, the robot 100 according to an embodiment can perform long-distance detection, and by performing long-distance detection, a plurality of detection target areas (areas 5M and 15M away in FIG. 4) can be acquired. . The robot 100 may perform detection of an area located at a closer distance among a plurality of detection target areas obtained through a long-distance detection process. As shown in FIG. 4, using the LiDAR sensor, the robot 100 can perform a short-distance A detection process to detect a detection target area located at a closer distance (an area 5M away in FIG. 4), and respond to the short distance. As the device moves to the detection target area, a short-range B detection process can be performed to analyze the detection target area. That is, in one embodiment, the long-distance detection process may be used to obtain a plurality of detection target areas, and the short-range A detection process may be used to obtain a detection target area corresponding to a short distance among the acquired plurality of detection target areas and the detection target area. It can be used to identify the shape of the grass according to the grass image and video. Additionally, the short-distance B detection process can be used to predict pest information by analyzing the shape of the grass in the area as the robot 100 moves to a detection target area corresponding to a short distance. Additionally, as shown in FIG. 4, the robot 100 may move to the detection target area corresponding to the next priority after performing the short-distance B detection process.

도 5는 일 실시 예에 따른 로봇(100)이 탐지 경로에 따라 근거리에서 병충해 예측 정보를 획득하는 일 예를 설명하기 위한 도면이다.FIG. 5 is a diagram illustrating an example in which the robot 100 acquires pest prediction information at a short distance along a detection path according to an embodiment.

도 5를 참조하면, 로봇(100)은 근거리 A 탐지 프로세스를 수행함에 따라 획득되는 잔디 형상을 식별하고, 대조군과 비교함에 따라 병충해 예측 정보에 포함되는 잔디의 병명을 예측할 수 있다. 상술한 바와 같이 병충해 예측 정보에는 갈색잎마름병, 여름잎마름병, 라이족토니아마름병 및 동전마름병 중 적어도 하나의 잔디의 병명이 포함될 수 있고 이외의 잔디의 병명이 포함될 수도 있다. 또한, 로봇(100)은 근거리 B 탐지 프로세스를 수행함에 따라 근거리 A 탐지 프로세스를 통해 획득된 잔디 예측 병명에 기초하여 보다 세부적인 분석을 수행할 수 있다. 잔디 잎 색상의 차이 및 곰팡이, 벌레, 유충 등을 탐지할 수 있고, 대조군과 비교함에 따라 잔디의 병충해를 예측할 수 있다. Referring to FIG. 5, the robot 100 identifies the shape of the grass obtained by performing the short-distance A detection process, and compares it with the control group to predict the disease name of the grass included in the pest prediction information. As described above, the pest prediction information may include the disease name of at least one of brown leaf blight, summer leaf blight, Rhizoctonia blight, and coin blight, and may also include disease names of other grasses. Additionally, as the robot 100 performs the short-range B detection process, it can perform a more detailed analysis based on the predicted grass disease name obtained through the short-range A detection process. Differences in grass leaf color, mold, bugs, larvae, etc. can be detected, and pests and diseases in the lawn can be predicted by comparing with the control group.

도 6은 일 실시 예에 따른 로봇(100)이 동작하는 전체적인 흐름을 개략적으로 도시한 흐름도이다.FIG. 6 is a flowchart schematically showing the overall operation flow of the robot 100 according to an embodiment.

도 6을 참조하면, 로봇(100)은 도 4에서 설명한 바와 같이 원거리 탐지 프로세스를 수행할 수 있다. 또한, 원거리 탐지 프로세스를 수행함에 따라 복수의 탐지 대상 영역을 획득할 수 있다. 로봇(100)은 복수의 센서를 이용하여 탐지 대상 영역과 떨어진 거리 정보를 획득할 수 있다. 예를 들면, 카메라 센서 및 라이다 센서를 이용하여 AI 기반의 이상 영역 탐지 알고리즘 프로세스에 따라 복수의 탐지 대상 영역을 획득하고 로봇(100)에서 탐지 대상 영역이 떨어진 정도를 나타내는 거리 정보를 획득할 수 있다. 일 실시 예에서, 획득된 복수의 정보는 관리자 계정에 제공될 수 있고, 복수의 정보를 제공하는 매니지먼트 서비스를 제공할 수 있다. 또한, 로봇(100)은 복수의 탐지 대상 영역이 떨어져 있는 거리에 따라 탐지 우선 순위를 결정할 수 있고, 우선 순위에 따라 탐지 대상 영역으로 이동할 수 있다. 로봇(100)은 도 2의 복수의 단계, 도 4 및 도 5에서 설명한 바와 같이 잔디 병명을 예측할 수 있고, 센서로부터 획득되는 곤충에 대한 종류를 획득하고, 곤충 획득 횟수를 카운팅할 수 있다. 이에 따라, 각 탐지 대상 영역에 대응되는 농약의 종류 및 분사량을 결정할 수 있고, 결정된 농약 종류 및 분사량에 따라 해당 영역에 농약을 분사할 수 있다. 일 실시 예에서, 농약을 분사하기까지 획득되는 복수의 다양한 잔디 관련 정보는 관리자 계정에 제공될 수 있고, 관리자가 실시간으로 모니터링할 수 있는 매니지먼트 서비스가 제공될 수 있다.Referring to FIG. 6 , the robot 100 may perform a remote detection process as described in FIG. 4 . Additionally, by performing a long-distance detection process, multiple detection target areas can be obtained. The robot 100 may obtain information on the distance from the detection target area using a plurality of sensors. For example, using a camera sensor and a lidar sensor, a plurality of detection target areas can be acquired according to an AI-based abnormal area detection algorithm process, and distance information indicating the degree to which the detection target area is separated from the robot 100 can be obtained. there is. In one embodiment, a plurality of acquired information may be provided to a manager account, and a management service that provides a plurality of information may be provided. Additionally, the robot 100 can determine the detection priority according to the distance between the plurality of detection target areas and can move to the detection target area according to the priority. The robot 100 can predict the name of a lawn disease as described in the plurality of steps of FIG. 2 and FIGS. 4 and 5, obtain the type of insect obtained from the sensor, and count the number of times the insect is acquired. Accordingly, the type and spray amount of pesticide corresponding to each detection target area can be determined, and the pesticide can be sprayed to the corresponding area according to the determined pesticide type and spray amount. In one embodiment, a plurality of various types of grass-related information obtained until pesticide spraying may be provided to the manager account, and a management service that the manager can monitor in real time may be provided.

일 실시 예에 따르면, 잔디 관리 로봇이 복수의 센서로부터 획득되는 데이터에 따라 자동적으로 잔디의 상태를 확인하고 이에 대한 관리가 가능하다는 점에서 관리자의 편의성이 향상될 수 있고, 로봇을 통한 잔디 자동 관리 시스템을 제공받기 때문에 소요되는 시간이 감소될 수 있다는 점에서 효율성이 향상될 수 있다. 또한, 자율주행과 같이 로봇이 탐지 경로를 이동함에 따라 원거리, 근거리를 구분하도록 하여 잔디 상태를 확인한다는 점에서 잔디 관리에 대한 정확도 및 효율성이 향상될 수 있다. According to one embodiment, the convenience of the manager can be improved in that the lawn management robot can automatically check the state of the lawn and manage it according to data acquired from a plurality of sensors, and automatically manage the lawn through the robot. Efficiency can be improved in that the time required to receive the system can be reduced. In addition, like autonomous driving, the accuracy and efficiency of lawn management can be improved in that the robot checks the state of the grass by distinguishing between long distance and short distance as it moves along the detection path.

본 개시의 다양한 실시 예들은 기기(machine)(예를 들어, 디스플레이 장치 또는 컴퓨터)에 의해 읽을 수 있는 저장 매체(storage medium)(예를 들어, 메모리)에 저장된 하나 이상의 인스트럭션들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기의 프로세서(120)(예를 들어, 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 인스트럭션들 중 적어도 하나의 인스트럭션을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 인스트럭션에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 인스트럭션들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.Various embodiments of the present disclosure are implemented as software including one or more instructions stored in a storage medium (e.g., memory) that can be read by a machine (e.g., a display device or computer). It can be. For example, the processor 120 of the device (eg, processor 120) may call at least one instruction among one or more instructions stored from a storage medium and execute it. This allows the device to be operated to perform at least one function according to the at least one instruction called. The one or more instructions may include code generated by a compiler or code that can be executed by an interpreter. A storage medium that can be read by a device may be provided in the form of a non-transitory storage medium. Here, 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is stored semi-permanently in the storage medium. There is no distinction between temporary storage cases.

일 실시 예에 따르면, 본 개시에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, methods according to various embodiments disclosed in the present disclosure may be included and provided in a computer program product. Computer program products are commodities and can be traded between sellers and buyers. The computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or via an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smartphones) or online. In the case of online distribution, at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.

본 발명에 대하여 예시한 도면을 참조로 하여 설명하였으나 개시된 실시 예와 도면에 의해 한정되는 것은 아니며 본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 실시 예를 설명하며 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을지라도, 해당 구성에 의해 예측이 가능한 효과 또한 인정될 수 있다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Although the present invention has been described with reference to the illustrative drawings, it is not limited to the disclosed embodiments and drawings, and those skilled in the art in the technical field related to the present embodiments may make modifications without departing from the essential characteristics of the above-mentioned description. You will be able to understand that it can be implemented in a certain form. Therefore, the disclosed methods should be considered from an explanatory rather than a restrictive perspective. Even if the operational effects according to the configuration of the present invention are not explicitly described and explained in the description of the embodiment, the effects that can be predicted by the configuration may also be recognized. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the equivalent scope should be construed as being included in the present invention.

100: 디바이스
110: 수신부 120: 프로세서
100: device
110: receiving unit 120: processor

Claims (7)

잔디 상태에 따른 관리를 수행하는 로봇 제어 방법에 있어서,
복수의 센서로부터 획득되는 복수의 잔디 영역 데이터에 기초하여 병충해 피해 영역으로 예측되는 복수의 탐지 대상 영역을 획득하는 단계;
상기 복수의 탐지 대상 영역에 대한 이미지 분석을 수행함에 따라 각 영역의 크기 정보, 위치 정보 및 영역 내 유사 모양의 반복 유무 정보를 포함하는 대상 영역 특성 정보를 획득하는 단계;
상기 대상 영역 특성 정보에 기초하여 로봇의 예상 경로를 나타내는 탐지 경로를 결정하는 단계;
상기 로봇이 상기 탐지 경로로 이동함에 따라 획득되는 상기 복수의 탐지 대상 영역에 대한 병충해 예측 정보를 획득하는 단계; 및
상기 병충해 예측 정보에 기초하여 상기 로봇이 농약을 분사하도록 상기 로봇을 제어하는 단계;를 포함하고,
상기 탐지 경로를 결정하는 단계는
상기 위치 정보, 상기 크기 정보 및 상기 영역 내 유사 모양의 반복 유무 정보의 순서로 부여되는 가중치에 기초하여 상기 복수의 탐지 대상 영역에 대한 우선 순위를 결정하는 단계; 및
상기 우선 순위에 따른 순서에 따라 상기 탐지 경로를 결정하는 단계;를 포함하는, 방법.
In a robot control method that performs management according to lawn conditions,
Obtaining a plurality of detection target areas predicted to be pest-damaged areas based on a plurality of lawn area data obtained from a plurality of sensors;
By performing image analysis on the plurality of detection target areas, obtaining target area characteristic information including size information of each area, location information, and information on whether or not a similar shape is repeated within the area;
determining a detection path representing the expected path of the robot based on the target area characteristic information;
Obtaining pest prediction information for the plurality of detection target areas acquired as the robot moves along the detection path; and
Comprising: controlling the robot so that the robot sprays pesticide based on the pest prediction information,
The step of determining the detection path is
determining priorities for the plurality of detection target areas based on weights given in the order of the location information, the size information, and information on whether or not a similar shape is repeated in the area; and
Method comprising: determining the detection path according to the priority order.
제 1항에 있어서,
상기 병충해 예측 정보는 갈색잎마름병, 여름잎마름병, 라이족토니아마름병 및 동전마름병 중 적어도 하나를 포함하는, 방법.
According to clause 1,
The method wherein the pest prediction information includes at least one of brown leaf blight, summer leaf blight, Rhizoctonia blight, and coin blight.
제 1항에 있어서,
상기 탐지 대상 영역을 획득하는 단계는
카메라 센서 및 라이다 센서를 이용하여 상기 복수의 잔디 영역으로부터 복수의 경계선을 포함하는 캘리브레이션 이미지를 획득하는 단계; 및
상기 복수의 경계선에 기초하여 상기 복수의 탐지 대상 영역의 위치 정보를 획득하는 단계;를 포함하는, 방법.
According to clause 1,
The step of acquiring the detection target area is
Obtaining a calibration image including a plurality of boundary lines from the plurality of grass areas using a camera sensor and a lidar sensor; and
A method comprising: acquiring location information of the plurality of detection target areas based on the plurality of boundaries.
제 3 항에 있어서,
상기 탐지 경로를 결정하는 단계는
상기 복수의 탐지 대상 영역에 대한 비정형화된 도형 정보를 획득하는 단계; 및
비정형화된 도형의 중심을 나타내는 중앙값 및 상기 로봇의 거리에 기초하여 상기 탐지 경로를 결정하는 단계;를 포함하는, 방법.
According to claim 3,
The step of determining the detection path is
Obtaining non-standardized shape information about the plurality of detection target areas; and
Method comprising: determining the detection path based on a median value representing the center of an irregular shape and the distance of the robot.
삭제delete 제 1 항에 있어서,
상기 병충해 예측 정보를 획득하는 단계는
상기 탐지 경로의 주변 영역을 모니터링함에 따라 동전마름병 예측 영역을 획득하는 단계; 및
상기 로봇이 상기 탐지 경로를 이동함에 따라 센서로부터 획득되는 하나 이상의 곤충에 대한 종류 및 곤충 획득 횟수를 카운팅하는 단계;를 포함하고,
상기 동전마름병 예측 영역에 기초하여 상기 복수의 탐지 대상 영역에 대한 우선 순위를 갱신하는 단계; 및
상기 곤충에 대한 종류 및 카운팅된 상기 곤충 획득 횟수에 기초하여 상기 로봇이 농약을 분사하도록 상기 로봇을 제어하는 단계;를 더 포함하는, 방법.
According to claim 1,
The step of obtaining the pest prediction information is
Obtaining a coin blight prediction area by monitoring a surrounding area of the detection path; and
Counting the type and number of insect acquisitions for one or more insects obtained from the sensor as the robot moves the detection path,
updating priorities for the plurality of detection target areas based on the coin blight prediction area; and
The method further comprising controlling the robot to spray pesticide based on the type of insect and the counted number of times the insect has been acquired.
잔디 상태에 따른 관리를 수행하는 로봇에 있어서,
복수의 센서로부터 복수의 잔디 영역 데이터를 획득하는 수신부; 및
상기 복수의 잔디 영역 데이터에 기초하여 병충해 피해 영역으로 예측되는 복수의 탐지 대상 영역을 획득하고,
상기 복수의 탐지 대상 영역에 대한 이미지 분석을 수행함에 따라 각 영역의 크기 정보, 위치 정보 및 영역 내 유사 모양의 반복 유무 정보를 포함하는 대상 영역 특성 정보를 획득하고,
상기 대상 영역 특성 정보에 기초하여 로봇의 예상 경로를 나타내는 탐지 경로를 결정하고,
상기 로봇이 상기 탐지 경로로 이동함에 따라 획득되는 상기 복수의 탐지 대상 영역에 대한 병충해 예측 정보를 획득하고,
상기 병충해 예측 정보에 기초하여 상기 로봇이 농약을 분사하도록 상기 로봇을 제어하는 프로세서;를 포함하고,
상기 프로세서는
상기 위치 정보, 상기 크기 정보 및 상기 영역 내 유사 모양의 반복 유무 정보의 순서로 부여되는 가중치에 기초하여 상기 복수의 탐지 대상 영역에 대한 우선 순위를 결정하고,
상기 우선 순위에 따른 순서에 따라 상기 탐지 경로를 결정하는, 로봇.
In a robot that performs management according to lawn conditions,
A receiving unit that acquires a plurality of lawn area data from a plurality of sensors; and
Obtaining a plurality of detection target areas predicted to be pest-damaged areas based on the plurality of lawn area data,
By performing image analysis on the plurality of detection target areas, target area characteristic information including size information of each area, location information, and information on whether or not a similar shape is repeated within the area is obtained;
Determine a detection path representing the expected path of the robot based on the target area characteristic information,
Obtain pest prediction information for the plurality of detection target areas obtained as the robot moves along the detection path,
A processor that controls the robot to spray pesticide based on the pest prediction information,
The processor is
Determining priorities for the plurality of detection target areas based on weights given in the order of the location information, the size information, and information on whether or not a similar shape is repeated in the area,
A robot that determines the detection path in order of priority.
KR1020230102963A 2023-08-07 2023-08-07 Robot and robot control method carrying out management information according to the condition of the grass KR102630545B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230102963A KR102630545B1 (en) 2023-08-07 2023-08-07 Robot and robot control method carrying out management information according to the condition of the grass

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230102963A KR102630545B1 (en) 2023-08-07 2023-08-07 Robot and robot control method carrying out management information according to the condition of the grass

Publications (1)

Publication Number Publication Date
KR102630545B1 true KR102630545B1 (en) 2024-01-29

Family

ID=89716802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230102963A KR102630545B1 (en) 2023-08-07 2023-08-07 Robot and robot control method carrying out management information according to the condition of the grass

Country Status (1)

Country Link
KR (1) KR102630545B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200071884A (en) 2018-12-06 2020-06-22 (주)아이들 Apparatus and method for servicing disease prediction of wild crops
KR20210008711A (en) * 2019-07-15 2021-01-25 주식회사 인터웨어 Robot system using artificial intelligence for preventing blight and harmful insects from damaging plants
KR20210010617A (en) * 2019-04-23 2021-01-27 이의정 Artificial Intelligence Robot System for Unmanned Crop Cultivation and Harvesting
KR20210059839A (en) * 2019-11-15 2021-05-26 동의대학교 산학협력단 Robotic lawn mower using image processing of lawn boundary and Method for Controlling the same
KR20230071534A (en) * 2021-11-16 2023-05-23 순천대학교 산학협력단 Modular plant disease prediction system for daily infection risk estimation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200071884A (en) 2018-12-06 2020-06-22 (주)아이들 Apparatus and method for servicing disease prediction of wild crops
KR20210010617A (en) * 2019-04-23 2021-01-27 이의정 Artificial Intelligence Robot System for Unmanned Crop Cultivation and Harvesting
KR20210008711A (en) * 2019-07-15 2021-01-25 주식회사 인터웨어 Robot system using artificial intelligence for preventing blight and harmful insects from damaging plants
KR20210059839A (en) * 2019-11-15 2021-05-26 동의대학교 산학협력단 Robotic lawn mower using image processing of lawn boundary and Method for Controlling the same
KR20230071534A (en) * 2021-11-16 2023-05-23 순천대학교 산학협력단 Modular plant disease prediction system for daily infection risk estimation

Similar Documents

Publication Publication Date Title
US9615064B2 (en) Tracking moving objects using a camera network
US11703855B2 (en) Adaptive cyber-physical system for efficient monitoring of unstructured environments
KR102152192B1 (en) Robot path   planning   systems, methods, robots and media
CN113110207A (en) Insect pest remote monitoring method and system based on sensor of Internet of things and storage medium
KR20210136023A (en) Pesticide application control methods, devices and storage media
US20210241482A1 (en) Yield prediction for a cornfield
US12045752B2 (en) System for managing consumer packaged goods
JP2018169995A (en) System and method for supporting work through use of drone
US20090021351A1 (en) Information Collection System and Information Collection Robot
CN105787801A (en) Precision Agriculture System
KR101924393B1 (en) Pest identification and information monitoring system through image analysis and monitoring method using it
US20220245381A1 (en) Pest infestation detection for horticultural grow operations
KR20210101549A (en) Drone for control, system and method for positioning autonomous injection using the same
CN115223105A (en) Big data based risk information monitoring and analyzing method and system
WO2020203764A1 (en) Field work support system
KR102630545B1 (en) Robot and robot control method carrying out management information according to the condition of the grass
KR102546183B1 (en) Method and system for managing smart farm
CN117516513A (en) Intelligent mower path planning method, device, equipment and storage medium
Jagyasi et al. Event based experiential computing in agro-advisory system for rural farmers
US20200104644A1 (en) Training apparatus, training method and recording medium
KR20210084038A (en) Agricultural product management system using agricultural product harvest autonomous robot and method thereof
US20240020971A1 (en) System and method for identifying weeds
JP2022105923A (en) Information processing device and information processing method
KR102625718B1 (en) Method and device for providing agricultural information
JP7297224B1 (en) KPI measurement system, KPI measurement method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant