KR20210076255A - 드론 시스템 및 드론 시스템의 제어 방법 - Google Patents

드론 시스템 및 드론 시스템의 제어 방법 Download PDF

Info

Publication number
KR20210076255A
KR20210076255A KR1020190166791A KR20190166791A KR20210076255A KR 20210076255 A KR20210076255 A KR 20210076255A KR 1020190166791 A KR1020190166791 A KR 1020190166791A KR 20190166791 A KR20190166791 A KR 20190166791A KR 20210076255 A KR20210076255 A KR 20210076255A
Authority
KR
South Korea
Prior art keywords
drone
image
target plant
location
spray nozzle
Prior art date
Application number
KR1020190166791A
Other languages
English (en)
Inventor
김성호
Original Assignee
군산대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 군산대학교산학협력단 filed Critical 군산대학교산학협력단
Priority to KR1020190166791A priority Critical patent/KR20210076255A/ko
Publication of KR20210076255A publication Critical patent/KR20210076255A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0025—Mechanical sprayers
    • A01M7/0032—Pressure sprayers
    • A01M7/0042—Field sprayers, e.g. self-propelled, drawn or tractor-mounted
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/005—Special arrangements or adaptations of the spraying or distributing parts, e.g. adaptations or mounting of the spray booms, mounting of the nozzles, protection shields
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0082—Undercarriages, frames, mountings, couplings, tanks
    • A01M7/0085—Tanks
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0089—Regulating or controlling systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
    • B64D1/16—Dropping or releasing powdered, liquid, or gaseous matter, e.g. for fire-fighting
    • B64D1/18—Dropping or releasing powdered, liquid, or gaseous matter, e.g. for fire-fighting by spraying, e.g. insecticides
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • B64C2201/12—
    • B64C2201/146—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pest Control & Pesticides (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Environmental Sciences (AREA)
  • Insects & Arthropods (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

일 실시예에 따르면, 드론 시스템은 대상 식물의 뿌리를 포함하는 적어도 하나의 생육 위치에 화학 물질을 분사하는 드론, 및 드론의 촬영 영상을 분석하고, 분석 결과를 기초로 생육 위치에 화학 물질이 분사되도록 드론을 제어하는 제어 장치를 포함한다. 또한, 드론은 드론의 전방 영역의 제1 영상을 촬영하는 제1 카메라, 드론의 전방 장애물을 감지하는 센서, 화학 물질을 저장하는 저장 탱크, 제어 장치의 제어에 의해 분사 위치 조정이 가능한 분사 노즐을 포함하며 분사 노즐을 통해 화학 물질을 분사하는 분무기, 분무기의 말단의 위치하며 분사 노즐 및 분사 노즐이 향하는 근접 영역의 제2 영상을 촬영하는 제2 카메라를 포함한다.

Description

드론 시스템 및 드론 시스템의 제어 방법{DRONE SYSTEM AND CONTROL METHOD OF DRONE SYSTEM}
아래 실시예들은 드론 시스템 및 드론 시스템의 제어 방법에 관한 것이다.
드론(drone)은 조종사 없이 무선 전파의 유동 의해 비행 및 조정이 가능한 무인 항공기(Unmanned Aerial Vehicle; UAV)의 총칭이다. 드론은 용도에 따라 표적 드론, 정찰 드론, 감시 드론, 및 다목적 드론 등으로 구분할 수 있다. 최근 드론은 다양한 서비스 분야에서 활용되고 있으며, 농업 또는 축산업 등의 분야에서도 활용도가 높아지고 있다.
일 실시예에 따르면, 드론의 촬영 영상을 분석한 결과를 기초로 제거하고자 하는 대상 식물을 파악하여 대상 식물에 대한 화학 물질의 집중적으로 분사할 수 있다.
일 실시예에 따르면, 대상 식물의 적어도 일부의 관심 영역을 인식하도록 학습된 신경망을 이용함으로써 영상으로부터 관심 영역의 위치를 용이하게 파악하여 드론 및 분사 노즐의 위치를 정확하게 제어할 수 있다.
일 실시예에 따르면, 분사 노즐 인근의 근접 영역을 촬영한 영상을 분석하여 대상 식물의 적어도 일부의 관심 영역(예를 들어, 뿌리 등)에 대한 정밀하게 화학 물질을 분사할 수 있다.
일 실시예에 따르면, 드론 시스템은 대상 식물의 뿌리를 포함하는 적어도 하나의 생육 위치에 화학 물질을 분사하는 드론; 및 상기 드론의 촬영 영상을 분석하고, 상기 분석 결과를 기초로 상기 생육 위치에 상기 화학 물질이 분사되도록 상기 드론을 제어하는 제어 장치를 포함하고, 상기 드론은 상기 드론의 전방 영역의 제1 영상을 촬영하는 제1 카메라; 및 상기 드론의 전방 장애물을 감지하는 센서; 상기 화학 물질을 저장하는 저장 탱크; 상기 제어 장치의 제어에 의해 분사 위치 조정이 가능한 분사 노즐을 포함하며, 상기 분사 노즐을 통해 상기 화학 물질을 분사하는 분무기; 및 상기 분무기의 말단의 위치하며, 상기 분사 노즐 및 상기 분사 노즐이 향하는 근접 영역의 제2 영상을 촬영하는 제2 카메라를 포함한다.
상기 제어 장치는 상기 제1 영상을 분석하고, 상기 분석 결과를 기초로 상기 드론을 상기 대상 식물의 위치까지 이동시킬 수 있다.
상기 제어 장치는 상기 제2 영상을 분석하여 상기 대상 식물의 뿌리의 위치를 찾으며, 상기 분무기의 분사 노즐이 상기 대상 식물의 뿌리의 위치를 향하도록 제어하여 상기 화학 물질을 분사할 수 있다.
상기 제어 장치는 상기 대상 식물의 뿌리 부분을 포함하는 적어도 일부의 관심 영역을 인식하도록 학습된 신경망에 기초하여, 상기 제2 영상으로부터 상기 관심 영역의 위치를 파악하고, 상기 분사 노즐이 상기 관심 영역의 위치에 도달하도록 상기 드론의 위치 및 상기 분사 노즐의 위치 중 적어도 하나를 제어할 수 있다.
상기 관심 영역은 상기 대상 식물의 뿌리 부분, 잎 부분, 줄기 부분, 열매 부분 중 적어도 하나를 포함할 수 있다.
상기 대상 식물은 시설물에 부착하거나, 상기 시설물에 감겨 오르는 덩굴 식물(climbing plant)을 포함할 수 있다.
상기 화학 물질은 제초재, 농약, 및 비료 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 드론 시스템의 제어 방법은 드론의 전방 영역을 촬영한 제1 영상 및 상기 드론의 분무기의 분사 노즐이 향하는 근접 영역을 촬영한 제2 영상 중 적어도 하나의 영상을 수신하는 단계; 대상 식물의 뿌리 부분을 포함하는 적어도 일부의 관심 영역을 인식하도록 학습된 신경망을 이용하여 상기 적어도 하나의 영상으로부터 상기 관심 영역의 위치를 파악하는 단계; 상기 분사 노즐이 상기 관심 영역의 위치에 도달하도록 상기 드론의 위치 및 상기 분사 노즐의 위치 중 적어도 하나의 위치를 제어하는 단계; 및 상기 제어된 위치에서 상기 분사 노즐을 통해 화학 물질을 분사하는 단계를 포함한다.
상기 관심 영역은 상기 대상 식물의 뿌리 부분, 잎 부분, 줄기 부분, 열매 부분 중 적어도 하나를 포함할 수 있다.
상기 관심 영역의 위치를 파악하는 단계는 상기 신경망을 이용하여 상기 제1 영상으로부터 상기 대상 식물의 위치를 파악하는 단계를 포함하고, 상기 적어도 하나의 위치를 제어하는 단계는 상기 대상 식물의 위치로 상기 드론을 이동시키는 단계를 포함할 수 있다.
상기 관심 영역의 위치를 파악하는 단계는 상기 신경망을 이용하여 상기 제2 영상으로부터 상기 대상 식물의 뿌리의 위치를 파악하는 단계를 포함하고, 상기 적어도 하나의 위치를 제어하는 단계는 상기 분무기의 분사 노즐이 상기 대상 식물의 뿌리의 위치를 향하도록 상기 분사 노즐의 전후 위치를 제어하는 단계를 포함할 수 있다.
상기 대상 식물은 시설물에 부착하거나, 상기 시설물에 감겨 오르는 덩굴 식물을 포함할 수 있다.
상기 화학 물질은 제초재, 농약, 및 비료 중 적어도 하나를 포함할 수 있다.
일 측에 따르면, 드론의 촬영 영상을 분석한 결과를 기초로 제거하고자 하는 대상 식물을 파악하여 대상 식물에 대한 화학 물질의 집중적으로 분사할 수 있다.
일 측에 따르면, 대상 식물의 적어도 일부의 관심 영역을 인식하도록 학습된 신경망을 이용함으로써 영상으로부터 관심 영역의 위치를 용이하게 파악하여 드론 및 분사 노즐의 위치를 정확하게 제어할 수 있다.
일 측에 따르면, 분사 노즐 인근의 근접 영역을 촬영한 영상을 분석하여 대상 식물의 적어도 일부의 관심 영역(예를 들어, 뿌리 등)에 대한 정밀하게 화학 물질을 분사할 수 있다.
도 1은 일 실시예에 따른 드론 시스템의 드론을 도시한 도면.
도 2는 일 실시예에 따른 드론 시스템의 제어 방법을 나타낸 흐름도
도 3은 일 실시예에 따라 분사 노즐의 위치를 제어하는 방법을 설명하기 위한 도면.
도 4는 일 실시예에 따른 신경망의 구조를 도시한 도면.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 드론 시스템의 드론을 도시한 도면이다. 도 1을 참조하면, 일 실시예에 따른 드론(100)은 제1 카메라(110), 센서(120), 분무기(140), 분사 노즐(145), 제2 카메라(150), 압축기(160), 및 무선 영상 송신기(170)를 포함한다.
드론(100)은 제어 장치(미도시)로부터의 제어 신호에 따라 드론의 자세 및 위치 제어를 수행할 수 있다. 드론(100)은 대상 식물의 뿌리를 포함하는 적어도 하나의 생육 위치에 화학 물질을 분사한다. '대상 식물(target plant)'은 드론의 작업 대상이 되는 식물로서, 예를 들어, 전신주, 다리 또는 기타 건물 등과 같은 시설물에 부착하거나, 시설물에 감겨 오르는 칡덩굴 등과 같은 덩굴 식물(climbing plant)을 포함할 수 있으나 반드시 이에 한정되지는 않는다. 대상 식물은 덩굴 식물 이외에 다양한 유형의 식물들을 포함할 수 있다. 화학 물질은 예를 들어, 제초재, 농약, 및 비료 등을 포함할 수 있으며, 반드시 이에 한정되지 않는다.
제1 카메라(110)는 드론(100)에 장착되어 드론(100)의 전방 영역의 제1 영상을 촬영한다. 제1 카메라(110)는 작업 현장의 상황을 모니터링하기 위한 것일 수 있다. 제1 카메라(110)는 예를 들어, 전방 카메라일 수 있다.
센서(120)는 드론(100)의 전방 장애물을 감지한다. 센서(120)는 제1 카메라(150)와 동일한 방향으로 설치되어 드론(100)의 전방 장애물을 감지할 수 있다. 센서(120)는 예를 들어, 적외선(Infra-Red; IR) 센서일 수 있다.
저장 탱크(130)는 다양한 화학 물질을 저장한다.
분무기(140)는 제어 장치의 제어에 의해 예를 들어, 앞 또는 뒤로 분사 위치 조정이 가능한 분사 노즐(145)을 포함하며, 분사 노즐(145)을 통해 저장 탱크(130)에 저장된 화학 물질을 분사한다. 분무기(140)는 전후 위치 조정이 가능하며, 예를 들어, 제어 장치의 제어에 따라 저장 탱크(130)에 저장된 잡초 제거액 등을 지상에 뿌리를 둔 덩굴 식물에 분사할 수 있다. 분무기(140)는 '분사 장치'라고도 부를 수 있다.
제2 카메라(150)는 예를 들어, 분무기(140)의 말단(end point) 혹은 분무기(140)의 일부에 위치하며, 분사 노즐(145) 및 분사 노즐(145)이 향하는 근접 영역의 제2 영상을 촬영한다. 제2 카메라(150)는 분사 노즐(145) 부분을 촬영할 수 있도록 하향하여 설치될 수 있다. 제2 카메라(150)는 예를 들어, 근접 카메라일 수 있다.
압축기(160)는 저장 탱크(130)에 저장된 화학 물질을 압축시켜 화학 물질이 분무기(140)의 분사 노즐(145)을 통해 분사되도록 할 수 있다.
무선 송신기(170)는 예를 들어, 제1 카메라(110), 및/또는 제2 카메라(150)의 촬영 영상 등을 무선으로 전송할 수 있다.
도면에 도시되어 있지는 않지만, 드론 시스템의 제어 장치는 드론(100)의 촬영 영상(들)을 분석하고, 분석 결과를 기초로 대상 식물의 다양한 생육 위치에 화학 물질이 분사되도록 드론(100)을 제어한다. 제어 장치는 예를 들어, 제1 영상을 분석하고, 분석 결과를 기초로 드론(100)을 작업하고자 하는 대상 식물의 위치까지 이동시킬 수 있다. 제어 장치는 대상 식물의 위치까지 드론(100)을 이동하던 중에 드론(100)의 이동 경로 상에 장애물이 존재하는 경우, 충돌 회피 알고리즘에 따라 드론(100)의 이동 경로를 변경하거나, 또는 드론(100)의 이동을 정지시킬 수 있다. 이때, 충돌 회피 알고리즘으로는 예를 들어, 수정 벡터에 기반한 방법, C-space 방법, 가시성과 접근성 방법, 및 국소 표면 형상에 기반한 방법 등과 같이 알려진 다양한 알고리즘 등이 사용될 수 있다.
또한, 제어 장치는 제2 영상을 분석하여 대상 식물의 뿌리의 위치를 찾으며, 분무기(140)의 분사 노즐(145)이 대상 식물의 뿌리의 위치를 향하도록 제어하여 화학 물질을 분사할 수 있다.
제어 장치는 대상 식물의 뿌리 부분을 포함하는 적어도 일부의 관심 영역(Region of Interest; ROI)을 인식하도록 학습된 신경망에 기초하여, 제2 영상으로부터 관심 영역의 위치를 파악할 수 있다. 또한, 제어 장치는 분사 노즐(145)이 관심 영역의 위치에 도달하도록 드론(100)의 위치 및 분사 노즐(145)의 위치 중 적어도 하나를 제어할 수 있다. 여기서, 관심 영역은 예를 들어, 대상 식물의 뿌리 부분, 잎 부분, 줄기 부분, 열매 부분 중 적어도 하나를 포함할 수 있다.
실시예에 따라서, 드론(100)은 제1 카메라(110) 및 제2 카메라(150)를 대신하여 3축 짐벌에 장착된 한 대의 카메라를 포함할 수도 있다. 드론(100)이 3축 짐벌에 장착된 한 대의 카메라를 포함하는 경우, 한 대의 카메라가 전방 영역을 촬영하여 장애물을 검출하고, 분사 노즐(145)이 향하는 근접 영역의 영상을 촬영하여 제어 장치가 분사 노즐(145)의 위치 조절을 가능하도록 할 수 있다. 이 경우, 제어 장치는 드론(100)이 목적지로 이동할 때까지는 짐벌에 장착된 한 대의 카메라가 전면을 향하도록 제어하고, 작업 위치 근방에 접근하였을 때에는 한 대의 카메라의 위치를 분사 노즐(145)의 위치를 향하도록 제어할 수 있다.
제어 장치는 드론(100)에 포함 또는 결합될 수도 있고, 또는 드론(100)과 분리될 수도 있다.
도 2는 일 실시예에 따른 드론 시스템의 제어 방법을 나타낸 흐름도이다. 도 2를 참조하면, 일 실시예에 따른 드론 시스템의 제어 장치는 드론의 전방 영역을 촬영한 제1 영상 및 드론의 분무기의 분사 노즐이 향하는 근접 영역을 촬영한 제2 영상 중 적어도 하나의 영상을 수신한다(210).
제어 장치는 대상 식물의 뿌리 부분을 포함하는 적어도 일부의 관심 영역을 인식하도록 학습된 신경망을 이용하여 적어도 하나의 영상으로부터 관심 영역의 위치를 파악한다(220). 여기서, 대상 식물은 예를 들어, 시설물에 부착하거나, 시설물에 감겨 오르는 덩굴 식물을 포함할 수 있다. 또한, 관심 영역은 예를 들어, 대상 식물의 뿌리 부분, 잎 부분, 줄기 부분, 열매 부분 중 적어도 하나를 포함할 수 있다.
단계(220)에서 제어 장치는 신경망을 이용하여 제1 영상으로부터 대상 식물의 위치를 파악할 수 있다. 또한, 제어 장치는 신경망을 이용하여 제2 영상으로부터 대상 식물의 뿌리의 위치를 파악할 수 있다.
예를 들어, 관심 영역이 대상 식물의 뿌리 부분인 경우, 제어 장치는 단계(210)에서 수신한 영상들 중 대상 식물의 뿌리 부분의 위치를 파악할 수 있다. 이 경우, 신경망은 대상 식물의 뿌리 부분을 인식하도록 미리 학습된 것일 수 있다. 신경망은 예를 들어, 컨볼루션 신경망(Convolutional Neural Network; CNN)에 해당할 수 있다. 일 실시예에 따른 신경망의 구조 및 동작은 아래의 도 4를 참조하여 설명한다.
실시예에 따라서, 관심 영역은 대상 식물의 어느 한 부분이 아닌 복수의 부분에 해당할 수도 있다. 이 경우, 신경망은 복수의 부분을 인식하도록 미리 학습될 수 있다.
제어 장치는 분사 노즐이 관심 영역의 위치에 도달하도록 드론의 위치 및 분사 노즐의 위치 중 적어도 하나의 위치를 제어한다(230). 제어 장치는 분사 노즐이 단계(220)에서 파악한 관심 영역의 위치에 도달하도록 대상 식물의 위치로 드론을 이동시키거나, 또는 분무기의 분사 노즐이 대상 식물의 뿌리의 위치를 향하도록 분사 노즐의 전후 위치를 제어할 수 있다.
제어 장치는 제어된 위치에서 분사 노즐을 통해 화학 물질을 분사한다(240). 화학 물질은 예를 들어, 제초재, 농약, 및 비료 등을 포함할 수 있으며, 반드시 이에 한정되지는 않는다.
도 3은 일 실시예에 따라 분사 노즐의 위치를 제어하는 방법을 설명하기 위한 도면이다. 도 3을 참조하면, 일 실시예에 따른 제2 카메라의 촬영 영상들(310, 330)이 도시된다.
일 실시예에 따른 제어 장치는 카메라(예를 들어, 제2 카메라)의 촬영 영상(310)을 분석할 수 있다. 이때, 촬영 영상(310) 내의 관심 영역(315)이 대상 식물의 뿌리 부분이고, 드론의 분사 노즐(145)이 관심 영역(315)에서 벗어난 위치에 있다고 하자. 이 경우, 분사 노즐을 통해 제초재 등을 분사하더라도 관심 영역에 대한 정확한 분사가 어렵다. 따라서, 제어 장치는 촬영 영상(310)의 분석 결과에 따라 분사 노즐(145)이 관심 영역(315)의 내부에 위치하기 위한 거리 또는 이동 좌표를 산출할 수 있다. 이때, 제어 장치는 분사 노즐의 전, 후 노출 길이 또한 산출할 수 있다. 제어 장치는 산출한 거리 또는 이동 좌표에 따라 드론의 위치 및/또는 분사 노즐(145)의 위치를 이동시켜 촬영 영상(330)과 같이 분사 노즐(145)의 관심 영역(315) 내에 존재하도록 할 수 있다. 이와 같이 드론의 위치 및/또는 분사 노즐(145)의 길이가 조정되면, 제어 장치는 드론의 저장 탱크에 저장된 화학 물질을 분사 노즐(145)을 통해 분사 시킴으로써 작업이 완료될 수 있다.
실시예에 따라서, 드론이 전술한 3축 짐벌에 장착된 한 대의 카메라를 포함하는 경우, 제어 장치는 한 대의 카메라를 통해 촬영된 촬영 영상을 분석하여 분사 노즐(145)이 관심 영역(315)의 내부에 위치하기 위한 거리 또는 이동 좌표를 산출할 수 있다.
도 4는 일 실시예에 따른 신경망의 구조를 도시한 도면이다. 도 4를 참조하면, 일 실시예에 따른 신경망(400)의 구조가 도시된다.
신경망(400)은 예를 들어, 컨볼루션 신경망(Convolutional neural network)으로서, 영상을 분류할 수 있다. 신경망(400)은 분류하고자 하는 객체(예를 들어, 대상 식물)를 다양한 위치에서 촬영한 영상들에 의해 학습될 수 있다. 영상들은 예를 들어, 대상 식물이 칡덩굴과 같은 덩굴 식물인 경우, 영상은 칡덩굴이 나무, 전신주, 교각 등을 타고 오르거나, 또는 야생에서 땅에 퍼져 있는 장면을 촬영한 영상 및/또는 덩굴 식물의 뿌리, 잎, 줄기 등을 생육 위치 등을 촬영한 영상들일 수 있다.
일 실시예에서는 대상 식물과 관련된 다양한 영상들을 학습시킴으로써 신경망(400)이 대상 식물의 관심 영역(예를 들어, 뿌리 부분)을 보다 정확하게 식별하도록 할 수 있다.
대상 식물과 관련된 다양한 영상들에 의한 학습된 종료된 신경망(400)에 드론의 카메라로부터 촬영된 영상(들)을 입력한다고 하자. 이 경우, 신경망(400)은 해당 촬영 영상에서 학습에 사용된 영상과 유사한 영역, 예를 들어, 덩굴 식물의 뿌리 부분에 해당하는 영역을 식별하여 관심 영역으로 설정할 수 있다. 관심 영역은 전술한 도 3의 관심 영역(315)과 같은 영상 내에 박스 형태로 표시될 수 있다. 이때, 관심 영역과 함께 분사 노즐의 끝 부분 또한 영상에 함께 포함될 수 있다.
도 5는 일 실시예에 따른 드론 시스템의 제어 장치의 블록도이다. 도 5를 참조하면, 드론 시스템의 제어 장치(500)는 통신 인터페이스(510), 프로세서(530), 및 메모리(550)를 포함한다.
통신 인터페이스(510)는 드론의 전방 영역을 촬영한 제1 영상 및 드론의 분무기의 분사 노즐이 향하는 근접 영역을 촬영한 제2 영상 중 적어도 하나의 영상을 수신한다.
프로세서(530)는 대상 식물의 뿌리 부분을 포함하는 적어도 일부의 관심 영역을 인식하도록 학습된 신경망을 이용하여 적어도 하나의 영상으로부터 관심 영역의 위치를 파악한다. 프로세서(530)는 분사 노즐이 관심 영역의 위치에 도달하도록 드론의 위치 및 분사 노즐의 위치 중 적어도 하나의 위치를 제어한다. 프로세서(530)는 제어된 위치에서 분사 노즐을 통해 화학 물질을 분사한다.
또한, 프로세서(530)는 도 1 내지 도 4을 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(530)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 표시 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 데이터 처리 표시 장치는 마이크로프로세서(microprocessor), 중앙 처리 표시 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(530)는 프로그램을 실행하고, 제어 장치(500)를 제어할 수 있다. 프로세서(530)에 의하여 실행되는 프로그램 코드는 메모리(550)에 저장될 수 있다.
메모리(550)는 상술한 프로세서(530)의 처리 과정에서 생성되는 다양한 정보들을 저장할 수 있다. 이 밖에도, 메모리(550)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(550)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(550)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 시스템이가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 시스템에 의하여 해석되거나 처리 시스템에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 시스템, 가상 시스템(virtual equipment), 컴퓨터 저장 매체 또는 시스템에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 시스템, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
100: 드론
110: 제1 카메라
120: 센서
130: 저장 탱크
140: 분무기
145: 분사 노즐
150: 제2 카메라
160: 압축기
170: 무선 영상 송신기

Claims (14)

  1. 대상 식물의 뿌리를 포함하는 적어도 하나의 생육 위치에 화학 물질을 분사하는 드론; 및
    상기 드론의 촬영 영상을 분석하고, 상기 분석 결과를 기초로 상기 생육 위치에 상기 화학 물질이 분사되도록 상기 드론을 제어하는 제어 장치
    를 포함하고,
    상기 드론은
    상기 드론의 전방 영역의 제1 영상을 촬영하는 제1 카메라; 및
    상기 드론의 전방 장애물을 감지하는 센서
    상기 화학 물질을 저장하는 저장 탱크;
    상기 제어 장치의 제어에 의해 분사 위치 조정이 가능한 분사 노즐을 포함하며, 상기 분사 노즐을 통해 상기 화학 물질을 분사하는 분무기; 및
    상기 분무기의 말단의 위치하며, 상기 분사 노즐 및 상기 분사 노즐이 향하는 근접 영역의 제2 영상을 촬영하는 제2 카메라
    를 포함하는,
    드론 시스템.
  2. 제1항에 있어서,
    상기 제어 장치는
    상기 제1 영상을 분석하고, 상기 분석 결과를 기초로 상기 드론을 상기 대상 식물의 위치까지 이동시키는,
    드론 시스템.
  3. 제1항에 있어서,
    상기 제어 장치는
    상기 제2 영상을 분석하여 상기 대상 식물의 뿌리의 위치를 찾으며, 상기 분무기의 분사 노즐이 상기 대상 식물의 뿌리의 위치를 향하도록 제어하여 상기 화학 물질을 분사하는,
    드론 시스템.
  4. 제1항에 있어서,
    상기 제어 장치는
    상기 대상 식물의 뿌리 부분을 포함하는 적어도 일부의 관심 영역을 인식하도록 학습된 신경망에 기초하여, 상기 제2 영상으로부터 상기 관심 영역의 위치를 파악하고, 상기 분사 노즐이 상기 관심 영역의 위치에 도달하도록 상기 드론의 위치 및 상기 분사 노즐의 위치 중 적어도 하나를 제어하는,
    드론 시스템.
  5. 제4항에 있어서,
    상기 관심 영역은
    상기 대상 식물의 뿌리 부분, 잎 부분, 줄기 부분, 열매 부분 중 적어도 하나를 포함하는,
    드론 시스템.
  6. 제1항에 있어서,
    상기 대상 식물은
    시설물에 부착하거나, 상기 시설물에 감겨 오르는 덩굴 식물(climbing plant)을 포함하는,
    드론 시스템.
  7. 제1항에 있어서,
    상기 화학 물질은
    제초재, 농약, 및 비료 중 적어도 하나를 포함하는,
    드론 시스템.
  8. 드론의 전방 영역을 촬영한 제1 영상 및 상기 드론의 분무기의 분사 노즐이 향하는 근접 영역을 촬영한 제2 영상 중 적어도 하나의 영상을 수신하는 단계;
    대상 식물의 뿌리 부분을 포함하는 적어도 일부의 관심 영역을 인식하도록 학습된 신경망을 이용하여 상기 적어도 하나의 영상으로부터 상기 관심 영역의 위치를 파악하는 단계;
    상기 분사 노즐이 상기 관심 영역의 위치에 도달하도록 상기 드론의 위치 및 상기 분사 노즐의 위치 중 적어도 하나의 위치를 제어하는 단계; 및
    상기 제어된 위치에서 상기 분사 노즐을 통해 화학 물질을 분사하는 단계
    를 포함하는,
    드론 시스템의 제어 방법.
  9. 제8항에 있어서,
    상기 관심 영역은
    상기 대상 식물의 뿌리 부분, 잎 부분, 줄기 부분, 열매 부분 중 적어도 하나를 포함하는,
    드론 시스템의 제어 방법.
  10. 제8항에 있어서,
    상기 관심 영역의 위치를 파악하는 단계는
    상기 신경망을 이용하여 상기 제1 영상으로부터 상기 대상 식물의 위치를 파악하는 단계
    를 포함하고,
    상기 적어도 하나의 위치를 제어하는 단계는
    상기 대상 식물의 위치로 상기 드론을 이동시키는 단계
    를 포함하는,
    드론 시스템의 제어 방법.
  11. 제8항에 있어서,
    상기 관심 영역의 위치를 파악하는 단계는
    상기 신경망을 이용하여 상기 제2 영상으로부터 상기 대상 식물의 뿌리의 위치를 파악하는 단계
    를 포함하고,
    상기 적어도 하나의 위치를 제어하는 단계는
    상기 분무기의 분사 노즐이 상기 대상 식물의 뿌리의 위치를 향하도록 상기 분사 노즐의 전후 위치를 제어하는 단계
    를 포함하는,
    드론 시스템의 제어 방법.
  12. 제8항에 있어서,
    상기 대상 식물은
    시설물에 부착하거나, 상기 시설물에 감겨 오르는 덩굴 식물을 포함하는,
    드론 시스템의 제어 방법.
  13. 제8항에 있어서,
    상기 화학 물질은
    제초재, 농약, 및 비료 중 적어도 하나를 포함하는,
    드론 시스템의 제어 방법.
  14. 하드웨어와 결합되어 제8항 내지 제13항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
KR1020190166791A 2019-12-13 2019-12-13 드론 시스템 및 드론 시스템의 제어 방법 KR20210076255A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190166791A KR20210076255A (ko) 2019-12-13 2019-12-13 드론 시스템 및 드론 시스템의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190166791A KR20210076255A (ko) 2019-12-13 2019-12-13 드론 시스템 및 드론 시스템의 제어 방법

Publications (1)

Publication Number Publication Date
KR20210076255A true KR20210076255A (ko) 2021-06-24

Family

ID=76606968

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190166791A KR20210076255A (ko) 2019-12-13 2019-12-13 드론 시스템 및 드론 시스템의 제어 방법

Country Status (1)

Country Link
KR (1) KR20210076255A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102427259B1 (ko) * 2021-12-08 2022-08-01 유웅재 태양광 발전시설 제초용 드론

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102427259B1 (ko) * 2021-12-08 2022-08-01 유웅재 태양광 발전시설 제초용 드론

Similar Documents

Publication Publication Date Title
AU2019246795B2 (en) Automatic target recognition and dispensing system
US9852362B2 (en) Object image recognition and instant active response with enhanced application and utility
US10026165B1 (en) Object image recognition and instant active response
Berenstein et al. Automatic adjustable spraying device for site-specific agricultural application
US20180204321A1 (en) Object image recognition and instant active response with enhanced application and utility
JP2020525685A (ja) 雑草防除装置
KR102379398B1 (ko) 방제용 드론과 이를 이용한 자율 분사 포지셔닝 시스템 및 방법
KR102218863B1 (ko) 드론을 이용한 실시간 변량 살포 방법 및 드론을 이용한 실시간 변량 살포 시스템
EP3455827B1 (en) Object image recognition and instant active response with enhanced application and utility
CN113749078A (zh) 一种多路喷头独立控制方法及系统
KR20210076255A (ko) 드론 시스템 및 드론 시스템의 제어 방법
JP2001292684A (ja) 農薬・肥料散布制御システム
KR102089423B1 (ko) 시비 및 방제를 위한 실시간 드론 제어 방법 및 실시간 드론 제어 시스템
US11758837B2 (en) Spray apparatus for a vehicle
CN111818796A (zh) 用于喷洒管理的设备
CN113439726B (zh) 一种基于5g网络的植保无人机精准对靶喷洒方法及装置
EP4358712A1 (en) Targeted treatment of specific weed species with multiple treatment devices
US20210321553A1 (en) Methods and systems for applying a remedy for a region under cultivation
US20240074425A1 (en) Robotic sprayer
US20240074428A1 (en) System and method for adjustable targeting in field treatment
TW201519954A (zh) 自動噴灑系統及其方法

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination