KR20210071062A - 분포 정보의 확정 방법, 무인 항공기의 제어 방법 및 장치 - Google Patents
분포 정보의 확정 방법, 무인 항공기의 제어 방법 및 장치 Download PDFInfo
- Publication number
- KR20210071062A KR20210071062A KR1020217014072A KR20217014072A KR20210071062A KR 20210071062 A KR20210071062 A KR 20210071062A KR 1020217014072 A KR1020217014072 A KR 1020217014072A KR 20217014072 A KR20217014072 A KR 20217014072A KR 20210071062 A KR20210071062 A KR 20210071062A
- Authority
- KR
- South Korea
- Prior art keywords
- target
- image information
- distribution
- information
- area
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000012790 confirmation Methods 0.000 title description 2
- 239000003814 drug Substances 0.000 claims abstract description 90
- 229940079593 drug Drugs 0.000 claims abstract description 87
- 238000012549 training Methods 0.000 claims abstract description 28
- 241000196324 Embryophyta Species 0.000 claims abstract description 27
- 239000007921 spray Substances 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims description 72
- 238000010586 diagram Methods 0.000 claims description 43
- 238000005507 spraying Methods 0.000 claims description 19
- 239000000575 pesticide Substances 0.000 abstract description 12
- 239000002699 waste material Substances 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 239000002837 defoliant Substances 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000004009 herbicide Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000447 pesticide residue Substances 0.000 description 1
- 239000010914 pesticide waste Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/003—Flight plan management
-
- B64C2201/12—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
- B64D1/16—Dropping or releasing powdered, liquid, or gaseous matter, e.g. for fire-fighting
- B64D1/18—Dropping or releasing powdered, liquid, or gaseous matter, e.g. for fire-fighting by spraying, e.g. insecticides
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/40—UAVs specially adapted for particular uses or applications for agriculture or forestry operations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Pest Control & Pesticides (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
- Catching Or Destruction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
분포 정보의 확정 방법, 무인 항공기의 제어 방법 및 장치에 관한 것이다. 제어 방법은 타겟 영역의 이미지 정보를 획득하는 단계(S102), 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 타겟 영역 중 타겟 대상의 분포 정보를 얻는 단계(S104), 및 분포 정보를 기반으로 무인 항공기가 타겟 대상에 약물을 살포하도록 제어하는 단계(S106)를 포함하고, 기설정 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻고, 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 타겟 영역의 샘플 이미지 정보 및 샘플 이미지 정보 중 타겟 대상의 분포 정보를 표기하기 위한 라벨을 포함한다. 농작물 및 잡초 구분이 어려워 약물의 낭비 및 농약 잔류 등을 초래하는 기술 과제를 해결하였다.
Description
관련 출원의 상호 참조
본 출원은 2018년 10월 18일자로 중국지적재산국에 제출한 출원 번호가 201811217967.X이고, 명칭이 "분포 정보의 확정 방법, 무인 항공기의 제어 방법 및 장치"인 중국 특허 출원의 우선권을 주장하고, 그 출원의 모든 내용은 본 출원에 참조로 포함된다.
본 출원은 식물 보호 분야에 관한 것이고, 구체적으로 분포 정보의 확정 방법, 무인 항공기의 제어 방법 및 장치에 관한 것이다.
현재 대체로는 광범위한 살포 방안을 이용하여 무인기로 제초제 또는 고엽제를 살포하고 있고, 광범위한 살포일 경우 대량의 농약 낭비, 농약 잔류 또는 일부 잡초 피해가 심한 곳에 농약 사용량이 부족한 문제를 초래할 수 있어, 막중한 경제 손실을 초래한다.
본 실시예는 적어도 관련 기술 중 농작물 및 잡초의 구분이 어려워 농약의 낭비 및 농약 잔류 등을 초래하는 기술 과제를 해결하도록 분포 정보의 확정 방법, 무인 항공기의 제어 방법 및 장치를 제공한다.
본 실시예의 일 측면에 따르면, 무인 항공기의 제어 방법을 제공하고, 타겟 영역의 처리 대기 이미지 정보를 획득하는 단계, 처리 대기 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 처리 대기 이미지 중 타겟 대상의 분포 정보를 얻는 단계, 및 처리 대기 이미지에 대응되는 분포 정보를 기반으로 무인 항공기가 타겟 대상에 약물을 살포하도록 제어하는 단계를 포함하고, 여기서 기설정 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻고, 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 타겟 영역의 샘플 이미지 정보 및 샘플 이미지 정보 중 타겟 대상의 분포 정보를 표기하기 위한 라벨을 포함한다.
선택적으로, 상기 기설정 모델의 트레이닝 단계는,
샘플 이미지 정보를 획득하고, 상기 샘플 이미지 정보 중 타겟 대상의 위치를 표지하여, 해당 샘플 이미지 정보에 대응되는 타겟 대상의 분포 정보의 라벨을 획득하며, 상기 샘플 이미지 및 대응되는 라벨을 기설정 모델에 입력하는 단계,
상기 기설정 모델 중의 제1 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 샘플 이미지 정보의 제1 콘볼루션 이미지를 획득하는 단계,
상기 기설정 모델 중의 상기 제1 콘볼루션 네트워크 모델과 적용하는 콘볼루션 커널이 서로 다른 제2 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 샘플 이미지 정보의 제2 콘볼루션 이미지를 획득하는 단계,
상기 샘플 이미지 정보의 제1 콘볼루션 이미지 및 제2 콘볼루션 이미지를 병합하여 병합 이미지를 얻는 단계, 및
상기 병합 후의 이미지에 대해 디콘볼루션 처리를 진행하고, 디콘볼루션 처리 결과 및 상기 샘플 이미지의 라벨을 기반으로 역전파를 진행하여, 상기 기설정 모델 각 부분의 파라미터를 조절하는 단계를 포함한다.
선택적으로, 상기 처리 대기 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 상기 처리 대기 이미지 정보 중 타겟 대상의 분포 정보를 얻는 단계는,
처리 대기 이미지 정보를 트레이닝된 상기 기설정 모델에 입력하는 단계,
상기 기설정 모델 중의 제1 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 처리 대기 이미지 정보의 제1 콘볼루션 이미지를 획득하는 단계,
상기 기설정 모델 중의 제2 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 처리 대기 이미지 정보의 제2 콘볼루션 이미지를 획득하는 단계, 및
상기 처리 대기 이미지 정보의 제1 콘볼루션 이미지 및 제2 콘볼루션 이미지를 병합하고, 병합 후의 이미지에 대해 디콘볼루션 처리를 진행하여, 상기 처리 대기 이미지의 대응되는 밀도도를 획득하여 상기 처리 대기 이미지 중 타겟 대상의 분포 정보로 하는 단계를 포함한다.
선택적으로, 상기 밀도도 중 픽셀의 값은 해당 픽셀 대응 위치 상의 상기 타겟 대상의 분포 밀도값이다.
선택적으로, 상술한 샘플 이미지 정보는 타겟 대상의 밀도도를 포함하고, 해당 밀도도는 타겟 영역 중 각 분포 영역에서의 타겟 대상의 밀도 크기를 반영하는 데 사용된다.
선택적으로, 상술한 밀도도에 타겟 대상의 밀도 크기를 표시하기 위한 표기를 구비한다.
선택적으로, 상술한 분포 정보는, 타겟 영역 중 각 분포 영역 내의 타겟 대상의 밀도 및 타겟 대상이 위치하는 분포 영역의 면적 중 적어도 하나를 포함하고, 분포 정보를 기반으로 무인 항공기가 타겟 대상에 약물을 살포하도록 제어하는 단계는, 분포 영역 중 타겟 대상의 밀도를 기반으로 분포 영역에서의 무인 항공기의 약물 살포량 또는 살포 지속 시간을 확정하는 단계, 및/또는 타겟 대상이 위치하는 분포 영역의 면적을 기반으로 약물 살포 폭을 확정하는 단계를 포함한다.
선택적으로, 분포 정보는 타겟 영역에서의 타겟 대상의 분포 영역을 더 포함하고, 해당 방법은, 분포 영역에서의 타겟 대상의 위치를 기반으로 무인 항공기의 비행 경로를 확정하는 단계, 및 무인 항공기가 비행 경로에 따라 이동하도록 제어하는 단계를 더 포함한다.
선택적으로, 분포 정보를 기반으로 무인 항공기가 타겟 대상에 약물을 살포하도록 제어하는 단계 후, 해당 방법은, 타겟 영역 중 무인 항공기의 나머지 분포 영역을 검측하는 단계, 나머지 분포 영역 중 타겟 대상의 밀도 및 나머지 분포 영역의 총 면적을 확정하는 단계, 나머지 분포 영역 중 타겟 대상의 밀도 및 나머지 분포 영역의 총 면적을 기반으로 나머지 분포 영역에 필요한 총 약물량을 확정하는 단계, 무인 항공기의 나머지 약물량과 총 약물량의 차이값을 확정하는 단계, 차이값 및 기설정 역치를 비교하고, 비교 결과를 기반으로 무인 항공기의 비행 경로를 조절하는 단계를 더 포함하고, 나머지 분포 영역은 타겟 영역 중 약물을 살포하지 않은 분포 영역이다.
선택적으로, 분포 정보를 기반으로 무인 항공기가 타겟 대상에 약물을 살포하도록 제어하는 단계 전에, 해당 방법은, 분포 정보 중 타겟 영역에서의 타겟 대상의 분포 영역 크기 및 분포 영역에서의 타겟 대상의 밀도 크기를 기반으로 무인 항공기의 타겟 약물 용량을 확정하는 단계를 더 포함한다.
본 실시예의 다른 측면에 따르면, 무인 항공기의 제어 장치를 제공하고, 제어 장치는 타겟 영역의 이미지 정보를 획득하기 위한 획득 모듈, 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 타겟 영역 중 타겟 대상의 분포 정보를 얻는 분석 모듈 및 분포 정보를 기반으로 무인 항공기가 타겟 대상에 약물을 살포하도록 제어하기 위한 제어 모듈을 포함하고, 여기서 기설정 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻고, 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 타겟 영역의 샘플 이미지 정보 및 샘플 이미지 정보 중 타겟 대상의 분포 정보를 표기하기 위한 라벨을 포함한다.
본 실시예의 또 다른 측면에 따르면, 무인 항공기를 제공하고, 무인 항공기는 타겟 영역의 이미지 정보를 획득하기 위한 이미지 수집 장치 및 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 타겟 영역 중 타겟 대상의 분포 정보를 얻기 위한 프로세서를 포함하고, 여기서 기설정 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻고, 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 타겟 영역의 샘플 이미지 정보 및 샘플 이미지 정보 중 타겟 대상의 분포 정보를 표기하기 위한 라벨을 포함한다. 상기 프로세서는 또한 분포 정보를 기반으로 무인 항공기가 타겟 대상에 약물을 살포하도록 제어한다.
본 실시예의 또 다른 측면에 따르면, 무인 항공기를 제공하고, 무인 항공기는 지정 설비에서 전송한 타겟 영역의 이미지 정보를 수신하기 위한 통신 모듈 및 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 타겟 영역 중 타겟 대상의 분포 정보를 얻기 위한 프로세서를 포함하고, 여기서 지정 설비는 인터넷측 서버 또는 측량 제도 무인기를 포함하고, 기설정 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻으며, 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 타겟 영역의 샘플 이미지 정보 및 샘플 이미지 정보 중 타겟 대상의 분포 정보를 표기하기 위한 라벨을 포함한다. 상기 프로세서는 또한 분포 정보를 기반으로 무인 항공기가 타겟 대상에 약물을 살포하도록 제어한다.
본 실시예의 또 따른 측면에 따르면, 저장 매체를 제공하고, 해당 저장 매체는 저장된 프로그램을 포함하며, 여기서 프로그램 작동 시에 저장 매체가 설치된 설비가 이상의 분포 정보의 확정 방법을 실행하도록 제어한다.
본 실시예의 또 따른 측면에 따르면, 프로세서를 제공하고, 해당 프로세서는 프로그램을 작동하는 데 사용되며, 여기서 프로그램 작동 시에 이상의 분포 정보의 확정 방법을 실행한다.
본 실시예의 또 따른 측면에 따르면, 타겟 대상의 분포 정보 확정 방법을 제공하고, 해당 방법은, 타겟 영역의 이미지 정보를 획득하는 단계, 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 타겟 영역 중 타겟 대상의 분포 정보를 얻는 단계를 포함하고, 여기서 기설정 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻고, 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 샘플 이미지 정보 및 샘플 이미지 정보 중 타겟 대상의 분포 정보를 표기하기 위한 라벨을 포함한다.
선택적으로, 상기 기설정 모델의 트레이닝 단계는,
샘플 이미지 정보를 획득하고, 상기 샘플 이미지 정보 중 타겟 대상의 위치를 표지하여, 해당 샘플 이미지 정보에 대응되는 타겟 대상의 분포 정보의 라벨을 획득하며, 상기 샘플 이미지 및 대응되는 라벨을 기설정 모델에 입력하는 단계,
상기 기설정 모델 중의 제1 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 샘플 이미지 정보의 제1 콘볼루션 이미지를 획득하는 단계,
상기 기설정 모델 중의 상기 제1 콘볼루션 네트워크 모델과 적용하는 콘볼루션 커널이 서로 다른 제2 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 샘플 이미지 정보의 제2 콘볼루션 이미지를 획득하는 단계,
상기 샘플 이미지 정보의 제1 콘볼루션 이미지 및 제2 콘볼루션 이미지를 병합하여 병합 이미지를 얻는 단계, 및
상기 병합 후의 이미지에 대해 디콘볼루션 처리를 진행하고, 디콘볼루션 처리 결과 및 상기 샘플 이미지의 라벨을 기반으로 역전파를 진행하여, 상기 기설정 모델 각 부분의 파라미터를 조절하는 단계를 포함한다.
선택적으로, 상기 처리 대기 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 상기 처리 대기 이미지 정보 중 타겟 대상의 분포 정보를 얻는 단계는,
처리 대기 이미지 정보를 트레이닝된 상기 기설정 모델에 입력하는 단계,
상기 기설정 모델 중의 제1 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 처리 대기 이미지 정보의 제1 콘볼루션 이미지를 획득하는 단계,
상기 기설정 모델 중의 제2 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 처리 대기 이미지 정보의 제2 콘볼루션 이미지를 획득하는 단계, 및
상기 처리 대기 이미지 정보의 제1 콘볼루션 이미지 및 제2 콘볼루션 이미지를 병합하고, 병합 후의 이미지에 대해 디콘볼루션 처리를 진행하여, 상기 처리 대기 이미지의 대응되는 밀도도를 획득하여 상기 처리 대기 이미지 중 타겟 대상의 분포 정보로 하는 단계를 포함한다.
선택적으로, 상기 밀도도 중 픽셀의 값은 해당 픽셀 대응 위치 상의 상기 타겟 대상의 분포 밀도값이다.
선택적으로, 샘플 이미지 정보는 타겟 대상의 밀도도를 포함하고, 해당 밀도도는 타겟 영역 중 각 분포 영역에서의 타겟 대상의 밀도 크기를 반영하는 데 사용된다.
선택적으로, 밀도도에 타겟 대상의 밀도 크기를 표시하기 위한 표기를 구비한다.
선택적으로, 타겟 영역이 복수이고, 복수의 타겟 영역이 여러 판매 영역에 위치할 경우, 복수의 타겟 영역 중 타겟 대상의 밀도도를 기반으로 약물의 목표 판매 영역을 확정한다.
선택적으로, 분포 정보는 타겟 영역에서의 타겟 대상의 분포 영역을 더 포함하고, 상술한 방법은 분포 영역에서의 타겟 대상의 위치를 기반으로 무인 항공기의 비행 경로를 확정하는 단계를 더 포함한다.
선택적으로, 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 타겟 영역 중 타겟 대상의 분포 정보를 얻는 단계 후, 해당 방법은, 타겟 대상의 종류를 확정하는 단계, 종류 및 분포 정보를 기반으로 타겟 영역 중 각 서브 영역의 투약 정보를 확정하는 단계, 및 타겟 영역의 이미지 정보에 투약 정보를 표기하기 위한 표기 정보를 추가하여 타겟 영역의 처방도를 얻는 단계를 포함하고, 해당 투약 정보는 타겟 영역의 서브 영역에서의 타겟 대상의 약물 종류 및 타겟 약살포량을 포함한다.
선택적으로, 상기 타겟 영역은 약을 뿌려야 하는 농경지이고, 상기 타겟 대상은 잡초이다.
본 출원의 실시예에 있어서, 타겟 영역의 이미지 정보를 획득하고, 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 타겟 영역 중 타겟 대상의 분포 정보를 얻고, 분포 정보를 기반으로 무인 항공기가 타겟 대상에 약물을 살포하도록 제어하며, 여기서 기설정 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻고, 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 타겟 영역의 이미지 정보, 이미지 정보 중 타겟 대상의 분포 정보를 표기하기 위한 라벨을 포함한다. 이로써, 서로 다른 영역에서의 잡초의 분포 밀도에 대해 맞춤형으로 약 살포량을 제어함으로써, 서로 다른 영역에서의 잡초의 분포 밀도에 결부하여 약 살포량을 설정하므로, 농약을 절약하고 약 살포 효율을 향상시키는 기술 효과를 실현하고, 나아가 관련 기술 중 농작물 및 잡초 구분이 어려워 약물의 낭비 및 농약 잔류 등을 초래하는 기술 과제를 해결하였다.
여기서 설명하고자 하는 첨부 도면은 본 출원의 추가적인 이해를 돕기 위해 제공되는 것으로 본 출원의 일부분에 속하며, 본 출원의 예시적인 실시예 및 그 설명은 본 출원을 해석하는 데 사용되며, 본 출원을 한정하고자 하는 것이 아니다. 첨부 도면에서,
도 1은 본 출원의 실시예에 따른 무인 항공기의 제어 방법의 흐름 개략도이다.
도 2는 본 출원의 실시예에 따른 기설정 모델을 트레이닝하는 흐름 개략도이다.
도 3a 및 도 3b는 본 출원의 실시예에 따른 샘플 이미지 및 그 라벨의 개략도이다.
도 4는 본 출원의 실시예에 따른 다른 하나의 기설정 모델을 트레이닝하는 흐름 개략도이다.
도 5는 본 출원의 실시예에 따른 밀도도의 개략도이다.
도 6은 본 출원의 실시예에 따른 선택 가능한 무인 항공기의 제어 장치의 구조 개략도이다.
도 7은 본 출원의 실시예에 따른 선택 가능한 무인 항공기의 구조 개략도이다.
도 8은 본 출원의 실시예에 따른 다른 선택 가능한 무인 항공기의 구조 개략도이다.
도 9는 본 출원의 실시예에 따른 분포 정보의 확정 방법의 흐름 개략도이다.
도 1은 본 출원의 실시예에 따른 무인 항공기의 제어 방법의 흐름 개략도이다.
도 2는 본 출원의 실시예에 따른 기설정 모델을 트레이닝하는 흐름 개략도이다.
도 3a 및 도 3b는 본 출원의 실시예에 따른 샘플 이미지 및 그 라벨의 개략도이다.
도 4는 본 출원의 실시예에 따른 다른 하나의 기설정 모델을 트레이닝하는 흐름 개략도이다.
도 5는 본 출원의 실시예에 따른 밀도도의 개략도이다.
도 6은 본 출원의 실시예에 따른 선택 가능한 무인 항공기의 제어 장치의 구조 개략도이다.
도 7은 본 출원의 실시예에 따른 선택 가능한 무인 항공기의 구조 개략도이다.
도 8은 본 출원의 실시예에 따른 다른 선택 가능한 무인 항공기의 구조 개략도이다.
도 9는 본 출원의 실시예에 따른 분포 정보의 확정 방법의 흐름 개략도이다.
본 기술분야의 기술자가 본 출원의 방안을 더욱 잘 이해하도록 하기 위해, 이하 본 출원의 실시예의 첨부 도면에 결부하여, 본 출원의 실시예에 따른 기술 방안을 더욱 명백하고 완전하게 설명할 것이나, 설명하고자 하는 실시예는 본 출원의 일부 실시예에 불과하고, 전체 실시예가 아닌 것은 자명한 것이다. 본 출원의 실시예에 기초하여, 본 기술 분야의 통상의 기술자가 창조적인 노력을 들이지 않는 전제하에 얻는 모든 다른 실시예가 모두 본 출원의 청구범위 내에 속하는 것은 자명한 것이다.
유의해야 할 점은 본 출원의 명세서, 특허 청구범위 및 상술한 첨부 도면에 기재된 용어 "제1", "제2" 등은 유사한 대상을 구분하기 위한 것이고, 특정된 순서 또는 선후 순서를 설명하기 위한 것이 아니다. 이렇게 사용되는 데이터는 적합한 상황에 따라 호환되어, 여기서 설명하는 본 출원의 실시예가 본 출원에서 도시되거나 설명되는 이외의 순서에 따라 실시될 수 있음을 이해해야 한다. 그 외에, 용어 "포함", "구비" 및 이들의 임의의 변형은 비배타적인 포함을 의도한 것이고, 예를 들어 일련의 단계 또는 유닛의 과정, 방법, 시스템, 제품 또는 설비를 포함한다는 것은 명백하게 열거한 그러한 단계 또는 유닛에만 한정될 필요가 없고, 명백하게 열거되지 않은 과정, 방법, 제품 또는 설비의 고유한 다른 단계 또는 유닛을 포함할 수 있다.
본 출원의 실시예에 따르면, 무인 항공기의 제어 방법의 실시예를 제공하고, 유의해야 할 점은, 첨부 도면의 흐름도에서 보여준 단계는 예를 들어 일 세트의 컴퓨터가 실행 가능한 명령의 컴퓨터 시스템에서 실행될 수 있고, 흐름도에서 로직 순서를 보여주었으나, 어떤 상황에서는 여기서 도시된 순서와 다른 순서로 도시되거나 설명된 단계를 실행할 수 있다.
도 1은 본 실시예에 따른 무인 항공기의 제어 방법의 흐름 개략도이고, 도 1에 나타낸 바와 같이, 해당 방법은 이하의 단계를 포함한다.
단계 S102: 타겟 영역의 처리 대기 이미지 정보를 획득한다.
선택적으로, 무인 항공기에 설치된 이미지 수집 장치를 통해 타겟 영역의 이미지를 촬영하여 상기 처리 대기 이미지 정보를 얻을 수 있다. 타겟 영역은 한 뙈기 또는 여러 뙈기의 약을 뿌려야 하는 농경지일 수 있다. 무인 항공기에 위치 추적 시스템을 설치하여, 위치 추적 시스템을 통해 현재 타겟 영역의 면적 정보 및 경위도 정보를 확정할 수 있다.
단계 S104: 처리 대기 이미지 정보를 기설정 모델(preset model)에 입력하고 분석을 거쳐, 타겟 영역 중 타겟 대상의 분포 정보를 얻는다.
선택적으로, 타겟 대상은 농경지 중의 잡초일 수 있다.
여기서, 기설정 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻고, 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 타겟 영역의 샘플 이미지 정보 및 샘플 이미지 정보 중 타겟 대상의 분포 정보를 표기하기 위한 라벨을 포함한다.
예를 들어, 잡초 유형을 식별하기 위한 잡초 식별 모델을 트레이닝할 수 있고, 상기 잡초 식별 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻으며, 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 타겟 영역의 샘플 이미지 정보, 샘플 이미지 정보 중 타겟 대상의 유형을 표기하기 위한 라벨을 포함한다.
선택적으로, 타겟 영역의 이미지 정보를 획득한 후, 이미지 정보를 기설정 잡초 식별 모델에 입력하고 분석을 거쳐 타겟 영역 중 타겟 대상의 유형을 얻되, 여기서 타겟 대상은 잡초이다.
단계 S106: 상기 처리 대기 이미지에 대응되는 분포 정보를 기반으로 상기 무인 항공기가 상기 타겟 대상에 대해 약물을 살포하도록 제어한다.
분포 정보는, 상기 타겟 영역 중 각각의 분포 영역 내에서의 상기 타겟 대상의 밀도 및 상기 타겟 대상이 위치하는 분포 영역의 면적일 수 있다.
상기 분포 정보를 기반으로 상기 무인 항공기가 상기 타겟 대상에 대해 약물을 살포하도록 제어하는 단계는 아래와 같은 방식으로 실현될 수 있다. 즉,
분포 영역 중 상기 타겟 대상의 밀도를 기반으로 상기 분포 영역에서의 상기 무인 항공기의 약물 살포량 또는 살포 지속 시간을 확정하는 방식, 및/또는 상기 타겟 대상이 위치하는 분포 영역의 면적을 기반으로 약물 살포 폭을 확정하는 방식을 통해 실현될 수 있다.
선택적으로, 분포 영역 중 타겟 대상의 밀도가 클수록, 대응 분포 영역에서의 무인 항공기의 약물 살포량이 더욱 크고, 살포 지속 시간이 더욱 길다. 타겟 대상이 위치하는 분포 영역의 면적이 클수록, 무인 항공기의 약물 살포 폭이 더욱 크다. 분포 영역에서의 타겟 대상의 밀도 및 분포 영역에서의 타겟 대상의 면적을 종합적으로 고려하여, 대응 분포 영역에서의 무인 항공기의 약물 살포량을 확정한다. 예를 들어, 분포 영역 중 타겟 대상의 밀도 크기에 기초하여 약 살포량을 확정한다. 여기서, 약물 살포의 폭은 수직폭일 수 있고, 수평폭일 수도 있다.
타겟 대상의 분포 정보는, 상기 타겟 영역에서의 상기 타겟 대상의 분포 영역을 더 포함하고, 구체적으로, 획득한 타겟 영역의 이미지 정보에 기초하여, 이미지에서의 이미지 중 분포 영역의 화소 영역를 확정하고, 및/또는 위치 추적 장치를 통해 타겟 영역 내에서 타겟 대상이 차지하는 경위도 범위를 확정할 수 있다.
선택적으로, 상기 타겟 상대의 분포 영역이 위치하는 위치를 기반으로 상기 무인 항공기의 비행 경로를 확정하고, 상기 무인 항공기가 상기 비행 경로에 따라 이동하도록 제어할 수 있다.
구체적으로, 잡초가 없는 영역을 피해 비행 경로를 확정하고, 무인 항공기가 비행 경로에 따라 이동하도록 제어할 수 있다.
상기 분포 정보를 기반으로 상기 무인 항공기가 상기 타겟 대상에 대해 약물을 살포하도록 제어한 후, 아래와 같은 단계를 더 포함할 수 있다. 즉,
상기 타겟 영역 중 상기 무인 항공기의 나머지 분포 영역을 검측하는 단계, 상기 나머지 분포 영역 중 상기 타겟 대상의 밀도 및 상기 나머지 분포 영역의 총 면적을 확정하는 단계, 상기 나머지 분포 영역 중 상기 타겟 대상의 밀도 및 상기 나머지 분포 영역의 총 면적을 기반으로 상기 나머지 분포 영역에 필요한 총 약물량을 확정하는 단계, 상기 무인 항공기의 나머지 약물량과 상기 총 약물량의 차이값을 확정하는 단계, 및 상기 차이값 및 기설정 역치를 비교하고, 비교 결과에 기초하여 상기 무인 항공기의 비행 경로를 조절하는 단계를 더 포함할 수 있고, 여기서 상기 나머지 분포 영역은 상기 타겟 영역 중 약물을 살포하지 않은 분포 영역이다.
선택적으로, 나머지 약물량과 상술한 총 약물량의 차이값이 마이너스 값일 경우, 농약을 다시 적재하도록 무인 항공기의 비행 경로를 복귀 경로로 조절할 수 있다. 여기서, 복귀 도중에 복귀 경로 상의 농경지에 약물을 살포할 수 있다.
선택적으로, 비행 경로를 복귀 경로로 조절하기 전에, 약물을 살포하지 않은 타겟 대상의 영역 및 나머지 약물량에 따라 복귀 경로를 계획하여, 복귀 도중에 어느 한 완전한 농경지 영역에 대해 약을 살포할 수 있다.
선택적으로, 상기 분포 정보를 기반으로 상기 무인 항공기가 상기 타겟 대상에 대해 약물을 살포하도록 제어하기 전에, 이미지 수집 장치를 통해 타겟 영역의 이미지 정보를 획득하고, 이미지 정보를 기설정 모델에 입력하여, 이미지 정보에서 타겟 영역 중 타겟 대상의 분포 정보를 확정하며, 분포 정보에서 타겟 영역 중의 타겟 대상의 분포 영역 크기 및 상기 분포 영역에서의 상기 타겟 대상의 밀도 크기에 기초하여 상기 무인 항공기의 타겟 약물 용량을 확정할 수 있다.
선택적으로, 분포 정보 중 타겟 영역에서의 타겟 대상의 분포 영역이 비교적 작고, 상기 분포 영역에서의 상기 타겟 대상의 밀도가 비교적 큰 점에 기초하여 타겟 약물 용량을 확정한다. 분포 정보 중 타겟 영역에서의 타겟 대상의 분포 영역이 비교적 크고, 상기 분포 영역에서의 상기 타겟 대상의 밀도가 비교적 작은 점에 기초하여 타겟 약물 용량을 확정한다. 분포 정보 중 타겟 영역에서의 타겟 대상의 분포 영역이 비교적 작고, 상기 분포 영역에서의 상기 타겟 대상의 밀도가 비교적 작은 점에 기초하여 타겟 약물 용량을 확정한다. 분포 정보 중 타겟 영역에서의 타겟 대상의 분포 영역이 비교적 크고, 상기 분포 영역에서의 상기 타겟 대상의 밀도가 비교적 큰 점에 기초하여 타겟 약물 용량을 확정한다. 무인 항공기의 타겟 약물 용량을 확정한 후 농약을 적재한다.
도 2를 참조하면, 기설정 모델의 트레이닝 방법은 이하의 단계를 포함할 수 있다.
단계 S302: 샘플 이미지 정보를 획득하고, 상기 샘플 이미지 정보 중 타겟 대상의 위치를 표지하여, 해당 샘플 이미지 정보에 대응되는 타겟 대상의 분포 정보의 라벨을 획득한다.
선택적으로, 샘플 이미지 정보에 대응되는 이미지는 RGB 이미지이다.
선택 가능하게, 라벨을 통해 샘플 이미지 정보 중 타겟 대상의 분포 정보를 표기할 수 있다. 라벨은 타겟 영역에서의 타겟 대상의 경위도 분포 범위 및/또는 사진 중 화소 분포 범위를 포함한다. 예를 들어, 도 3a를 참조하면, 가위표 "x"로 농작물 구역을 나타내고, 동그라미 "Ο"으로 잡초 구역을 나타낼 수 있다. 도 3b를 참조하면, 도 3b는 라이브 전자 지도 상의 타겟 대상에 대한 표기이고, 여기서 짙은 색 영역은 잡초이고, 옅은 색 영역은 농작물이다.
단계 S304: 상기 기설정 모델 중의 제1 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 샘플 이미지 정보의 제1 콘볼루션 이미지를 획득한다.
단계 S306: 상기 기설정 모델 중의 제2 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 샘플 이미지 정보의 제2 콘볼루션 이미지를 획득하고, 여기서 상기 제1 콘볼루션 네트워크 모델 및 제2 콘볼루션 네트워크 모델이 적용하는 콘볼루션 커널은 서로 다르다.
선택적으로, 제1 콘볼루션 네트워크 모델의 콘볼루션 커널의 크기는 3*3일 수 있고, 콘볼루션 스트라이드는 2로 설정할 수 있다.
선택적으로, 샘플 이미지 정보는 RGB 이미지이고, R, G, B의 3개의 차원을 구비하며, 제1 콘볼루션 네트워크 모델을 이용하여 상기 표지 이미지에 대해 콘볼루션 처리를 진행하여 제1 콘볼루션 이미지를 얻는 과정에서 다운 샘플링을 진행할 수 있다. 또한, 제1 콘볼루션 이미지의 차원을 설정할 수도 있다.
선택적으로, 제1 콘볼루션 네트워크 모델을 이용하여 상기 표지 이미지에 대해 콘볼루션 처리를 진행하여 제1 콘볼루션 이미지를 얻는 과정에서 여러 차례 콘볼루션을 진행할 수 있고, 매 차례 콘볼루션 시에 콘볼루션 커널의 크기는 모두 3*3이고, 콘볼루션 스트라이드는 2이며, 매 차례 콘볼루션은 모두 다운 샘플링을 진행한다. 매 차례 다운 샘플링 완료 후, 이미지는 다운 샘플링 전 이미지의 1/2 크기이므로 데이터 처리량을 대폭 줄일 수 있고, 데이터의 연산 속도를 향상시킨다.
선택적으로, 제2 콘볼루션 네트워크 모델의 콘볼루션 커널의 크기는 5*5로 설정할 수 있고, 콘볼루션 스트라이드는 2로 설정할 수 있다.
샘플 이미지 정보는 RGB 이미지이고, R, G, B의 3개의 차원을 구비하며, 제2 콘볼루션 네트워크 모델을 이용하여 상기 표지 이미지에 대해 콘볼루션 처리를 진행하여 제2 콘볼루션 이미지를 얻는 과정에서 다운 샘플링을 진행할 수 있다. 또한, 제2 콘볼루션 이미지의 차원을 설정할 수도 있다.
선택적으로, 제2 콘볼루션 네트워크 모델을 이용하여 상기 표지 이미지에 대해 콘볼루션 처리를 진행하여 제2 콘볼루션 이미지를 얻는 과정에서 여러 차례 콘볼루션을 진행할 수 있고, 매 차례 콘볼루션 시에 콘볼루션 커널은 모두 5*5이고, 콘볼루션 스트라이드는 2이며, 매 차례 콘볼루션은 모두 다운 샘플링을 진행한다. 매 차례 다운 샘플링 완료 후, 이미지는 다운 샘플링 전 이미지의 1/2 크기이므로 데이터 처리량을 대폭 줄일 수 있고, 데이터의 연산 속도를 향상시킨다.
제1 콘볼루션 이미지와 제2 콘볼루션 이미지의 이미지 크기는 서로 같다.
단계 S308: 상기 샘플 이미지 정보의 제1 콘볼루션 이미지 및 제2 콘볼루션 이미지를 병합하여 병합 이미지를 얻는다.
단계 S310: 상기 병합 후의 이미지에 대해 디콘볼루션 처리를 진행하고, 디콘볼루션 처리 결과 및 상기 샘플 이미지의 라벨을 기반으로 역전파(backpropagation)를 진행하여, 상기 기설정 모델 각 부분의 파라미터를 조절한다.
선택적으로, 제1 콘볼루션 이미지 및 제2 콘볼루션 이미지 병합 후, 병합 후의 이미지에 대해 상술한 샘플 이미지 정보로부터 제1 이미지까지의 콘볼루션 차수와 동일한 차수의 디콘볼루션을 진행해야 하고, 디콘볼루션 후의 이미지에 대해 차원 설정을 진행할 수 있다.
병합 후의 이미지에 대해 디콘볼루션 시에, 디콘볼루션 커널 크기는 3*3로 설정할 수 있다.
병합 후의 이미지에 대해 디콘볼루션 후, 이미지 크기와 샘플 이미지 정보의 크기는 서로 같다.
마지막으로, 디콘볼루션 처리 결과 및 상기 샘플 이미지의 라벨을 기반으로 역전파를 진행하여, 기설정 모델 각층의 파라미터를 조절한다.
복수의 샘플 이미지를 사용하여 기설정 모델에 대해 트레이닝을 진행하는 것을 통해, 해당 기설정 모델이 처리 대기 이미지 중 타겟 대상의 분포 위치를 식별하는 능력을 가지도록 할 수 있다.
도 4는 본 실시예에서 제공하는 다른 하나의 각 그룹 데이터 중의 타겟 영역의 샘플 이미지 정보 획득 방법의 흐름 개략도이다. 해당 방법은 이하의 단계를 포함한다.
단계 S402: 샘플 이미지 정보를 획득하고, 상기 샘플 이미지 정보 중 타겟 대상의 위치를 표지하여, 해당 샘플 이미지 정보에 대응되는 타겟 대상의 분포 정보의 라벨을 획득하며, 상기 샘플 이미지 및 대응되는 라벨을 기설정 모델에 입력한다.
선택적으로, 샘플 이미지 정보에 대응되는 이미지는 RGB 이미지이다.
선택적으로, 라벨을 통해 샘플 이미지 정보 중 타겟 대상의 분포 정보를 표기할 수 있다. 라벨은 타겟 영역에서의 타겟 대상의 경위도 분포 범위 및/또는 사진 중 화소 분포 범위를 포함한다.
상기 기설정 모델 중의 제1 콘볼루션 네트워크 모델을 사용하여 상기 샘플 이미지 정보를 처리하여, 상기 샘플 이미지 정보의 제1 콘볼루션 이미지를 획득한다.
선택적으로, 제1 콘볼루션 네트워크 모델의 콘볼루션 커널의 크기는 3*3이고, 콘볼루션 스트라이드는 2로 설정할 수 있다. 샘플 이미지 정보에 대응되는 이미지는 RGB 이미지이고, R, G, B의 3개의 차원을 구비하며, 제1 콘볼루션 네트워크 모델을 이용하여 상기 표지 이미지에 대해 콘볼루션 처리를 진행하여 제1 콘볼루션 이미지를 얻는 과정에서 다운 샘플링을 진행할 수 있다. 또한, 제1 콘볼루션 이미지에 대해 차원 설정을 진행할 수도 있다.
도 4에서, 제1 콘볼루션 이미지를 얻는 과정에서, 총 3차례의 콘볼루션을 진행하고, 차례로 단계 S4042, 단계 S4044, 단계 S4046이며, 매 차례 콘볼루션은 모두 다운 샘플링을 진행하고, 콘볼루션 스트라이드를 2로 설정한다. 매 차례 다운 샘플링 완료 후, 이미지는 다운 샘플링 전 이미지의 1/2 크기이므로 데이터 처리량을 대폭 줄일 수 있고, 데이터의 연산 속도를 향상시킨다.
도 4에서, n1, n2 및 n3는 각각 대응되는 매 차례 콘볼루션 시에 대응되게 설정하는 차원이고, 해당 차원은 제1 콘볼루션 이미지 각각의 화소에 대응되는 데이터 벡터 길이를 표시하는 데 사용된다. 일 예에서, n1이 1일 경우 제1차 콘볼루션 후의 이미지의 화소에 대응되는 차원은 1이고, 해당 화소에 대응되는 데이터는 그레이값일 수 있으며, n1이 3일 경우 제1차 콘볼루션 후의 이미지의 화소에 대응되는 차원은 3이고, 해당 화소에 대응되는 데이터는 RGB값일 수 있다. 제1 콘볼루션 네트워크 모델을 이용하여 상기 표지 이미지에 대해 콘볼루션 처리를 진행하여 제1 콘볼루션 이미지를 얻는 과정에서 여러 차례 콘볼루션을 진행할 수 있고, 매 차례 콘볼루션 시에 콘볼루션 커널은 모두 3*3이다.
그리고, 상기 기설정 모델 중의 제2 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여 상기 샘플 이미지 정보의 제2 콘볼루션 이미지를 획득하고, 여기서 상기 제1 콘볼루션 네트워크 모델 및 제2 콘볼루션 네트워크 모델이 적용하는 콘볼루션 커널이 서로 다르다.
선택적으로, 제2 콘볼루션 네트워크 모델의 콘볼루션 커널의 크기는 5*5로 설정할 수 있고, 콘볼루션 스트라이드는 2로 설정할 수 있다. 샘플 이미지 정보에 대응되는 이미지는 RGB 이미지이고, R, G, B의 3개의 차원을 구비하며, 제2 콘볼루션 네트워크 모델을 이용하여 상기 표지 이미지에 대해 콘볼루션 처리를 진행하여 제2 콘볼루션 이미지를 얻는 과정에서 다운 샘플링을 진행할 수 있다. 또한, 제2 콘볼루션 이미지의 차원을 설정할 수도 있다.
선택적으로, 제2 콘볼루션 네트워크 모델을 이용하여 상기 표지 이미지에 대해 콘볼루션 처리를 진행하여 제2 콘볼루션 이미지를 얻는 과정에서 여러 차례 콘볼루션을 진행할 수 있고, 매 차례 콘볼루션 시에 콘볼루션 커널은 모두 5*5이고, 콘볼루션 스트라이드는 2로 설정할 수 있다, 매 차례 콘볼루션은 모두 다운 샘플링을 진행한다. 매 차례 다운 샘플링 완료 후, 이미지는 다운 샘플링 전 이미지의 1/2 크기이므로 데이터 처리량을 대폭 줄일 수 있고, 데이터의 연산 속도를 향상시킨다.
도 4에서, 제2 콘볼루션 이미지를 얻는 과정에서, 모두 3차례의 콘볼루션을 진행하고, 차례로 단계 S4062, 단계 S4064, 단계 S4066이며, 매 차례 콘볼루션은 모두 다운 샘플링을 진행하고, 콘볼루션 스트라이드는 2로 설정한다. 매 차례 다운 샘플링 완료 후, 이미지는 다운 샘플링 전의 이미지의 1/2 크기이므로 데이터 처리량을 대폭 줄일 수 있고, 데이터의 연산 속도를 향상시킨다.
도 4에서, m1, m2 및 m3은 각각 대응되는 매 차례 콘볼루션 시에 대응되게 설정하는 차원이고, 해당 차원은 제2 콘볼루션 이미지 각각의 화소에 대응되는 데이터 벡터 길이를 표시하는 데 사용된다. 일 예에서, m1이 1일 경우 제1차 콘볼루션 후의 이미지의 화소에 대응되는 차원은 1이고, 해당 화소에 대응되는 데이터는 그레이값일 수 있으며, m1이 3일 경우 제1차 콘볼루션 후의 이미지의 화소에 대응되는 차원은 3이고, 해당 화소에 대응되는 데이터는 RGB값일 수 있다. 제2 콘볼루션 네트워크 모델을 이용하여 상기 표지 이미지에 대해 콘볼루션 처리를 진행하여 제2 콘볼루션 이미지를 얻는 과정에서 여러 차례 콘볼루션을 진행할 수 있고, 매 차례 콘볼루션 시에 콘볼루션 커널은 모두 5*5이다.
제1 콘볼루션 이미지와 제2 콘볼루션 이미지의 이미지 크기는 서로 같다.
단계 S408: 상기 샘플 이미지 정보의 제1 콘볼루션 이미지 및 제2 콘볼루션 이미지를 병합하여 병합 이미지를 얻는다.
상기 병합 후의 이미지에 대해 디콘볼루션 처리를 진행한다.
선택적으로, 병합 후의 이미지에 대해 상술한 샘플 이미지 정보로부터 제1 이미지까지의 콘볼루션 차수와 동일한 차수의 디콘볼루션을 진행하고, 디콘볼루션 후의 이미지에 대해 차원 설정을 진행할 수 있다. 병합 후의 이미지에 대해 3차례의 디콘볼루션을 진행하는데, 이는 각각 단계 S4102, 단계 S4104, 단계 S4106이고, 밀도도, 즉 타겟 영역의 샘플 이미지 정보를 획득하는데, 이는 단계 S412이다.
병합 후의 이미지에 대해 디콘볼루션 시에, 디콘볼루션 커널의 크기는 3*3으로 설정할 수 있다.
병합 후의 이미지에 대해 디콘볼루션 후, 이미지 크기와 샘플 이미지 정보의 크기는 서로 같다.
상기 병합 후의 이미지에 대해 디콘볼루션 처리를 진행하고, 디콘볼루션 처리 결과 및 상기 샘플 이미지의 라벨을 기반으로 역전파를 진행하여, 상기 기설정 모델 각 부분의 파라미터를 조절한다.
복수의 샘플 이미지를 사용하여 기설정 모델에 대해 트레이닝을 진행하는 것을 통해, 해당 기설정 모델이 처리 대기 이미지 중 타겟 대상의 분포 위치를 식별하는 능력을 가지도록 할 수 있다.
상응하게, 기설정 모델을 이용하여 이미지 식별 처리 시에, 처리 대기 이미지 정보를 트레이닝 완료된 상기 기설정 모델에 입력할 수 있다.
상기 기설정 모델 중의 제1 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 처리 대기 이미지 정보의 제1 콘볼루션 이미지를 획득한다.
상기 기설정 모델 중의 제2 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 처리 대기 이미지 정보의 제2 콘볼루션 이미지를 획득한다.
상기 처리 대기 이미지 정보의 제1 콘볼루션 이미지 및 제2 콘볼루션 이미지를 병합하고, 병합 후의 이미지에 대해 디콘볼루션 처리를 진행하여, 상기 처리 대기 이미지의 대응되는 밀도도를 획득하여 상기 처리 대기 이미지 중 타겟 대상의 분포 정보로 한다. 여기서, 상기 밀도도 중 픽셀의 값은 해당 픽셀 대응 위치 상의 상기 타겟 대상의 분포 밀도값이다.
선택적으로, 밀도도에는 상기 타겟 대상의 밀도크기를 표시하기 위한 표기를 구비한다. 예를 들어, 밀도도에서 상기 분포 영역의 컬러가 옅을수록, 상기 분포 영역 중 상기 타겟 대상의 밀도가 더욱 크다. 도 5에 나타낸 바와 같이, 도 5는 처리 후 획득한 밀도도이고, 도 5에서 A 구역이 B 구역보다 컬러가 옅으면, A 구역의 합계 타겟 대상의 밀도가 크다. 다른 일 예에서, 밀도도에서 픽셀의 값은 해당 픽셀 대응 위치 상의 상기 타겟 대상의 분포 밀도값이다.
선택적으로, 디콘볼루션 후의 밀도도는 그레이 스케일도일 수 있다. 디콘볼루션이 그레이 스케일도일 경우, 이미지에서 백색은 255이고, 흑색은 0이며, 그레이값이 큰 위치일수록 타겟 영역 중 타겟 대상의 분포 표기가 더 밀집된다. 즉, 컬러가 비교적 짙은 위치는 잡초의 분포가 비교적 밀집되고, 컬러가 비교적 옅은 위치는 잡초의 분포가 비교적 드물다.
본 실시예에서, 기설정 모델을 이용하여 타겟 영역의 이미지 정보를 분석함으로써, 타겟 영역 중 타겟 대상의 분포 정보를 얻고, 해당 분포 정보를 기반으로 무인 항공기가 타겟 대상에 약물을 살포하도록 제어하고, 타겟 영역의 이미지 정보를 획득하고, 상기 이미지 정보를 기설정 모델에 입력하여 분석을 거쳐, 상기 타겟 영역 중 타겟 대상의 분포 정보를 얻고, 상기 분포 정보를 기반으로 상기 무인 항공기가 상기 타겟 대상에 대해 약물을 살포하도록 제어하며, 여기서 상기 기설정 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻고, 상기 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 타겟 영역의 이미지 정보, 이미지 정보 중 타겟 대상의 분포 정보를 표기하기 위한 라벨을 포함한다. 이로써, 서로 다른 영역에서의 잡초의 분포 밀도에 대해 맞춤형으로 약 살포량을 제어함으로써, 서로 다른 영역에서의 잡초의 분포 밀도에 결부하여 약 살포량을 설정할 수 있어, 농약을 절약하고 약 살포 효율을 향상시키는 기술 효과를 실현할 수 있고, 더 나아가 농작물 및 잡초의 구분이 어려워 약물을 낭비하고, 농약이 잔류하는 등의 문제를 해결할 수 있다.
도 6은 본 실시예에 따른 선택 가능한 무인 항공기의 제어 장치의 구조 개략도이다. 도 6에 나타낸 바와 같이, 해당 장치는 획득 모듈(62), 분석 모듈(64) 및 제어 모듈(66)을 포함한다.
여기서, 획득 모듈(62)은 타겟 영역의 이미지 정보를 획득하는 데 사용된다.
분석 모듈(64)은 상기 처리 대기 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 상기 처리 대기 이미지 정보 중 타겟 대상의 분포 정보를 얻는 데 사용되며, 여기서 상기 기설정 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻고, 상기 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 타겟 영역의 샘플 이미지 정보 및 샘플 이미지 정보 중 타겟 대상의 분포 정보를 표기하기 위한 라벨을 포함한다.
제어 모듈(66)은 상기 처리 대기 이미지에 대응되는 분포 정보를 기반으로 상기 무인 항공기가 상기 타겟 대상에 대해 약물을 살포하도록 제어하는 데 사용된다.
유의해야 할 점은, 해당 무인 항공기의 제어 장치의 각 모듈의 구체적인 기능은 도 1에서 나타낸 단계에 대한 관련 서술을 참조할 수 있기에, 여기에서 중복된 서술을 생략한다.
도 7은 본 실시예에 따른 선택 가능한 무인 항공기의 구조 개략도이다. 도 4에 나타낸 바와 같이, 해당 장치는 이미지 수집 장치(72) 및 프로세서(74)를 포함한다.
여기서, 이미지 수집 장치(72)는 타겟 영역의 처리 대기 이미지 정보를 획득하는 데 사용된다.
프로세서(74)는 상기 처리 대기 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 상기 처리 대기 이미지 정보 중 타겟 대상의 분포 정보를 얻는 데 사용되며, 여기서 상기 기설정 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻고, 상기 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 타겟 영역의 샘플 이미지 정보 및 샘플 이미지 정보 중 타겟 대상의 분포 정보를 표기하기 위한 라벨을 포함하며, 상기 처리 대기 이미지 정보에 대응되는 분포 정보를 기반으로, 상기 무인 항공기가 상기 타겟 대상에 대해 약물을 살포하도록 제어한다.
유의해야 할 점은, 해당 무인 항공기의 구체적인 기능은 도 1에서 나타낸 단계의 관련 설명을 참조할 수 있기에, 여기에서 중복된 서술을 생략한다.
도 8은 본 실시예에 따른 선택 가능한 무인 항공기 제어 설비의 구조 개략도이다. 도 4에 나타낸 바와 같이, 해당 장치는 이미지 획득 장치(82) 및 프로세서(84)를 포함한다.
여기서, 통신 모듈(82)은 지정 설비에서 전송한 타겟 영역의 처리 대기 이미지 정보를 수신하는 데 사용된다.
프로세서(84)는 상기 처리 대기 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 상기 처리 대기 이미지 중 타겟 대상의 분포 정보를 얻는 데 사용되고, 여기서 상기 기설정 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻고, 상기 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 타겟 영역의 샘플 이미지 정보 및 샘플 이미지 정보 중 타겟 대상의 분포 정보를 표기하기 위한 라벨을 포함하며, 상기 처리 대기 이미지에 대응되는 분포 정보를 기반으로 상기 무인 항공기가 상기 타겟 대상에 대해 약물을 살포하도록 제어한다.
유의해야 할 점은, 해당 무인 항공기 제어 설비의 기능은 도 1에서 나타낸 단계의 관련 설명을 참조할 수 있기에, 여기에서 중복된 서술을 생략한다.
도 9는 본 실시예에 따른 분포 정보의 확정 방법의 흐름 개략도이다. 도 9에 나타낸 바와 같이, 해당 방법은 이하의 단계를 포함한다.
단계 S902: 타겟 영역의 처리 대기 이미지 정보를 획득하고,
단계 S904: 처리 대기 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 처리 대기 이미지 정보 중 타겟 대상의 분포 정보를 획득하며, 여기서 기설정 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻고, 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 샘플 이미지 정보 및 샘플 이미지 정보 중 타겟 대상의 분포 정보를 표기하기 위한 라벨을 포함한다.
선택적으로, 상기 기설정 모델의 트레이닝 단계는, 샘플 이미지 정보를 획득하고, 상기 샘플 이미지 정보 중 타겟 대상의 위치를 표지하여, 해당 샘플 이미지 정보에 대응되는 타겟 대상의 분포 정보의 라벨을 획득하며, 상기 샘플 이미지 및 대응되는 라벨을 기설정 모델에 입력하는 단계, 상기 기설정 모델 중의 제1 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 샘플 이미지 정보의 제1 콘볼루션 이미지를 획득하는 단계, 상기 기설정 모델 중의 상기 제1 콘볼루션 네트워크 모델과 적용하는 콘볼루션 커널이 서로 다른 제2 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 샘플 이미지 정보의 제2 콘볼루션 이미지를 획득하는 단계, 상기 샘플 이미지 정보의 제1 콘볼루션 이미지 및 제2 콘볼루션 이미지를 병합하여 병합 이미지를 얻는 단계, 및 상기 병합 후의 이미지에 대해 디콘볼루션 처리를 진행하고, 디콘볼루션 처리 결과 및 상기 샘플 이미지의 라벨을 기반으로 역전파를 진행하여, 상기 기설정 모델 각 부분의 파라미터를 조절하는 단계를 포함한다.
상응하게, 기설정 모델을 통해 처리 대기 이미지를 처리하는 단계는, 처리 대기 이미지 정보를 트레이닝된 상기 기설정 모델에 입력하는 단계, 상기 기설정 모델 중의 제1 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 처리 대기 이미지 정보의 제1 콘볼루션 이미지를 획득하는 단계, 상기 기설정 모델 중의 제2 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 처리 대기 이미지 정보의 제2 콘볼루션 이미지를 획득하는 단계, 및 상기 처리 대기 이미지 정보의 제1 콘볼루션 이미지 및 제2 콘볼루션 이미지를 병합하고, 병합 후의 이미지에 대해 디콘볼루션 처리를 진행하여, 상기 처리 대기 이미지의 대응되는 밀도도를 획득하여 상기 처리 대기 이미지 중 타겟 대상의 분포 정보로 하는 단계를 포함한다.
선택적으로, 상기 밀도도 중 픽셀의 값은 해당 픽셀 대응 위치 상의 상기 타겟 대상의 분포 밀도값이다.
선택적으로, 해당 밀도도는 타겟 영역 중 각 분포 영역에서의 타겟 대상의 밀도 크기를 반영하는 데 사용된다. 여기서, 밀도도에 타겟 대상의 밀도 크기를 표시하기 위한 표기를 구비하고, 해당 표기는 다른 컬러, 또는 명암이 다른 동일한 컬러, 또는 디지털 정보 등일 수 있다.
선택적으로, 타겟 영역이 복수이고, 복수의 타겟 영역이 여러 판매 영역에 위치할 경우, 복수의 타겟 영역 중 타겟 대상의 밀도도를 기반으로 약물의 목표 판매 영역을 확정한다. 예를 들어, 밀도도에서 표시하는 밀도가 큰 판매 영역일수록 필요한 약물량이 더 많고, 이로써 간접적으로 목표 판매 영역을 확정한다.
상술한 분포 정보는 타겟 영역에서의 타겟 대상의 분포 영역을 더 포함할 수 있고, 이때 분포 영역에서의 타겟 대상의 위치를 기반으로 무인 항공기의 비행 경로를 확정할 수 있다.
선택적으로, 처리 대기 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 처리 대기 이미지 정보 중 타겟 대상의 분포 정보를 획득한 후, 분포 정보를 기반으로 타겟 영역의 처방도를 확정할 수도 있고, 해당 처방도는 타겟 영역의 투약 정보를 보여주는 데 사용된다. 구체적으로는, 타겟 대상의 종류를 확정하고, 종류 및 분포 정보를 기반으로 타겟 영역 중 각 서브 영역의 투약 정보를 확정하며, 해당 투약 정보는 타겟 영역의 서브 영역에서의 타겟 대상의 약물 종류 및 타겟 약살포량을 포함하고, 타겟 영역의 이미지 정보에 투약 정보를 표기하기 위한 표기 정보를 추가하여 타겟 영역의 처방도를 얻는다.
여기서, 기계 학습의 방식을 통해 타겟 대상의 종류를 확정하고, 예를 들어 타겟 대상의 이미지를 이미 트레이닝된 기설정 모델에 입력하여, 해당 예측 모델을 이용하여 타겟 대상의 종류를 식별한다.
유의해야 할 점은, 분포 정보의 확정 방법의 구체적인 단계는 도 1 내지 도 7에서 보여준 단계의 관련 설명을 참조할 수 있기에, 여기에서 중복된 서술을 생략한다.
본 실시예의 다른 측면에 따르면, 저장 매체를 더 제공하고, 해당 저장 매체는 저장된 프로그램을 포함하며, 여기서 프로그램 작동 시에 저장 매체가 설치되어 있는 설비에서 상술한 무인 항공기의 제어방법을 실행하도록 제어한다.
본 실시예의 또 다른 측면에 따르면, 프로세서를 더 제공하고, 해당 프로세서는 프로그램을 작동하는 데 사용되며, 여기서 프로그램 작동 시에 상술한 무인 항공기의 제어 방법을 실행한다.
본 실시예에서 개시하는 기술 내용은 다른 방식을 통해 실현할 수 있음을 이해해야 한다. 여기서, 이상에서 설명하는 장치 실시예는 예시에 불과하고, 예를 들어 상기 유닛의 구획이고, 로직 기능의 구획일 수 있으며, 실제 실현 시에 다른 구획 방식일 수 있고, 예를 들어 복수의 유닛 또는 어셈블리는 다른 시스템에 결합 또는 집적될 수 있거나, 또는 일부 특징은 생략되거나 실행되지 않을 수 있다. 또한, 도시되거나 토론되는 상호 사이의 커플링 또는 직접적 커플링 또는 통신 연결은 일부 인터페이스에 의해 실현될 수 있고, 유닛 또는 모듈의 간접 커플링 또는 통신 연결은 전기적 또는 다른 형식일 수 있다.
상기 분리 부품으로 설명되는 유닛은 물리적으로 분리되거나 분리되지 않을 수 있고, 유닛으로 표시된 부품은 물리적 유닛이거나 물리적 유닛이 아닐 수 있으며, 다시 말해서 하나의 위치 또는 복수의 유닛에 분포될 수 있다. 실제적인 필요에 따라 그 중의 부분 또는 전체 유닛을 선택하여 본 실시예에 따른 방안의 목적을 실현할 수 있다.
또한, 본 출원의 각 실시예 중의 각 기능 유닛은 하나의 처리 유닛 중에 집적될 수 있고, 각 유닛은 독립되게 물리적으로 존재할 수도 있으며, 두 개 이상의 유닛이 하나의 유닛에 집적될 수도 있다. 상술한 집적된 유닛은 하드웨어의 형식으로 실현될 수도 있고, 소프트웨어 기능 유닛의 형식으로 실현될 수도 있다.
상기 집적된 유닛이 소프트웨어 기능 유닛의 형식으로 실현되고, 독립적인 제품으로서 판매되거나 사용될 경우, 하나의 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해를 기반으로, 본 출원의 기술 방안은 본질적으로 선행기술에 비해 개선된 부분 또는 해당 기술 방안의 전체 또는 부분은 소프트웨어의 형식으로 구현될 수 있고, 해당 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 여러 명령을 포함하여 하나의 컴퓨터 설비(개인용 컴퓨터, 서버 또는 인터넷 설비 등)이 본 출원의 각 실시예에 기재된 방법의 전체 또는 일부 단계를 실행하도록 한다. 전술한 저장 매체는 U디스크, 판독 전용 메모리(ROM, Read-Only Memory), 랜덤 액세스 메모리(RAM, Random Access Memory), 이동 디스크, 자기디스크 또는 광디스크 등 각종 프로그램 코드를 저장하는 매체일 수 있다.
이상은 본 발명의 바람직한 실시예에 불과하고, 본 기술분야의 통상의 기술자에게 있어서, 본 발명의 취지 및 범위를 벗어나지 않는 전제 하에서 여러 가지 개선 및 윤색을 실시할 수 있고, 이러한 개선 및 윤색은 본 발명의 청구범위 내에 속하는 것으로 간주된다.
본 출원의 실시예에 있어서, 타겟 영역의 처리 대기 이미지 정보를 획득하고, 처리 대기 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 처리 대기 이미지 정보 중 타겟 대상의 분포 정보를 획득하며, 분포 정보를 기반으로 무인 항공기가 타겟 대상에 약물을 살포하도록 제어하고, 여기서 기설정 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻고, 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 타겟 영역의 샘플 이미지 정보 및 샘플 이미지 정보 중 타겟 대상의 분포 정보를 표기하기 위한 라벨을 포함한다. 이로써, 서로 다른 영역에서의 잡초의 분포 밀도에 대해 맞춤형으로 약 살포량을 제어함으로써, 서로 다른 영역에서의 잡초의 분포 밀도에 결부하여 약 살포량을 설정하므로, 농약을 절약하고 약 살포 효율을 향상시키는 기술 효과를 실현할 수 있고, 나아가 관련 기술 중 농작물 및 잡초 구분이 어려워 약물의 낭비 및 농약 잔류 등을 초래하는 기술 과제를 해결하였다.
Claims (20)
- 분포 정보의 확정 방법에 있어서,
타겟 영역의 처리 대기 이미지 정보를 획득하는 단계, 및
상기 처리 대기 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 상기 처리 대기 이미지 정보 중 타겟 대상의 분포 정보를 얻는 단계
를 포함하고,
상기 기설정 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻고, 상기 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 샘플 이미지 정보 및 샘플 이미지 정보 중 타겟 대상의 분포 정보를 표기하기 위한 라벨을 포함하는 것을 특징으로 하는 분포 정보의 확정 방법. - 제1항에 있어서,
상기 기설정 모델의 트레이닝 단계는,
샘플 이미지 정보를 획득하고, 상기 샘플 이미지 정보 중 타겟 대상의 위치를 표지하여, 해당 샘플 이미지 정보에 대응되는 타겟 대상의 분포 정보의 라벨을 획득하며, 상기 샘플 이미지 및 대응되는 라벨을 기설정 모델에 입력하는 단계,
상기 기설정 모델 중의 제1 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 샘플 이미지 정보의 제1 콘볼루션 이미지를 획득하는 단계,
상기 기설정 모델 중의 상기 제1 콘볼루션 네트워크 모델과 적용하는 콘볼루션 커널이 서로 다른 제2 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 샘플 이미지 정보의 제2 콘볼루션 이미지를 획득하는 단계,
상기 샘플 이미지 정보의 제1 콘볼루션 이미지 및 제2 콘볼루션 이미지를 병합하여 병합 이미지를 얻는 단계, 및
상기 병합 후의 이미지에 대해 디콘볼루션 처리를 진행하고, 디콘볼루션 처리 결과 및 상기 샘플 이미지의 라벨을 기반으로 역전파를 진행하여, 상기 기설정 모델 각 부분의 파라미터를 조절하는 단계
를 포함하는 것을 특징으로 하는 방법. - 제2항에 있어서,
상기 처리 대기 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 상기 처리 대기 이미지 정보 중 타겟 대상의 분포 정보를 얻는 단계는,
처리 대기 이미지 정보를 트레이닝된 상기 기설정 모델에 입력하는 단계,
상기 기설정 모델 중의 제1 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 처리 대기 이미지 정보의 제1 콘볼루션 이미지를 획득하는 단계,
상기 기설정 모델 중의 제2 콘볼루션 네트워크 모델을 이용하여 상기 샘플 이미지 정보를 처리하여, 상기 처리 대기 이미지 정보의 제2 콘볼루션 이미지를 획득하는 단계, 및
상기 처리 대기 이미지 정보의 제1 콘볼루션 이미지 및 제2 콘볼루션 이미지를 병합하고, 병합 후의 이미지에 대해 디콘볼루션 처리를 진행하여, 상기 처리 대기 이미지의 대응되는 밀도도를 획득하여 상기 처리 대기 이미지 중 타겟 대상의 분포 정보로 하는 단계
를 포함하는 것을 특징으로 하는 방법. - 제3항에 있어서,
상기 밀도도 중 픽셀의 값은 해당 픽셀 대응 위치 상의 상기 타겟 대상의 분포 밀도값인 것을 특징으로 하는 방법. - 제2항에 있어서,
상기 샘플 이미지 정보는, 상기 타겟 영역 중 상기 타겟 대상이 각 분포 영역에서의 밀도 크기를 반영하기 위한 상기 타겟 대상의 밀도도를 포함하는 것을 특징으로 하는 방법. - 제5항에 있어서,
상기 밀도도에는 상기 타겟 대상의 밀도크기를 표시하기 위한 표기를 구비하는 것을 특징으로 하는 방법. - 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 타겟 영역이 복수이고 복수의 상기 타겟 영역이 서로 다른 판매 영역에 위치할 경우, 복수의 타겟 영역 중 상기 타겟 대상의 밀도도를 기반으로 약물의 목표 판매 영역을 확정하는 것을 특징으로 하는 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 분포 정보는, 상기 타겟 영역에서의 상기 타겟 대상의 분포 영역을 포함하고,
상기 방법은, 상기 타겟 상대의 분포 영역이 위치하는 위치를 기반으로 상기 무인 항공기의 비행 경로를 확정하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 상기 타겟 영역 중 타겟 대상의 분포 정보를 얻는 단계 후, 상기 방법은,
상기 타겟 대상의 종류를 확정하는 단계,
상기 종류 및 상기 분포 정보를 기반으로 상기 타겟 영역 중 각 서브 영역의 투약 정보를 확정하는 단계, 및
상기 타겟 영역에서의 이미지 정보에 상기 투약 정보를 표기하기 위한 표기 정보를 추가하여 상기 타겟 영역의 처방도를 얻는 단계
를 포함하고,
해당 투약 정보는 상기 타겟 영역의 서브 영역에서의 상기 타겟 대상의 약물 종류 및 타겟 약살포량을 포함하는 것을 특징으로 하는 방법. - 제9항에 있어서,
상기 타겟 영역은 약을 뿌려야 하는 농경지이고, 상기 타겟 대상은 잡초인 것을 특징으로 하는 방법. - 무인 항공기의 제어 방법에 있어서,
타겟 영역의 처리 대기 이미지 정보를 획득하는 단계,
상기 처리 대기 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 상기 처리 대기 이미지 정보 중 타겟 대상의 분포 정보를 얻는 단계, 및
상기 처리 대기 이미지 정보에 대응되는 분포 정보를 기반으로 상기 무인 항공기가 상기 타겟 대상에 대해 약물을 살포하도록 제어하는 단계
를 포함하고,
상기 기설정 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻고, 상기 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 샘플 이미지 정보 및 샘플 이미지 정보 중 타겟 대상의 분포 정보를 표기하기 위한 라벨을 포함하는 것을 특징으로 하는 무인 항공기의 제어 방법. - 제11항에 있어서,
상기 분포 정보는, 상기 타겟 영역 중 각각의 분포 영역 내에서의 상기 타겟 대상의 밀도 및 상기 타겟 대상이 위치하는 분포 영역의 면적 중 적어도 하나를 포함하고,
상기 분포 정보를 기반으로 상기 무인 항공기가 상기 타겟 대상에 대해 약물을 살포하도록 제어하는 단계는,
분포 영역 중 상기 타겟 대상의 밀도를 기반으로 상기 분포 영역에서의 상기 무인 항공기의 약물 살포량 또는 살포 지속 시간을 확정하는 단계, 및/또는
상기 타겟 대상이 위치하는 분포 영역의 면적을 기반으로 약물 살포 폭을 확정하는 단계
를 포함하는 것을 특징으로 하는 방법. - 제11항 또는 제12항에 있어서,
상기 타겟 영역은 약을 뿌려야 하는 농경지이고, 상기 타겟 대상은 잡초이며,
상기 분포 정보는, 상기 타겟 영역에서의 상기 타겟 대상의 분포 영역을 더 포함하고,
상기 방법은,
상기 타겟 상대의 분포 영역이 위치하는 위치를 기반으로 상기 무인 항공기의 비행 경로를 확정하는 단계, 및
상기 무인 항공기가 상기 비행 경로를 따라 이동하도록 제어하는 단계
를 더 포함하는 것을 특징으로 하는 방법. - 제11항 내지 제13항 중 어느 한 항에 있어서,
상기 분포 정보를 기반으로 상기 무인 항공기가 상기 타겟 대상에 대해 약물을 살포하도록 제어하는 단계 후, 상기 방법은,
상기 타겟 영역 중 상기 무인 항공기의 나머지 분포 영역을 검측하는 단계,
상기 나머지 분포 영역 중 상기 타겟 대상의 밀도 및 상기 나머지 분포 영역의 총 면적을 확정하는 단계,
상기 나머지 분포 영역 중 상기 타겟 대상의 밀도 및 상기 나머지 분포 영역의 총 면적을 기반으로 상기 나머지 분포 영역에 필요한 총 약물량을 확정하는 단계,
상기 무인 항공기의 나머지 약물량과 상기 총 약물량의 차이값을 확정하는 단계, 및
상기 차이값 및 기설정 역치를 비교하고, 비교 결과에 기초하여 상기 무인 항공기의 비행 경로를 조절하는 단계
를 더 포함하며,
상기 나머지 분포 영역은 상기 타겟 영역 중 약물을 살포하지 않은 분포 영역인 것을 특징으로 하는 방법. - 제11항 내지 제14항 중 어느 한 항에 있어서,
상기 분포 정보를 기반으로 상기 무인 항공기가 상기 타겟 대상에 대해 약물을 살포하도록 제어하는 단계 전에, 상기 방법은,
상기 분포 정보 중 상기 타겟 영역에서의 상기 타겟 대상의 분포 영역 크기 및 상기 분포 영역에서의 상기 타겟 대상의 밀도 크기를 기반으로 상기 무인 항공기의 타겟 약물 용량을 확정하는 단계
를 더 포함하는 것을 특징으로 하는 방법. - 타겟 영역의 처리 대기 이미지 정보를 획득하기 위한 획득 모듈,
상기 처리 대기 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 상기 처리 대기 이미지 정보 중 타겟 대상의 분포 정보를 얻기 위한 분석 모듈, 및
상기 처리 대기 이미지에 대응되는 분포 정보를 기반으로 상기 무인 항공기가 상기 타겟 대상에 대해 약물을 살포하도록 제어하기 위한 제어 모듈
을 포함하고,
상기 기설정 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻고, 상기 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 타겟 영역의 샘플 이미지 정보 및 샘플 이미지 정보 중 타겟 대상의 분포 정보를 표기하기 위한 라벨을 포함하는 것을 특징으로 하는 무인 항공기의 제어 장치. - 타겟 영역의 처리 대기 이미지 정보를 획득하기 위한 이미지 수집 장치, 및
상기 처리 대기 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 상기 처리 대기 이미지 정보 중 타겟 대상의 분포 정보를 얻기 위한 것이고, 상기 처리 대기 이미지 정보에 대응되는 분포 정보를 기반으로 상기 무인 항공기가 상기 타겟 대상에 대해 약물을 살포하도록 제어하는 프로세서
를 포함하고,
상기 기설정 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻고, 상기 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 타겟 영역의 샘플 이미지 정보 및 샘플 이미지 정보 중 타겟 대상의 분포 정보를 표기하기 위한 라벨을 포함하는 것을 특징으로 하는 무인 항공기. - 타겟 영역의 처리 대기 이미지 정보를 수신하기 위한 이미지 획득 장치, 및
상기 처리 대기 이미지 정보를 기설정 모델에 입력하고 분석을 거쳐, 상기 처리 대기 이미지 정보 중 타겟 대상의 분포 정보를 얻기 위한 것이고, 상기 처리 대기 이미지 정보에 대응되는 분포 정보를 기반으로 상기 무인 항공기가 상기 타겟 대상에 대해 약물을 살포하도록 제어하는 프로세서
를 포함하고,
상기 기설정 모델은 복수의 그룹 데이터의 트레이닝을 통해 얻고, 상기 복수의 그룹 데이터 중의 각 그룹 데이터는 모두 타겟 영역의 샘플 이미지 정보 및 샘플 이미지 정보 중 타겟 대상의 분포 정보를 표기하기 위한 라벨을 포함하는 것을 특징으로 하는 무인 항공기 제어 설비. - 저장 매체에 있어서,
상기 저장 매체는 저장된 프로그램을 포함하고, 상기 프로그램 작동 시에, 상기 저장 매체가 설치되는 설비가 제1항 내지 제10항 중 어느 한 항에 기재된 분포 정보의 확정 방법을 실행하도록 제어하는 것을 특징으로 하는 저장 매체. - 프로세서에 있어서,
상기 프로세서는 프로그램을 작동시키기 위한 것이고, 상기 프로그램 작동 시에, 제1항 내지 제10항 중 어느 한 항에 기재된 분포 정보의 확정 방법을 실행하는 것을 특징으로 하는 프로세서.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811217967.XA CN109445457B (zh) | 2018-10-18 | 2018-10-18 | 分布信息的确定方法、无人飞行器的控制方法及装置 |
| CN201811217967.X | 2018-10-18 | ||
| PCT/CN2019/111515 WO2020078396A1 (zh) | 2018-10-18 | 2019-10-16 | 分布信息的确定方法、无人飞行器的控制方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210071062A true KR20210071062A (ko) | 2021-06-15 |
Family
ID=65546651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217014072A KR20210071062A (ko) | 2018-10-18 | 2019-10-16 | 분포 정보의 확정 방법, 무인 항공기의 제어 방법 및 장치 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US20210357643A1 (ko) |
| EP (1) | EP3859479A4 (ko) |
| JP (1) | JP2022502794A (ko) |
| KR (1) | KR20210071062A (ko) |
| CN (1) | CN109445457B (ko) |
| AU (1) | AU2019362430B2 (ko) |
| CA (1) | CA3115564A1 (ko) |
| WO (1) | WO2020078396A1 (ko) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109445457B (zh) * | 2018-10-18 | 2021-05-14 | 广州极飞科技股份有限公司 | 分布信息的确定方法、无人飞行器的控制方法及装置 |
| US10822085B2 (en) | 2019-03-06 | 2020-11-03 | Rantizo, Inc. | Automated cartridge replacement system for unmanned aerial vehicle |
| CN112948371A (zh) * | 2019-12-10 | 2021-06-11 | 广州极飞科技股份有限公司 | 数据处理方法、装置、存储介质、处理器 |
| CN113011221A (zh) * | 2019-12-19 | 2021-06-22 | 广州极飞科技股份有限公司 | 作物分布信息的获取方法、装置及测量系统 |
| CN113011220A (zh) * | 2019-12-19 | 2021-06-22 | 广州极飞科技股份有限公司 | 穗数识别方法、装置、存储介质及处理器 |
| CN111459183B (zh) * | 2020-04-10 | 2021-07-20 | 广州极飞科技股份有限公司 | 作业参数推荐方法、装置、无人设备及存储介质 |
| CN111783549A (zh) * | 2020-06-04 | 2020-10-16 | 北京海益同展信息科技有限公司 | 一种分布图生成方法、系统、巡检机器人及控制终端 |
| CN112425328A (zh) * | 2020-11-23 | 2021-03-02 | 广州极飞科技有限公司 | 多物料播撒控制方法、装置、终端设备、无人设备及介质 |
| CN113973793B (zh) * | 2021-09-09 | 2023-08-04 | 常州希米智能科技有限公司 | 一种病虫害区域无人机喷洒处理方法和系统 |
| CN115337430A (zh) * | 2022-08-11 | 2022-11-15 | 深圳市隆瑞科技有限公司 | 一种喷雾小车的控制方法和装置 |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015057633A1 (en) * | 2013-10-14 | 2015-04-23 | Kinze Manufacturing, Inc. | Autonomous systems, methods, and apparatus for ag based operations |
| US10104836B2 (en) * | 2014-06-11 | 2018-10-23 | John Paul Jamison | Systems and methods for forming graphical and/or textual elements on land for remote viewing |
| AU2015305406B2 (en) * | 2014-08-22 | 2020-09-10 | Climate Llc | Methods for agronomic and agricultural monitoring using unmanned aerial systems |
| US10139279B2 (en) * | 2015-05-12 | 2018-11-27 | BioSensing Systems, LLC | Apparatuses and methods for bio-sensing using unmanned aerial vehicles |
| CN105159319B (zh) * | 2015-09-29 | 2017-10-31 | 广州极飞科技有限公司 | 一种无人机的喷药方法及无人机 |
| US9613538B1 (en) * | 2015-12-31 | 2017-04-04 | Unmanned Innovation, Inc. | Unmanned aerial vehicle rooftop inspection system |
| US10638744B2 (en) * | 2016-06-30 | 2020-05-05 | Optim Corporation | Application and method for controlling moving vehicle |
| US10520943B2 (en) * | 2016-08-12 | 2019-12-31 | Skydio, Inc. | Unmanned aerial image capture platform |
| GB2568007A (en) * | 2016-09-08 | 2019-05-01 | Walmart Apollo Llc | Systems and methods for dispensing an insecticide via unmanned vehicles to defend a crop-containing area against pests |
| JP6798854B2 (ja) * | 2016-10-25 | 2020-12-09 | 株式会社パスコ | 目的物個数推定装置、目的物個数推定方法及びプログラム |
| US10721859B2 (en) * | 2017-01-08 | 2020-07-28 | Dolly Y. Wu PLLC | Monitoring and control implement for crop improvement |
| JP6906959B2 (ja) * | 2017-01-12 | 2021-07-21 | 東光鉄工株式会社 | ドローンを使用した肥料散布方法 |
| CN108509961A (zh) * | 2017-02-27 | 2018-09-07 | 北京旷视科技有限公司 | 图像处理方法和装置 |
| CN106882380A (zh) * | 2017-03-03 | 2017-06-23 | 杭州杉林科技有限公司 | 空地一体农林用植保系统装置及使用方法 |
| CN106951836B (zh) * | 2017-03-05 | 2019-12-13 | 北京工业大学 | 基于先验阈值优化卷积神经网络的作物覆盖度提取方法 |
| CN106910247B (zh) * | 2017-03-20 | 2020-10-02 | 厦门黑镜科技有限公司 | 用于生成三维头像模型的方法和装置 |
| CN107274378B (zh) * | 2017-07-25 | 2020-04-03 | 江西理工大学 | 一种融合记忆cnn的图像模糊类型识别及参数整定方法 |
| US10740607B2 (en) * | 2017-08-18 | 2020-08-11 | Autel Robotics Co., Ltd. | Method for determining target through intelligent following of unmanned aerial vehicle, unmanned aerial vehicle and remote control |
| CN107728642B (zh) * | 2017-10-30 | 2021-03-09 | 北京博鹰通航科技有限公司 | 一种无人机飞行控制系统及其方法 |
| CN107933921B (zh) * | 2017-10-30 | 2020-11-17 | 广州极飞科技有限公司 | 飞行器及其喷洒路线生成和执行方法、装置、控制终端 |
| CN107703960A (zh) * | 2017-11-17 | 2018-02-16 | 江西天祥通用航空股份有限公司 | 农药喷洒直升机的地空跟踪监测装置 |
| CN108154196B (zh) * | 2018-01-19 | 2019-10-22 | 百度在线网络技术（北京）有限公司 | 用于输出图像的方法和装置 |
| CN108629289B (zh) * | 2018-04-11 | 2021-07-30 | 千寻位置网络有限公司 | 农田的识别方法及系统、应用于农业的无人机 |
| CN108596222B (zh) * | 2018-04-11 | 2021-05-18 | 西安电子科技大学 | 基于反卷积神经网络的图像融合方法 |
| CN108541683A (zh) * | 2018-04-18 | 2018-09-18 | 济南浪潮高新科技投资发展有限公司 | 一种基于卷积神经网络芯片的无人机农药喷洒系统 |
| CN108594850B (zh) * | 2018-04-20 | 2021-06-11 | 广州极飞科技股份有限公司 | 基于无人机的航线规划及控制无人机作业的方法、装置 |
| US10660277B2 (en) * | 2018-09-11 | 2020-05-26 | Pollen Systems Corporation | Vine growing management method and apparatus with autonomous vehicles |
| CN109445457B (zh) * | 2018-10-18 | 2021-05-14 | 广州极飞科技股份有限公司 | 分布信息的确定方法、无人飞行器的控制方法及装置 |
-
2018
- 2018-10-18 CN CN201811217967.XA patent/CN109445457B/zh active Active
-
2019
- 2019-10-16 AU AU2019362430A patent/AU2019362430B2/en not_active Expired - Fee Related
- 2019-10-16 JP JP2021520573A patent/JP2022502794A/ja active Pending
- 2019-10-16 CA CA3115564A patent/CA3115564A1/en active Pending
- 2019-10-16 US US17/309,058 patent/US20210357643A1/en not_active Abandoned
- 2019-10-16 WO PCT/CN2019/111515 patent/WO2020078396A1/zh unknown
- 2019-10-16 KR KR1020217014072A patent/KR20210071062A/ko not_active Application Discontinuation
- 2019-10-16 EP EP19873665.4A patent/EP3859479A4/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| US20210357643A1 (en) | 2021-11-18 |
| AU2019362430A1 (en) | 2021-05-13 |
| EP3859479A1 (en) | 2021-08-04 |
| WO2020078396A1 (zh) | 2020-04-23 |
| CN109445457A (zh) | 2019-03-08 |
| CA3115564A1 (en) | 2020-04-23 |
| JP2022502794A (ja) | 2022-01-11 |
| CN109445457B (zh) | 2021-05-14 |
| EP3859479A4 (en) | 2021-11-24 |
| AU2019362430B2 (en) | 2022-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210071062A (ko) | 분포 정보의 확정 방법, 무인 항공기의 제어 방법 및 장치 | |
| Mendes et al. | Exploiting fully convolutional neural networks for fast road detection | |
| US20200334551A1 (en) | Machine learning based target localization for autonomous unmanned vehicles | |
| US10733506B1 (en) | Object detection neural network | |
| US20170080561A1 (en) | Apparatus and methods for controlling attention of a robot | |
| BR112019015015A2 (pt) | sistema cyber-físico adaptativo para monitoramento eficiente de ambientes não estruturados | |
| US20220256834A1 (en) | Method for generating an application map for treating a field with an agricultural equipment | |
| Moazzam et al. | A patch-image based classification approach for detection of weeds in sugar beet crop | |
| Wilde et al. | Detecting gravitational lenses using machine learning: exploring interpretability and sensitivity to rare lensing configurations | |
| Krestenitis et al. | CoFly-WeedDB: A UAV image dataset for weed detection and species identification | |
| Bondi et al. | Automatic detection of poachers and wildlife with UAVs | |
| Sapkota et al. | Towards reducing chemical usage for weed control in agriculture using UAS imagery analysis and computer vision techniques | |
| CN112270671B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| Oehmcke et al. | Deep point cloud regression for above-ground forest biomass estimation from airborne LiDAR | |
| CN116977880A (zh) | 一种基于无人机图像的草地鼠洞检测方法 | |
| Petříček et al. | Simultaneous exploration and segmentation for search and rescue | |
| de Silva et al. | Vision based crop row navigation under varying field conditions in arable fields | |
| Šćekić et al. | Image-based parking occupancy detection using deep learning and faster r-cnn | |
| Lacueva-Pérez et al. | Multifactorial Evolutionary Prediction of Phenology and Pests: Can Machine Learning Help? | |
| CN115115935A (zh) | 一种杂草自动识别方法、系统、设备及存储介质 | |
| Abuaiadah et al. | Automatic counting of chickens in confined area using the LCFCN algorithm | |
| Krestenitis et al. | Overcome the Fear Of Missing Out: Active sensing UAV scanning for precision agriculture | |
| Wang et al. | Estimating and evaluating the rice cluster distribution uniformity with UAV-based images | |
| Lu et al. | Maize plant detection using UAV-based RGB imaging and YOLOv5 | |
| Charitha et al. | Detection of Weed Plants Using Image Processing and Deep Learning Techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |