JP7086203B2 - 植物体耕作データ測定方法、作業経路計画方法及び装置、システム - Google Patents

植物体耕作データ測定方法、作業経路計画方法及び装置、システム Download PDF

Info

Publication number
JP7086203B2
JP7086203B2 JP2020548944A JP2020548944A JP7086203B2 JP 7086203 B2 JP7086203 B2 JP 7086203B2 JP 2020548944 A JP2020548944 A JP 2020548944A JP 2020548944 A JP2020548944 A JP 2020548944A JP 7086203 B2 JP7086203 B2 JP 7086203B2
Authority
JP
Japan
Prior art keywords
plant
information
work
historical
cultivation data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020548944A
Other languages
English (en)
Other versions
JP2021516060A (ja
Inventor
ダイ，シュアンリャン
Original Assignee
グアンジョウ エックスエアークラフト テクノロジー カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by グアンジョウ エックスエアークラフト テクノロジー カンパニー リミテッド filed Critical グアンジョウ エックスエアークラフト テクノロジー カンパニー リミテッド
Publication of JP2021516060A publication Critical patent/JP2021516060A/ja
Application granted granted Critical
Publication of JP7086203B2 publication Critical patent/JP7086203B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01C—PLANTING; SOWING; FERTILISING
    • A01C21/00—Methods of fertilising, sowing or planting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313—Resource planning in a project environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/32—UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/40—UAVs specially adapted for particular uses or applications for agriculture or forestry operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)

Description

本発明は、植物保護技術分野に関し、詳しくは、植物体耕作データ測定方法、作業経路計画方法及び装置、システムに関する。
農業生産において、農産物の生産量は長い間人々の注目を集めていて、それが農業経営者の収入を直接に決定するので、農業経営者はしょっちゅう農産物の生産量を計算することで農産物の経済的利益を推定する。
現在、農産物の生産量に影響を与える要因には、主に、耕作数量や植物体サイズ等の植物体耕作データが含まれ、これらの植物体耕作データは、農業経営者が農産物の経済的利益を予測するに非常に重要なものである。しかし、通常は手動統計の方式によって取得されるため、植物体耕作データの統計効率が比較的に低く、特に、耕作面積の大きい一部の農作物の場合に、植物体耕作データの統計が非常に複雑になる。
本願の実施例は、植物体耕作データの統計過程を簡略化して植物体耕作データの統計効率を向上させ、経路計画をさらに正確にさせる植物体耕作データ測定方法、作業経路計画方法及び装置、システムを提供する。
上記目的を実現するため、本願において以下のような技術案を提供する。
第１態様において、本願は、
耕作領域の画像情報を受信することと、
予め設定された識別モデルを用いて、前記耕作領域の画像情報に対して処理を行って、植物体耕作データを取得することと、を含む植物体耕作データ測定方法を提供する。
既存技術に比べ、本願で提供する植物体耕作データ測定方法において、予め設定された識別モデルを用いて、マッピング装置（測量及び図化装置）から伝送された耕作領域の画像情報に対して処理を行って、植物体耕作データを取得することで、植物体耕作データの統計過程を簡略化して植物体耕作データの統計効率を向上させて、経路計画をさらに正確にさせて、耕作領域の植物体耕作データの手動統計による統計効率の低下及び統計過程が複雑である問題を回避する。
第２態様において、本願は、
耕作領域の画像情報を受信するための受信モジュールと、
予め設定された識別モデルを用いて、前記耕作領域の画像情報に対して処理を行って、植物体耕作データを取得するための処理モジュールと、を含む植物体耕作データ測定装置をさらに提供する。
既存技術に比べ、本願で提供する植物体耕作データ測定装置による有益な効果は上記技術案にて提供した植物体耕作データ測定方法による有益な効果と同じであるため、ここでは詳細な説明を省略する。
第３態様において、本願は、上記技術案に記載の植物体耕作データ測定装置と、出力端が前記植物体耕作データ測定装置に含まれた受信モジュールに接続されるマッピング装置と、を含む植物体耕作データ測定システムをさらに提供する。
既存技術に比べ、本願で提供する植物体耕作データ測定システムによる有益な効果は上記技術案にて提供した植物体耕作データ測定方法による有益な効果と同じであるため、ここでは詳細な説明を省略する。
第４態様において、本願は、
上記技術案に記載の植物体耕作データ測定方法に従って、作業経路計画用の作業領域画像から作業領域における植物体耕作データを取得することと、
前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画することと、を含む作業経路計画方法をさらに提供する。
既存技術に比べ、本願で提供する作業経路計画方法による有益な効果は上記技術案にて提供した植物体耕作データ測定方法の技術案と同じであるため、ここでは詳細な説明を省略する。同時に、測定された植物体耕作データによって作業経路を計画して、作業経路をさらに正確にさせ、働き効率を向上させ、作業実行正確性を向上させることができる。
第５態様において、本願は、
上記技術案で提供した上記植物体耕作データ測定方法に従って、前記作業経路計画の作業領域画像から、作業領域における植物体耕作データを取得するための上記技術案に記載の植物体耕作データ測定装置と、
前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画するための計画モジュールと、を含む作業経路計画システムをさらに提供する。
既存技術に比べ、本願で提供する作業経路計画システムによる有益な効果は上記技術案にて提供した作業経路計画方法による有益な効果と同じであるため、ここでは詳細な説明を省略する。
ここで説明する図面は本願を一層理解させるためのものであり、本願の一部を構成し、本願の例示的な実施例及びその説明は本願を解釈するためのものであり、本願を不当に限定するものではない。
本願の実施例で提供する作業経路計画方法のプロセスを示すブロック図である。 本願の実施例において植物体耕作データを選択する操作を行うフロチャートである。 本願の実施例において移動可能な機器の作業領域での作業経路を計画するフロチャート１である。 本願の実施例において移動可能な機器の作業領域での作業経路を計画するフロチャート２である。 本願の実施例で提供する作業経路計画システムの構造を示す図である。 本願の実施例で提供する植物体耕作データ測定方法のフロチャートである。 本願の実施例において耕作領域歴史情報を用いて深層ネットワーク・モデルにトレーニング学習を行わせるフロチャートである。 本願の実施例における深層ネットワーク・モデルの構造原理を示す図である。 本願の実施例において深層ネットワーク・モデルを用いて耕作領域の画像情報に対して処理を行うフロチャートである。 本願の実施例で提供する植物体耕作データ測定装置の構造を示すブロック図である。 本願の実施例の深層ネットワーク・モデルの構造を示すブロック図である。 本願の実施例で提供する植物体耕作データ測定システムの情報のやり取りを示す図である。
以下、本願の実施例中の図面を結合して、本願の実施例中の技術案を明確且つ完全に説明するが、ここで説明する実施例が本願の実施例の全部ではなく一部であることは言うまでもない。本願の実施例に基づいて、当業者が創造性のある行為を必要とせずに得られる他の実施例はいずれも本願の保護範囲に含まれる。
植物体耕作データを手動で統計することで植物体耕作データの統計効率が低く、特に耕作面積の大きい農作物の場合に、植物体耕作データの統計が非常に複雑になる問題に対して、本願の実施例において問題を解決するために植物体耕作データ測定方法、作業経路計画方法及び装置、システムを提供する。これらは、画像の識別が可能である農作物の耕作データの測定に用いられ、且つ耕作面積の影響を受けず、簡単且つ高速に植物体耕作データを取得することができる。そして、本願の実施例にて測定される植物体耕作データは、植物体の生産量の予測に用いられるだけではなく、植物体の成長状況の観察に用いられ、また植物体に作業を行う必要がある場合に、植物体耕作データによっる作業経路の計画に用いられる。
実施例１
本願の実施例において作業経路計画方法を提供し、図１に示すように、この作業経路計画方法はステップＳ１１０、ステップＳ１３０を含む。
ステップＳ１１０において、植物体耕作データ測定方法を用いて、作業経路計画用の作業領域画像から作業領域における植物体耕作データを取得する。
ステップＳ１３０において、作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画する。
ここで、植物体耕作データ測定方法は、トレーニング学習等の画像識別技術に基づいて、植物体耕作データを測定する。画像識別技術は、深層ネットワーク学習技術または他の画像識別技術であることができる。例えば、簡単の色の識別、形状の識別、画像の分割、エッジ部の識別算出方法等によって、作業領域の画像から必要な植物体耕作データを分離することができる。これらの画像識別技術によって、作業領域画像から必要な作業領域における植物体耕作データを高速に分離して、作業領域における植物体耕作データに応じて、移動可能な機器の作業領域での作業経路を計画することができ、作業実行正確性を向上させ、盲目的に作業する現象の出現を回避し、マッピング効率を向上させる。
上述した移動可能な機器には、ドローン、航空機、トラクター、耕耘機、収穫機、知能ロボット等が含まれる。上述したドローンは作業対象領域での農薬、肥料、種子の散布等に用いられることができる。前記トラクター、耕耘機、収穫機は農地に対する耕作と収穫等に用いられることができる。前記知能ロボットは作業対象領域に対する自動採集、綿花の摘心、レーザーによる草や害虫除去等に用いられることができる。
なお、本願の実施例で計画される作業経路には、弓形経路、螺旋状経路、同心円経路、マンサード経路、その場での回転経路のうちの１種または複種類が含まれることができる。本願の一実施例において、前記弓形経路は、まず作業対象領域で作業する幾つかの平行作業経路を決定し、これらの作業経路のヘッドと尾を接続して連通された作業経路を形成する。前記螺旋状経路は、作業中心点から外側へ徐々に回転し、ツブのように外側へ螺旋を形成しているものである。前記同心円経路は、作業中心を中心とする幾つかの同心円を含む経路である。前記マンサード経路は、必要な作業点を順に繋げてなるマンサード経路であり、本願の一実施例においては、マンサード経路を柔軟に自由経路にすることができる。本願の一実施例において、その場での回転経路は、作業機械がその場での回転することを示し、例えば、ドローンが果樹に薬液を散布する際、その場での回転する方式で均一に散布することができる。
本願の実施例で提供する作業計画方法が最も人間中心になるように、作業領域における植物体耕作データを取得した後に、移動可能な機器の作業領域での作業経路を計画する前に、本願の実施例で提供する作業経路計画方法は、図２に示す植物体耕作データを選択する操作を行うステップＳ１２０をさらに含む。ステップＳ１２０は、具体的には以下のステップＳ１２１、ステップＳ１２２を含む。
ステップＳ１２１において、ユーザが植物体耕作データを簡単且つ高速に発見するように、作業領域における植物体耕作データに対して可視化標記を行う。
ステップＳ１２２において、ユーザの選択命令に応じて、可視化標記された作業領域における植物体耕作データから作業対象植物体領域の植物体耕作データを取得する。
応用する際、可視化標記された作業領域における植物体耕作データを携帯電話、タブレットＰＣ等の端末機器に表示し、ユーザが端末機器で可視化標記された作業領域における植物体耕作データを見て、実際の需要に応じて選択命令を出力し、端末機器がユーザの選択命令に従って、可視化標記された作業領域における植物体耕作データから作業対象植物体領域の植物体耕作データを取得することができる。つまり、本願の実施例において、選択する操作の機能を端末機器に集積することができ、経路を計画する方法に対応する機能をプロセッサに集積することもできる。
ここで、作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画することは、
作業対象植物体領域の植物体耕作データに基づいて、移動可能な機器の作業植物体領域での作業経路を計画することを含む。
例示的に、作業領域の地形が比較的に平坦であり、且つ植物体の半径が大きい領域の場合に、単一の植物体に対して作業通路を計画することができる。例えば、植物体耕作データに植物体エッジ部情報と植物体の位置情報とが含まれた場合に、図３に示すように、上記作業領域における植物体耕作データに基づいて移動可能な機器の作業領域での作業経路を計画することは、ステップＳ１３１ａ、ステップＳ１３２ａを含む。
ステップＳ１３１ａにおいて、作業領域における植物体の位置情報に基づいて、各植物体の作業中心点を決定し、作業領域における植物体エッジ部情報に基づいて、各植物体の作業半径を決定する。実は植物体それぞれの作業中心点がこの植物体の幾何中心位置である。
ステップＳ１３２ａにおいて、各植物体の作業中心点、各植物体の作業半径及び前記移動可能な機器の作業幅とに基づいて、植物体作業経路を生成する。植物体作業経路は、移動可能な機器の作業領域内の作業経路を制御するに用いられる。
具体的に、植物体それぞれの作業半径及び作業中心点と移動可能な機器の作業幅とに基づいて、植物体それぞれの作業通路を生成し、換言すると、生成される植物体作業経路は、実は植物体それぞれの作業通路の組み合わせからなるものである。
一方、作業領域の地形が階段状であれば、特に作業領域内の各植物体の寸法が小さい場合に、植物体ごとの作業方式を限定することは非現実的であり、階段状の領域の階段ごとに作業経路の計画を行うことが考えられる。これに基づいて、植物体耕作データに植物体エッジ部情報と植物体の位置情報とが含まれた場合に、図４に示すように、上記作業領域における植物体耕作データに基づいて移動可能な機器の作業領域での作業経路を計画することは、ステップＳ１３１ｂ、ステップＳ１３２ｂを含む。
ステップＳ１３１ｂにおいて、植物体の位置情報に基づいて、少なくとも一本の作業中心線を決定し、植物体エッジ部情報に基づいて、少なくとも一本の作業中心線に対応する植物体幅を決定する。具体的に、各植物体の幅方向が位置する直線が対応する作業中心線に垂直する。
具体的に、ここで言う作業中心線とは、各階段の領域の全ての植物体の作業中心点からなる接続線を指し、曲線、直線または波線であることができる。各作業中心線はいずれも植物体幅に対応する。植物体幅はこの作業中心線に対応するすべての植物体の平均幅であることができれば、この作業中心線に対応するすべての植物体の中の幅が最も大きい植物体の幅であることもできる。
ステップＳ１３２ｂにおいて、移動可能な機器の作業幅、各作業中心線及び対応する植物体幅に基づいて、前記移動可能な機器の前記作業領域内の作業経路を制御するための植物体作業経路を生成する。具体的に、本願の一実施例において、植物体作業経路は実は各段階の領域での植物体作業通路の合計である。
なお、本願の実施例中の「作業」は、作業領域における植物体への殺虫剤、栄養剤の散布、または監視ジョブの実行等の操作であることができ、ここでは逐一説明しない。「作業」の最終的な目的は、各植物体の各部分に対して作業を完成できることを最適な目標とし、該最適な目標を如何に実現するかは、移動可能な機器が生成された植物体作業経路に従って作業を繰り返して検出することで実現でき、他の実現可能な検出形態であってもよい。
実施例２
本願の実施例においてさらに植物体耕作データ測定方法を提供する。これは、上述した作業経路を計画して作業領域における植物体耕作データを取得するに用いられ、植物体の成長状況の分析にも適用可能である。図５と図６に示すように、この植物体耕作データ測定方法は、ステップＳ２２０、ステップＳ２３０を含む。
ステップＳ２２０において、耕作領域の画像情報を受信する。耕作領域の画像情報は、マッピング装置、カメラ等の画像採集機器から提供されることができ、画像情報にはマッピング画像情報、地図情報、写真情報の中の１種または複種類が含まれるが、これに限定されることはない。
ステップＳ２３０において、予め設定された識別モデルを用いて、耕作領域の画像情報に対して処理を行って、植物体耕作データを取得する。
ここで、本願の実施例で提供する植物体耕作データ測定方法が、実際の需要に応じて出力することも可能であり、出力が必要な時、実際の需要に応じて植物体耕作データを出力するステップＳ２４０をさらに含むことが可能であることは理解でき、これによりさらなる応用を提供する。
このように、本願の実施例で提供する植物体耕作データ測定方法において、予め設定された識別モデルを用いて、耕作領域の画像情報に対して処理を行うことで、植物体耕作データを取得する。従って、植物体耕作データの統計過程を簡略化し、植物体耕作データの統計効率を向上させ、経路計画をさらに正確にさせ、耕作領域の植物体耕作データを手動で統計することで統計効率が低下し統計過程が複雑である問題を解決する。
また、本願の実施例において予め設定された識別モデルを用いて、耕作領域の画像情報に対して処理を行う場合に、予め設定された識別モデルが画像識別機能付きのモデルであることは理解できることであり、色識別機能付きのアルゴリズムであることもでき、画像から植物体データを識別できればよい。
識別された結果が相対的に正確であるように、本願の実施例における予め設定された識別モデルは深層ネットワーク・モデルであり、一方、深層ネットワーク・モデルはトレーニング学習を行ってから初めて耕作領域の画像情報に効率的な識別を行うことが可能である。つまり、図５乃至図７に示すように、耕作領域の画像情報を受信する前に、本願の実施例で提供する植物体耕作データ測定方法はステップＳ２１０を含む。
ステップＳ２１０において、耕作領域歴史情報を用いて深層ネットワーク・モデルにトレーニング学習を行わせ、具体的にはステップＳ２１１～ステップＳ２１４を含む。
ステップＳ２１１において、耕作領域歴史情報を受信する。耕作領域歴史情報には歴史画像情報と歴史画像情報に対応する歴史植物体校正情報とが含まれる。
ステップＳ２１２において、歴史画像情報から歴史植物体図形特徴を抽出し、具体的には、図３に示す畳み込みニューラル・ネットワーク・モデルＣＮＮで実現することができ、他の画像識別モデルを用いて、識別することも可能である。
ステップＳ２１３において、深層学習方式で歴史植物体図形特徴及び歴史植物体校正情報に対して処理を行って、深層ネットワーク・モデルの損失値を取得する。
ステップＳ２１４において、深層ネットワーク・モデルで耕作領域の画像情報に対して処理を行った結果が相対的に正確になるように、歴史植物体校正情報を用いて深層ネットワーク・モデルの損失値の最適化を行って、最適化後の植物体耕作データの識別戦略を含む深層ネットワーク・モデルを取得する。
具体的に、最適化方法として、逆伝播最適化方法で実現することが可能であり、他の最適化方法を用いることも可能である。
後続する深層ネットワーク・モデルを用いた画像識別の便宜を図るために、図６に示すように、本願の実施例で提供する植物体耕作データ測定方法は、深層ネットワーク・モデルを記憶するステップＳ２５０をさらに含み、深層ネットワーク・モデルを、記憶機能を具備する記憶モジュール１３０またはメモリ内に記憶することができる。
例示的に、本願の実施例で提供する歴史植物体校正情報は、歴史植物体エッジ部校正情報及び／または歴史植物体種類校正情報を含む。図８に示すように、この場合に、深層学習方式で歴史植物体図形特徴及び歴史植物体校正情報に対して処理を行って深層ネットワーク・モデルの損失値を取得することは、
特徴ピラミッド・モデルＦＰＮで歴史植物体図形特徴に画像分割を行って、植物体歴史画像分割結果を得ることを含み、植物体歴史画像分割結果は実は、一連の植物体エッジ部の軌跡点予測情報であり、これらの植物体エッジ部の軌跡点予測情報からなる植物体エッジ部は不規則なエッジ部である。
特徴ピラミッド・モデル(ＦＰＮ)は、特徴抽出ネットワークに基づくものであり、よく見られるＲｅｓＮｅｔまたはＤｅｎｓｅＮｅｔなどのネットワークであることができ、ターゲットの検出、実例の分割、姿勢の識別、顔の識別等の応用に用いられることができる。常用の深層学習フレームから予備トレーニング・モデルを取ってＦＰＮを実現することができる。
画像の中のターゲットの寸法の大きさはさまざまであり、データ集合の中の物体がすべてのスケールをカバーすることができないので、画像ピラミッド(異なる解像度でのダウン・サンプリング)でＣＮＮ学習を支援しなければならない。しかし、このようにする速度が遅いので、単一のスケールで予測するしかできず、中間結果で予測する場合もある。このような構成は、補助情報と補助損失関数がある場合に大量に使用される。
ＦＰＮは巧妙な方法で上記方法を向上させ、横方向の接続以外、上から下への接続も導入し、上から下へ得られた結果と横方向で得られた結果とを加算する方法で一つに融合し、解像度が異なる特徴図を得ることが可能である。これらの特徴図はいずれも元の最も深層の特徴図の意味情報を含む。
植物体歴史画像分割結果と実際の植物体エッジ部校正情報との差異を検証するため、
植物体歴史画像分割結果及び歴史植物体エッジ部校正情報に基づいて、歴史植物体画像分割損失値Ｌｍａｓｋを取得すること、
及び／または、
領域推薦ネットワーク・モデルＲＰＮで歴史植物体図形特徴に対して処理を行って、ターゲット植物体領域結果を取得すること、をさらに含む。ここで、ターゲット植物体領域結果は実は一連の植物体エッジ部の軌跡点予測情報であるが、さらにこれらの植物体エッジ部の軌跡点予測情報を用いて植物体位置予測情報を取得するために、植物体歴史画像分割結果とは、これらの植物体エッジ部の軌跡点予測情報からなる植物体エッジ部が規則な円形である点で相違している。
領域推薦ネットワーク・モデル(ＲＰＮ)は、完全畳み込みネットワークであり、特定のジョブのためにエンド・ツー・エンドのトレーニングを行うことで推薦を発生することができる。ＲＰＮネットワークの入力は、１枚の画像であり、出力は二つに分けられ、その一つはターゲット及び非ターゲットの確率であり、他の一つはｂｂｏｘの四つのパラメータであり、それぞれｂｂｏｘの中心座標ｘ,ｙ並びにｂｂｏｘの幅ｗ及び長さｈである。出力領域の推薦を得るために、一つの小さいネットワークで、五つの畳み込み層の中の最後の畳み込み層の特徴図上でスライドし、各スライド・ウィンドウはいずれもより低い次元の特徴にマッピングされ、最後に一つのｂｏｘ回帰層及び一つのｂｏｘ分類層という並列する二つの全接続層を形成する。
ターゲット植物体領域結果に基づいて取得した植物体位置予測情報と実際の植物体エッジ部校正情報との間の差異を検証するため、
ターゲット植物体領域結果及び歴史植物体エッジ部校正情報に基づいて、ターゲット植物体領域回帰損失値Ｌｂｏｘを取得すること、
及び／または、
領域推薦ネットワーク・モデルＲＰＮで、歴史植物体図形特徴に対して処理を行って、ターゲット植物体種類情報を取得し、ターゲット植物体種類情報及び歴史植物体種類校正情報に基づいて、ターゲット植物体種類回帰損失値Ｌｃｌｓを取得すること、
歴史植物体画像分割損失値Ｌｍａｓｋ、ターゲット植物体領域回帰損失値Ｌｂｏｘ、ターゲット植物体種類回帰損失値Ｌｃｌｓの中の１種または複種類に基づいて、深層ネットワーク・モデルの損失値を取得することをさらに含む。
ここで、歴史植物体画像分割損失値Ｌｍａｓｋ、ターゲット植物体領域回帰損失値Ｌｂｏｘ、ターゲット植物体種類回帰損失値Ｌｃｌｓは、実は、一つのスカラーであり、歴史植物体画像分割損失値Ｌｍａｓｋ、ターゲット植物体領域回帰損失値Ｌｂｏｘ、ターゲット植物体種類回帰損失値Ｌｃｌｓの中の１種または複種類に基づいて、深層ネットワーク・モデルの損失値を取得する過程は、歴史植物体画像分割損失値Ｌｍａｓｋ、ターゲット植物体領域回帰損失値Ｌｂｏｘ、ターゲット植物体種類回帰損失値Ｌｃｌｓの中の１種または複種類を加算することである。この場合に、植物体耕作データの識別戦略をさらに正確にさせられるように、前記歴史植物体校正情報を用いて、深層ネットワーク・モデルの損失値の最適化を行う。
あるいはまた、図８と図９に示すように、深層ネットワーク・モデルを用いて、耕作領域の画像情報に対して処理を行って、植物体耕作データを取得することは、ステップＳ２３１、ステップＳ２３２を含む。
ステップＳ２３１において、深層ネットワーク・モデルに基づいて制御して、耕作領域の画像情報から測定対象の植物体の図形特徴を抽出する。
ステップＳ２３２において、深層ネットワーク・モデルに基づいて制御して、測定対象の植物体の図形特徴を処理して、植物体耕作データを取得する。
ここで、深層ネットワーク・モデルに基づいて制御して、測定対象の植物体の図形特徴に対して処理を行って植物体耕作データを取得することは、
深層ネットワーク・モデルに基づいて、測定対象の植物体の図形特徴に画像分割を行うように特徴ピラミッド・モデルＦＰＮを制御して、植物体樹冠形状、植物体大きさ等を含む植物体エッジ部情報を取得することを含む。
及び／または、深層ネットワーク・モデルに基づいて制御して、測定対象の植物体の図形特徴に対して処理を行って植物体耕作データを取得することは、
深層ネットワーク・モデルに基づいて、測定対象の植物体の図形特徴に対して処理を行うように特徴ピラミッド・モデルを制御して、植物体成長情報を取得することを含む。また、植物体エッジ部情報に基づいて、植物体成長状況を取得することもできる。
但し、上述した植物体成長情報は、植物体の成長状況を示し、植物体が発芽したか否か、植物体の発芽率、植物体の開花状況、植物体の受粉状況、植物体が害虫や雑草に被害された状況及び植物体成熟状況等を含む。一実施例において、深層識別モデルによって植物体の病害虫を自動に識別し、上述した耕作領域の歴史画像情報中の害虫被害、雑草被害等の被害写真を校正して、深層識別モデルによって植物体の病害虫を自動に識別でき、植物体の健康状況を監視し、植物体成長情報を生成する。
及び／または、深層ネットワーク・モデルに基づいて制御して、測定対象の植物体の図形特徴に対して処理を行って植物体耕作データを取得することは、
深層ネットワーク・モデルに基づいて、測定対象の植物体の図形特徴に対して処理を行うように領域推薦ネットワーク・モデルＲＰＮを制御して、植物体の位置情報を取得することを含む。
但し、前記深層ネットワーク・モデルに基づいて、耕作領域の画像情報を結合すれば、植物体の密度、植物体の位置、植物体の分布等の情報を取得することができる。例えば、耕作領域の画像情報が地理座標の北緯２３度０６分３２秒、東経１１３度１５分５３秒から得られるとしたら、画像サンプリング地理位置及び画像における植物体の相対位置に基づいて、植物体の地理位置を決定することができる。
及び／または、深層ネットワーク・モデルに基づいて制御して、測定対象の植物体の図形特徴に対して処理を行って植物体耕作データを取得することは、
深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に対して処理を行うように領域推薦ネットワーク・モデルを制御して、植物体数量情報を取得することを含む。植物体数量情報を植物体の位置情報に基づいて取得することも可能である。
及び／または、深層ネットワーク・モデルに基づいて制御して、測定対象の植物体の図形特徴に対して処理を行って植物体耕作データを取得することは、
深層ネットワーク・モデルに基づいて、歴史植物体図形特徴に対して処理を行うように領域推薦ネットワーク・モデルＲＰＮを制御して、植物体種類情報を取得することを含む。
なお、植物体耕作データを出力する必要がある場合に、深層ネットワーク・モデルを用いて、耕作領域の画像情報に対して処理を行って、植物体耕作データを取得した後に、本願の実施例で提供する植物体耕作データ測定方法は、
植物体エッジ部情報、植物体の位置情報、植物体成長情報、植物体数量情報、植物体種類情報の中の一つまたは複数を植物体耕作データとして出力することをさらに含む。例示的に、表１に出力される植物体エッジ部情報及び植物体の位置情報を示す。
Figure 0007086203000001
表１に示す植物体耕作データから、本願の実施例で提供する植物体耕作データ測定方法に示す植物体耕作データは、植物体中心点位置と植物体半径を含むことが分かる。植物体半径は植物体エッジ部情報と植物体成長情報の一つの表現形態であり、植物体中心点位置は植物体数量情報と植物体の位置情報の一つの表現形態であることが分かる。
実施例３
本願の実施例において作業経路計画システムをさらに提供し、図１と図５に示すように、この作業経路計画システムは、
上記実施例２で提供した植物体耕作データ測定方法に従って、前記作業経路計画用の作業領域画像から作業領域における植物体耕作データを取得するための植物体耕作データ測定装置１００と、
作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画するための計画モジュール４００と、を含む。
既存技術に対する本願の実施例で提供する作業経路計画システムによる有益な効果は、上記実施例１で提供した作業経路計画方法の有益な効果と同じであるため、ここでは詳細な説明を省略する。
ここで、作業経路は、弓形経路、螺旋状経路、同心円経路、マンサード経路、その場での回転経路の中の１種または複種類を含むが、これに限定されることはない。
あるいはまた、図２と図５に示すように、本願の実施例で提供する作業経路計画システムは、
作業領域における植物体耕作データを取得した後に、移動可能な機器の作業領域での作業経路を計画する前に、前記作業領域における植物体耕作データの可視化標記を行うためのデータ標記モジュール２００と、
ユーザから送信された選択命令に従って、可視化標記された作業領域における植物体耕作データから作業対象植物体領域の植物体耕作データを取得するための選択制御モジュール３００と、
具体的に前記作業対象植物体領域の植物体耕作データに基づいて、移動可能な機器の作業対象植物体領域での作業経路を計画する計画モジュール４００と、をさらに含む。
一種類の実現可能な形態として、地形が比較的に平坦であり且つ植物体が大きい領域の場合に、植物体耕作データに植物体エッジ部情報と植物体の位置情報とが含まれていると、本願の実施例において、計画モジュール４００は、具体的に、作業領域における植物体の位置情報に基づいて、各植物体の作業中心点を決定し、作業領域における植物体エッジ部情報に基づいて、各植物体の作業半径を決定し、
各植物体の作業中心点、各植物体の作業半径及び移動可能な機器の作業幅に基づいて、移動可能な機器の前記作業領域内の作業経路を制御するための植物体作業経路を生成するに用いられる。
他の実現可能な形態として、地形が切り立った階段状であり且つ植物体が小さい場合に、植物体耕作データに植物体エッジ部情報と植物体の位置情報とが含まれていると、本願の実施例において、計画モジュール４００は、具体的に、前記植物体の位置情報に基づいて、少なくとも一本の作業中心線を決定し、植物体エッジ部情報に基づいて、少なくとも一本の作業中心線に対応する植物体幅（各植物体の幅方向が位置する直線が対応する作業中心線に垂直する。）を決定し、前記移動可能な機器の作業幅、各前記作業中心線及び対応する植物体幅に基づいて、前記移動可能な機器の前記作業領域内の作業経路を制御するための植物体作業経路を生成するに用いられる。
実施例４
本願の実施例において植物体耕作データ測定装置１００を提供し、上記実施例３で提供した作業経路計画システムに含まれる植物体耕作データ測定装置１００とすることができる。図６と図１０に示すように、この植物体耕作データ測定装置１００は、
耕作領域の画像情報を受信するための受信モジュール１１０と、
予め設定された識別モデルを用いて、耕作領域の画像情報に対して処理を行って、植物体耕作データを取得するための処理モジュール１２０と、を含む。
既存技術に対する本願の実施例で提供する植物体耕作データ測定装置による有益な効果は上記実施例２で提供した植物体耕作データ測定方法の有益な効果と同じであるため、ここでは詳細な説明を省略する。
ここで、上記画像情報は、マッピング画像情報、地図情報、写真情報の中の１種または複種類を含み、例えば赤外図等の他の形式の画像情報を含むこともでき、ここでは逐一説明しない。
具体的に、図７と図１０に示すように、予め設定された識別モデルが深層ネットワーク・モデルである場合に、本願の実施例で提供する植物体耕作データ測定装置１００は、深層ネットワーク・モデルを記憶するための記憶モジュール１３０をさらに含む。
上記受信モジュール１１０はさらに、耕作領域の画像情報を受信する前に、歴史画像情報と歴史画像情報に対応する歴史植物体校正情報とを含む耕作領域歴史情報を受信する。
図７乃至図１１に示すように、処理モジュール１２０は、特徴抽出ユニット１２１と、情報識別ユニット１２２と、モデル最適化ユニット１２３と、を含む。特徴抽出ユニット１２１は、耕作領域の画像情報を受信する前に、歴史画像情報から歴史植物体図形特徴を抽出し、また、耕作領域の画像情報を受信した後に、深層ネットワーク・モデルに基づいて制御して、耕作領域の画像情報から測定対象の植物体の図形特徴を抽出する。具体的に、実は、特徴抽出ユニット１２１は歴史画像情報から歴史植物体図形特徴を抽出する役割を果たし、具体的には畳み込みニューラル・ネットワーク・モデルＣＮＮ等の画像識別機能を具備するモデルを用いて、歴史植物体図形特徴を抽出する。
情報識別ユニット１２２は、耕作領域の画像情報を受信する前に、深層学習方式を用いて、歴史植物体図形特徴及び歴史植物体校正情報に対して処理を行って、深層ネットワーク・モデルの損失値を取得し、また、耕作領域の画像情報を受信した後に、深層ネットワーク・モデルに基づいて制御して、測定対象の植物体の図形特徴を処理して、植物体耕作データを取得する。
モデル最適化ユニット１２３は、耕作領域の画像情報を受信する前に、歴史植物体校正情報を用いて、深層ネットワーク・モデルの損失値に最適化を行って(最適化方法は、逆伝播最適化方法であることができる)、最適化後の植物体耕作データの識別戦略を含む深層ネットワーク・モデルを取得する。
あるいはまた、本願の実施例において、歴史植物体校正情報は、歴史植物体エッジ部校正情報及び／または歴史植物体種類校正情報を含む。
図７と図１１に示すように、情報識別ユニット１２２は、第１の識別ユニット１２２ａと第２の識別ユニット１２２ｂと情報計算ユニットとを含む。第１の識別ユニット１２２ａは、
耕作領域の画像情報を受信する前に、特徴ピラミッド・モデルＦＰＮを用いて、歴史植物体図形特徴に画像分割を行って、植物体歴史画像分割結果を取得し、植物体歴史画像分割結果及び前記歴史植物体エッジ部校正情報に基づいて、歴史植物体画像分割損失値Ｌｍａｓｋを取得し、及び、
耕作領域の画像情報を受信した後に、深層ネットワーク・モデルに基づいて、特徴ピラミッド・モデルＦＰＮを用いて、前記測定対象の植物体の図形特徴に画像分割を行って、植物体エッジ部情報を取得し、及び／または、深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に対して処理を行うように特徴ピラミッド・モデルを制御して、植物体成長情報を取得する。
第２の識別ユニット１２２ｂは、
耕作領域の画像情報を受信する前に、領域推薦ネットワーク・モデルＲＰＮを用いて、歴史植物体図形特徴に対して処理を行って、ターゲット植物体領域結果を取得し、前記ターゲット植物体領域結果及び前記歴史植物体エッジ部校正情報に基づいて、ターゲット植物体領域回帰損失値Ｌｂｏｘを取得し、及び、
前記深層ネットワーク・モデルに基づいて、耕作領域の画像情報を受信した後に、深層ネットワーク・モデルに基づいて、領域推薦ネットワーク・モデルＲＰＮを用いて、前記測定対象の植物体の図形特徴に対して処理を行って、植物体の位置情報を取得し、及び／または、深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に対して処理を行うように領域推薦ネットワーク・モデルを制御して、植物体数量情報を取得し、
及び／または、
耕作領域の画像情報を受信する前に、領域推薦ネットワーク・モデルＲＰＮを用いて、前記歴史植物体図形特徴に対して処理を行って、ターゲット植物体種類情報を取得し、前記ターゲット植物体種類情報及び前記歴史植物体種類校正情報に基づいて、ターゲット植物体種類回帰損失値Ｌｃｌｓを取得し、及び耕作領域の画像情報を受信した後に、深層ネットワーク・モデルに基づいて、領域推薦ネットワーク・モデルＲＰＮを用いて、前記歴史植物体図形特徴に対して処理を行って、植物体種類情報を取得する。
情報計算ユニットは、
耕作領域の画像情報を受信する前に、歴史植物体画像分割損失値Ｌｍａｓｋ、ターゲット植物体領域回帰損失値Ｌｂｏｘ、ターゲット植物体種類回帰損失値Ｌｃｌｓの中の１種または複種類に基づいて、深層ネットワーク・モデルの損失値を取得する。
なお、植物体耕作データを出力する必要がある場合に、図１０に示すように、本願の実施例の植物体耕作データ測定装置１００は、植物体エッジ部情報、植物体の位置情報、植物体数量情報、植物体成長情報、植物体種類情報の中の一つまたは複数を植物体耕作データとして出力するための送信モジュール１４０をさらに含む。
実施例５
本願の実施例において植物体耕作データ測定システムをさらに提供し、図１０と図１２に示すように、この植物体耕作データ測定システムは、画像採集装置００１と、上記実施例で提供するメモリ３０２とを含む。画像採集装置００１の出力端は植物体耕作データ測定装置１００に含まれた受信モジュール１１０に接続される。
画像採集装置００１は、耕作領域歴史情報に含まれた歴史画像情報または現在の耕作領域の画像情報を採集して植物体耕作データ測定装置１００に伝送して、植物体耕作データ測定装置１００に、マッピングされた耕作領域歴史情報に含まれた歴史画像情報に基づいて、マッピングされた耕作領域歴史情報に含まれた歴史植物体校正情報を結合して、深層ネットワーク・モデルの最適化を実現させられる。これにより、現在の耕作領域の画像情報を受信した場合に、深層ネットワーク・モデルを高速に呼び出して植物体耕作データの測定を完成することができる。
既存技術に対する本願の実施例で提供する植物体耕作データ測定装置１００による有益な効果は上記技術案で提供した植物体耕作データ測定方法の有益な効果と同じであるため、ここでは詳細な説明を省略する。
具体的に、図１２に示すように、本願の実施例で提供する植物体耕作データ測定システムにおいて、画像採集装置００１は通常マッピング航空機であり、他のカメラ等の撮像装置であることもできる。
図６と図９に示すように、上空で耕作領域を撮し、植物体耕作データ測定装置１００はサーバの形態で地面に設けられ、そしてマッピング航空機が採集した耕作領域の画像情報を無線伝送の形態でサーバに伝送することができる。
また、植物体耕作データ測定装置１００がマッピング航空機によって採集された耕作領域の画像情報をリアルタイムに対して処理するように、植物体耕作データ測定装置１００をマッピング航空機内に設置することもできる。植物体耕作データ測定装置１００がマッピング航空機に設置された場合に、マッピング航空機は、マッピング・モジュールと飛行制御モジュールとを含み、本願の実施例で提供する植物体耕作データ測定装置１００は飛行制御モジュール内に設けられ、マッピング・モジュールは受信モジュール１１０に接続される。
あるいはまた、本願の実施例において、画像採集装置は少なくとも位置決めユニットと画像採集ユニットとを含む。位置決めユニットは、植物体の位置情報の位置決めを行う。画像採集ユニットは、画像情報を採集する。位置決めユニットと画像採集ユニットはそれぞれ受信モジュールに接続され、受信モジュールは送信モジュールに接続される。これにより、画像採集装置が耕作領域の画像情報を採集する際に、一つの植物体の画像情報を採集するたびに、その植物体に位置決めを行うことで、その植物体の位置を画像採集段階で取得することができ、その後は採集された画像情報にエッジ部輪郭の分析のみを行えばよい。他の実施例において、前記マッピング航空機の位置を植物体位置を決定する際の参照とすることができ、これにより、マッピング航空機の位置情報によって植物体の位置を間接に決定することができる。植物体の中心位置をさらに精確に決定するため、植物体の中心点位置を分析する必要もある。
以上は、本願の具体的な実施形態にすぎず、本願の保護範囲がこれらに限定されなく、本願に開示された技術範囲内で当業者が容易に得られる変化または置き換えは全部本願の保護範囲に含まれる。よって、本願の保護範囲は特許請求の範囲に依拠するべきである。
本願の実施例で提供する方案は植物保護技術分野に応用できる。本願の実施例において、予め設定された識別モデルを用いて、マッピング装置から伝送された耕作領域の画像情報に対して処理を行って、植物体耕作データを取得することで、植物体耕作データの統計過程を簡略化し、植物体耕作データの統計効率を向上させて、耕作領域の植物体耕作データの手動統計による統計効率の低下及び統計過程が複雑である問題を回避する。

Claims (14)

  1. 耕作領域の画像情報を受信することと、
    予め設定された識別モデルを用いて、前記耕作領域の画像情報に対して処理を行って、植物体耕作データを取得することと、を含み、
    前記耕作データは、植物体エッジ部情報、植物体の位置情報、植物体数量情報、植物体成長情報、及び植物体種類情報の中の少なくとも一つを含み、
    前記予め設定された識別モデルは深層ネットワーク・モデルであり、耕作領域の画像情報を受信する前に、
    歴史画像情報と前記歴史画像情報に対応する歴史植物体校正情報とを含む耕作領域歴史情報を受信することと、
    前記歴史画像情報から歴史植物体図形特徴を抽出することと、
    深層学習方式で前記歴史植物体図形特徴及び前記歴史植物体校正情報に対して処理を行って、深層ネットワーク・モデルの損失値を取得することと、
    前記歴史植物体校正情報を用いて、前記深層ネットワーク・モデルの損失値に最適化を行って、最適化後の植物体耕作データの識別戦略を含む深層ネットワーク・モデルを取得することと、
    前記深層ネットワーク・モデルを記憶することと、をさらに含む植物体耕作データ測定方法。
  2. 前記画像情報が、マッピング画像情報、地図情報、写真情報の中の１種または複種類を含む請求項１に記載の植物体耕作データ測定方法。
  3. 前記深層学習方式で歴史植物体図形特徴及び歴史植物体校正情報に対して処理を行って、深層ネットワーク・モデルの損失値を取得することは、
    前記歴史植物体校正情報に歴史植物体エッジ部校正情報が含まれた場合に、特徴ピラミッド・モデルを用いて、前記歴史植物体図形特徴に画像分割を行って、植物体歴史画像分割結果を取得し、前記植物体歴史画像分割結果及び前記歴史植物体エッジ部校正情報に基づいて、歴史植物体画像分割損失値を取得することと、
    前記歴史植物体校正情報に歴史植物体エッジ部校正情報が含まれた場合に、領域推薦ネットワーク・モデルを用いて、前記歴史植物体図形特徴に対して処理を行って、ターゲット植物体領域結果を取得し、前記ターゲット植物体領域結果及び前記歴史植物体エッジ部校正情報に基づいて、ターゲット植物体領域回帰損失値を取得することと、
    前記歴史植物体校正情報に歴史植物体種類校正情報が含まれた場合に、領域推薦ネットワーク・モデルを用いて、前記歴史植物体図形特徴に対して処理を行って、ターゲット植物体種類情報を取得し、前記ターゲット植物体種類情報及び前記歴史植物体種類校正情報に基づいて、ターゲット植物体種類回帰損失値を取得することと、
    前記歴史植物体画像分割損失値、前記ターゲット植物体領域回帰損失値、前記ターゲット植物体種類回帰損失値の中の１種または複種類に基づいて、深層ネットワーク・モデルの損失値を取得することと、を含む請求項１に記載の植物体耕作データ測定方法。
  4. 前記予め設定された識別モデルを用いて、前記耕作領域の画像情報に対して処理を行って、植物体耕作データを取得することが、
    前記予め設定された識別モデルに基づいて制御して、前記耕作領域の画像情報から測定対象の植物体の図形特徴を抽出することと、
    前記予め設定された識別モデルに基づいて制御して、前記測定対象の植物体の図形特徴を処理して、植物体耕作データを取得することと、を含む請求項３に記載の植物体耕作データ測定方法。
  5. 前記予め設定された識別モデルに基づいて制御して、測定対象の植物体の図形特徴を処理して、植物体耕作データを取得することは、
    前記深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に画像分割を行うように特徴ピラミッド・モデルを制御して、植物体エッジ部情報を取得すること、
    前記深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に対して処理を行うように領域推薦ネットワーク・モデルを制御して、植物体の位置情報を取得すること、
    前記深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に対して処理を行うように領域推薦ネットワーク・モデルを制御して、植物体数量情報を取得すること、
    前記深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に対して処理を行うように特徴ピラミッド・モデルを制御して、植物体成長情報を取得すること、
    前記深層ネットワーク・モデルに基づいて、前記歴史植物体図形特徴に対して処理を行うように領域推薦ネットワーク・モデルを制御して、植物体種類情報を取得することの中の少なくとも一つを含む請求項４に記載の植物体耕作データ測定方法。
  6. 耕作領域の画像情報を受信するように構成された受信モジュールと、
    予め設定された識別モデルを用いて、前記耕作領域の画像情報に対して処理を行って、植物体耕作データを取得するように構成された処理モジュールと、を含み、
    前記耕作データは、植物体エッジ部情報、植物体の位置情報、植物体数量情報、植物体成長情報、及び植物体種類情報の中の少なくとも一つを含み、
    前記予め設定された識別モデルは深層ネットワーク・モデルであり、耕作領域の画像情報を受信する前に、
    歴史画像情報と前記歴史画像情報に対応する歴史植物体校正情報とを含む耕作領域歴史情報を受信し、
    前記歴史画像情報から歴史植物体図形特徴を抽出し、
    深層学習方式で前記歴史植物体図形特徴及び前記歴史植物体校正情報に対して処理を行って、深層ネットワーク・モデルの損失値を取得し、
    前記歴史植物体校正情報を用いて、前記深層ネットワーク・モデルの損失値に最適化を行って、最適化後の植物体耕作データの識別戦略を含む深層ネットワーク・モデルを取得し、
    前記深層ネットワーク・モデルを記憶する植物体耕作データ測定装置。
  7. 画像採集装置と、請求項６に記載の植物体耕作データ測定装置と、含み、前記画像採集装置の出力端が前記植物体耕作データ測定装置に含まれた受信モジュールに接続される植物体耕作データ測定システム。
  8. 前記画像採集装置がマッピング・モジュールと飛行制御モジュールとを含むマッピング航空機である場合に、前記植物体耕作データ測定装置が前記飛行制御モジュールに設けられ、前記マッピング・モジュールが前記受信モジュールに接続される請求項７に記載の植物体耕作データ測定システム。
  9. 請求項１乃至５の中のいずれか一項に記載の植物体耕作データ測定方法に従って、作業経路計画用の作業領域画像から作業領域における植物体耕作データを取得することと、
    前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画することと、を含む作業経路計画方法。
  10. 前記植物体耕作データに植物体エッジ部情報と植物体の位置情報とが含まれていると、前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画することは、
    前記作業領域における植物体の位置情報に基づいて、各植物体の作業中心点を決定することと、
    前記作業領域における植物体エッジ部情報に基づいて、各植物体の作業半径を決定することと、
    各植物体の作業中心点、各植物体の作業半径及び前記移動可能な機器の作業幅に基づいて、前記移動可能な機器の前記作業領域内での作業経路を制御するための植物体作業経路を生成することと、を含む請求項９に記載の作業経路計画方法。
  11. 前記植物体耕作データに植物体エッジ部情報と植物体の位置情報とが含まれていると、前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画することは、
    前記植物体の位置情報に基づいて、少なくとも一本の作業中心線を決定することと、
    植物体エッジ部情報に基づいて、少なくとも一本の作業中心線に対応する植物体幅を決定することと、
    前記移動可能な機器の作業幅、各前記作業中心線及び対応する植物体幅に基づいて、前記移動可能な機器の前記作業領域内での作業経路を制御するための植物体作業経路を生成することと、含む請求項９に記載の作業経路計画方法。
  12. 前記作業経路が、弓形経路、螺旋状経路、同心円経路、マンサード経路、その場での回転経路の中の１種または複種類を含む請求項９に記載の作業経路計画方法。
  13. 前記作業領域における植物体耕作データを取得した後に、移動可能な機器の作業領域での作業経路を計画する前に、
    前記作業領域における植物体耕作データに対して可視化標記を行うことと、
    ユーザの選択命令に応じて、可視化標記された前記作業領域における植物体耕作データから作業対象植物体領域の植物体耕作データを取得することと、をさらに含み、
    前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画することは、
    前記作業対象植物体領域の植物体耕作データに基づいて、移動可能な機器の作業対象植物体領域での作業経路を計画することを含む請求項９に記載の作業経路計画方法。
  14. 請求項１乃至５の中のいずれか一項に記載の植物体耕作データ測定方法に従って、作業経路計画用の作業領域画像から作業領域における植物体耕作データを取得するように構成された植物体耕作データ測定装置と、
    前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画するように構成された計画モジュールと、を含む作業経路計画システム。
JP2020548944A 2018-03-23 2019-02-19 植物体耕作データ測定方法、作業経路計画方法及び装置、システム Active JP7086203B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810247447.7A CN110309933A (zh) 2018-03-23 2018-03-23 植株种植数据测量方法、作业路线规划方法及装置、系统
CN201810247447.7 2018-03-23
PCT/CN2019/075457 WO2019179270A1 (zh) 2018-03-23 2019-02-19 植株种植数据测量方法、作业路线规划方法及装置、系统

Publications (2)

Publication Number Publication Date
JP2021516060A JP2021516060A (ja) 2021-07-01
JP7086203B2 true JP7086203B2 (ja) 2022-06-17

Family

ID=67988117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020548944A Active JP7086203B2 (ja) 2018-03-23 2019-02-19 植物体耕作データ測定方法、作業経路計画方法及び装置、システム

Country Status (6)

Country Link
US (1) US11321942B2 (ja)
EP (1) EP3770830A4 (ja)
JP (1) JP7086203B2 (ja)
CN (1) CN110309933A (ja)
AU (1) AU2019238712B2 (ja)
WO (1) WO2019179270A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580729B2 (en) * 2019-11-22 2023-02-14 Intelinair, Inc. Agricultural pattern analysis system
IT201900025831A1 (it) * 2019-12-31 2021-07-01 Twicky S R L Metodo per la pianificazione del percorso di movimentazione di un oggetto all'interno di un’area urbana e programma informatico atto ad implementare tale metodo
CN113407755A (zh) * 2020-03-17 2021-09-17 北京百度网讯科技有限公司 植物生长状况信息获取方法、装置及电子设备
US11730089B2 (en) * 2020-03-25 2023-08-22 Iunu, Inc. Horticulture aided by autonomous systems
US11656624B2 (en) * 2020-03-25 2023-05-23 Iunu, Inc. Horticulture aided by autonomous systems
CN111860626B (zh) * 2020-07-04 2023-08-29 广东粤源工程咨询有限公司 基于无人机遥感和面向对象分类的水土保持监测方法及系统
CN112183329A (zh) * 2020-09-27 2021-01-05 广州极飞科技有限公司 植株的补种信息识别方法、装置、计算机设备和存储介质
CN112068572A (zh) * 2020-10-09 2020-12-11 四川长虹电器股份有限公司 一种无人收割系统及方法
CN112487936A (zh) * 2020-11-26 2021-03-12 郑州数农通大数据科技有限公司 一种基于机器视觉技术的玉米田间管理机器人
CN112987779A (zh) * 2021-02-03 2021-06-18 湖南祥柏生态环保科技有限公司 基于环形作业的种植区
CN113074740B (zh) * 2021-04-29 2023-11-17 广州极飞科技股份有限公司 一种作业区域内的航线规划方法、装置、设备及介质
CN113778110B (zh) * 2021-11-11 2022-02-15 山东中天宇信信息技术有限公司 一种基于机器学习的智能农机控制方法及系统
CN115299245B (zh) * 2022-09-13 2023-07-14 南昌工程学院 一种智能水果采摘机器人的控制方法及控制系统
CN116222547B (zh) * 2023-05-10 2023-08-01 北京市农林科学院智能装备技术研究中心 适用于等高种植的农机导航方法、装置及电子设备

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8855405B2 (en) * 2003-04-30 2014-10-07 Deere & Company System and method for detecting and analyzing features in an agricultural field for vehicle guidance
WO2011115666A2 (en) * 2010-03-13 2011-09-22 Carnegie Mellon University Computer vision and machine learning software for grading and sorting plants
US20130173321A1 (en) * 2011-12-30 2013-07-04 Jerome Dale Johnson Methods, apparatus and systems for generating, updating and executing a crop-harvesting plan
CN102749290B (zh) 2012-07-02 2014-12-03 浙江大学 一种樱桃树冠层树枝生长状态的检测方法
CN103017753B (zh) * 2012-11-01 2015-07-15 中国兵器科学研究院 一种无人机航路规划方法及装置
CN103336517B (zh) 2013-07-02 2015-06-24 周庆芬 一种智能农业综合管理系统
WO2015006675A2 (en) * 2013-07-11 2015-01-15 Blue River Technology, Inc. Method for automatic phenotype measurement and selection
CN104461318B (zh) * 2013-12-10 2018-07-20 苏州梦想人软件科技有限公司 基于增强现实技术的点读方法及系统
US20170161560A1 (en) 2014-11-24 2017-06-08 Prospera Technologies, Ltd. System and method for harvest yield prediction
IL236606B (en) * 2015-01-11 2020-09-30 Gornik Amihay Standards and methods for agricultural monitoring
CN104807457A (zh) * 2015-04-29 2015-07-29 广州快飞计算机科技有限公司 飞行器航线的生成方法、装置及终端设备
CN104866970B (zh) * 2015-05-26 2018-07-24 徐吉祥 智能种植管理方法和智能种植设备
CN105116911B (zh) * 2015-07-20 2017-07-21 广州极飞科技有限公司 无人机喷药方法
SG10201506012SA (en) * 2015-07-31 2017-02-27 Accenture Global Services Ltd Inventory, growth, and risk prediction using image processing
WO2017045116A1 (en) * 2015-09-15 2017-03-23 SZ DJI Technology Co., Ltd. System and method for supporting smooth target following
CN105159319B (zh) * 2015-09-29 2017-10-31 广州极飞科技有限公司 一种无人机的喷药方法及无人机
US10491879B2 (en) 2016-01-15 2019-11-26 Blue River Technology Inc. Plant feature detection using captured images
CN106382933B (zh) * 2016-11-04 2019-09-10 北京农业智能装备技术研究中心 一种用于航空植保飞行器的作业航线获取方法及系统
CN106846334A (zh) 2017-01-19 2017-06-13 江南大学 基于支持向量数据描述的田间玉米植株识别方法
US10699185B2 (en) * 2017-01-26 2020-06-30 The Climate Corporation Crop yield estimation using agronomic neural network
CN106993167A (zh) 2017-04-28 2017-07-28 深圳前海弘稼科技有限公司 一种植株的监控方法及监控系统
CN107315529B (zh) * 2017-06-19 2020-05-26 维沃移动通信有限公司 一种拍照方法及移动终端
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法
CN107633202A (zh) * 2017-08-11 2018-01-26 合肥嘉浓航空科技有限公司 一种基于农田图像特征识别的植保无人机飞控方法和系统
CN107808375B (zh) 2017-09-28 2019-07-16 中国科学院合肥物质科学研究院 融合多种上下文深度学习模型的水稻病害图像检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yu.A. Gunchenko, S.A. Shvorov, V.I. Zagrebnyuk, V.U. Kumysh, and E.S. Lenkov，Using UAV for Unmanned Agricultural Harvesting Equipment Route Planning and Harvest Volume Measuring，2017 IEEE 4th International Conference Actual Problems of Unmanned Aerial Vehicles Developments (APUAVD)，2017年10月17日，pp. 262 - 265

Also Published As

Publication number Publication date
EP3770830A4 (en) 2021-12-08
EP3770830A1 (en) 2021-01-27
US11321942B2 (en) 2022-05-03
WO2019179270A1 (zh) 2019-09-26
JP2021516060A (ja) 2021-07-01
CN110309933A (zh) 2019-10-08
AU2019238712A1 (en) 2020-09-24
AU2019238712B2 (en) 2022-07-21
US20210004594A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
JP7086203B2 (ja) 植物体耕作データ測定方法、作業経路計画方法及び装置、システム
Fernández‐Quintanilla et al. Is the current state of the art of weed monitoring suitable for site‐specific weed management in arable crops?
US11238283B2 (en) Hybrid vision system for crop land navigation
Rivera et al. LiDAR applications in precision agriculture for cultivating crops: A review of recent advances
CN113920474B (zh) 一种智能监管柑橘种植态势的物联网系统及方法
WO2021142068A1 (en) Using optical remote sensors and machine learning models to predict agronomic field property data
Amaral et al. UAV applications in Agriculture 4.0
JP2022082636A (ja) 情報処理装置
WO2021198731A1 (en) An artificial-intelligence-based method of agricultural and horticultural plants' physical characteristics and health diagnosing and development assessment.
CN117115769A (zh) 一种基于语义分割网络的植株检测与定位方法
CN116739739A (zh) 一种贷款额度评估方法、装置、电子设备及存储介质
Venkatesh et al. eagri: Smart agriculture monitoring scheme using machine learning strategies
Huang et al. Digital image analysis technologies for decision support systems in agricultural
Kaivosoja Role of spatial data uncertainty in executions of precision farming operations
Rovira-Más et al. Crop scouting and surrounding awareness for specialty crops
Agrawal et al. Artificial Intelligence–Intelligent Inputs Revolutionising Agriculture
US11763452B2 (en) Training method, evaluation method, electronic device and storage medium
Danlard IoT based sustainable agriculture-advances, challenges and opportunities
US20230359889A1 (en) Machine learning methods and systems for characterizing corn growth efficiency
Grego et al. Technologies developed in precision agriculture.
CN118119269A (zh) 用于维护农业用地的方法和系统
Sahu et al. ARTIFICIAL INTELLIGENCE IN AGRICULTURE
Vinci et al. Use of Drones with Multispectral and Thermal Cameras to Assess the Biometric Characteristics and Water Status of Different Hazelnut Cultivars
Bhardwaj PRECISION AGRICULTURE AND DATA ANALYTICS
Rivera Zarate LiDAR applications in precision agriculture for cultivating crops: A review of recent advances

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200911

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220607

R150 Certificate of patent or registration of utility model

Ref document number: 7086203

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150