JP7423631B2 - デジタル画像および機械学習モデルを使用した圃場異常の地図作成 - Google Patents

デジタル画像および機械学習モデルを使用した圃場異常の地図作成 Download PDF

Info

Publication number
JP7423631B2
JP7423631B2 JP2021532893A JP2021532893A JP7423631B2 JP 7423631 B2 JP7423631 B2 JP 7423631B2 JP 2021532893 A JP2021532893 A JP 2021532893A JP 2021532893 A JP2021532893 A JP 2021532893A JP 7423631 B2 JP7423631 B2 JP 7423631B2
Authority
JP
Japan
Prior art keywords
plot
field
images
map
agricultural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021532893A
Other languages
English (en)
Other versions
JP2022510487A (ja
Inventor
ボイヤン、ペシロブ
ウェイリン、ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Climate LLC
Original Assignee
Climate LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Climate LLC filed Critical Climate LLC
Publication of JP2022510487A publication Critical patent/JP2022510487A/ja
Application granted granted Critical
Publication of JP7423631B2 publication Critical patent/JP7423631B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06T5/60
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B79/00Methods for working soil
    • A01B79/005Precision agriculture
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G25/00Watering gardens, fields, sports grounds or the like
    • A01G25/16Control of watering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/32UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/194Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Description

利益の主張
本出願は、その全内容が本明細書に全文が記載されている場合と同様にあらゆる目的で参照により本明細書に組み込まれる、2018年12月10日に出願された仮出願第62/777,748号の非仮出願としての米国特許法第119条に基づく利益を主張するものである。本出願人らは、ここに、親出願における特許請求の範囲またはその審査履歴の放棄を取り消し、本出願における特許請求の範囲が親出願における請求よりも広い可能性があることを米国特許商標庁に通知する。
著作権表示
この特許文書の開示の一部は、著作権保護の対象となる資料を含む。著作権者は、特許商標庁への提出物または記録に記載されているように、特許文書または特許開示のいずれかによるファクシミリ複製に異議を唱えないが、それ以外のあらゆる著作権または権利を留保する。(著作権)2015~2019 The Climate Corporation。
本開示の分野
本開示の1つの技術分野は、デジタル画像のコンピュータにより実施される分析である。別の技術分野は、圃場のデジタル画像、典型的には衛星、無人航空機またはその他の航空機を使用して地上から得られた画像のコンピュータにより実施される解釈および分析である。
本項に記載されている手法は、追求され得る手法であるが、必ずしも以前に考案または追求された手法ではない。したがって、別段の指示がない限り、本項に記載される手法のいずれも、単にそれらが本項に含まれるからといって先行技術とみなされると想定されるべきではない。
精密農業における取り組みの1つは、圃場の異常なエリアの割合を正確に測定することである。栽培者は、自分の圃場における倒伏および雑草の程度および深刻さ、ならびにそれらの異常の収量影響を理解したいと切望することがよくある。近年、多くの画像化の手法、特にUAVベースの画像化の方法が、圃場の倒伏および雑草を検出するために研究されている。例えば、Chuら(2017)は、UAVによって測定されたキャノピーの色および草高の情報に基づいてトウモロコシの倒伏率を評価した。Huangら(2018)は、圃場内の雑草分布を評価するために高解像度のUAV画像化システムを適用した。しかしながら、倒伏、裸地土壌および雑草を自動化された方法で正確かつ同時に検出および分類することができる体系的な手法はない。
倒伏または機器損傷および雑草検出のための特定の手法は、LiDARおよびハイパースペクトルセンサなどの高価なセンサ、またはSfM(Surface from Motion)(数値表層モデル(Digital Surface Model))などの高度で時間のかかる後処理を使用してきた。これらの手法のスループットは制限されることが多く、よって、商業的な運用または複数の圃場への拡張が困難である。
上記により、デジタル画像に基づいて圃場における異常を判定するための改善された効率的なコンピュータにより実施される方法が必要である。
添付の特許請求の範囲は、本開示の概要の役割を果たし得る。
図面において:
システムが相互運用し得る他の装置と共に圃場環境に示された、本明細書に記載の機能を行うように構成されている例示的なコンピュータシステムを示す図である。
例示的なモバイルアプリケーションが実行のためにロードされるときのメインメモリ内の命令セットの例示的な論理構成を示す2つの図である。
農業インテリジェンス・コンピュータ・システムが、1つまたは複数のデータソースによって提供された農学的データを使用して1つまたは複数の事前構成された農学モデルを生成するためのプログラムされたプロセスを示す図である。
本発明の一実施形態が実施され得るコンピュータシステムを示すブロック図である。
データ入力のためのタイムラインビューの例示的な実施形態を示す図である。
データ入力のためのスプレッドシートビューの例示的な実施形態を示す図である。
機械学習モデルを使用して圃場異常地図を生成するためのデジタル画像の例示的な処理を示す図である。
機械学習モデルを使用して圃場異常地図を生成するための航空画像およびUAV画像の例示的な処理を示す図である。
機械学習モデルを使用して圃場異常地図を生成するための地上画像の例示的な処理を示す図である。
機械学習モデルおよびエッジTPUを使用して圃場異常地図を生成するための地上画像の例示的な処理を示す図である。
機械学習モデルを使用して圃場異常地図を生成するために画像を分類するための例示的な機械学習法を示す図である。
機械学習モデルを使用して圃場異常地図を生成するための機械学習法を使用した例示的な画像分類を示す図である。
機械学習モデルを使用して圃場異常地図を生成するための機械学習法を使用した画像分類の一例を示す図である。
機械学習モデルを使用して圃場異常地図を生成するためのニューラルネットワーク構成の一例を示す図である。
機械学習モデルを使用して圃場異常地図を生成するために航空画像およびUAV画像を処理するための例示的なフローチャートである。
機械学習モデルを使用して圃場異常地図を生成するために地上画像を処理するための例示的なフローチャートである。
以下の説明では、説明を目的として、本開示の十分な理解を提供するために多くの具体的な詳細が示される。しかしながら、実施形態がこれらの具体的な詳細なしで実施され得ることは明らかであろう。他の例では、本開示を不必要に不明瞭にすることを避けるために、周知の構造およびデバイスがブロック図形式で示されている。実施形態は、以下の概要による項で開示される。
1.全体概要
2.例示的な農業インテリジェンス・コンピュータ・システム
2.1.構造概要
2.2.アプリケーションプログラムの概要
2.3.コンピュータシステムへのデータ取り込み
2.4.プロセス概要-農学モデル訓練
2.5.実施態様の例-ハードウェア概要
3.デジタル画像処理の手法
3.1.航空画像のデジタル画像処理
3.2.地上画像のデジタル画像処理
4.航空画像およびUAV画像の例示的な処理
5.地上画像の例示的な処理
6.地上画像処理の例示的な実施態様
6.1.例示的なエッジコンピューティングの実施態様
6.2.例示的なエッジTPUコンピューティングの実施態様
7.例示的な機械学習法
8.例示的な分類子
9.例示的な画像分類
10.例示的なニューラルネットワーク構成
11.航空画像処理およびUAV画像処理のための例示的なフローチャート
12.地上画像処理のための例示的なフローチャート
13.特定の実施形態の利点
1.全体概要
一実施形態では、無人航空機(UAV)プラットフォームなどの航空機および/または地上車両プラットフォームから収集されたカラー(赤緑青)および近赤外(NIR)画像からのトウモロコシ畑における倒伏、裸地土壌、および雑草のパッチの検出および地図作成のための機械学習法が提供される。地上車両は、ハーベスタ、コンバイン、または圃場で動作するその他の装置を含み得る。実施形態で使用されるデジタル画像は、赤色画素、緑色画素、青色画素およびNIR画素またはその他の成分を有するマルチチャネルデータを含み得る。
2.例示的な農業インテリジェンス・コンピュータ・システム
2.1構造概要
図1に、システムが相互運用し得る他の装置と共に圃場環境に示された、本明細書に記載の機能を行うように構成されている例示的なコンピュータシステムを示す。一実施形態では、ユーザ102は、圃場位置にある、または農業活動を目的とした用地や1つもしくは複数の圃場の管理位置などの圃場位置と関連付けられた、圃場マネージャ・コンピューティング・デバイス104を所有、運営、または占有している。圃場マネージャ・コンピュータ・デバイス104は、1つまたは複数のネットワーク109を介して圃場データ106を農業インテリジェンス・コンピュータ・システム130に提供するようにプログラムまたは構成されている。
圃場データ106の例には、(a)識別データ(例えば、地所、圃場名、圃場識別子、地理的識別子、境界識別子、農作物識別子、共通土地単位(CLU)、ロット番号およびブロック番号、地番、地理座標および境界、農場シリアルナンバー(FSN)、農場番号、トラクト番号、圃場番号、セクション、タウンシップ、ならびに/またはレンジなどの農地を識別するために使用され得る任意の他の適切なデータ)、(b)収穫データ(例えば、農作物種類、農作物品種、輪作、農作物が有機栽培されているかどうか、収穫日、実際の生産履歴(Actual Production History(APH))、予想収量、収量、農作物価格、農作物収入、穀粒水分、耕作方式、および前の栽培期情報)、(c)土壌データ(例えば、種類、組成、pH、有機物(OM)、陽イオン交換容量(CEC))、(d)植え付けデータ(例えば、植え付け日、(1つまたは複数の)種子の種類、植え付けられた(1つまたは複数の)種子の相対的な成熟度(RM)、種子個体数)、(e)肥料データ(例えば、栄養素の種類(窒素、リン、カリウム)、施用の種類、施用日、量、供給源、方法)、(f)化学物質施用データ(例えば、農薬、除草剤、殺菌剤、植物生長調節剤、枯れ葉剤、または乾燥剤として使用するためのその他の物質または物質の混合物、施用日、量、供給源、方法)、(g)灌漑データ(例えば、施用日、量、供給源、方法)、(h)気象データ(例えば、降水量、降雨強度、予想降雨量、水の流出率領域、温度、風、予測、圧力、可視性、雲、熱指数、露点、湿度、積雪量、大気質、日の出、日没)(i)画像データ(例えば、農業装置センサ、カメラ、コンピュータ、スマートフォン、タブレット無人航空機、飛行機または衛星からの画像および光スペクトル情報)、(j)スカウティング観測(写真、映像、自由形式のメモ、音声記録、音声書き起こし、気象条件(温度、降水(現在および経時)、土壌水分、農作物成長段階、風速、相対湿度、露点、黒色層))、(k)土壌、種子、農作物季節学、有害生物および病気の報告、ならびに予測ソースおよびデータベース、が含まれる。
データ・サーバ・コンピュータ108は、農業インテリジェンス・コンピュータ・システム130に通信可能に結合され、(1つまたは複数の)ネットワーク109を介して農業インテリジェンス・コンピュータ・システム130に外部データ110を送信するようにプログラムまたは構成される。外部データ・サーバ・コンピュータ108は、農業インテリジェンス・コンピュータ・システム130と同じ法人もしくは企業体によって、または政府機関、非政府組織(NGO)、および/もしくは民間データサービス提供者などの異なる個人もしくは企業体によって所有または運営され得る。外部データの例には、特に、気象データ、画像データ、土壌データ、または農作物収量に関する統計データが含まれる。外部データ110は、圃場データ106と同じ種類の情報から構成され得る。いくつかの実施形態では、外部データ110は、農業インテリジェンス・コンピュータ・システム130を所有および/または運営するのと同じ企業体によって所有される外部データサーバ108によって提供される。例えば、農業インテリジェンス・コンピュータ・システム130は、気象データなどの、通常は第三者ソースから取得され得る種類のデータのみに焦点を合わせたデータサーバを含み得る。いくつかの実施形態では、外部データサーバ108がシステム130内に組み込まれ得る。
農業装置111には、1つまたは複数のリモートセンサ112が取り付けられ得、これらのセンサは、農業インテリジェンス・コンピュータ・システム130に直接、または農業装置111を介して間接的に通信可能に結合され、センサデータを農業インテリジェンス・コンピュータ・システム130に送信するようにプログラムまたは構成される。農業装置111の例には、トラクタ、コンバイン、ハーベスタ、プランタ、トラック、肥料機器、無人航空機を含む航空ビークル、および農業と関連付けられた作業で使用され得る、典型的には移動式の機械である、物理機械またはハードウェアの任意の他の物品が含まれる。いくつかの実施形態では、装置111の単一ユニットが、装置上のネットワークでローカルに結合された複数のセンサ112を含み得、コントローラ・エリア・ネットワーク(CAN)が、コンバイン、ハーベスタ、噴霧機、および耕運機に設置することができるそのようなネットワークの例である。アプリケーションコントローラ114は、(1つまたは複数の)ネットワーク109を介して農業インテリジェンス・コンピュータ・システム130に通信可能に結合され、農業車両の動作パラメータを制御するために使用されるか、または農業インテリジェンス・コンピュータ・システム130から実施される1つまたは複数のスクリプトを受信するようにプログラムまたは構成される。例えば、コントローラ・エリア・ネットワーク(CAN)・バス・インターフェースは、The Climate Corporation、カリフォルニア州サンフランシスコ、から入手可能なCLIMATE FIELDVIEW DRIVEがどのように使用されるかなど、農業インテリジェンス・コンピュータ・システム130から農業装置111への通信を可能にするために使用され得る。センサデータは、圃場データ106と同じ種類の情報からなり得る。いくつかの実施形態では、リモートセンサ112は、農業装置111に固定されていない場合もあり、圃場にリモートに位置し得、ネットワーク109と通信し得る。
装置111は、本明細書の他の項でさらに説明されるデバイス104用のモバイルアプリケーションのバージョンまたは変形を含み得る、運転室アプリケーションでプログラムされた運転室コンピュータ115を含み得る。一実施形態では、運転室コンピュータ115は、装置111の運転室内に取り付けられたカラーディスプレイなどのグラフィカル・スクリーン・ディスプレイを有するコンパクトなコンピュータ、多くの場合タブレットサイズのコンピュータまたはスマートフォンを含む。運転室コンピュータ115は、モバイル・コンピュータ・デバイス104について本明細書でさらに説明される動作および機能の一部またはすべてを実装し得る。
(1つまたは複数の)ネットワーク109は、地上波リンクまたは衛星リンクを含む、有線リンクまたは無線リンクのいずれかを使用する、ローカル・エリア・ネットワーク、広域ネットワーク、相互接続ネットワークまたはインターネットを含む1つまたは複数のデータ通信ネットワークの任意の組み合わせを広く表す。(1つまたは複数の)ネットワークは、図1の様々な要素間のデータの交換を提供する任意の媒体または機構によって実施され得る。図1の様々な要素はまた、直接の(有線または無線の)通信リンクを有していてもよい。センサ112、コントローラ114、外部データ・サーバ・コンピュータ108、およびシステムの他の要素は、(1つまたは複数の)ネットワーク109と互換性のあるインターフェースを各々備え、TCP/IP、Bluetooth、CANプロトコル、およびHTTP、TLSなどの上位層プロトコルなどのネットワークを介した通信のための標準化されたプロトコルを使用するようにプログラムまたは構成される。
農業インテリジェンス・コンピュータ・システム130は、圃場マネージャ・コンピューティング・デバイス104からの圃場データ106、外部データ・サーバ・コンピュータ108からの外部データ110、およびリモートセンサ112からのセンサデータを受信するようにプログラムまたは構成される。農業インテリジェンス・コンピュータ・システム130は、本開示の他の項でさらに説明されるように、データ値の変換および格納、1つまたは複数の圃場上の1つまたは複数の農作物のデジタルモデルの構築、助言および通知の生成、ならびにスクリプトの生成およびアプリケーションコントローラ114への送信を行うために、1つまたは複数のコンピュータプログラム、他のソフトウェア要素、FPGAやASICなどのデジタル的にプログラムされた論理、またはそれらの任意の組み合わせをホストし、使用し、または実行するようにさらに構成され得る。
一実施形態では、農業インテリジェンス・コンピュータ・システム130は、通信層132、プレゼンテーション層134、データ管理層140、ハードウェア/仮想化層150、モデルおよび圃場データリポジトリ160、ならびにコード命令180でプログラムされるか、またはそれらを含む。「層」は、この文脈では、電子デジタルインターフェース回路、マイクロコントローラ、ドライバなどのファームウェア、および/またはコンピュータプログラムもしくはその他のソフトウェア要素の任意の組み合わせを指す。
通信層132は、圃場マネージャ・コンピューティング・デバイス104、外部データ・サーバ・コンピュータ108、およびリモートセンサ112に、それぞれ、圃場データ、外部データ、およびセンサデータを求める要求を送信することを含む入力/出力インターフェース機能を行うようにプログラムまたは構成され得る。通信層132は、受信したデータを、圃場データ106として格納されるように、モデルおよび圃場データリポジトリ160に送信するようにプログラムまたは構成され得る。
コード命令180は、1つまたは複数のコンピュータプロセッサによって実行されると、プロセッサに、デジタル画像および機械学習モデルを使用して圃場異常の改善された地図を生成するための手法を行わせる一組のプログラミングコード命令のセットを含み得る。一実施形態では、コード命令180は、画像較正命令136、画像スティッチング命令137、グリッド生成命令138、および画像分類命令139を含む。
画像較正命令136は、航空生画像、UAV生画像、地上生画像などの生画像の画像較正を行うように構成され得る。画像較正は、画像の色、明るさ、彩度などを強調または補正することを含み得る。画像較正はまた、画像のガンマ補正、および誤ってまたは矛盾しているように見える画像内の画素の画素補正を含み得る。
画像スティッチング命令137は、複数の画像を大きな画像にスティッチングまたは連結するように構成され得る。スティッチングは、複数の画像の各画像のエッジを決定すること、正確なスティッチングを行うために必要に応じてエッジを補正すること、および画像を連結してコヒーレントな大きな画像にすることを含み得る。
グリッド生成命令138は、スティッチングされた画像などの画像用のグリッドテンプレートを生成するように構成され得る。一実施形態では、グリッドは、画像全体を横断するように行と列とに配列された複数の長方形を含み得る。別の実施形態では、グリッドは、画像全体を覆う複数の六角形または他の形状を含み得る。
画像分類命令139は、画像に1つまたは複数の画像分類子を適用するように構成され得る。画像分類子は、例えば、異常のサンプルを描写した画像、またはサムネイル画像であり得る。異常の例には、裸地土壌異常、倒伏異常、雑草異常、溜り水異常などが含まれる。
プレゼンテーション層134は、圃場マネージャ・コンピューティング・デバイス104、運転室コンピュータ115、またはネットワーク109を介してシステム130に結合された他のコンピュータに表示されるべきグラフィカル・ユーザ・インターフェース(GUI)を生成するようにプログラムまたは構成され得る。GUIは、農業インテリジェンス・コンピュータ・システム130に送信されるべきデータを入力し、モデルおよび/もしくは助言を求める要求を生成し、かつ/または助言、通知、モデル、および他の圃場データを表示するためのコントロールを含み得る。
データ管理層140は、システムの機能要素とリポジトリとの間で通信される問い合わせおよび結果セットを含む、リポジトリ160およびシステムの他の機能要素を含む読み出し動作および書き込み動作を管理するようにプログラムまたは構成され得る。データ管理層140の例には、特に、JDBC、SQLサーバ・インターフェース・コード、および/またはHADOOPインターフェースコードが含まれる。リポジトリ160は、データベースを含み得る。本明細書で使用される場合、「データベース」という用語は、データ本体、リレーショナルデータベース管理システム(RDBMS)、またはその両方を指し得る。本明細書で使用される場合、データベースは、階層データベース、リレーショナルデータベース、フラット・ファイル・データベース、オブジェクトリレーショナルデータベース、オブジェクト指向データベース、分散データベース、およびコンピュータシステムに格納されたレコードまたはデータの任意の他の構造化された集合を含むデータの任意の集合を含み得る。RDBMSの例には、ORACLE(登録商標)、MYSQL、IBM(登録商標)DB2、MICROSOFT(登録商標)SQL SERVER、SYBASE(登録商標)、およびPOSTGRESQLデータベースが含まれるが、これらに限定されない。しかしながら、本明細書に記載のシステムおよび方法を可能にする任意のデータベースが使用され得る。
圃場データ106が、農業インテリジェンス・コンピュータ・システムと対話する1台または複数の農業機械または農業機械装置を介して農業インテリジェンス・コンピュータ・システムに直接提供されない場合、ユーザは、そのような情報を入力するために(農業インテリジェンス・コンピュータ・システムによって提供される)ユーザデバイス上の1つまたは複数のユーザインターフェースを介して促され得る。例示的な実施形態では、ユーザは、(農業インテリジェンス・コンピュータ・システムによって提供される)ユーザデバイス上の地図にアクセスし、地図上にグラフィカルに示されている特定のCLUを選択することによって識別データを指定し得る。代替的な実施形態では、ユーザ102は、(農業インテリジェンス・コンピュータ・システム130によって提供される)ユーザデバイス上の地図にアクセスし、地図上に圃場の境界を描くことによって識別データを指定し得る。そのようなCLU選択または地図描画は、地理的識別子を表す。代替的な実施形態では、ユーザは、ユーザデバイスを介して米国農務省農場サービス局または他のソースからの圃場識別データ(シェイプファイルとして、または同様のフォーマットで提供される)にアクセスし、そのような圃場識別データを農業インテリジェンス・コンピュータ・システムに提供することによって、識別データを指定し得る。
例示的な実施形態では、農業インテリジェンス・コンピュータ・システム130は、データ入力のためのデータマネージャを含むグラフィカル・ユーザ・インターフェースを生成し、表示させるようにプログラムされる。上述の方法を使用して1つまたは複数の圃場が識別された後、データマネージャは、選択されると、圃場、土壌、農作物、耕作、または栄養素の作業方法の変更を識別することができる1つまたは複数のグラフィカル・ユーザ・インターフェース・ウィジェットを提供し得る。データマネージャは、タイムラインビュー、スプレッドシートビュー、および/または1つもしくは複数の編集可能なプログラムを含み得る。
図5に、データ入力のためのタイムラインビューの例示的な実施形態を示す。図5に示されるディスプレイを使用して、ユーザコンピュータは、イベントを追加するために特定の圃場および特定の日付の選択を入力することができる。タイムラインの上部に示されるイベントは、窒素、植え付け、作業方法、および土壌を含み得る。窒素施用イベントを追加するために、ユーザコンピュータは、窒素タブを選択する入力を提供し得る。次いで、ユーザコンピュータは、選択された圃場上の窒素の施用を指示するために、特定の圃場のタイムライン上の位置を選択し得る。特定の圃場のタイムライン上の位置の選択を受信したことに応答して、データマネージャは、データ入力オーバーレイを表示し、ユーザコンピュータが、窒素施用、植え付け手順、土壌施用、耕作手順、灌漑作業方法、または特定の圃場に関する他の情報に係るデータを入力することを可能にし得る。例えば、ユーザコンピュータがタイムラインの一部を選択し、窒素の施用を指示する場合には、データ入力オーバーレイは、施用された窒素の量、施用日、使用された肥料の種類、および窒素の施用に関連する任意の他の情報を入力するためのフィールドを含み得る。
一実施形態では、データマネージャは、1つまたは複数のプログラムを作成するためのインターフェースを提供する。「プログラム」は、この文脈では、窒素施用、植え付け手順、土壌施用、耕作手順、灌漑作業方法、または1つもしくは複数の圃場に関連し得る他の情報に係る、設定済みの操作として再利用するためにデジタル・データ・ストレージに格納することができるデータセットを指す。プログラムは、作成された後、1つまたは複数の圃場に概念的に施用され得、プログラムへの参照は、圃場を識別するデータと関連付けてデジタルストレージに格納され得る。よって、複数の異なる圃場に対して同じ窒素施用に関する同一のデータを手入力する代わりに、ユーザコンピュータは、窒素の特定の施用を指示するプログラムを作成し、次いでそのプログラムを複数の異なる圃場に適用し得る。例えば、図5のタイムラインビューでは、上2つのタイムラインには、4月初めの150ポンドのN/acの施用を含む「春施用」プログラムが選択されている。データマネージャは、プログラムを編集するためのインターフェースを提供し得る。一実施形態では、プログラムが編集されるとき、特定のプログラムを選択している各圃場が編集される。例えば、図5では、「春施用」プログラムが、窒素の施用を130ポンドのN/acに減らすように編集される場合、上2つの圃場は、編集されたプログラムに基づいて窒素の低減された施用で更新され得る。
一実施形態では、プログラムが選択されている圃場に対する編集を受け取ったことに応答して、データマネージャは、圃場と選択されたプログラムとの対応関係を削除する。例えば、図5の一番上の圃場に窒素施用が追加される場合、インターフェースは、「春施用」プログラムが一番上の圃場に適用されなくなることを指示するように更新し得る。4月初めの窒素施用は残り得るが、「春施用」プログラムの更新は窒素の4月の施用を変更しない。
図6に、データ入力のためのスプレッドシートビューの例示的な実施形態を示す。図6に示されるディスプレイを使用して、ユーザは、1つまたは複数の圃場の情報を作成および編集することができる。データマネージャは、図6に示されるように、窒素、植え付け、作業方法、および土壌に関する情報を入力するためのスプレッドシートを含み得る。特定のエントリを編集するために、ユーザコンピュータは、スプレッドシート内の特定のエントリを選択し、値を更新し得る。例えば、図6は、2番目の圃場の目標収量値への進行中の更新を示している。加えて、ユーザコンピュータは、1つまたは複数のプログラムを適用するために1つまたは複数の圃場を選択し得る。特定の圃場のプログラムの選択を受け取ったことに応答して、データマネージャは、選択されたプログラムに基づいて特定の圃場のエントリを自動的に完了し得る。タイムラインビューと同様に、データマネージャは、プログラムへの更新を受け取ったことに応答して、特定のプログラムと関連付けられた各圃場のエントリを更新し得る。加えて、データマネージャは、圃場のエントリの1つに対する編集を受け取ったことに応答して、選択されたプログラムと圃場との対応関係を削除し得る。
一実施形態では、モデルおよび圃場データは、モデルおよび圃場データリポジトリ160に格納される。モデルデータは、1つまたは複数の圃場について作成されたデータモデルを含む。例えば、農作物モデルは、1つまたは複数の圃場での農作物の成長のデジタル的に構築されたモデルを含み得る。「モデル」は、この文脈では、互いに関連付けられた、電子的なデジタル的に格納された実行可能命令およびデータ値のセットを指し、これらは、特に、コンピュータにより実施される助言、出力データ表示、または機械制御の基礎として機能することができる1つまたは複数の格納または計算された出力値を得るために、指定された入力値に基づく解決を求めるプログラム的またはその他のデジタル呼び出し、呼び出し、または要求を受け取り、応答することができる。当業者には、数学的方程式を使用してモデルを表現することが便利であることが分かるが、その表現形式は、本明細書で開示されるモデルを抽象概念に限定するものではない。代わりに、本明細書の各モデルは、コンピュータを使用してモデルを実装する格納された実行可能命令およびデータの形態のコンピュータにおける実用的な用途を有する。モデルは、1つまたは複数の圃場上の過去のイベントのモデル、1つまたは複数の圃場の現在の状況のモデル、および/または1つまたは複数の圃場上の予測されるイベントのモデルを含み得る。モデルおよび圃場データは、メモリ内のデータ構造、データベーステーブルの行、フラットファイルもしくはスプレッドシート、または他の形態の格納されたデジタルデータに格納され得る。
一実施形態では、デジタル画像処理命令135は、実行可能命令がロードされており、実行されると、農業インテリジェンス・コンピュータ・システムに、それらのモジュールに関して本明細書に記載されている機能または動作を実行させる、農業インテリジェンス・コンピュータ・システム130内のRAMなどのメインメモリの1つまたは複数のページのセットを含む。命令は、CPUの命令セット内の機械実行可能コードであってもよく、単独で、またはJAVASCRIPTのスクリプト、他のスクリプト言語および他のプログラミング・ソース・テキストと組み合わせて、JAVA、C、C++、OBJECTIVE-C、または任意の他の人間可読プログラミング言語もしくは環境で書かれたソースコードに基づいてコンパイルされていてもよい。「ページ」という用語は、メインメモリ内の任意の領域を広く指すことを意図されており、システムで使用される特定の用語は、メモリアーキテクチャまたはプロセッサアーキテクチャに応じて異なり得る。別の実施形態では、デジタル画像処理命令135はまた、コンパイルまたは解釈されると、実行されると、農業インテリジェンス・コンピュータ・システムに、それらのモジュールに関して本明細書に記載されている機能または動作を行わせる実行可能命令を生成させる、農業インテリジェンス・コンピュータ・システム130または別個のリポジトリシステム内の不揮発性RAMやディスクストレージなどの大容量記憶デバイスにデジタル的に格納されたソースコードの1つまたは複数のファイルまたはプロジェクトを表し得る。言い換えれば、図面は、農業インテリジェンス・コンピュータ・システム130による実行のために、プログラマまたはソフトウェア開発者が、後でコンパイルして実行可能ファイルにするか、または解釈してバイトコードもしくは同等物にするためにソースコードを編成および配置する方法を表し得る。
ハードウェア/仮想化層150は、例えば、図4に関連して図示および説明されているような、1つまたは複数の中央処理装置(CPU)、とメモリコントローラと、揮発性または不揮発性メモリ、ディスクなどの不揮発性ストレージ、および入出力デバイスまたはインターフェースなどのコンピュータシステムの他のデバイス、構成要素、または要素とを含む。層150はまた、仮想化、コンテナ化、または他の技術をサポートするように構成されたプログラム命令も含み得る。
明確な例を示すために、図1は、特定の機能要素の限られた数の実例を示している。しかしながら、他の実施形態では、任意の数のそのような要素が存在し得る。例えば、実施形態は、異なるユーザと関連付けられた数千または数百万の異なるモバイル・コンピューティング・デバイス104を使用し得る。さらに、システム130および/または外部データ・サーバ・コンピュータ108は、個別の場所で構成されるか、またはデータセンタ、共有コンピューティング施設またはクラウドコンピューティング施設内に他の要素と同じ場所に配置された、物理マシンまたは仮想マシンの2つ以上のプロセッサ、コア、クラスタ、またはインスタンスを使用して実装されてもよい。
2.2.アプリケーションプログラムの概要
一実施形態では、1台または複数の汎用コンピュータにロードされ、1台または複数の汎用コンピュータを使用して実行される1つまたは複数のコンピュータプログラムまたは他のソフトウェア要素を使用して本明細書に記載の機能を実装することにより、汎用コンピュータは、本明細書に記載の機能を行うように特に適合された機械またはコンピュータとして構成される。さらに、本明細書でさらに説明されるフロー図の各々は、単独で、または本明細書の散文のプロセスおよび機能の説明と組み合わせて、説明される機能を実施するコンピュータまたは論理をプログラムするために使用され得るアルゴリズム、計画、または指図として機能し得る。言い換えれば、本明細書のすべての散文テキスト、およびすべての図面は、共に、当業者が、この種の発明および開示に適したレベルの技能を与えられた当業者の技能および知識と組み合わせて、本明細書に記載の機能を行うようにコンピュータをプログラムすることを可能にするのに十分なアルゴリズム、計画または指図の開示を提供することを意図されている。
一実施形態では、ユーザ102は、オペレーティングシステムおよび1つまたは複数のアプリケーションプログラムまたはアプリで構成された圃場マネージャ・コンピューティング・デバイス104を使用して農業インテリジェンス・コンピュータ・システム130と対話し、圃場マネージャ・コンピューティング・デバイス104はまた、プログラム制御または論理制御の下で独立して自動的に農業インテリジェンス・コンピュータ・システムと相互運用し得、直接的なユーザ対話は必ずしも必要ではない。圃場マネージャ・コンピューティング・デバイス104は、情報を送受信し、本明細書に記載の機能を行うことができる1台または複数のスマートフォン、PDA、タブレット・コンピューティング・デバイス、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、または任意の他のコンピューティングデバイスを広く表す。圃場マネージャ・コンピューティング・デバイス104は、圃場マネージャ・コンピューティング・デバイス104に格納されたモバイルアプリケーションを使用してネットワークを介して通信し得、いくつかの実施形態では、デバイスは、ケーブル113またはコネクタを使用してセンサ112および/またはコントローラ114に結合され得る。特定のユーザ102は、システム130に関連して、一度に複数の圃場マネージャ・コンピューティング・デバイス104を所有、操作、または占有し、使用し得る。
モバイルアプリケーションは、ネットワークを介して1台または複数のモバイル・コンピューティング・デバイスにクライアント側の機能を提供し得る。例示的な実施形態では、圃場マネージャ・コンピューティング・デバイス104は、ウェブブラウザまたはローカル・クライアント・アプリケーションもしくはアプリを介してモバイルアプリケーションにアクセスし得る。圃場マネージャ・コンピューティング・デバイス104は、HTTP、XMLおよび/もしくはJSONなどのウェブベースのプロトコルもしくはフォーマット、またはアプリ固有のプロトコルを使用して、1つまたは複数のフロントエンドサーバにデータを送信し、そこからデータを受信し得る。例示的な実施形態では、データは、モバイル・コンピューティング・デバイスへの、要求および圃場データなどのユーザ情報入力の形態をとり得る。いくつかの実施形態では、モバイルアプリケーションは、無線信号のマルチラテレーション、全地球測位システム(GPS)、Wi-Fi測位システム、または他のモバイル測位方法などの標準的な追跡技術を使用して圃場マネージャ・コンピューティング・デバイス104の位置を決定する、圃場マネージャ・コンピューティング・デバイス104上の位置追跡ハードウェアおよびソフトウェアと対話する。場合によっては、デバイス104、ユーザ102、および/または(1つもしくは複数の)ユーザアカウントと関連付けられた位置データまたは他のデータが、デバイスのオペレーティングシステムへの問い合わせによって、またはデバイス上のアプリにオペレーティングシステムからデータを取得するよう要求することによって取得され得る。
一実施形態では、圃場マネージャ・コンピューティング・デバイス104は、1つまたは複数の圃場の地理的位置、1つまたは複数の圃場の耕作情報、1つまたは複数の圃場に植え付けられた農作物、および1つまたは複数の圃場から抽出された土壌データ、のうちの1つまたは複数を表すデータ値を構成するかまたは含むがこれらに限定されない圃場データ106を農業インテリジェンス・コンピュータ・システム130に送信する。圃場マネージャ・コンピューティング・デバイス104は、1つまたは複数の圃場のデータ値を指定するユーザ102からのユーザ入力に応答して圃場データ106を送信し得る。加えて、圃場マネージャ・コンピューティング・デバイス104は、データ値のうちの1つまたは複数が圃場マネージャ・コンピューティング・デバイス104に利用可能になると、圃場データ106を自動的に送信し得る。例えば、圃場マネージャ・コンピューティング・デバイス104は、灌漑センサおよび/または灌漑コントローラを含むリモートセンサ112および/またはアプリケーションコントローラ114に通信可能に結合され得る。アプリケーションコントローラ114が1つまたは複数の圃場に水を放出したことを示すデータを受信したことに応答して、圃場マネージャ・コンピューティング・デバイス104は農業インテリジェンス・コンピュータ・システム130に、1つまたは複数の圃場で水が放出されたことを示す圃場データ106を送信し得る。本開示で識別される圃場データ106は、HTTP上でパラメータ化されたURL、または別の適切な通信もしくはメッセージングプロトコルを使用してコンピューティングデバイス間で通信される電子デジタルデータを使用して入力および通信され得る。
市販のモバイルアプリケーションの例が、カリフォルニア州サンフランシスコのThe Climate Corporationから市販されているCLIMATE FIELDVIEWである。CLIMATE FIELDVIEWアプリケーション、または他のアプリケーションは、本開示の出願日より前に開示されていない特徴、機能、およびプログラミングを含むように修正、拡張、または適合され得る。一実施形態では、モバイルアプリケーションは、栽培者の圃場に関する履歴データを栽培者が比較したい任意の他のデータと組み合わせるので、栽培者が自分の作業のための事実に基づく判断を行うことを可能にする統合ソフトウェアプラットフォームを含む。組み合わせおよび比較は、リアルタイムで行われ得、栽培者がより適切な、より情報に基づいた判断を行うことを可能にする潜在的なシナリオを提供する科学的モデルに基づくものである。
図2に、例示的なモバイルアプリケーションが実行のためにロードされるときのメインメモリ内の命令セットの例示的な論理構成の2つの図を示す。図2では、名前付きの各要素は、RAMもしくは他のメインメモリの1つもしくは複数のページの領域、またはディスクストレージもしくは他の不揮発性ストレージの1つもしくは複数のブロック、およびそれらの領域内のプログラムされた命令を表す。一実施形態では、ビュー(a)において、モバイル・コンピュータ・アプリケーション200は、アカウント、圃場、データ取り込み、共有命令202、概要および警告命令204、デジタル地図帳命令206、種子および植え付け命令208、窒素命令210、気象命令212、圃場の健康状態命令214、および実績命令216を含む。
一実施形態では、モバイル・コンピュータ・アプリケーション200は、手動アップロードまたはAPIを介して第三者システムから圃場データを受信し、変換し、取り込むようにプログラムされたアカウント、圃場、データ取り込み、共有命令202を含む。データタイプは、特に、圃場境界、収量地図、植え付け時地図、土壌試験結果、施用時地図、および/または管理ゾーンを含み得る。データフォーマットは、特に、シェイプファイル、第三者のネイティブ・データ・フォーマット、および/または農業経営情報システム(FMIS)エクスポートを含み得る。データの受信は、手動アップロード、添付ファイル付きの電子メール、データをモバイルアプリケーションにプッシュする外部API、またはデータをモバイルアプリケーションにプルするために外部システムのAPIを呼び出す命令を介して行われ得る。一実施形態では、モバイル・コンピュータ・アプリケーション200は、データインボックスを含む。データインボックスの選択を受け取ったことに応答して、モバイル・コンピュータ・アプリケーション200は、データファイルを手動でアップロードし、アップロードされたファイルをデータマネージャにインポートするためのグラフィカル・ユーザ・インターフェースを表示し得る。
一実施形態では、デジタル地図帳命令206は、デバイスメモリに格納された圃場地図データ層を含み、データ可視化ツールおよび地理空間現地調査記録を用いてプログラムされる。これは、栽培者に、圃場実績の参照、倒伏および視覚的な洞察のための便利な情報を手近で提供する。一実施形態では、概要および警告命令204は、栽培者にとって重要なことの作業全体のビュー、および特定の問題に対処または焦点を合わせるための適時の助言を提供するようにプログラムされる。これにより、栽培者は、注意を要するものに時間を集中させ、時間を節約し、季節を通して収量を維持することができる。一実施形態では、種子および植え付け命令208は、科学的モデルおよび経験的データに基づいて、可変レート(VR)スクリプト作成を含む種子選択、ハイブリッド配置、およびスクリプト作成のためのツールを提供するようにプログラムされる。これにより、栽培者は、最適化された種子の購入、配置および個体数を通じて収量または投資利益率を最大化し得る。
一実施形態では、スクリプト生成命令205は、可変レート(VR)肥沃度スクリプトを含むスクリプトを生成するためのインターフェースを提供するようにプログラムされる。インターフェースは、栽培者が、栄養素施用、植え付けおよび灌漑などの圃場手段のスクリプトを作成することを可能にする。例えば、植え付けスクリプトインターフェースは、植え付け用の種子の種類を識別するためのツールを含み得る。種子の種類の選択を受け取ると、モバイル・コンピュータ・アプリケーション200は、デジタル地図帳命令206の一部として作成された圃場地図データ層などの、管理ゾーンに分割された1つまたは複数の圃場を表示し得る。一実施形態では、管理ゾーンは、土壌ゾーンを、各土壌ゾーンを識別するパネルおよび各ゾーンの土壌名、土質、排水、または他の圃場データと共に含む。モバイル・コンピュータ・アプリケーション200はまた、1つまたは複数の圃場の地図上で、それらを編集または作成するためのツール、土壌ゾーンなどの管理ゾーンを描画するためのグラフィカルツールなどを表示し得る。植え付け手順がすべての管理ゾーンに適用され得るか、または異なる植え付け手順が管理ゾーンの異なるサブセットに適用され得る。スクリプトが作成されると、モバイル・コンピュータ・アプリケーション200は、アーカイブフォーマットや圧縮フォーマットなど、アプリケーションコントローラによって読み取り可能なフォーマットでスクリプトをダウンロードできるようにし得る。加えて、かつ/または代替として、スクリプトは、モバイル・コンピュータ・アプリケーション200から運転室コンピュータ115に直接送信され、かつ/または1つもしくは複数のデータサーバにアップロードされ、さらなる使用のために格納されてもよい。
一実施形態では、窒素命令210は、農作物への窒素の利用可能性を可視化することによって窒素の判断を知らせるためのツールを提供するようにプログラムされる。これにより、栽培者は、季節中の最適化された窒素施用によって収量または投資利益率を最大化することができる。例示的なプログラムされた機能には、特に、肥料施用ゾーンの描画を可能にするためのSSURGO画像などの画像および/もしくはセンサから取得されたデータなどのサブ圃場土壌データから生成された画像を、高い空間解像度(センサの近接度および解像度に応じてミリメートル単位以下の細かさ)で表示すること;既存の栽培者画定ゾーンのアップロード;複数のゾーンにわたる窒素の(1回または複数回の)施用の調整を可能にする植物栄養素の可用性グラフおよび/もしくは地図を提供すること;機械を駆動するスクリプトの出力;大量データ入力および調整のためのツール;ならびに/または、データ可視化のための地図、が含まれる。「大量データ入力」は、この文脈では、データを1回入力し、次いで同じデータを、システム内で定義されている複数の圃場および/またはゾーンに適用することを意味し得る。例示的なデータには、同じ栽培者の多くの圃場および/またはゾーンについて同じである窒素施用データを含み得るが、そのような大量データ入力は、モバイル・コンピュータ・アプリケーション200への任意の種類の圃場データの入力に適用される。例えば、窒素命令210は、窒素施用プログラムおよび窒素作業方法プログラムの定義を受け入れ、複数の圃場にわたってそれらのプログラムを適用することを指定するユーザ入力を受け入れるようにプログラムされ得る。「窒素施用プログラム」は、この文脈では、特に、名称、カラーコードもしくは他の識別子、施用の1つもしくは複数の日付、日付ごとの資材もしくは製品の種類および量、注入や散布などの施用もしくは取り込みの方法、ならびに/または日付ごとの施用の量もしくは割合、施用の対象である農作物もしくはハイブリッド、を関連付ける格納された名前付きのデータセットを指す。「窒素作業方法プログラム」は、この文脈では、作業方法名称;前農作物;耕作システム;主な耕作日;使用された1つまたは複数の前の耕作システム;使用された、堆肥などの施用の種類の1つまたは複数のインジケータ、を関連付ける格納された名前付きのデータセットを指す。窒素命令210はまた、指定された窒素の植物使用の予測および余剰または不足が予測されるかどうかを示す窒素グラフを生成して表示させるようにプログラムされ得、いくつかの実施形態では、異なるカラーインジケータで余剰の大きさまたは不足の大きさを知らせることができる。一実施形態では、窒素グラフは、各行が圃場と関連付けられ、圃場を識別する、複数の行を含むコンピュータ表示装置内のグラフィカル表示;圃場にどんな農作物が植え付けられているか、圃場の大きさ、圃場位置、および圃場の周囲のグラフィック表現を指定するデータ;各行の、月名と関連付けられたポイントに各窒素施用および量を指定するグラフィックインジケータを有する月ごとのタイムライン;ならびに色で大きさを指示する、余剰または不足の数値および/または色付きインジケータ、を含む。
一実施形態では、窒素グラフは、ユーザが自分の窒素グラフを最適化し得るように、窒素植え付けおよび作業方法プログラムを動的に変更するための、ダイヤルやスライドバーなどの1つまたは複数のユーザ入力機能を含み得る。ユーザは、次いで、自分の最適化された窒素グラフおよび関連する窒素植え付けおよび作業方法プログラムを使用して、可変レート(VR)肥沃度スクリプトを含む、1つまたは複数のスクリプトを実施し得る。窒素命令210はまた、指定された窒素の植物使用の予測および余剰または不足が予測されるかどうかを示す窒素地図を生成して表示させるようにプログラムされ得る。いくつかの実施形態では、異なるカラーインジケータで余剰の大きさまたは不足の大きさを知らせることができる。窒素地図は、指定された窒素の植物使用の予測、ならびに色で大きさを指示する、余剰または不足の数値および/または色付きインジケータを使用した、過去および将来の異なる時点について余剰または不足が予測されるかどうか(例えば、日次、週次、月次または年次の)を表示し得る。一実施形態では、窒素地図は、例えば、不足に対する好ましい量の余剰を取得するために、ユーザが自分の窒素地図を最適化し得るように、窒素植え付けおよび作業方法プログラムを動的に変更するための、ダイヤルやスライドバーなどの1つまたは複数のユーザ入力機能を含み得る。ユーザは、次いで、自分の最適化された窒素地図および関連する窒素植え付けおよび作業方法プログラムを使用して、可変レート(VR)肥沃度スクリプトを含む、1つまたは複数のスクリプトを実施し得る。他の実施形態では、窒素命令210と同様の命令を、他の栄養素(リンやカリウムなど)の施用、農薬の施用、灌漑プログラムに使用することもできる。
一実施形態では、気象命令212は、圃場に固有の最近の気象データおよび予測される気象情報を提供するようにプログラムされる。これにより、栽培者は、時間を節約し、毎日の作業判断に関する効率的な統合された表示を持つことができる。
一実施形態では、圃場の健康状態命令214は、季節中の農作物の変動および潜在的な懸念を強調表示するタイムリーなリモートセンシング画像を提供するようにプログラムされる。例示的なプログラムされた機能には、特に、可能性のある雲または雲の影を識別する、雲チェック;圃場画像に基づく窒素指数の決定;例えば、圃場の健康状態を含む、スカウティング層のグラフィカルな可視化、およびスカウティングメモの表示および/もしくは共有;ならびに/または複数のソースから衛星画像のダウンロード、および栽培者のための画像の優先順位付け、が含まれる。
一実施形態では、実績命令216は、評価、洞察、および判断のための農場データを使用した報告、分析、および洞察ツールを提供するようにプログラムされる。これにより、栽培者は、なぜ投資利益率が以前の水準にあったかについての事実に基づく結論、および収量制限要因への洞察を通じて、次の年の改善された結果を得ようと努力することが可能になる。実績命令216は、(1つまたは複数の)ネットワーク109を介して農業インテリジェンス・コンピュータ・システム130および/または外部データ・サーバ・コンピュータ108で実行されたバックエンド分析プログラムと通信するようにプログラムされ、特に、収量、収量差、ハイブリッド、個体数、SSURGOゾーン、土壌試験特性、または標高などのメトリックを分析するように構成され得る。プログラムされる報告および分析は、特に、収量変動性分析、処理効果推定、多くの栽培者から収集された匿名化データに基づく他の栽培者に対する収量および他のメトリックのベンチマーク、または種子および植え付けのデータを含み得る。
このように構成された命令を有するアプリケーションが、同じ一般的なユーザインターフェースの外観を保持しながら、異なるコンピューティング・デバイス・プラットフォームに実装され得る。例えば、モバイルアプリケーションは、クライアントコンピュータでブラウザを使用してアクセスされるタブレット、スマートフォン、またはサーバコンピュータ上で実行するようにプログラムされ得る。さらに、タブレットコンピュータまたはスマートフォン用に構成されたモバイルアプリケーションは、運転室コンピュータ115の表示および処理能力に適した完全なアプリ体験または運転室アプリ体験を提供し得る。例えば、次に図2のビュー(b)を参照すると、一実施形態では、運転室コンピュータアプリケーション220は、地図運転室命令222、リモートビュー命令224、データ収集および転送命令226、機械警告命令228、スクリプト転送命令230、およびスカウティング運転室命令232を含み得る。ビュー(b)の命令のコードベースは、ビュー(a)と同じであり得、コードを実施する実行可能ファイルは、それらが実行されているプラットフォームのタイプを検出し、グラフィカル・ユーザ・インターフェースを介して、運転室プラットフォームまたは完全なプラットフォームに適した機能のみを公開するようにプログラムされ得る。この手法により、システムが、運転室内環境および運転室の異なる技術環境に適した明らかに異なるユーザ体験を認識することが可能になる。地図運転室命令222は、機械操作を指図するのに有用な圃場、農場または領域の地図ビューを提供するようにプログラムされ得る。リモートビュー命令224は、無線ネットワーク、有線コネクタまたはアダプタなどを介してシステム130に接続された他のコンピューティングデバイスに対して、リアルタイムまたはほぼリアルタイムで機械動作のビューをオンにし、管理し、提供するようにプログラムされ得る。データ収集および転送命令226は、無線ネットワーク、有線コネクタまたはアダプタなどを介した、センサおよびコントローラで収集されたデータのシステム130への転送をオンにし、管理し、提供するようにプログラムされ得る。機械警告命令228は、運転室と関連付けられた機械またはツールの動作の問題を検出し、オペレータ警告を生成するようにプログラムされ得る。スクリプト転送命令230は、機械操作またはデータの収集を指図するように構成された命令のスクリプトで転送するように構成され得る。スカウティング運転室命令232は、圃場における圃場マネージャ・コンピューティング・デバイス104、農業装置111、または圃場のセンサ112の位置に基づいてシステム130から受信された位置ベースの警告および情報を表示し、圃場における農業装置111またはセンサ112の位置に基づいてシステム130に位置ベースのスカウティング観測を取り込み、管理し、転送を提供するようにプログラムされ得る。
2.3.コンピュータシステムへのデータ取り込み
一実施形態では、外部データ・サーバ・コンピュータ108は、1つまたは複数の圃場の土壌組成を表す土壌データと、1つまたは複数の圃場上の温度および降水量を表す気象データとを含む、外部データ110を格納する。気象データは、過去および現在の気象データ、ならびに将来の気象データの予測を含み得る。一実施形態では、外部データ・サーバ・コンピュータ108は、異なる企業体によってホストされる複数のサーバを含む。例えば、第1のサーバは土壌組成データを含み得、第2のサーバは気象データを含み得る。加えて、土壌組成データは、複数のサーバに格納され得る。例えば、あるサーバは、土壌中の砂、シルト、および粘土の割合を表すデータを格納し得、第2のサーバは、土壌中の有機物(OM)の割合を表すデータを格納し得る。
一実施形態では、リモートセンサ112は、1つまたは複数の観測を生成するようにプログラムまたは構成された1つまたは複数のセンサを含む。リモートセンサ112は、衛星などの空中センサ、車載センサ、植え付け機器センサ、耕作センサ、肥料または殺虫剤施用センサ、ハーベスタセンサ、および1つまたは複数の圃場からデータを受信することができる任意の他の器具などであり得る。一実施形態では、アプリケーションコントローラ114は、農業インテリジェンス・コンピュータ・システム130から命令を受信するようにプログラムまたは構成される。アプリケーションコントローラ114はまた、農業車両または器具の動作パラメータを制御するようにプログラムまたは構成され得る。例えば、アプリケーションコントローラは、トラクタ、植え付け機器、耕作機器、肥料もしくは殺虫剤機器、ハーベスタ機器、または水弁などの他の農器具などの車両の動作パラメータを制御するようにプログラムまたは構成され得る。他の実施形態は、センサとコントローラの任意の組み合わせを使用し得、以下は単にその中から選択された例である。
システム130は、共有データベースシステムにデータを提供した多数の栽培者から大量に、ユーザ102の制御下でデータを取得または取り込み得る。この形のデータの取得は、システム130が使用するためのデータを取得するために1つまたは複数のユーザ制御によるコンピュータ動作が要求またはトリガされるので、「手動データ取り込み」と呼ばれ得る。一例として、カリフォルニア州サンフランシスコのThe Climate Corporationから市販されているCLIMATE FIELDVIEWアプリケーションは、リポジトリ160に格納するためにデータをシステム130にエクスポートするように動作し得る。
例えば、種子監視システムは、植え付け装置の構成要素を制御すると共に、CANバックボーンと、位置合わせおよび/または診断のためのポイントツーポイント接続とを含む信号ハーネスを介した種子センサからの信号を含む植え付けデータを取得することができる。種子監視システムを、運転室コンピュータ115またはシステム130内の他のデバイスを介してユーザに種子間隔、個体数および他の情報を表示するようにプログラムまたは構成することができる。例が、米国特許第8,738,243号明細書および米国特許出願公開第20150094916号に開示されており、本開示は、これらの他の特許開示の知識を前提としている。
同様に、収量監視システムは、収量測定データを運転室コンピュータ115またはシステム130内の他のデバイスに送信するハーベスタ装置用の収量センサを含み得る。収量監視システムは、1つまたは複数のリモートセンサ112を利用して、コンバインまたは他のハーベスタ内の穀粒水分測定値を取得し、これらの測定値を運転室コンピュータ115またはシステム130内の他のデバイスを介してユーザに送信し得る。
一実施形態では、本明細書の他の箇所に記載されている種類の任意の移動車両または装置と共に使用され得るセンサ112の例には、運動センサおよび位置センサが含まれる。運動センサは、レーダや車輪速度センサ、加速度計、またはジャイロなどの速度センサのいずれかを含み得る。位置センサは、特に、近くのWi-Fiホットスポットに基づいて位置を決定するようにプログラムされたGPS受信機もしくは送受信機、またはWi-Fiベースの位置もしくは地図作成アプリを含み得る。
一実施形態では、トラクタまたは他の移動車両と共に使用され得るセンサ112の例には、エンジン速度センサ、燃料消費センサ、GPSまたはレーダ信号と相互作用するエリアカウンタまたは距離カウンタ、PTO(パワーテイクオフ)速度センサ、圧力または流量などの油圧パラメータを検出するように構成されたトラクタ油圧センサ、および/またはおよび油圧ポンプ速度、車輪速度センサまたは車輪滑りセンサが含まれる。一実施形態では、トラクタと共に使用され得るコントローラ114の例には、油圧方向コントローラ、圧力コントローラ、および/もしくは流量コントローラ;油圧ポンプ速度コントローラ;速度コントローラもしくは調速機;ヒッチ点位置コントローラ;または車輪位置コントローラが自動操縦を提供する、が含まれる。
一実施形態では、プランタ、ドリル、またはエアシーダなどの播種機器と共に使用され得るセンサ112の例には、光学センサ、電磁センサ、または衝撃センサであり得る種子センサ;ロードピン、ロードセル、圧力センサなどのダウンフォースセンサ;反射率センサ、水分センサ、導電率センサ、光学式残量センサ、もしくは温度センサ等の土質センサ;植え付け深さセンサ、ダウンフォースシリンダ圧力センサ、種子ディスク速度センサ、種子駆動モータエンコーダ、種子コンベヤシステム速度センサ、もしくは真空レベルセンサなどの構成要素動作基準センサ;または光学センサもしくは他の電磁センサ、もしくは衝撃センサなどの農薬施用センサ、が含まれる。一実施形態では、そのような播種機器と共に使用され得るコントローラ114の例には、油圧シリンダと関連付けられたバルブ用のコントローラなどのツールバー折り畳みコントローラ;空気圧シリンダ、エアバッグ、または油圧シリンダに関連し、個々の列ユニットまたはプランタフレーム全体にダウンフォースを加えるようにプログラムされたバルブ用のコントローラなどのダウンフォースコントローラ;リニアアクチュエータなどの植え付け深さコントローラ;電気式種子メータ駆動モータ、油圧式種子メータ駆動モータ、もしくは幅制御クラッチなどの計測コントローラ;種子もしくは空気種子混合物が、種子メータもしくは中央バルクホッパとの間で種子を送達することを選択的に可能にするか、もしくは妨げるようにプログラムされた、種子メータ駆動モータなどのハイブリッド選択コントローラ、もしくは他のアクチュエータ;電気式種子メータ駆動モータなどの計測コントローラ、もしくは油圧式種子メータ駆動モータ;ベルト種子送達コンベヤモータ用のコントローラなどの種子コンベヤ・システム・コントローラ;空気圧式もしくは油圧式アクチュエータなどのマーカコントローラ;または計測駆動コントローラなどの農薬施用レートコントローラ、オリフィスサイズもしくは位置コントローラ、が含まれる。
一実施形態では、耕作機器と共に使用され得るセンサ112の例には、シャンクやディスクなどの工具用の位置センサ;深さ、ギャング角、もしくは横方向の間隔を検出するように構成された工具用の工具位置センサ;ダウンフォースセンサ;または牽引力センサ、が含まれる。一実施形態では、耕作機器と共に使用され得るコントローラ114の例には、工具の深さ、ギャング角、もしくは横方向の間隔を制御するように構成されるコントローラなどの、ダウンフォースコントローラまたは工具の位置コントローラが含まれる。
一実施形態では、プランタ上のスタータ肥料システム、下層土施肥機、もしくは肥料噴霧機などの、肥料、殺虫剤、殺菌剤などを施用するための装置に関連して使用され得るセンサ112の例には、流量センサや圧力センサなどの流体システム基準センサ;どのスプレーヘッドバルブまたは流体ラインバルブが開いているかを指示するセンサ;充填レベルセンサなどのタンクと関連付けられたセンサ;部分もしくはシステム全体の供給ラインセンサ、もしくは列固有の供給ラインセンサ;または噴霧機ブームに配置された加速度計などの運動センサ、が含まれる。一実施形態では、そのような装置と共に使用され得るコントローラ114の例には、ポンプ速度コントローラ;圧力、流量、方向、PWMなどを制御するようにプログラムされたバルブコントローラ;または、ブーム高さ、サブソイラ深さ、もしくはブーム位置などの位置アクチュエータ、が含まれる。
一実施形態では、ハーベスタと共に使用され得るセンサ112の例には、衝撃板ひずみゲージもしくは位置センサ、容量性流量センサ、負荷センサ、重量センサ、またはエレベータもしくはオーガと関連付けられたトルクセンサ、または光学式もしくは他の電磁式の粒高センサなどの収量モニタ;容量センサなどの穀粒水分センサ;衝撃センサ、光センサ、もしくは容量センサを含む穀粒損失センサ;ヘッダ高さ、ヘッダタイプセンサ、デッキプレート隙間センサ、フィーダ速度センサ、およびリール速度センサなどのヘッダ動作基準センサ;凹状クリアランスセンサ、ロータ速度センサ、シュークリアランスセンサ、もしくはチャファ・クリアランス・センサなどの分離機動作基準センサ;位置、動作、もしくは速度用のオーガセンサ;またはエンジン速度センサ、が含まれる。一実施形態では、ハーベスタと共に使用され得るコントローラ114の例には、ヘッダ高さ、ヘッダタイプ、デッキプレート隙間、フィーダ速度、もしくはリール速度などの要素のためのヘッダ動作基準コントローラ;凹状クリアランス、ロータ速度、シュークリアランス、もしくはチャファクリアランスなどの特徴のための分離機動作基準コントローラ;またはオーガ位置、動作、もしくは速度のためのコントローラ、が含まれる。
一実施形態では、穀物カートと共に使用され得るセンサ112の例には、重量センサ、またはオーガ位置、動作、もしくは速度のためのセンサが含まれる。一実施形態では、穀物カートと共に使用され得るコントローラ114の例には、オーガ位置、動作、または速度のためのコントローラが含まれる。
一実施形態では、センサ112およびコントローラ114の例は、無人航空機(UAV)装置または「ドローン」に設置され得る。そのようなセンサには、可視光、赤外線、紫外線、近赤外線(NIR)などを含む任意の範囲の電磁スペクトルに有効な検出器を備えたカメラ;加速度計;高度計;温度センサ;湿度センサ;ピトー管センサもしくは他の対気速度センサもしくは風速センサ;電池寿命センサ;またはレーダエミッタおよび反射レーダエネルギー検出装置;他の電磁放射エミッタおよび反射電磁放射検出装置、が含まれ得る。そのようなコントローラには、誘導もしくはモータ制御装置、制御面コントローラ、カメラコントローラ、または前述のセンサのいずれかをオンにし、操作し、そこからデータを取得し、管理し、構成するようにプログラムされたコントローラが含まれ得る。例が米国特許出願第14/831,165号に開示されており、本開示は、その他の特許開示の知識を前提としている。
一実施形態では、センサ112およびコントローラ114は、土壌を試料採取し、土壌化学試験、土壌水分試験、および土壌に係るその他の試験を行うように構成またはプログラムされた土壌試料採取および測定装置に取り付けられ得る。例えば、米国特許第8,767,194号明細書および米国特許第8,712,148号明細書に開示されている装置が使用され得、本開示はそれらの特許開示の知識を前提としている。
一実施形態では、センサ112およびコントローラ114は、圃場の気象条件を監視するための気象デバイスを含み得る。例えば、2015年4月29日に出願された米国仮特許出願第62/154,207号明細書、2015年6月12日に出願された米国仮特許出願第62/175,160号明細書、2015年7月28日に出願された米国仮特許出願第62/198,060号明細書、および2015年9月18日に出願された米国仮特許出願第62/220,852号明細書に開示された装置が使用され得、本開示はそれらの特許開示の知識を前提としている。
2.4.プロセス概要-農学モデル訓練
一実施形態では、農業インテリジェンス・コンピュータ・システム130は、農学モデルを作成するようにプログラムまたは構成される。この文脈では、農学モデルは、1つまたは複数の圃場の識別データや収穫データなどの圃場データ106を含む農業インテリジェンス・コンピュータ・システム130のメモリ内のデータ構造である。農学モデルはまた、圃場上の1つもしくは複数の農作物の成長に影響を及ぼし得る条件、または1つもしくは複数の農作物の特性、またはその両方を記述する計算された農学的特性を含み得る。加えて、農学モデルは、農作物助言、灌漑助言、植え付け助言、肥料助言、殺菌剤助言、農薬助言、収穫助言、および他の農作物管理助言などの農学的要因に基づく助言を含み得る。農学的要因はまた、農学的収量などの1つまたは複数の農作物関連の結果を推定するためにも使用され得る。農作物の農学的収量は、生産される農作物の量の推定値、またはいくつかの例では、生産された農作物から得られる収益または利益である。
一実施形態では、農業インテリジェンス・コンピュータ・システム130は、事前構成された農学モデルを使用して、1つまたは複数の圃場についての現在受信されている位置および農作物情報に関連する農学的特性を計算し得る。事前構成された農学モデルは、識別データ、収穫データ、肥料データ、および気象データを含むがこれらに限定されない、以前に処理された圃場データに基づくものである。事前構成された農学モデルは、モデルの精度を保証するために交差検証されている可能性がある。交差検証は、降水量推定値と、雨量計またはセンサが提供する同じかまたは近くの位置での気象データとの比較や、窒素含有量の推定値と土壌試料測定値との比較など、予測される結果を圃場上の実際の結果と比較するグラウンドトゥルーシングとの比較を含み得る。
図3に、農業インテリジェンス・コンピュータ・システムが、1つまたは複数のデータソースによって提供された圃場データを使用して1つまたは複数の事前構成された農学モデルを生成するためのプログラムされたプロセスを示す。図3は、次に説明される動作を行うために農業インテリジェンス・コンピュータ・システム130の機能要素をプログラムするためのアルゴリズムまたは命令として機能し得る。
ブロック305で、農業インテリジェンス・コンピュータ・システム130は、1つまたは複数のデータソースから受信された圃場データの農学的データの前処理を実施するように構成またはプログラムされる。1つまたは複数のデータソースから受信された圃場データは、受信された圃場データ値に悪影響を及ぼす可能性がある測定された外れ値を含む農学的データ内のノイズ、わい曲効果、および交絡因子を除去する目的で前処理され得る。農学的データの前処理の実施形態には、外れ値データ値と一般的に関連付けられるデータ値を除去すること、他のデータ値を不必要に歪めることが知られている特定の測定データ点、ノイズから付加的または相乗的な影響を除去または低減するために使用されるデータ平滑化、集約、またはサンプリング技術、および正と負のデータ入力間の明確な区別を提供するために使用される他のフィルタリングまたはデータ導出技術が含まれ得るが、これらに限定されない。
ブロック310で、農業インテリジェンス・コンピュータ・システム130は、初期農学モデル生成に有用なデータセットを識別するために、前処理された圃場データを使用してデータサブセット選択を行うように構成またはプログラムされる。農業インテリジェンス・コンピュータ・システム130は、遺伝的アルゴリズム法、全サブセットモデル法、逐次探索法、段階的回帰法、粒子群最適化法、およびアリコロニー最適化法を含むがこれらに限定されないデータサブセット選択技術を実施し得る。例えば、遺伝的アルゴリズム選択技術は、自然選択および遺伝学の進化の原理に基づいて、適応的ヒューリスティック探索アルゴリズムを使用して、前処理された農学的データ内のデータセットを決定および評価する。
ブロック315で、農業インテリジェンス・コンピュータ・システム130は、圃場データセット評価を実施するように構成またはプログラムされる。一実施形態では、農学モデルを作成し、作成された農学モデルの特定の品質閾値を使用することによって、特定の圃場データセットが評価される。農学モデルは、これらに限定されないが、一個抜き交差検証による二乗平均平方根誤差(RMSECV)、平均絶対誤差、および平均百分率誤差などの1つまたは複数の比較技術を使用して比較および/または検証され得る。例えば、RMSECVは、農学モデルによって作成された予測される農学的特性値を、収集および分析された過去の農学的特性値と比較することによって農学モデルを交差検証することができる。一実施形態では、農学的データセット評価論理は、構成された品質閾値を満たさない農学的データセットが将来のデータサブセット選択ステップ中に使用されるフィードバックループとして使用される(ブロック310)。
ブロック320で、農業インテリジェンス・コンピュータ・システム130は、交差検証された農学的データセットに基づいて農学モデル作成を実施するように構成またはプログラムされる。一実施形態では、農学モデル作成は、事前構成された農学的データモデルを作成するために多変量回帰技術を実施し得る。
ブロック325で、農業インテリジェンス・コンピュータ・システム130は、将来の圃場データ評価のために事前構成された農学的データモデルを格納するように構成またはプログラムされる。
2.5.実施態様の例-ハードウェア概要
一実施形態によれば、本明細書に記載の技術は、1台または複数の専用コンピューティングデバイスによって実施される。専用コンピューティングデバイスは、本技術を実施するように配線され得るか、または本技術を実施するように永続的にプログラムされた1つもしくは複数の特定用途向け集積回路(ASIC)やフィールド・プログラマブル・ゲート・アレイ(FPGA)などのデジタル電子デバイスを含み得るか、またはファームウェア、メモリ、その他のストレージ、もしくは組み合わせ内のプログラム命令に従って本技術を実施するようにプログラムされた1つもしくは複数の汎用ハードウェアプロセッサを含み得る。そのような専用コンピューティングデバイスはまた、本技術を達成するために、カスタム配線論理、ASIC、またはFPGAをカスタムプログラミングと組み合わせ得る。専用コンピューティングデバイスは、デスクトップ・コンピュータ・システム、ポータブル・コンピュータ・システム、ハンドヘルドデバイス、ネットワーキングデバイス、または本技術を実装するために配線論理および/もしくはプログラム論理を組み込んだ任意の他のデバイスであり得る。
例えば、図4は、本発明の一実施形態が実施され得るコンピュータシステム400を示すブロック図である。コンピュータシステム400は、情報を通信するためのバス402またはその他の通信機構と、情報を処理するためのバス402と結合されたハードウェアプロセッサ404とを含む。ハードウェアプロセッサ404は、例えば、汎用マイクロプロセッサであり得る。
コンピュータシステム400はまた、プロセッサ404によって実行されるべき情報および命令を格納するためにバス402に結合された、ランダム・アクセス・メモリ(RAM)や他の動的記憶デバイスなどのメインメモリ406を含む。メインメモリ406はまた、プロセッサ404によって実行されるべき命令の実行中に一時変数またはその他の中間情報を格納するためにも使用され得る。そのような命令は、プロセッサ404からアクセス可能な非一時的記憶媒体に格納されると、コンピュータシステム400を、命令で指定された動作を行うようにカスタマイズされた専用マシンにする。
コンピュータシステム400は、プロセッサ404のための静的情報および命令を格納するためにバス402に結合された読み出し専用メモリ(ROM)408またはその他の静的記憶デバイスをさらに含む。磁気ディスク、光ディスク、またはソリッドステートドライブなどの記憶デバイス410が設けられ、情報および命令を格納するためにバス402に結合される。
コンピュータシステム400は、バス402を介して、コンピュータユーザに情報を表示するための、陰極線管(CRT)などのディスプレイ412に結合され得る。英数字およびその他のキーを含む入力デバイス414は、情報およびコマンド選択をプロセッサ404に伝えるためにバス402に結合される。別の種類のユーザ入力デバイスは、プロセッサ404に方向情報およびコマンド選択を伝え、ディスプレイ412上のカーソル移動を制御するための、マウス、トラックボール、またはカーソル方向キーなどのカーソル制御416である。この入力デバイスは、典型的には、デバイスが平面内の位置を指定することを可能にする2軸、すなわち第1の軸(例えばx)および第2の軸(例えばy)の2つの自由度を有する。
コンピュータシステム400は、カスタマイズされた配線論理、1つもしくは複数のASICもしくはFPGA、ファームウェア、および/またはコンピュータシステムと組み合わさってコンピュータシステム400を専用マシンにするか、もしくはプログラムするプログラム論理を使用して、本明細書に記載の技術を実施し得る。一実施形態によれば、本明細書の技術は、プロセッサ404がメインメモリ406に含まれる1つまたは複数の命令の1つまたは複数のシーケンスを実行することに応答して、コンピュータシステム400によって実行される。そのような命令は、記憶デバイス410などの別の記憶媒体からメインメモリ406に読み込まれ得る。メインメモリ406に含まれる命令シーケンスを実行すると、プロセッサ404は、本明細書に記載のプロセスステップを行う。代替の実施形態では、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて配線回路が使用されてもよい。
本明細書で使用される「記憶媒体」という用語は、機械を特定の方法で動作させるデータおよび/または命令を格納する任意の非一時的媒体を指す。そのような記憶媒体は、不揮発性媒体および/または揮発性媒体を含み得る。不揮発性媒体は、例えば、記憶デバイス410などの、光ディスク、磁気ディスク、またはソリッドステートドライブを含む。揮発性媒体は、メインメモリ406などの、ダイナミックメモリを含む。一般的な形態の記憶媒体には、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または任意の他の磁気データ記憶媒体、CD-ROM、任意の他の光データ記憶媒体、穴のパターンを有する任意の物理媒体、RAM、PROM、およびEPROM、FLASH-EPROM、NVRAM、任意の他のメモリチップまたはカートリッジが含まれる。
記憶媒体は、伝送媒体とは異なるが、伝送媒体と併用され得る。伝送媒体は、記憶媒体間の情報の転送に関与する。例えば、伝送媒体は、バス402を含む配線を含む、同軸ケーブル、銅線、および光ファイバを含む。伝送媒体はまた、電波データ通信および赤外線データ通信時に生成されるような、音響波や光波の形を取ることもできる。
様々な形態の媒体が、実行のためのプロセッサ404への1つまたは複数の命令の1つまたは複数のシーケンスの搬送に関与し得る。例えば、命令は、最初はリモートコンピュータの磁気ディスクまたはソリッドステートドライブ上で保持され得る。リモートコンピュータは、命令をそのダイナミックメモリにロードし、それらの命令を、モデムを使用して電話回線上で送信することができる。コンピュータシステム400に対してローカルなモデムは、電話回線上でデータを受信し、赤外線送信機を使用してデータを赤外線信号に変換することができる。赤外線検出器は、赤外線信号で搬送されたデータを受信することができ、適切な回路がデータをバス402上に配置することができる。バス402は、データをメインメモリ406に搬送し、そこからプロセッサ404が命令を取り出して実行する。メインメモリ406によって受け取られた命令は、任意選択で、プロセッサ404が実行する前または後に、記憶デバイス410に格納されてもよい。
コンピュータシステム400は、バス402に結合された通信インターフェース418も含む。通信インターフェース418は、ローカルネットワーク422に接続されたネットワークリンク420に結合する双方向データ通信を提供する。例えば、通信インターフェース418は、対応する種類の電話回線へのデータ通信接続を提供するための統合サービスデジタルネットワーク(ISDN)カード、ケーブルモデム、衛星モデム、またはモデムであり得る。別の例として、通信インターフェース418は、互換性のあるLANへのデータ通信接続を提供するためのローカル・エリア・ネットワーク(LAN)カードであってもよい。無線リンクも実装され得る。任意のそうした実装において、通信インターフェース418は、様々な種類の情報を表すデジタル・データ・ストリームを搬送する電気信号、電磁信号または光信号を送受信する。
ネットワークリンク420は、通常、1つまたは複数のネットワークを介して他のデータデバイスにデータ通信を提供する。例えば、ネットワークリンク420は、ローカルネットワーク422を介してホストコンピュータ424またはインターネット・サービス・プロバイダ(ISP)426によって運用されるデータ機器に接続を提供し得る。ISP426は、現在一般に「インターネット」428と呼ばれている世界的なパケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワーク422およびインターネット428はどちらも、デジタル・データ・ストリームを搬送する電気信号、電磁信号または光信号を使用する。コンピュータシステム400との間でデジタルデータを搬送する、様々なネットワークを介した信号、ならびにネットワークリンク420上および通信インターフェース418を介した信号は、伝送媒体の例示的な形態である。
コンピュータシステム400は、(1つまたは複数の)ネットワーク、ネットワークリンク420および通信インターフェース418を介して、メッセージを送信し、プログラムコードを含むデータを受信することができる。インターネットの例では、サーバ430は、インターネット428、ISP426、ローカルネットワーク422、および通信インターフェース418を介して、アプリケーションプログラムの要求されたコードを送信し得る。
受信されたコードは、受信されたときにプロセッサ404によって実行され、かつ/または後で実行するために記憶デバイス410または他の不揮発性ストレージに格納され得る。
3.デジタル画像処理の手法
ストレス検出、異常検出、および収量データの予測または補正のための、圃場の画像のデジタル画像処理のためのコンピュータにより実施される方法を提供する実施形態を説明する。実施形態は、農作物被覆率および雑草被覆率が航空画像において知覚可能であり得る場合、成長期の後期段階および後期の農作物成長において最も有用である。本明細書の技術は、しかしながら、成長期の任意の段階でも使用することができる。
いくつかの実施形態では、機械学習モデルを訓練するために圃場の大量のデジタル画像が取得され、次いでそれらの画像を使用して、成長期中に圃場から取り込まれた特定の画像を分類することができる。機械学習モデルの訓練に使用するためのグラウンド・トゥルース・データを生成するために、画質制御および前処理が実施され得る。分類子出力と、NDVIデータやCCIデータなどの植生指数データとの融合に基づくモデルが使用され得る。結果として、圃場内の異常のデジタルグラフィカル地図または視覚地図が生成され得る。画像は、さらなる検証または較正のために収穫後の実際の収量データと相関され得る。本明細書の手法は、結果のクラウドストレージまたは公開のためのより大きなデータ処理ワークフローに統合され得、収量予測モデルなどの他のモデルと統合され得る。
提案の方法論は、選択された画像化ハードウェアとコンピュータプログラムにおいて実施される革新的な画像処理アルゴリズムとの組み合わせに基づくものである。この方法では、空中プラットフォーム、無人航空機(UAV)、および地上車両搭載カメラから受信された高解像度画像を使用して、空間画像特徴およびスペクトル画像特徴が識別される。画像には、カラー画像(RGB画像など)および/またはマルチスペクトル画像(近赤外線画像など)が含まれ得る。高解像度は、この文脈では、1画素当たり1cm未満のカバレッジを意味し得る。機械学習モデルを特徴データに対して実行して、無傷のトウモロコシの列を上述の圃場異常と区別し、分類出力を得ることができる。
分類された画像および画像パッチは、圃場の無傷のエリアおよび傷のあるエリアの地理的に修正された地図を生成するために使用され得る。地図は、異なる種類の圃場異常に対応する色を使用して色分けされ得る。1つの地図は、1つまたは複数の異常を描写し得る。これらの手法を使用して生成された高解像度異常地図は、配置試行、並列圃場試行、農作物保護試行、機器問題検出、風または滞水損傷識別、収量データ調整、ならびにサブ圃場レベルでの環境影響の定量化に利益をもたらすことができる。提示の手法は、圃場について生成された各タイル/プロット/グリッド内のすべての異常およびそれらの割合を検出および計算することを可能にする。
3.1.航空画像のデジタル画像処理
図7に、機械学習モデルを使用して圃場異常地図を生成するためのデジタル画像の例示的な処理を示す。図7では、境界データ、植え付けデータ、収量データなどの圃場データ情報がデータベース702に格納され得る。データベースは、リレーショナルデータベースまたは別の種類のデータベースとして編成され得る。データベースは、分散データベースシステムまたはスタンドアロン・サーバ・データベース・システムとして構成され得る。
要素704を使用して図7に示されている圃場境界を記述する圃場メタデータ、および他のすべての情報は、ヘリコプタ、農業用航空機などの航空ビークル、ヘリコプタおよび航空機のルートを管理する管制センタなどに提供され得る。情報は、ドローンまたは任意の他の無人航空機を操縦し、それらに圃場から航空画像を収集するよう指図するために使用され得る。
圃場境界情報を受信すると、航空ビークル706は、航空ビークル706が圃場を横断するときの様々な画像の取り込みを開始し得る。航空画像はまた、衛星または任意の他の航空ビークルからも取得され得る。
取り込まれた画像708は、本明細書では航空/UAV画像と呼ばれる。これらの画像は、機械学習モデル712への入力として提供され得る。機械学習モデル712は、画像較正、画像処理、および画像分類を行い得る。機械学習モデル712はまた、画像708に基づいて圃場異常を示す地図を生成し得る。
モデル712からの出力は、1つまたは複数の異常地図714を含み得る。異常地図は、色分けされた領域を含み得、各カラーコードは異なる分類に拡張される。分類の例には、例えば、トウモロコシの茎で覆われているエリア、裸地土壌として示されているエリア、雑草で覆われているエリア、道路で覆われているエリアなどが含まれる。
一実施形態では、地図714に基づいて、シェイプファイル地図716が生成される。シェイプファイル716は、異常を有すると識別された1つまたは複数のエリアの境界の地理座標を含み得る。地図716は、地上システムに提供され得る。
3.2.地上画像のデジタル画像処理
一実施形態では、地上システムは、地図716を使用して地上カメラを制御し、地図716に含まれる境界を使用して識別された1つまたは複数のプロットの地上画像を収集し得る。地上システムは、収集されたプロットの地上画像を使用して、プロットのプロット異常の改善された地図を生成し得る。プロット異常の改善された地図は、上述の航空画像に基づいて生成された異常地図714よりも高い詳細レベルで異常の詳細を描写する。
地上システムは、カメラ718などの様々なカメラ、センサ/カメラ720などの様々なセンサ、様々な画像取り込み装置722、増幅器726、および画像を取り込むように構成された他の処理ソフトウェア/ハードウェアツールを含み得る。ソフトウェアツールおよびハードウェアツールは、図7では要素724として示されている。
地上センサおよびカメラは、シェイプファイル716で提供されるシェイプファイル境界に従って地上画像を収集するために使用され得る。シェイプファイルは、農業プロットの境界を指定する地理座標を含み得る。したがって、例えば、コンバインのアームの1つにカメラが設置されているコンバインは、シェイプファイルに提供された座標に従って農業プロットを横断し得、コンバインがプロットを横断する際に、コンバインはプロットから地上画像を収集することができる。
一実施形態では、地上画像は、結果として得られる画像728を形成するために較正、前処理、およびスティッチングされる。画像728は、トウモロコシ、一部の雑草、一部の裸地土壌などで覆われたプロットの描写を含み得る。
画像728のセットは、モデル730への入力として移され得る。モデル730は、機械学習モデルとして実施され得、地上システムによって提供されるすべての画像の収集、画像の較正などの異なる機能を行い得る。これには、例えば、境界の調整、色の調整、色相、ガンマ成分の調整などが含まれ得る。モデル730はまた、それらの画像を処理し得る。これには、後述するスティッチングやその他の処理が含まれ得る。
得られた画像は、画像の個々の領域の分類を決定するように処理され得る。分類により、圃場のどのエリアまたは部分がトウモロコシの茎で覆われているか、どのエリアが雑草で覆われているか、どのエリアが土壌、裸地土壌で覆われているか、などを判定することが可能になる。出力画像は、後述するように、異常地図のセットを含み得、各地図は、裸地土壌、雑草などの個々の異常を描写し得る。地図はまた、データベース702にも提供され得る。
4.航空画像およびUAV画像の例示的な処理
航空測量は、飛行機、ヘリコプタ、UAV、気球、および他のモバイルデバイスに設置されたデータ収集計器を使用して、ジオマティクスデータを収集する方法である。ジオマティックデータの例には、航空画像、ライダーデータ、電磁スペクトルの様々な可視帯域および不可視帯域を表す画像、地球物理データなどが含まれ得る。航空測量はまた、地理的領域のチャートまたは地図の分析も指し得る。航空測量は、通常、例えば衛星によって提供されるデータよりも高解像度のデータを提供する。
提案の手法は、画像取得段階と機械学習段階とからなる。画像取得段階において、一実施形態では、地上ベースの画像化プラットフォームの場合、Raspberry Piプロセッサ、カメラ、およびGPS受信機を含むカスタム・コンピュータ・システムが、ジオリファレンスされたRGBデジタル画像を、収穫作業またはその他の圃場作業中に自動的に取得する。この文脈では、ジオリファレンシングとは、各デジタル画像が、取り込みおよび格納時に、地理位置情報メタデータ、すなわちシェイプファイルと関連付けて格納されることを意味する。メタデータは、カメラおよびプロセッサを備えた装置に搭載されたGPS受信機から取得された緯度値および経度値を含み得る。地理位置情報データを取得し、位置メタデータを画像と共に格納することにより、後で圃場の完全な画像を再構成すること、および/または収集された画像を使用して機械学習段階を実行することに基づいてデジタル地図を生成することが可能になる。
加えて、または代替として、UAVベースの画像化プラットフォームの場合、高解像度カラーカメラ(例えば、Sony RX1R-II)またはマルチスペクトルカメラが、市販のドローンプラットフォーム(例えば、Microdrones MD4-1000やDJI M600)と統合され、予め定義されたエリアを自動的に調査し、高解像度のカラー画像およびマルチスペクトル画像を収集するようにプログラムされてもよい。
これらのタイプのモバイル発見画像化プラットフォームの使用により、圃場を通過するたびにデータおよび画像を収集することが可能になる。サブ圃場ゾーンは、完成した画像において高精度の画像化および検知のために識別され得る。例えば、画像取り込み時にコンピュータメモリにおいてゾーン地図が利用可能である場合、画像が収集されるときに画像にサブ圃場ゾーンメタデータが追加され得る。GPS受信機から取得されたGPSデータが、ゾーン地図を、画像を取り込んでいるUAVまたはハーベスタのその時点の現在位置に相関させるために使用され得る。さらに、本明細書で提案されるハードウェア構成は、画像化能力のスケールアップのための費用および開発時間を削減することができる。
図8に、機械学習モデルを使用して圃場異常地図を生成するための航空画像およびUAV画像の例示的な処理を示す。図8に、機械学習モデルを使用して圃場異常地図を生成するための航空画像およびUAV画像の例示的な処理を示す。図8では、1つまたは複数の航空UAV画像802が較正ユニット804に提供される。その較正は、色補正、色相補正、解像度補正、ガンマ色補正などを含み得る。較正および前処理された画像は、較正画像のスティッチングを圃場レベルで行うスティッチャ806に提供される。
圃場レベルの地図とは、例えば40から100エーカーの典型的な米国の圃場をカバーする画像を指す。圃場レベルの地図は、通常、その境界によって画定される。際立って対照的に、プロットレベルの地図は、例えば、2作物列の幅および20フィートの長さを有し得る圃場内の小さな長方形のエリアを指す。
通常、数百の生画像または処理済み画像が、通常は大きなオルソモザイク画像である圃場レベル画像にスティッチングされる。オルソモザイク画像の一例が画像808である。
一実施形態では、画像808は、オルソモザイク画像を小空間グリッドのグリッドに分割するグリッド生成器に提供される。各グリッドは、例えば、10フィート×10フィートの正方形のエリアをカバーするために64×64画素を有し得る。これらの詳細は、例示目的で提供されているにすぎず、いかなる点でも限定されるとみなされるべきではない。実際の空間グリッドは、より大きくてもより小さくてもよい。それは実施態様に依存する。圃場グリッド810、すなわち小空間グリッドのセットは、小タイル812の画像グリッドになる。
次のステップで、小タイル812は、分類ユニットに提供され、画像は、例えば、画像814、画像816などを含み得る。
分類および後処理ユニット818は、図7に記載されているモデル712などの機械学習モデルを利用し得る。
モデル818の出力は、1つまたは複数の異常地図を含み得る。地図は、地図822を含み得る。地図822の内容は、異なる分類領域に割り当てられた異なる色を記述する凡例824に従って示され得る。ある領域は、例えば、トウモロコシの茎に対応し得、他の画像は、雑草または裸地土壌などを示し得る。
一実施形態では、画像、モデル818に基づいて、いわゆるシェイプファイルが生成される。例示的の一例が、シェイプファイル820である。シェイプファイル820は、例えば、分類された特性を含む、異なる領域、異なるグリッドまたは小タイルの地理座標を含み得る。
5.地上画像の例示的な処理
本明細書の技術はまた、ポール上などの圃場内の固定位置に取り付けられたカメラ・コンピュータ装置を使用して異なる離間した時刻に圃場の画像を繰り返し取り込むことによって、圃場の低速度撮影を実現するために使用することもできる。一実施形態では、細長いポールが圃場の地面に取り付けられ、ポールに太陽電池アレイおよびコンピュータシャーシが取り付けられる。シャーシは、装置内のカメラが高い位置から圃場をはっきりと見ることができるように、高い位置に取り付けられる。太陽電池アレイは、電源として機能するようにコンピュータシャーシに結合される。コンピュータシャーシは、Piカメラ、Raspberry Pi 2Bプロセッサ、ソーラー・パネル・コントローラ、およびLTEモデムを含む。プロセッサは、1時間ごとに画像を取り込むようにカメラに信号を送り、LTEモデムを動作させて画像をクラウド・データ・ストレージに定期的にアップロードするようにプログラムされ得る。
図9に、機械学習モデルを使用して圃場異常地図を生成するための地上画像の例示的な処理を示す。図9は、地上処理の詳細な例である。圃場の地上画像などの画像を収集するように構成されたカメラを装備した、コンバイン、ハーベスタ、およびトラクタなどの地上車両に、シェイプファイル916が提供されると仮定する。画像は、航空/UAV画像よりも詳細であり得る。
一実施形態では、地上画像は、コンバイン、トラクタ、シーダなどに搭載され得るカメラ718などのカメラによって取り込まれ得る。他のカメラは、ポール、フェンスなどに取り付けられ得るカメラ720、722、724を含み得る。
一実施形態では、地上処理は、例えば、増幅器728または任意の他の処理要素726によって行われる地上画像の増幅を含む。
地上画像はモデル730に提供され得、モデル730は、画像を収集し、画像を較正し、画像を処理するように構成される。処理は、画像が圃場内の異常を描写しているかどうかを判定するために画像分類を行うことを含み得る。
モデル730からの出力732は、1つまたは複数の異常地図734を含み得る。地図は、前述のように、地図のセットとして編成され得、各地図は、別個の異常または個々の異常を指示し得る。例えば、ある地図は雑草を示し、別の地図は裸地土壌などを示し得る。地図は、データベース702に格納され得る。
あるいは、またはこれに加えて、地図は、様々な農作業を行うよう車両および機械を制御するために使用され、または地上車両および地上農業機械に送信されてもよい。例えば、異常地図の1つが、裸地土壌で覆われているが代わりに種子が植え付けられなければならない圃場のエリアを指示する場合には、地図は、そのエリアに種子を植えるようにシーダに指示するためにシーダに送信され得る。
6.地上画像処理の例示的な実施態様
一実施形態では、コンピュータ・カメラ装置は、コンバインまたはハーベスタのアームに取り付けられる。装置は、Raspberry Piプロセッサ、Piカメラ、U-Blox GPSボード、およびWi-Fiアダプタを含み得る。この実施形態では、プロセッサは、GPSボードから位置データを読み取ることによって決定される、移動式コンバインまたはハーベスタのその時点の現在の地理的位置が画像取り込みの指示と一致する場合に画像を取り込むようカメラに信号を送るようにプログラムされる。画像取り込みのための指示またはプログラムは、ハーベスタが空間内の特定の点を通過しているときの、またはハーベスタが圃場を横断するときに指定された分離距離を使用した、または他の方式に従った画像の取り込みを指定し得る。
一実施形態では、前述の方法でコンバインから取り込まれた画像を使用して、約300枚の個々の画像を手動でラベル付けし、約230枚の画像を、正常なプロットを指示するために、損傷なし、作物群(crop stands)良好、および通路可視とラベル付けし、約70枚の画像を、隙間および倒伏を指示するようにラベル付けした。CNN転移学習モデルを、TensorFlowおよびDominoにおけるInception v.3を使用して開発した。このモデルは、N=35で91%の予測精度を達成した。正常なプロットおよび異常なプロットの例が、図面および/または明細書スライドに示されている。
一実施形態では、GPSまたはRaspberry Piプロセッサからカメラに送信された距離トリガ信号に基づいて、コンバイン搭載カメラを使用して農作物画像を取り込んだ。サムネイル画像を生成し、GeoTIFFフォーマットの画像と共に、コンバイン搭載されたゲートウェイコンピュータに無線で送信した。ゲートウェイは、無線伝送を使用してクラウドストレージに画像データを送信し、また、ゲートウェイを、クラウドストレージからシェイプファイルを取得し、それらをmicro-USB接続を介してRaspberry Piプロセッサにロードするようにプログラムした。Trimble GPS受信機が、地理位置情報データを提供し、クラウドストレージにアップロードされた地理位置情報ログを生成した。地理位置情報データに、画像データと組み合わせて、コンバインが移動するときに圃場内の隣接する位置で取り込まれた画像を組み合わせるために、画像スティッチングを施し、アーチファクトを除去し、直立の向きを調整するなどのために後処理を施した。得られた処理画像を、次いで、本明細書に記載のモデル開発、訓練、検証および分類に使用した。
別の実施形態では、Ublox GPS受信機およびRaspberry Pi 2Bカメラが取り付けられた、無線制御式地上横断探査ロボットまたは他の無人地上車両を使用して画像を取り込んだ。この装置は、主に、病気の植物または農作物の損傷位置を特定するために、圃場を横断し、圃場内の画像を取り込むことができた。
別の実施形態では、圃場内の短いポールに取り付けられた、耐候性の囲いを有するNVidia TX1コンピュータに結合されたZEDステレオカメラからなるキャノピー下の病害画像化システムを使用した。ZEDは、毎秒30フレームで2K UHD画像を取り込むことができるカラー・ステレオ・カメラである。TX1コンピュータは、リチウム電池式であり、第2のカメラを含んでいた。CHC RTX GPS受信機を別のポールに別個に取り付け、コンピュータに通信可能に結合した。この装置は、ゴス萎病、灰斑病およびさび病の8,000枚を超える画像を取り込むことができた。
さらに別の実施形態では、Velodyne VLP-16 16チャネルLiDAR装置を移動式コンバインに取り付け、装置は、トウモロコシ畑での倒伏を画像化することができた。倒伏値は作物収量に大きく影響するが、人間による視覚的評価は得るのに多くの労働を要し、時間がかかる。デジタル画像化は、コンバインに装備されている場合、スループットを増加させ、処理実験または比較時のすべての試行プロットを測定することができる。一実施形態では、この装置を、コンバインの左側の4つのトウモロコシの列を画像化するようにプログラムした。Garmin GPSを、LiDAR画像データをクラウドベースのサーバに無線で送信することを可能にするLiDARに通信可能に結合した。
6.1.例示的なエッジコンピューティングの実施態様
エッジコンピューティングは、多くの場合、データのソースの近くで行われるデータ計算および処理を指す。画像化用途では、エッジ・コンピューティング・デバイスは、通常、クラウド内の集中コンピューティングサーバ上ではなく、カメラおよびセンサに近接して位置する画像収集プラットフォーム上に配置される。エッジコンピューティングは、通常、画像化システムがシステムと中央データベースまたはクラウドとの間の不要なデータトラフィックを低減させるのを助け、リアルタイム画像処理能力を提供する。
「AIアクセラレータ」または「ニューラル・ネットワーク・アクセラレータ」は、人工ニューラルネットワーク、マシン・ビジョン・システム、および機械学習システムをサポートするように設計された特定用途向け集積回路(ASIC)である。独自のAIアクセラレータを開発しているベンダの例には、IntelベースのNervanaニューラル・ネットワーク・プロセッサ(NNP)、Googleベースのテンソル・プロセッシング・ユニット(TPU)、およびNvidiaベースのグラフィックス・プロセッシング・ユニット(GPU)が含まれる。例えば、エッジTPUは、Googleによって開発されたソリューションであり、エッジコンピューティングとAIアクセラレータの両方の利点を組み合わせるために使用される。言い換えれば、エッジTPUは、例えば、電池または発電機によって電力供給される画像化デバイス上に配置することができる低電力で小サイズのソリューションである。エッジTPUは、画像化システムがAI計算能力を強化し、疑似リアルタイムで機械学習/AIモデルを実行するためのプラットフォームを提供するのを助けることができる。
一実施形態では、デジタル画像および機械学習モデルを使用して圃場異常の地図を作成するための手法が、エッジコンピューティング技術を使用して実施される。以上でエッジコンピューティング技術の例について説明した。そのような技術の1つは、エッジTPU技術を含む。しかしながら、提示の手法は、エッジTPUの実施態様に限定されない。実際、他の手法も同様に実施され得る。
図10に、機械学習モデルおよびエッジTPUを使用して圃場異常地図を生成するための地上画像の例示的な処理を示す。図10は、図9に示されるプロセスの特定の実施態様を示している。シェイプファイル1012が地上システムに提供され、地上システムはシェイプファイル1012を使用して圃場の境界を決定し、圃場から地上画像を収集するよう地上カメラを制御する。その後、収集された地上画像は、例えば、通信ゲートウェイ1024と通信するエッジTPUハードウェアユニット1006を使用して処理される。
一実施形態では、地上システム1016は、Raspberry Pi 2プロセッサ1018と、シェイプファイル1012に基づいて生成されたGPSトリガとを使用し得る。トリガは、圃場の特定のエリアの生画像1014を撮影するようにカメラに指示するために、地上車両に設置されたカメラに送信される。
地上機械または地上車両に設置されたカメラによって取り込まれた画像1014は、処理のためにJPEG画像としてエッジTPU1006に送信され得る。エッジTPU1006は、画像分類を行うために、画像に1つまたは複数の分類子を適用し得る。画像は、イーサネットを介して送信され得るか、または、例えばサムネイルTIFF画像1022として、USB2.0デバイスを介してゲートウェイ1024に提供され得る。画像1022はまた、追加処理のためにゲートウェイ1024からプロセッサ1018に送信され得る(1020)。
ゲートウェイ1024は、サーバまたはコンピュータプロセッサとして実施され得、分類された画像を、例えばTIFFフォーマットのサムネイル1026としてクラウドシステム1004に送信し得る。クラウドシステム1004に格納されたTIFF画像はまた、データベース1010にも格納され得る。
7.例示的な機械学習法
機械学習段階において、一実施形態では、ImageNetの事前訓練された畳み込みニューラル・ネットワーク・モデル(Inception v3)に基づくプログラムされた深層(転移)学習モデルが、デジタル画像を複数のカテゴリにおいて分類するようにプログラムされる。第1のカテゴリは、一実施形態では、トウモロコシなどの農作物の無傷の列である。第2のカテゴリは、倒伏、雑草および/または裸地土壌に起因して発生する傷のあるトウモロコシの列である。モデルの出力は、各画像が無傷のトウモロコシ、倒伏、雑草、および裸地土壌として分類される圃場の画像化エリアの地図を生成するために使用される。本明細書では、明確な例を提供する目的で、倒伏または農作物の損傷、雑草および裸地土壌が識別されているが、他の実施形態は、これらの異常に対処するようCNNを訓練するために選択され使用された1つまたは複数の訓練データセットに基づいて、焼け、動物被害、熱損傷などの他の異常について画像を分類するように動作し得る。
図11に、機械学習モデルを使用して圃場異常地図を生成するために画像を分類するための例示的な機械学習法を示す。図11では、画像1102などの入力画像が、特に、画像分類を行う機械学習モデル1104に提供される。分類は、様々な分類子を使用することを含み得る。
一実施形態では、分類子は、既知の異常を描写する複数の様々な画像サンプルを含み得る。異常の例には、列間損傷、雑草、溜り水などが含まれ得る。異常の種類ごとに、1つまたは複数の分類子が設けられ得る。図11では、分類子は列間損傷を描写しており、列間画像#1、行間画像#2などを含む。同じ異常についての画像は、同じ異常の異なる画像を含み得、各画像は、例えば、異常の異なるビュー、異常の異なるサブタイプ、異常を描写するために使用される異なるカラースキームなどを示し得る。
分類プロセスは、地上画像が雑草、樹木などの異常を示しているかどうかを判定することを可能にする画像を使用し得る。画像分類を行うために、分類プロセスは、列間損傷画像#1、列間損傷画像#2、雑草画像#1、雑草画像#2、雑草画像#2などの様々な分類子画像を使用し得る。すべての画像が異なっていてもよい。
したがって、入力画像1102が分類プロセス1104を受けるときに、分類子は、画像1102が分類子のいずれかと一致するかどうかを判定するために入力画像1102のグリッドタイルに適用される。その判断は出力1106と呼ばれ、画像1102が分類子のいずれかと一致するかどうか、一致する場合、一致した分類子は、列間損傷画像#1か、列間損傷画像#2か、雑草画像#1か、雑草画像#2か、雑草画像#2かなどに関する詳細情報を含み得る。
8.例示的な分類子
一実施形態では、5,000から6,000枚の画像のストックを取得し、機械学習モデルを訓練するために分類した。分類ラベルは、トウモロコシ、列間損傷、道路、土壌、大豆、樹木、水、雑草、影、建物を含み得るが、他の実施形態では、画像のストックの内容に基づいて他のラベルを使用することもできる。
一実施形態では、航空機器から取り込まれたデジタル画像は、プログラムに従って較正段階に提供され、較正段階では、例えば、画像アーチファクトが除去され、画素サイズが正規化され、他の前処理が実行され得る。次に、画像は、例えば、各々640×640画素のタイルからなるレベル1グリッドに分割され得る。各タイルは、ソース画像の一部のマルチ画素配列であり得る。一実施形態では、次に、訓練または検証のために複数の時間が選択される。レベル2グリッド化は、各々64×64画素のタイルを使用して適用され得る。他の実施形態は、異なる画素寸法を有するグリッド化を使用し得る。
一実施形態では、レベル2グリッド化タイルは、土壌、雑草、列間隙間、およびその他の特徴について手動でラベル付けされる。これらのラベル付きタイルは、次いで、分類のために畳み込みニューラルネットワークを訓練するか、またはそれ以外の方法でモデル開発および実装に使用される。
その後、訓練されたモデルは、航空機器または他の機器から取得された他の生デジタル画像ファイルに対する分類を、単独で、またはNDVIデータなどの植生指数データと組み合わせて実行するために使用され得る。組み合わせが使用される場合、特定の圃場の植生指数データは、同じ圃場のデジタル画像の分類出力と融合または混合され、圃場の異常地図を生成するためにプログラムに従って処理される。
図12に、機械学習モデルを使用して圃場異常地図を生成するための例示的な画像分類を示す。この例では、入力画像1202はタイルのグリッドを含み、それらの各々が、トウモロコシまたは土壌または雑草などを表す。画像1202は、出力画像1206を決定するために分類子1204のセットを画像に適用することによって処理される。画像1206は、タイル分類を含み得、各タイルは、タイルが農作物または特定の異常に対応するかどうかを指示する関連付けられた分類子識別子を有し得る。したがって、画像1206は、例えば、トウモロコシ、道路、土壌、雑草、樹木、水などとして分類され得る。異なる種類の異常が要素1204として示されている。
9.例示的な画像分類
図13に、機械学習モデルを使用して圃場異常地図を生成するための機械学習法を使用した画像分類の一例を示す。図示の例では、異なる入力画像1300が較正および前処理プロセッサに移され、次いで、前処理および較正された画像は、ステップ1320で、機械学習モデルを使用した分類プロセスを施される。
例えば、画像1302から画像1310が較正および前処理システム1320に提供され得、画像が較正および前処理されると、画像は、前の図に記載された手法を使用して分類される。
機械学習モデルは、分類された画像を含む出力1350を生成し得る。図13では、分類されたデジタル画像は、雑草地図1352、裸地土壌地図1354、倒伏地図1356、および列間損傷地図1358を含む。異常の他の地図も生成され得る。異なる種類の異常は、圃場の特定の特性に依存する。
10.例示的なニューラルネットワーク構成
図14に、機械学習モデルを使用して圃場異常地図を生成するためのニューラルネットワーク構成の一例を示す。図示の例では、疑似マシンコード1402が、モデルの層、入力変数、ブロックなどの編制を定義する。提供されている例は、例示目的で使用されているにすぎず、ニューラルネットワーク構成の実際の内容は、具体的な実施態様および圃場特性に依存する。
図示の例では、コード1402は、ヘッダ1404が層の記述、層のタイプ、出力形状、およびパラメータ数を含むように編成されている。例えば、層の1つは、64×64および3などの異なる形状パラメータを含む入力層1406であり得、ここでのパラメータの数は0である。
ニューラルネットワーク構成の別の要素はブロック1408を含み得、他の要素はブロック1410を含み得る。実施態様に応じて、ニューラルネットワーク構成は、異なるモデルおよび異なる実施態様に対して異なり得る。
通常、ネットワーク構成は、パラメータの総数を示す概要1420などの概要を含む。構成はまた、訓練可能なパラメータの総数1422および訓練不可能なパラメータの総数1424を含み得る。
11.航空画像処理およびUAV画像処理のための例示的なフローチャート
図15に、機械学習モデルを使用して圃場異常地図を生成するために航空画像およびUAV画像を処理するための例示的なフローチャートを示す。図15に記載されたステップは、クラウド、もしくはサーバにおいて実装された分散コンピューティングシステム、または画像を収集、処理、および分類するように構成された任意の他の処理システムによって行われ得る。
ステップ1502で、プロセッサが、圃場の航空/UAV生画像を受け取る。画像は、衛星、ヘリコプタ、ドローン、または画像を収集するように構成された任意の他の航空ビークルによって提供され得る。
ステップ1504で、プロセッサは、画像を較正、調整、および/または前処理する。前述のように、これは、画像上の色を調整すること、彩度を調整すること、解像度を調整すること、画像のフォーマットを調整すること、ガンマ較正を行うこと、および生画像の画質を改善するために必要な任意の他の種類の処理を含み得る。
ステップ1506で、較正され、調整され、前処理された画像は、圃場レベルの地図を作成するためにスティッチングされる。スティッチングは、通常、大きなオルソモザイク画像を生成するために何百もの画像に対してスティッチング操作を行うことを含む。その画像は、広い地面エリアをカバーする可能性があるので、かなりのサイズであり得る。
ステップ1508で、圃場レベルの地図に基づいて、プロセッサはグリッド地図を生成する。グリッドを生成することは、通常、大きなオルソモザイク画像を、例えば64×64画素とすることができ、例えば圃場の10フィート×10フィートの領域をカバーする小さな空間グリッドのグリッドに分割することを含む。これらの数は様々であり得、実施態様に依存し得る。
ステップ1510で、グリッドは複数の小タイルに分割され、各タイルは、前述のように、例えば10フィート×10フィートのエリアをカバーし得る。ステップ1512で、機械学習モデルを使用して、グリッドの小タイルの各々が、各タイルが、雑草、水、裸地土壌などのいくつかの異常箇所で覆われている圃場のエリアを示しているかどうかを判定するために分類される。分類プロセスは、上述の分類子に基づいて実行され得る。
ステップ1514で、分類された画像の各々が後処理され、その処理は、分類が正しかった確率を決定し、分類されたタイルを示す1つまたは複数の地図を作成することを含み得る。例えば、前の図に示されるように、分類された画像は、圃場内の雑草の位置を示す地図を生成するために使用され得る。分類された画像はまた、別の地図を生成するためにも使用され得、その地図は、裸地土壌だけで覆われたエリアを示し得る。樹木で覆われたエリアのみを示すためにさらに別の地図が生成され得る。
ステップ1516で、機械学習モデルによって生成された出力に基づいて、プロセッサがシェイプファイルを生成する。シェイプファイルは、圃場内の分類されたタイルまたは分類された領域を参照するための地理座標(緯度値および経度値)を含む。例えば、分類された画像に基づいて雑草地図が決定された場合には、そのような地図は、雑草で覆われているエリアを示す。その地図に基づいて、シェイプファイルを生成することができる。シェイプファイルは、雑草で覆われているエリアの1つまたは複数の境界を作成する地理座標を提供するか、または含み得る。
12.地上画像処理のための例示的なフローチャート
図16に、機械学習モデルを使用して圃場異常地図を生成するために地上画像を処理するための例示的なフローチャートを示す。図16に記載されるステップは、通常、地上システムによって行われ、エッジTPUなどの高度なハードウェア技術を利用し得る。地上処理システムは、分散システム、クラウド上のシステム、仮想システム、またはスタンドアロンサーバのセットとして実装され得る。
ステップ1601で、プロセッサが、圃場内の異なるエリアを参照する地理座標を含むシェイプファイルを受け取る。図15で説明されているように、シェイプファイルは、例えば、雑草で覆われた領域の地理座標を含み得、またはシェイプファイルは、樹木で覆われた領域の地理座標などを含み得る。
代替の実施形態では、シェイプファイルは、その種類にかかわらず、すべての異常の境界を含み得る。例えば、シェイプファイルは囲まれた領域の座標を含み得、それらの領域のうちのあるものは雑草で覆われており、別の領域は裸地土壌で覆われているなどであり得る。
ステップ1602で、プロセッサは、圃場の地上生画像を受け取る。画像は、地理座標によって定義されたエリアから収集され得る。前述のように、シェイプファイルは、ハーベスタ、コンバイン、トラクタなどの地上車両に送信され得る。あるいは、またはそれに加えて、シェイプファイルは、圃場全体にわたって配置された物理的なポールに取り付けられた地上コントローラおよび/またはカメラに送信されてもよい。カメラは、異なる領域から画像を取り込むようにトリガまたは命令されて得る。命令は、特定の領域の地理座標を提供し得、地理座標は、シェイプファイルで提供され得る。地上生画像は、例えば、トラクタが圃場を横断し、シェイプファイルで提供された境界をたどるときにトラクタによって収集され得る。
ステップ1604で、プロセッサは、生画像を較正、調整、および前処理する。これは、色を較正すること、色および色相を調整すること、彩度、ガンマ補正、画像のフォーマットを変更することなどを含み得る。
ステップ1606で、較正され、調整され、前処理された画像は、プロットレベルの大きな地図を作成するためにスティッチングされる。プロットレベルの地図は、圃場内の小さな長方形のエリアを指す。それらの小エリアは、例えば、0.002エーカーを覆うために、例えば、2作物列の幅および20フィートの長さを有し得る。対照的に、圃場レベルの地図は、例えば40から100エーカーの典型的な大規模圃場をカバーする画像を指す。
ステップ1608で、プロットレベルの地図に基づいて、プロセッサはグリッド地図を生成する。グリッドがプロットレベルで生成されるため、グリッドは、航空画像およびUAV画像のために生成されたグリッドよりも小さいエリアをカバーしない場合がある。例えば、地上画像化処理の場合、プロットレベルは、5枚から8枚の画像に基づいて生成され得、それらの画像は、例えば、0.002エーカーをカバーする1つの画像にスティッチングされる。対照的に、航空/UAV画像処理では、スティッチングは、数百の画像を結合して、例えば、数ヘクタールをカバーする大きなオルソモザイク画像にすることを含んでいた。
ステップ1610で、地図は、グリッドに従って複数の小タイルに分割される。
ステップ1612で、機械学習モデルを使用して、グリッドの各小タイルが分類される。分類プロセスは、前の図面で説明されており、タイルの画像を分類子の画像と照合することを含み得る。様々な分類子の大きなセットが存在する可能性がある。特定の許容可能な確率内で一致が見つかった場合、グリッドのタイルは、一致する分類子画像に基づいて分類される。
ステップ1614で、分類された画像の各々が、例えば、訂正もしくは不足している情報を記入し、かつ/または確率が低すぎる場合に分類を訂正するために後処理される。これはまた、タイル画像を再分類すること、または分類を再び行うことも含み得る。
後処理された分類画像は、分類されたタイルを示す地図を生成するために使用され得る。同様に、図15のステップ1514の航空/UAV画像処理のように、図16のステップ1614で、画像は、各地図が別個の異常についてのものである別々の地図を生成するために使用され得る。例えば、ある地図は雑草に対応する異常に対して作成され得、別の地図は樹木に対応する異常に対して作成され得るなどである。
図16のステップ1614で生成される地図と図15のステップ1514で生成される地図との間の1つの違いは、ステップ1614で生成される地図がより高いレベルの精度および粒度を有し、ステップ1514で生成された地図よりも小さいエリアについてのものであることである。ステップ1614で生成される地図は、図15のステップ1514の衛星画像および航空画像に基づいて生成される地図よりも詳細、精密、かつ正確である。
ステップ1616で、後処理された分類画像または地図は、データベースに格納される。これは、異なる産業間で共有され得る世界的および/または国際的なデータ保管場所に画像を格納することを含み得る。画像はまた、研究室と機関との間で共有されてもよい。画像はまた、農作物栽培者、農場経営者、ならびに種子、農作物、肥料、および農業機械の製造を担当する産業の間で共有されてもよい。
13.特定の実施形態の利点
実施形態は、共通の色を有する高スループット画像およびマルチスペクトル画像センサを使用して農地内の特定の異常を識別し、その地図を作成し、地上車両に搭載された低コストセンサによって収量損失のある圃場のエリアの地図を日和見的に作成することができる機能を提供する。本明細書で提案される手法では、機械学習モデルと組み合わされた低コストのセンサの使用により、典型的な商用圃場に拡張可能ないくつかの異常原因の高品質で高精度の地図を提供する。
実施形態は、農作物カバレッジ、裸地土壌、農作物の損傷および雑草を表すことが知られている画像の特徴を識別するために、圃場のデジタル画像の大きなセットを訓練セットとして使用して畳み込みニューラルネットワークが訓練されていることを仮定する。モデルは、画像の意味を手動でラベル付けして、農作物、裸地土壌、損傷した農作物および雑草を様々な割合で示す画像を使用して訓練され得る。

Claims (20)

  1. デジタル画像および機械学習モデルを使用して圃場異常の改善された地図を生成するためのコンピュータにより実施される方法であって、前記方法が、
    農業プロットの境界を画定するシェイプファイルを取得するステップと、
    前記農業プロットの前記境界内に位置する1台または複数の画像取り込みデバイスから複数のプロット画像を取得するステップと、
    プロットレベルの前記農業プロットのプロット地図を作成するために前記複数のプロット画像を較正および前処理するステップと、
    前記農業プロットの前記プロット地図に基づいて、プロットグリッドを生成するステップと、
    前記プロットグリッドおよび前記プロット地図に基づいて、複数のプロットタイルを生成するステップと、
    前記複数のプロットタイルに基づいて、第1の機械学習モデルと、1つまたは複数の第1の異常に対応する複数の第1の画像分類子とを使用して、少なくとも1つの異常を描写する分類されたプロット画像のセットを生成するステップと、
    前記分類されたプロット画像のセットに基づいて、前記農業プロットについてのプロット異常地図を生成するステップと、
    前記プロット異常地図を、前記農業プロット上で農業機能を行うよう1台または複数の農業機械を制御する1つまたは複数のコントローラに送信するステップと
    を含む、コンピュータにより実施される方法。
  2. 前記シェイプファイルが、
    圃場の複数の航空画像を取得するステップと、
    圃場レベルの前記圃場の圃場地図を作成するために前記複数の航空画像を較正および前処理するステップと、
    前記圃場の前記圃場地図に基づいて、圃場グリッドを生成するステップと、
    前記圃場グリッドおよび前記圃場地図に基づいて、複数の圃場タイルを生成するステップと、
    前記複数の圃場タイルに基づいて、第2の機械学習モデルと、1つまたは複数の第2の異常に対応する複数の第2の画像分類子とを使用して、少なくとも1つの異常を描写する分類された圃場画像のセットを生成するステップと、
    前記分類された圃場画像のセットに基づいて、前記圃場についての圃場異常地図を生成するステップと、
    前記圃場異常地図に基づいて、前記農業プロットの前記境界を生成するステップと
    を行うことによって生成される、請求項1に記載のコンピュータにより実施される方法。
  3. 前記農業プロットが前記圃場の一部である、請求項2に記載のコンピュータにより実施される方法。
  4. 前記プロット異常地図が前記圃場異常地図よりも高い詳細度を有し、
    前記複数の第1の画像分類子が前記複数の第2の画像分類子よりも高い詳細度を有し、
    前記複数の第1の画像分類子が、1つもしくは複数の列間画像分類子、1つもしくは複数の雑草画像分類子1つもしくは複数の裸地土壌分類子、1つもしくは複数の倒伏分類子、または1つもしくは複数の溜り水分類子、のうちの2つ以上を含み、
    前記1つまたは複数の第1の異常が前記1つまたは複数の第2の異常よりも高い詳細度を有する、請求項2に記載のコンピュータにより実施される方法。
  5. 前記シェイプファイルが、前記境界によって画定された前記農業プロットから前記1つまたは複数のプロット画像を取り込むように構成された前記1台または複数の画像取り込みデバイスを制御するために使用される、請求項2に記載のコンピュータにより実施される方法。
  6. 前記複数のプロット画像が、前記1台または複数の画像取り込みデバイスが前記農業プロットの前記境界を指定する前記シェイプファイルの内容に基づいて制御されるときに、前記1台または複数の画像取り込みデバイスによって取り込まれる、請求項2に記載のコンピュータにより実施される方法。
  7. 前記1台または複数の画像取り込みデバイスが、移動式農業機器、固定式農業機器、固定ポスト、固定構造、ハンドヘルドデバイス、またはモバイルデバイス、のいずれかに設置される、請求項2に記載のコンピュータにより実施される方法。
  8. 前記プロットレベルの前記農業プロットの前記プロット地図を作成するために前記複数のプロット画像を較正および前処理する前記ステップが、前記複数のプロット画像を較正するステップ、前記プロット地図を作成するために前記プロットレベルの前記複数のプロット画像をスティッチングするステップ、または前記複数のプロット画像に描写された1つもしくは複数の色を補正するステップ、のうちの1つまたは複数を含む、請求項1に記載のコンピュータにより実施される方法。
  9. 前記プロットレベルの前記農業プロットの前記プロット地図を作成するために前記複数のプロット画像を較正および前処理する前記ステップが、エッジ・テンソル・プロセッシング・ユニット(エッジTPU)によって行われる、請求項1に記載のコンピュータにより実施される方法。
  10. 前記農業プロットについての前記プロット異常地図が1つまたは複数の特定の異常地図を含み、各特定の異常地図が前記農業プロットについて識別された特定の異常を描写する、請求項1に記載のコンピュータにより実施される方法。
  11. 1台または複数のコンピューティングデバイスによって実行されると、前記1台または複数のコンピューティングデバイスに、
    農業プロットの境界を画定するシェイプファイルを取得することと、
    前記農業プロットの前記境界内に位置する1台または複数の画像取り込みデバイスから複数のプロット画像を取得することと、
    プロットレベルの前記農業プロットのプロット地図を作成するために前記複数のプロット画像を較正および前処理することと、
    前記農業プロットの前記プロット地図に基づいて、プロットグリッドを生成することと、
    前記プロットグリッドおよび前記プロット地図に基づいて、複数のプロットタイルを生成することと、
    前記複数のプロットタイルに基づいて、第1の機械学習モデルと、1つまたは複数の第1の異常に対応する複数の第1の画像分類子とを使用して、少なくとも1つの異常を描写する分類されたプロット画像のセットを生成することと、
    前記分類されたプロット画像のセットに基づいて、前記農業プロットについてのプロット異常地図を生成することと、
    前記プロット異常地図を、前記農業プロット上で農業機能を行うよう1台または複数の農業機械を制御する1つまたは複数のコントローラに送信することと
    を行わせる命令を格納した1つまたは複数の非一時的記憶媒体。
  12. 前記1台または複数のコンピューティングデバイスによって実行されると、前記1台または複数のコンピューティングデバイスに、
    圃場の複数の航空画像を取得することと、
    圃場レベルの前記圃場の圃場地図を作成するために前記複数の航空画像を較正および前処理することと、
    前記圃場の前記圃場地図に基づいて、圃場グリッドを生成することと、
    前記圃場グリッドおよび前記圃場地図に基づいて、複数の圃場タイルを生成することと、
    前記複数の圃場タイルに基づいて、第2の機械学習モデルと、1つまたは複数の第2の異常に対応する複数の第2の画像分類子とを使用して、少なくとも1つの異常を描写する分類された圃場画像のセットを生成することと、
    前記分類された圃場画像のセットに基づいて、前記圃場についての圃場異常地図を生成することと、
    前記圃場異常地図に基づいて、前記農業プロットの前記境界を生成することと
    を行わせる追加の命令を格納した、請求項11に記載の1つまたは複数の非一時的記憶媒体。
  13. 前記農業プロットが前記圃場の一部である、請求項12に記載の1つまたは複数の非一時的記憶媒体。
  14. 前記プロット異常地図が前記圃場異常地図よりも高い詳細度を有し、
    前記複数の第1の画像分類子が前記複数の第2の画像分類子よりも高い詳細度を有し、
    前記複数の第1の画像分類子が、1つもしくは複数の列間画像分類子、1つもしくは複数の雑草画像分類子1つもしくは複数の裸地土壌分類子、1つもしくは複数の倒伏分類子、または1つもしくは複数の溜り水分類子、のうちの2つ以上を含み、
    前記1つまたは複数の第1の異常が前記1つまたは複数の第2の異常よりも高い詳細度を有する、請求項12に記載の1つまたは複数の非一時的記憶媒体。
  15. 前記シェイプファイルが、前記境界によって画定された前記農業プロットから前記1つまたは複数のプロット画像を取り込むように構成された前記1台または複数の画像取り込みデバイスを制御するために使用される、請求項12に記載の1つまたは複数の非一時的記憶媒体。
  16. 前記複数のプロット画像が、前記1台または複数の画像取り込みデバイスが前記農業プロットの前記境界を指定する前記シェイプファイルの内容に基づいて制御されるときに、前記1台または複数の画像取り込みデバイスによって取り込まれる、請求項12に記載の1つまたは複数の非一時的記憶媒体。
  17. 前記1台または複数の画像取り込みデバイスが、移動式農業機器、固定式農業機器、固定ポスト、固定構造、ハンドヘルドデバイス、またはモバイルデバイス、のいずれかに設置される、請求項12に記載の1つまたは複数の非一時的記憶媒体。
  18. 前記プロットレベルの前記農業プロットの前記プロット地図を作成するために前記複数のプロット画像を前記較正および前処理することが、前記複数のプロット画像を較正すること、前記プロット地図を作成するために前記プロットレベルの前記複数のプロット画像をスティッチングすること、または前記複数のプロット画像に描写された1つもしくは複数の色を補正すること、のうちの1つまたは複数を実行することを含む、請求項11に記載の1つまたは複数の非一時的記憶媒体。
  19. 前記プロットレベルの前記農業プロットの前記プロット地図を作成するために前記複数のプロット画像を前記較正および前処理することが、エッジ・テンソル・プロセッシング・ユニット(エッジTPU)によって行われる、請求項11に記載の1つまたは複数の非一時的記憶媒体。
  20. 前記農業プロットについての前記プロット異常地図が1つまたは複数の特定の異常地図を含み、各特定の異常地図が前記農業プロットについて識別された特定の異常を描写する、請求項11に記載の1つまたは複数の非一時的記憶媒体。
JP2021532893A 2018-12-10 2019-12-09 デジタル画像および機械学習モデルを使用した圃場異常の地図作成 Active JP7423631B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862777748P 2018-12-10 2018-12-10
US62/777,748 2018-12-10
US16/707,355 US20200193589A1 (en) 2018-12-10 2019-12-09 Mapping field anomalies using digital images and machine learning models
US16/707,355 2019-12-09
PCT/US2019/065270 WO2020123402A1 (en) 2018-12-10 2019-12-09 Mapping field anomalies using digital images and machine learning models

Publications (2)

Publication Number Publication Date
JP2022510487A JP2022510487A (ja) 2022-01-26
JP7423631B2 true JP7423631B2 (ja) 2024-01-29

Family

ID=71072787

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021532893A Active JP7423631B2 (ja) 2018-12-10 2019-12-09 デジタル画像および機械学習モデルを使用した圃場異常の地図作成

Country Status (10)

Country Link
US (1) US20200193589A1 (ja)
EP (1) EP3894851A4 (ja)
JP (1) JP7423631B2 (ja)
CN (1) CN113167779A (ja)
AR (1) AR117293A1 (ja)
AU (1) AU2019398116A1 (ja)
BR (1) BR112021009659A2 (ja)
CA (1) CA3119812A1 (ja)
MX (1) MX2021006830A (ja)
WO (1) WO2020123402A1 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2653578C1 (ru) * 2017-06-08 2018-05-11 Акционерное общество "ЛИМАКО" Радиолокационный уровнемер для измерения объема сыпучих продуктов в резервуарах
US11432483B2 (en) * 2018-02-08 2022-09-06 Lindsay Corporation System and method for calibrating an irrigation system
EP3820267A4 (en) 2018-07-11 2022-04-20 Raven Industries, INC. CALIBRATION OF A COMPUTER VIEWING SYSTEM FOR CROP ROWS
US11957072B2 (en) * 2020-02-06 2024-04-16 Deere & Company Pre-emergence weed detection and mitigation system
US11334986B2 (en) * 2019-01-30 2022-05-17 Purdue Research Foundation System and method for processing images of agricultural fields for remote phenotype measurement
US10887862B2 (en) * 2019-02-12 2021-01-05 Commscope Technologies Llc Location determination in a cloud radio access network utilizing image data
US11893788B2 (en) * 2019-02-15 2024-02-06 Tata Consultancy Services Limited System and method for computing burning index score pertaining to crops
US11417090B2 (en) * 2019-02-18 2022-08-16 Nec Corporation Background suppression for anomaly detection
CN109871828B (zh) * 2019-03-15 2022-12-02 京东方科技集团股份有限公司 视频识别方法和识别装置、存储介质
US11275973B2 (en) 2019-04-15 2022-03-15 Noblis, Inc. Adapting pre-trained classification algorithms
US11212954B2 (en) * 2019-05-08 2022-01-04 Deere & Company Apparatus and methods for field operations based on historical field operation data
CA3162410A1 (en) 2019-12-11 2021-06-17 Climate Llc Highly responsive farming systems with extraordinary in-season optimization
US20210185882A1 (en) * 2019-12-23 2021-06-24 Ag Leader Technology Use Of Aerial Imagery For Vehicle Path Guidance And Associated Devices, Systems, And Methods
US20210153500A1 (en) * 2020-01-31 2021-05-27 Pratum Co-op Plant treatment techniques
US11718401B2 (en) * 2020-03-11 2023-08-08 Aerobotics (Pty) Ltd Systems and methods for predicting crop size and yield
CA3188599A1 (en) 2020-07-16 2022-01-20 Taylor AUNE Predicting horticultural yield for a field location using multi-band aerial imagery
US20220107297A1 (en) * 2020-10-02 2022-04-07 Ecoation Innovative Solutions Inc. Platform for real-time identification and resolution of spatial production anomalies in agriculture
US11845449B2 (en) * 2020-10-09 2023-12-19 Deere & Company Map generation and control system
US11874669B2 (en) * 2020-10-09 2024-01-16 Deere & Company Map generation and control system
EP4258852A1 (en) * 2020-12-10 2023-10-18 Canon Virginia, Inc. Plant detection and display system
US11703351B2 (en) * 2020-12-22 2023-07-18 Mineral Earth Sciences Llc Generating a local mapping of an agricultural field for use in performance of agricultural operation(s)
CN112712038A (zh) * 2020-12-31 2021-04-27 武汉珈和科技有限公司 基于多光谱卫星影像监测小麦倒伏状况的方法及系统
GB2604130A (en) * 2021-02-25 2022-08-31 Pci Tech Investments Ltd Systems and methods for smart farming
CN113159125B (zh) * 2021-03-16 2024-04-05 北京农业智能装备技术研究中心 一种施药方法及系统
US11880430B2 (en) 2021-05-31 2024-01-23 Cibo Technologies, Inc. Method and apparatus for employing deep learning neural network to predict management zones
US11934489B2 (en) * 2021-05-31 2024-03-19 Cibo Technologies, Inc. Method and apparatus for employing deep learning to infer implementation of regenerative irrigation practices
US20220392056A1 (en) * 2021-06-04 2022-12-08 Dell Products L.P. Hybrid deep learning for anomaly detection
CN113391596A (zh) * 2021-06-11 2021-09-14 赤峰山金红岭有色矿业有限责任公司 皮带矿粉泄露检测方法、系统、终端及存储介质
US20230040430A1 (en) * 2021-08-06 2023-02-09 Blue River Technology Inc. Detecting untraversable soil for farming machine
WO2023022587A1 (en) * 2021-08-17 2023-02-23 Petroliam Nasional Berhad (Petronas) Geographic data processing methods and systems for assessing geohazard risk
US11960864B2 (en) * 2021-09-27 2024-04-16 Microsoft Technology Licensing, Llc. Creating applications and templates based on different types of input content
DE102021210960A1 (de) * 2021-09-30 2023-03-30 Robert Bosch Gesellschaft mit beschränkter Haftung Vegetationsüberwachungsvorrichtung, Vegetationsüberwachungssystem mit der Vegetationsüberwachungsvorrichtung und Verfahren zur Überwachung einer Vegetationsgesundheit in einem Garten
CN113984772A (zh) * 2021-10-25 2022-01-28 浙江大学 基于多源数据融合的作物病害信息检测方法、系统及装置
WO2023079063A1 (de) * 2021-11-08 2023-05-11 Bayer Aktiengesellschaft Methode und system zur datenerhebung auf einem agrarwirtschaftlich genutzten feld
CN114417955B (zh) * 2021-12-02 2023-10-31 国网浙江省电力有限公司 适用乡村的电力指数画像实时生成方法、装置及存储介质
CN114462623B (zh) * 2022-02-10 2023-05-26 电子科技大学 基于边缘计算的数据分析方法、系统及平台
CN114331914B (zh) * 2022-03-07 2022-05-24 中咨数据有限公司 一种图像快速校准与实时渲染方法、系统、介质及移动端
WO2023168506A1 (pt) * 2022-03-11 2023-09-14 Fundação Universidade Federal De São Carlos Método e sistema de análise e processamento de imagens para estimativa de cobertura vegetal por meio de software em aprendizagem de máquina
EP4245133A1 (en) * 2022-03-16 2023-09-20 Digitanimal, S.L. Characterization of pasture for improved and sustainable grazing and feeding management of livestock
CN114839540A (zh) * 2022-05-17 2022-08-02 西安交通大学 一种基于深度学习算法的锂离子电池剩余寿命在线预测方法
JP2023176173A (ja) * 2022-05-31 2023-12-13 株式会社ポーラスター・スペース 方法、プログラム及び情報処理装置
CN115290053B (zh) * 2022-10-09 2022-12-16 南通钰昇智能科技有限公司 一种高层建筑施工建设异常快速检测方法
CN117128947A (zh) * 2023-03-13 2023-11-28 荣耀终端有限公司 栅格地图的生成方法和服务器
CN116645618B (zh) * 2023-06-05 2023-12-08 广东省农业科学院设施农业研究所 农业数据处理方法、系统和存储介质
CN116758106B (zh) * 2023-07-13 2024-02-27 江苏中天吉奥信息技术股份有限公司 基于无人机的水流登记单元界线核实方法
CN116756604B (zh) * 2023-08-18 2023-10-27 青岛农业大学 用于夏花生精量播种的智能调控系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194833A (ja) 1998-12-28 2000-07-14 Hitachi Ltd 観測衛星を利用した地域管理システム,地域管理方法と農業育成管理システム及び観測衛星運用システム
JP2011254711A (ja) 2010-06-05 2011-12-22 Zukosha:Kk 施肥マップ生成システム,その方法,産業用ヘリコプタ,サーバ,可変施肥機
JP2013230088A (ja) 2012-04-27 2013-11-14 Mitsubishi Electric Corp 農業用管理システム
US20150278640A1 (en) 2014-03-26 2015-10-01 FI2 Solutions, LLC Crop stand analysis
US20150310633A1 (en) 2014-04-25 2015-10-29 Tazco Soil Service Co. Image Processing System for Soil Characterization
WO2018181041A1 (ja) 2017-03-29 2018-10-04 日本電気株式会社 圃場管理装置、圃場管理方法、及びコンピュータ読み取り可能な記録媒体
US20180330269A1 (en) 2017-05-12 2018-11-15 Harris Lee Cohen Computer-implemented methods, computer readable medium and systems for a precision agriculture platform that identifies generic anomalies in crops

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150254800A1 (en) * 2014-03-06 2015-09-10 F12 Solutions, Llc Nitrogen status determination in growing crops
US9978013B2 (en) * 2014-07-16 2018-05-22 Deep Learning Analytics, LLC Systems and methods for recognizing objects in radar imagery
CN104134234B (zh) * 2014-07-16 2017-07-25 中国科学技术大学 一种全自动的基于单幅图像的三维场景构建方法
CA2957081A1 (en) * 2014-08-22 2016-02-25 The Climate Corporation Methods for agronomic and agricultural monitoring using unmanned aerial systems
EP3276544A1 (en) * 2016-07-29 2018-01-31 Accenture Global Solutions Limited Precision agriculture system
CA2990438A1 (en) * 2015-06-30 2017-01-05 The Climate Corporation Systems and methods for image capture and analysis of agricultural fields
WO2017021751A1 (en) * 2015-08-06 2017-02-09 Accenture Global Services Limited Vegetation management for power line corridor monitoring using computer vision
CA2994511C (en) * 2015-08-06 2020-01-21 Accenture Global Services Limited Condition detection using image processing
US9983774B2 (en) * 2015-12-21 2018-05-29 Tibco Software Inc. Authoring and consuming offline an interactive data analysis document
US10120543B2 (en) * 2016-02-09 2018-11-06 Deere & Company Plant emergence system
DE102016118227A1 (de) * 2016-09-27 2018-03-29 Claas Selbstfahrende Erntemaschinen Gmbh Bildanlysesystem für landwirtschaftliche Arbeitsmaschinen
US10255670B1 (en) * 2017-01-08 2019-04-09 Dolly Y. Wu PLLC Image sensor and module for agricultural crop improvement
CN107622281B (zh) * 2017-09-20 2021-02-05 Oppo广东移动通信有限公司 图像分类方法、装置、存储介质及移动终端
CN108932742B (zh) * 2018-07-10 2022-09-09 北京航空航天大学 一种基于遥感图像分类的大规模红外地形场景实时渲染方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194833A (ja) 1998-12-28 2000-07-14 Hitachi Ltd 観測衛星を利用した地域管理システム,地域管理方法と農業育成管理システム及び観測衛星運用システム
JP2011254711A (ja) 2010-06-05 2011-12-22 Zukosha:Kk 施肥マップ生成システム,その方法,産業用ヘリコプタ,サーバ,可変施肥機
JP2013230088A (ja) 2012-04-27 2013-11-14 Mitsubishi Electric Corp 農業用管理システム
US20150278640A1 (en) 2014-03-26 2015-10-01 FI2 Solutions, LLC Crop stand analysis
US20150310633A1 (en) 2014-04-25 2015-10-29 Tazco Soil Service Co. Image Processing System for Soil Characterization
WO2018181041A1 (ja) 2017-03-29 2018-10-04 日本電気株式会社 圃場管理装置、圃場管理方法、及びコンピュータ読み取り可能な記録媒体
US20180330269A1 (en) 2017-05-12 2018-11-15 Harris Lee Cohen Computer-implemented methods, computer readable medium and systems for a precision agriculture platform that identifies generic anomalies in crops

Also Published As

Publication number Publication date
CA3119812A1 (en) 2020-06-18
AR117293A1 (es) 2021-07-28
EP3894851A1 (en) 2021-10-20
US20200193589A1 (en) 2020-06-18
AU2019398116A1 (en) 2021-07-08
JP2022510487A (ja) 2022-01-26
CN113167779A (zh) 2021-07-23
BR112021009659A2 (pt) 2021-08-17
MX2021006830A (es) 2021-07-02
WO2020123402A1 (en) 2020-06-18
EP3894851A4 (en) 2022-10-19

Similar Documents

Publication Publication Date Title
JP7423631B2 (ja) デジタル画像および機械学習モデルを使用した圃場異常の地図作成
US11856881B2 (en) Detection of plant diseases with multi-stage, multi-scale deep learning
CA3030684C (en) Generating pixel maps from non-image data and difference metrics for pixel maps
US11765542B2 (en) Hybrid vision system for crop land navigation
CA3120370A1 (en) Mapping soil properties with satellite data using machine learning approaches
CN113196287A (zh) 应季田地级产量预报
EP3452953B1 (en) Using digital images of a first type and a feature set dictionary to generate digital images of a second type
CN113228055A (zh) 通过对植物照片分类来检测植物病害的感染
US11900671B2 (en) Predicting horticultural yield for a field location using multi-band aerial imagery
CN113226010B (zh) 利用空间统计模型实现农艺试验
CN113226009A (zh) 针对大豆的预测性的种子脚本处理
US20200304699A1 (en) System and method for automatic control of exposure time in an imaging instrument

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240117

R150 Certificate of patent or registration of utility model

Ref document number: 7423631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150