JP7450838B1 - 背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法および装置 - Google Patents

背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法および装置 Download PDF

Info

Publication number
JP7450838B1
JP7450838B1 JP2024011391A JP2024011391A JP7450838B1 JP 7450838 B1 JP7450838 B1 JP 7450838B1 JP 2024011391 A JP2024011391 A JP 2024011391A JP 2024011391 A JP2024011391 A JP 2024011391A JP 7450838 B1 JP7450838 B1 JP 7450838B1
Authority
JP
Japan
Prior art keywords
image
background
class
map
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024011391A
Other languages
English (en)
Inventor
文広 張
軍 王
曉剛 徐
寅星 馬
Original Assignee
之江実験室
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 之江実験室 filed Critical 之江実験室
Application granted granted Critical
Publication of JP7450838B1 publication Critical patent/JP7450838B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本発明は、画像認識技術、農業育種の分野に関し、特に、背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法に関する。当該方法は、ＵＡＶを用いて、計算すべき現場の俯瞰ＲＧＢ画像データを取得し、前記画像データに基づいてサポートデータセットとクエリデータセットを構築するステップＳ１と、背景分割ネットワークモデルを構築して訓練するステップＳ２と、訓練して得られた背景分割ネットワークモデルに基づいて推論を行い、緑の特徴指数を組み合わせて背景指数マップを得るステップＳ３と、少量データ分割ネットワークモデルを構築して訓練するステップＳ４と、訓練して得られた少量データ分割ネットワークモデルに基づいて推論を行い、背景指数マップを組み合わせて作物樹冠被覆領域を得、樹冠被覆領域に基づいて樹冠被覆率を算出するステップＳ５と、を含む。本発明は高精度で、ラベル付けコストが非常に低く、作物樹冠被覆率の計算に汎用性がある。【選択図】図１

Description

本発明は、画像認識技術、農業育種の分野に関し、特に、背景フィルタリングに基づく少量データ学習（Ｆｅｗ－ｓｈｏｔ ｌｅａｒｎｉｎｇ）の作物樹冠被覆率の計算方法および装置に関する。
樹冠カバー率（Ｃａｎｏｐｙ ｃｏｖｅｒａｇｅ）とは、土壌表面が植物の葉で覆われた割合を示すもので、作物の苗立ちと初期生育の状態（初期活力とも呼ばれる）を測定・表現するための重要な指標である。初期生育において樹冠被覆率が高い遺伝子型は、一般に、より多くの日射を遮り、土壌の大部分を日陰にするため、土壌からの水分の蒸発が減少し、水の利用率が向上する。樹冠カバー率が大きいほど、湿潤な生育環境ではメリットが大きいが、乾燥した環境では、生育が早すぎると土壌水分が早期に枯渇するため、生育期末に深刻な乾燥ストレスにさらされるリスクがある。また、樹冠カバー率が高い作物は、雑草との競合性が高いため、除草剤耐性の雑草との戦いに役立つ。
知的育種の過程において、生育初期の作物の樹冠被覆率をいかに迅速かつ正確に抽出するかが、徐々に重要な技術支援となっている。現段階では、作物の樹冠被覆率を抽出する方法は主に２つある。
１つ目は地上測量で、主に手作業による現地測量でデータを取得する。区画法（ｑｕａｄｒａｔｅ ｍｅｔｈｏｄ）、ベルトトランセクト法（ｂｅｌｔ ｔｒａｎｓｅｃｔ ｍｅｔｈｏｄ）、ポイントトランセクト法（ｐｏｉｎｔ ｔｒａｎｓｅｃｔ ｍｅｔｈｏｄ）などのサンプリング法が主な方法であるが、得られる結果は多くの人的要因に影響されるため、精度が十分ではなく、変動も大きい。より正確なデータを得るために、科学者らは空間定量計（ｓｐａｔｉａｌ ｑｕａｎｔｕｍ ｓｅｎｓｏｒ）や移動光量計（ｔｒａｖｅｒｓｉｎｇ ｑｕａｎｔｕｍ ｓｅｌｌ）のようなサンプリング用の機器を発明した。このような機器は、測定精度を向上させるという目的には適しているが、現場での使用は操作上不便である。
２つ目はリモートセンシング測定で、近年の発展は生態学の進歩にある程度貢献している。リモートセンシング技術による作物樹冠被覆率の抽出も、新たな発展の方向となっている。一般的な方法には、回帰モデリング法、植生指数法、画素分解モデリング法、カラーフィルタリング法などがある。回帰モデリング法では、植生樹冠被覆率には敏感だが背景要素には敏感でない植生指数を見つけ、統計的な考え方で植生指数と植生樹冠被覆率の関係を分析し、両者の間の各種の回帰モデルを構築する。植生指数法は、植生指数とよく関連する指数を用いて植生の樹冠被覆率を直接推定するインバージョン法である。画素分解モデリング法は、画素を直接理論的に分析して画素を分解し、植生指数と植生樹冠被覆率の相関関係モデルを構築するものである。カラーフィルタリング法は、リモートセンシングで得られたＲＧＢ画像を色などの特徴でフィルタリングする、または緑に関連する色の特徴を抽出してフィルタリングするという、より単純な方法である。
以上をまとめると、作物樹冠被覆率を求める上記の方法には、いずれも一定の欠点や問題点があり、主に以下の（１）～（６）を含む。
（１）区画の選択には先験的な知識が必要であり、人間の目による推定は主観的で、写真のスケッチには時間と労力がかかる。
（２）現場でのサンプリング機器の使用や持ち運びが不便である。
（３）統計モデルは適切な指標を見つける際に特殊であり、広く適用できるものではない。
（４）リモートセンシングを利用して関係モデルを構築するインバージョンの方法は、精度に限界があり、インバージョンの適応性にも制限がある。
（５）色などの特徴を利用すると、雑草や落葉など、作物以外の対象が混入しやすい。
（６）アルゴリズムは作物に大きく依存しており、作物を変えると結果が大幅に低下する。
これに基づき、作物の樹冠被覆率を抽出するための、高精度でコストの低い方法を提供する必要がある。
従来技術に存在する上記の技術的問題を解決するために、本発明は、背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法を提案し、従来の領域分割ネットワークを介して、雑草、土地、道路などの既知の背景領域をフィルタリングし、その後、少量データ分割ネットワークを用いて、細かい分割を行って作物樹冠被覆領域を得、最終的に樹冠被覆領域の画素割合を計算して樹冠被覆率を得る。具体的な技術的解決策は以下のとおりである。
背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法は、
ＵＡＶを用いて、計算すべき現場の俯瞰ＲＧＢ画像データを取得し、取得された画像データに基づいてサポートデータセットとクエリデータセットを構築するステップＳ１と、
背景分割ネットワークモデルを構築し、雑草、土地、および道路を含む既知の背景目標を目標クラスとして設定し、既知の作物を背景クラスとして設定して、前記背景分割ネットワークモデルを訓練するステップＳ２と、
訓練して得られた背景分割ネットワークモデルに基づいて推論を行い、樹冠被覆率を算出すべきクエリ画像内の目標領域の分割信頼度マップを取得し、前記クエリ画像の緑の特徴指数を抽出し、分割信頼度と前記緑の特徴指数とを重ねて背景指数マップを得、前記背景指数マップに基づいて前記クエリ画像内の背景領域と前景領域とを取得するステップＳ３と、
少量データ分割ネットワークモデルを構築し、既知の作物を目標クラスとして設定し、他の領域を背景クラスとして設定して、前記少量データ分割ネットワークモデルを訓練するステップＳ４と、
訓練して得られた少量データ分割ネットワークモデルに基づいて推論を行い、前記サポートデータセットにおけるサポート画像と、前記樹冠被覆率を算出すべきクエリ画像とをそれぞれ前記少量データ分割ネットワークモデルに入力して分類予測マップを得、予測信頼度が所定の閾値より大きい領域を目標領域とし、当該目標領域のうち前記前景領域と重なる部分を作物樹冠被覆領域とし、当該樹冠被覆領域に基づいて樹冠被覆率を算出するステップＳ５と、を含む。
さらに、前記ステップＳ１は、
現場に巡航ポイントを設定し、巡航ポイントと飛行高度を固定し、可視光カメラを搭載したＵＡＶで現場のＲＧＢ可視光画像を取得するステップと、
ＵＡＶによって取得された画像データを照合し、数枚の代表的な画像をサポートデータセットとして選択して作物樹冠の画素領域をラベル付けし、残りの画像をラベル付けされていないクエリ画像とするステップと、を含む。
さらに、前記ステップＳ２は、完全畳み込みニューラルネットワーク（ＦＣＮ）に基づいて背景分割ネットワークモデルを構築し、雑草、土地、および道路をそれぞれ目標クラス０、目標クラス１、および目標クラス２として設定し、それ以外の領域を他クラス３として設定し、既知の公開データセットを用いて前記背景分割ネットワークモデルを訓練するステップを含む。
さらに、前記ステップＳ３における、訓練して得られた背景分割ネットワークモデルに基づいて推論を行い、樹冠被覆率を算出すべきクエリ画像内の目標領域の分割信頼度マップを取得し、前記クエリ画像の緑の特徴指数を抽出するステップは、
前記樹冠被覆率を算出すべきクエリ画像を訓練済みの背景分割ネットワークモデルに入力して、目標クラス０、目標クラス１、目標クラス２、他クラス３の４つの領域を表現するための分割信頼度マップを得、前記クエリ画像の緑の特徴指数を計算して緑の特徴指数マップを得るステップを含み、
前記緑の特徴指数は、ＲＧＢ画像の画素のＧチャネルの相対的な割合指数であり、割合指数が大きいほど、緑の特徴指数が大きいことを意味し、緑の特徴値は、
で表され、ｆｉ，ｊは画像のｉ行ｊ列の画素の緑の特徴値を表し、Ｇｉ，ｊは画像のｉ行ｊ列の画素のＧチャネルの値を表し、Ｒｉ，ｊは画像のｉ行ｊ列の画素のＲチャネルの値を表し、Ｂｉ，ｊは画像のｉ行ｊ列の画素のＢチャネルの値を表し、ｆｉ，ｊを定量化することで緑の特徴指数
は得られ、ｆｍｉｎはｆｉ，ｊの中の最小値を表し、ｆｍａｘはｆｉ，ｊの中の最大値を表し、
前記分割信頼度マップは、前記クエリ画像の各画素の各クラスにおける分類信頼度と対応するクラスラベルとを表し、前記分割信頼度マップは、
で表され、ｒｉ，ｊは前記クエリ画像のｉ行ｊ列の画素の各クラスにおける分類信頼度を表し、ｃｉ，ｊは対応するクラスを表す。
さらに、前記ステップＳ３における、分割信頼度と前記緑の特徴指数とを重ねて背景指数マップを得、前記背景指数マップに基づいて前記クエリ画像内の背景領域と前景領域とを取得するステップは、
分割信頼度と前記緑の特徴指数とを重ねて、
で表される背景指数マップを得るステップであって、ｇｉ，ｊは前記クエリ画像のｉ行ｊ列の画素の背景指数を表し、画素のクラスが地面や道路である場合、対応する背景指数は、分類信頼度から緑の特徴指数を引いたものであり、画素のクラスが雑草やその他のクラスである場合、対応する背景指数は分類信頼度である、ステップと、
背景指数に基づいて各画素の最大背景指数に対応するクラスを求め、最大背景指数のクラスが雑草、地面、道路である画素領域を背景領域とし、最大背景指数のクラスがその他のクラスである画素領域を前景領域とするステップと、を含む。
さらに、前記ステップＳ４における少量データ分割ネットワークモデルは、セマンティック特徴抽出モジュール、先験的マスク生成モジュール、およびマルチスケール特徴融合モジュールから構成され、
前記セマンティック特徴抽出モジュールはＲｅｓＮｅｔ５０ネットワークを採用し、前記セマンティック特徴抽出モジュールは高レベルセマンティック特徴マップと中レベルセマンティック特徴とを抽出し、推論段階において、先験的マスク生成モジュールの入力は、前記セマンティック特徴抽出モジュールによって抽出された、サポート画像の高レベルセマンティック特徴マップおよびクエリ画像の高レベルセマンティック特徴マップであり、先験的マスク生成モジュールは、２つの特徴マップの対応する画素間の余弦距離を計算し、対応する画素間の余弦距離の最大値を求めることでサポート画像とクエリ画像との相関性マップを取得し、前記相関性マップを正規化して先験的マスクを得、
前記マルチスケール特徴融合モジュールは、主にアトラス空間ピラミッドプーリング（ＡＳＰＰ）ネットワーク層から構成され、前記セマンティック特徴抽出モジュールによって抽出された、サポート画像の中レベルセマンティック特徴およびクエリ画像の中レベルセマンティック特徴と、前記先験的マスクとをＡＳＰＰネットワーク層で融合し、クエリ画像の分類予測マップを得、
モデル訓練段階において、前記少量データ分割ネットワークモデルの訓練データセットとして公開データセットが採用され、訓練は公開データセットのクラスに従って行われ、クラスは、推論する際に２つのクラスに変更され、クラス１は背景クラスであり、クラス０は目標クラスである。
さらに、前記セマンティック特徴抽出モジュールは、入力画像の高レベルセマンティック特徴と中レベルセマンティック特徴とをそれぞれ抽出し、サポート画像の高レベルセマンティック特徴を
で表し、クエリ画像の高レベルセマンティック特徴を
で表すと、サポート画像とクエリ画像との高レベルセマンティック特徴の余弦距離は、
となり、ｗとｈはそれぞれ画像の幅と高さを表し、
前記先験的マスク生成モジュールは、クエリ画像とサポート画像との相関性を計算することで先験的マスクを取得し、クエリ画像の各画素とサポート画像の対応する画素との相関性は、それぞれの高レベルセマンティック特徴マップの余弦距離の最大値、すなわち、
で表され、
はサポート画像の高レベルセマンティック特徴を表し、
はクエリ画像の高レベルセマンティック特徴を表し、前記サポート画像とクエリ画像との相関性マップを
で表すと、前記相関性マップを正規化して得られた先験的マスクは
で表され、
前記セマンティック特徴抽出モジュールによって抽出された中レベルセマンティック特徴と、前記先験的マスク生成モジュールによって生成された前記先験的マスクとを結合して前記マルチスケール特徴融合モジュールに入力し、前記マルチスケール特徴融合モジュールによって出力された特徴マップを通じて、各画素が異なるクラスに属する信頼度を予測する。
さらに、前記マルチスケール特徴融合モジュールは、ＡＳＰＰネットワーク層から構成され、すなわち、６膨張率の３×３膨張畳み込み、１２膨張率の３×３膨張畳み込み、１８膨張率の３×３膨張畳み込み、および２４膨張率の３×３膨張畳み込みである４つの膨張畳み込みと、１つの平均プーリング層とを並列に連結し、さらに１つの１×１畳み込みを連結することで構成される。
さらに、前記ステップＳ５は、
訓練して得られた少量データ分割ネットワークモデルに基づいて推論を行い、前記サポート画像と前記クエリ画像とをそれぞれ前記少量データ分割ネットワークモデルに入力して分類予測マップを得、予測信頼度が０．５より大きい領域を目標領域とし、当該目標領域のうち前記前景領域と重なる部分を作物樹冠被覆領域とし、作物の樹冠被覆率を
で算出するステップを含み、
ｈとｗはそれぞれ画像の高さと幅を表し、Ｃｉは作物樹冠被覆領域として分類された画素のうち、ｉ番目の画素を表す。
背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算装置は、
１つ以上のプロセッサを含み、
前記１つ以上のプロセッサは、前記背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法を実施するために用いられる。
従来技術と比較して、本発明の有益な効果は以下のとおりである。１．背景分割ネットワークモデルは、雑草、道路、土地などの既知の背景目標の作物領域の分割への影響をよく除去することができる。２．緑の特徴指数の導入を重ねて得られた背景指数マップは、作物が背景として誤分類されることを防ぐことができる。３．少量データ分割ネットワークは、異なる未知の作物種の樹冠分割タスクに大規模に適用することができ、事前のデータ収集やラベル付けによる高コストを大幅に削減する。４．コンピュータビジョンによる樹冠被覆率の計算は、他の主観的な方法より正確であり、主観的な測定方法などによる結果の変動の問題も生じない。
本発明の実施形態により提供される背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法のフローを示す概略図である。 本発明の実施形態により提供される背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法の全体的なネットワークフレームワークを示す概略図である。 本発明の実施形態により提供される背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法のマルチスケール特徴融合モジュールのネットワークフレームワークを示す概略図である。 本発明の実施形態により提供される背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算装置の構造を示す概略図である。
本発明の目的、技術的解決策および技術的効果をより明確かつ理解しやすくするために、以下、本発明を添付図面および実施形態と併せてさらに詳細に説明する。
図１に示すように、本発明の背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法は、具体的に以下のステップを含む。
ステップＳ１：ＵＡＶを用いて、計算すべき現場の俯瞰ＲＧＢ画像データを取得し、取得された画像データに基づいてサポートデータセットとクエリデータセットを構築する。
具体的に、現場に巡航ポイントを設定し、巡航ポイントと飛行高度を固定し、可視光カメラを搭載したＵＡＶ（Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）で現場のＲＧＢ可視光画像を取得する。ＵＡＶによって取得された画像データを照合し、５枚の代表的な画像をサポートデータセットとして選択して作物樹冠の画素領域をラベル付けする。残りの画像は、テスト推論段階の樹冠被覆率を算出すべき画像、すなわちクエリ画像として使用される。
ステップＳ２：背景分割ネットワークモデルを構築し、雑草、土地、および道路を含む既知の背景目標を目標クラスとして設定し、既知の作物を背景クラスとして設定して、前記背景分割ネットワークモデルを訓練する。
具体的に、完全畳み込みニューラルネットワーク（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ、ＦＣＮ）に基づいて背景分割ネットワークモデルを構築し、雑草、土地、および道路をそれぞれ目標クラス０、目標クラス１、および目標クラス２として設定し、それ以外の領域を他クラス３として設定して背景分割ネットワークモデルを訓練する。訓練は、既知の公開データセットを用いて行うことができる。
ステップＳ３：訓練して得られた背景分割ネットワークモデルに基づいて推論を行い、樹冠被覆率を算出すべきクエリ画像内の目標領域の分割信頼度マップを取得し、前記クエリ画像の緑の特徴指数を抽出し、分割信頼度と前記緑の特徴指数とを重ねて背景指数マップを得、前記背景指数マップに基づいて前記クエリ画像内の背景領域と前景領域とを取得する。
具体的に、前記樹冠被覆率を算出すべきクエリ画像を訓練済みの背景分割ネットワークモデルに入力して、目標クラス０、目標クラス１、目標クラス２、他クラス３の４つの領域を表現するための分割信頼度マップを得、前記クエリ画像の緑の特徴指数を計算して緑の特徴指数マップを得る。前記緑の特徴指数は、ＲＧＢ画像の画素のＧチャネルの相対的な割合指数であり、割合指数が大きいほど、緑の特徴指数が大きいことを意味し、
で表され、ｆｉ，ｊは画像のｉ行ｊ列の画素の緑の特徴値を表し、Ｇｉ，ｊは画像のｉ行ｊ列の画素のＧチャネルの値を表し、Ｒｉ，ｊは画像のｉ行ｊ列の画素のＲチャネルの値を表し、Ｂｉ，ｊは画像のｉ行ｊ列の画素のＢチャネルの値を表し、ｆｉ，ｊを定量化することで緑の特徴指数
は得られ、ｆｍｉｎはｆｉ，ｊの中の最小値を表し、ｆｍａｘはｆｉ，ｊの中の最大値を表す。
前記背景分割ネットワークモデルで得られた分割信頼度マップは、前記クエリ画像の各画素の各クラスにおける分類信頼度と対応するクラスラベルとを表し、前記分割信頼度マップは、
で表され、ｒｉ，ｊは前記クエリ画像のｉ行ｊ列の画素の各クラスにおける分類信頼度を表し、ｃｉ，ｊは対応するクラスを表す。
分割信頼度と前記緑の特徴指数とを重ねて得られた背景指数マップは、
で表される。ｇｉ，ｊは前記クエリ画像のｉ行ｊ列の画素の背景指数を表す。画素のクラスが地面や道路である場合、対応する背景指数は、分類信頼度から緑の特徴指数を引いたものであり、画素のクラスが雑草やその他のクラスである場合、対応する背景指数は分類信頼度である。最終的に、背景指数に基づいて各画素の最大背景指数に対応するクラスを求める。最大背景指数のクラスが雑草、地面、道路である画素領域を背景領域とし、最大背景指数のクラスがその他のクラスである画素領域を前景領域とする。
ステップＳ４：少量データ分割ネットワークモデルを構築し、既知の作物を目標クラスとして設定し、他の領域を背景クラスとして設定して、前記少量データ分割ネットワークモデルを訓練する。
具体的に、図２に示すように、少量データ分割ネットワークモデルは、セマンティック特徴抽出モジュール、先験的マスク生成モジュール、およびマルチスケール特徴融合モジュールから構成される。
前記セマンティック特徴抽出モジュールはＲｅｓＮｅｔ５０ネットワークを採用する。前記セマンティック特徴抽出モジュールは高レベルセマンティック特徴マップと中レベルセマンティック特徴とを抽出する。推論段階において、先験的マスク生成モジュールの入力は、前記セマンティック特徴抽出モジュールによって抽出された、サポート画像（ステップＳ１でラベル付けされた画像）の高レベルセマンティック特徴マップおよびクエリ画像（ラベル付けされていない画像）の高レベルセマンティック特徴マップであり、先験的マスク生成モジュールは、２つの特徴マップの対応する画素間の余弦距離を計算し、対応する画素間の余弦距離の最大値を求めることでサポート画像とクエリ画像との相関性マップを取得し、前記相関性マップを正規化して、最終的に先験的マスクを得る。
前記マルチスケール特徴融合モジュールは、主にＡＳＰＰ（Ａｔｒｏｕｓ Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ、アトラス空間ピラミッドプーリング）ネットワーク層から構成される。前記セマンティック特徴抽出モジュールによって抽出された、サポート画像の中レベルセマンティック特徴およびクエリ画像の中レベルセマンティック特徴と、先験的マスクとをＡＳＰＰネットワーク層で融合し、クエリ画像の分類予測マップを得る。
訓練段階において、前記少量データ分割ネットワークモデルの訓練データセットとして公開データセットが採用され、訓練は公開データセットのクラスに従って行われる。クラスは、推論する際に２つのクラスに変更され、クラス１は背景クラスであり、クラス０は目標クラスである。
具体的に、セマンティック特徴抽出モジュールは、入力画像の高レベルセマンティック特徴と中レベルセマンティック特徴とをそれぞれ抽出し、サポート画像の高レベルセマンティック特徴を
で表し、クエリ画像の高レベルセマンティック特徴を
で表すと、サポート画像とクエリ画像との高レベルセマンティック特徴の余弦距離は、
となり、ｗとｈはそれぞれ画像の幅と高さを表す。
前記先験的マスク生成モジュールは、クエリ画像とサポート画像との相関性を計算することで先験的マスクを取得し、クエリ画像の各画素とサポート画像の対応する画素との相関性は、それぞれの高レベルセマンティック特徴マップの余弦距離の最大値、すなわち、
で表され、
はサポート画像の高レベルセマンティック特徴を表し、
はクエリ画像の高レベルセマンティック特徴を表し、前記サポート画像とクエリ画像との相関性マップを
で表すと、前記相関性マップを正規化して得られた先験的マスクは
で表される。
そして、セマンティック特徴抽出モジュールによって抽出された中レベルセマンティック特徴と、先験的マスク生成モジュールによって生成された前記先験的マスクとを結合して前記マルチスケール特徴融合モジュールに入力する。マルチスケール特徴融合モジュールは、主にＡＳＰＰアトラス空間ピラミッドプーリングネットワーク層から構成される。すなわち、図３に示すように、６膨張率の３×３膨張畳み込み、１２膨張率の３×３膨張畳み込み、１８膨張率の３×３膨張畳み込み、２４膨張率の３×３膨張畳み込みである４つの膨張畳み込みと、１つの平均プーリング層とを並列に連結し、さらに１つの１×１畳み込みを連結することで構成される。ピラミッドプーリングにより、特徴マップはスケールすることなく、受容野（Ｒｅｃｅｐｔｉｖｅ Ｆｉｅｌｄ）を拡大することができる。
最終的に、ネットワークはマルチスケール特徴融合モジュールによって出力された特徴マップを通じて、各画素が異なるクラスに属する信頼度を予測する。
ステップＳ５：訓練して得られた少量データ分割ネットワークモデルに基づいて推論を行い、前記サポートデータセットにおけるサポート画像と、前記樹冠被覆率を算出すべきクエリ画像とをそれぞれ前記少量データ分割ネットワークモデルに入力して分類予測マップを得、予測信頼度が所定の閾値より大きい領域を目標領域とし、当該目標領域のうち前記前景領域と重なる部分を作物樹冠被覆領域とし、当該樹冠被覆領域に基づいて樹冠被覆率を算出する。
具体的に、訓練して得られた少量データ分割ネットワークモデルに基づいて推論を行い、前記サポート画像と前記クエリ画像とをそれぞれ前記少量データ分割ネットワークモデルに入力して分類予測マップを得、予測信頼度が０．５より大きい領域を目標領域とし、前記ステップＳ５で少量データ分割ネットワークモデルにより得られた目標領域のうち、前記ステップ３で得られた前景領域と重なる部分を作物樹冠被覆領域とし、最終的に作物の樹冠被覆率を
で算出する。Ｃｉは作物樹冠被覆領域として分類された画素のうち、ｉ番目の画素を表す。
前述の背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法の実施形態に対応して、本発明は、背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算装置の実施形態も提供する。
図４を参照し、本発明の実施形態により提供される背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算装置は、１つ以上のプロセッサを含み、前記１つ以上のプロセッサは、上記実施形態における背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法を実施するために用いられる。
本発明の背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法の実施形態は、データ処理能力を有する任意のデバイスに適用することができ、当該データ処理能力を有する任意のデバイスは、コンピュータのようなデバイスまたは装置であってもよい。装置の実施形態は、ソフトウェアによって実現されてもよいし、ハードウェアによって実現されてもよいし、ハードウェアとソフトウェアの組み合わせによって実現されてもよい。ソフトウェアによる実現を例にとると、ロジック的な意味の装置として、位置するデータ処理能力を有する任意のデバイスのプロセッサが不揮発性メモリから対応するコンピュータプログラム命令をメモリに読み込んで実行することで形成される。ハードウェアレベルでは、図４に示すように、本発明の背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算装置がデータ処理能力を有する任意のデバイスのハードウェア構造が示されており、図４に示すプロセッサ、メモリ、ネットワークインタフェース、不揮発性メモリの他に、実施形態の装置が位置するデータ処理能力を有する任意のデバイスは、当該データ処理能力を有する任意のデバイスの実際の機能によっては、通常、他のハードウェアも含み得るが、ここでは説明を省略する。
上記装置における各ユニットの機能と役割の実現プロセスについては、上記方法における対応するステップの実現プロセスに具体的に詳述されているので、ここでは繰り返さない。
装置の実施形態については、基本的に方法の実施形態に対応するので、関連する部分については方法の実施形態の説明の一部を参照すればよい。上述した装置の実施形態は、単に例示的なものであり、分離された構成要素として説明されたユニットは、物理的に分離されていてもいなくてもよく、ユニットとして示された構成要素は、物理的なユニットであってもなくてもよく、すなわち、１つの場所に配置されていてもよく、複数のネットワークユニットに分散されていてもよい。実際のニーズに応じて、本発明の目的を達成するために、これらのモジュールの一部または全部を選択することができる。当業者であれば、創造的な労力を要することなく理解し、実施することができる。
本発明の実施形態は、プロセッサによって実行されると、上記実施形態における背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法が実施されるプログラムを記憶したコンピュータ可読記憶媒体も提供する。
前記コンピュータ可読記憶媒体は、前記いずれかの実施形態で説明したデータ処理能力を有する任意のデバイスのハードディスクやメモリなどの内部記憶ユニットであってもよい。また、前記コンピュータ可読記憶媒体は、前記デバイスに設けられたプラグインハードディスク、スマートメディアカード（Ｓｍａｒｔ Ｍｅｄｉａ（登録商標） Ｃａｒｄ、ＳＭＣ）、ＳＤカード、フラッシュカード（Ｆｌａｓｈ Ｃａｒｄ）などの外部記憶デバイスであってもよい。さらに、前記コンピュータ可読記憶媒体は、データ処理能力を有する任意のデバイスの内部記憶ユニットと外部記憶デバイスの両方を含むことも可能である。前記コンピュータ可読記憶媒体は、コンピュータプログラムおよびデータ処理能力を有する任意のデバイスが必要とする他のプログラムおよびデータを記憶するために用いられ、また、出力されたデータまたは出力される予定のデータを一時的に記憶するためにも用いられ得る。
前述は本発明の好ましい実施形態に過ぎず、いかなる形で本発明を限定するものではない。本発明の実施プロセスを前述で詳細に説明したが、当業者であれば、前述した実施例に記載された技術的解決策を修正したり、その技術的特徴の一部を等価置換したりすることができる。本発明の精神および原理の範囲内で行われた修正または等価置換などは、本発明の保護範囲に含まれるものとする。

Claims (3)

  1. ＵＡＶを用いて、計算すべき現場の俯瞰ＲＧＢ画像データを取得し、取得された画像データに基づいてサポートデータセットとクエリデータセットを構築するステップＳ１と、
    背景分割ネットワークモデルを構築し、雑草、土地、および道路を含む既知の背景目標を目標クラスとして設定し、既知の作物を背景クラスとして設定して、前記背景分割ネットワークモデルを訓練するステップＳ２と、
    訓練して得られた背景分割ネットワークモデルに基づいて推論を行い、樹冠被覆率を算出すべきクエリ画像内の目標領域の分割信頼度マップを取得し、前記クエリ画像の緑の特徴指数を抽出し、分割信頼度と前記緑の特徴指数とを重ねて背景指数マップを得、前記背景指数マップに基づいて前記クエリ画像内の背景領域と前景領域とを取得するステップＳ３と、
    少量データ分割ネットワークモデルを構築し、既知の作物を目標クラスとして設定し、他の領域を背景クラスとして設定して、前記少量データ分割ネットワークモデルを訓練するステップＳ４と、
    訓練して得られた少量データ分割ネットワークモデルに基づいて推論を行い、前記サポートデータセットにおけるサポート画像と、前記樹冠被覆率を算出すべきクエリ画像とをそれぞれ前記少量データ分割ネットワークモデルに入力して分類予測マップを得、予測信頼度が所定の閾値より大きい領域を目標領域とし、当該目標領域のうち前記前景領域と重なる部分を作物樹冠被覆領域とし、当該樹冠被覆領域に基づいて樹冠被覆率を算出するステップＳ５と、を含み、
    前記ステップＳ１は、
    現場に巡航ポイントを設定し、巡航ポイントと飛行高度を固定し、可視光カメラを搭載したＵＡＶで現場のＲＧＢ可視光画像を取得するステップと、
    ＵＡＶによって取得された画像データを照合し、数枚の代表的な画像をサポートデータセットとして選択して作物樹冠の画素領域をラベル付けし、残りの画像をラベル付けされていないクエリ画像とするステップと、を含み、
    前記ステップＳ２は、完全畳み込みニューラルネットワーク（ＦＣＮ）に基づいて背景分割ネットワークモデルを構築し、雑草、土地、および道路をそれぞれ目標クラス０、目標クラス１、および目標クラス２として設定し、それ以外の領域を他クラス３として設定し、既知の公開データセットを用いて前記背景分割ネットワークモデルを訓練するステップを含み、
    前記ステップＳ３における、訓練して得られた背景分割ネットワークモデルに基づいて推論を行い、樹冠被覆率を算出すべきクエリ画像内の目標領域の分割信頼度マップを取得し、前記クエリ画像の緑の特徴指数を抽出するステップは、
    前記樹冠被覆率を算出すべきクエリ画像を訓練済みの背景分割ネットワークモデルに入力して、目標クラス０、目標クラス１、目標クラス２、他クラス３の４つの領域を表現するための分割信頼度マップを得、前記クエリ画像の緑の特徴指数を計算して緑の特徴指数マップを得るステップを含み、
    前記緑の特徴指数は、ＲＧＢ画像の画素のＧチャネルの相対的な割合指数であり、割合指数が大きいほど、緑の特徴指数が大きいことを意味し、緑の特徴値は、
    で表され、ｆｉ，ｊは画像のｉ行ｊ列の画素の緑の特徴値を表し、Ｇｉ，ｊは画像のｉ行ｊ列の画素のＧチャネルの値を表し、Ｒｉ，ｊは画像のｉ行ｊ列の画素のＲチャネルの値を表し、Ｂｉ，ｊは画像のｉ行ｊ列の画素のＢチャネルの値を表し、ｆｉ，ｊを定量化することで緑の特徴指数
    は得られ、ｆｍｉｎはｆｉ，ｊの中の最小値を表し、ｆｍａｘはｆｉ，ｊの中の最大値を表し、
    前記分割信頼度マップは、前記クエリ画像の各画素の各クラスにおける分類信頼度と対応するクラスラベルとを表し、前記分割信頼度マップは、
    で表され、ｒｉ，ｊは前記クエリ画像のｉ行ｊ列の画素の各クラスにおける分類信頼度を表し、ｃｉ，ｊは対応するクラスを表し、
    前記ステップＳ３における、分割信頼度と前記緑の特徴指数とを重ねて背景指数マップを得、前記背景指数マップに基づいて前記クエリ画像内の背景領域と前景領域とを取得するステップは、
    分割信頼度と前記緑の特徴指数とを重ねて、
    で表される背景指数マップを得るステップであって、ｇｉ，ｊは前記クエリ画像のｉ行ｊ列の画素の背景指数を表し、画素のクラスが地面や道路である場合、対応する背景指数は、分類信頼度から緑の特徴指数を引いたものであり、画素のクラスが雑草やその他のクラスである場合、対応する背景指数は分類信頼度である、ステップと、
    背景指数に基づいて各画素の最大背景指数に対応するクラスを求め、最大背景指数のクラスが雑草、地面、道路である画素領域を背景領域とし、最大背景指数のクラスがその他のクラスである画素領域を前景領域とするステップと、を含み、
    前記ステップＳ４における少量データ分割ネットワークモデルは、セマンティック特徴抽出モジュール、先験的マスク生成モジュール、およびマルチスケール特徴融合モジュールから構成され、
    前記セマンティック特徴抽出モジュールはＲｅｓＮｅｔ５０ネットワークを採用し、前記セマンティック特徴抽出モジュールは高レベルセマンティック特徴マップと中レベルセマンティック特徴とを抽出し、推論段階において、先験的マスク生成モジュールの入力は、前記セマンティック特徴抽出モジュールによって抽出された、サポート画像の高レベルセマンティック特徴マップおよびクエリ画像の高レベルセマンティック特徴マップであり、先験的マスク生成モジュールは、２つの特徴マップの対応する画素間の余弦距離を計算し、対応する画素間の余弦距離の最大値を求めることでサポート画像とクエリ画像との相関性マップを取得し、前記相関性マップを正規化して先験的マスクを得、
    前記マルチスケール特徴融合モジュールは、主にアトラス空間ピラミッドプーリング（ＡＳＰＰ）ネットワーク層から構成され、前記セマンティック特徴抽出モジュールによって抽出された、サポート画像の中レベルセマンティック特徴およびクエリ画像の中レベルセマンティック特徴と、前記先験的マスクとをＡＳＰＰネットワーク層で融合し、クエリ画像の分類予測マップを得、
    モデル訓練段階において、前記少量データ分割ネットワークモデルの訓練データセットとして公開データセットが採用され、訓練は公開データセットのクラスに従って行われ、クラスは、推論する際に２つのクラスに変更され、クラス１は背景クラスであり、クラス０は目標クラスであり、
    前記セマンティック特徴抽出モジュールは、入力画像の高レベルセマンティック特徴と中レベルセマンティック特徴とをそれぞれ抽出し、サポート画像の高レベルセマンティック特徴を
    で表し、クエリ画像の高レベルセマンティック特徴を
    で表すと、サポート画像とクエリ画像との高レベルセマンティック特徴の余弦距離は、
    となり、ｗとｈはそれぞれ画像の幅と高さを表し、
    前記先験的マスク生成モジュールは、クエリ画像とサポート画像との相関性を計算することで先験的マスクを取得し、クエリ画像の各画素とサポート画像の対応する画素との相関性は、それぞれの高レベルセマンティック特徴マップの余弦距離の最大値、すなわち、
    で表され、
    はサポート画像の高レベルセマンティック特徴を表し、
    はクエリ画像の高レベルセマンティック特徴を表し、前記サポート画像とクエリ画像との相関性マップを
    で表すと、前記相関性マップを正規化して得られた先験的マスクは
    で表され、
    前記セマンティック特徴抽出モジュールによって抽出された中レベルセマンティック特徴と、前記先験的マスク生成モジュールによって生成された前記先験的マスクとを結合して前記マルチスケール特徴融合モジュールに入力し、前記マルチスケール特徴融合モジュールによって出力された特徴マップを通じて、各画素が異なるクラスに属する信頼度を予測し、
    前記マルチスケール特徴融合モジュールは、ＡＳＰＰネットワーク層から構成され、すなわち、６膨張率の３×３膨張畳み込み、１２膨張率の３×３膨張畳み込み、１８膨張率の３×３膨張畳み込みおよび２４膨張率の３×３膨張畳み込みである４つの膨張畳み込みと、１つの平均プーリング層とを並列に連結し、さらに１つの１×１畳み込みを連結することで構成される、
    ことを特徴とする背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法。
  2. 前記ステップＳ５は、
    訓練して得られた少量データ分割ネットワークモデルに基づいて推論を行い、前記サポート画像と前記クエリ画像とをそれぞれ前記少量データ分割ネットワークモデルに入力して分類予測マップを得、予測信頼度が０．５より大きい領域を目標領域とし、当該目標領域のうち前記前景領域と重なる部分を作物樹冠被覆領域とし、作物の樹冠被覆率を
    で算出するステップを含み、
    ｈとｗはそれぞれ画像の高さと幅を表し、Ｃｉは作物樹冠被覆領域として分類された画素のうち、ｉ番目の画素を表す、
    ことを特徴とする請求項１に記載の背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法。
  3. １つ以上のプロセッサを含み、
    前記１つ以上のプロセッサは、請求項１～２のいずれか１項に記載の背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法を実施するために用いられる、
    ことを特徴とする背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算装置。
JP2024011391A 2023-02-16 2024-01-30 背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法および装置 Active JP7450838B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202310122727.6 2023-02-16
CN202310122727.6A CN115861858B (zh) 2023-02-16 2023-02-16 基于背景过滤的小样本学习农作物冠层覆盖度计算方法

Publications (1)

Publication Number Publication Date
JP7450838B1 true JP7450838B1 (ja) 2024-03-15

Family

ID=85658162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024011391A Active JP7450838B1 (ja) 2023-02-16 2024-01-30 背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法および装置

Country Status (2)

Country Link
JP (1) JP7450838B1 (ja)
CN (1) CN115861858B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118096800A (zh) * 2024-04-29 2024-05-28 合肥市正茂科技有限公司 一种小样本语义分割模型的训练方法、装置、设备及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052141B (zh) * 2023-03-30 2023-06-27 北京市农林科学院智能装备技术研究中心 作物生育期的识别方法、装置、设备及介质
CN116453003B (zh) * 2023-06-14 2023-09-01 之江实验室 一种基于无人机监测智能识别水稻生长势的方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951836A (zh) 2017-03-05 2017-07-14 北京工业大学 基于先验阈值优化卷积神经网络的作物覆盖度提取方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719320B (zh) * 2016-01-25 2018-11-06 华中农业大学 一种基于彩色数字图像植被冠层覆盖度计算方法及系统
CN111259898B (zh) * 2020-01-08 2023-03-24 西安电子科技大学 基于无人机航拍图像的农作物分割方法
JP2021175126A (ja) * 2020-04-28 2021-11-01 キヤノン株式会社 分割パターン決定装置、分割パターン決定方法、学習装置、学習方法およびプログラム
CN111738165B (zh) * 2020-06-24 2023-04-18 中国农业科学院农业信息研究所 一种从高分辨率无人机可见光遥感影像中提取单株植物冠层的方法
CN114821045A (zh) * 2022-03-23 2022-07-29 腾讯科技（深圳）有限公司 语义分割方法、装置、电子设备及存储介质
CN115019036B (zh) * 2022-05-10 2024-02-27 西北工业大学 一种学习非目标知识的小样本语义分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951836A (zh) 2017-03-05 2017-07-14 北京工业大学 基于先验阈值优化卷积神经网络的作物覆盖度提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
今井拓司，数枚の教師データ、再学習なしで画像セグメンテーション ソフトバンクが最高精度の新技術，ＮＩＫＫＥＩ Ｒｏｂｏｔｉｃｓ，日経ＢＰ，2022年12月10日，pp.10-15

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118096800A (zh) * 2024-04-29 2024-05-28 合肥市正茂科技有限公司 一种小样本语义分割模型的训练方法、装置、设备及介质

Also Published As

Publication number Publication date
CN115861858B (zh) 2023-07-14
CN115861858A (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
JP7450838B1 (ja) 背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法および装置
CA3088641C (en) Crop type classification in images
Zhao et al. Comparing U-Net convolutional network with mask R-CNN in the performances of pomegranate tree canopy segmentation
Zhang et al. Automatic extraction of wheat lodging area based on transfer learning method and deeplabv3+ network
Qian et al. UAV and a deep convolutional neural network for monitoring invasive alien plants in the wild
Aboutalebi et al. Assessment of different methods for shadow detection in high-resolution optical imagery and evaluation of shadow impact on calculation of NDVI, and evapotranspiration
CN107918776B (zh) 一种基于机器视觉的用地规划方法、系统及电子设备
Bao et al. UAV remote sensing detection of tea leaf blight based on DDMA-YOLO
Ardila et al. Multitemporal change detection of urban trees using localized region-based active contours in VHR images
Zhang et al. Extraction of tree crowns damaged by Dendrolimus tabulaeformis Tsai et Liu via spectral-spatial classification using UAV-based hyperspectral images
Chen et al. Predicting individual apple tree yield using UAV multi-source remote sensing data and ensemble learning
CN110363236B (zh) 空谱联合超图嵌入的高光谱图像极限学习机聚类方法
CN113850312A (zh) 森林生态状况的监测方法、装置、电子设备及存储介质
Guldogan et al. Automated tree detection and density calculation using unmanned aerial vehicles
Minakshi et al. High-accuracy detection of malaria mosquito habitats using drone-based multispectral imagery and Artificial Intelligence (AI) algorithms in an agro-village peri-urban pastureland intervention site (Akonyibedo) in Unyama SubCounty, Gulu District, Northern Uganda
Wu et al. ALS data based forest stand delineation with a coarse-to-fine segmentation approach
Liu et al. An efficient approach based on UAV orthographic imagery to map paddy with support of field-level canopy height from point cloud data
Tian et al. Machine learning-based crop recognition from aerial remote sensing imagery
Xiang et al. Measuring stem diameter of sorghum plants in the field using a high-throughput stereo vision system
Song et al. Recognition of sunflower growth period based on deep learning from UAV remote sensing images
Lee et al. Single-plant broccoli growth monitoring using deep learning with UAV imagery
Zhang et al. A comparison of pixel-based and object-based land cover classification methods in an arid/semi-arid environment of northwestern China
Xu et al. MP-Net: An efficient and precise multi-layer pyramid crop classification network for remote sensing images
Comert et al. Rapid mapping of forested landslide from ultra-high resolution unmanned aerial vehicle data
CN116739739A (zh) 一种贷款额度评估方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240130

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240305

R150 Certificate of patent or registration of utility model

Ref document number: 7450838

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150