JP6980958B1

JP6980958B1 - 深層学習に基づく農村地域分けゴミ識別方法

Info

Publication number: JP6980958B1
Application number: JP2021103937A
Authority: JP
Inventors: 祁元; 楊瑞; 張金竜; 王宏偉; 周聖明
Original assignee: 中国科学院西北生態環境資源研究院
Priority date: 2021-06-23
Filing date: 2021-06-23
Publication date: 2021-12-15
Anticipated expiration: 2041-06-23
Also published as: JP2023003026A

Abstract

本発明は、深層学習に基づく農村不規則なゴミ識別方法を開示し、農村不規則なゴミドローンデータの前処理、訓練サンプル、検証サンプルおよび試験サンプルの生成、畳み込みニューラルネットワークモデルの構築、モデル訓練過程モデルパラメータの決定を含み、ドローン画像に基づく農村不規則なゴミの自動識別を実現する。【選択図】図１

Description

本発明は、ゴミ分類の技術分野に関し、具体的に深層学習に基づく農村地域分けゴミ識別
方法に関する。

現在、世界の人口の約８３％が途上国に住んでおり、その中でも半分以上が農村人口であ
り、人口の急増に伴い、農村のゴミがかつてないほど増加しており、深刻な環境汚染を引
き起こし、農村ゴミの管理は途上国の大きな課題になっている。
効果的なゴミ管理は、農村の居住環境を改善し、生態学的に住みやすい美しい村を建設し
、農村の活性化を実現するための重要な前提条件であり、農村の貧困地域では、ゴミ管理
は資金不足などの多くの問題に直面し、ゴミの現在分布を正確に把握し、ゴミ管理に非常
に重要である。
深層学習の概念の導入により、ニューラルネットワークの拡張として、画像識別分野で広
く応用される。従来の画像識別方法と比較して、深層学習方法は、深層アーキテクチャを
通じてより多くの抽象的なデータ特徴を自動学習して、画像分類の効果を大幅に向上する
。
現在、不規則なゴミ抽出方法は、主に従来の解釈、分類などの方法に基づいたものであり
、計算効率と抽出精度などの点でまだ改善する余地がある。したがって、農村の不規則な
ゴミを効率的かつ正確に識別する農村不規則なゴミの自動識別方法が必要である。

上記の技術的問題を解決するために、本発明は、深層学習に基づく農村地域分けゴミ識別
方法を提供する。
本発明の技術的解決策は、深層学習に基づく農村不規則なゴミ識別方法であり、
ステップ：
Ｓ１：ドローンを使用して農村地域情報を采集し、ドローン画像を前処理するステップと
、
Ｓ２：データ正規化方法を利用して、各チャンネルのピクセル値範囲を[０，１]に縮小し
、データ強調方法によりドローン画像のサンプルデータを強調処理し、サンプルを８：２
の割合で訓練データセットと検証データセットに分割し、スライドウィンドウによる選択
で、試験データセットを生成するステップと、
Ｓ３：畳み込み演算の受容野特徴に基づいて、異なるサイズの畳み込みカーネルで画像特
徴を抽出し、機械学習方法を分類器として畳み込みニューラルネットワークのモデルを構
築するステップと、畳み込みニューラルネットワークは受容野（ＲｅｃｅｐｔｉｖｅＦ
ｉｅｌｄ）を有し、受容野は畳み込みニューラルネットワーク中の１つの特徴が入力空間
にマッピングされる地域サイズであり、異なる畳み込みカーネルサイズは異なる受容野の
特徴を抽出可能であり、受容野の範囲は畳み込み層の数の増加に従って拡大し、２層の３
×３畳み込み演算後の受容野は５×５であり、３層の３×３畳み込み演算の受容野は７×
７である、
Ｓ４：畳み込み、プーリング、活性化関数を含む順伝播と、損失関数、勾配降下アルゴリ
ズム、正則化を含む逆伝播を使用して訓練を行い、モデルパラメータを決定するステップ
と、
Ｓ５：訓練済の畳み込みニューラルネットワークモデルを使用して、各地域がゴミまたは
非ゴミである識別結果を出力するステップと、を含む。
さらに、前記ステップＳ１では、ドローン画像を前処理することは、具体的に、歪み補正
、空中三角暗号化、およびＤＯＭ作成などを含む。
さらに、前記ステップＳ２では、強調処理は、具体的に、ノイズ、フリッピング、回転、
平行移動、トリミング、ボケによりデータを強調処理することであり、ドローン画像サン
プルを強調処理することは過剰適合を防止する最も効果的な方法であり、より多くのデー
タを使用して訓練し、画像は高次元になり、大きな変化要因が含まれ、画像の幾何的変換
によりデータ量を増加する。

さらに、前記ステップＳ２中のスライドウィンドウの選択方法は、具体的に、サイズ２０
０×２００のウィンドウでドローン画像に対して左から右および上から下へ、一定間隔で
トリミングすることで試験データセットを取得することであり、試験サンプルを畳み込み
ニューラルネットワークモデルに入力した後、畳み込み演算により試験サンプルの境界部
分が効果的に分類できず、明らかな矩形状フレームが現れ、スライドウィンドウ方法を使
用して試験サンプルを選択する。

さらに、前記ステップＳ３中の畳み込みニューラルネットワークのモデルを構築する具体
的な過程は以下のとおりである：
（１）モデル入力：畳み込みニューラルネットワークのモデル入力は、２００×２００サ
イズのドローン画像のゴミサンプルと非ゴミサンプルである、
（２）畳み込み演算：畳み込み演算の受容野の特徴に基づいて、各層畳み込み演算につい
てそれぞれ３×３と５×５の畳み込みカーネルサイズの２回畳み込み演算を実行し、その
結果をスプライスし、該畳み込みニューラルネットワークモデルは、それぞれ１６、３２
、６４、３２の特徴チャンネルを使用して４回の畳み込み演算を実行する、
（３）完全結合演算：（２）での畳み込み演算の結果を平坦化してから、それぞれニュー
ロンサイズが２５６、６４と２の３回の完全結合操作を実行する、
（４）モデル分類器：機械学習方法のランダムフォレストを畳み込みニューラルネットワ
ークの分類器として使用し、グラフ識別モデルとしてのｓｏｆｔｍａｘの一般化能力が不
足などの問題を解決して、分類精度を向上させることができる。

さらに、前記ステップＳ４中の順伝播の具体的な過程は以下のとおりである：
（１）前記畳み込みとは畳み込み演算により入力画像を処理することを指し、畳み込み演
算は、入力とカーネル関数の２つのパラメータを含み、畳み込み演算はｓａｍｅとｖａｌ
ｉｄの２つの方法で入力を処理する、
１）ｓａｍｅ方法は、入力画像の外層にｎ層０をラップし、畳み込み後に得られた出力と
入力のサイズが同じになる、
２）ｖａｌｉｄ方法は、入力画像を変更せず、得られた畳み込み後の出力が入力より小さ
く、出力のサイズは、

であり、ただし、Ｗは入力画像のサイズであり、Ｆは畳み込みカーネルのサイズであり、
畳み込みカーネルストライドはＳであり、入力画像の外層を充填するための層数はＰであ
る、
（２）活性化関数として、通常、Ｓｉｇｍｏｉｄ関数、ｔａｎＨ関数、およびＲｅＬＵ関
数などが使用され、前記活性化関数は線形整流関数ＲｅＬＵを使用し、ＲｅＬＵ=ｍａｘ(
０,ｘ)の式から分かるように、ｘ＞０の場合、ＲｅＬＵは、勾配が減衰するのを防ぎ、勾
配の消失現象を遅くすることができる、
（３）前記プーリングとは、最大プーリングで畳み込み後の特徴を圧縮することを指し、
パラメータのデータ量を顕著に減らし、計算の複雑さが軽減され、特徴が簡素化される、

さらに、前記ステップＳ４中の逆伝播の具体的な過程は以下のとおりである：
（１）前記損失関数は、クロスエントロピー損失関数を使用して、モデル出力値と真の値
間の差を測定し、予測値の分布と実際従属変数の分布が可能な限り一致している場合、ク
ロスエントロピーが次のように一番小さい：

（２）前記勾配降下アルゴリズムはＡｄａｍであり、Ａｄａｍを使用してパラメータを最
適化し、Ａｄａｍは、小さなメモリ要件に加えて、モデル訓練過程中にパラメータが更新
されるときに、異なるパラメータに従って学習率を計算して、異なる手動介入により適切
な学習率を求める。
（３）前記正則化とは、各畳み込み層の後にＤｒｏｐｏｕｔとＢａｔｃｈＮｏｒｍａｌｉ
ｚａｔｉｏｎ正則項を追加することであり、モデル訓練過程中に、訓練データセットが十
分でない場合、過剰適合現象が発生するため、正則項を追加する必要がある。

さらに、前記ステップＳ４中の畳み込みニューラルネットワークモデルの訓練方法は、具
体的な過程が以下のとおりである：
（１）モデル訓練過程中、ガウス分布により重みパラメータの初期値を決定する、
（２）予測結果とラベルデータに従ってクロスマウンテン関数を損失関数として定義し、
Ａｄａｍ最適化方法に従って重みを更新し、損失関数値を減らし、ただし、学習率は０．
０１であり、運動量は０．９である、
（３）過剰適合現象の発生を防止するために、各層の畳み込み演算後にＤｒｏｐｄｏｕｔ
を追加し、その拒否率は０．３であり、ネットワークに正則項を追加して早期に終了し、
その許容値は１０である、
（４）数回繰り返して、検証精度が基本的に変わらないことを確認した後、モデル訓練を
停止し、畳み込みニューラルネットワークのモデルパラメータを決定する。

本発明の有益な効果は以下のとおりである。
（１）本発明の農村不規則なゴミ識別方法は、畳み込みニューラルネットワークモデルを
構築することで、農村不規則なゴミポイントを識別し、ゴミの現在分布状況を正確に把握
し、ゴミ管理にとって非常に重要である。
（２）本発明は、受容野特徴を畳み込み演算することにより、異なるサイズの畳み込みカ
ーネル畳み込み演算結果をスプライスして、ｓｏｆｔｍａｘ分類器を機械学習アルゴリズ
ムランダムフォレストに置き換えることで、農村の不規則なゴミサイトの識別精度を向上
する。

本発明の応用例の畳み込みニューラルネットワークのモデル構造図である。本発明の応用例における訓練回数による識別精度の変化曲線である。本発明の応用例におけるサンプルである。

以下、本発明の利点をさらに具体化するために、実際の実施形態を併せて本発明をより詳
細に説明する。
実施例
深層学習に基づく農村不規則なゴミ識別方法は、
Ｓ１：ドローンを使用して農村地域情報を采集し、ドローン画像を前処理し、前処理は、
具体的に歪み補正、空中三角暗号化、ＤＯＭ作成を含み、ドローンの飛行高さが低く、飛
行環境の違いが大きいため、プラットフォームは従来の写真測量大型航空機と比較して、
安定性が比較的悪く、飛行中の揺れやカメラ自身の動きにより、ある程度の画像のボケや
画像歪みが発生するため、ドローン画像を前処理する。

Ｓ２：データ正規化方法を利用して、各チャンネルのピクセル値範囲を[０，１]に縮小し
、データ強調方法によりドローン画像のサンプルデータを強調処理し、サンプルを８：２
の割合で訓練データセットと検証データセットに分割し、スライドウィンドウによる選択
で、試験データセットを生成するステップと、
（１）強調処理は過剰適合を防止する最も効果的な方法であり、より多くのデータを使用
して訓練し、画像は高次元になり、大きな変化要因が含まれ、画像の幾何的変換によりデ
ータ量を増加し、この方法は主にノイズ、フリッピング、回転、平行移動、トリミング、
ボケを使用してデータを強調処理する、
（２）スライドウィンドウの選択方法は、試験サンプルを畳み込みニューラルネットワー
クモデルに入力した後、畳み込み演算により試験サンプルの境界部分が効果的に分類でき
ず、明らかな矩形状フレームが現れ、スライドウィンドウ方法を使用して試験サンプルを
選択するであり、この方法は、サイズ２００×２００のウィンドウでドローン画像に対し
て左から右および上から下へ、一定間隔でトリミングすることで試験データセットを取得
し、スライド間隔が大きいまたは小さいとデータの冗長と欠落が発生する可能性があり、
試験した結果、本方法での選択間隔は４０であると、上記の矩形状フレーム現象を効果的
に改善しデータの冗長を回避することができる。

Ｓ３：畳み込み演算の受容野特徴に基づいて、異なるサイズの畳み込みカーネルで画像特
徴を抽出し、機械学習方法を分類器として畳み込みニューラルネットワークのモデルを構
築する、モデルの具体的なパラメータは以下のとおりである：
（１）モデル入力：該畳み込みニューラルネットワークのモデル入力は２００×２００サ
イズのドローン画像のゴミサンプルと非ゴミサンプルである、
（２）畳み込み演算：畳み込み演算の受容野の特徴に基づいて、本方法は、各層の畳み込
み演算に対してそれぞれ３×３と５×５の畳み込みカーネルサイズの２回畳み込み演算を
実行し、その結果をスプライスし、該畳み込みニューラルネットワークモデルは、それぞ
れ１６、３２、６４、３２の特徴チャンネルを使用して４回の畳み込み演算を実行する、
（３）完全結合演算：（２）中の畳み込み演算の結果を平坦化（つまりＦｌａｔｔｅｎ）
してから、それぞれニューロンサイズ２５６、６４および２の３回の完全結合操作を実行
する、
（４）モデル分類器：本方法は、機械学習方法ランダムフォレストを畳み込みニューラル
ネットワークの分類器として使用し、グラフ識別モデルとしてのｓｏｆｔｍａｘの一般化
能力不足などの問題を解決し、分類精度を向上させる、
Ｓ４：畳み込み、プーリング、活性化関数を含む順伝播、損失関数、勾配降下アルゴリズ
ム、正則化を含む逆伝播により、モデルを訓練する、

（１）順伝播と逆伝播の具体的な過程は以下のとおりである：
１）畳み込み：畳み込み演算は、入力とカーネル関数の２つの重要なパラメータがあり、
畳み込み演算は、それぞれｓａｍｅとｖａｌｉｄにより入力を処理し、ｓａｍｅ方法とは
、入力画像の外層にｎ層０をラップして、畳み込み後に得られた出力と入力のサイズが同
じになり、ｖａｌｉｄ方法とは入力を変更せず、畳み込み後の出力が入力よりも小さく、
出力のサイズは

であり、ただし、Ｗは入力画像のサイズであり、Ｆは畳み込みカーネルのサイズであり、
畳み込みカーネルストライドはＳであり、入力画像の外層を充填するための層数はＰであ
る。

本発明では、異なる畳み込みカーネルの畳み込み結果をスプライスする必要があるため、
畳み込み演算結果のサイズが同じべきであり、ｓａｍｅ方法を使用する、
２）活性化関数：通常、活性化関数としてＳｉｇｍｏｉｄ関数、ｔａｎＨ関数、およびＲ
ｅＬＵ関数などを使用し、本発明は、線形整流関数（ＲｅｃｔｉｆｉｅｄＬｉｎｅａｒ
Ｕｎｉｔ, ＲｅＬＵ）（ＲｅＬＵ=ｍａｘ(０, ｘ)）を使用し、ｘ＞０の場合、Ｒｅ
ＬＵは勾配の減衰を維持し、勾配消失の現象を遅く、
３）プーリング：本発明は、最大プーリングを使用して畳み込み後の特徴を圧縮し、パラ
メータのデータ量を顕著に減らし、計算の複雑さが軽減され、特徴が簡素化される、
４）損失関数：モデル出力値と真の値間の差を測定するために、本発明はクロスエントロ
ピー損失関数を使用して、予測値の分布と実際の従属変数の分布が可能な限り一致してい
る場合、クロスエントロピーが最も小さい：

５）勾配降下アルゴリズム：本発明で使用されるパラメータ最適化アルゴリズムはＡｄａ
ｍであり、Ａｄａｍは、小さなメモリ要件に加え、モデル訓練過程中パラメータに従って
更新され、異なるパラメータに従って学習率を計算することで、異なる手動介入により適
切な学習率を求める；
６）正則化：本発明では、各畳み込み層の後にＤｒｏｐｏｕｔとＢａｔｃｈＮｏｒｍａｌ
ｉｚａｔｉｏｎ正則項を追加し、モデル訓練過程中に、訓練データセットが十分ではない
場合、過剰適合現象が発生するため、正則項を追加する必要がある。

（２）モデル訓練の具体的な過程は以下のとおりである：
１）モデル訓練を通じて、モデルパラメータを決定し、モデル訓練過程中、ガウス分布に
より重みパラメータの初期値を決定する、
２）予測結果とラベルデータに基づいてクロスエントロピー関数を損失関数として定義し
、Ａｄａｍ最適化方法に従って重みを更新し、損失関数値を減らし、ただし、学習率が０
．０１であり、運動量が０．９である、
３）過剰適合現象の発生を防止し、各層畳み込み演算の後にＤｒｏｐｄｏｕｔを追加し、
その拒否率が０．３であり、ネットワークに正則項を追加して早期に終了し、その許容値
は１０である、
４）数回繰り返して、検証精度が基本的に変わらないことを確認した後、モデル訓練を停
止し、モデルパラメータを決定する、
Ｓ５：訓練後の畳み込みニューラルネットワークモデルを使用して、試験サンプルの各地
域がゴミまたは非ゴミであるかの識別結果を出力する。

応用例
中国の甘粛省を例にとると、図１に示すように、甘粛省のある農村の不規則なゴミのポイ
ント分布図である。
図３に示すサンプルのように、ドローン画像に基づいて、ドローン画像に対して歪み補正
、空中三角暗号化、ＤＯＭ作成などの前処理を実行し、実際の調査を組み合わせて、ゴミ
点と非ゴミ点画像をそれぞれ１００個を選択し、画像強調処理、回転、フリッピング、ノ
イズ増加によりサンプルの数を３倍増やし、６００個のサンプルを得、サンプルデータを
８：２の割合で訓練サンプルデータセットと検証サンプルデータセットに分割し、試験デ
ータをスライドウィンドウの選択方法により試験データセットを決定する、
図１に示すように、畳み込み演算に基づいて、異なるサイズの畳み込みカーネルで画像特
徴を抽出し、ランダムフォレスト方法を分類器として使用し、畳み込みニューラルネット
ワークのモデルを構築する。
訓練サンプルと検証サンプルをモデルに入力して訓練を行う。

（１）まず、順伝播演算を実行し、それぞれ畳み込みカーネルサイズ３×３と５×５、活
性化関数ＲｅＬＵの畳み込み演算、および最大プーリング演算を介して、画像特徴を抽出
する、
（２）逆伝播演算を実行し、モデルパラメータを継続的に更新し、循環回数が３００回に
達した後、検証精度が基本的に変わらず、８６％に達するとき、モデルパラメータを決定
し、訓練過程の分類精度の変化が図２に示される。
試験サンプルをモデルに入力して計算し、試験サンプルの分類結果を取得し、各地域がゴ
ミまたは非ゴミであるかの識別結果を出力する。

Claims

Ｓ１：ドローンを使用して農村地域情報を采集し、ドローン画像を前処理するステップと
、
Ｓ２：データ正規化方法を利用して、各チャンネルのピクセル値範囲を[０，１]に縮小し
、データ強調方法によりドローン画像のサンプルデータを強調処理し、サンプルを８：２
の割合で訓練データセットと検証データセットに分割し、スライドウィンドウによる選択
で、試験データセットを生成するステップと、
Ｓ３：畳み込み演算の受容野特徴に基づいて、異なるサイズの畳み込みカーネルで画像特
徴を抽出し、機械学習方法を分類器として畳み込みニューラルネットワークのモデルを構
築するステップと、
Ｓ４：畳み込み、プーリング、活性化関数を含む順伝播と、損失関数、勾配降下アルゴリ
ズム、正則化を含む逆伝播を使用して訓練を行い、モデルパラメータを決定するステップ
と、
Ｓ５：訓練済の畳み込みニューラルネットワークモデルを使用して、各地域がゴミまたは
非ゴミである識別結果を出力するステップと、
を含む、ことを特徴とする深層学習に基づく農村地域分けゴミ識別方法。
前記ステップＳ１では、ドローン画像を前処理することは、歪み補正、空中三角暗号化お
よびＤＯＭ作成を含む、ことを特徴とする請求項１に記載の方法。
前記ステップＳ２では、強調処理は、ノイズ、フリッピング、回転、平行移動、トリミン
グ、およびボケによりデータを強調処理する、ことを特徴とする請求項１に記載の方法。
前記ステップＳ２では、スライドウィンドウの選択方法は、サイズ２００×２００のウィ
ンドウでドローン画像に対して左から右および上から下へ、一定間隔でトリミングするこ
とで試験データセットを取得する、ことを特徴とする請求項１に記載の方法。
前記ステップＳ３では、畳み込みニューラルネットワークのモデルを構築する具体的な過
程は以下のとおりである：
（１）モデル入力：畳み込みニューラルネットワークのモデル入力は、２００×２００サ
イズのドローン画像のゴミサンプルと非ゴミサンプルである、
（２）畳み込み演算：畳み込み演算の受容野の特徴に基づいて、各層畳み込み演算につい
てそれぞれ３×３と５×５の畳み込みカーネルサイズの２回畳み込み演算を実行し、その
結果をスプライスし、該畳み込みニューラルネットワークモデルは、それぞれ１６、３２
、６４、３２の特徴チャンネルを使用して４回の畳み込み演算を実行する、
（３）完全結合演算：（２）での畳み込み演算の結果を平坦化してから、それぞれニュー
ロンサイズが２５６、６４と２の３回の完全結合操作を実行する、
（４）モデル分類器：機械学習方法のランダムフォレストを畳み込みニューラルネットワ
ークの分類器として使用し、畳み込みニューラルネットワークを構築する、ことを特徴と
する請求項１に記載の方法。
前記ステップＳ４中の順伝播の具体的な過程は以下のとおりである：
（１）前記畳み込みとは畳み込み演算により入力画像を処理することを指し、畳み込み演
算は、入力とカーネル関数の２つのパラメータを含み、畳み込み演算はｓａｍｅとｖａｌ
ｉｄの２つの方法で入力を処理する、
１）ｓａｍｅ方法は、入力画像の外層にｎ層０をラップし、畳み込み後に得られた出力と
入力のサイズが同じになる、
２）ｖａｌｉｄ方法は、入力画像を変更せず、得られた畳み込み後の出力が入力より小さ
く、出力のサイズは、

であり、ただし、Ｗは入力画像のサイズであり、Ｆは畳み込みカーネルのサイズであり、
畳み込みカーネルストライドはＳであり、入力画像の外層を充填するための層数はＰであ
る、
（２）前記活性化関数は線形整流関数ＲｅＬＵを使用する、
（３）前記プーリングとは、最大プーリングで畳み込み後の特徴を圧縮することを指す、
ことを特徴とする請求項１に記載の方法。
前記ステップＳ４中の逆伝播の具体的な過程は以下のとおりである：
（１）前記損失関数は、クロスエントロピー損失関数を使用して、モデル出力値と真の値
間の差を測定し、予測値の分布と実際従属変数の分布が可能な限り一致している場合、ク
ロスエントロピーが次のように一番小さい：

（２）前記勾配降下アルゴリズムはＡｄａｍであり、Ａｄａｍを使用してパラメータを最
適化する、
（３）前記正則化とは、各畳み込み層の後にＤｒｏｐｏｕｔとＢａｔｃｈＮｏｒｍａｌｉ
ｚａｔｉｏｎ正則項を追加することである、ことを特徴とする請求項１に記載の方法。
前記ステップＳ４中の畳み込みニューラルネットワークモデルの訓練方法は、具体的な過
程が以下のとおりである：
（１）モデル訓練過程中、ガウス分布により重みパラメータの初期値を決定する、
（２）予測結果とラベルデータに従ってクロスマウンテン関数を損失関数として定義し、
Ａｄａｍ最適化方法に従って重みを更新し、損失関数値を減らし、ただし、学習率は０．
０１であり、運動量は０．９である、
（３）各層の畳み込み演算後にＤｒｏｐｄｏｕｔを追加し、過剰適合現象の発生を防止し
、その拒否率は０．３であり、ネットワークに正則項を追加して早期に終了し、その許容
値は１０である、
（４）数回繰り返して、検証精度が基本的に変わらないことを確認した後、モデル訓練を
停止し、畳み込みニューラルネットワークのモデルパラメータを決定する、ことを特徴と
する請求項１に記載の方法。