JP7045490B2 - 画像分割と分割ネットワークトレーニング方法および装置、機器、媒体、並びに製品 - Google Patents

Description

本発明は、画像処理技術に関し、特に画像分割と分割ネットワークトレーニング方法および装置、機器、媒体、並びに製品に関する。

＜関連出願の相互引用＞
本発明は、出願日が２０１８年６月１５日であり、出願番号が２０１８１０６２３３０６．０であり、発明名称が「画像の目標対象分割とトレーニング方法および装置、機器、媒体、並びに製品」である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照として本願に組み入れられる。

リモートセンシング衛星の急速な発展に伴い、リモートセンシング画像も様々な分野で適用され始めている。衛星リモートセンシング画像のシーンがより大きく、明確の境界がなく、精確な構造情報がないため、リモートセンシング画像は伝統的な画像と分割シーンが異なり、伝統的なニューラルネットワークを使用すると分割に困難が存在し、効果がより低く、改善しにくい。

本発明の実施例は、画像分割とトレーニング方法および装置、機器、媒体、並びに製品を提供することを期待している。

本発明の実施例の１態様によると、画像分割方法を提供し、当該方法は、複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップと、前記複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力された画像特徴情報に対して少なくとも２段の融合処理を実行して、目標画像特徴情報を得るステップと、前記目標画像特徴情報に基づいて、前記画像の目標対象分割結果を確定するステップと、を含む。

選択的に、前記複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力された画像特徴情報に対して少なくとも２段の融合処理を実行して、目標画像特徴情報を得るステップは、各ペアの前記隣接する処理ブロックによって出力された画像特徴情報に対して第１段の融合処理を実行して、第１融合特徴情報を得るステップと、少なくとも１ペアの隣接する前記第１融合特徴情報に対して第２段の融合処理を実行して、少なくとも１つの第２融合特徴情報を得るステップと、前記少なくとも１つの第２融合特徴情報に基づいて、前記目標画像特徴情報を確定するステップと、を含む。

選択的に、前記少なくとも１つの第２融合特徴情報に基づいて、前記目標画像特徴情報を確定するステップは、後続融合処理によって得られた後続融合特徴情報の数が１つになるまでに、前記少なくとも１つの第２融合特徴情報に対して前記後続融合処理を実行するステップと、前記数が１つである後続融合特徴情報を前記目標画像特徴情報とするステップと、を含む。

選択的に、各ペアの前記隣接する処理ブロックによって出力された画像特徴情報に対して融合処理を実行する過程において、各ペアの前記隣接する処理ブロックによって出力された画像特徴情報を要素ごとに加える。

選択的に、前記複数の処理ブロック同士の間は、順次に接続されるか、および／または、各ペアの前記隣接する処理ブロックによって出力された画像特徴情報は、同一の大きさおよび同一のチャンネル数を有する。

選択的に、前記処理ブロックは、少なくとも１つの処理ユニットを含み、各々の前記処理ユニットは、少なくとも１つの特徴抽出層と特徴調整層とを含み、前記複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップは、前記処理ユニット中の前記少なくとも１つの特徴抽出層を利用して前記処理ユニットの入力情報に対して特徴抽出処理を実行して、第１特徴情報を得るステップと、前記処理ユニット中の前記特徴調整層を利用して前記第１特徴情報に対して調整処理を実行して、前記処理ユニットによって出力された画像特徴情報を得るステップと、を含む。

選択的に、前記複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力された画像特徴情報に対して少なくとも２段の融合処理を実行して、目標画像特徴情報を得るステップの前に、前記複数の処理ブロックの中の処理ブロックＭ１によって出力された画像特徴情報に対して特徴縮小処理を実行するステップと、前記複数の処理ブロックの中の処理ブロックＭ２によって出力された画像特徴情報に対して特徴拡張処理を実行するステップと、をさらに含み、前記処理ブロックＭ２の入力端と前記処理ブロックＭ１の出力端は、直接接続または間接接続される。

選択的に、前記複数の処理ブロックを利用して前記画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップは、前記複数の処理ブロックの中の処理ブロックＮ１を利用して前記処理ブロックＮ１の入力情報に対して特徴抽出処理を実行して、前記処理ブロックＮ１に対応する第１画像特徴情報を得るステップであって、前記処理ブロックＮ１の入力情報は、前記画像、および／または、前記処理ブロックＮ１の前に位置する少なくとも１つの処理ブロックによって出力された画像特徴情報を含み、Ｎ１は、１以上の整数であるステップと、前記第１画像特徴情報を前記処理ブロックＮ１の次の１つの処理ブロックに入力して特徴抽出処理を実行して、前記次の１つの処理ブロックによって出力される第２画像特徴情報を得るステップと、を含む。

選択的に、前記第１画像特徴情報を前記処理ブロックＮ１の次の１つの処理ブロックに入力して特徴抽出処理を実行して、前記次の１つの処理ブロックによって出力される第２画像特徴情報を得るステップは、前記画像および／または少なくとも１つの処理ブロックＮ２によって出力された画像特徴情報および前記第１画像特徴情報を、前記処理ブロックＮ１の次の１つの処理ブロックに入力して特徴抽出処理を実行して、前記次の１つの処理ブロックによって出力される第２画像特徴情報を得るステップであって、前記処理ブロックＮ１の入力端と前記処理ブロックＮ２の出力端は、直接接続または間接接続されるステップを含む。

選択的に、前記画像および／または少なくとも１つの処理ブロックＮ２によって出力された画像特徴情報および前記第１画像特徴情報を、前記処理ブロックＮ１の次の１つの処理ブロックに入力して特徴抽出処理を実行するステップの前に、前記少なくとも１つの処理ブロックＮ２によって出力された画像特徴情報に対して融合処理を実行し、融合処理して得られた画像特徴情報を前記処理ブロックＮ１の次の１つの処理ブロックに入力するステップをさらに含む。

選択的に、前記複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップの前に、畳み込み層を利用して前記画像に対して特徴抽出処理を実行して、前記画像の初期特徴情報を得るステップをさらに含み、前記複数の処理ブロックを利用して画像に対して特徴抽出処理を実行するステップは、前記画像の初期特徴情報を前記複数の処理ブロックに入力して特徴抽出処理を実行するステップを含む。

選択的に、前記画像は、リモートセンシング画像であり、前記目標対象は、土地である。

選択的に、前記画像分割方法は、分割ニューラルネットワークを利用して実現され、前記画像は、土地サンプル画像であり、前記画像分割方法は、前記分割ニューラルネットワークを利用して道路サンプル画像に対して処理を実行して、前記道路サンプル画像の分割結果を得るステップと、前記土地サンプル画像の目標対象予測結果および前記道路サンプル画像の分割結果に基づいて、前記分割ニューラルネットワークのパラメータを調整するステップと、をさらに含む。

選択的に、前記目標画像特徴情報は、混合特徴情報に基づいて得られたものであり、前記混合特徴情報は、前記分割ニューラルネットワークにより前記土地サンプル画像および前記道路サンプル画像に対してバッチ処理を実行して得られたものである。

選択的に、前記土地サンプル画像の目標対象予測結果および前記道路サンプル画像の分割結果に基づいて、前記分割ニューラルネットワークのパラメータを調整するステップは、前記土地サンプル画像の目標対象予測結果および前記土地サンプル画像のラベル情報に基づいて第１損失を得るステップと、前記道路サンプル画像の分割結果および前記道路サンプル画像のラベル情報に基づいて第２損失を得るステップと、前記第１損失および前記第２損失に基づいて前記分割ニューラルネットワークのパラメータを調整するステップと、を含む。

選択的に、前記第１損失および前記第２損失に基づいて前記分割ニューラルネットワークのパラメータを調整するステップは、前記第１損失および前記第２損失を加重和して総損失を得るステップと、前記総損失に基づいて、前記分割ニューラルネットワークのパラメータを調整するステップと、を含む。

選択的に、前記複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップの前に、パラメータを設定することによって、前記サンプル画像に対して、前記サンプル画像の大きさの調整、前記サンプル画像の角度の回転、および、前記サンプル画像の明るさの変更の中の少なくとも１種の強化処理を実行するステップをさらに含み、前記複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップは、複数の処理ブロックを利用して前記少なくとも１種の強化処理の後の画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップを含む。

選択的に、前記複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップの前に、所定の大きさのトリミング枠を利用して前記画像をトリミングして、少なくとも１つのトリミング画像を得るステップをさらに含み、前記複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップは、複数の処理ブロックを利用して前記トリミング画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップを含む。

本発明の実施例のもう１態様によると、画像分割装置を提供し、当該装置は、複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るための画像処理モジュールと、前記複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力された画像特徴情報に対して少なくとも２段の融合処理を実行して、目標画像特徴情報を得るための融合モジュールと、前記目標画像特徴情報に基づいて、前記画像の目標対象分割結果を確定するための分割モジュールと、を備える。

本発明の実施例のもう１態様によると、土地分割ニューラルネットワークのトレーニング方法を提供し、当該方法は、少なくとも１つの土地サンプル画像および少なくとも１つの道路サンプル画像を前記土地分割ニューラルネットワークに入力して、前記少なくとも１つの土地サンプル画像の予測分割結果および前記少なくとも１つの道路サンプル画像の予測分割結果を得るステップと、前記少なくとも１つの土地サンプル画像の予測分割結果および前記少なくとも１つの道路サンプル画像の予測分割結果に基づいて、前記土地分割ニューラルネットワークのパラメータを調整するステップと、を含む。

選択的に、前記土地分割ニューラルネットワークは、順次に接続された複数の処理ブロック、融合ネットワーク、および、分割ネットワークを含み、前記少なくとも１つの土地サンプル画像および少なくとも１つの道路サンプル画像を前記土地分割ニューラルネットワークに入力して、前記少なくとも１つの土地サンプル画像の予測分割結果および前記少なくとも１つの道路サンプル画像の予測分割結果を得るステップは、複数の処理ブロックを利用して前記少なくとも１つの土地サンプル画像および前記少なくとも１つの道路サンプルに対して画像特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力されるサンプル画像特徴情報を得るステップと、前記融合ネットワークを利用して前記複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力されたサンプル画像特徴情報に対して少なくとも２段の融合処理を実行して、目標サンプル画像特徴情報を得るステップと、前記目標サンプル画像特徴情報に基づいて、前記分割ネットワークを利用して前記少なくとも１つの土地サンプル画像の予測分割結果および前記少なくとも１つの道路サンプル画像の予測分割結果を得るステップと、含む。

選択的に、前記複数の処理ブロックを利用して前記少なくとも１つの土地サンプル画像および前記少なくとも１つの道路サンプルに対して画像特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力されるサンプル画像特徴情報を得るステップは、前記複数の処理ブロックを利用して各前記土地サンプル画像および各前記道路サンプル画像に対して処理を実行して、各々の前記土地サンプル画像に対応する少なくとも２組のサンプル画像特徴情報および各々の前記道路サンプル画像に対応する少なくとも２組のサンプル画像特徴情報を得るステップを含む。

選択的に、前記複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力されたサンプル画像特徴情報に対して少なくとも２段の融合処理を実行して、目標サンプル画像特徴情報を得るステップは、各々の土地サンプル画像に対応する少なくとも２組のサンプル画像特徴情報に対して少なくとも２段の融合を実行して、前記各々の土地サンプル画像に対応する土地サンプル画像特徴情報を得るステップと、各々の道路サンプル画像に対応する少なくとも２組のサンプル画像特徴情報に対して少なくとも２段の融合を実行して、前記各々の道路サンプル画像の道路サンプル画像特徴情報を得るステップと、を含み、ここで、前記目標サンプル画像特徴情報は、前記少なくとも１つの土地サンプル画像に対応する土地サンプル画像特徴情報、および、前記少なくとも１つの道路サンプル画像に対応する道路サンプル画像特徴情報を含む。

選択的に、前記土地分割ニューラルネットワークは、スライス層をさらに含み、前記目標サンプル画像特徴情報に基づいて、前記少なくとも１つの土地サンプル画像の予測分割結果および前記少なくとも１つの道路サンプル画像の予測分割結果を得る前に、前記方法は、前記スライス層を利用して前記目標サンプル画像特徴情報に含まれた前記土地サンプル画像特徴情報および前記道路サンプル画像特徴情報に対して分割を実行するステップと、前記土地サンプル画像特徴情報を前記分割ネットワークに入力して処理を実行して、土地サンプル画像の予測分割結果を得、前記道路サンプル画像特徴情報を前記分割ネットワークに入力して処理を実行して、前記道路サンプル画像の予測分割結果を得るステップと、をさらに含む。

選択的に、前記土地サンプル画像および前記道路サンプル画像は、それぞれ、ラベル情報を有し、前記少なくとも１つの土地サンプル画像の予測分割結果および前記少なくとも１つの道路サンプル画像の予測分割結果に基づいて、前記土地分割ニューラルネットワークのパラメータを調整するステップは、前記土地サンプル画像に対応する予測分割結果および前記土地サンプル画像に対応するラベル情報に基づいて第１損失を得るステップと、前記道路サンプル画像に対応する予測分割結果および前記道路サンプル画像に対応するラベル情報に基づいて第２損失を得るステップと、前記第１損失および前記第２損失に基づいて前記土地分割ニューラルネットワークのパラメータを調整するステップと、を含む。

選択的に、前記第１損失および前記第２損失に基づいて前記土地分割ニューラルネットワークのパラメータを調整するステップは、前記第１損失および前記第２損失を加重和して総損失を得るステップと、前記総損失に基づいて前記土地分割ニューラルネットワークのパラメータを調整するステップと、を含む。

本発明の実施例のもう１態様によると、土地分割ニューラルネットワークのトレーニング装置を提供し、当該装置は、少なくとも１つの土地サンプル画像および少なくとも１つの道路サンプル画像を前記土地分割ニューラルネットワークに入力して、前記少なくとも１つの土地サンプル画像の予測分割結果および前記少なくとも１つの道路サンプル画像の予測分割結果を得るための結果予測モジュールと、前記少なくとも１つの土地サンプル画像の予測分割結果および前記少なくとも１つの道路サンプル画像の予測分割結果に基づいて、前記土地分割ニューラルネットワークのパラメータを調整するためのパラメータ調整モジュールと、を備える。

本発明の実施例のもう１態様によると、電子デバイスを提供し、当該電子デバイスは、実行可能命令を記憶するためのメモリと、前記メモリと通信することによって、前記実行可能命令を実行して、上記の任意の１項に記載の画像分割方法の操作を完成し、または、前記メモリと通信することによって、前記実行可能命令を実行して、上記の任意の１項に記載の土地分割ニューラルネットワークのトレーニング方法の操作を完成するためのプロセッサと、を備える。

本発明の実施例のもう１態様によると、コンピュータ可読記憶媒体を提供し、当該コンピュータ可読記憶媒体は、コンピュータ読み取り可能命令を記憶し、前記命令が実行されるときに、上記の任意の１項に記載の画像分割方法または上記の任意の１項に記載の土地分割ニューラルネットワークのトレーニング方法の操作が実行される。

本発明の実施例のもう１態様によると、コンピュータプログラム製品を提供し、当該製品は、コンピュータ可読コードを含み、前記コンピュータ可読コードが機器上で運行されると、前記機器中のプロセッサによって、上記の任意の１項に記載の画像分割方法または上記の任意の１項に記載の土地分割ニューラルネットワークのトレーニング方法を実現するための命令が実行される。

本発明の実施例の別の１態様によると、別の１種のコンピュータプログラム製品を提供し、当該製品は、コンピュータ可読命令を記憶し、前記命令が実行されるときに、コンピュータが、上記の任意の可能な実現形態に記載の画像分割方法を実行するようにし、または、任意の可能な実現形態に記載の土地分割ニューラルネットワークのトレーニング方法の操作を実行するようにする。

１つの選択可能な実施形態において、前記コンピュータプログラム製品は、具体的に、コンピュータ記憶媒体であり、もう１選択可能な実施形態において、前記コンピュータプログラム製品は、具体的に、例えばＳＤＫのソフトウェア製品である。

本発明の実施例によると、もう１種の画像分割と土地分割ニューラルネットワークのトレーニング方法および装置、電子デバイス、コンピュータ記憶媒体、並びにコンピュータプログラム製品をさらに提供し、ここで、複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得、複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力された画像特徴情報に対して少なくとも２段の融合処理を実行して、目標画像特徴情報を得、目標画像特徴情報に基づいて画像の目標対象分割結果を確定する。

本発明の上記の実施例によって提供される画像の目標対象分割と土地分割ニューラルネットワークのトレーニング方法および装置、機器、媒体、並びに製品は、複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得、複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力された画像特徴情報に対して少なくとも２段の融合処理を実行して、目標画像特徴情報を得、目標画像特徴情報に基づいて画像の目標対象分割結果を確定し、隣接された画像特徴情報の少なくとも２段の融合によって、もう一層多い情報を得て、画像中の目標対象のより精確な分割に有利である。

以下、図面および実施例によって、本発明の技術案をさらに詳細に説明する。

明細書の一部を構成する図面は、本発明の実施例を叙述し、且つ叙述とともに本発明の原理の解釈に用いられる。
図面を参照し、以下の詳細な叙述に基づいて、本発明をより明瞭に理解できる。
本発明の実施例によって提供される画像分割方法の模式的なフローチャートである。 本発明の実施例によって提供される画像分割方法中の処理ブロックの１例示的な構造図である。 本発明の実施例によって提供される画像分割方法中の分割ニューラルネットワークのトレーニング過程での１例示的な構造の模式図である。 本発明の実施例とＦＣ－ＤｅｎｓｅＮｅｔとの分割効果の比較の１つの示例図である。 本発明の実施例とＦＣ－ＤｅｎｓｅＮｅｔおよびＣｌａｓｓｍａｔｅＮｅｔ構造との分割効果の比較の１つの示例図である。 本発明の実施例によって提供される画像分割装置の構造の模式図である。 本発明の実施例によって提供される土地分割ニューラルネットワークのトレーニング方法の例示的なフローチャートである。 本発明の実施例によって提供される土地分割ニューラルネットワークのトレーニング装置の構造の模式図である。 本発明の実施例の実現に適当な電子デバイスの１例の構造の模式図である。

現在、図面を参照して本発明の各種の例示的な実施例を詳細に叙述する。注意すべきことは、別途詳細に説明しない限り、これらの実施例に叙述された部品とステップの相対的な配置、数値条件式、及び数値は、本発明の範囲を制限しない。

同時に、理解すべきことは、叙述の便宜上、図面に示される各部分の寸法が実際の縮尺に応じて描かれるとは限らない。

以下では、少なくとも１例示的な実施例の叙述が実に説明的なものに過ぎず、決して本発明及びその応用や使用に対する如何なる制限にもならない。

当業者にとって既知の技術、方法及び機器について詳細に議論しないが、適切な場合には、前記技術、方法及び機器が明細書の一部と見なされるべきである。

注意すべきことは、類似する符号及びアルファベットが後の図面において類似する要素を示すため、ある要素が、１つの図面で定義されると、後の図面においてさらに議論される必要がない。

理解すべきことは、本発明の実施例は、リモートセンシング画像の土地分割に基づいて提案されたものであるが、その他の分野にも適用でき、本発明の実施例は、これに対して限定しない。

図１は、本発明の実施例によって提供される画像分割方法の模式的なフローチャートであり、図１に示すように、当該方法は、以下のステップを含む。

ステップ１１０において、複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得る。

ここで、処理ブロックは、少なくとも１つの処理ユニットを含み。選択的に、複数の処理ブロック同士の間は、順次に接続でき、複数の処理ブロックはそれぞれ互いに異なる深度に位置し、例えば、複数の処理ブロックのうち任意の処理ブロックの出力端は、次の１つの処理ブロックの入力端と接続されてもよい。

複数の処理ブロックを利用して画像に対して順に特徴抽出処理を実行できる。例えば、複数の処理ブロック中の１番目の処理ブロックは、入力された画像に対して特徴抽出処理を実行して、１番目の処理ブロックによって出力される画像特徴情報を得ることができる。２番目の処理ブロックは、入力された画像に対して特徴情報特徴抽出処理を実行して、第２処理ブロックによって出力された画像特徴情報を得ることができ、ここで、当該２番目の処理ブロックに入力する画像特徴情報は、第１処理ブロックによって出力された画像特徴情報を含んでもよく、または、前記画像をさらに含んでもよいし、等々、複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得ることができる。

１つまたは複数の選択可能な実施例において、複数の処理ブロックの中の処理ブロックＮ１を利用して処理ブロックＮ１の入力情報に対して特徴抽出処理を実行して、処理ブロックＮ１に対応する第１画像特徴情報を得る。ここで、Ｎ１は、１以上の整数である。

第１画像特徴情報を処理ブロックＮ１の次の１つの処理ブロックに入力して特徴抽出処理を実行して、次の１つの処理ブロックによって出力される第２画像特徴情報を得る。

選択的に、処理ブロックＮ１は、複数の処理ブロックの中の１番目の処理ブロックであってもよく、この場合、処理ブロックＮ１の入力情報は、上記の画像または画像の初期画像特徴情報であってもよい。または、処理ブロックＮ１は、複数の処理ブロックの中の２番目の処理ブロック、または、さらに後の処理ブロックであってもよく、この場合、処理ブロックＮ１の入力情報は、前の１つの処理ブロックによって出力された画像特徴情報を含んでもよく、または、当該前の１つの処理ブロックの前に位置する任意の１つまたは複数の処理ブロックによって出力された画像特徴情報をさらに含んでもよく、または、画像をさらに含んでもよい。すなわち、処理ブロックＮ１の入力情報は、画像および／または処理ブロックＮ１の前に位置する１つまたは複数の処理ブロックによって出力された画像特徴情報を含んでもよい。処理ブロックの入力情報が互いに異なる深度の画像特徴情報を含むため、処理ブロックによって出力された画像特徴情報がもう一層多い画像情報を含むようにする。

前方に位置する処理ブロックが得た画像特徴情報に含まれた浅層情報が多いほど、後方に位置する処理ブロックによって出力された画像特徴情報と結合して、画像中の浅層情報と深層情報とをいずれも得ることができる。

選択的に、第１画像特徴情報を処理ブロックＮ１の次の１つの処理ブロックに入力して処理を実行して、次の１つの処理ブロックによって出力される第２画像特徴情報を得ることは、画像および／または少なくとも１つの処理ブロックＮ２によって出力された画像特徴情報および第１画像特徴情報を、処理ブロックＮ１の次の１つの処理ブロックに入力して特徴抽出処理を実行して、次の１つの処理ブロックによって出力される第２画像特徴情報を得ることを含む。ここで、処理ブロックＮ１の入力端は、処理ブロックＮ２の出力端と直接接続または間接接続される。本発明の実施例において、処理ブロックＮ１は、ネットワーク構造上、処理ブロックＮ２の後に位置する。

選択的に、処理ブロックＮ１の次の１つの処理ブロックの入力は、処理ブロックＮ１によって出力された画像特徴情報のみであってもよく、例えば、処理ブロックＮ１が第３処理ブロックであり、処理ブロックＮ１の次の１つの処理ブロックが第４処理ブロックであると、第４処理ブロックの入力は、第３処理ブロックによって出力された画像特徴情報である。

選択的に、処理ブロックＮ１の次の１つの処理ブロックの入力は、処理ブロックＮ１によって出力された画像特徴情報、および、少なくとも１つの処理ブロックＮ２によって出力された画像特徴情報を含み、例えば、処理ブロックＮ１が第３処理ブロックであり、処理ブロックＮ１の次の１つの処理ブロックが第４処理ブロックであり、少なくとも１つの処理ブロックＮ２が第１処理ブロックおよび／または第２処理ブロックを含み、この場合、第４処理ブロックの入力は、第３処理ブロックによって出力された画像特徴情報および第１処理ブロックによって出力された画像特徴情報であるか、または、第３処理ブロックによって出力された画像特徴情報および第２処理ブロックによって出力された画像特徴情報であるか、または、第３処理ブロックによって出力された画像特徴情報、第１処理ブロックによって出力された画像特徴情報、および、第２処理ブロックによって出力された画像特徴情報である。

選択的に、処理ブロックＮ１の次の１つの処理ブロックの入力は、処理ブロックＮ１によって出力された画像特徴情報および画像を含み、または、処理ブロックＮ１の次の１つの処理ブロックの入力は、処理ブロックＮ１によって出力された画像特徴情報、画像、および、少なくとも１つの処理ブロックＮ２によって出力された画像特徴情報を含む。

選択的に、処理ブロックＮ１の次の１つの処理ブロックの入力が、処理ブロックＮ１および少なくとも１つの処理ブロックＮ２によって出力された画像特徴情報を含む場合、これら画像特徴情報を次の１つの処理ブロックに入力する前に、さらに、少なくとも１つの処理ブロックＮ２および処理ブロックＮ１の中の一部または全部の処理ブロックによって出力された画像特徴情報に対して融合処理を実行し、融合処理して得られた画像特徴情報を処理ブロックＮ１の次の１つの処理ブロックに入力してもよい。

少なくとも２つの処理ブロックによって出力された画像特徴情報を１つの処理ブロックに入力する必要がある場合、これら特徴情報に対して融合を実行することによって、処理ブロックが処理するようにする。具体的な融合方式は、ビット単位の加算（要素ごとに加える）、チャンネル単位の重畳、または、その他の方式であり得る。

１つまたは複数の選択可能な実施例において、画像を複数の処理ブロックに入力する前に、さらに、１つまたは複数の畳み込み層を利用して画像に対して特徴抽出処理を実行して、画像の初期特徴情報を得ることができ、これに応じて、画像の初期特徴情報を複数の処理ブロックに入力して順に特徴抽出処理を実行でき、本発明の実施例は、これに対して限定しない。

この場合、処理ブロックＮ１の次の１つの処理ブロックの入力は、画像の初期特徴情報をさらに含んでもよい。選択的に、処理ブロックＮ１の次の１つの処理ブロックの入力が処理ブロックＮ１によって出力された画像特徴情報および画像を含むと想定すると、画像の初期特徴情報と処理ブロックＮ１によって出力された画像特徴情報とに対して融合処理を実行できる。または、処理ブロックＮ１の次の１つの処理ブロックの入力が、処理ブロックＮ１によって出力された画像特徴情報、画像、および、少なくとも１つの処理ブロックＮ２によって出力された画像特徴情報を含むと想定すると、画像の初期特徴情報と、処理ブロックＮ１によって出力された画像特徴情報と、画像と、少なくとも１つの処理ブロックＮ２によって出力された画像特徴情報と、に対して、融合処理を実行でき、等々、本発明の実施例は、これに対して限定しない。

ステップ１２０において、複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力された画像特徴情報に対して少なくとも２段の融合処理を実行して、目標画像特徴情報を得る。

１つまたは複数の選択可能な実施例において、各ペアの隣接する処理ブロックによって出力された画像特徴情報に対して第１段の融合処理を実行して、第１融合特徴情報を得、少なくとも１ペアの隣接する第１融合特徴情報に対して第２段の融合処理を実行して、少なくとも１つの第２融合特徴情報を得、少なくとも１つの第２融合特徴情報に基づいて、目標画像特徴情報を確定する。

本発明の実施例において、複数の処理ブロックは、複数ペアの隣接する処理ブロックに分けられることができ、各ペアの隣接する処理ブロックは、２つの隣接する処理ブロック（すなわち直接接続された２つの処理ブロック）を含み、選択的に、互いに異なるペアの隣接する処理ブロックは、互いに異なる処理ブロックを含み、または、互いに異なるペアの隣接する処理ブロックは、同一の処理ブロックを含まないでもよく、例えば、１番目の処理ブロックと２番目の処理ブロックによって第１ペアの隣接する処理ブロックが構成され、３番目の処理ブロックと４番目の処理ブロックによって第２ペアの隣接する処理ブロックが構成され、等々。

いくつかの実施例において、各ペアの隣接する処理ブロックによって出力された画像特徴情報に対して融合処理を実行することによって（例えば、各ペアの隣接する処理ブロックによって出力された画像特徴情報を要素ごとに加える）、画像特徴情報のペアごとの融合を実現した。

複数ペアの隣接する処理ブロックを有するため、各ペアの処理ブロックの画像特徴情報を融合した後に複数の第１融合特徴情報を得ることができ、この場合、第１融合特徴情報（例えば、２つの第１融合特徴情報または２つ以上の第１融合特徴情報）の中の一部または全部の第２段の融合処理を実行して、１つの第２融合特徴情報を得、当該第２融合特徴情報を目標画像特徴情報とすることができる。または、複数の第１融合特徴情報に対してペアごとの隣接融合を実行して、複数の第２融合特徴情報を得ることができ、この場合、選択的に、後続融合処理によって得られた後続融合特徴情報の数が１つになるまで、複数の第２融合特徴情報に対して後続融合処理を実行でき、数が１つである後続融合特徴情報を目標画像特徴情報とする。

この場合の後続融合処理は、第２融合特徴情報をペアごとに融合（例えば、２つの第２融合特徴情報を要素ごとに加える）し、ペアごとに融合した後に得られた後続融合特徴情報は少なくとも１つまたは複数であり、後続融合特徴情報の数が１つであると、当該後続融合特徴情報を目標画像特徴情報とする。当後続融合特徴情報の数が複数であると、後続融合処理によって得られた後続融合特徴情報の数が１つになるまで、当該後続融合特徴情報を継続的にペアごとに融合（例えば、２つの後続融合特徴情報を要素ごとに加える）し、当該後続融合特徴情報（１つになった後続融合特徴情報）を目標画像特徴情報とする。例えば、８個の処理ブロックを含み、１段の融合を通じて４個の第１融合特徴情報を得、２段の融合を通じて２個の第２融合特徴情報を得、３段の融合を通じて１つの後続融合特徴情報を得、当該後続融合特徴情報を目標画像特徴情報とする。

細部情報をさらに処理するために、本発明の実施例では、高密度融合（Ｄｅｎｓｅ Ｆｕｓｉｏｎ）構造を提案し、互いに異なる深度の層（Ｌａｙｅｒ）をペアごとに融合し、要素ごとに和を求めて（Ｅｌｅｍｅｎｔ－ｗｉｓｅ Ｓｕｍ）融合を実行し、最後の１層までに再帰的に融合する。高密度融合構造によって、ネットワークがもう一層多い深層と浅層の情報を取得できるようにして、細部的の精確な分割に有利である。

理解すべきことは、上記の説明では、処理ブロックを２つ単位に段ごとに融合する例を挙げて説明したが、本発明の実施例において、隣接する３つまたはさらに多い数の処理ブロックを単位として段ごとに融合を実行でき、本発明の実施例は、これに対して限定しない。

ステップ１３０において、目標画像特徴情報に基づいて画像の目標対象分割結果を確定する。

本発明の上記の実施例によって提供される画像の目標対象分割方法によると、複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得、複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力された画像特徴情報に対して少なくとも２段の融合処理を実行して、目標画像特徴情報を得、目標画像特徴情報に基づいて画像の目標対象分割結果を確定し、隣接された画像特徴情報の少なくとも２段の融合によって、もう一層多い情報を得て、画像中の目標対象のより精確な分割に有利である。

選択的に、特徴情報は、３次ベクトルであってもよく、例えば、複数の２次元マトリックスを含む。または、少なくとも１つのチャンネルを有する特徴マップを含み、各々の特徴マップは、１つの２次元ベクトルに対応されてもよく、本発明の実施例は、これに対して限定しない。

１つまたは複数の選択可能な実施例において、処理ブロックは、１つまたは複数の処理ユニットを含んでもよく、各々の処理ユニットは、処理ブロックの入力情報に対して特徴抽出処理を実行できる。例えば、各々の処理ユニットは、１つまたは複数の畳み込み層を含んでもよいし、または、他の層をさらに含んでもよい。例えばバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、ＢＮ）層、活性化層などの中の１種または任意の組み合わせをさらに含んでもよい。または、処理ブロックは、処理ユニットの後に位置する他のユニットを含んでもよく、例えば、解像度下げ層、特徴ズーム層、ＢＮ層、活性化層の中の任意の１種または組み合わせを含んでもよい。

１つまたは複数の選択的な実施例において、処理ユニットは、少なくとも１つの特徴抽出層および特徴調整層を含み、

ステップ１１０は、処理ユニット中の少なくとも１つの特徴抽出層を利用して処理ユニットの入力情報に対して特徴抽出処理を実行して、第１特徴情報を得、処理ユニット中の特徴調整層を利用して第１特徴情報に対して調整処理を実行して、処理ユニットによって出力される画像特徴情報を得ることを含んでもよい。

選択的に、各ペアの前記隣接する処理ブロックによって出力された画像特徴情報は、同一の大きさおよび同一のチャンネル数を有する。画像特徴情報同士の間のペアごとの融合を実現するためには、各ペアの隣接する処理ブロックによって出力される画像特徴情報が同一の大きさおよび同一のチャンネル数を有することを必要とする。本発明の実施例においては、処理ユニット中に特徴情報の大きさおよびチャンネル数を調整するための１つの特徴調整層を追加することで実現し、当該特徴調整層は、処理ユニット内に配置されてもよいし、単独的に配置されてもよく、本発明の実施例は、特徴調整層の位置に対して限定しない。１つの選択可能な例において、各々の処理ユニットは、少なくとも１つの特徴抽出層（例えば、畳み込み層、標準化層ＢＮ、および、活性化層ＲｅＬＵなど）および特徴調整層（例えば、畳み込み層、標準化層ＢＮ、および、活性化層ＲｅＬＵなど）を含んでもよい。図２は、本発明の実施例によって提供される画像分割方法中の処理ブロックの１例示的な構造図である。図２に示すように、処理ブロック（Ｄｅｎｓｅ Ｂｌｏｃｋ）は、複数の処理ユニット（Ｌａｙｅｒ Ｕｎｉｔ）を含み、各々の処理ユニットは、３つ畳み込み層を含み、各々の畳み込み層の後にはそれぞれ１つのバッチ正規化層（ＢＮ）および１つの活性化層（ＲｅＬＵ）が接続され、ここで、前の２つの畳み込み層によって出力された特徴マップを次の１つの処理ユニットに入力し、傍らへ出力する畳み込み層を特徴調整層とする。当該特徴調整層は２番目の畳み込み層によって出力された特徴マップに対して大きさおよびチャンネルの調整を実行するによって、出力される特徴情報（例えば、特徴マップ）が他の処理ユニットによって出力される特徴情報大きさおよびチャンネル数と同一になるようにして、特徴情報の融合の用意をする。

１つまたは複数の選択可能な実施例において、ステップ１２０の前に、複数の処理ブロックの中の処理ブロックＭ１によって出力された画像特徴情報に対して特徴縮小処理を実行し、複数の処理ブロックの中の処理ブロックＭ２によって出力された画像特徴情報に対して特徴拡張処理を実行するステップをさらに含んでもよい。ここで、処理ブロックＭ２の入力端は、処理ブロックＭ１の出力端と直接接続または間接接続され、または、処理ブロックＭ２によって出力された画像特徴情報は、少なくとも一部的に、処理ブロックＭ１によって出力された画像特徴情報に基づいて得られたものである。

一般的に、ニューラルネットワークで、上層の処理ブロックによって得られる画像特徴情報は、経過した処理層の数がより少ないため、含まれた画像情報がより少ないが、下層の処理ブロックによって得られる画像特徴情報は、経過した処理層の数がより多いため、含まれた画像情報がより多い。したがって、選択的に、ペアごとに融合する場合、隣接する処理ブロックに対応する画像特徴情報が浅層特徴であると、隣接する処理ブロックの中の下方に位置する処理ブロックによって出力された画像特徴情報に対して特徴縮小処理を実行し（例えば、ダウンサンプリング処理）、隣接する処理ブロックに対応する画像処理特徴が深層特徴であると、隣接する処理ブロックの中の上方に位置する処理ブロックによって出力された画像特徴情報に対して特徴拡張処理を実行する（例えば、補間処理などの、双線形補間処理であり得る）。

１つまたは複数の選択可能な実施例において、本発明の実施例処理の画像は、リモートセンシング画像であり得、この場合、目標対象は、土地であり、すなわち、本発明の上記の実施例の方法は、リモートセンシング画像による土地に対する分割を実現する。例えば、リモートセンシング画像中の土地を、森林、草地、都市、農地などに分割する。

本発明の上記の実施例によって提供される画像分割方法を適用する場面は、土地計画、土地使用モニタリング、土地現状調査などを含むが、これらに限定されない。

１つまたは複数の選択可能な実施例において、本発明の実施例の画像分割方法は、分割ニューラルネットワークを利用して実現され、画像は、土地サンプル画像である。

本発明の実施例の画像分割方法は、サンプル画像の目標対象分割結果およびサンプル画像のラベル情報に基づいて、分割ニューラルネットワークをトレーニングするステップをさらに含む。

もう一層精確な画像分割結果を得るために、画像分割を実現する分割ニューラルネットワークに対してトレーニングを実行し、トレーニングを通じて当該ネットワークの特定目標対象（例えば、土地）に対する分割タスクの精確性を向上させる必要がある。

選択的に、サンプル画像は、土地サンプル画像であり、本発明の実施例の方法は、分割ニューラルネットワークを利用して道路サンプル画像に対して処理を実行して、道路サンプル画像の分割結果を得るステップと、

土地サンプル画像の目標対象予測結果および道路サンプル画像の分割結果に基づいて、分割ニューラルネットワークのパラメータを調整するステップと、をさらに含む。

伝統的なＣＮＮによって土地画像（例えば、リモートセンシング画像）に対して分割を実行する場合、中間レベルの構造情報が欠落されることになり、構造情報は、画像分割の支援および分類に対して重要な役割を果たす。例えば、土地被覆タイプの分類の場合、リモートセンシング画像はより大きいシーンをカバーし、シーンが解像度の制限および影響を受ける同時に、ラベルによってもたらさせるノイズも画像の分割に大きい影響を与える。それで、土地画像の構造情報をどのように効率的且つ精確に取得するかが、分割問題を解決するキーポイントになっている。本発明の実施例によって提案される分割ニューラルネットワークは、道路データを導入してトレーニングを実行し、土地画像の構造欠落問題を補い、細部情報を改善した。

土地被覆のリモートセンシング画像の場合、画像のスケールがより大きく、含まれたシーンが多く、乱雑し、滑らかな境界線がないし、また、土地被覆自身に明確に定量化された境界線がないため、ラベル付けがあいまいになる。伝統的なＣＮＮは、シーンがより大きいリモートセンシング画像に対して構造情報を取得することが困難であり、分割効果がより低くなる。本発明の実施例は、既に取得した道路データを支援データとして利用してネットワークのトレーニングを支援することを提案する。道路データには、明確な構造特徴が存在し、土地被覆中に、いくつかの道路データが存在することになる。また、互いに異なる土地タイプで、道路の分布は互いに異なる状態を現す。したがって、この考えに基づいて、分割ニューラルネットワーク（例えば、高密度融合クラスメートネットワーク、Ｄｅｎｓｅ Ｆｕｓｉｏｎ Ｃｌａｓｓｍａｔｅ Ｎｅｔｗｏｒｋ、ＤＦＣＮｅｔ）によって土地と道路の情報を同時に取得することで、道路が土地の分類を支援するようにする。道路データは、土地被覆と比較すると取得がもっと容易であり、ラベル付けも簡単であるため、実際の適用において、より少ないし且つラベル付けがより難しい土地被覆データに対して、ラベル付けが容易な一部の道路データを利用して、土地被覆タイプの分類を支援できる。

選択的に、目標画像特徴情報は、混合特徴情報に基づいて得られたものであり、前記混合特徴情報は、前記分割ニューラルネットワークにより前記土地サンプル画像および前記道路サンプル画像に対してバッチ処理を実行して得られたものである。

得られたサンプル画像セットが分割ニューラルネットワークの処理を通じて対応される目標サンプル画像特徴情報セットが得られた後、土地サンプル画像と道路画像とを区分するために、本発明の実施例においては、スライス層（ｓｌｉｃｅ）によって、土地サンプル画像に対応する目標サンプル画像特徴情報と、道路画像に対応する目標サンプル画像特徴情報と、を区分し、具体的な区分は、土地サンプル画像および道路画像を入力する順序にしたがって実行できる。

選択的に、土地サンプル画像の目標対象予測結果および道路サンプル画像の分割結果に基づいて、分割ニューラルネットワークのパラメータを調整するステップは、土地サンプル画像の目標対象予測結果および土地サンプル画像のラベル情報に基づいて第１損失を得るステップと、道路サンプル画像の分割結果および道路サンプル画像のラベル情報に基づいて第２損失を得るステップと、第１損失および第２損失に基づいて分割ニューラルネットワークのパラメータを調整するステップと、を含む。

選択的に、第１損失および第２損失を加重和して、総損失を得、総損失に基づいて分割ニューラルネットワークのパラメータを調整する。第１損失および第２損失を加重和することによって、分割ニューラルネットワークのパラメータを調整し、当該加重和する重み値は、予め設定するか、または、実験または複数回のトレーニングによって得ることができ、一般的に、第１損失の重み値は、第２損失の重み値よりも大きく、例えば、第１損失の重み値／第２損失の重み値は、８：７であり、本発明の実施例は、具体的な重み値の大きさに対して限定しない。

本発明の実施例において、道路データを利用して土地分類の構造欠落情報を補い、分割ニューラルネットワークの土地分割タスクに対する精確性を向上させた。取得が容易であり且つラベル付けが容易である道路データを利用して、道路データを追加して分割を実行した後、土地被覆分類の効率および精確率を向上させることができる。また、細部の処理もより完璧になる。

１つまたは複数の選択可能な実施例において、ステップ１１０の前に、パラメータを設定することによって、サンプル画像に対して、サンプル画像の大きさの調整、サンプル画像の角度の回転、サンプル画像の明るさの変更の中の少なくとも１種の強化処理を実行するステップをさらに含んでもよく、ステップ１１０は、複数の処理ブロックを利用して少なくとも１種の強化処理の後の画像に対して特徴抽出処理を実行して、複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップを含んでもよい。

本発明の実施例は、データ強化処理を実現し、上記の少なくとも１つのパラメータを調整することによって、もう一層多いサンプル画像を得ることができ、また、サンプル画像の表示効果を向上させて、よりよいトレーニング効果を得る。例えば、ネットワークトレーニングデータのトリミング大きさは、５１３ｘ５１３であり、道路データ画像に対するランダム調整大きさ（ｒｅｓｉｚｅ）の値の範囲は、［０．５，１．５］であり、土地分類画像に対するランダムｒｅｓｉｚｅの値の範囲は、［０．８，１．２５］である。道路および土地データに対するランダム回転（ｒｏｔａｔｅ）範囲は、［－１８０，１８０］であり、明るさ調整（ｃｏｌｏｒ ｊｉｔｔｅｒ）パラメータは、０．３である。

１つまたは複数の選択可能な実施例において、ステップ１１０の前に、所定の大きさのトリミング枠を利用して画像をトリミングして、少なくとも１つのトリミング画像を得るステップをさらに含んでもよく、ステップ１１０は、複数の処理ブロックを利用してトリミング画像に対して特徴抽出処理を実行して、複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップを含んでもよい。

本発明の実施例は、データ前処理を実現し、もう一層多い情報を取得して、ネットワークの受容フィールドを増やして、トレーニング過程全体を加速するためには、トリミングによってサンプル画像の大きさを縮小できる。例えば、２４４８ｘ２４４８の土地データを１０２４ｘ１０２４大きさにトリミングし、この場合、１つの土地データに対してトリミングを実行して、複数のサンプルデータを得る。ネットワークのトレーニング過程でトレーニングデータのトリミングサイズを大きくして、ネットワークの多いシーン情報の抽出を支援し、分割の効果を向上させる。

細部情報をさらに処理するために、本発明の実施例は、高密度融合構造を提案する。互いに異なる深度のＬａｙｅｒをペアごとに融合し、Ｅｌｅｍｅｎｔ－ｗｉｓｅ Ｓｕｍを通じて融合を実行し、最後の１層までに再帰的に融合する。高密度融合構造によって、ネットワークがもう一層多い深層と浅層の情報を取得できるようにして、細部的の精確な分割に有利である。同時融合は、ネットワークの逆方向伝播（ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ）が、より良く且つより速く、より浅い層のＬａｙｅｒにリターンするようにし、ネットワークのより良い監視に有利である。

図３は、本発明の実施例によって提供される画像分割方法中の分割ニューラルネットワークのトレーニング過程での１例示的な構造の模式図である。図３に示すように、道路データとサンプル土地データとをｃｏｎｃａｔ層を介して一緒に結合させ、０次元上で結合させる。分割ニューラルネットワーク（ＤＦＣＮｅｔ）全体の構造図は、図３に示すように、ｃｏｎｖ１は、畳み込み層であり、Ｄｅｎｓｅ Ｂｌｏｃｋ２～Ｄｅｎｓｅ Ｂｌｏｃｋ９は、処理ブロックであり、互いに異なる数の処理ユニットを含む。図面には、パラメータに対する説明がある。Ｄｅｎｓｅ Ｂｌｏｃｋ２の例で、ｌ＝６は、ＤｅｎｓｅＢｌｏｃｋ２が６個の処理ユニットを含むことを表す。Ｃｏｎｖ＿ＴＤは、ダウンサンプリング操作を表し、（１２８，１＊１，０，１）は、畳み込みチャンネル数が１２８であり、畳み込みカーネルサイズが１＊１であり、ｐａｄｄｉｎｇの値が０であり、ステップサイズが１であることを表す。

Ｐｏｏｌｉｎｇ１、２、３、４は、プーリング層であり、策略は、平均プーリングであり、プーリング区間は、２ｘ２であり、Ｉｎｔｅｒｐ５、６、７、８は、アップサンプリング過程であり、双線形補間によって特徴を２倍に拡大する。

各々のＤｅｎｓｅ Ｂｌｏｃｋには、いずれも、いくつかの処理ユニットＬａｙｅｒ Ｕｎｉｔが含まれ、各々の処理ユニットには、いずれも、２つの畳み込み層ｃｏｎｖ＿ｘ１／ｃｏｎｖ＿ｘ２（図２に示す）を含まれ、後方にはそれぞれＢＮ層およびＲＵＬＵ層が接続される。Ｃｏｎｖ＿ｘ１の畳み込みカーネルの数は、６４であり、ｃｏｎｖ＿ｘ２畳み込みカーネルの数は、１６である。Ｃｏｎｖ＿２ｘの後方には、１つのｃｏｎｖ＿ｆ畳み込み層が接続されて、特徴融合過程での特徴に対して統合を実行する。

図３の右側の部分が表すのは互いに異なるＤｅｎｓｅ Ｂｌｏｃｋ同士の間の特徴融合過程であり、画素がより低いＤｅｎｓｅ Ｂｌｏｃｋの後方には１つの補間層（Ｉｎｔｅｒｐ）が接続され、画素がより高いＤｅｎｓｅ ＢｌｏｃｋとＥｌｅｍｅｎｔ－ｗｉｓｅ和の求めを実行する。最終に、最後の１層まで融合し、最後の１つの特徴融合層上にｓｌｉｃｅ層を追加して、道路と土地データを分けて、それぞれ予測する。

土地分類タスクと、前の経典的なＦＣ－ＤｅｎｓｅＮｅｔネットワーク構造とを、比較する。畳み込みネットワークの最と深い層で、特徴マップを記憶する。図４は、本発明の実施例とＦＣ－ＤｅｎｓｅＮｅｔとの分割効果の比較の１つの示例図である。図４に示すように、（ａ）は、伝統的なＦＣ－ＤｅｎｓｅＮｅｔ分割の結果を表し、（ｂ）は、本発明の実施例の分割の結果を表し、道路データを導入したＤＦＣＮｅｔの場合、特徴上でより良い構造情報を有することができる。都市、農地、および、草地の方で、分割をより良く支援できる。

分割効果の場合、図５は、本発明の実施例とＦＣ－ＤｅｎｓｅＮｅｔおよびＣｌａｓｓｍａｔｅＮｅｔ構造との分割効果の比較の１つの示例図である。図５に示すように、（ａ）は、ＦＣ－ＤｅｎｓｅＮｅｔ構造分割の結果を表し、（ｂ）は、ＣｌａｓｓｍａｔｅＮｅｔ構造分割の結果を表し、（ｃ）は、本発明の実施例のＤＦＣＮｅｔ構造分割の結果を表す。高密度融合構造を導入しなかったＣｌａｓｓｍａｔｅＮｅｔは、経典的なＦＣ－ＤｅｎｓｅＮｅｔと比較すると、分割の方で効果がより良く、ＤＦＣＮｅｔは、高密度融合Ｄｅｎｓｅ Ｆｕｓｉｏｎ構造を導入しなかったＣｌａｓｓｍａｔｅＮｅｔと比較すると、細部の方で更なる改善を有する。

当業者は、上記の方法の実施例を実現する全部または一部のステップは、プログラム命令に関連するハードウェアによって完成でき、前述したプログラムは、コンピュータ可読取記憶媒体に記憶でき、当該プログラムが実行されるときに、上記の方法の実施例のステップが実行され、前述した記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク、または、光ディスクなどの、プログラムコードを記憶できる様々な媒体を含むことを理解できる。

図６は、本発明の実施例によって提供される画像分割装置の構造の模式図である。当該装置は、本発明の上記の各方法の実施例の実現に用いられることができる。図６に示すように、当該装置は、以下のモジュールを備える。

画像処理モジュール６１は、複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得る。

融合モジュール６２は、複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力された画像特徴情報に対して少なくとも２段の融合処理を実行して、目標画像特徴情報を得る。

分割モジュール６３は、目標画像特徴情報に基づいて画像の目標対象分割結果を確定する。

処理ブロックは、少なくとも１つの処理ユニットを含み。選択的に、複数の処理ブロック同士の間は、順次に接続でき、ここで、複数の処理ブロックは、それぞれ互いに異なる深度に位置することができ、例えば、複数の処理ブロック中の任意の処理ブロックの出力端は、次の１つの処理ブロックの入力端と接続できる。

融合モジュール６２は、具体的に、各ペアの隣接する処理ブロックによって出力された画像特徴情報に対して第１段の融合処理を実行して、第１融合特徴情報を得、少なくとも１ペアの隣接する第１融合特徴情報に対して第２段の融合処理を実行して、少なくとも１つの第２融合特徴情報を得、少なくとも１つの第２融合特徴情報に基づいて、目標画像特徴情報を確定する。

本発明の実施例において、複数の処理ブロックは、複数ペアの隣接する処理ブロックに分けられ、各ペアの隣接する処理ブロックは、２つの隣接する処理ブロック（すなわち直接接続された２つの処理ブロック）を含み、選択的に、互いに異なるペアの隣接する処理ブロックは、互いに異なる処理ブロックを含み、または、互いに異なるペアの隣接する処理ブロックは、同一の処理ブロックを含まないでもよく、例えば、１番目の処理ブロックと２番目の処理ブロックによって第１ペアの隣接する処理ブロックが構成され、３番目の処理ブロックと４番目の処理ブロックによって第２ペアの隣接する処理ブロックが構成され、等々。

融合モジュール６２は、具体的に、後続融合処理によって得られた後続融合特徴情報の数が１つになるまで、少なくとも１つの第２融合特徴情報に対して後続融合処理を実行し、数が１つである後続融合特徴情報を目標画像特徴情報とする。

融合モジュール６２は、具体的に、各ペアの前記隣接する処理ブロックによって出力された画像特徴情報に対して融合処理を実行する過程において、各ペアの前記隣接する処理ブロックによって出力された画像特徴情報を要素ごとに加える。

細部情報をさらに処理するために、本発明の実施例においては、高密度融合構造を提案する。互いに異なる深度の層（Ｌａｙｅｒ）をペアごとに融合し、要素ごとに和を求めて融合を実行し、最後の１層までに再帰的に融合する。高密度融合構造によって、ネットワークがもう一層多い深層と浅層の情報を取得できるようにして、細部的の精確な分割に有利である。

本発明の上記の実施例によって提供される画像分割装置によると、複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得、複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力された画像特徴情報に対して少なくとも２段の融合処理を実行して、目標画像特徴情報を得、目標画像特徴情報に基づいて画像の目標対象分割結果を確定し、隣接された画像特徴情報の少なくとも２段の融合によって、もう一層多い情報を得て、画像中の目標対象のより精確な分割に有利である。

１つまたは複数の選択可能な実施例において、複数の処理ブロック同士の間は、順次に接続されるか、および／または、各ペアの前記隣接する処理ブロックによって出力された画像特徴情報は、同一の大きさおよび同一のチャンネル数を有する。画像特徴情報同士の間のペアごとの融合を実現するためには、各ペアの隣接する処理ブロックによって出力される画像特徴情報が同一の大きさおよび同一のチャンネル数を有することを必要とする。本発明の実施例においては、処理ユニット中に特徴情報の大きさおよびチャンネル数を調整するための１つの特徴調整層を追加することで実現し、当該特徴調整層は、処理ユニット内に配置されてもよいし、単独的に配置されてもよく、本発明の実施例は、特徴調整層の位置に対して限定しない。１つの選択可能な例において、各々の処理ユニットは、少なくとも１つの特徴抽出層（例えば、畳み込み層、標準化層ＢＮ、および、活性化層ＲｅＬＵなど）および１つの特徴調整層（例えば、畳み込み層、標準化層ＢＮ、および、活性化層ＲｅＬＵなど）を含んでもよい。

１つまたは複数の選択可能な実施例において、処理ブロックは、１つまたは複数の処理ユニットを含んでもよく、各々の処理ユニットは、入力情報に対して特徴抽出処理を実行できる。例えば、各々の処理ユニットは、１つまたは複数の畳み込み層を含んでもよいし、または、他の層をさらに含んでもよい。例えばバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、ＢＮ）層、活性化層などの中の１種または任意の組み合わせをさらに含んでもよい。または、処理ブロックは、処理ユニットの後に位置する他のユニットを含んでもよく、例えば、解像度下げ層、特徴ズーム層、ＢＮ層、活性化層の中の任意の１種または組み合わせを含んでもよい。

１つまたは複数の選択可能な実施例において、処理ユニットは、少なくとも１つの特徴抽出層および特徴調整層を含み、画像処理モジュール６１は、具体的に、処理ユニット中の少なくとも１つの特徴抽出層を利用して処理ユニットの入力情報に対して特徴抽出処理を実行して、第１特徴情報を得、処理ユニット中の特徴調整層を利用して第１特徴情報に対して調整処理を実行して、処理ユニットによって出力される画像特徴情報を得る。

１つまたは複数の選択可能な実施例において、特徴画像処理モジュールをさらに備え、当該特徴画像処理モジュールは、前記複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力された画像特徴情報に対して少なくとも２段の融合処理を実行して目標画像特徴情報を得る前に、複数の処理ブロックの中の処理ブロックＭ１によって出力された画像特徴情報に対して特徴縮小処理を実行し、複数の処理ブロックの中の処理ブロックＭ２によって出力された画像特徴情報に対して特徴拡張処理を実行し、ここで、処理ブロックＭ２の入力端は処理ブロックＭ１の出力端と直接接続または間接接続され、または、処理ブロックＭ２によって出力された画像特徴情報は、少なくとも一部的に、処理ブロックＭ１によって出力された画像特徴情報に基づいて得られたものである。

一般的に、ニューラルネットワークで、上層の処理ブロックによって得られる画像特徴情報は、経過した処理層の数がより少ないため、含まれた画像情報がより少ないが、下層の処理ブロックによって得られる画像特徴情報は、経過した処理層の数がより多いため、含まれた画像情報がより多い。したがって、選択的に、ペアごとに融合する場合、隣接する処理ブロックに対応する画像特徴情報が浅層特徴であると、隣接する処理ブロックの中の下方に位置する処理ブロックによって出力された画像特徴情報に対して特徴縮小処理を実行し（例えば、ダウンサンプリング処理など）、隣接する処理ブロックに対応する画像処理特徴が深層特徴であると、隣接する処理ブロックの中の上方に位置する処理ブロックによって出力された画像特徴情報に対して特徴拡張処理を実行する（例えば、補間処理などの、双線形補間処理であり得る）。

１つまたは複数の選択可能な実施例において、画像処理モジュール６１は、具体的に、複数の処理ブロックの中の処理ブロックＮ１を利用して処理ブロックＮ１の入力情報に対して特徴抽出処理を実行して、処理ブロックＮ１に対応する第１画像特徴情報を得、第１画像特徴情報を処理ブロックＮ１の次の１つの処理ブロックに入力して特徴抽出処理を実行して、次の１つの処理ブロックによって出力される第２画像特徴情報を得る。ここで、処理ブロックＮ１の入力情報は、画像、および／または、処理ブロックＮ１の前に位置する少なくとも１つの処理ブロックによって出力された画像特徴情報を含み、Ｎ１は、１以上の整数である。

選択的に、処理ブロックＮ１は、複数の処理ブロックの中の１番目の処理ブロックであってもよく、この場合、処理ブロックＮ１の入力情報は、画像または画像の初期特徴情報であってもよく、または、処理ブロックＮ１は、複数の処理ブロックの中の２番目の処理ブロック、または、さらに後の処理ブロックであってもよく、この場合、処理ブロックＮ１の入力情報は、前の１つの処理ブロックによって出力された画像特徴情報を含んでもよく、または、当該前の１つの処理ブロックの前に位置する任意の１つまたは複数の処理ブロックによって出力された画像特徴情報をさらに含んでもよく、または、画像をさらに含んでもよい。すなわち、処理ブロックＮ１の入力情報は、画像および／または処理ブロックＮ１の前に位置する１つまたは複数の処理ブロックによって出力された画像特徴情報を含んでもよい。処理ブロックの入力情報が互いに異なる深度の画像特徴情報を含むため、処理ブロックによって出力された画像特徴情報がもう一層多い画像情報を含むようにする。

前方に位置する処理ブロックが得た画像特徴情報に含まれた浅層情報が多いほど、後方に位置する処理ブロックによって出力された画像特徴情報と結合して、画像中の浅層情報と深層情報とをいずれも得ることができる。

選択的に、画像処理モジュール６１は、具体的に、画像および／または少なくとも１つの処理ブロックＮ２によって出力された画像特徴情報および第１画像特徴情報を、処理ブロックＮ１の次の１つの処理ブロックに入力して特徴抽出処理を実行して、次の１つの処理ブロックによって出力される第２画像特徴情報を得、ここで、処理ブロックＮ１の入力端は、処理ブロックＮ２の出力端と直接接続または間接接続される。

選択的に、画像処理モジュール６１は、さらに、前記画像および／または少なくとも１つの処理ブロックＮ２によって出力された画像特徴情報および前記第１画像特徴情報を、前記処理ブロックＮ１の次の１つの処理ブロックに入力して特徴抽出処理を実行する前に、少なくとも１つの処理ブロックＮ２によって出力された画像特徴情報に対して融合処理を実行し、融合処理して得られた画像特徴情報を処理ブロックＮ１の次の１つの処理ブロックに入力する。

選択的に、上記の画像の目標対象分割装置は、特徴抽出モジュールをさらに備え、当該特徴抽出モジュールは、複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得る前に、畳み込み層を利用して画像に対して特徴抽出処理を実行して、画像の初期特徴情報を得、画像の初期特徴情報を複数の処理ブロックに入力して特徴抽出処理を実行する。

本発明の実施例処理の画像は、リモートセンシング画像であり得、この場合、目標対象は、土地であり、すなわち、本発明の上記の実施例の方法は、リモートセンシング画像による土地に対する分割を実現する。例えば、リモートセンシング画像中の土地を、森林、草地、都市、農地などに分割する。

本発明の上記の実施例によって提供される画像分割装置土地計画、土地使用モニタリング、土地現状調査などに適用できるが、これらに限定されない。

１つまたは複数の選択可能な実施例において、本発明の実施例画像分割装置は、分割ニューラルネットワークを利用して実現され、画像は、土地サンプル画像であり、本発明の実施例画像の目標対象分割装置は、トレーニングモジュールをさらに備え、当該トレーニングモジュールは、分割ニューラルネットワークを利用して道路サンプル画像に対して処理を実行して、道路サンプル画像の分割結果を得、土地サンプル画像の目標対象予測結果および道路サンプル画像の分割結果に基づいて、前記分割ニューラルネットワークのパラメータを調整する。

より精確な目標対象分割結果を得るためには、画像分割を実現する分割ニューラルネットワークに対してトレーニングを実行し、トレーニングを通じて当該ネットワークの特定目標対象（例えば、土地）に対する分割タスクの精確性を向上させる必要がある。

伝統的なＣＮＮによって土地画像（例えば、リモートセンシング画像）に対して分割を実行する場合、中間レベルの構造情報が欠落されることになり、構造情報は、画像分割の支援および分類に対して重要な役割を果たす。それで、土地画像の構造情報をどのように効率的且つ精確に取得するかが、分割問題を解決するキーポイントになっている。本発明の実施例によって提案される分割ニューラルネットワークは、道路データを導入してトレーニングを実行し、土地画像の構造欠落問題を補い、細部情報を改善した。

土地被覆のリモートセンシング画像の場合、画像のスケールがより大きく、含まれたシーンが多く、乱雑し、滑らかな境界線がないし、また、土地被覆自身に明確に定量化された境界線がないため、ラベル付けがあいまいになる。伝統的なＣＮＮは、シーンがより大きいリモートセンシング画像に対して構造情報を取得することが困難であり、分割効果がより低くなる。本発明の実施例は、既に取得した道路データを支援データとして利用してネットワークのトレーニングを支援することを提案する。道路データには、明確な構造特徴が存在し、土地被覆中に、いくつかの道路データが存在することになる。また、互いに異なる土地タイプで、道路の分布は互いに異なる状態を現す。したがって、この考えに基づいて、分割ニューラルネットワーク（例えば、高密度融合クラスメートネットワーク）を利用して土地と道路の情報を同時に取得することで、道路が土地の分類を支援するようにする。道路データは、土地被覆と比較すると取得がもっと容易であり、ラベル付けも簡単であるため、実際の適用において、より少ないし且つラベル付けがより難しい土地被覆データに対して、ラベル付けが容易な一部の道路データを利用して、土地被覆タイプの分類を支援できる。

選択的に、目標画像特徴情報は、混合特徴情報に基づいて得られたものであり、混合特徴情報は、分割ニューラルネットワークにより土地サンプル画像および道路サンプル画像に対してバッチ処理を実行して得られたものである。

選択的に、トレーニングモジュールは、具体的に、土地サンプル画像の目標対象予測結果および土地サンプル画像のラベル情報に基づいて第１損失を得、道路サンプル画像の分割結果および道路サンプル画像のラベル情報に基づいて第２損失を得、第１損失および第２損失に基づいて分割ニューラルネットワークのパラメータを調整する。

選択的に、トレーニングモジュールは、具体的に、第１損失および第２損失を加重和して、総損失を得、総損失に基づいて分割ニューラルネットワークのパラメータを調整する。

１つまたは複数の選択可能な実施例において、強化画像処理モジュールをさらに備えてもよく、当該強化画像処理モジュールは、複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得る前に、パラメータを設定することによって、サンプル画像に対して、サンプル画像の大きさの調整、サンプル画像の角度の回転、サンプル画像の明るさの変更の中の少なくとも１種の強化処理を実行する。

画像処理モジュール６１は、具体的に、複数の処理ブロックを利用して少なくとも１種の強化処理の後の画像に対して特徴抽出処理を実行して、複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得る。

本発明の実施例は、データ強化処理を実現し、上記の少なくとも１つのパラメータを調整することによって、もう一層多いサンプル画像を得ることができ、また、サンプル画像の表示効果を向上させて、よりよいトレーニング効果を得る。例えば、ネットワークトレーニングデータのトリミング大きさは、５１３ｘ５１３であり、道路データ画像に対するランダム調整大きさの値の範囲は、［０．５，１．５］であり、土地分類画像に対するランダムｒｅｓｉｚｅの値の範囲は、［０．８，１．２５］である。道路および土地データに対するランダム回転範囲は、［－１８０，１８０］であり、明るさ調整パラメータは、０．３である。

１つまたは複数の選択可能な実施例において、上記の画像の目標対象分割装置は、前処理モジュールをさらに備えてもよく、前記前処理モジュールは、複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得る前に、所定の大きさのトリミング枠を利用して画像をトリミングして、少なくとも１つのトリミング画像を得る。

画像処理モジュール６１は、具体的に、複数の処理ブロックを利用してトリミング画像に対して特徴抽出処理を実行して、複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得る。

本発明の実施例は、データ前処理を実現し、もう一層多い情報を取得して、ネットワークの受容フィールドを増やして、トレーニング過程全体を加速するためには、トリミングによってサンプル画像の大きさを縮小できる。例えば、２４４８ｘ２４４８の土地データを１０２４ｘ１０２４大きさにトリミングし、この場合、１つの土地データに対してトリミングを実行して、複数のサンプルデータを得る。ネットワークのトレーニング過程でトレーニングデータのトリミングサイズを大きくして、ネットワークの多いシーン情報の抽出を支援し、分割の効果を向上させる。

図７は、本発明の実施例によって提供される土地分割ニューラルネットワークのトレーニング方法の例示的なフローチャートである。図７に示すように、当該方法は、以下のステップを含む。

ステップ７１０において、少なくとも１つの土地サンプル画像および少なくとも１つの道路サンプル画像を土地分割ニューラルネットワークに入力して、少なくとも１つの土地サンプル画像の予測分割結果および少なくとも１つの道路サンプル画像の予測分割結果を得る。

ステップ７２０において、少なくとも１つの土地サンプル画像の予測分割結果および少なくとも１つの道路サンプル画像の予測分割結果に基づいて、土地分割ニューラルネットワークのパラメータを調整する。

土地画像の場合、一般的に、スケールがより大きく、含まれたシーンが多く、乱雑し、滑らかな境界線がないし、また、土地被覆自身に明確に定量化された境界線がないため、ラベル付けがあいまいになる。伝統的なＣＮＮは、シーンがより大きい土地画像に対して構造情報を取得することが困難であり、分割効果がより低くなる。

本発明の実施例においては、ラベル情報を有する道路データを支援データとして利用して土地分割ニューラルネットワークのトレーニングを支援することを提案する。道路データには、明確な構造特徴が存在し、土地被覆中に、いくつかの道路データが存在することになる。また、互いに異なる土地タイプで、道路の分布は互いに異なる状態を現す。したがって、この考えに基づいて、土地分割ニューラルネットワーク（例えば、高密度融合クラスメートネットワーク）に利用して土地と道路の情報を同時に取得することで、道路が土地の分類を支援するようにする。道路データは、土地被覆と比較すると取得がもっと容易であり、ラベル付けも簡単であるため、実際の適用において、より少ないし且つラベル付けがより難しい土地被覆データに対して、ラベル付けが容易な一部の道路データを利用して、土地被覆タイプの分類を支援できる。

図１に示す画像の目標対象分割方法中の画像がリモートセンシング画像であり、目標対象が土地である場合、本発明の実施例のトレーニングを通じて得られた土地分割ニューラルネットワークは、上記の図１に示す画像の目標対象分割方法に適用でき、リモートセンシング画像中の土地に対する分割の実行を実現して、土地分割結果を得ることができる。

１つまたは複数の選択可能な実施例において、土地分割ニューラルネットワークは、順次に接続された複数の処理ブロック、融合ネットワーク、および、分割ネットワークを含む。

ステップ７１０は、複数の処理ブロックを利用して少なくとも１つの土地サンプル画像および少なくとも１つの道路サンプル画像に対して特徴抽出処理を実行して、複数の処理ブロックの中の各処理ブロックによって出力されるサンプル画像特徴情報を得るステップと、融合ネットワークを利用して複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力されたサンプル画像特徴情報に対して少なくとも２段の融合処理を実行して、目標サンプル画像特徴情報を得るステップと、目標サンプル画像特徴情報に基づいて、分割ネットワークを利用して少なくとも１つの土地サンプル画像の予測分割結果および少なくとも１つの道路サンプル画像の予測分割結果を得るステップと、を含んでもよい。

細部情報をさらに処理するために、本発明の実施例は、高密度融合構造を提案する。互いに異なる深度のＬａｙｅｒをペアごとに融合し、Ｅｌｅｍｅｎｔ－ｗｉｓｅ Ｓｕｍを通じて融合を実行し、最後の１層までに再帰的に融合する。高密度融合構造によって、ネットワークがもう一層多い深層と浅層の情報を取得できるようにして、細部的の精確な分割に有利である。同時融合は、ネットワークの逆方向伝播が、より良く且つより速く、より浅い層のＬａｙｅｒにリターンするようにし、ネットワークのより良い監視に有利である。

選択的に、前記複数の処理ブロックを利用して各前記土地サンプル画像および各前記道路サンプル画像に対して処理を実行して、各々の前記土地サンプル画像に対応する少なくとも２組のサンプル画像特徴情報および各々の前記道路サンプル画像に対応する少なくとも２組のサンプル画像特徴情報を得る。

ここで、複数の処理ブロックを利用して各々の土地サンプル画像に対して処理を実行して、少なくとも２組のサンプル画像特徴情報を得ることができ、ここで、当該少なくとも２組のサンプル画像特徴情報は、少なくとも２つの処理ブロックに対応されることができる。例えば、複数の処理ブロックの中の各処理ブロックによって出力されるサンプル画像特徴情報を含み、または、複数の処理ブロック中部分処理ブロックによって出力されたサンプル画像特徴情報を含み、本発明の実施例は、これに対して限定しない。

本発明の実施例の土地分割ニューラルネットワークは、入力された各土地サンプル画像および各道路サンプル画像に対してそれぞれ処理を実行することによって、バッチ処理のときに互いに異なるサンプル画像同士の間に画像特徴情報の混交が出現されて、トレーニング結果の不正確になることを防止する。

選択的に、複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力されたサンプル画像特徴情報に対して少なくとも２段の融合処理を実行して、目標サンプル画像特徴情報を得るステップは、各々の土地サンプル画像に対応する少なくとも２組のサンプル画像特徴情報に対して少なくとも２段の融合を実行して、前記各々の土地サンプル画像に対応する土地サンプル画像特徴情報を得るステップと、各々の道路サンプル画像に対応する少なくとも２組のサンプル画像特徴情報に対して少なくとも２段の融合を実行して、前記各々の道路サンプル画像の道路サンプル画像特徴情報を得るステップと、を含み、ここで、前記目標サンプル画像特徴情報は、前記少なくとも１つの土地サンプル画像に対応する土地サンプル画像特徴情報、および、前記少なくとも１つの道路サンプル画像に対応する道路サンプル画像特徴情報を含む。

各々の画像サンプル画像および各々の道路サンプル画像は、いずれも、それぞれ、互いに異なる画像特徴情報を有し、互いに異なるサンプル画像の画像特徴情報が融合されると、トレーニング結果の不精確をもたらす。本発明の実施例の土地分割ニューラルネットワークは、各々のサンプル画像（土地サンプル画像または道路サンプル画像）に対応する２組のサンプル画像特徴情報をそれぞれ実行することによって、複数のサンプル画像に対応するサンプル画像特徴情報同士の間の融合を防止する。

選択的に、土地分割ニューラルネットワークは、スライス層をさらに含み、目標サンプル画像特徴情報に基づいて、少なくとも１つの土地サンプル画像の予測分割結果および少なくとも１つの道路サンプル画像の予測分割結果を確定する前に、前記スライス層を利用して前記目標サンプル画像特徴情報に含まれた前記土地サンプル画像特徴情報および前記道路サンプル画像特徴情報に対して分割を実行するステップと、前記土地サンプル画像特徴情報を前記分割ネットワークに入力して処理を実行して、土地サンプル画像の予測分割結果を得、前記道路サンプル画像特徴情報を前記分割ネットワークに入力して処理を実行して、前記道路サンプル画像の予測分割結果を得るステップと、をさらに含む。

少なくとも１つの土地サンプル画像および少なくとも１つの道路サンプル画像は、土地分割ニューラルネットワークに含まれた複数の順次に接続された処理ブロックによって処理された後に、対応する目標サンプル画像特徴情報セットが得られた後、土地サンプル画像と道路サンプル画像とを区分するために、道路画像の情報を利用して土地分割ニューラルネットワークに対してトレーニングを実行する。本発明の実施例においては、スライス層（ｓｌｉｃｅ）によって土地サンプル画像に対応する目標サンプル画像特徴情報と道路サンプル画像に対応する目標サンプル画像特徴情報とを区分し、具体的な区分は、土地サンプル画像および道路サンプル画像を入力する順序にしたがって区分できる。

選択的に、土地サンプル画像および道路サンプル画像は、それぞれ、ラベル情報を有し、
少なくとも１つの土地サンプル画像の予測分割結果および少なくとも１つの道路サンプル画像の予測分割結果に基づいて、土地分割ニューラルネットワークのパラメータを調整するステップは、土地サンプル画像に対応する予測分割結果および土地サンプル画像に対応するラベル情報に基づいて第１損失を得るステップと、道路サンプル画像に対応する予測分割結果および道路画像に対応するラベル情報に基づいて第２損失を得るステップと、第１損失および第２損失に基づいて土地分割ニューラルネットワークのパラメータを調整するステップと、を含む。

選択的に、第１損失および第２損失を加重和して、総損失を得、総損失に基づいて土地分割ニューラルネットワークのパラメータを調整する。第１損失および第２損失を加重和することによって、土地分割ニューラルネットワークのパラメータを調整し、当該加重和する重み値は、予め設定するか、または、実験または複数回のトレーニングによって得ることができ、一般的に、第１損失の重み値は、第２損失の重み値よりも大きく、例えば、第１損失の重み値／第２損失の重み値は、８：７であり、本発明の実施例は、具体的な重み値の大きさに対して限定しない。

本発明の実施例において、道路データを利用して土地分類の構造欠落情報を補い、土地分割ニューラルネットワークの土地分割タスクに対する精確性を向上させた。取得が容易であり且つラベル付けが容易である道路データを利用して、道路データを追加して分割を実行した後、土地被覆分類の効率および精確率を向上させることができる。また、細部の処理もより完璧になる。

本発明の土地分割ニューラルネットワークのトレーニング過程の１つの例は、図３に示すようであり、本発明の実現される分割効果とＦＣ－ＤｅｎｓｅＮｅｔ分割効果との比較は、図４に示すようであり、本発明の実現される分割効果とＦＣ－ＤｅｎｓｅＮｅｔおよびＣｌａｓｓｍａｔｅＮｅｔ構造の分割効果との比較は、図５に示すようである。

実際の適用において、道路データが相対的に簡単であり、ラベル付けと取得の過程は、いずれも、土地被覆の画像よりも容易である。それで、簡単な道路データを導入することで、取得とラベル付けがより難い土地被覆画像の分類を大幅に改善し、標準の人力を節約することができる。また、高密度融合モデルネットワーク構造を追加することによって、細部で土地被覆の分類に役立つ。

当業者は、上記の方法の実施例を実現する全部または一部のステップは、プログラム命令に関連するハードウェアによって完成でき、前述したプログラムは、コンピュータ可読取記憶媒体に記憶でき、当該プログラムが実行されるときに、上記の方法の実施例のステップが実行され、前述した記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク、または、光ディスクなどの、プログラムコードを記憶できる様々な媒体を含むことを理解できる。

図８は、本発明の実施例によって提供される土地分割ニューラルネットワークのトレーニング装置の構造の模式図である。当該装置は、本発明の上記の各方法の実施例の実現に用いられることができる。図８に示すように、当該装置は、以下のモジュールを備える。

結果予測モジュール８１は、少なくとも１つの土地サンプル画像および少なくとも１つの道路サンプル画像を前記土地分割ニューラルネットワークに入力して、少なくとも１つの土地サンプル画像の予測分割結果および少なくとも１つの道路サンプル画像の予測分割結果を得る。

パラメータ調整モジュール８２は、少なくとも１つの土地サンプル画像の予測分割結果および少なくとも１つの道路サンプル画像の予測分割結果に基づいて、土地分割ニューラルネットワークのパラメータを調整する。

土地画像の場合、一般的に、スケールより大きく、含まれたシーンが多く、乱雑し、滑らかな境界線がないし、また、土地被覆自身に明確に定量化された境界線がないため、ラベル付けがあいまいになる。伝統的なＣＮＮは、シーンがより大きい土地画像に対して構造情報を取得することが非常に困難であり、分割効果がより低くなる。

本発明の実施例においては、ラベル情報を有する道路データを支援データとして利用して土地分割ニューラルネットワークのトレーニングを支援することを提案する。道路データには、明確な構造特徴が存在し、土地被覆中に、いくつかの道路データが存在することになる。また、互いに異なる土地タイプで、道路の分布は互いに異なる状態を現す。したがって、この考えに基づいて、土地分割ニューラルネットワーク（例えば、高密度融合クラスメートネットワーク）に利用して土地と道路の情報を同時に取得することで、道路が土地の分類を支援するようにする。道路データは、土地被覆と比較すると取得がもっと容易であり、ラベル付けも簡単であるため、実際の適用において、より少ないし且つラベル付けがより難しい土地被覆データに対して、ラベル付けが容易な一部の道路データを利用して、土地被覆タイプの分類を支援できる。

１つまたは複数の選択可能な実施例において、土地分割ニューラルネットワークは、順次に接続された複数の処理ブロック、融合ネットワーク、および、分割ネットワークを含み、
結果予測モジュール８１は、具体的に、複数の処理ブロックを利用して少なくとも１つの土地サンプル画像および少なくとも１つの道路サンプル画像に対して特徴抽出処理を実行して、複数の処理ブロックの中の各処理ブロックによって出力されるサンプル画像特徴情報を得、融合ネットワークを利用して複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力されたサンプル画像特徴情報に対して少なくとも２段の融合処理を実行して、目標サンプル画像特徴情報を得、目標サンプル画像特徴情報に基づいて、分割ネットワークを利用して少なくとも１つの土地サンプル画像の予測分割結果および少なくとも１つの道路サンプル画像の予測分割結果を得る。

細部情報をさらに処理するために、本発明の実施例は、高密度融合構造を提案する。互いに異なる深度のＬａｙｅｒをペアごとに融合し、Ｅｌｅｍｅｎｔ－ｗｉｓｅ Ｓｕｍを通じて融合を実行し、最後の１層までに再帰的に融合する。高密度融合構造によって、ネットワークがもう一層多い深層と浅層の情報を取得できるようにして、細部的の精確な分割に有利である。同時融合は、ネットワークの逆方向伝播が、より良く且つより速く、より浅い層のＬａｙｅｒにリターンするようにし、ネットワークのより良い監視に有利である。

選択的に、結果予測モジュール８１は、具体的に、前記複数の処理ブロックを利用して各前記土地サンプル画像および各前記道路サンプル画像に対して処理を実行して、各々の前記土地サンプル画像に対応する少なくとも２組のサンプル画像特徴情報および各々の前記道路サンプル画像に対応する少なくとも２組のサンプル画像特徴情報を得るステップを含む。

選択的に、結果予測モジュール８１は、具体的に、各々の土地サンプル画像に対応する少なくとも２組のサンプル画像特徴情報に対して少なくとも２段の融合を実行して、前記各々の土地サンプル画像に対応する土地サンプル画像特徴情報を得るステップと、各々の道路サンプル画像に対応する少なくとも２組のサンプル画像特徴情報に対して少なくとも２段の融合を実行して、前記各々の道路サンプル画像の道路サンプル画像特徴情報を得るステップと、を含み、ここで、前記目標サンプル画像特徴情報は、前記少なくとも１つの土地サンプル画像に対応する土地サンプル画像特徴情報、および、前記少なくとも１つの道路サンプル画像に対応する道路サンプル画像特徴情報を含む。

選択的に、土地分割ニューラルネットワークは、スライス層をさらに含み、
結果予測モジュール８１は、さらに、前記目標サンプル画像特徴情報に基づいて、前記少なくとも１つの土地サンプル画像の予測分割結果および前記少なくとも１つの道路サンプル画像の予測分割結果を得る前に、前記スライス層を利用して前記目標サンプル画像特徴情報に含まれた前記土地サンプル画像特徴情報および前記道路サンプル画像特徴情報に対して分割を実行するステップと、前記土地サンプル画像特徴情報を前記分割ネットワークに入力して処理を実行して、土地サンプル画像の予測分割結果を得、前記道路サンプル画像特徴情報を前記分割ネットワークに入力して処理を実行して、前記道路サンプル画像の予測分割結果を得るステップと、をさらに含む。

選択的に、土地サンプル画像および道路サンプル画像は、それぞれ、ラベル情報を有し、パラメータ調整モジュール８２は、具体的に、土地サンプル画像に対応する予測分割結果および土地サンプル画像に対応するラベル情報に基づいて第１損失を得、道路サンプル画像に対応する予測分割結果および道路サンプル画像に対応するラベル情報に基づいて第２損失を得、第１損失および第２損失に基づいて土地分割ニューラルネットワークのパラメータを調整する。

選択的に、パラメータ調整モジュール８２は、具体的に、第１損失および第２損失を加重和して、総損失を得、総損失に基づいて土地分割ニューラルネットワークのパラメータを調整する。

本発明の実施例のもう１態様によると、電子デバイスを提供し、当該電子デバイスは、プロセッサを備え、前記プロセッサは、上記の任意の１項に記載の画像分割装置または上記の任意の１項に記載の土地分割ニューラルネットワークのトレーニング装置を含む。

本発明の実施例のもう１態様によると、電子デバイスを提供し、当該電子デバイスは、実行可能命令を記憶するためのメモリと、前記メモリと通信することによって、前記実行可能命令を実行して、上記の任意の１項に記載の画像分割方法の操作を完成し、または、前記メモリと通信することによって、前記実行可能命令を実行して、上記の任意の１項に記載の土地分割ニューラルネットワークのトレーニング方法の操作を完成するためのプロセッサと、を備える。

本発明の実施例のもう１態様によると、コンピュータ可読記憶媒体を提供し、当該コンピュータ可読記憶媒体は、コンピュータ読み取り可能命令を記憶し、前記命令が実行されるときに、上記の任意の１項に記載の画像分割方法または上記の任意の１項に記載の土地分割ニューラルネットワークのトレーニング方法の操作が実行される。

本発明の実施例のもう１態様によると、コンピュータプログラム製品を提供し、当該コンピュータプログラム製品は、コンピュータ可読コードを含み、前記コンピュータ可読コードが機器上で運行されると、前記機器中のプロセッサによって、上記の任意の１項に記載の画像分割方法または上記の任意の１項に記載の土地分割ニューラルネットワークのトレーニング方法を実現するための命令が実行される。

１つまたは複数の選択可能な実施形態において、本発明の実施例は、コンピュータプログラムプログラム製品をさらに提供し、当該コンピュータプログラムプログラム製品は、コンピュータ可読命令を記憶し、前記命令が実行されるときに、コンピュータが上記の任意の可能な実現形態に記載の画像分割方法を実行するようにし、または、任意の可能な実現形態に記載の土地分割ニューラルネットワークのトレーニング方法の操作を実行するようにする。

当該コンピュータプログラム製品は、具体的に、ハードウェア、ソフトウェア、または、その組み合わせの方式によって実現できる。選択可能な１例において、前記コンピュータプログラム製品は、具体的に、コンピュータ記憶媒体として具現され、選択可能なもう１例において、前記コンピュータプログラム製品は、具体的に、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）などのソフトウェア製品として具現される。

本発明の実施例は、画像分割と土地分割ニューラルネットワークのトレーニング方法および装置、電子デバイス、コンピュータ記憶媒体、並びにコンピュータプログラム製品をさらに提供し、ここで、複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得、複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力された画像特徴情報に対して少なくとも２段の融合処理を実行して、目標画像特徴情報を得、目標画像特徴情報に基づいて画像の目標対象分割結果を確定する。

いくつかの実施例において、当該目標追跡指示は、具体的に、呼び出し命令であってもよく、第１装置は、呼び出し方式によって、第２装置が目標追跡を実行するように指示し、これに応じて、第２装置は、呼び出し命令が受信されたことに応答して、上記の目標追跡中の任意の実施例中のステップおよび／または流れを実行できる。

理解すべきなのは、本発明の実施例中の「第１」、「第２」などの用語は、区分するためのもので過ぎず、本発明の実施例に対する限定として理解してはいけない。

さらに理解すべきなのは、本発明において、「複数」は、２つ以上を表し、「少なくとも１つ」は、１つまたは２つの以上を表すことができる。

さらに理解すべきなのは、本発明で言及された任意の１つの部品、データ、または、構成は、明確に限定されなかったか、または、前後の叙述で反対の示唆がない場合、一般的に、１つまたは複数に理解され得る。

さらに理解すべきなのは、本発明は、各々の実施例の説明に対して、主に各々の実施例同士の間の差異を強調し、同一または類似な部分は互いに参考でき、簡素化のために、１つずつ繰り返して説明しない。

本発明の実施例は、電子デバイスをさらに提供し、当該電子デバイスは、例えば、移動端末、パーソナルコンピュータ（ＰＣ）、タブレットコンピュータ、サーバなどであってもよい。以下、図９を参考すると、本発明の実施例を実現するための電子デバイス９００の１例の構造の模式図を示し、図９に示すように、電子デバイス９００は、１つのまたは複数のプロセッサ、通信部などを備え、前記１つのまたは複数のプロセッサは、１つのまたは複数の中央処理ユニット（ＣＰＵ）９０１、および／または、１つのまたは複数の画像プロセッサ（ＧＰＵ）９１３などであり得、プロセッサは、読み取り専用メモリ（ＲＯＭ）９０２に記憶されている実行可能命令、または、記憶部分９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードした実行可能命令に従って、各種の適当な動作と処理を実行することができる。通信部９１２は、ネットワークカードを含んでもよいが、これに限定されなく、前記ネットワークカードは、ＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでもよいが、これに限定されない。

プロセッサは、読み取り専用メモリ９０２、および／または、ランダムアクセスメモリ９０３と通信して実行可能命令を実行でき、バス９０４を介して通信部９１２と接続され、通信部９１２を介して他の目標機器と通信することによって、本発明の実施例によって提供される任意の方法に対応する操作を完成し、例えば、複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得、複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力された画像特徴情報に対して少なくとも２段の融合処理を実行して、目標画像特徴情報を得、目標画像特徴情報に基づいて画像の目標対象分割結果を確定する。

なお、ＲＡＭ９０３には、さらに、装置の操作に必要な各種のプログラムおよびデータが記憶されていてもよい。ＣＰＵ９０１、ＲＯＭ９０２、および、ＲＡＭ９０３は、バス９０４を介して互いに接続される、ＲＡＭ９０３がある場合、ＲＯＭ９０２は選択的なモジュールである。ＲＡＭ９０３は、実行可能命令を記憶し、運行のときにＲＯＭ９０２に実行可能命令を書き込む。実行可能命令は、中央処理ユニット９０１が、上記の通信方法に対応する操作を実行するようにする。入力／出力（Ｉ／Ｏ）インターフェース９０５も、バス９０４に接続される。通信部９１２は、統合して設けられてもよいし、複数のサブモジュール（たとえば、複数のＩＢネットワークカード）を有し、当該複数のサブモジュールがそれぞれバスと接続されるように、設けられてもよい。

キーボード、マウスなどを含む入力部分９０６、カソード光線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などおよびスピーカーなどを含む出力部分９０７、ハードディスクなどを含む記憶部分９０８、および、ＬＡＮカード、モデムなどのネットワークインターフェースカードを含む通信部分９０９のようなコンポーネントが、Ｉ／Ｏインターフェース９０５に接続される。通信部分９０９は、インターネットなどのネットワークを介して通信処理を実行する。ドライバ９１０も、必要に応じてＩ／Ｏインターフェース９０５に接続される。必要に応じて、磁気ディスク、光ディスク、磁気光学ディスク、半導体メモリなどの取り外し可能媒体９１１がドライバ９１０に装着されて、当該取り外し可能媒体９１１から読み取られたコンピュータプログラムを、必要に応じて、記憶部分９０８にインストールする。

特に説明する必要があるのは、図９に示すアーキテクチャは、選択的な１実現形態に過ぎず、具体的な実施過程において、上記の図９の部品数とタイプは、実際の要件に応じて、選択、削除、増加、または、切替することができる。異なる機能部品の配置については、分離配置および統合配置などの実現形態を採用でき、たとえば、ＧＰＵとＣＰＵを分離可能に配置するか、または、ＧＰＵをＣＰＵに統合可能な配置し、通信部を分離可能な配置するか、または、ＣＰＵやＧＰＵに統合可能な配置してもよい。これらの切り替え可能な実施形態は、いずれも本発明の保護範囲内に入る。

特に説明する必要があるのは、図９に示すアーキテクチャは、選択的な１実現形態に過ぎず、具体的な実施過程において、上記の図９の部品数とタイプは、実際の要件に応じて、選択、削除、増加、または、切替することができる。異なる機能部品の配置については、分離配置および統合配置などの実現形態を採用でき、たとえば、ＧＰＵとＣＰＵを分離可能に配置するか、または、ＧＰＵをＣＰＵに統合可能な配置し、通信部を分離可能な配置するか、または、ＣＰＵやＧＰＵに統合可能な配置してもよい。これらの切り替え可能な実施形態は、いずれも本発明の保護範囲内に入る。

本発明の方法および装置は、たくさんの方式で実現され得る。本発明の方法および装置は、たとえば、ソフトウェア、ハードウェア、ファームウェア又はソフトウェア、ハードウェア、ファームウェアの如何なる組み合わせで実現され得る。前記方法のステップに用いられる上記順番は、単に説明用であり、本発明の方法のステップは、他の方式で特別に説明しない限り、上記具体的に叙述された順番に限定されない。また、幾つかの実施例において、本発明を記録媒体に記録されたプログラムとして実施してもよい。これらのプログラムは、本発明の方法を実施するための機器読み取り可能な指令を含む。したがって、本発明は、更に、本発明の方法を実行するためのプログラムを記憶する記録媒体もカバーする。

本発明の叙述は、例示及び説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本開示を限定するというわけでない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施形態は、本発明の原理及び実際応用をより明瞭に説明するためのものであり、また、当業者が本開示を理解して特定用途に適した各種の修正を加えた各種の実施例を設計可能にするように、選択され説明されたものである。

Claims (20)

1. 画像分割方法であって、
   複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップと、
   前記複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力された画像特徴情報に対して少なくとも２段の融合処理を実行して、目標画像特徴情報を得るステップと、
   前記目標画像特徴情報に基づいて、前記画像の目標対象分割結果を確定するステップと、を含む
   ことを特徴とする画像分割方法。
2. 前記複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力された画像特徴情報に対して少なくとも２段の融合処理を実行して、目標画像特徴情報を得るステップは、
   各ペアの前記隣接する処理ブロックによって出力された画像特徴情報に対して第１段の融合処理を実行して、第１融合特徴情報を得るステップと、
   少なくとも１ペアの隣接する前記第１融合特徴情報に対して第２段の融合処理を実行して、少なくとも１つの第２融合特徴情報を得るステップと、
   前記少なくとも１つの第２融合特徴情報に基づいて、前記目標画像特徴情報を確定するステップと、を含む
   ことを特徴とする請求項１に記載の画像分割方法。
3. 前記少なくとも１つの第２融合特徴情報に基づいて、前記目標画像特徴情報を確定するステップは、
   後続融合処理によって得られた後続融合特徴情報の数が１つになるまでに、前記少なくとも１つの第２融合特徴情報に対して前記後続融合処理を実行するステップと、
   前記数が１つである後続融合特徴情報を前記目標画像特徴情報とするステップと、を含み、
   各ペアの前記隣接する処理ブロックによって出力された画像特徴情報に対して融合処理を実行する過程において、各ペアの前記隣接する処理ブロックによって出力された画像特徴情報を要素ごとに加える
   ことを特徴とする請求項２に記載の画像分割方法。
4. 前記複数の処理ブロック同士の間は、順次に接続されるか、および／または、各ペアの前記隣接する処理ブロックによって出力された画像特徴情報は、同一の大きさおよび同一のチャンネル数を有する
   ことを特徴とする請求項１乃至３の何れか１項に記載の画像分割方法。
5. 前記処理ブロックは、少なくとも１つの処理ユニットを含み、各々の前記処理ユニットは、少なくとも１つの特徴抽出層と特徴調整層とを含み、
   前記複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップは、
   前記処理ユニット中の前記少なくとも１つの特徴抽出層を利用して前記処理ユニットの入力情報に対して特徴抽出処理を実行して、第１特徴情報を得るステップと、
   前記処理ユニット中の前記特徴調整層を利用して前記第１特徴情報に対して調整処理を実行して、前記処理ユニットによって出力された画像特徴情報を得るステップと、を含む
   ことを特徴とする請求項１乃至４の何れか１項に記載の画像分割方法。
6. 前記複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力された画像特徴情報に対して少なくとも２段の融合処理を実行して、目標画像特徴情報を得るステップの前に、
   前記複数の処理ブロックの中の処理ブロックＭ１によって出力された画像特徴情報に対して特徴縮小処理を実行するステップと、
   前記複数の処理ブロックの中の処理ブロックＭ２によって出力された画像特徴情報に対して特徴拡張処理を実行するステップと、をさらに含み、
   前記処理ブロックＭ２の入力端と前記処理ブロックＭ１の出力端は、直接接続または間接接続され、
   前記複数の処理ブロックを利用して前記画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップは、
   前記複数の処理ブロックの中の処理ブロックＮ１を利用して前記処理ブロックＮ１の入力情報に対して特徴抽出処理を実行して、前記処理ブロックＮ１に対応する第１画像特徴情報を得るステップであって、前記処理ブロックＮ１の入力情報は、前記画像、および／または、前記処理ブロックＮ１の前に位置する少なくとも１つの処理ブロックによって出力された画像特徴情報を含み、Ｎ１は、１以上の整数であるステップと、
   前記第１画像特徴情報を前記処理ブロックＮ１の次の１つの処理ブロックに入力して特徴抽出処理を実行して、前記次の１つの処理ブロックによって出力される第２画像特徴情報を得るステップと、を含む
   ことを特徴とする請求項１乃至５の何れか１項に記載の画像分割方法。
7. 前記第１画像特徴情報を前記処理ブロックＮ１の次の１つの処理ブロックに入力して特徴抽出処理を実行して、前記次の１つの処理ブロックによって出力される第２画像特徴情報を得るステップは、
   前記画像および／または少なくとも１つの処理ブロックＮ２によって出力された画像特徴情報および前記第１画像特徴情報を、前記処理ブロックＮ１の次の１つの処理ブロックに入力して特徴抽出処理を実行して、前記次の１つの処理ブロックによって出力される第２画像特徴情報を得るステップであって、前記処理ブロックＮ１の入力端と前記処理ブロックＮ２の出力端は、直接接続または間接接続されるステップを含み、
   前記画像および／または少なくとも１つの処理ブロックＮ２によって出力された画像特徴情報および前記第１画像特徴情報を、前記処理ブロックＮ１の次の１つの処理ブロックに入力して特徴抽出処理を実行するステップの前に、前記画像分割方法は、
   前記少なくとも１つの処理ブロックＮ２によって出力された画像特徴情報に対して融合処理を実行し、融合処理して得られた画像特徴情報を前記処理ブロックＮ１の次の１つの処理ブロックに入力するステップをさらに含む
   ことを特徴とする請求項６に記載の画像分割方法。
8. 前記複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップの前に、
   畳み込み層を利用して前記画像に対して特徴抽出処理を実行して、前記画像の初期特徴情報を得るステップをさらに含み、
   前記複数の処理ブロックを利用して画像に対して特徴抽出処理を実行するステップは、
   前記画像の初期特徴情報を前記複数の処理ブロックに入力して特徴抽出処理を実行するステップを含む
   ことを特徴とする請求項１乃至７の何れか１項に記載の画像分割方法。
9. 前記画像は、リモートセンシング画像であり、前記目標対象は、土地である
   ことを特徴とする請求項１乃至８の何れか１項に記載の画像分割方法。
10. 前記画像分割方法は、分割ニューラルネットワークを利用して実現され、前記画像は、土地サンプル画像であり、
    前記画像分割方法は、
    前記分割ニューラルネットワークを利用して道路サンプル画像に対して処理を実行して、前記道路サンプル画像の分割結果を得るステップと、
    前記土地サンプル画像の目標対象予測結果および前記道路サンプル画像の分割結果に基づいて、前記分割ニューラルネットワークのパラメータを調整するステップと、をさらに含み、
    前記目標画像特徴情報は、混合特徴情報に基づいて得られたものであり、前記混合特徴情報は、前記分割ニューラルネットワークにより前記土地サンプル画像および前記道路サンプル画像に対してバッチ処理を実行して得られたものであり、
    前記土地サンプル画像の目標対象予測結果および前記道路サンプル画像の分割結果に基づいて、前記分割ニューラルネットワークのパラメータを調整するステップは、
    前記土地サンプル画像の目標対象予測結果および前記土地サンプル画像のラベル情報に基づいて第１損失を得るステップと、
    前記道路サンプル画像の分割結果および前記道路サンプル画像のラベル情報に基づいて第２損失を得るステップと、
    前記第１損失および前記第２損失に基づいて前記分割ニューラルネットワークのパラメータを調整するステップと、を含み、
    前記第１損失および前記第２損失に基づいて前記分割ニューラルネットワークのパラメータを調整するステップは、
    前記第１損失および前記第２損失を加重和して総損失を得るステップと、
    前記総損失に基づいて、前記分割ニューラルネットワークのパラメータを調整するステップと、を含む
    ことを特徴とする請求項１乃至９の何れか１項に記載の画像分割方法。
11. 前記複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップの前に、
    パラメータを設定することによって、前記サンプル画像に対して、前記サンプル画像の大きさの調整、前記サンプル画像の角度の回転、および、前記サンプル画像の明るさの変更の中の少なくとも１種の強化処理を実行するステップをさらに含み、
    前記複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップは、
    複数の処理ブロックを利用して前記少なくとも１種の強化処理の後の画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップを含む
    ことを特徴とする請求項１０に記載の画像分割方法。
12. 前記複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップの前に、
    所定の大きさのトリミング枠を利用して前記画像をトリミングして、少なくとも１つのトリミング画像を得るステップをさらに含み、
    前記複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップは、
    複数の処理ブロックを利用して前記トリミング画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るステップを含む
    ことを特徴とする請求項１乃至１１の何れか１項に記載の画像分割方法。
13. 画像分割装置であって、
    複数の処理ブロックを利用して画像に対して特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力される画像特徴情報を得るための画像処理モジュールと、
    前記複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力された画像特徴情報に対して少なくとも２段の融合処理を実行して、目標画像特徴情報を得るための融合モジュールと、
    前記目標画像特徴情報に基づいて、前記画像の目標対象分割結果を確定するための分割モジュールと、を備える
    ことを特徴とする画像分割装置。
14. 土地分割ニューラルネットワークのトレーニング方法であって、
    少なくとも１つの土地サンプル画像および少なくとも１つの道路サンプル画像を前記土地分割ニューラルネットワークに入力して、前記少なくとも１つの土地サンプル画像の予測分割結果および前記少なくとも１つの道路サンプル画像の予測分割結果を得るステップと、
    前記少なくとも１つの土地サンプル画像の予測分割結果および前記少なくとも１つの道路サンプル画像の予測分割結果に基づいて、前記土地分割ニューラルネットワークのパラメータを調整するステップと、を含む
    ことを特徴とする土地分割ニューラルネットワークのトレーニング方法。
15. 前記土地分割ニューラルネットワークは、順次に接続された複数の処理ブロック、融合ネットワーク、および、分割ネットワークを含み、
    前記少なくとも１つの土地サンプル画像および少なくとも１つの道路サンプル画像を前記土地分割ニューラルネットワークに入力して、前記少なくとも１つの土地サンプル画像の予測分割結果および前記少なくとも１つの道路サンプル画像の予測分割結果を得るステップは、
    複数の処理ブロックを利用して前記少なくとも１つの土地サンプル画像および前記少なくとも１つの道路サンプルに対して画像特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力されるサンプル画像特徴情報を得るステップと、
    前記融合ネットワークを利用して前記複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力されたサンプル画像特徴情報に対して少なくとも２段の融合処理を実行して、目標サンプル画像特徴情報を得るステップと、
    前記目標サンプル画像特徴情報に基づいて、前記分割ネットワークを利用して前記少なくとも１つの土地サンプル画像の予測分割結果および前記少なくとも１つの道路サンプル画像の予測分割結果を得るステップと、含む
    ことを特徴とする請求項１４に記載の土地分割ニューラルネットワークのトレーニング方法。
16. 前記複数の処理ブロックを利用して前記少なくとも１つの土地サンプル画像および前記少なくとも１つの道路サンプルに対して画像特徴抽出処理を実行して、前記複数の処理ブロックの中の各処理ブロックによって出力されるサンプル画像特徴情報を得るステップは、
    前記複数の処理ブロックを利用して各前記土地サンプル画像および各前記道路サンプル画像に対して処理を実行して、各々の前記土地サンプル画像に対応する少なくとも２組のサンプル画像特徴情報および各々の前記道路サンプル画像に対応する少なくとも２組のサンプル画像特徴情報を得るステップを含み、
    前記複数の処理ブロックの中の少なくとも２ペアの隣接する処理ブロックによって出力されたサンプル画像特徴情報に対して少なくとも２段の融合処理を実行して、目標サンプル画像特徴情報を得るステップは、
    各々の土地サンプル画像に対応する少なくとも２組のサンプル画像特徴情報に対して少なくとも２段の融合を実行して、前記各々の土地サンプル画像に対応する土地サンプル画像特徴情報を得るステップと、
    各々の道路サンプル画像に対応する少なくとも２組のサンプル画像特徴情報に対して少なくとも２段の融合を実行して、前記各々の道路サンプル画像の道路サンプル画像特徴情報を得るステップと、を含み、
    前記目標サンプル画像特徴情報は、前記少なくとも１つの土地サンプル画像に対応する土地サンプル画像特徴情報、および、前記少なくとも１つの道路サンプル画像に対応する道路サンプル画像特徴情報を含む
    ことを特徴とする請求項１５に記載の土地分割ニューラルネットワークのトレーニング方法。
17. 前記土地分割ニューラルネットワークは、スライス層をさらに含み、
    前記目標サンプル画像特徴情報に基づいて、前記少なくとも１つの土地サンプル画像の予測分割結果および前記少なくとも１つの道路サンプル画像の予測分割結果を得る前に、
    前記土地分割ニューラルネットワークのトレーニング方法は、
    前記スライス層を利用して前記目標サンプル画像特徴情報に含まれた前記土地サンプル画像特徴情報および前記道路サンプル画像特徴情報に対して分割を実行するステップと、
    前記土地サンプル画像特徴情報を前記分割ネットワークに入力して処理を実行して、土地サンプル画像の予測分割結果を得、前記道路サンプル画像特徴情報を前記分割ネットワークに入力して処理を実行して、前記道路サンプル画像の予測分割結果を得るステップと、をさらに含み、
    前記土地サンプル画像および前記道路サンプル画像は、それぞれ、ラベル情報を有し、
    前記少なくとも１つの土地サンプル画像の予測分割結果および前記少なくとも１つの道路サンプル画像の予測分割結果に基づいて、前記土地分割ニューラルネットワークのパラメータを調整するステップは、
    前記土地サンプル画像に対応する予測分割結果および前記土地サンプル画像に対応するラベル情報に基づいて第１損失を得るステップと、
    前記道路サンプル画像に対応する予測分割結果および前記道路サンプル画像に対応するラベル情報に基づいて第２損失を得るステップと、
    前記第１損失および前記第２損失に基づいて前記土地分割ニューラルネットワークのパラメータを調整するステップと、を含み、
    前記第１損失および前記第２損失に基づいて前記土地分割ニューラルネットワークのパラメータを調整するステップは、
    前記第１損失および前記第２損失を加重和して総損失を得るステップと、
    前記総損失に基づいて前記土地分割ニューラルネットワークのパラメータを調整するステップと、を含む
    ことを特徴とする請求項１５または１６に記載の土地分割ニューラルネットワークのトレーニング方法。
18. 土地分割ニューラルネットワークのトレーニング装置であって、
    少なくとも１つの土地サンプル画像および少なくとも１つの道路サンプル画像を前記土地分割ニューラルネットワークに入力して、前記少なくとも１つの土地サンプル画像の予測分割結果および前記少なくとも１つの道路サンプル画像の予測分割結果を得るための結果予測モジュールと、
    前記少なくとも１つの土地サンプル画像の予測分割結果および前記少なくとも１つの道路サンプル画像の予測分割結果に基づいて、前記土地分割ニューラルネットワークのパラメータを調整するためのパラメータ調整モジュールと、を備える
    ことを特徴とする土地分割ニューラルネットワークのトレーニング装置。
19. 電子デバイスであって、
    実行可能命令を記憶するためのメモリと、
    およびプロセッサ、前記メモリと通信することによって、前記実行可能命令を実行して、請求項１乃至１２の何れか１項に記載の画像分割方法の操作を完成し、または、前記メモリと通信することによって、前記実行可能命令を実行して、請求項１４乃至１７の何れか１項に記載の土地分割ニューラルネットワークのトレーニング方法の操作を完成する
    ことを特徴とする電子デバイス。
20. コンピュータ可読記憶媒体であって、
    コンピュータ読み取り可能命令を記憶し、前記命令が実行されるときに、請求項１乃至１２の何れか１項に記載の画像分割方法、または、請求項１４乃至１７の何れか１項に記載の土地分割ニューラルネットワークのトレーニング方法の操作が実行される
    ことを特徴とするコンピュータ可読記憶媒体。

Images