JP7098830B2 - 画像を処理し、親和性グラフを用いたインスタンスセグメンテーションを行うための方法とシステム - Google Patents

Description

本開示は、画像処理の分野に関連し、詳細には、インスタンスセグメンテーションの分野に関連する。

画像を処理することは、画像上に可視の様々な対象物を検出するために使用される。このため、そのような処理は、自動運転自動車（部分的又は完全自動運転）に対して、及びその他のタイプの自動化システムに対して特に有効であり、これは、これらのシステムが、カメラにより取得される画像に基づいて、それらの周囲を把握できなければならないからである。

インスタンスセグメンテーション方法は、画像上に見える対象物を正確に輪郭描写するために提案された（言い換えれば、異なる対象物は異なるインスタンスと呼ばれる）。

このインスタンスセグメンテーションを行うために、ディープニューラルネットワークなどのニューラルネットワークを用いることが提案された。ディープニューラルネットワークは、目的関数（「損失関数」）の値を最小化するために、トレーニング段階において確率的勾配降下法により調節できるパラメータを持つ機械学習モデルである。トレーニング段階は、ネットワークにラベル付き入力－出力ペア、オペレータにより準備されているインスタンスセグメンテーションを伴う既知の画像、を入力することから成る。ネットワークの特定の構成と実装は、「ネットワークアーキテクチャ」と呼ばれる。

インスタンスセグメンテーションを行うための既知の方法は、以下の不備を有する：複雑な遮蔽（occlusion）を処理できない、軟体形状（蛇、麺、医用画像内の細胞など）を検出することが困難、予期しない分割と結合、トレーニング中の遅い収束、又は長い計算時間。

本開示は、以下を含むインスタンスセグメンテーションを行うように画像を処理するための方法を提案することにより、従来技術の１つ以上の不備を克服する。

方法は、
ａ－画像の各ピクセルに対して、親和性（affinity）ベクトルを出力するように構成された第１のニューラルネットワークに画像を入力し、ベクトルの要素は、親和性パターン内で事前定義されたピクセルに対する位置において、画像のその他のピクセルとそれぞれ関連し、各要素の値は、要素と関連したその他のピクセルが画像のピクセルと同一のインスタンスに属することをニューラルネットワークが決定する場合、第１の値に設定され、要素と関連したその他のピクセルが画像のピクセルと同一のインスタンスに属さないことをニューラルネットワークが決定する場合、第１の値と異なる第２の値に設定され、画像の全てのピクセルの親和性ベクトルが、親和性グラフを形成し、
ｂ－親和性グラフ、及び画像の分解能と第１の値に設定された値を持つ少なくとも１つのピクセルを有する事前定義されたシードマップ（seed-map）を第２のニューラルネットワークに入力し、これにより、
その他のピクセルが、第１の値に設定された値を持つシードマップの少なくとも１つのピクセルと同一のインスタンスに属するか否かを決定し、
第１の値に設定された値を持つシードマップの少なくとも１つのピクセルと同一のインスタンスに属すると決定されたその他のピクセルの値を第１の値に設定することを含む。

それゆえ、本発明は、第１ステップにおいて、親和性グラフを使用することを提案する。親和性グラフは、当業者に既知のグラフである。典型的には、ノードを有するグラフであり、ノードは、画像のピクセルとそれぞれ関連し、各ノードは隣接するノードと連結するためのエッジを有する。エッジは、エッジにより連結された２つのノードが同一のインスタンスに属するか否かに応じて、第１の値又は第２の値のどちらかに設定される。

親和性グラフは、画像の分解能及び親和性パターンのピクセルの数により決まる深さ（depth）を持つテンソルとして表すことができる。例えば、親和性パターンが１つのピクセルを直接的に取り囲む８つのピクセルにより定義される場合、テンソルの深さは８となる。当業者は、その他のピクセルをピクセルの結合又はエッジと呼ぶことができる。

本発明は、８つのピクセルを含む親和性パターンに限定されず、更なるピクセルを持つより複雑なパターンを含むことができる。

好適には、１つのピクセルの親和性パターンは、そのピクセルに近接する（複数の）ピクセルを含む。

親和性ベクトルにおいて、１つのピクセルの親和性パターンが親和性ベクトルの要素と関連する場合、この要素は第１の値に設定される。

単独で取られた親和性グラフは良好なインスタンスセグメンテーションの結果を提供しないことが本発明者により観測されている。これは、単一の親和性決定誤差が２つのインスタンスの不完全な分割又は結合の原因となり得るという事実による。例として、インスタンスを決定するための可能な代替としての領域成長法、流域アルゴリズム、又はクラスタリングに関連する従来のアルゴリズムは、オーバー又はアンダーセグメンテーションを引き起こす可能性がある。

このため、シードマップを拡張するために、第２のニューラルネットワークと親和性グラフを使用することにより、追加の決定（又は、予測）ステップが実行されて、より正確な結果が得られる。これは、親和性ネットワークの特定の出力とシード伝播プロセスとの間の強力な結合もまた保証する。

第１の値は、「１」と等しくすることができ、第２の値は、「０」と等しくすることができることに注意すべきである。

特定の実施例によれば、方法は、先の反復で変更されたシードマップを使用して、ステップｂを反復的に繰り返すことを含む。

当業者は、良好な結果を得るために必要な反復の回数を決定することができ、この決定は、画像の分解能、画像上のインスタンスのサイズ、及び正確性の要望レベルを考慮することができる。例えば、反復の回数は、２０の桁にできる。

特定の実施例によれば、ステップｂは以下を含む。
－シードマップの各ピクセルに対して、シードマップのピクセルと関連した親和性グラフ内の親和性ベクトル、及び親和性パターン内で事前定義されたピクセルに対する位置におけるシードマップのその他のピクセルの値である要素を持つ第２のベクトルのソフトミニマムベクトルを決定する
－上記ソフトミニマムベクトルの値のソフトマキシマムを決定する
－上記ソフトマキシマムをピクセルの値に設定する。

これらのステップは、同一のインスタンスに属しているその他のピクセルの決定及び第１の値での設定と共に、第２のニューラルネットワークへの入力を行う。

このステップｂが繰り返される場合、少なくとも、第１の値に設定された値を持つ少なくとも１つのピクセルと関連したインスタンスを輪郭描写するバイナリマスクが得られる。

このステップの実装は、微分可能であり（その微分係数が存在する）、それゆえ、それを通して、損失を逆伝播（back-propagate）することが可能であることに注意すべきである。

同一の親和性パターンが、画像のピクセルに対して、及びシードマップのピクセルに対して使用されることに注意すべきである：このため、上記の第１及び第２のベクトルは同一の長さを有し、これは、それらの要素が同一のピクセル数と関連することによる。

また、シードマップ、画像、及び親和性グラフは同一の分解能を持つことに注意すべきである。

特定の実施例によれば、第１のニューラルネットワークはディープニューラルネットワークであり、第２のニューラルネットワークは再帰型（recurrent）ニューラルネットワークである。

再帰型ニューラルネットワークの使用は、損失の逆伝播をさらに可能にする固定で、非－学習可能（又は、トレーニング可能）な実装を使用することを可能にする。

特定の実施例によれば、事前定義されたシードマップが第１のニューラルネットワークにより生成される。

例として、シードマップは、オブジェクト検出を行い、検出された各オブジェクトに対する境界ボックス（bounding box）座標を出力するニューラルネットワークモジュールにより生成でき、各境界ボックスの中心の座標は、対応するピクセルを第１の値に設定することにより、シードマップ内で使用できる。

あるいは、ユーザは、インタフェースを通して画像上に可視のインスタンスのピクセルを選択でき、同一の座標を持つシードマップのピクセルは、第１の値に設定できる（一方、全てのその他のピクセルは、第２の値に設定できる）。

特定の実施例によれば、本方法は、既知のテンプレート画像を処理し、少なくとも第１のニューラルネットワークを通して損失を逆伝播するように損失を決定することを含む予備のトレーニングステップを含む。

注目すべきは、画像が既知であれば、所定のインスタンスセグメンテーションが準備されている可能性があることである。例えば、この所定のインスタンスセグメンテーションは、オペレータにより準備されている可能性がある。この所定のインスタンスセグメンテーションと上記方法を用いて得られたものとの間で、差異を決定することが可能である。当業者はどの損失関数を使用すべきかを知るであろう。

本発明は、インスタンスセグメンテーションを行うように画像を処理するためのシステムもまた提供し、システムは以下を含む。
画像の各ピクセルに対して、親和性ベクトルを出力するように構成された第１のニューラルネットワークに画像を入力するためのモジュールであって、ベクトルの要素は、親和性パターン内で事前定義されたピクセルに対する位置において、画像のその他のピクセルとそれぞれ関連し、各要素の値は、要素と関連したその他のピクセルが画像のピクセルと同一のインスタンスに属することをニューラルネットワークが決定する場合、第１の値に設定され、要素と関連したその他のピクセルが画像のピクセルと同一のインスタンスに属さないことをニューラルネットワークが決定する場合、第１の値と異なる第２の値に設定され、画像の全てのピクセルの親和性ベクトルが、親和性グラフを形成する、モジュール、及び、
親和性グラフ、及び画像の分解能と第１の値に設定された値を持つ少なくとも１つのピクセルを有する事前定義されたシードマップを第２のニューラルネットワークに入力するためのモジュールであって、これにより、
その他のピクセルが、第１の値に設定された値を持つシードマップの少なくとも１つのピクセルと同一のインスタンスに属するか否かを決定し、
第１の値に設定された値を持つシードマップの少なくとも１つのピクセルと同一のインスタンスに属すると決定されたその他のピクセルの値を第１の値に設定する、モジュール。

このシステムは、上で定義した方法の全てのステップを行うよう構成できる。

１つの特定の実施例において、画像を処理するための本方法のステップは、コンピュータプログラム命令により決定される。

この結果、本発明は、このプログラムがコンピュータにより実行されるとき、上記した方法のステップを実行するためのコンピュータプログラムにも向けられる。

このプログラムは、任意のプログラミング言語を使用することができ、ソースコード、オブジェクトコード、又は部分的にコンパイルされた形式などのソースコードとオブジェクトコードとの間の中間のコード、又は任意のその他の好適な形式をとることができる。

本発明は、上記のコンピュータプログラムの命令を含むコンピュータ読み取り可能情報媒体にもまた向けられる。

情報媒体は、プログラムを格納することができる任意のエンティティ又はデバイスとすることができる。例えば、媒体は、ＣＤ－ＲＯＭ又は超小型電子回路ＲＯＭなどのＲＯＭのような格納手段、又はディスケット（フロッピーディスク）若しくはハードディスクなどの磁気格納手段を含むことができる。

あるいは、情報媒体は、プログラムが内蔵された集積回路とすることができ、回路は問題になっている方法を実行し、又はその実行において使用されるように適応される。

本開示がどのように実行されるかは、添付の図面を参照した例示により記載されるであろう。

一例による画像を処理するための典型的な方法のブロック図である。 一例による本発明の第２ステップのより詳細な表示である。 親和性パターンの例である。 本方法の中間及び最終結果を示す。 一例によるシステムを示す。

画像を処理するための典型的な方法とシステムが以下に記載される。

画像を処理するための方法が図１に表される。この方法は、車が可視である道路の画像である画像ＩＭＧにインスタンスセグメンテーションを行うよう構成される。これらの車は、インスタンスであり、図示された例では、１台の車がＩＮとして参照される。

第１ステップＳ１において、画像ＩＭＧは、画像の各ピクセルに対して、親和性ベクトルを出力するように構成されたディープニューラルネットワークに入力され、ベクトルの要素は、親和性パターン内で事前定義されたピクセルに対する位置において、画像のその他のピクセルとそれぞれ関連し、各要素の値は、要素と関連したその他のピクセルが画像のピクセルと同一のインスタンスに属することをニューラルネットワークが決定する場合、第１の値に設定され、要素と関連したその他のピクセルが画像のピクセルと同一のインスタンスに属さないことをニューラルネットワークが決定する場合、第１の値と異なる第２の値に設定され、画像の全てのピクセルの親和性ベクトルが、図１で図示される親和性グラフＡＦを形成する。

第１の値は「１」と等しくでき、第２の値は「０」と等しくできる。

そして、シードマップＳＭが準備される。例えば、トレーニングの間、画像ＩＭＧと同じ分解能（そして、親和性グラフＡＦと同じ分解能）を持つバイナリ画像を使用することが可能であり、第２の値に設定された全てのピクセル値と第１の値に設定された少なくとも１つのランダムなピクセルを持つ。

好ましくは、第１の値に設定された値を持つ少なくとも１つのピクセルが、境界から離れるように（事前定義されたしきい値より離れて）選択される。

図示された例において、第１の値に設定された値を持つピクセルは、画像ＩＭＧ内で車ＩＮに対応する位置に配置される。

そして、親和性グラフ、及び画像の分解能と第１の値に設定された値を持つ少なくとも１つのピクセルを有する事前定義されたシードマップを第２のニューラルネットワーク（この例において、固定で、非－学習可能な再帰型ニューラルネットワーク）に入力することにより、第２ステップＳ２が行われ、これにより、
その他のピクセルが、第１の値に設定された値を持つシードマップの少なくとも１つのピクセルと同一のインスタンスに属するか否かを決定し、
第１の値に設定された値を持つシードマップの少なくとも１つのピクセルと同一のインスタンスに属すると決定されたその他のピクセルの値を第１の値に設定する。

これは、第１の値に設定されたシードマップ内のピクセルの数を拡張し、少なくとも１つのインスタンスにおいてシードマップをセグメンテーションマスクに変換するであろう。

注目すべきは、例えば、第１の値に設定された値を持つシードマップの少なくとも１つのピクセルが、画像上で、その他のインスタンスに対応する位置に配置された場合、その他のシードマップでステップＳ２を行うことは、その他のオブジェクトに対するセグメンテーションマスクを取得するという結果になる可能性があることである。

選択的に、ステップＳ２は、反復ループＬＰで繰り返される。

バイナリマスクＢＭは、白で表示された第１の値を持つピクセルと白で表示された第２の値を持つピクセルで取得される。画像ＩＭＧの車は、インスタンスＩＮ’としてマスクで輪郭描写される。

ステップＳ２（図１を参照して記載される）の典型的な実装は、図２に表される。

図２は、シードマップＳＭ’の１ピクセルＰ１０の処理に向けられる。

この図上で、画像ＩＭＧ’は、親和性グラフを取得するように処理されており、より詳細には、シードマップのピクセルＰ１０と同じ座標を持つ画像ＩＭＧ’のピクセルＰ０に対し、親和性ベクトルvect_1が取得される。この親和性ベクトルは、１つのピクセルを囲む８つのピクセルを含む親和性パターンを用いて形成される。ピクセルＰ０に対して、これらのピクセルは、図上に表され、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７及びＰ８で参照される。

シードマップＳＭ’から、第２のベクトルvect_2は、vect_1を取得するために使用された親和性パターン内で事前定義されたＰ１０に対する位置において、シードマップのその他のピクセルの値である要素を有する。

vect_2は、シードマップＳＭ’のピクセルＰ１１、Ｐ１２、Ｐ１３、Ｐ１４、Ｐ１５、Ｐ１６、Ｐ１７及びＰ１８の値で取得される。

ベクトルvect_1とvect_2のソフトミニマムは、ステップＳ２１で決定され、ベクトルs_minを提供する。

そして、ベクトルs_minの要素のソフトマキシマムは、ピクセルＰ１０の新たな値である値s_maxを取得するために決定される（ステップＳ２２）。

注目すべきは、ソフトマキシマム演算は、

として定義できることである。

ｘは、Ｋ個の要素ｘ_ｊを含むベクトルである。ソフトミニマムは、

として定義される。

上記実施例において、ソフトミニマムは、ベクトルの対応する要素の間のソフトミニマムを決定することにより、２つのベクトルvect_1とvect_2に対して決定される。例えば、ソフトミニマムは、ベクトルs_minの要素を取得するために、Ｐ１とＰ１１に対して決定され、ソフトミニマムの式は、ベクトルs_minの各要素に対して使用される。

ソフトマキシマムs_maxは、ベクトルs_minの全ての要素の間で決定される。

図３は、より複雑な親和性パターンである。この例において、中心のピクセル（この親和性パターンと関連するピクセル）は、親和性パターンに属し、それゆえ、第１の値に設定された値を有し、これは、ピクセルとそれ自身が同じインスタンスに属するからである。

パターンは、ピクセルの８つの直接的な隣接を更に含み、そして当業者により、３拡張（3-dilated）、８拡張、２４拡張及び７２拡張の隣接として定義される位置において、パターンの中心を中心とする８つのピクセルのグループを更に含む。

パターン内に１＋５×８＝４１のピクセルがあり、親和性グラフの深さは４１である。

画像の端及び画像の外側に延びた親和性パターンを処理するために、ピクセルの画像の外側との親和性を第２の値に設定することに注意すべきである。

図４は、図１を参照して記載されたステップＳ２が１５回繰り返されるプロセスの各反復の後のシードマップの表現である。

第１の行は、本発明の実装に対応する。

第２の行は、親和性グラフが「グラウンドトゥルース（ground-truth）」で置き換えられた実装に対応する。グラウンドトゥルースは、ニューラルネットワークの事前定義された出力を指定し、例えば、オペレータにより準備されたものである。オペレータは、インスタンスセグメンテーションを手動で行い、これにより、完全な親和性グラフを取得できる。

第１の行と第２の行の比較から見て取れるように、本発明は、グラウンドトゥルースに近い結果を提供する。

最後の行は、全ての親和性が第１の値（例えば、「１」）に設定される実装に対応する。これは、全画像への迅速な拡張を導き、受容野（receptive field）の評価を示す。１つのピクセルの位置における受容野、当業者において既知の表現、は、そのピクセルの位置における出力に影響を与える能力を有する画像領域である。図３で示されるようなパターンの制限された結合度（connectivity）（一般的に粗い結合度と呼ばれる）のため、１回の反復における受容野は制限されるが、複数の反復で大きくできる。

図１を参照して記載された方法のステップは、コンピュータ命令により決定することができる。これらの命令は、図５で示されるようなシステムのプロセッサ上で実行できる。

この図において、システム１０が表示されている。このシステムは、プロセッサ１１、画像を獲得するよう構成された獲得モジュール１２、及びメモリ１３を含む。

メモリ１３は、不揮発性メモリとすることができ、これは、図１を参照して記載された方法を行うため、プロセッサ１１により実行できる命令のセット（又は、コンピュータプログラム）ＩＮＳＴを含む。命令のセットＩＮＳＴは、以下を含む。
－画像の各ピクセルに対して、親和性ベクトルを出力するように構成された第１のニューラルネットワークに画像を入力するための命令１４であって、ベクトルの要素は、親和性パターン内で事前定義されたピクセルに対する位置において、画像のその他のピクセルとそれぞれ関連し、各要素の値は、要素と関連したその他のピクセルが画像のピクセルと同一のインスタンスに属することをニューラルネットワークが決定する場合、第１の値に設定され、要素と関連したその他のピクセルが画像のピクセルと同一のインスタンスに属さないことをニューラルネットワークが決定する場合、第１の値と異なる第２の値に設定され、画像の全てのピクセルの親和性ベクトルが、親和性グラフを形成する、命令１４、
－親和性グラフ、及び画像の分解能と第１の値に設定された値を持つ少なくとも１つのピクセルを有する事前定義されたシードマップを第２のニューラルネットワークに入力するための命令１５であって、これにより、
その他のピクセルが、第１の値に設定された値を持つシードマップの少なくとも１つのピクセルと同一のインスタンスに属するか否かを決定し、
第１の値に設定された値を持つシードマップの少なくとも１つのピクセルと同一のインスタンスに属すると決定されたその他のピクセルの値を第１の値に設定する、命令１５。

注目すべきは、命令１４は、図１を参照して記載されたディープニューラルネットワークを形成し、一方、命令１５は、図１を参照して記載された再帰型ニューラルネットワークを形成できることである。

Claims (9)

1. インスタンスセグメンテーションを行うように画像を処理するための方法であって、
   ａ－画像（ＩＭＧ）の各ピクセルに対して、親和性ベクトルを出力するように構成された第１のニューラルネットワークに前記画像を入力する（Ｓ１）ステップであって、前記ベクトルの要素は、親和性パターン内で事前定義されたピクセルに対する位置において、前記画像のその他のピクセルとそれぞれ関連し、各要素の値は、前記要素と関連した前記その他のピクセルが前記画像のピクセルと同一のインスタンスに属することを前記ニューラルネットワークが決定する場合、第１の値に設定され、前記要素と関連した前記その他のピクセルが前記画像のピクセルと同一のインスタンスに属さないことを前記ニューラルネットワークが決定する場合、前記第１の値と異なる第２の値に設定され、前記画像の全てのピクセルの前記親和性ベクトルが、親和性グラフ（ＡＦ）を形成する、ステップと、
   ｂ－前記親和性グラフ、及び前記画像の分解能と前記第１の値に設定された値を持つ少なくとも１つのピクセルを有する事前定義されたシードマップ（ＳＭ）を第２のニューラルネットワークに入力する（Ｓ２）ステップであって、これにより、
   その他のピクセルが、前記第１の値に設定された値を持つ前記シードマップの少なくとも１つのピクセルと同一のインスタンスに属するか否かを決定し、
   前記第１の値に設定された値を持つ前記シードマップの少なくとも１つのピクセルと同一のインスタンスに属すると決定された前記その他のピクセルの値を前記第１の値に設定する、ステップと、
   を含む、方法。
2. 先の反復で変更されたシードマップを用いて、ステップｂを反復的に繰り返す（ＬＰ）ステップを含む、請求項１に記載の方法。
3. ステップｂは、
   前記シードマップの各ピクセルに対して、前記シードマップのピクセルと関連する前記親和性グラフ内の親和性ベクトル（vect_1）、及び前記親和性パターン内で事前定義されたピクセルに対する位置における前記シードマップのその他のピクセルの値である要素を持つ第２のベクトル（vect_2）のソフトミニマムベクトル（s_min）を決定するステップ（Ｓ２１）と、
   前記ソフトミニマムベクトルの値のソフトマキシマム（s_max）を決定するステップ（Ｓ２２）と、
   前記ピクセルの値を前記ソフトマキシマムに設定するステップと、
   を含む、請求項２に記載の方法。
4. 前記第１のニューラルネットワークはディープニューラルネットワークであり、前記第２のニューラルネットワークは再帰型ニューラルネットワークである、請求項１～３の何れか一項に記載の方法。
5. 事前定義されたシードマップが、前記第１のニューラルネットワークにより生成される、請求項１～４の何れか一項に記載の方法。
6. 既知のテンプレート画像を処理するステップ、及び少なくとも前記第１のニューラルネットワークを通して損失を逆伝播するように前記損失を決定するステップを含む予備のトレーニングステップを含む、請求項１～５の何れか一項に記載の方法。
7. インスタンスセグメンテーションを行うように画像を処理するためのシステムであって、
   画像の各ピクセルに対して、親和性ベクトルを出力するように構成された第１のニューラルネットワークに前記画像を入力するためのモジュール（１１、１４）であって、前記ベクトルの要素は、親和性パターン内で事前定義されたピクセルに対する位置において、前記画像のその他のピクセルとそれぞれ関連し、各要素の値は、前記要素と関連した前記その他のピクセルが前記画像のピクセルと同一のインスタンスに属することを前記ニューラルネットワークが決定する場合、第１の値に設定され、前記要素と関連した前記その他のピクセルが前記画像のピクセルと同一のインスタンスに属さないことを前記ニューラルネットワークが決定する場合、前記第１の値と異なる第２の値に設定され、前記画像の全てのピクセルの前記親和性ベクトルが、親和性グラフを形成する、モジュール（１１、１４）と、
   前記親和性グラフ、及び前記画像の分解能と前記第１の値に設定された値を持つ少なくとも１つのピクセルを有する事前定義されたシードマップを第２のニューラルネットワークに入力するためのモジュール（１１、１５）であって、これにより、
   その他のピクセルが、前記第１の値に設定された値を持つ前記シードマップの少なくとも１つのピクセルと同一のインスタンスに属するか否かを決定し、
   前記第１の値に設定された値を持つ前記シードマップの少なくとも１つのピクセルと同一のインスタンスに属すると決定された前記その他のピクセルの値を前記第１の値に設定する、モジュール（１１、１５）と、
   を含む、システム。
8. コンピュータによりプログラムが実行されるとき、請求項１～６の何れか一項に記載の方法のステップを実行するための命令を含むコンピュータプログラム。
9. コンピュータにより読み取り可能であり、請求項１～６の何れか一項に記載の方法のステップを実行するための命令を含むコンピュータプログラムを記録した記録媒体。

Images