JP6080740B2 - 画像領域分割装置、画像領域分割方法および画像領域分割プログラム - Google Patents

Description

本発明は、クラスタリング手法に関し、特に画像を重なりのない領域に分割する画像領域分割装置、画像領域分割方法および画像領域分割プログラムに関する。

従来、画像領域を分割する手法として、非特許文献１に示すように連結成分ラベリングという手法があった。連結成分ラベリングは、線画や一般画像から抽出されたエッジ画像等の２値画像を入力として、線やエッジ等の境界で隔てられた連続した領域を抽出する。

連結成分ラベリングに入力される２値画像は下記の形式である。

ここで、１≦ｙ≦ｍ、１≦ｘ≦ｎであり、ｍは高さ、ｎは幅を表す。

連結成分ラベリングのアルゴリズムの一例を下記表１に示す。連結成分ラベリングは、例えば下記表１に示す「Ａｌｇｏｒｉｔｈｍ １ 連結成分ラベリング」のステップ１〜３６のように実行される。

例えば、図３に示す画像データ（画像１）が、表１に示す連結成分ラベリングのアルゴリズムに入力されたとする。図３において、白いピクセルは領域、黒いピクセルは境界を表す。四角形を形成する境界が領域を内側と外側に分離している。

この場合、連結成分ラベリングの結果は、図４に示すような結果（結果１）となる。境界部分には０、外側の領域には１、内側の領域には２のラベルが付与される。

一方、画像処理の手法として様々な手法が知られている。例えば、画像を細線化する手法として、非特許文献２に示すようなＺｈａｎｇ−Ｓｕｅｎ Ｔｈｉｎｎｉｎｇ法が知られている。また、クラスタリング手法として、非特許文献３に示すようなｋ−ｍｅａｎｓクラスタリングが知られている。

田村秀行編著、「コンピュータ画像処理」、第１版、株式会社オーム社、平成１４年１２月、p.149-151 T.Y.Zhang and C.Y.Suen, "A Fast Parallel Algorithm for Thinning Digital Patterns", Communication of the ACM, March 1984, Volume 27, Number 3, pp.236-239 Ｃ．Ｍ．ビショップ著、「パターン認識と機械学習 下」、初版、シュプリンガー・ジャパン株式会社、２００８年８月、p.140-143

上述した連結成分ラベリングでは、４近傍で連結したピクセルを一つの領域とするので、境界が完全に連結していないと領域を分離することができないという問題があった。

例えば、図５に示す画像データ（画像２）の様に境界がとぎれていると、外側と内側の領域がつながってしまい適切な領域分割ができなかった。この場合の、連結成分ラベリングの結果（結果２）を図６に示す。

したがって、かかる点に鑑みてなされた本発明の目的は、点線による線画、閉じていない隙間の空いた線画、ノイズを含む画像やぼやけた画像のエッジ抽出結果など、完全に連結していない境界を持つ画像に対しても適切に領域を分割することができる画像領域分割装置、画像領域分割方法および画像領域分割プログラムを提供することにある。

上記課題を解決するため、本発明に係る画像領域分割装置は、入力データを指定された領域数で分割する画像領域分割装置であって、前記入力データの隣接関係から推移行列を計算する推移行列計算手段と、前記推移行列からランダムウォーク特徴量を計算するランダムウォーク特徴量計算手段と、前記ランダムウォーク特徴量から候補間の類似度を計算する類似度計算手段と、前記入力データの隣接関係および前記ランダムウォーク特徴量から候補間の乖離情報を計算する乖離情報計算手段と、前記候補間の類似度および前記候補間の乖離情報から候補の特徴量を計算する候補特徴量計算手段と、前記候補の特徴量をクラスタリングする候補クラスタリング手段と、前記ランダムウォーク特徴量、および、前記候補クラスタリング手段によるクラスタリング結果から領域番号を計算する領域番号計算手段とを備えるものである。

また、上記課題を解決するため、本発明に係る画像領域分割方法は、入力データを指定された領域数で分割する画像領域分割方法であって、推移行列計算手段によって、前記入力データの隣接関係から推移行列を計算する推移行列計算ステップと、ランダムウォーク特徴量計算手段によって、前記推移行列からランダムウォーク特徴量を計算するランダムウォーク特徴量計算ステップと、類似度計算手段によって、前記ランダムウォーク特徴量から候補間の類似度を計算する類似度計算ステップと、乖離情報計算手段によって、前記入力データの隣接関係および前記ランダムウォーク特徴量から候補間の乖離情報を計算する乖離情報計算ステップと、候補特徴量計算手段によって、前記候補間の類似度および前記候補間の乖離情報から候補の特徴量を計算する候補特徴量計算ステップと、候補クラスタリング手段によって、前記候補の特徴量をクラスタリングする候補クラスタリングステップと、領域番号計算手段によって、前記ランダムウォーク特徴量、および、前記候補クラスタリングステップによるクラスタリング結果から領域番号を計算する領域番号計算ステップとを含むものである。

また、上記課題を解決するため、本発明に係る画像領域分割プログラムは、入力データを指定された領域数で分割する画像領域分割プログラムであって、コンピュータに、前記入力データの隣接関係から推移行列を計算する推移行列計算ステップと、前記推移行列からランダムウォーク特徴量を計算するランダムウォーク特徴量計算ステップと、前記ランダムウォーク特徴量から候補間の類似度を計算する類似度計算ステップと、前記入力データの隣接関係および前記ランダムウォーク特徴量から候補間の乖離情報を計算する乖離情報計算ステップと、前記候補間の類似度および前記候補間の乖離情報から候補の特徴量を計算する候補特徴量計算ステップと、前記候補の特徴量をクラスタリングする候補クラスタリングステップと、前記ランダムウォーク特徴量、および、前記候補クラスタリングステップによるクラスタリング結果から領域番号を計算する領域番号計算ステップとを実行させるものである。

本発明によれば、画像入力データの領域を適切に分割することができる。例えば、点線による線画、閉じていない隙間の空いた線画、ノイズを含む画像やぼやけた画像のエッジ抽出結果など、完全に連結していない境界を持つ画像に対しても適切に領域を分割することができる。

本発明の一実施形態に係る画像領域分割装置の概略構成を示す図である。 本発明の一実施形態に係る画像領域分割装置の動作を示すフローチャートである。 境界が完全に連結している画像データ（画像１）を示す図である。 画像１に連結成分ラベリングを実行した結果（結果１）を示す図である。 境界がとぎれている画像データ（画像２）を示す図である。 画像２に連結成分ラベリングを実行した結果（結果２）を示す図である。 画像２に細線化を実行した結果を示す図である。 図７に示すデータから候補点を取得した様子を示す図である。 特徴量に対してクラスタリングした結果を示す図である。 画像２の領域番号を計算した結果を示す図である。 画像２の領域を分割した結果を示す図である。 ノード１とノード２の間の最短経路の一例を示す図である。 境界がある場合におけるノード１とノード２の間の最短経路の一例を示す図である。 ランダムウォーク特徴量を説明する図である。 境界がある場合におけるランダムウォーク特徴量を説明する図である。

以下、本発明に係る実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る画像領域分割装置１００の概略構成を示す図である。画像領域分割装置１００は、２値画像Ｉ_ｍａｇｅ（ｙ、ｘ）、画像サイズ（ｍ、ｎ）、クラスタ数Ｎ_ｒ、候補数Ｎ_ｃ、候補尤度の閾値η、特徴量次元数ｄｉｍ、再帰確率ｃ、候補間距離の重み係数τ、乖離情報の重み係数δを入力とし、Ｎｒ個の領域に分割した領域番号を出力するものである。画像領域分割装置１００は、入力部１１０と、記憶部１２０と、演算部１３０と出力部１４０とを備える。

入力部１１０は、ネットワークまたはファイルなどから、２値画像Ｉ_ｍａｇｅ、画像サイズ（ｍ、ｎ）、クラスタ数Ｎ_ｒ、候補数Ｎ_ｃ、候補尤度の閾値η、特徴量次元数ｄｉｍ、再帰確率ｃ、候補間距離の重み係数τ、乖離情報の重み係数δを入力し、記憶部１２０に蓄積する。

記憶部１２０は、入力部１１０に入力されたデータや演算部１３０で計算されたデータを蓄積する。記憶部１２０に蓄積されたデータは演算部１３０から参照される。

演算部１３０は、推移行列計算手段としての推移行列計算部１３１、ランダムウォーク特徴量計算手段としてのランダムウォーク特徴量計算部１３２、類似度計算手段としての類似度計算部１３３、乖離情報計算手段としての乖離情報計算部１３４、候補特徴量計算手段としての候補特徴量計算部１３５、候補クラスタリング手段としての候補クラスタリング部１３６、および、領域番号計算手段としての領域番号計算部１３７を備える。演算部１３０は、記憶部１２０からデータを読み込んで処理し、出力部１４０に出力する。

推移行列計算部１３１は、入力部１１０に入力された２値画像Ｉ_ｍａｇｅを細線化する。細線化には様々な手法があるが、例えば、非特許文献２にＺｈａｎｇ−Ｓｕｅｎ Ｔｈｉｎｎｉｎｇ法が紹介されている。Ｚｈａｎｇ−Ｓｕｅｎ Ｔｈｉｎｎｉｎｇ法は、例えば下記表２に示す「Ａｌｇｏｒｉｔｈｍ ２ Ｚｈａｎｇ−Ｓｕｅｎ Ｔｈｉｎｎｉｎｇ」のステップ１〜３０のようなアルゴリズムで実行される。

次に、推移行列計算部１３１は、隣接行列Ａ：Ｎ_ｐ×Ｎ_ｐ、Ｎ_ｐ＝ｍ・ｎを下記のように作成する。

ここで、ｉ、ｊはノード番号である。また、ノード番号と座標（ｙ、ｘ）との関係は下記のようになる。

ここで、記号「÷」は整数除算を表し、記号「ｍｏｄ」は剰余を表す。

また、式（２）におけるＢは境界集合であり、境界集合Ｂは、下記のように表される。

推移行列計算部１３１は、隣接行列Ａから、推移行列Ｐ：Ｎ_ｐ×Ｎ_ｐを下記のように計算する。

ここで、

であり、また、

である。

ランダムウォーク特徴量計算部１３２は、まず、画像からＮ_ｃ個の格子点を取得し、候補点集合σを下記のように作成する。

次に、ランダムウォーク特徴量計算部１３２は、各候補点を始点とするリスタートありランダムウォークでランダムウォーク特徴量を計算する。σ_ｊを始点とするリスタートありランダムウォークは次式で示される。

ここで、

であり、また、

である。ここで、式（１０）におけるｃは、再帰確率（０＜ｃ＜１）である。

また、式（１０）におけるｚ_ｊは、下記の連立方程式を解くことにより得られる。

ここで、Ｉ_ＮｐはＮ_ｐ次元の単位行列である。

また、ランダムウォーク特徴量Ｚは、下記のようにして得られる。

このように、本実施形態に係るランダムウォーク特徴量計算部１３２は、境界によって領域ピクセル間の往来が阻害される度合いを計算することで領域ピクセル間の隔たりを適切に評価することができる。

例えば、４近傍での最短距離（市街地距離）ではノード１とノード２の間の最短経路は図１２のようになる。なお、以下、図１２〜図１５において、ノード１および２は、丸囲み数字で表す。ノード１とノード２の間に境界があっても、図１３のように迂回できる場合は距離が変わらないため、境界の影響を評価できない。

これに対し、本実施形態に係るランダムウォーク特徴量計算部１３２は、図１４に示すように、ノード１とノード２を結ぶ全ての経路を考慮する。このため、図１５に示すように境界があると、いくつかの経路が阻害されるため、ランダムウォーク特徴量計算部１３２は、境界の影響を評価することができる。

類似度計算部１３３は、ランダムウォーク特徴量Ｚから、候補の類似度行列Ｋを下記のように計算する。

ここで、

である。また、式（１４）のｅｘｐは指数関数、式（１５）のｌｎは自然対数を表す。また、

である。

乖離情報計算部１３４は、境界集合Ｂおよびランダムウォーク特徴量Ｚから候補間の乖離情報ｇ_ｉｊを計算する。乖離情報計算部１３４は、まず、ランダムウォーク特徴量Ｚから、候補尤度行列を下記のように計算する。

乖離情報計算部１３４は、次に、下記の表３〜表６に示すアルゴリズムの手順に従って乖離情報ｇ_ｉｊを計算する。

このように、本実施形態に係る乖離情報計算部１３４は、境界における候補間の相関を計算することにより、２つの候補を分離すべき程度を適切に評価することができる。

候補特徴量計算部１３５は、候補点のランダムウォーク特徴量を非線型変換ψ（・）で高次元空間に写像し、分散が最大となる部分空間に射影する。候補特徴量計算部１３５は、この際同時に、境界を挟んだ候補の相関を最小化する。

部分空間への射影は、次式で与えられる。

ここで、ｗはψ（・）と同次元のベクトルであり、ｂはスカラー定数である。また、分散の値は下記の式で求められる。

ここで、

である。

また、境界をはさんだ候補の相関は下記の式で求められる。

以上から、目的関数は次式のようになる。

ここで、

である。

また、式（２２）において、δは乖離情報の重み係数であり、式（２１）において、γは正則化パラメータである。

ここで、類似度と非線型変換には下記の関係がある。

したがって、式（２１）は、

の固有値問題を解くことで得られる。ここで、

である。また、

である。固有値λ_ｌの順番は実部の降順とする。すなわち、

とする。また、λ_ｌに対応する固有ベクトルをｘ_ｌとすると、候補集合の特徴量Ｆは、

となる。ここで、

である。

このように、本実施形態に係る候補特徴量計算部１３５は、候補間の類似度と乖離情報という複数の情報を適切に統合することにより、候補のクラスタリングを容易に行うことを可能にする。

候補クラスタリング部１３６は、候補の特徴量Ｆおよび領域数Ｎ_ｒを指定して、階層的クラスタリング（最短距離法）で候補をクラスタリングする。そのアルゴリズムを下記の表７および表８に示す。

領域番号計算部１３７は、まず、寄与係数行列Ｃ（Ｎ_ｃ×Ｎ_ｒ）を計算する。寄与係数行列は、下記の連立方程式を解くことで得られる。

ここで、Ｚ′は下記に示すような縮小滞在確率行列である。

また、Ｑは下記に示すような候補対応行列である。

また、ノード番号ｉの領域番号、ｒｅｇｉｏｎ（ｉ）は、

となる。ここで、

である。

出力部１４０は、領域番号ｒｅｇｉｏｎに対して、細線化で削除した境界を元に戻して領域分割結果を作成し、ネットワークまたはファイルなどに出力する。

続いて、図２に示すフローチャートを参照しながら、本発明の一実施形態に係る画像領域分割装置１００の動作を説明する。

入力部１１０は、ネットワークまたはファイルなどから、データおよびパラメータを入力する（ステップＳ１０１）。

推移行列計算部１３１は、データの隣接関係から推移行列を計算する（ステップＳ１０２）。

ランダムウォーク特徴量計算部１３２は、推移行列からランダムウォーク特徴量を計算する（ステップＳ１０３）。

類似度計算部１３３は、各候補点を始点とするランダムウォーク特徴量の分布を比較して候補間の類似度を計算する（ステップＳ１０４）。

乖離情報計算部１３４は、データの隣接関係およびランダムウォーク特徴量から候補間の乖離情報を計算する（ステップＳ１０５）。この際、境界によって２つの領域（例えば領域ａと領域ｂ）が分離されている場合、境界の一方で、領域ａの尤度（ランダムウォーク特徴量）が大きく、領域ｂの尤度が小さくなり、境界の他方では、領域ａの尤度が小さく、領域ｂの尤度が大きくなる。この性質を利用し、２つの候補ａ、ｂについて下記のように乖離情報を求め、全ての境界についてその情報を統合する。
・境界を挟んで２つの候補ａ、ｂの尤度が大きい。
・境界の同じ側ではａの尤度が大きく、ｂの尤度が小さい。
・境界を挟んで同じ候補は尤度が小さい。

候補特徴量計算部１３５は、候補間の類似度および乖離情報から、類似度が高い候補がより近くに、かつ、乖離情報が大きい候補が遠くに配置されるような候補の特徴量を計算する（ステップＳ１０６）。

候補クラスタリング部１３６は、候補の特徴量をクラスタリングする（ステップＳ１０７）。

領域番号計算部１３７は、ランダムウォーク特徴量および候補のクラスタリング結果から領域番号を計算する（ステップＳ１０８）。

出力部１４０は、領域番号を、ネットワークまたはファイルなどに出力する（ステップＳ１０９）。

続いて、本実施形態に係る画像領域分割装置１００の動作について、具体的な動作例を示して説明する。

本動作例においては、入力部１１０に、図５に示す画像データ（画像２：ｍ＝１１、ｎ＝１１）、ならびに、Ｎ_ｒ＝２、Ｎ_ｃ＝９、η＝０．０５、ｄｉｍ＝２、ｃ＝０．０５、τ＝２およびδ＝１が入力されたものとする。

推移行列計算部１３１は、まず、図５に示す画像データ（画像２）を細線化する。図７に、画像２の細線化結果を示す。図７に示すように、境界集合Ｂは、

となる。

続いて、推移行列計算部１３１は、式（２）によって隣接行列Ａを作成し、また、式（６）によって推移行列Ｐを計算する。

次に、推移行列計算部１３１は、格子点上から、図８に示すようなＮ_ｃ個の候補点を取得する。取得した候補点は、以下のようになる。

ランダムウォーク特徴量計算部１３２は、ガウスの消去法等を用いて、式（１２）からｚ_ｊ、ｊ＝１、・・・、Ｎ_ｃを計算する。

類似度計算部１３３は、式（１４）から、候補間の類似度を計算し、下記表９に示すような類似度行列を得る。

乖離情報計算部１３４は、表３に示した「Ａｌｇｏｒｉｔｈｍ ３：乖離情報計算」の手順に従って、乖離情報ｇ_ｉｊを計算する。計算された乖離情報ｇ_ｉｊを、下記表１０に示す。

候補特徴量計算部１３５は、式（２８）から候補特徴量を計算する。計算された候補特徴量を下記表１１に示す。

候補クラスタリング部１３６は、候補特徴量計算部１３５が計算した表１１に示す特徴量を、表７に示した「Ａｌｇｏｒｉｔｈｍ ７：階層的クラスタリング（最短距離法）」でクラスタリングする。候補クラスタリング部１３６によるクラスタリングの結果を図９に示す。クラスタ数Ｎ_ｒ＝２が指定されているので、クラスタリング結果は候補５と他の候補となる。また、クラスタインデックスは、以下のようになる。

領域番号計算部１３７は、式（３２）から領域番号を計算する。計算された領域番号を図１０に示す。

出力部１４０は、図１１に示すような領域分割結果を出力する。

（変形例）
以下、本実施形態の変形例について説明する。

推移行列計算部１３１は、候補点集合の作成方法として、Ｎ_ｃ個のノードをランダムに選択してもよい。

類似度計算部１３３は、候補の類似度行列を下記のように計算してもよい。

または、類似度計算部１３３は、候補の類似度行列を下記のように計算してもよい。

候補クラスタリング部１３６は、候補の特徴量をｋ−ｍｅａｎｓクラスタリングでクラスタリングしてもよい。ｋ−ｍｅａｎｓクラスタリングについては、例えば、非特許文献３に紹介されている。

このように、本実施形態によれば、点線による線画、閉じていない隙間の空いた線画、ノイズを含む画像やぼやけた画像のエッジ抽出結果など、完全に連結していない境界を持つ画像に対しても適切に領域分割を行うことができる。

また、本実施形態は隣接行列が定義できるデータに対しても適用が可能であり、画像以外のデータのクラスタリングを行うこともできる。

さらに、本実施形態は候補の類似度と乖離情報といった複数の情報を統合することが可能であり、データが持つ複数の情報を統合するクラスタリングを行うことができる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。また、本発明について装置を中心に説明してきたが、本発明は装置が備えるプロセッサにより実行される方法、プログラム、またはプログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

１００ 画像領域分割装置
１１０ 入力部
１２０ 記憶部
１３０ 演算部
１３１ 推移行列計算部
１３２ ランダムウォーク特徴量計算部
１３３ 類似度計算部
１３４ 乖離情報計算部
１３５ 候補特徴量計算部
１３６ 候補クラスタリング部
１３７ 領域番号計算部
１４０ 出力部

Claims (3)

1. 入力データを指定された領域数で分割する画像領域分割装置であって、
   前記入力データの隣接関係から推移行列を計算する推移行列計算手段と、
   前記推移行列からランダムウォーク特徴量を計算するランダムウォーク特徴量計算手段と、
   前記ランダムウォーク特徴量から候補間の類似度を計算する類似度計算手段と、
   前記入力データの隣接関係および前記ランダムウォーク特徴量から候補間の乖離情報を計算する乖離情報計算手段と、
   前記候補間の類似度および前記候補間の乖離情報から候補の特徴量を計算する候補特徴量計算手段と、
   前記候補の特徴量をクラスタリングする候補クラスタリング手段と、
   前記ランダムウォーク特徴量、および、前記候補クラスタリング手段によるクラスタリング結果から領域番号を計算する領域番号計算手段とを備えることを特徴とする画像領域分割装置。
2. 入力データを指定された領域数で分割する画像領域分割方法であって、
   推移行列計算手段によって、前記入力データの隣接関係から推移行列を計算する推移行列計算ステップと、
   ランダムウォーク特徴量計算手段によって、前記推移行列からランダムウォーク特徴量を計算するランダムウォーク特徴量計算ステップと、
   類似度計算手段によって、前記ランダムウォーク特徴量から候補間の類似度を計算する類似度計算ステップと、
   乖離情報計算手段によって、前記入力データの隣接関係および前記ランダムウォーク特徴量から候補間の乖離情報を計算する乖離情報計算ステップと、
   候補特徴量計算手段によって、前記候補間の類似度および前記候補間の乖離情報から候補の特徴量を計算する候補特徴量計算ステップと、
   候補クラスタリング手段によって、前記候補の特徴量をクラスタリングする候補クラスタリングステップと、
   領域番号計算手段によって、前記ランダムウォーク特徴量、および、前記候補クラスタリングステップによるクラスタリング結果から領域番号を計算する領域番号計算ステップとを含むことを特徴とする画像領域分割方法。
3. 入力データを指定された領域数で分割する画像領域分割プログラムであって、コンピュータに、
   前記入力データの隣接関係から推移行列を計算する推移行列計算ステップと、
   前記推移行列からランダムウォーク特徴量を計算するランダムウォーク特徴量計算ステップと、
   前記ランダムウォーク特徴量から候補間の類似度を計算する類似度計算ステップと、
   前記入力データの隣接関係および前記ランダムウォーク特徴量から候補間の乖離情報を計算する乖離情報計算ステップと、
   前記候補間の類似度および前記候補間の乖離情報から候補の特徴量を計算する候補特徴量計算ステップと、
   前記候補の特徴量をクラスタリングする候補クラスタリングステップと、
   前記ランダムウォーク特徴量、および、前記候補クラスタリングステップによるクラスタリング結果から領域番号を計算する領域番号計算ステップとを実行させるための画像領域分割プログラム。
   

Images