JPH11250248A - 画像領域抽出装置 - Google Patents

Abstract

(57)【要約】 【課題】より正確な領域画像を抽出する装置を得るこ
と。 【解決手段】テクスチャ画像から領域画像を推定する領
域画像抽出装置において、テクスチャ画像が、第１層で
ある隠れ層で観測できない領域画像を生成する確率過程
である領域過程と第２層である観測層であり各領域のテ
クスチャを表現する複数の確率過程であるテクスチャ過
程とに階層化されたマルコフ確率場を用いてモデル化で
きると仮定し、テクスチャ過程としてガウスマルコフ確
率場を用いて領域画像を推定するにあたって、テクスチ
ャ過程のパラメータである相関行列の行列式の値が０で
あっても領域過程のみを用いて領域画像推定を行う第２
推定手段をもうけることにより、より正確な領域画像を
抽出できるようにした装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力された自然画
像等がどのような部分領域からなりその位置関係がどの
ようになっているかをテクスチャ情報を手がかりとして
推定する領域画像抽出装置に関する。

【０００２】

【従来の技術】従来、この種の装置として、複数のテク
スチャから構成される画像に対するデータ駆動型領域画
像抽出アルゴリズムを用いる装置が知られている。その
装置は、テクスチャ画像のモデルとして２層からなる階
層的マルコフ確率場モデルを用いるものである。第１層
のマルコフ確率場は、観測できない領域画像を表現し、
領域過程と呼ばれている。第２層のマルコフ確率場は、
領域ごとに異なるテクスチャ画像を表現し、テクスチャ
過程と呼ばれている。その装置では、領域画像推定は、
与えられた画像データだけを用いたデータ駆動型でテク
スチャ過程としてガウスマルコフ確率場を用いることに
より、領域画像を推定するものである。

【０００３】その装置では、テクスチャ画像と領域画像
から次の領域画像を推定するときに、ガウスマルコフ確
率場を用いるためテクスチャ過程のパラメータとしては
クラスタリングされた１つの領域における輝度の平均
値、その領域における画素の輝度の相関関係を表す相関
行列を求める必要がある。

【０００４】

【発明が解決しようとする課題】しかしながら、この相
関行列の行列式は、ガウスの確率密度関数の表現式の分
母に現れるため、テクスチャ過程において、相関行列の
行列式の値が０となる場合がある。このため、相関行列
の行列式の値が０となった時点で、領域画像の抽出処理
が終了されていた。従って、抽出した領域画像の精度が
良くないという問題があった。

【０００５】本発明は、行列式の値が０となっても領域
過程のみを用いて領域画像の抽出処理を行うことによ
り、より正確な領域画像を得る手段を提供する。

【課題を解決するための手段】

【０００６】テクスチャ画像が、第１層である隠れ層で
観測できない領域画像を生成する確率過程である領域過
程と、第２層である観測層であり各領域のテクスチャを
表現する複数の確率過程であるテクスチャ過程とに階層
化されたマルコフ確率場を用いてモデル化できると仮定
し、テクスチャ過程としてガウスマルコフ確率場を用い
て領域画像を推定するに当たって、テクスチャ画像と中
間領域画像とから次の中間領域画像をテクスチャ過程と
領域過程とに基づいて逐次、演算することにより最終的
な領域画像の推定を行う装置において、テクスチャ過程
のパラメータである相関行列の行列式が０か否かを判定
する判定手段と、判定結果が０以外の場合に領域過程及
びテクスチャ過程を用いて領域画像推定を行う第１推定
手段と、判定結果が０の場合に領域過程のみを用いて領
域画像推定を行う第２推定手段とを有することを特徴と
する。ここで、テクスチャ画像をモデル化するとは、例
えば、ガウスマルコフ確率場の場合、テクスチャが持っ
ている輝度分布を、ガウスマルコフ確率場を表している
ガウス分布の数式で表現し、パラメータを求めることを
いう。

【０００７】中間領域画像の初期値の与え方は任意であ
るが、次のようにして、与えても良い。テクスチャ画像
を小領域分割し、その小領域毎の輝度の平均値に応じ
て、その小領域をクラスタリングして、中間領域画像の
初期値を得ることができる。さらに、この１回の演算で
は、中間領域画像の初期値が粗いために、収束に時間が
かかる。そこで、テクスチャ画像とこの中間領域画像の
初期値とを用いて、クラスタリングされた各領域の輝度
平均値と、輝度に関する相関行列式を初期パラメータと
して求め、このパラメータを用いてテクスチャ過程のみ
から次の領域画像を推定し、この画像を中間領域画像の
初期値とする。このように２段階演算により中間領域画
像の初期値を求めても良い。

【０００８】また、テクスチャ画像と中間領域画像とか
ら次の中間領域画像を得るには、次の手段で実現でき
る。テクスチャ画像と既に求められている中間領域画像
とから、各領域の輝度の平均値と、各領域の輝度の相関
行列とをテクスチャ過程のパラメータとして、領域間の
相互作用を表す値を領域過程のパラメータとして推定す
る。これらのパラメータと、テクスチャ画像と中間領域
画像とを用いて、テクスチャ過程と領域過程とにより次
の領域画像を推定する。この逐次演算により、最終的な
領域画像を確定することができる。

【０００９】ここで、各逐次演算において、テクスチャ
過程のパラメータである相関行列の行列式の判定結果が
０の場合にのみ、その回のその該当領域の演算に関して
のみ領域過程を用い、相関行列式が０でなくなった時に
は、テクスチャ過程と領域過程とを用いることができ
る。その他、相関行列式が０となった後の演算過程にお
けるその領域の画像推定に関しては、領域過程のみを用
いるようにしても良い。

【００１０】

【発明の作用及び効果】本発明は、ガウスマルコフ確率
場を用いてテクスチャ画像から領域画像を推定するに当
たって、繰り返し演算をする際にテクスチャ画像、中間
領域画像からテクスチャ過程のパラメータである輝度の
平均値、相関行列、及び領域過程のパラメータを求め
る。そのパラメータを使用して、領域画像の画像推定を
行う。その際、テクスチャ過程のパラメータである相関
行列の行列式が０か否かを判定し、判定結果が０の場合
に領域過程のみを用いて、次の中間領域画像の推定を行
うとともに、判定結果が０以外の場合に領域過程及びテ
クスチャ過程を用いて、次の中間領域画像推定を行う。
得られた中間領域画像とテクスチャ画像とを用いて次の
パラメータ推定と画像推定を、指定繰り返し回数、また
は、求める領域画像が収束したか判定し収束するまで、
繰り返すことにより、より正確な領域画像を得られるよ
うになる。

【００１１】本発明では、テクスチャ過程のパラメータ
である相関行列の行列式の値が０となっても、以後の領
域画像の推定が行えるので、より正確な領域画像を得る
ことができる。

【００１２】

【発明の実施の形態】以下本発明の一実施例について図
面により説明する。図２は、本発明の構成のブロック図
である。画像入力部３は、スキャナ、カメラ画像メモリ
等のハードウエアを用いてメモリ等の記憶媒体上にテク
スチャ画像を構成するユニットである。初期領域画像推
定部１０は、画像入力部３により得られたテクスチャ画
像に基づいて初期領域画像を推定し、推定した領域画像
を領域画像メモリ２に書き込むユニットである。

【００１３】初期パラメータ推定部１１は、初期領域画
像推定部１０によって推定され、領域画像メモリ２に書
き込まれた初期領域画像に基づいて、初期パラメータを
推定するユニットである。初期中間領域画像推定部１２
は、領域画像メモリ２に書き込まれた初期領域画像と初
期パラメータ推定部１１により推定された初期パラメー
タと、テクスチャ画像に基づいて初期中間領域画像をテ
クスチャ過程で推定し、推定した初期中間領域画像を領
域画像メモリ２に書き込むユニットである。

【００１４】パラメータ推定部１３は、領域画像メモリ
２に書き込まれた初期中間領域画像と、テクスチャ画像
より、テクスチャ過程と領域過程のパラメータを推定す
るユニットである。相関行列の行列式判定部１４は、パ
ラメータ推定部１３により推定されたテクスチャ過程の
パラメータである相関行列の行列式の値が０であるか否
かを判定しその判定結果をディマルチプレクサ１５に伝
えるユニットである。

【００１５】ディマルチプレクサ１５は、相関行列の行
列式判定部１４の信号に基づいて、画像領域メモリ２の
領域画像情報（中間領域画像）を第１推定手段による領
域画像推定部１６または、第２推定手段による領域画像
推定部１７に切り換えて送るユニットである。第１推定
手段による領域画像推定部１６は、行列式の値が０以外
の場合に領域画像メモリ２の領域画像情報と、テクスチ
ャ画像と、パラメータ推定部１３により得られた、パラ
メータに基づいて領域過程及びテクスチャ過程により次
の中間領域画像を推定し、マルチプレクサ１８に領域画
像情報を伝えるユニットである。第２推定手段による領
域画像推定部１７は、行列式の値が０の場合に領域画像
メモリ２の領域画像情報より領域過程のパラメータを推
定し、領域過程により、次の中間領域画像を推定し、マ
ルチプレクサ１８に領域画像情報を伝えるユニットであ
る。

【００１６】マルチプレクサ１８は、第１推定手段によ
る領域画像推定部１６と、第２推定手段による領域画像
推定部１７により推定された領域画像の一方を選択し、
Ｐ＋１回目の中間領域画像とする。領域画像の収束判定
部１９は、マルチプレクサ１８により出力されたＰ＋１
回目の領域画像と、領域画像メモリ上のＰ回目の領域画
像を比較し領域画像が収束したか判定し、Ｐ＋１回目の
領域画像を領域画像メモリ２に書き込み、収束している
場合は領域画像の推定を終了する信号を制御部１に出力
し、収束していない場合は、中間領域画像の推定を続け
る信号を制御部１に返すユニットである。制御部１は、
以上の各部を管理し制御するユニットである。

【００１７】実際のシステムとしては、入出力装置と、
メモリ等の記憶媒体と制御部を備えたコンピュータシス
テムで構成されている。

【００１８】図１は、本発明の画像領域抽出装置の処理
方法の一実施例の概略処理フロー図である。図１のステ
ップ１００において画像を入力し入力画像とする。入力
画像とは、例えば、スキャナ、カメラ、画像メモリ等の
ハードウエアを用いて入力されたメモリ上のテクスチャ
画像をいう。テクスチャ画像とは、観測画像のことであ
り、例えば２５６×２５６画素からなり、１画素は、２
５６階調で与えられたグレイ画像２０（図８）として記
憶されているものをさす。ここでは、２５６×２５６画
素と有限の数値を使っているが、連続画像を一定の領域
に分割して処理することにより、境界のない画像を扱う
ことも可能である。さらに各画素も、２５６階調として
いるが、さらに細分化された、例えば、32,000階調のカ
ラーであってもよく、それ以外のものでも良い。これ以
後の説明では、簡単のために求める領域数を２として説
明を行っている。

【００１９】与えられたテクスチャ画像を例えば、Ｌ＝
｛（ｉ，ｊ）｝；０≦ｉ，ｊ≦Ｎ−１はＮ×Ｎ画素（サ
イト）からなる方形格子とする。

【００２０】ステップ１０１では、初期領域画像推定部
１０において入力画像から初期領域画像を推定し領域画
像メモリ２に書き込む。

【００２１】モデルのパラメータ推定と、領域画像推定
のための初期値は、以下のようにして求める。図１のス
テップ１０１は初期ステップとして初期中間領域画像を
推定する。詳細を図４に示す。図４のステップ１１３に
おいて入力画像２０つまり、２５６×２５６画素の与え
られたテクスチャ画像を１６×１６画素の２５６個の部
分画像に分割する。ステップ１１４は各小領域のテクス
チャ過程のパラメータを求める。つまり、各小領域の画
素の輝度の平均値を求める。ステップ１１５は、得られ
た２５６個のパラメータセットを２個の領域にクラスタ
リングする。その値が、しきい値である１２８より大き
ければ、黒つまり１、小さければ白つまり０にラベル付
けをして初期領域画像２１（図８）とし領域画像メモリ
２に書き込む。

【００２２】Ｘ_L＝｛Ｘ_ij｝は、（ｉ，ｊ）∈Ｌ：Ｌ上
の領域過程である。つまり、推定しようとしている最終
的な領域画像２２である。領域過程Ｘ_Lの各要素Ｘ
_ijは、各画素に共通の状態空間Ｑ_x＝｛１、２、…、
Ｍ｝上の離散値を取るものとする。これは、各画素がＭ
個の領域のいずれかにラベル付けされることを表す。こ
こでは、明の状態である０と、暗の状態である１、どち
らかにラベル付けされることになり、領域としては、２
である。

【００２３】η_ij ^X∈Ｌ は、画素（ｉ，ｊ）の近傍を
表し、Ｃ_ij ^X：近傍ηに関するクリーク（clique)の集合
は、画素（ｉ，ｊ）を含む。例えば、図１１に示すよう
に、１次近傍系は、η_ij ^X＝｛（ｉ，ｊ−１），（ｉ−
１，ｊ），（ｉ，ｊ＋１），（ｉ＋１，ｊ）｝である。

【００２４】同様にクリークの集合は、画素（ｉ，ｊ）
自身と（ｉ，ｊ）を含む四つのペアクリークからなり、
次のように表すことができる。 Ｃ_ij ^X＝｛｛（ｉ，ｊ）｝，｛（ｉ，ｊ），（ｉ，ｊ−
１）｝，｛（ｉ，ｊ），（ｉ−１，ｊ）｝，｛（ｉ，
ｊ），（ｉ，ｊ＋１）｝，｛（ｉ，ｊ），（ｉ＋１，
ｊ）｝｝

【００２５】マルコフ確率場は、（１）式の確率密度で
あるギブス分布で記述される事が知られている。

【数１】 Ｐ（ｘ_L）＝（Ｚ^X）^-1exp（−ε（ｘ_L）） （１） ここで、ｘ_Lは、領域過程Ｘ_Lの１実現サンプルであり、
領域ラベルの状態配置空間Ω_X＝Ｑ_X ^N×^N からの１サン
プルとなる。ε（ｘ_L）は領域過程全体のエネルギー関
数となり（２）式であらわされる。

【数２】 ε（ｘ_L）＝Σ_LΣ_Cε（ｘ_c） ： （ｉ，ｊ）∈Ｌ，Ｃ∈Ｃ_ij ^X （２） さらに ε（ｘ_c）はクリークＣのエネルギー関数であ
り、Ｚ^Xを分配関数としたとき（３）式で表すことがで
きる。

【数３】 Ｚ^X＝Σ_xexp（−ε（ｘ_L））：ｘ_L∈Ω_X （３）

【００２６】階層的マルコフ確率場は、 ｙ_L＝｛ｙ_ij｝，（ｉ，ｊ）∈Ｌ：観測された（与えら
れた）画像でありＹ_L＝｛Ｙ_ij｝_,（ｉ，ｊ）∈Ｌ をテ
クスチャ過程とすると、与えられた画像は、テクスチャ
過程の１実現サンプルとなる。つまり、ここでのｙ
_ijは、各画素のグレイ値となる。

【００２７】テクスチャ過程Ｙ_Lは、領域過程Ｘ_L＝｛Ｘ
_ij｝，（ｉ，ｊ）∈Ｌの関数であると考えられる。これ
は、領域過程の上に各領域ごとに異なるテクスチャを生
成する確率過程が重畳され、二つの確率過程の相互作用
により画像が生成されると考えるためである。具体的に
は、Ｙ_Lの近傍系やクリーク系、エネルギー関数等が、
領域ラベルに依存することを意味する。この例では、領
域ラベルは明か暗で、どちらかの値に依存することとな
る。

【００２８】相互作用を行う二つの確率過程（Ｘ_L，
Ｙ_L）は、結合確率密度関数Ｐ（ｙ_L，ｘ_L）の形で記述
される。これは、ベイズ則によりＰ（ｘ_L）とＰ（ｙ_L｜
ｘ_L）の積の形でかける。領域過程Ｘ_Lの確率密度関数Ｐ
（ｘ_L）は（１）式（２）式（３）式で表したとおりで
ある。

【００２９】テクスチャ過程Ｙ_Lは，領域過程と同様に
表現できる。ここでも、領域過程Ｘ_Lに依存するので、
ｙ_L｜ｘ_Lの様に表現する。

【数４】 Ｐ（ｙ_L｜ｘ_L）＝（Ｚ^Y/X）^-1exp（−ε（ｙ_L｜ｘ_L））（４） つまり、（４）式でテクスチャ過程のグレイ値の分布を
表すことになる。

【数５】 ε（ｙ_L｜ｘ_L）＝Σ_(i,j)Σ_Cε（ｙ_C｜ｘ_ij） （５） ：（ｉ，ｊ）∈Ｃ，Ｃ∈Ｃ_ij ^Y （５）式では、グレイ値のエネルギー関数を表す。

【数６】 Ｚ^Y/X＝Σexp（−ε（ｙ_L｜ｘ_L）） （６） ：ｙ_L∈Ω_Y（ｘ_L） （６）式は、分布を表す分配関数である。

【００３０】パラメータ推定を行うときに用いる、ＥＭ
アルゴリズムは観測データが不完全データと考えられる
場合の最ゆう推定を行う繰り返しアルゴリズムである。
観測画像ｙ_Lは、不完全データであり、観測画像ｙ_Lと領
域ラベルｘ_Lの組（ｙ_L，ｘ_L）が、完全データと考えら
れるが、実際には観測画像が与えられるだけで、領域画
像は未知である。

【００３１】ＥＭアルゴリズムはＢａｕｍの補助関数Ｑ
を求める期待値操作であるＥ−ｓｔｅｐとその最大値操
作であるＭ−ｓｔｅｐ から構成される繰り返しアルゴ
リズムで 一般的には次の式で表す。Ｅ−ｓｔｅｐ と
しては、

【数７】 Ｑ（λ｜λ^(p)）＝Σ_xLＰ（ｙ_L｜ｘ_L，λ^(p)）logＰ（ｘ_L，ｙ_L｜λ） ：ｘ_L∈Ω_x （７） この式は、総ての可能なｘ_Lについての総和の計算とな
り、これを厳密に行うことは不可能に近い。Ｍ−ｓｔｅ
ｐとしては、

【数８】 λ^(p+1)＝arg maxλ Ｑ（λ｜λ^(p)） （８） （８）式では、（７）式で表現される期待値Ｑを最大化
するλをもとめる。

【００３２】λは推定すべき全てのパラメータのセット
でテクスチャ過程及び領域過程のマルコフ確率場のパラ
メータを表し、λ^(p)は、ｐ回の繰り返し時点でのλの
推定値である。ｐ回の繰り返し時点でのｘ_Lの推定値ｘ_L
^(p)を用いた形で近似することとする。（７）式を
（９）式で近似する。近似記号として≒を使う。

【００３３】

【数９】 Ｑ(λ｜λ^(p))≒Ｐ(ｘ_L ^(p)｜ｙ_L，λ^(p))logＰ(ｘ_L ^(p)，ｙ_L｜λ) （９） これは、Ｐ（ｘ_L｜ｙ_L，λ^(p)）が、ｘ_L＝ｘ_L ^(p)を中心
として分散がきわめて小さい急峻な分布であると仮定す
ることを意味する。Ｐ（ｘ_L ^(p)｜ｙ_L，λ^(p)）は定数で
あるので省略し logＰ（ｘ_L ^(p)，ｙ_L｜λ） にベイズ則を適用すると次の（１０）式になる。

【数１０】 Ｑ(λ｜λ^(p))∝ logＰ(ｙ_L｜ｘ_L ^(p),λ_Y)＋log Ｐ(ｘ_L ^(p),λ_X) （１０）

【００３４】（１０）式で、λ_Xは領域過程のマルコフ
確率場パラメータであり、λ_Yは、テクスチャを生成す
るテクスチャ過程のマルコフ確率場パラメータであり、

【数１１】 λ＝｛λ_X,λ_Y｝ （１１） である。

【００３５】（１０）式で、Ｐ（ｙ_L｜ｘ_L ^(p)，λ_Y）及
びＰ（ｘ_L ^(p)｜λ_X）を最大化するλ_Yとλ_Xを求めれば
よい。Ｐ（ｙ_L｜ｘ_L ^(p)，λ_Y）及びＰ（ｘ_L ^(p)｜λ_X）
を最大化する、λ_Yとλ_Xの値は、対数ゆう度関数も最大
化するので、log Ｐ（ｙ_L｜ｘ_L ^(p)，λ_Y）及びlog Ｐ
（ｘ_L ^(p)｜λ_X）を最大化する事により、それぞれλ_Yの
更新値λ_Y ^(p+1)およびλ_Xの更新値λ_X ^(p+1)を求めるこ
とができる。

【００３６】しかし、ゆう度関数Ｐ（ｙ_L｜ｘ_L ^(p)，
λ_Y）及びＰ（ｘ_L ^(p)｜λ_X）の計算には（３）式や
（６）式の分配関数を求める必要があるが、これを厳密
に計算することは一般にきわめて困難である。従って、
その近似として、Ｂｅｓａｇによって提案された以下の
疑似ゆう度関数を用いる。 ここでは、平均場近似を用
いることにより、ゆう度関数から、疑似ゆう度関数を導
くことができる。平均場近似とは、各サイトにおける近
傍の影響を近傍の各サイトの平均値を用いて近似するこ
とである。つまり、Ｘ_Lは、その平均場からの揺らぎは
小さいと仮定して、平均場をｘ_ijで置き換えると（１
２）式（１３）式と書く事ができる。

【数１２】 Ｐ（ｘ_L ^(p)｜λ_X）≒ΠＰ（ｘ_ij ^(p)｜ｘη_ij ^(p)，λ_X）（１２）

【数１３】 Ｐ（ｙ_L｜ｘ_L ^(p)，λ_Y）≒ΠＰ（ｙ_ij｜ｘ_ij ^(p)，ｘη_ij ^(p)，ｙη_ij，λ_X）（ １３）

【００３７】テクスチャ画像からの領域画像の推定は、
観測画像ｙ_Lとパラメータλ^(p+1)が与えられた場合事後
確率Ｐ（ｘ_L｜ｙ_L，λ^(p+1)）を最大化する領域過程ｘ
＾_Lを求める事である。

【数１４】 ｘ＾_L＝ arg max_x Ｐ（ｘ_L｜ｙ_L，λ^(p+1)）：ｘはｘ_L∈Ω_X（１４） ｐ回の繰り返し時点でのｘ_Lの推定値をｘ_L ^(p)を用いて
更新値ｘ_L ^(p+1)を完全な局所並列演算で求めることが出
来る方法が（１４）式から考案されている。

【数１５】 ｘ_ij ^(p+1)＝arg max_x Ｐ(ｙ_ij｜ｘ_ij,ｘη_Y ^(p)，ｙη_Y,λ^(P+1)) Ｐ(ｘ_ij｜ｘη_X ^(p)，λ^(p+1)) （１５） （１５）式右辺の第１項は、テクスチャ過程による項、
第２項は、領域過程による項である。

【００３８】テクスチャ過程は、確率密度関数として
（１６）式に示すようなガウス分布を用いるためパラメ
ータとして画素値の平均μ_g、相関行列｜Σ_g｜ が（１
５）式に反映され次のように表される。

【００３９】（１５）式のテクスチャ過程による項は、

【数１６】 Ｐ（ｙ_ij｜ｘ_ij,ｘη_Y ^(p)，ｙη_Y,λ^(p+1)） ＝[１/[(２π)^d/2｜Σ_g｜^1/2]]exp[-1/2(ｙ_t−μ_g)^TΣ_g ^-1(ｙ_t−μ_g)] （１６）

【００４０】ここで、ガウス関数は、（２π）^1/2の周
期関数であり、画素値の平均μ_gは、テクスチャ過程を
構成する画素の画素値の平均値となる。相関行列の行列
式｜Σ_g｜は、注目画素に関する相関行列となり次の様
に定義する。

【００４１】図１１に示すように、注目画素（ｉ，ｊ）
に対して、注目画素を０、その近傍に１、２、３、４
と、番号をつける。輝度ベクトルを、Ｙ_ij＝Ｙ０，Ｙ
_i-1j＝Ｙ１，Ｙ_i+1j＝Ｙ２，Ｙ_ij-1＝Ｙ３，Ｙ_ij+1＝Ｙ
４とする。ここで、Ｙ０，Ｙ１，Ｙ２，Ｙ３，Ｙ４がと
る値は、各画素のグレイ値である。

【００４２】平均ベクトルを、同様にｍ０，ｍ１，ｍ
２，ｍ３，ｍ４とする。図９をテクスチャ画像、図１０
を領域画像とし、■のとる値をａ（ここでは０）、□の
とる値をｂ（ここでは２５６）とし、注目画素が、クラ
ス１の領域に含まれるときクラス１の領域は、６画素か
ら構成されその６画素のグレイ値の平均となる。ｍ１は
注目画素の左隣の画素についてクラス１の領域を１画素
分左にシフトした領域でグレイ値の平均を取ることとな
る。ここでは、説明のため、テクスチャ画像として、図
９に示すような斑状の画像を例にあげ、相関行列の行列
式の値が０となる極端な例を示している。具体的な計算
方法を次に示す。

【数１７】 ｍ０＝（ａ＋ｂ＋ａ＋ｂ＋ａ＋ｂ）／６＝（ａ＋ｂ）／２ ｍ１＝（ａ＋ｂ＋ａ＋ｂ＋ａ＋ｂ）／６＝（ａ＋ｂ）／２ ｍ２＝（ａ＋ｂ＋ａ＋ｂ＋ａ＋ｂ）／６＝（ａ＋ｂ）／２ ｍ３＝（ａ＋ｂ＋ａ＋ｂ＋ａ＋ｂ）／６＝（ａ＋ｂ）／２ ｍ４＝（ａ＋ｂ＋ａ＋ｂ＋ａ＋ｂ）／６＝（ａ＋ｂ）／２ （１７） となる。

【００４３】相関行列は、図１２の３０で表現される。
行列の要素Ｓijは、

【数１８】 Ｓij＝｛Σ_h（Ｙｉｈ−ｍＩ）（Ｙｊｈ−ｍＪ）｝／６ （１８） Ｙｉｈは注目画素をＹＩとしたとき、ｈはラベル１の領
域に当たる６画素の領域を指し、ｍＩはＹＩに対応する
平均ベクトルである。相関行列の行列式の値は、一般的
には分散に該当する値となる。

【００４４】各要素の値は、次のように計算する。

【数１９】 Ｓ００＝｛（ａ−（ａ＋ｂ）／２）²＋（ｂ−（ａ＋ｂ）／２）² ＋（ａ−（ａ＋ｂ）／２）²＋（ｂ−（ａ＋ｂ）／２）² ＋（ａ−（ａ＋ｂ）／２）²＋（ｂ−（ａ＋ｂ）／２）²｝／６ ＝｛（ａ−（ａ＋ｂ）／２）²＋（ｂ−（ａ＋ｂ）／２）²｝／２ ＝｛（ａ−ｂ）²＋（ｂ−ａ）²｝／８ ＝（ａ−ｂ）²／４ （１９）

【数２０】 Ｓ０１＝｛（（ａ−（ａ＋ｂ）／２）（ｂ−（ａ＋ｂ）／２）） ＋（（ｂ−（ａ＋ｂ）／２）（ａ−（ａ＋ｂ）／２）） ＋（（ａ−（ａ＋ｂ）／２）（ｂ−（ａ＋ｂ）／２）） ＋（（ｂ−（ａ＋ｂ）／２）（ａ−（ａ＋ｂ）／２）） ＋（（ａ−（ａ＋ｂ）／２）（ｂ−（ａ＋ｂ）／２）） ＋（（ｂ−（ａ＋ｂ）／２）（ａ−（ａ＋ｂ）／２））｝／６ ＝（ａ−（ａ＋ｂ）／２）（ｂ−（ａ＋ｂ）／２） ＝−（ａ−ｂ）²／４ （２０） となり、

【数２１】 ｋ＝（ａ−ｂ）²／４ （２１） とおくと相関行列Ｓ３１が得られる。相関行列Ｓ３１
は、ＬＵ分解法により行列Ｌ３２、行列Ｕ３３の積に分
解される。行列Ｌ，Ｕの行列式の値は、

【数２２】 ｜Ｌ｜＝０，｜Ｕ｜＝１ （２２） となる。従って、

【数２３】 detＳ＝detＬdetＵ （２３） であるから、この例の場合の行列式の値は０である。こ
のように相関行列の行列式の値が０となる場合が、テク
スチャ過程において起こり得る。

【００４５】領域過程では、領域ラベルの相互作用が、
影響する。領域のまとまりが大きい場合、領域過程のパ
ラメータが、大きな値として推定され、（１５）式の第
２項の効果が大きくなり、アルゴリズムの収束が遅くな
る。

【００４６】領域過程のパラメータを求めるときには、
画像モデルとして２次近傍系、つまり、ｘη_xはｘ_ijの
８近傍を用いる。βのパラメータ推定は、（１２）式
（１３）式の疑似ゆう度関数の最大化をニュートン法を
用いて行う。

【００４７】ペアクリークをｘ_c＝｛（ｉ，ｊ），
（ｋ，ｌ）｝とすると、（ｉ，ｊ）は注目画素、（ｋ，
ｌ）は近傍を表す。

【００４８】ペアクリークのエネルギーは、ε（ｘ_C）
＝ε（ｘ_ij，ｘ_kl）と表される。

【数２４】 ｘ_ij＝ｘ_kl の時 ε（ｘ_C）＝−β （２４）

【数２５】 ｘ_ij≠ｘ_klの時 ε（ｘ_C）＝ β （２５）

【００４９】（１５）式の第２項は、（２４）式（２
５）式のエネルギーを用いて（２６）式の様に表され
る。

【数２６】 Ｐ（ｘ_ij｜ｘη_X ^(p)，λ^(p+1)）＝（Ｚ）^-1exp（−Σ_xηε（ｘ_C））（２６）

【数２７】 Ｚ＝Σ_xexp（−Σ_xηε（ｘ_C）） （２７）

【００５０】（２６）式を領域画像の例４０（図１３参
照）を用いて説明する。注目画素を３×３の領域の中心
とし、注目画素と周囲の８近傍を比較してラベルが同じ
ならエネルギーは、−β、異なるならβを取り、８近傍
の総和を計算する。領域画像の例４０の場合８近傍のう
ち３近傍が注目画素と同一であり、残りの５近傍が注目
画素と異なる。 （２６）式は（exp（−２β））／Ｚ となる。

【００５１】Ｚは正規化するための関数であり、注目画
素のとり得る値、つまり、この場合ラベルが０、１なの
で２種類に対して総和をとる。注目画素を０にした場合
と、１にした場合でそれぞれexpの項を計算し、総和を
とる。このとき近傍画素の値は、そのまま保持する。注
目画素を１にした場合、exp（−２β）、注目画素を０
にした場合、exp（２β）となる。（２７）式は、Ｚ＝e
xp（−２β）＋exp（２β）となり、この場合、（２
６）式は

【数２８】 Ｐ（ｘ_ij｜ｘη_X ^(p)，λ^(p+1)） ＝（exp（−２β））／（exp（−２β）＋exp（２β）） （２８） となる。同様に、注目画素に対して、８近傍の取りうる
値について考えると、８近傍の画素の位置には拠らずそ
の確率を決定することができる。つまり、８近傍の画素
のうちいくつの画素が、注目画素と同一ラベルかによっ
て決定される。同一ラベルの画素無しの例４１の場合。

【数２９】 Ｐ（ｘ_ij｜ｘη_X ^(p)，λ^(p+1)） ＝（exp（−８β））／（exp（−８β）＋exp（８β）） （２９） 同一ラベルの画素が１つの例４２の場合。

【数３０】 Ｐ（ｘ_ij｜ｘη_X ^(p)，λ^(p+1)） ＝（exp（−６β））／（exp（−６β）＋exp（６β）） （３０） 同一ラベルの画素が２つの例４３の場合。

【数３１】 Ｐ（ｘ_ij｜ｘη_X ^(p)，λ^(p+1)） ＝（exp（−４β））／（exp（−４β）＋exp（４β）） （３１） 同一ラベルの画素が４つの例４４の場合。

【数３２】 Ｐ（ｘ_ij｜ｘη_X ^(p)，λ^(p+1)） ＝（exp（０））／（exp（０）＋exp（０）） ＝１／２ （３２） 同一ラベルの画素が５つの例４５の場合。

【数３３】 Ｐ（ｘ_ij｜ｘη_X ^(p)，λ^(p+1)） ＝（exp（２β））／（exp（−２β）＋exp（２β）） （３３） 同一ラベルの画素が６つの例４６の場合。

【数３４】 Ｐ（ｘ_ij｜ｘη_X ^(p)，λ^(p+1)） ＝（exp（４β））／（exp（−４β）＋exp（４β）） （３４） 同一ラベルの画素が７つの例４７の場合。

【数３５】 Ｐ（ｘ_ij｜ｘη_X ^(p)，λ^(p+1)） ＝（exp（６β））／（exp（−６β）＋exp（６β）） （３５） 同一ラベルの画素が８つの例４８の場合。

【数３６】 Ｐ（ｘ_ij｜ｘη_X ^(p)，λ^(p+1)） ＝（exp（８β））／（exp（−８β）＋exp（８β）） （３６） となり、一般的には、（３６）式の場合、β＞０とする
と、そのとる値が大きくなると確率は、１に近づき与え
る影響は小さくなる。しかし、反対に（２９）式の場
合、β＞０とすると、そのとる値が大きくなると確率
は、０に近づき与える影響は大きくなる。注目画素が、
（２９）式で表されるような状態、つまり、周辺に対し
て、１画素だけ異なるような場合は、確率的には低いと
言えるようになる。（２８）式から（３６）式により、
注目画素が周囲の画素に対して、同一の領域である程、
領域過程の確率が高くなることが示される。周辺に対し
て、１画素だけ異なるような場合には、ノイズとして除
去された方が良くなり、中間領域画像２３の白領域の点
がノイズとして除去され最終領域画像２２に平滑化され
ていく事となる。実際、中間領域画像２３は、行列式の
値が０となる場合であるが、この領域過程の処理によ
り、より良好な最終領域画像２２を得ることができる。

【００５２】以上の様にテクスチャ過程と領域過程が定
義される。ステップ１０１の初期ステップとしては、第
１項のテクスチャ過程のみを用いて、初期中間領域画像
の推定を行う。ステップ１１５により推定された初期領
域画像とテクスチャ画像からステップ１０９は、、テク
スチャ過程の初期パラメータを推定する。

【数３７】 ｘ_ij ^(p+1)＝ arg maxＰ（ｙ_ij｜ｘ_ij,ｘη_Y ^(p)，ｙη_Y,λ^(p+1)） （３７ ） ステップ１１０においては、図８で示す初期領域画像２
１、テクスチャ画像２０と初期パラメータに基づいて式
（３７）により、初期中間領域画像の推定を行い領域画
像メモリ２に書き込む。

【００５３】次に、ステップ１０２で初期領域画像２１
と入力画像２０より領域過程とテクスチャ過程のパラメ
ータをパラメータ推定部１３において推定する。ステッ
プ１０３では、得られたパラメータから行列式を計算し
その値が０であるかどうか判定する。行列式の値が０で
なかった場合は、ステップ１０４の第１推定手段におい
て領域過程とテクスチャ過程のパラメータと初期中間領
域画像と、テクスチャ画像に基づいて、式（３８）によ
りＰ＋１回目の領域画像を推定する。

【数３８】 ｘ_ij ^(p+1)＝arg maxＰ（ｙ_ij｜ｘ_ij,ｘη_Y ^(p)，ｙη_Y,λ^(p+1)） Ｐ（ｘ_ij｜ｘη_X ^(p)，λ^(p+1)） （３８）

【００５４】行列式が０の場合は、ステップ１０５で
は、第２推定手段において領域過程のみにより領域画像
を推定をする。ステップ１１１では、領域過程のパラメ
ータを推定する。ステップ１１２では、ステップ１１１
で推定したパラメータ、領域画像、テクスチャ画像に基
づいて （３９）式によりＰ＋１回目の領域画像を推定
する。

【数３９】 ｘ_ij ^(p+1)＝ arg maxＰ（ｘ_ij｜ｘη_X ^(p)，λ^(p+1)） （３９）

【００５５】ステップ１０６では、Ｐ回目の領域画像と
Ｐ＋１回目の領域画像を比較し、変化した画素数が所定
値以下の場合に収束したと判定する。収束している場合
は、Ｐ＋１回目の領域画像を、推定する領域画像として
出力し演算を終了する。収束していない場合は、ステッ
プ１０２に戻り繰り返し演算を行う。この繰り返し演算
により、図８の中間領域画像２３が順次生成される。図
８の中間領域画像２３が得られた後の演算で相関行列の
行列式の値が０となる場合には、中間領域画像２３が最
終画像となり、正確な領域抽出が行われないところ、本
発明ではさらに、領域過程のみによる演算が実行され
て、その後の演算過程で、相関行列式の行列式の値が０
となる状態を回避させることができる。その結果、正確
な最終領域画像２２が得られることとなる。

【００５６】ここで、ステップ１０３において、相関行
列の行列式の値が０と判定された場合、ステップ１０５
ａにより以後の領域画像推定を領域過程のみにより行っ
てもよい。ステップ１０５ａは、ステップ１０５の変形
例であり、相関行列の行列式の値が０となった場合、そ
の領域に関しては、画像が収束するまで領域過程のみに
より領域画像推定を行う。ステップ１１８では、Ｐ回目
の領域画像とＰ＋１回目の領域画像を比較し、変化した
画素数が所定値以下の場合に収束したと判定し、領域過
程とテクスチャ過程により推定された領域画像と重畳す
る事により最終的な領域画像となる。

【図面の簡単な説明】

【図１】本発明の具体的な処理手順を示した概略フロー
チャート。

【図２】システムの構成を表すブロック図。

【図３】詳細フローチャート。

【図４】初期ステップの詳細フローチャート。

【図５】第２推定手段の詳細フローチャート。

【図６】本発明の変形例の処理手順を示した概略フロー
チャート。

【図７】変形例の第２推定手段の詳細フローチャート。

【図８】テクスチャ画像より領域画像の抽出過程の説明
図。

【図９】テクスチャ画像の一例の説明図。

【図１０】領域画像の一例の説明図。

【図１１】画素（ｉ，ｊ）の近傍、輝度ベクトルの一例
の説明図。

【図１２】相関行列と相関行列の行列式の１例の説明
図。

【図１３】領域過程による項の２次近傍系を用いた説明
図。

【符号の説明】

１…制御部 ２…領域画像メモリ ３…画像入力部 １０…初期領域画像推定部 １１…初期パラメータ推定部 １２…初期中間領域画像推定部 １３…パラメータ推定部 １４…相関行列の行列式判定部 １６…第１推定手段による領域画像推定部 １７…第２推定手段による領域画像推定部 １８…領域画像の収束判定部 ２０…テクスチャ画像 ２１…初期領域画像 ２２…最終領域画像 ２３…中間領域画像 ステップ１００…画像入力手段 ステップ１０２…パラメータ推定手段 ステップ１０３…相関行列の行列式判定手段 ステップ１０４…第一推定手段 ステップ１０５…第２推定手段 ステップ１０５ａ…第２推定手段の変形例 ステップ１０６…領域画像収束判定手段 ステップ１０８…初期領域画像推定手段 ステップ１０９…初期パラメータ推定手段 ステップ１１０…初期中間領域画像推定手段

Claims (1)

【特許請求の範囲】
1. 【請求項１】テクスチャ画像が、第１層である隠れ層で
   観測できない領域画像を生成する確率過程である領域過
   程と第２層である観測層であり各領域のテクスチャを表
   現する複数の確率過程であるテクスチャ過程とに階層化
   されたマルコフ確率場を用いてモデル化できると仮定
   し、テクスチャ過程としてガウスマルコフ確率場を用い
   て領域画像を推定するにあたって、 テクスチャ画像と中間領域画像とから次の中間領域画像
   をテクスチャ過程と領域過程とに基づいて逐次、演算す
   ることにより最終的な領域画像の推定を行う装置におい
   て、 テクスチャ過程のパラメータである相関行列の行列式が
   ０か否かを判定する判定手段と、 前記判定結果が０以外の場合に領域過程及びテクスチャ
   過程を用いて領域画像推定を行う第１推定手段と、 前記判定結果が０の場合に領域過程のみを用いて領域画
   像推定を行う第２推定手段とを有する領域画像抽出装
   置。