JP4553332B2

JP4553332B2 - 領域分割方法及び装置並びに記憶媒体

Info

Publication number: JP4553332B2
Application number: JP2000110746A
Authority: JP
Inventors: 拓矢小谷
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-04-12
Filing date: 2000-04-12
Publication date: 2010-09-29
Anticipated expiration: 2020-04-12
Also published as: JP2001297329A

Description

【０００１】
【発明の属する技術分野】
本発明は、マルコフ確率場モデルを利用した領域分割方法及び装置並びに記憶媒体に関する。
【０００２】
【従来の技術】
領域分割は、ある一定の法則に従ってターゲットを複数の領域に切り分ける処理であり、静止画像の領域分割は様々な画像処理の前処理として有用である。例えば、オブジェクト抽出及び画像圧縮の前処理として用いることができる。動画像の領域分割には、動画フレームの領域分割、及び動画フレームのストリームをシーンに分割する処理が考えられる。
【０００３】
領域分割法は２つに大別できる。１つは、領域の不連続性に注目する方法であり、もう１つは、領域の連続性に注目する方法である。前者の例として、エッジ検出法が知られている。エッジ検出法には、検出されたエッジが閉領域を構成する保証が無いという欠点がある。後者の例として、リージョン・グローイング法が知られている。
【０００４】
領域分割で問題となるのは、データに乗っているノイズの影響である。例えば、エッジ検出法の場合、ノイズにより正常にエッジを検出できないことがある。
リージョン・グローインク法では、ノイズの影響によって、成長すべき領域が極値にトラップされてしまう。
【０００５】
領域分割の前処理としてディジタル・フィルタ処理を行なうことにより、ノイズの影響を低減できる。しかし、単純な平滑化フィルタを適用すると、ノイズでない重要な情報をも無くしてしまう可能性がある。
【０００６】
入力データに影響を及ぼさずにノイズを処理する方法としては、マルコフ確率場ＭＲＦ（ＭａｒｋｏｖＲａｎｄｏｍＦｉｅｌｄ）を用いる方法がある。ＭＲＦを用いた領域分割法として、ベイズ決定則を利用した手法などが知られている。ベイズ決定則を利用した手法による領域分割は、例えば、次のような手段により実現出来る。確率計算の処理単位をセルと呼ぶ。画素単位で確率を計算する場合、１画素を１つのセルとして扱う。第１ステップとして、セルｉが各領域ラベルになる確率を計算し、求めた確率からセルｉの領域ラベルを決定する。第２ステップとして、領域ラベルが変化したセル数を調べ、収束率を計算する。第３ステップとして、収束率の値からセルの状態が収束していないと判定された場合、第１ステップに戻り、収束した場合には、処理を終了する。同じ領域を構成するセルは、同じ領域ラベルを持つ。このような収束演算を用いた処理を行うことで、各セルに対して最も確からしい領域ラベルを決定できる。
【０００７】
【発明が解決しようとする課題】
ＭＲＦを用いた領域分割処理は、計算コストが非常に高いという問題点がある。ＭＲＦを用いた領域分割法は、領域分割における処理単位であるセルの領域ラベルを確率的に決定し、セルの領域ラベルが安定するまで、状態を繰り返し更新する方法であるので、処理に膨大な時間がかかる。従って、１回の更新処理を高速化し、セルの領域ラベルの収束を早めることが重要である。
【０００８】
本発明は、より高速に領域分割結果を得られる領域分割方法及び装置並びに記憶媒体を提示することを目的とする。
【０００９】
【課題を解決するための手段】
本発明に係る領域分割方法は、確率関数を用いた収束演算により領域を分割する方法であって、入力情報から領域分割における処理単位となるセルを生成するセル生成ステップと、各セルを初期設定する初期設定ステップと、セルと領域ラベルの組み合わせに対して、計算実行状態を参照することにより、確率計算が必要かどうかを判定する計算実行判定ステップと、当該計算実行判定ステップによって確率計算が必要と判定されたセルと領域ラベルの組み合わせについて、セルがその領域ラベルに属する確率を算出する確率計算ステップと、当該確率計算ステップにおいて算出された確率が、予め定めた閾値を超えない場合に、当該セルと領域ラベルの組み合わせについて、当該計算実行判定ステップが参照する前記計算実行状態を次回の確率計算が不要であることを示す状態に更新する計算状態更新ステップと、前記計算実行状態と当該確率計算ステップの計算結果とからセルの領域ラベルを決定する状態値決定ステップと、セルと領域ラベルから分割結果を出力する分割結果出力ステップとを具備することを特徴とする。
【００１０】
本発明に係る領域分割装置は、確率関数を用いた収束演算により領域を分割する装置であって、入力情報から領域分割における処理単位となるセルを生成するセル生成手段と、各セルを初期設定する初期設定手段と、セルと領域ラベルの組み合わせに対して、計算実行状態を参照することにより、確率計算が必要かどうかを判定する計算実行判定手段と、当該計算実行判定手段によって確率計算が必要と判定されたセルと領域ラベルの組み合わせについて、セルがその領域ラベルに属する確率を算出する確率計算手段と、当該確率計算手段において算出された確率が、予め定めた閾値を超えない場合に、当該セルと領域ラベルの組み合わせについて、当該計算実行判定手段が参照する前記計算実行状態を次回の確率計算が不要であることを示す状態に更新する計算状態更新手段と、前記計算実行状態と当該確率計算手段の計算結果とからセルの領域ラベルを決定する状態値決定手段と、セルと領域ラベルから分割結果を出力する分割結果出力手段とを具備することを特徴とする。
【００１１】
本発明に係る記憶媒体には、上述の領域分割方法を実行するプログラム・ソフトウエアが格納される。
【００１２】
【実施例】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【００１３】
図１は、本発明の一実施例の概略構成ブロック図を示す。１０は全体を制御し、領域分割の演算を実行するＣＰＵ、１２はＣＰＵ１０の実行するプログラム及び固定データを記憶するＲＯＭ、１４はＣＰＵ１０の主記憶となり、演算途中のデータを記憶するＲＡＭ、１６はイメージスキャナ、電子カメラの接続手段及びビデオキャプチャ装置等の画像入力装置、１８は、キーボード及びマウスなどからなる操作装置、２０はバイナリデータ及び領域情報等を記憶する記憶装置であり、ハードディスク装置などからなる。２２はＣＲＴ又は液晶表示パネルなどからなる画像表示装置である。
【００１４】
本実施例では、予め設定した確率密度関数が最大になるような画素の集合、即ち領域を構成することを目的とする。その処理を高速化するために、似た色を持ち隣接する画素を予めまとめておく。このような画素のまとまりを、確率計算の処理単位、即ちセルとする。これらの処理の詳細については後述する。
【００１５】
図２は、本実施例の動作フローチャートを示す。先ず、似た色を持つ隣接する画素をまとめてセルを構成し（Ｓ１）、セルの状態値を決定する（Ｓ２）。確率計算を行うべきセルと領域ラベルの組み合わせを選択し（Ｓ３）、選択されたセルと領域ラベルの組み合わせについて確率計算を行い（Ｓ４）、セルと領域ラベルの組み合わせを選択するための計算実行状態を設定する（Ｓ５）。Ｓ４による確率計算の結果からセルの領域ラベルを決定し、確率計算に必要なパラメータ値を更新する（Ｓ６）。セルの状態が収束したかどうかを判定し（Ｓ７）、収束していない場合にはＳ３に戻り、収束した場合には、領域分割結果を出力し、処理を終了する（Ｓ８）。
【００１６】
図３は、セル生成ステップＳ１のフローチャートを示す。本実施例では、図４に示すように、１回の処理で４分割することとする。入力画像を４分割し（Ｓ１１）、分割条件を満たす部分画像を更に４分割する（Ｓ１２）。分割条件は、例えば、本実施例では部分画像内の色の輝度差がある閾値を超えた場合に真、そうでない場合に偽とする。全ての部分画像が分割条件を満たさなくなるまで（Ｓ１３）、部分画像の分割（Ｓ１２）を繰り返す。このようにして得られた画素の集合をセルと１対１に対応させる。セルは、確率計算を行う処理単位である。図５は、セル生成ステップＳ１の処理結果の一例を示す。
【００１７】
図２の初期分割ステップＳ２では、セルの状態値の初期値を設定する。セルの状態値とは、セルが属する領域ラベルに対応する値である。初期値は、どのように設定しても良いが、例えば、本実施例では乱数で状態値の初期値を設定する。
全てのセルの状態値が設定された後、同じ状態値を持つセルの特徴量の平均と分散共分散行列を計算する。また、各セルについて、各状態値をとる確率を計算する状態、すなわち、計算実行状態にあるかどうかを示す領域ラベル計算フラグを設定する。領域ラベル計算フラグは、状態値の上限値とセル数の積の長さを持つ配列であり、初期状態では、配列の各要素は全てオンに設定されている。
【００１８】
計算実行判定ステップＳ３では、領域ラベル計算フラグを参照して、確率を計算すべきセルと状態値の組み合わせを選択する。
【００１９】
確率計算ステップＳ４では、ステップＳ３で選択されたセルと状態値の組み合わせに関して、各セルが各状態値をとる確率を計算する。色ベクトルｙ_ｉを特徴量とするセルｉの集合の状態値ｘ_ｉがｍになる確率密度関数Ｐ（ｘ_ｉ＝ｍ｜ｙ_ｉ）は、次式で表される。すなわち、
【００２０】
【数１】

ただし、ｃはクリーク、μ_ｍはクラスｍに属するセルの平均特徴ベクトル、Ａはクラスｍに属するセルの特徴ベクトルの分散共分散行列である。ｘ_ｃは、ｃに含まれるセルの集合を示す。クリークｃは、注目しているセルの状態を決定するための領域を示す。例えば、本実施例では、クリークｃは、注目するセルに隣接するセルの集合である。
【００２１】
この確率計算は、必ずしも全てのセルに対して行われる訳ではなく、ある条件に合致するセルについては、確率計算を行わずに確率値を決定する。例えば、本実施例では、領域ラベル設定フラグがオフに設定されているセルと状態値の組み合わせに対して、確率計算を行わない。確率計算を行わない場合、本実施例では、確率値を０とする。この処理は、実際に確率を計算するよりも十分に速いので、全ての確率計算を行うより高速に処理できる。
【００２２】
計算状態更新ステップＳ５では、ステップＳ４で算出した確率値と計算実行状態を示す領域ラベル設定フラグの状態に応じて、領域ラベル設定フラグを更新する。条件により以下の２つの処理に分かれる。即ち、ステップＳ４において確率計算を行うことなく確率値を定めたセルと状態値の組み合わせに対しては、セルと状態値の組み合わせごとに設けたスキップカウンタの値を１増やす。スキップカウンタの値が予め定めた値ｎを越えた場合、スキップカウンタをリセットして領域ラベル設定フラグを更新する。例えば本実施例では、ｎ＝３であるとする。
この場合、スキップカウンタが３を越えると、スキップカウンタの値を０に戻し、そのセルと状態値の組み合わせに対応する領域ラベル設定フラグをオンに設定する。他方、ステップＳ４の時点で領域ラベル設定フラグがオンに設定されており、且つ、ステップＳ４で算出された確率値が予め設定した閾値Ｔ_ｐに満たないセルと状態値の組み合わせに対しては、そのセルと状態値の組み合わせに対応する領域ラベル設定フラグをオフに設定する。
【００２３】
なお、スキップカウンタを使用する処理では、ｎ＝１、即ち、確率計算を省略したセルと状態値の組み合わせについて次回には省略を行なわない場合、スキップカウンタは０か１の２値しかとらない。この場合、スキップカウンタは、領域ラベル設定フラグと意味的に同値になるので、スキップカウンタの機能を領域ラベル設定フラグに兼ねさせることによって、スキップカウンタを省略できる。
【００２４】
状態値決定ステップＳ６では、ステップＳ４で算出した確率値から各セルの状態値を決定する。本実施例では、ＩＣＭ法により状態値を決定する。ＩＣＭ法は、各セルについて確率が最大となる状態値をセルの状態値として設定するので、各セルの状態値は、確率が最大となる値となる。状態値を決定した後、状態値が変化したセル数の、全セル数に対する割合で示される収束率と、確率計算に必要な分散共分散行列と、平均特徴ベクトルを再計算する。
【００２５】
図６は、セルｉに注目したときの確率計算から状態値決定までの一連の処理の値変化を示す。図６では、状態値は１乃至５の５つであり、領域ラベル計算フラグは単にフラグ、スキップカウンタは単にカウンタと略して図示されている。
【００２６】
計算実行判定ステップＳ３と確率計算ステップＳ４で、領域ラベル計算フラグがオンである状態値に対して、それぞれに属する確率値を算出する。
【００２７】
次に、計算状態更新ステップＳ５で、次の２つの処理を実行する。この例では、領域ラベル計算フラグをリセットする値ｎ＝３とする。先ず、状態値５のスキップカウンタが３であるので、スキップカウンタを０に戻し、領域ラベル計算フラグがオフである状態値５に対応する領域ラベル計算フラグをオンにする。ここで、領域ラベル計算フラグをオフにする閾値が０．０１０であるとすると、セルｉが状態値３になる確率は０．００９であるので、セルｉと状態値３の組み合わせに対応する領域ラベル計算フラグをオフに設定する。
【００２８】
最後に、状態値決定ステップＳ６でセルの状態値を決定する。本実施例では、ＩＣＭ法を用いて状態値を決定するので、確率値が最大になる状態値２が、セルｉの状態値となる。
【００２９】
図６に示す例では、セルｉの状態値を決定するために必要な確率計算の回数が５回から４回に削減されている。状態値の数が多い場合、確率計算の回数を大幅に削減することが出来るので、この方法は、状態値の数が多いほど効果的になる。
【００３０】
分割結果出力ステップＳ８では、分割結果を出力する。本実施例では、同じ状態値を持つ画素の平均色で分割画像を構成し、ファイルに出力する。
【００３１】
上述の実施例では、セルの状態値を決定するのにＩＣＭ法を用いた。しかし、セルの状態値を決定するのにＩＣＭ法を採用しない場合でも、同様に高速化できる。例えば、状態値をＩＣＭ法のように決定論的に決めるのではなく、確率計算で得られた確率値の大きさに応じて確率論的に決める場合でも、同様の方法で高速化が達成される。以下、セルの状態値を確率計算ステップで算出した確率値に応じて遷移させる方式を説明する。なお、この第２実施例における領域分割処理の流れ自体は、図２と同じである。
【００３２】
図７は、セルｉに注目したときの確率計算から状態値決定までの、第２実施例における一連の処理による値変化例を示す。図７では、状態値は１乃至５の５つであるとし、領域ラベル計算フラグは単にフラグ、スキップカウンタは単にカウンタと略して図示されている。
【００３３】
まず、計算実行判定ステップと確率計算ステップで、領域ラベル計算フラグがオンである状態値に関して、それぞれに属する確率を算出する。
【００３４】
次に、計算状態更新ステップで次の２つの処理を実行する。この例では領域ラベル計算フラグをリセットする値ｎ＝３とする。状態値５のスキップカウンタが３であるので、スキップカウンタを０に戻し、領域ラベル計算フラグがオフである状態値５に対応する領域ラベル計算フラグをオンにする。ここで領域ラベル計算フラグをオフにする閾値が０．０１０であるとすると、セルｉが状態値３になる確率は０．００９であるので、セルｉと状態値３の組み合わせに対応する領域ラベル計算フラグをオフに設定する。
【００３５】
最後に、状態値決定ステップにおいて、各状態値をとる確率の合計が１になるように正規化し、セルｉが各状態値に遷移する確率を求める。セルｉの状態値は、遷移確率に従って決定される。この例においても、セルｉの状態値を決定するのに必要な確率計算の回数が５回から４回に削減されている。状態値の数が多い場合、確率計算の回数を大幅に削減出来るので、この方法は、状態値の数が多いほど、効果的である。
【００３６】
静止画像を例に説明したが、本発明は勿論、動画像にも適用できる。例えば、セル生成ステップＳ１に入力される情報は、動画像のフレーム間差分から算出される動きベクトルを特徴量として持つブロックを表す。そして、セル生成ステップにおいて生成されるセルを、所定の分割条件に従い、当該動画像のフレームを構成するブロックの集合のうち当該分割条件を満たすブロックの集合を再帰的に分割することによって得られるブロックの集合と対応させる。
【００３７】
上述した実施例の機能を実現するように各種のデバイスを動作させるべく当該各種デバイスと接続された装置又はシステム内のコンピュータに、上記実施例の機能を実現するためのソフトウェアのプログラムコードを供給し、その装置又はシステムのコンピュータ（ＣＰＵ又はＭＰＵ）を格納されたプログラムに従って動作させ、前記各種デバイスを動作させることによって実施したものも、本願発明の範囲に含まれる。
【００３８】
この場合、前記ソフトウエアのプログラムコード自体が、前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記憶媒体は、本発明を構成する。かかるプログラムコードを格納する記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード及びＲＯＭ等を用いることが出来る。
【００３９】
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施例の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）又は他のアプリケーションソフトウエア等と共同して上述の実施例の機能が実現される場合にも、かかるプログラムコードが本出願に係る発明の実施例に含まれることは言うまでもない。
【００４０】
更には、供給されたプログラムコードが、コンピュータの機能拡張ボード又はコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいて、その機能拡張ボード又は機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施例の機能が実現される場合も、本出願に係る発明に含まれることは言うまでもない。
【００４１】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、マルコフ確率場モデルを利用した領域分割処理において、各セルの状態値決定に必要な確率計算の回数を低減でき、その結果、領域分割処理を高速化できる。
【図面の簡単な説明】
【図１】本発明の第１実施例の概略構成ブロック図である。
【図２】第１実施例における領域分割処理のフローチャートである。
【図３】セル生成ステップＳ１の詳細なフローチャートである。
【図４】セル生成ステップの処理例の模式図である。
【図５】セル生成ステップの処理結果の模式図である。
【図６】第１実施例における確率計算ステップと状態値決定ステップの処理例である。
【図７】第２実施例における確率計算ステップと状態値決定ステップの処理例である。
【符号の説明】
１０：ＣＰＵ
１２：ＲＯＭ
１４：ＲＡＭ
１６：画像入力装置
１８：操作装置
２０：記憶装置
２２：画像表示装置

Claims

確率関数を用いた収束演算により領域を分割する方法であって、
入力情報から領域分割における処理単位となるセルを生成するセル生成ステップと、
各セルを初期設定する初期設定ステップと、
セルと領域ラベルの組み合わせに対して、計算実行状態を参照することにより、確率計算が必要かどうかを判定する計算実行判定ステップと、
当該計算実行判定ステップによって確率計算が必要と判定されたセルと領域ラベルの組み合わせについて、セルがその領域ラベルに属する確率を算出する確率計算ステップと、
当該確率計算ステップにおいて算出された確率が、予め定めた閾値を超えない場合に、当該セルと領域ラベルの組み合わせについて、当該計算実行判定ステップが参照する前記計算実行状態を次回の確率計算が不要であることを示す状態に更新する計算状態更新ステップと、
前記計算実行状態と当該確率計算ステップの計算結果とからセルの領域ラベルを決定する状態値決定ステップと、
セルと領域ラベルから分割結果を出力する分割結果出力ステップ
とを具備することを特徴とする領域分割方法。
当該計算実行判定ステップは、当該計算実行状態を表す領域ラベル計算フラグがオンになっている場合に、そのセルと領域ラベルの組み合わせに関する確率計算が必要であると判定する請求項１に記載の領域分割方法。
当該確率計算ステップは、マルコフ確率場モデルを用いて表現される確率密度関数を用いて確率を計算する請求項１に記載の領域分割方法。
当該確率計算ステップは、当該計算実行判定ステップの判定により確率計算が不要と判定された場合、確率計算を行うことなくそのセルと領域ラベルの組み合わせに関する確率値を決定する請求項３に記載の領域分割方法。
確率計算を行うことなく定められるセルと領域ラベルの組み合わせに関する当該確率値が０である請求項４に記載の領域分割方法。
確率計算を行うことなく定められたセルと領域ラベルの組み合わせに関する当該確率値が、同じセルに対して最後に確率計算して得られた確率値である請求項４に記載の領域分割方法。
当該計算状態更新ステップは、全てのセルと全ての領域ラベルの組み合わせに関して確率計算が必要かどうかを示す領域ラベル計算フラグを更新する請求項１に記載の領域分割方法。
当該計算状態更新ステップは、確率計算において求められた確率が予め定めた閾値を超えない場合に当該領域ラベル計算フラグをオフにする請求項７に記載の領域分割方法。
当該計算状態更新ステップは、当該領域ラベル計算フラグがオフであるために確率計算が行われなかった回数がｎを超えた場合に、当該領域ラベル計算フラグをオンとする請求項７に記載の領域分割方法。
当該計算状態更新ステップは、当該領域ラベル計算フラグがオフであるために確率計算が行われなかった場合、予め定めた確率で当該領域ラベル計算フラグをオンとする請求項７に記載の領域分割方法。
当該入力情報が、ディジタル情報である請求項１に記載の領域分割方法。
当該セル生成ステップにおいて生成されるセルを、所定の分割条件に従い当該入力情報の部分集合のうち当該分割条件を満たす部分集合を再帰的に分割することによって得られる当該入力情報の部分集合と対応させる請求項１１に記載の領域分割方法。
当該ディジタル情報が静止画像である請求項１１に記載の領域分割方法。
当該セル生成ステップにおいて生成されるセルを、所定の分割条件に従い、当該静止画像の部分画像のうち当該分割条件を満たす部分画像を再帰的に分割することによって得られる部分画像と対応させる請求項１３に記載の領域分割方法。
当該ディジタル情報は、動画像のフレーム間差分から算出される動きベクトルを特徴量として持つブロックを表す請求項１１に記載の領域分割方法。
当該セル生成ステップにおいて生成されるセルを、所定の分割条件に従い、当該動画像のフレームを構成するブロックの集合のうち当該分割条件を満たすブロックの集合を再帰的に分割することによって得られるブロックの集合と対応させる請求項１５に記載の領域分割方法。
確率関数を用いた収束演算により領域を分割する装置であって、
入力情報から領域分割における処理単位となるセルを生成するセル生成手段と、
各セルを初期設定する初期設定手段と、
セルと領域ラベルの組み合わせに対して、計算実行状態を参照することにより、確率計算が必要かどうかを判定する計算実行判定手段と、
当該計算実行判定手段によって確率計算が必要と判定されたセルと領域ラベルの組み合わせについて、セルがその領域ラベルに属する確率を算出する確率計算手段と、
当該確率計算手段において算出された確率が、予め定めた閾値を超えない場合に、当該セルと領域ラベルの組み合わせについて、当該計算実行判定手段が参照する前記計算実行状態を次回の確率計算が不要であることを示す状態に更新する計算状態更新手段と、
前記計算実行状態と当該確率計算手段の計算結果とからセルの領域ラベルを決定する状態値決定手段と、
セルと領域ラベルから分割結果を出力する分割結果出力手段
とを具備することを特徴とする領域分割装置。
コンピュータに請求項１乃至１６のいずれか１項に記載の領域分割方法を実行させるためのコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。