JP6044130B2 - 画像領域分割装置、方法、およびプログラム - Google Patents

Description

本発明は、画像内の主要被写体とそれ以外の背景を領域分割する装置、方法、およびプログラムに関する。

野山や道端で見かけた花の名前を知りたくなることがある。そこで、撮影等により得た花のディジタル画像より、クラスタリング法を用いて対象物である花の画像を抽出し、その抽出された花の画像より得られる情報を特徴量とする。単数または複数の特徴量を求め、その求められた特徴量と、あらかじめデータベースに登録してある各種の植物の特徴量とを統計的手法を用いて解析して野草の種類を判別する技術が提案されている（例えば特許文献１に記載の技術）。

また、主要被写体を含む画像をＧｒａｐｈ Ｃｕｔｓ法を用いて主要被写体と背景とに分割する従来技術が知られている（例えば非特許文献１、特許文献２に記載の技術）。領域分割を行う場合，主要被写体と背景の関係によりその境界が不明確な部分が存在する可能性があり，最適な領域分割を行う必要がある。そこで、この従来技術では、領域分割をエネルギーの最小化問題としてとらえ、その最小化手法を提案している。この従来技術では，領域分割に適合するようにグラフを作成し、そのグラフの最小カットを求めることにより、エネルギー関数の最小化を行う。この最小カットは、最大フローアルゴリズムを用いることにより、効率的な領域分割計算を実現している。

Ｇｒａｐｈ Ｃｕｔｓ法を用いて主要被写体と背景を分割する手法では、画像内の各画素に付与する主要被写体または背景を示す領域ラベルを更新しながら、その領域ラベルと各画素の画素値に基づいて領域分割を行う手法が知られている。この場合例えば、次のようなコスト項を含むエネルギー関数が定義される。まず、主要被写体を示す画像から算出した例えばカラー画素値ごとのヒストグラムの値が大きいほど値が小さくなるコスト項が含まれる。また、背景を示す画像から算出した例えばカラー画素値ごとのヒストグラムの値が大きいほど値が小さくなるコスト項が含まれる。そして、そのエネルギー関数の最小化処理により、画像内で主要被写体と背景が領域分割される（以上、例えば非特許文献１に記載の手法）。

また、Ｇｒａｐｈ Ｃｕｔｓ法だけでは主要被写体と背景の分割が難しい場合がある。このため、例えばいわゆるスマートフォンなどへの実装では、ユーザが、例えば撮像装置で撮像した画像に対し、認識したい物体（例えば花）が存在するおおよその領域に対して、例えばタッチパネル等の入力装置を用いて矩形枠を指定する機能が実装される。
さらに、実際の使用における主要被写体と背景の領域分割の精度を向上させるために、次のようなヒストグラムの更新処理が実行される。主要被写体と背景の実際の領域分割の結果を用いて、現画像に対する、主要被写体の新ヒストグラムと背景の新ヒストグラムが算出される。そして、前回までに使用していた主要被写体のヒストグラムと今回の主要被写体の新ヒストグラムが混合されて、新たな主要被写体のヒストグラムに更新される。同様に、前回までに使用していた背景のヒストグラムと今回算出した背景の新ヒストグラムが混合されて、新たな背景のヒストグラムに更新される。このように更新された新たな主要被写体および背景の各ヒストグラムが、次回の領域分割処理において使用される。

特開２００２−２０３２４２号公報 特開２０１１−３５６３６号公報

Ｙ．Ｂｏｙｋｏｖ ａｎｄ Ｇ．Ｆｕｎｋａ−Ｌｅａ："Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈ Ｃｕｔｓ ｆｏｒ Ｏｐｔｉｍａｌ Ｂｏｕｎｄａｒｙ ＆ Ｒｅｇｉｏｎ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｏｂｊｅｃｔｓ ｉｎ Ｎ−Ｄ Ｉｍａｇｅｓ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ "Ｉｎｔｅｒｎａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ"，Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ，ｖｏｌ．Ｉ，ｐ．１０５−１１２，Ｊｕｌｙ ２００１．

しかし、花画像などの場合、上述したようにユーザが矩形枠を指定しても、矩形枠の外側つまり背景領域に同様の花が写っている場合が多い。このような場合、背景と判定された領域のデータを使って背景のヒストグラムを更新した場合、実際には主要被写体の花等と同じ色のデータを使って背景のヒストグラムが更新されてしまう。これにより、次回以降、誤ったヒストグラムデータを用いて領域分割が行われてしまい、主要被写体と背景の領域分割において主要被写体と背景領域を誤認しやすくなって、領域分割の精度が低下してしまうという問題点を有していた。

本発明は、領域分割の精度を向上させることを目的とする。

態様の一例では、画像内で主要被写体とその主要被写体以外の背景を領域分割する装置であって、画像内の各画素に付与する主要被写体または背景を示す領域ラベルを更新しながら、その領域ラベルと各画素の画素値に基づき、主要被写体を示す画像から算出した画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、背景を示す画像から算出した画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、画像内で主要被写体と背景を領域分割する領域分割手段と、領域分割手段での処理の後、処理が終了した画像内で、主要被写体を示す領域から画素値ごとの第３のヒストグラムと、背景を示す領域から画素値ごとの第４のヒストグラムを、それぞれ算出する新規ヒストグラム算出手段と、第３のヒストグラムで、度数値が所定閾値以上となる画素値を特定画素値として抽出する特定画素値抽出手段と、第１および第３のヒストグラムを画素値ごとに混合して第１のヒストグラムを更新し、第２および第４のヒストグラムを特定画素値以外の画素値ごとに混合して第２のヒストグラムを更新するヒストグラム更新手段とを備える。

本発明によれば、領域分割の精度を向上させることが可能となる。

本発明の一実施形態に係る画像領域分割装置のハードウェア構成例を示すブロック図である。 図１の画像領域分割装置の機能的構成を示す機能ブロック図である。 本実施形態による画像領域分割処理の全体動作を示すフローチャートである。 重み付き有向グラフの説明図である。 ヒストグラムθの説明図である。 ｈ_uv（Ｘ_u ,Ｘ_v ）の特性図である。 ｔ−ｌｉｎｋとｎ−ｌｉｎｋを有するグラフと、領域ラベルベクトルＸおよびグラフカットとの関係を、模式的に示した図である。 領域分割処理を示すフローチャートである。 データ更新処理を示すフローチャートである。 データ更新処理の説明図である。

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。

図１は、本発明の一実施形態に係る画像領域分割装置１０１のハードウェア構成例を示すブロック図である。

この画像領域分割装置１０１は例えば、いわゆるスマートフォンなどの携帯情報端末であるコンピュータシステム上に実現される。

画像領域分割装置１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）１０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４を備える。また、画像領域分割装置１０１は、ソリッド記憶装置等の外部記憶装置１０５と、通信インタフェース１０６と、タッチパネルディスプレイ装置などの入力装置１０７および表示装置１０８を備える。さらに、画像領域分割装置１０１は、マイクロＳＤメモリカードやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリカードなどの可搬記録媒体１１０をセット可能な可搬記録媒体駆動装置１０９を備える。撮像装置１１２は、静止画像やビデオ画像を撮像することのできるデジタルカメラ機構であり、レンズ、オートフォーカス駆動制御装置、露出制御装置、撮像センサ等を備える。上述の各機器１０２〜１０９および１１２は、バス１１１によって相互に接続される。

ＲＯＭ１０３には、スマートフォン全体の一般的な動作を制御するプログラムのほか、後述する図３、図８、および図９のフローチャートによって示される画像領域分割処理の制御プログラムが記憶されている。ＣＰＵ１０２は、ＲＯＭ１０３から、この制御プログラムを読み出し、ＲＡＭ１０４をワークメモリとして実行する。これにより、後述する図２の機能ブロックで示される画像領域分割機能が実現され、この結果、例えばユーザが、撮像装置１１２によって花などを撮像し、入力装置１０７で範囲指定した画像範囲から、花などの主要被写体をそれ以外の背景から分割する画像領域分割処理が実行される。これにより得られた花などの主要被写体領域の画像データは、ユーザが例えば花の種類を検索するために、通信インタフェース１０６から特には図示しないインターネットを経由してインターネットに接続される画像検索サーバコンピュータに送信される。このコンピュータ上で、送られた主要被写体領域の花画像データに基づいて花のデータベースが検索される。その結果検索がヒットした花の図鑑情報が、その花の画像データとともにインターネットを経由して通信インタフェース１０６にて受信され、表示装置１０８に表示される。
なお、本実施形態による画像領域分割装置１０１は、携帯情報端末上ではなく、上記サーバコンピュータ上などに実現されてもよい。

図２は、図１の画像領域分割装置１０１の機能的構成を示す機能ブロック図である。
本実施形態における画像領域分割装置１０１は、画像内で、花などの主要被写体とその主要被写体以外の背景を領域分割する装置として実現される。

領域分割手段２０１は、画像内の各画素に付与する主要被写体または背景を示す領域ラベルを更新しながら、その領域ラベルと各画素の画素値、例えばカラー画素値に基づき、主要被写体を示す画像から算出した例えばカラー画素値ごとの第１のヒストグラム２０５の値が大きいほど値が小さくなるコスト項と、背景を示す画像から算出した例えばカラー画素値ごとの第２のヒストグラム２０６の値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、画像内で主要被写体と背景を領域分割する。この領域分割手段２０１は例えば、Ｇｒａｐｈ Ｃｕｔｓ法によりエネルギー関数の最小化処理を実行する。このときの第１のヒストグラムの初期値は例えば、学習用の複数枚の主要被写体を示す画像の例えばカラー画素値ごとのヒストグラムとして算出される。また、第２のヒストグラムの初期値は、学習用の複数枚の背景を示す画像の例えばカラー画素値ごとのヒストグラムとして算出される。

新規ヒストグラム算出手段２０２は、領域分割手段２０１での処理の後、処理が終了した画像内で、主要被写体を示す領域から例えばカラー画素値ごとの第３のヒストグラム２０７と、背景を示す領域から例えばカラー画素値ごとの第４のヒストグラム２０８を、それぞれ算出する。

特定画素値抽出手段２０３は、第３のヒストグラム２０７で、度数値が所定閾値以上となる例えばカラー画素値を特定画素値として抽出する。

ヒストグラム更新手段２０４は、第１のヒストグラム２０５および第３のヒストグラム２０７を、例えばカラー画素値ごとに混合して、第１のヒストグラム２０５を更新する。また、ヒストグラム更新手段２０４は、第２のヒストグラム２０６および第４のヒストグラム２０８を、特定画素値以外の例えばカラー画素値ごとに混合して、第２のヒストグラム２０６を更新する。より具体的には例えば、ヒストグラム更新手段２０４は、第２のヒストグラム２０６および第４のヒストグラム２０８の各度数値を、特定画素値以外の例えばカラー画素値ごとに所定の割合ずつ加算して得た度数値と、特定画素値ごとの第２のヒストグラム２０６の度数値とから、更新された第２のヒストグラム２０６を算出する。

図２に示される本実施形態における画像領域分割装置１０１の機能構成により、例えば花画像などの領域分割において、ユーザが指定した矩形枠の外側つまり背景領域に同様の花が写っているような場合であっても、次のようにして背景領域の誤認識が回避される。背景と判定された領域のデータを使って背景のヒストグラムを更新した場合に、その背景領域内に存在する主要被写体の花と同じ色のカラー画素値については、背景のヒストグラムが更新されないように抑制される。これにより、次回以降、領域分割手段２０１における領域分割処理において、誤ったヒストグラムデータを用いて領域分割が行われることがなくなり、背景領域と主要被写体領域とで誤認識をする割合が減少し、領域分割の精度を向上させることが可能となる。

図３は、本実施形態による画像領域分割処理の全体動作を示すフローチャートである。このフローチャートの処理は、図８および図９の詳細処理を示すフローチャートの処理とともに、図１のＣＰＵ１０２が、ＲＯＭ１０３に記憶された制御プログラムを、ＲＡＭ１０４をワークメモリとして使用しながら実行する処理として実現される。

まず、矩形枠決定処理が実行される（図３のステップＳ３０１）。この処理では、ユーザが、例えば図１の撮像装置１１２にて撮像した画像に対して、認識したい物体（例えば花）が存在するおおよその領域に対して、例えばタッチパネル等の入力装置１０７を用いて、矩形枠を指定する。例えば、タッチパネル上での、指によるスライド動作である。

次に、画像範囲内の各画素に対して、主要被写体と前記背景を領域分割する領域分割処理を実行する（図３のステップＳ３０２）。この領域分割処理は、図２の領域分割手段２０１の機能を実現する。この処理の詳細については、図４から図８で後述する。

一度領域分割処理が終了した後、収束判定が行われる（図３のステップＳ３０３）。この収束判定は、以下のいずれかが満たされたときに、ＹＥＳの判定結果となる。
・繰り返し回数が一定以上になった
・前回前景とされた領域面積と今回前景とされた領域の差が一定以下

ステップＳ３０３の判定で収束せず、その判定がＮＯであった場合、前回のグラフカット処理の状況に応じて、ユーザが指定した矩形枠内の後述するコスト関数ｇ_v (Ｘ_v )が、次のようにして修正されてデータ更新される（図３のステップＳ３０４）。ステップＳ３０２のグラフカット処理によって主要被写体と判定された領域の今回ヒストグラム（第３のヒストグラム２０７）と、事前に用意されている後述するヒストグラムθ（ｃ，０）（第１のヒストグラム２０５）が、カラー画素値ｃごとに混合（加算）される。これにより、新たな主要被写体らしさを示すヒストグラムθ（ｃ，０）が生成され、それに基づいて新たなコスト関数ｇ_v (Ｘ_v )が計算される（後述する数６式等を参照）。また、主要被写体のヒストグラム（第３のヒストグラム２０７）で、度数値が所定閾値θ_m 以上となる画素値が特定画素値として抽出される。そして、第２のヒストグラム２０６および第４のヒストグラム２０８が特定画素値以外のカラー画素値ごとに混合されて、第２のヒストグラム２０６が更新される。以上のステップＳ３０４のデータ更新処理は、図２の新規ヒストグラム算出手段２０２、特定画素値抽出手段２０３、およびヒストグラム更新手段２０４の機能を実現する。この処理の詳細については、図９および図１０で後述する。

ステップＳ３０３の判定が収束し、その判定がＹＥＳになると、図３のフローチャートで示される領域分割処理は終了とし、現在得られている主要被写体領域が最終結果として出力される。

以下に、図３のステップＳ３０２の領域分割処理について、説明する。
いま、
を、要素Ｘ_v が画像Ｖにおける画素ｖ（１≦ｖ≦Ｖ）に対する領域ラベルを示す領域ラベルベクトルであるとする。この領域ラベルベクトルは、例えば、画素ｖが主要被写体領域内にあれば要素Ｘ_v ＝０、背景領域内にあれば要素Ｘ_v ＝１となるバイナリベクトルである。すなわち、
である。

本実施形態において実行される領域分割処理は、画像Ｖにおいて、次式で定義されるエネルギー関数Ｅ（Ｘ）を最小にするような数１式の領域ラベルベクトルＸを求める処理である。
エネルギー最小化処理が実行される結果、領域ラベルベクトルＸ上で領域ラベル値Ｘ_v ＝０となる画素ｖの集合として、主要被写体領域が得られる。本実施形態の例でいえば、矩形枠内の花の領域である。なお、領域ラベルベクトルＸ上で領域ラベル値Ｘ_v ＝１となる画素ｖの集合が、背景領域（矩形枠外も含む）となる。

数３式のエネルギーを最小化するために、次式および図４で示される重み付き有向グラフ（以下「グラフ」と略す）を定義する。
ここで、Ｖはノード（ｎｏｄｅ）、Ｅはエッジ（ｅｄｇｅ）である。このグラフが画像の領域分割に適用される場合は、画像の各画素が各ノードＶに対応する。また、画素以外のノードとして、次式および図４中に示される、
と呼ばれる特殊なターミナルが追加される。このソースｓを主要被写体領域、シンクｔを背景領域に対応付けて考える。また、エッジＥは、ノードＶ間の関係を表現している。周辺の画素との関係を表したエッジＥをｎ−ｌｉｎｋ、各画素とソースｓ（主要被写体領域に対応）またはシンクｔ（背景領域に対応）との関係を表したエッジＥをｔ−ｌｉｎｋと呼ぶ。

いま、ソースｓと各画素に対応するノードとを結ぶ各ｔ−ｌｉｎｋを、各画素がどの程度主要被写体領域らしいかを示す関係ととらえる。そして、その主要被写体領域らしさを示すコスト値を、数３式第１項に対応付けて、
と定義する。ここで、θ（ｃ、０）は、画像の主要被写体の領域から算出したカラー画素値ｃごとのヒストグラム（出現回数）を示す関数データであり、例えば図５（ａ）に示されるように予め得られている。なお、θ（ｃ、０）の全カラー画素値ｃにわたる総和は１になるように正規化されているものとする。また、Ｉ（ｖ）は、入力画像の各画素ｖにおけるカラー（ＲＧＢ）画素値である。実際には、カラー（ＲＧＢ）画素値を輝度値に変換した値であるが、以下では説明の簡単のために「カラー（ＲＧＢ）画素値」または「カラー画素値」と記載する。数６式において、θ（Ｉ（ｖ）、０）の値が大きいほど、コスト値は小さくなる。これは、予め得られている主要被写体領域のカラー画素値の中で出現回数が多いものほど、数６式で得られるコスト値が小さくなって、画素ｖが主要被写体領域中の画素らしいことを意味し、数３式のエネルギー関数Ｅ（Ｘ）の値を押し下げる結果となる。

次に、シンクｔと各画素に対応するノードとを結ぶ各ｔ−ｌｉｎｋを、各画素がどの程度背景領域らしいかを示す関係ととらえる。そして、その背景領域らしさを示すコスト値を、数３式第１項に対応付けて、
と定義する。ここで、θ（ｃ、1）は、画像の背景の領域から算出したカラー画素値ｃごとのヒストグラム（出現度数）を示す関数データであり、例えば図５（ｂ）に示されるように予め得られている。なお、θ（ｃ、１）の全カラー画素値ｃにわたる総和は１になるように正規化されているものとする。Ｉ（ｖ）は、数６式の場合と同様に、入力画像の各画素ｖにおけるカラー（ＲＧＢ）画素値である。数６式において、θ（Ｉ（ｖ）、１）の値が大きいほど、コスト値は小さくなる。これは、予め得られている背景領域のカラー画素値の中で出現回数が多いものほど、数７式で得られるコスト値が小さくなって、画素ｖが背景領域中の画素らしいことを意味し、数３式のエネルギー関数Ｅ（Ｘ）の値を押し下げる結果となる。

次に、各画素に対応するノードとその周辺画素との関係を示すｎ−ｌｉｎｋのコスト値を、数３式第２項に対応付けて、
と定義する。ここで、ｄｉｓｔ（ｕ，ｖ）は、画素ｖとその周辺画素ｕのユークリッド距離を示しており、κは所定の係数である。また、Ｉ（ｕ）およびＩ（ｖ）は、入力画像の各画素ｕおよびｖにおける各カラー（ＲＧＢ）画素値である。画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘ_u およびＸ_v が同一（Ｘ_u ＝Ｘ_v ）となるように選択された場合における数８式のコスト値は０とされて、エネルギーＥ（Ｘ）の計算には影響しなくなる。一方、画素ｖとその周辺画素ｕの各領域ラベル値Ｘ_u およびＸ_v が異なる（Ｘ_u ≠Ｘ_v ）ように選択された場合における数８式のコスト値は、例えば図６に示される特性を有する関数特性となる。すなわち、画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘ_u およびＸ_v が異なっていて、かつ画素ｖおよびその周辺画素ｕのカラー画素値の差Ｉ（ｕ）−Ｉ（ｖ）が小さい場合には、数８式で得られるコスト値が大きくなる。この場合には、数３式のエネルギー関数Ｅ（Ｘ）の値が押し上げられる結果となる。言い換えれば、近傍画素間で、カラー画素値の差が小さい場合には、それらの画素の各領域ラベル値は、互いに異なるようには選択されない。すなわち、その場合には、近傍画素間では領域ラベル値はなるべく同じになって主要被写体領域または背景領域はなるべく変化しないように、制御される。一方、画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘ_u およびＸ_v が異なっていて、かつ画素ｖおよびその周辺画素ｕのカラー画素値の差Ｉ（ｕ）−Ｉ（ｖ）が大きい場合には、数８式で得られるコスト値が小さくなる。この場合には、数３式のエネルギー関数Ｅ（Ｘ）の値が押し下げられる結果となる。言い換えれば、近傍画素間で、カラー画素値の差が大きい場合には、主要被写体領域と背景領域の境界らしいことを意味し、画素ｖとその周辺画素ｕとで、領域ラベル値が異なる方向に制御される。

以上の定義を用いて、入力画像の各画素ｖごとに、数６式によって、ソースｓと各画素ｖとを結ぶｔ−ｌｉｎｋのコスト値（主要被写体領域らしさ）が算出される。また、数７式によって、シンクｔと各画素ｖとを結ぶｔ−ｌｉｎｋのコスト値（背景領域らしさ）が算出される。さらに、入力画像の各画素ｖごとに、数８式によって、画素ｖとその周辺例えば８方向の各８画素とを結ぶ８本のｎ−ｌｉｎｋのコスト値（境界らしさ）が算出される。

そして、理論的には、数１式の領域ラベルベクトルＸの全ての領域ラベル値の０または１の組合せごとに、各領域ラベル値に応じて上記数６式、数７式、および数８式の計算結果が選択されながら数３式のエネルギー関数Ｅ（Ｘ）が計算される。そして、全ての組合せの中でエネルギー関数Ｅ（Ｘ）の値が最小となる領域ラベルベクトルＸを選択することにより、領域ラベルベクトルＸ上で領域ラベル値Ｘ_v ＝０となる画素ｖの集合として、主要被写体領域を得ることができる。

しかし実際には、領域ラベルベクトルＸの全ての領域ラベル値の０または１の組合せ数は、２の画素数乗通りあるため、現実的な時間でエネルギー関数Ｅ（Ｘ）の最小化処理を計算することができない。

そこで、Ｇｒａｐｈ Ｃｕｔｓ法では、次のようなアルゴリズムを実行することにより、エネルギー関数Ｅ（Ｘ）の最小化処理を現実的な時間で計算することを可能にする。
図７は、上述した数６式、数７式で定義されるｔ−ｌｉｎｋと数８式で定義されるｎ−ｌｉｎｋを有するグラフと、領域ラベルベクトルＸおよびグラフカットとの関係を、模式的に示した図である。図７では、理解の容易化のために、画素ｖは一次元的に示されている。

数３式のエネルギー関数Ｅ（Ｘ）の第１項の計算で、領域ラベルベクトルＸ中の領域ラベル値が０となるべき主要被写体領域中の画素では、数６式と数７式のうち、主要被写体領域中の画素らしい場合により小さな値となる数６式のコスト値のほうが小さくなる。従って、ある画素において、ソースｓ側のｔ−ｌｉｎｋが選択されシンクｔ側のｔ−ｌｉｎｋがカットされて（図７の７０２のケース）、数６式を用いて数３式のＥ（Ｘ）の第１項が計算された場合に、その計算結果が小さくなれば、その画素の領域ラベル値としては０が選択される。そして、そのグラフカット状態が採用される。計算結果が小さくならなければ、そのグラフカット状態は採用されず、他のリンクの探索およびグラフカットが試みられる。

逆に、領域ラベルベクトルＸ中の領域ラベル値が１となるべき背景領域中の画素では、数６式と数７式のうち、背景領域中の画素らしい場合により小さな値となる数７式のコスト値のほうが小さくなる。従って、ある画素において、シンクｔ側のｔ−ｌｉｎｋが選択されソースｓ側のｔ−ｌｉｎｋはカットされて（図７の７０３のケース）、数７式を用いて数３式のＥ（Ｘ）の第１項が計算された場合に、その計算結果が小さくなれば、その画素の領域ラベル値としては１が選択される。そして、そのグラフカット状態が採用される。計算結果が小さくならなければ、そのグラフカット状態は採用されず、他のリンクの探索およびグラフカットが試みられる。

一方、数３式のエネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記グラフカット処理により、領域ラベルベクトルＸ中の領域ラベル値が０または１で連続すべき主要被写体領域内部または背景領域内部の画素間では、数８式のコスト値が０となる。従って、数８式の計算結果は、エネルギー関数Ｅ（Ｘ）の第２項のコスト値の計算には影響しない。また、その画素間のｎ−ｌｉｎｋは、数８式がコスト値０を出力するように、カットされずに維持される。

ところが、エネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記グラフカット処理により、近傍画素間で、領域ラベル値が０と１の間で変化した場合に、それらの画素間のカラー画素値の差が小さければ、数８式のコスト値が大きくなる。この結果、数３式のエネルギー関数Ｅ（Ｘ）の値が押し上げられる。このようなケースは、同一領域内で第１項の値による領域ラベル値の判定がたまたま反転するような場合に相当する。従って、このようなケースでは、エネルギー関数Ｅ（Ｘ）の値が大きくなって、そのような領域ラベル値の反転は選択されない結果となる。また、この場合には、数８式の計算結果が、上記結果を維持するように、それらの画素間のｎ−ｌｉｎｋは、カットされずに維持される。

これに対して、エネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記グラフカット処理により、近傍画素間で、領域ラベル値が０と１の間で変化した場合に、それらの画素間のカラー画素値の差が大きければ、数８式のコスト値が小さくなる。この結果、数３式のエネルギー関数Ｅ（Ｘ）の値が押し下げられる。このようなケースは、それらの画素部分が主要被写体領域と背景領域の境界らしいことを意味している。従って、このようなケースでは、これらの画素間で領域ラベル値を異ならせて、主要被写体領域と背景領域の境界を形成する方向に制御される。また、この場合には、境界の形成状態を安定化するために、それらの画素間のｎ−ｌｉｎｋがカットされて、数３式の第２項のコスト値が０にされる（図７の７０４のケース）。

以上の判定制御処理が、ソースｓのノードを起点にして、順次各画素のノードをたどりながら繰り返されることにより、図７の７０１で示されるようなグラフカットが実行され、エネルギー関数Ｅ（Ｘ）の最小化処理が現実的な時間で計算される。この処理の具体的な手法としては、例えば、非特許文献１に記載されている手法を採用することができる。

そして、各画素ごとに、ソースｓ側のｔ−ｌｉｎｋが残っていれば、その画素の領域ラベル値として０、すなわち主要被写体領域の画素を示すラベルが付与される。逆に、シンクｔ側のｔ−ｌｉｎｋが残っていれば、その画素の領域ラベル値として１、すなわち背景領域の画素を示すラベルが付与される。最終的に、領域ラベル値が０となる画素の集合として、主要被写体領域が得られる。

図８は、上述した動作原理に基づく図３のステップＳ３０２の領域分割処理を示すフローチャートである。

まず、画像から、カラー画素値Ｉ（Ｖ）が１つずつ読み込まれる（図８のステップＳ８０１）。

次に、ステップＳ８０１で読み込まれた画素が、ユーザによって指定された矩形枠内の画素であるか否かが判定される（図８のステップＳ８０２）。

ステップＳ８０２の判定がＹＥＳの場合には、前述した数６式、数７式、および数８式に基づいて、主要被写体領域らしさを示すコスト値、背景領域らしさを示すコスト値、および境界らしさを示すコスト値が、それぞれ算出される（図８のステップＳ８０３、Ｓ８０４、およびＳ８０５）。なお、θ（ｃ、０）の初期値は、学習用に用意した複数枚（数百枚程度）の主要被写体の領域から算出される。同様に、θ（ｃ、１）の初期値は、学習用に用意した複数枚（数百枚程度）の背景の領域から算出される。

一方、ステップＳ８０２の判定がＮＯの場合には、矩形の枠外には主要被写体領域はないため、そこが主要被写体領域と判定されないようにするために、主要被写体領域らしさを示すコスト値ｇ_v (Ｘ_v )が、次式のように一定の大きな値Ｋとされる。
ここで、Ｋは、次式に示されるように、任意のピクセルの平滑化項の総和よりも大きい値を設定しておく（以上、図８のステップＳ８０６）。

また、矩形の枠外が必ず背景領域と判定されるようにするために、背景領域らしさを示すコスト値ｇ_v (Ｘ_v )が、次式のように０とされる（図８のステップＳ８０７）。

さらに、矩形の枠外は全て背景領域であるため、ｈ_uv（Ｘ_u ,Ｘ_v ）の値は０とされる（図８のステップＳ８０８）。

以上の処理の後、画像内に処理すべき画素が残っているか否かが判定される（図８のステップＳ８０９）。

処理すべき画素がありステップＳ８０９の判定がＹＥＳならば、ステップＳ８０１の処理に戻って、上記処理が繰り返される。

処理すべき画素がなくなりステップＳ８０９の判定がＮＯになると、画像内の全ての画素について求まったコスト値を用いて、数３式のエネルギー関数Ｅ（Ｘ）が計算されながら、Ｇｒａｐｈ Ｃｕｔｓアルゴリズムが実行され、主要被写体と背景が領域分割される（ステップＳ８１０）。

図９は、図３のステップＳ３０４のデータ更新処理を示すフローチャート、図１０は、データ更新処理の説明図である。

まず、図３のステップＳ３０２の領域分割処理（グラフカット処理）によって主要被写体と判定された領域の今回ヒストグラムが第３のヒストグラム２０７（図２参照）として算出される（図９のステップＳ９０１）。この第３のヒストグラム２０７の度数値を、カラー画素値ｃごとにθ_cur （ｃ，０）とする。

次に、図３のステップＳ３０２で背景と判定された領域の今回ヒストグラムが第４のヒストグラム２０８（図２参照）として算出される（図９のステップＳ９０２）。この第４のヒストグラム２０８の度数値を、カラー画素値ｃごとにθ_cur （ｃ，１）とする。

次に、第１のヒストグラム２０５（図２参照）における前回の主要被写体のヒストグラムに、今回得られた第３のヒストグラム２０７が混合されて、第１のヒストグラム２０５が更新される（図９のステップＳ９０３）。いま、第１のヒストグラム２０５における前回の主要被写体他のカラー画素値ｃごとのヒストグラムの度数値をθ_pre （ｃ，０）とする。ステップＳ９０３では、カラー画素値ｃごとに、第１のヒストグラム２０５の度数値θ_pre （ｃ，０）とステップＳ９０１で算出されている第３のヒストグラム２０７の度数値θ_cur （ｃ，０）が適当な割合で混合されて、新たな第１のヒストグラム２０５の度数値θ（ｃ，０）とされる。

次に、図９のステップＳ９０４からＳ９０８の一連の処理（破線枠の部分）で示される背景のヒストグラム更新処理が実行される。

ここでは、図９のステップＳ９０４でカラー画素値ｃが最初の値にセットされ、その後、図９のステップＳ９０８でカラー画素値ｃが＋１ずつされる。そして、図９のステップＳ９０７でカラー画素値ｃが最大値Ｎに達したと判定されるまで、図９のステップＳ９０５とＳ９０６の処理が、各カラー 画素値ｃごとに実行される。

まず、カラー画素値ｃが特定画素値ｃ_m であるか否かが判定される（ステップＳ９０５）。この判定は、カラー画素値ｃに対応してステップＳ９０１で作成された今回の主要被写体のヒストグラムの度数値θ_cur （ｃ，０）が、所定閾値θ_m 以上であるか否かを判定することで実現される。すなわち、θ_cur （ｃ，０）≧θ_m であれば、カラー画素値ｃは特定画素値ｃ_m である。この結果、例えば図１０（ａ）の１００１で示されるθ_cur （ｃ，０）（１≦ｃ≦Ｎ）において、その値がθ_m 以上となる１００２で示される範囲のカラー画素値が、特定画素値ｃ_m となる。なお、図１０（ｂ）に示されるように、通常のヒストグラムの代わりに累積ヒストグラムが用いられてもよく、この場合には、度数に関する所定閾値θ_m の代わりに、累積度数に関する所定閾値Ｒ_m が判定に使用される。

カラー画素値ｃが特定画素値ｃ_m ではなくステップＳ９０５の判定がＮＯならば、そのカラー画素値は、主要被写体を構成する主な色ではないと判断できる。この場合には、第２のヒストグラム２０６（図２参照）における前回の背景のヒストグラムに、今回得られた第４のヒストグラム２０８が混合されて、第２のヒストグラム２０６が更新される（図９のステップＳ９０６）。いま、第２のヒストグラム２０６における前回の主要被写体他のカラー画素値ｃごとのヒストグラムの度数値をθ_pre （ｃ，１）とする。ステップＳ９０６では、カラー画素値ｃごとに、第２のヒストグラム２０６の度数値θ_pre （ｃ，１）とステップＳ９０２で算出されている第４のヒストグラム２０８の度数値θ_cur （ｃ，１）が適当な割合で混合されて、新たな第２のヒストグラム２０６の度数値θ（ｃ，１）とされる。すなわち、
が計算される。ここで、w_pre w_cur は、第２のヒストグラム２０６と第４のヒストグラム２０８の混合比率であり、w_pre ＋w_cur ＝１ である。

一方、カラー画素値ｃが特定画素値ｃ_m であってステップＳ９０５の判定がＹＥＳならば、そのカラー画素値ｃは、主要被写体を構成する主な色である特定画素値ｃ_m であると判断できる。この場合には、そのカラー画素値ｃの度数値によっては、第２のヒストグラム２０６の度数値θ（ｃ，１）は更新されない。

以上のようにして、本実施形態では、背景領域内に存在する主要被写体の花等と同じ色の特定画素値ｃ_m については、背景のヒストグラムが更新されないように抑制される。これにより、次回以降、領域分割手段２０１における領域分割処理において、誤ったヒストグラムデータを用いて領域分割が行われることがなくなり、背景領域と主要被写体領域とで誤認識をする割合が減少し、領域分割の精度を向上させることが可能となる。

主要被写体としては、花に限られず、様々なオブジェクトを採用することができる。

以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
画像内で主要被写体と該主要被写体以外の背景を領域分割する装置であって、
前記画像内の各画素に付与する前記主要被写体または前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要被写体を示す画像から算出した前記画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、前記背景を示す画像から算出した前記画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、前記画像内で前記主要被写体と前記背景を領域分割する領域分割手段と、
前記領域分割手段での処理の後、処理が終了した前記画像内で、前記主要被写体を示す領域から前記画素値ごとの第３のヒストグラムと、前記背景を示す領域から前記画素値ごとの第４のヒストグラムを、それぞれ算出する新規ヒストグラム算出手段と、
前記第３のヒストグラムで、度数値が所定閾値以上となる画素値を特定画素値として抽出する特定画素値抽出手段と、
前記第１および第３のヒストグラムを前記画素値ごとに混合して前記第１のヒストグラムを更新し、前記第２および第４のヒストグラムを前記特定画素値以外の前記画素値ごとに混合して前記第２のヒストグラムを更新するヒストグラム更新手段と、
を備えることを特徴とする画像領域分割装置。
（付記２）
前記ヒストグラム更新手段は、前記第２および第４のヒストグラムの各度数値を前記特定画素値以外の前記画素値ごとに所定の割合ずつ加算して得た度数値と、前記特定画素値ごとの前記第２のヒストグラムの度数値とから、更新された前記第２のヒストグラムを算出する、
ことを特徴とする付記１に記載の画像領域分割装置。
（付記３）
前記第１のヒストグラムの初期値は、学習用の複数枚の前記主要被写体を示す画像の前記画素値ごとのヒストグラムとして算出し、
前記第２のヒストグラムの初期値は、学習用の複数枚の前記背景を示す画像の前記画素値ごとのヒストグラムとして算出する、
ことを特徴とする付記１または２のいずれかに記載の画像領域分割装置。
（付記４）
前記領域分割手段は、Ｇｒａｐｈ Ｃｕｔｓ法により前記エネルギー関数の最小化処理を実行する、
ことを特徴とする付記１ないし３のいずれかに記載の画像領域分割装置。
（付記５）
画像内で主要被写体と該主要被写体以外の背景を領域分割する方法であって、
前記画像内の各画素に付与する前記主要被写体または前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要被写体を示す画像から算出した前記画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、前記背景を示す画像から算出した前記画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、前記画像内で前記主要被写体と前記背景を領域分割する領域分割ステップと、
前記領域分割処理の後、処理が終了した前記画像内で、前記主要被写体を示す領域から前記画素値ごとの第３のヒストグラムと、前記背景を示す領域から前記画素値ごとの第４のヒストグラムを、それぞれ算出する新規ヒストグラム算出ステップと、
前記第３のヒストグラムで、度数値が所定閾値以上となる画素値を特定画素値として抽出する特定画素値抽出ステップと、
前記第１および第３のヒストグラムを前記画素値ごとに混合して前記第１のヒストグラムを更新し、前記第２および第４のヒストグラムを前記特定画素値以外の前記画素値ごとに混合して前記第２のヒストグラムを更新するヒストグラム更新ステップと、
を備えることを特徴とする画像領域分割方法。
（付記６）
前記ヒストグラム更新ステップにおいて、前記第２および第４のヒストグラムの各度数値を前記特定画素値以外の前記画素値ごとに所定の割合ずつ加算して得た度数値と、前記特定画素値ごとの前記第２のヒストグラムの度数値とから、更新された前記第２のヒストグラムを算出する、
ことを特徴とする付記５に記載の画像領域分割方法。
（付記７）
前記第１のヒストグラムの初期値は、学習用の複数枚の前記主要被写体を示す画像の前記画素値ごとのヒストグラムとして算出し、
前記第２のヒストグラムの初期値は、学習用の複数枚の前記背景を示す画像の前記画素値ごとのヒストグラムとして算出する、
ことを特徴とする付記５または６のいずれかに記載の画像領域分割方法。
（付記８）
前記領域分割ステップにおいて、Ｇｒａｐｈ Ｃｕｔｓ法により前記エネルギー関数の最小化処理を実行する、
ことを特徴とする付記５ないし７のいずれかに記載の画像領域分割方法。
（付記９）
画像内で主要被写体と該主要被写体以外の背景を領域分割するコンピュータに、
前記画像内の各画素に付与する前記主要被写体または前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要被写体を示す画像から算出した前記画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、前記背景を示す画像から算出した前記画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、前記画像内で前記主要被写体と前記背景を領域分割する領域分割ステップと、
前記領域分割処理の後、処理が終了した前記画像内で、前記主要被写体を示す領域から前記画素値ごとの第３のヒストグラムと、前記背景を示す領域から前記画素値ごとの第４のヒストグラムを、それぞれ算出する新規ヒストグラム算出ステップと、
前記第３のヒストグラムで、度数値が所定閾値以上となる画素値を特定画素値として抽出する特定画素値抽出ステップと、
前記第１および第３のヒストグラムを前記画素値ごとに混合して前記第１のヒストグラムを更新し、前記第２および第４のヒストグラムを前記特定画素値以外の前記画素値ごとに混合して前記第２のヒストグラムを更新するヒストグラム更新ステップと、
を実行させるためのプログラム。
（付記１０）
前記ヒストグラム更新ステップにおいて、前記第２および第４のヒストグラムの各度数値を前記特定画素値以外の前記画素値ごとに所定の割合ずつ加算して得た度数値と、前記特定画素値ごとの前記第２のヒストグラムの度数値とから、更新された前記第２のヒストグラムを算出する、
ことを特徴とする付記９に記載のプログラム。
（付記１１）
前記第１のヒストグラムの初期値は、学習用の複数枚の前記主要被写体を示す画像の前記画素値ごとのヒストグラムとして算出し、
前記第２のヒストグラムの初期値は、学習用の複数枚の前記背景を示す画像の前記画素値ごとのヒストグラムとして算出する、
ことを特徴とする付記９または１０のいずれかに記載のプログラム。
（付記１２）
前記領域分割ステップにおいて、Ｇｒａｐｈ Ｃｕｔｓ法により前記エネルギー関数の最小化処理を実行する、
ことを特徴とする付記９ないし１１のいずれかに記載のプログラム。

１０１ 画像領域分割装置
１０２ ＣＰＵ
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５ 外部記憶装置
１０６ 通信インタフェース
１０７ 入力装置
１０８ 表示装置
１０９ 可搬記録媒体駆動装置
１１０ 可搬記録媒体
１１１ バス
１１２ 撮像装置
２０１ 領域分割手段
２０２ 新規ヒストグラム算出手段
２０３ 特定画素値抽出手段
２０４ ヒストグラム更新手段
２０５ 第１のヒストグラム
２０６ 第２のヒストグラム
２０７ 第３のヒストグラム
２０８ 第４のヒストグラム

Claims (8)

1. 画像内で主要被写体と該主要被写体以外の背景を領域分割する装置であって、
   前記画像内の各画素に付与する前記主要被写体または前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要被写体を示す画像から算出した前記画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、前記背景を示す画像から算出した前記画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、前記画像内で前記主要被写体と前記背景を領域分割する領域分割手段と、
   前記領域分割手段での処理の後、処理が終了した前記画像内で、前記主要被写体を示す領域から前記画素値ごとの第３のヒストグラムと、前記背景を示す領域から前記画素値ごとの第４のヒストグラムを、それぞれ算出する新規ヒストグラム算出手段と、
   前記第３のヒストグラムで、度数値が所定閾値以上となる画素値を特定画素値として抽出する特定画素値抽出手段と、
   前記第１および第３のヒストグラムを前記画素値ごとに混合して前記第１のヒストグラムを更新し、前記第２および第４のヒストグラムを前記特定画素値以外の前記画素値ごとに混合して前記第２のヒストグラムを更新するヒストグラム更新手段と、
   を備えることを特徴とする画像領域分割装置。
2. 前記ヒストグラム更新手段は、前記第２および第４のヒストグラムの各度数値を前記特定画素値以外の前記画素値ごとに所定の割合ずつ加算して得た度数値と、前記特定画素値ごとの前記第２のヒストグラムの度数値とから、更新された前記第２のヒストグラムを算出する、
   ことを特徴とする請求項１に記載の画像領域分割装置。
3. 前記第１のヒストグラムの初期値は、学習用の複数枚の前記主要被写体を示す画像の前記画素値ごとのヒストグラムとして算出し、
   前記第２のヒストグラムの初期値は、学習用の複数枚の前記背景を示す画像の前記画素値ごとのヒストグラムとして算出する、
   ことを特徴とする請求項１または２のいずれかに記載の画像領域分割装置。
4. 前記領域分割手段は、Ｇｒａｐｈ Ｃｕｔｓ法により前記エネルギー関数の最小化処理を実行する、
   ことを特徴とする請求項１ないし３のいずれかに記載の画像領域分割装置。
5. 画像内で主要被写体と該主要被写体以外の背景を領域分割する方法であって、
   前記画像内の各画素に付与する前記主要被写体または前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要被写体を示す画像から算出した前記画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、前記背景を示す画像から算出した前記画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、前記画像内で前記主要被写体と前記背景を領域分割する領域分割ステップと、
   前記領域分割処理の後、処理が終了した前記画像内で、前記主要被写体を示す領域から前記画素値ごとの第３のヒストグラムと、前記背景を示す領域から前記画素値ごとの第４のヒストグラムを、それぞれ算出する新規ヒストグラム算出ステップと、
   前記第３のヒストグラムで、度数値が所定閾値以上となる画素値を特定画素値として抽出する特定画素値抽出ステップと、
   前記第１および第３のヒストグラムを前記画素値ごとに混合して前記第１のヒストグラムを更新し、前記第２および第４のヒストグラムを前記特定画素値以外の前記画素値ごとに混合して前記第２のヒストグラムを更新するヒストグラム更新ステップと、
   を備えることを特徴とする画像領域分割方法。
6. 画像内で指定された画像範囲内の主要オブジェクトの前景と、該主要オブジェクト以外の背景をコスト関数最適化により領域分割する方法であって、
   前記画像内で、前記指定された画像範囲内の前記主要オブジェクトの領域を設定するステップを有し、
   コスト関数最適化の繰り返しにより、前記主要オブジェクトの領域を切り抜くときに、イタレーションごとに背景ヒストグラムの更新を行う際、前記主要オブジェクトの領域で前景領域となり、発生頻度の高かった色は、背景ヒストグラムの更新に用いないようにすることを特徴とする画像領域分割方法。
7. 前記画像内で指定された画像範囲は矩形枠で表されることを特徴とする請求項６記載の画像領域分割方法。
8. 画像内で主要被写体と該主要被写体以外の背景を領域分割するコンピュータに、
   前記画像内の各画素に付与する前記主要被写体または前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要被写体を示す画像から算出した前記画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、前記背景を示す画像から算出した前記画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、前記画像内で前記主要被写体と前記背景を領域分割する領域分割ステップと、
   前記領域分割処理の後、処理が終了した前記画像内で、前記主要被写体を示す領域から前記画素値ごとの第３のヒストグラムと、前記背景を示す領域から前記画素値ごとの第４のヒストグラムを、それぞれ算出する新規ヒストグラム算出ステップと、
   前記第３のヒストグラムで、度数値が所定閾値以上となる画素値を特定画素値として抽出する特定画素値抽出ステップと、
   前記第１および第３のヒストグラムを前記画素値ごとに混合して前記第１のヒストグラムを更新し、前記第２および第４のヒストグラムを前記特定画素値以外の前記画素値ごとに混合して前記第２のヒストグラムを更新するヒストグラム更新ステップと、
   を実行させるためのプログラム。