JPWO2011061905A1 - 物体領域抽出装置、物体領域抽出方法、及びプログラム - Google Patents

Abstract

本発明にかかる物体領域抽出装置は、画像中から抽出された特徴と類似度の高い領域を算出する類似領域算出手段１２０と、特徴の位置と類似領域とから特徴領域の尤度を算出する特徴領域尤度算出手段１３０と、特徴領域の尤度に基づいて物体領域を抽出する物体領域抽出手段１４０と、を備える。また、本発明にかかる物体領域抽出方法は、画像中から特徴を求め、当該特徴の位置を抽出し、抽出された特徴と類似度の高い領域を算出し、類似領域と特徴の位置とから特徴領域の尤度を算出し、特徴領域の尤度に基づいて物体領域を抽出する。本発明により、画像中から物体を精度よく抽出することができる物体領域抽出装置及び物体領域抽出方法を提供することができる。

Description

本発明は、画像中から物体を抽出する物体領域抽出装置、物体領域抽出方法、及び物体領域を抽出するためのプログラムに関し、特に画像中から物体を精度よく抽出することができる物体領域抽出装置、物体領域抽出方法、及び物体領域を抽出するためのプログラムに関する。

スチルカメラやビデオカメラで撮影した画像中の様々な物体をトリミングする場合、所望の物体領域を精度よく、手間をかけずに抽出することが望まれている。撮影した画像から物体領域と背景領域とに分離し、物体領域のみを抽出する方法としては、画像中から物体領域と背景領域とを大雑把に指定し、物体領域と背景領域とを分離し、物体領域を抽出する方法や、物体領域を含む矩形領域を指定し、矩形内外の色分布から物体領域と背景領域に分離し、物体領域を抽出する方法などがある。

非特許文献１には、画像中から物体領域と背景領域を、ユーザが手動で大雑把に指定することで物体領域と背景領域を分離し、物体領域を抽出する技術が開示されている。その抽出方法は、データ項と平滑化項からなるエネルギー関数を最小化することで、背景領域と物体領域とを分離する方法であり、いわゆるグラフカットと呼ばれている方法である。具体的には、ユーザが指定した物体領域と背景領域の輝度ヒストグラムから生成した確率分布を基にデータ項を定義し、隣接画素間の輝度の差を基に平滑化項を定義する。

非特許文献２には、画像中から物体領域を含む矩形領域を指定することで、物体領域と背景領域を分離し、物体領域を抽出する方法が開示されている。その抽出方法は、非特許文献１に開示されているグラフカットを改良したものである。非特許文献２にかかる技術では、物体領域として指定した矩形領域の内側および背景領域として指定した矩形領域の外側に基づき色分布のモデルを生成し、各領域に該当する色分布をデータ項としているため、ユーザは物体領域を含む矩形領域を指定するだけで物体領域を抽出することができる。

特許文献１には、医用画像において既知形状の物体を検出し物体領域として指定し、検出点を中心として十分大きな範囲外を背景領域として指定することで、物体領域と背景領域を分離し、物体領域を抽出する方法が開示されている。その抽出方法は、医用画像中の臓器を抽出するために、抽出対象の臓器を物体領域の１点として検出する。特許文献１にかかる技術では、撮影時に画像中心に抽出対象の臓器を配置することで、画像中心を物体領域の１点としている。この方法では、臓器の形状がある程度既知であるため、形状情報を用いて抽出対象の臓器を検出することができる。そして、物体領域の１点から十分離れた領域を背景領域として定義し、グラフカット（非特許文献１、非特許文献３参照）を用いて物体を抽出している。

特許文献２には、物体固有の色情報を用いて物体色の存在する位置を物体領域として指定することで、物体領域と背景領域とを分離し、物体領域を抽出する技術が開示されている。この抽出方法では、人間の肌といった物体固有の色を事前に確率で定義し、その色を含む確率が高い場合にデータ項が小さくなるエネルギー関数を用いて、エネルギー関数が最小となる分離部分を求める方法（グラフカット）を用いている。

特開２００８−２４５７１９号公報 特開２００７−１７２２２４号公報

Yuri Y. Boykov, Marie-Pierre Jolly, "Interactive Graph Cuts for Optimal Boundary and Region Segmentation of Objects in N-D images", Proc. IEEE Int. Conf. on Computer Vision, 2001 C.Rother, V.Kolmogorv, A.Blake, "GrabCut: Interactive Foreground Extraction Using Iterated Graph Cuts",ACM Trans. Graphics(SIGGRAPH'04), vol.23, no.3,pp.309-314, 2004 Yuri Boykov and Vladimir Kolmogorov. "An Experimental Comparison of Min-Cut/Max-Flow Algorithms for Energy Minimization in Vision." In IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI),September 2004

しかしながら、非特許文献１、２では、手動で物体領域や背景領域を指定する必要がある。また、非特許文献２では、物体領域を含む矩形領域から物体色分布、矩形領域外から背景色分布を推定するため、矩形領域外に物体色と似た背景が存在した場合に、誤って物体領域として抽出してしまうという問題がある。

また、特許文献１の方法では、対象物体の大きさが分かっている範囲で、物体位置を設定する必要があるため、ユーザが自由に撮影した場合など、対象物体の大きさが変化する場合には適用することができない。また、特許文献２の方法では、物体固有の色を物体領域として指定している。このため、例えば車の場合、タイヤの色はどの車でも同じであることが多く、物体固有の色として用いることができるが、車体の色は様々であるため、物体固有の色として定義することはできない。従って、タイヤを抽出することはできるが、車全体は抽出することができないという問題がある。

よって、本発明の目的は、画像中から物体を精度よく抽出することができる物体領域抽出装置、物体領域抽出方法、及び物体領域を抽出するためのプログラムを提供することである。

本発明にかかる物体領域抽出装置は、画像中から抽出された特徴と類似度の高い領域を算出する類似領域算出手段と、前記特徴の位置と前記類似領域とから特徴領域の尤度を算出する特徴領域尤度算出手段と、前記特徴領域の尤度に基づいて物体領域を抽出する物体領域抽出手段と、を備える。

本発明により、画像中から物体を精度よく抽出することができる物体領域抽出装置、物体領域抽出方法、及び物体領域を抽出するためのプログラムを提供することができる。

実施の形態１にかかる物体領域抽出装置を示すブロック図である。 実施の形態１にかかる物体領域抽出装置の他の態様を示すブロック図である。 実施の形態１にかかる物体領域抽出装置を用いて物体領域を抽出する方法を説明するためのフローチャートである。 実施の形態２にかかる物体領域抽出装置を示すブロック図である。 実施の形態２にかかる物体領域抽出装置を用いて物体領域を抽出する方法を説明するためのフローチャートである。 物体の特徴点の位置を中心とするガウス分布に基づき算出された物体位置尤度を示す図である。 物体位置尤度に基づき物体色尤度を算出する方法を説明するための図である。 画像の周囲４辺付近の位置を背景の特徴点位置の中心とし、この特徴点の位置を中心とするガウス分布に基づき算出された背景位置尤度を示す図である。 実施の形態２にかかる物体領域抽出装置を用いて物体領域を抽出した結果を示す図である。 実施の形態３にかかる物体領域抽出装置を示すブロック図である。 実施の形態３にかかる物体領域抽出装置において、物体領域内の物体検出結果から物体位置尤度を生成した結果を示す図である。 実施の形態４にかかる物体領域抽出装置を示すブロック図である。 実施の形態４にかかる物体領域抽出装置において、物体固有の形状の検出結果から物体位置尤度を生成した結果を示す図である。

実施の形態１
以下、図面を参照して本発明の実施の形態１について説明する。図１は、本実施の形態にかかる物体領域抽出装置を示すブロック図である。本実施の形態にかかる物体領域抽出装置１００は、画像中から抽出された特徴と類似度の高い領域を算出する類似領域算出手段１２０と、抽出された特徴の位置と類似領域とから特徴領域の尤度を算出する特徴領域尤度算出手段１３０と、特徴領域の尤度に基づいて物体領域を抽出する物体領域抽出手段１４０と、を備える。

類似領域算出手段１２０は、画像入力装置１０から入力された画像中から抽出された特徴と類似度の高い領域を算出する。入力された画像中から特徴を抽出する際は、例えばユーザが画像中の特徴を決定し、この特徴を入力端末（不図示）を用いて指定することができる。また、図２に示すように類似領域算出手段１２０の前段に特徴抽出手段１１０を設け、この特徴抽出手段１１０を用いて入力された画像中から特徴を抽出してもよい。ここで特徴とは、物体の特徴や背景の特徴である。

図２に示す特徴抽出手段１１０を用いて画像から特徴を抽出する際は、例えばＨａａｒ−Ｌｉｋｅ特徴、ＳＩＦＴ特徴、ＨＯＧ特徴などのような物体の形状の特徴を抽出する方法を用いてもよいし、物体の色の特徴を抽出する方法を用いてもよい。また、物体の形状の特徴と物体の色の特徴を組み合わせて画像から物体の特徴を抽出してもよい。また、データ記憶部２０の物体特徴記憶部２１に格納されている所望の物体特徴（物体の形状の特徴と物体の色の特徴）と、入力画像から抽出した特徴とを比較し、入力画像の中から所望の特徴を抽出してもよい。

類似領域算出手段１２０は、例えば、抽出された特徴の形状もしくは色と、特徴の位置を中心とした周辺領域の形状もしくは色との類似度を算出する。ここで、周辺領域の範囲は抽出された特徴（特徴の形状、特徴の色）の位置を中心として、特徴の大きさに応じた分散を持つガウス分布を生成することで決定することができる。また、抽出された特徴が複数ある場合は、複数のガウス分布を混合ガウス分布として表現し、当該混合ガウス分布を用いることで周辺領域の範囲を決定することができる。なお、周辺領域の範囲の決定方法はこの方法に限定されることはなく、これ以外に周辺領域の範囲を決定することができる方法であればどのような方法を用いてもよい。

特徴領域尤度算出手段１３０は、抽出された特徴の位置と、類似領域算出手段１２０で算出された類似度の高い領域（類似領域）とから特徴領域の尤度を算出する。例えば、特徴領域尤度算出手段１３０は、抽出された特徴の位置と、類似度を算出した領域との距離と、類似度との積により、特徴領域尤度を算出することができる。また、特徴領域尤度算出手段１３０は、算出された位置尤度と特徴位置を中心とした周辺領域の類似度との積に基づき特徴領域尤度を算出することもできる。ここで、位置尤度は、抽出された特徴の位置を中心として、特徴の大きさに応じた分散を持つガウス分布を生成することで算出することができる。

物体領域抽出手段１４０は、特徴領域尤度算出手段１３０で算出された特徴領域の尤度に基づいて物体領域を抽出する。物体領域抽出手段１４０は、特徴領域尤度算出手段１３０で算出された特徴領域の尤度と、隣接する画素間の強度を表す関数とからなるエネルギー関数に対して、グラフカット法などを用いて最小化処理を実施する。この最小化処理を用いることで分割された領域から物体領域を抽出することができる。そして、物体領域抽出手段１４０で抽出された物体領域は、画像出力装置３０に送られる。

なお、本実施の形態において、図２に示す特徴抽出手段１１０は、物体および背景を表す特徴の位置を抽出してもよい。また、類似領域算出手段１２０は、抽出された物体の特徴と類似度の高い領域および抽出された背景の特徴と類似度の高い領域をそれぞれ算出してもよい。また、特徴領域尤度算出手段１３０は、物体の特徴の位置と類似領域とから物体領域の尤度を算出すると共に、背景の特徴の位置と類似領域とから背景領域の尤度を算出してもよい。また、物体領域抽出手段１４０は、背景領域の尤度と物体領域の尤度に基づき物体領域を抽出してもよい。

本実施の形態にかかる物体領域抽出装置では、抽出された特徴と類似度の高い領域を算出する類似領域算出手段１２０と、抽出された特徴の位置と類似領域算出手段１２０で算出された類似領域とから特徴領域の尤度を算出する特徴領域尤度算出手段１３０とを備えているので、精度よく物体領域を抽出することができる。また、図２に示す特徴抽出手段１１０を備えることで、画像中から所望の物体領域を自動で抽出することができるため、ユーザの手を煩わせることもない。

次に、本実施の形態にかかる物体領域抽出方法について説明する。図３は、本実施の形態にかかる物体領域抽出方法を説明するためのフローチャートである。本実施の形態にかかる発明を用いて画像中の物体領域を抽出する場合は、まず処理の対象となる画像を入力する（ステップＳ１）。次に、画像中から特徴を求め、当該特徴の位置を抽出する（ステップＳ２）。次に、抽出された特徴と類似度の高い領域を算出する（ステップＳ３）。次に、類似領域と特徴の位置とから特徴領域の尤度を算出する（ステップＳ４）。最後に、特徴領域の尤度に基づいて物体領域を抽出する（ステップＳ５）。なお、ステップＳ２で画像中から特徴を抽出する際はユーザが手動で指定してもよいし、例えば図２に示す特徴抽出手段１１０等の装置を用いて自動で抽出してもよい。各ステップにおける動作は、物体領域抽出装置の動作と同様であるので重複した説明を省略する。

また、本実施の形態にかかる物体領域を抽出するためのプログラムは、画像中から特徴を求め、当該特徴の位置を抽出し、抽出された特徴と類似度の高い領域を算出し、類似領域と特徴の位置とから特徴領域の尤度を算出し、特徴領域の尤度に基づいて物体領域を抽出する動作をコンピュータに実行させるためのプログラムである。なお、画像中から特徴を抽出する際はユーザが手動で指定してもよいし、例えば特徴を抽出するプログラムを用いて自動で抽出してもよい。

以上で説明したように、本実施の形態にかかる物体領域抽出装置により、画像中から物体を精度よく抽出することができる物体領域抽出装置、物体領域抽出方法、及び物体領域を抽出するためのプログラムを提供することが可能となる。また、図２に示す特徴抽出手段１１０を用いることで手動で特徴を抽出する必要がなくなり、入力画像から自動で物体を抽出することが可能となる。

実施の形態２
次に、本発明の実施の形態２について説明する。図４は、本実施の形態にかかる物体領域抽出装置を示すブロック図である。図４に示すように、本実施の形態にかかる物体領域抽出装置３００は、特徴抽出手段２１０と、物体位置尤度算出手段２２０と、物体色尤度算出手段２３０と、物体領域尤度算出手段２４０と、背景位置尤度算出手段２５０と、背景色尤度算出手段２６０と、背景領域尤度算出手段２７０と、物体領域抽出手段２８０とを有する。本実施の形態にかかる物体領域抽出装置３００は、物体領域の尤度を算出する以外に、背景領域の尤度を算出する手段、すなわち、背景位置尤度算出手段２５０と、背景色尤度算出手段２６０と、背景領域尤度算出手段２７０を更に備えている。なお、本実施の形態にかかる物体領域抽出装置３００は、実施の形態１で説明した類似領域算出手段１２０として、物体位置尤度算出手段２２０と物体色尤度算出手段２３０と、背景位置尤度算出手段２５０と背景色尤度算出手段２６０とを備える。また、実施の形態１で説明した特徴領域尤度算出手段１３０として、物体領域尤度算出手段２４０と背景領域尤度算出手段２７０とを備える。

画像入力装置１０は、スチルカメラやビデオカメラ、コピー機といった撮像システムから取得した画像やウェブ上に投稿された画像を取得し、特徴抽出手段２１０に渡す機能を有する。特徴抽出手段２１０は入力された画像から特徴抽出を行う。画像から特徴を抽出する際は、例えばＨａａｒ−Ｌｉｋｅ特徴、ＳＩＦＴ特徴、ＨＯＧ特徴などのような物体の形状の特徴を抽出する方法を用いてもよいし、物体の色の特徴を抽出する方法を用いてもよい。また、物体の形状の特徴と物体の色の特徴を組み合わせて画像から物体の特徴を抽出してもよい。また、データ記憶部２０の物体特徴記憶部２１に格納されている所望の物体特徴（物体の形状の特徴と物体の色の特徴）や背景特徴（背景の形状の特徴と背景の色の特徴）と、入力画像から抽出した特徴（物体特徴と背景特徴）とを比較し、入力画像の中から所望の特徴を抽出してもよい。なお、特徴の抽出は実施の形態１で説明したように、特徴抽出手段２１０を用いる以外にユーザが画像中の特徴を決定し、この特徴を入力端末（不図示）を用いて指定してもよい。この場合、特徴抽出手段２１０は設けなくてもよい。

物体位置尤度算出手段２２０は、物体が存在する領域中から、物体が存在する位置の尤もらしさを物体の特徴から算出する機能を有している。物体位置尤度算出手段２２０は、特徴抽出手段２１０で抽出された物体の特徴の位置を中心として、特徴の大きさに応じた分散を持つガウス分布を生成することで物体位置尤度を算出する。なお、特徴抽出手段２１０で抽出された物体の特徴が複数ある場合は、複数のガウス分布を混合ガウス分布として表現し、当該混合ガウス分布から物体位置尤度を算出することもできる。

また、物体位置尤度算出手段２２０は、一定の領域内に存在する特徴群を用いて物体の照合を行い、照合した結果から物体位置尤度を算出してもよい。また、物体位置尤度算出手段２２０は、予め領域分割された領域内に存在する特徴群を用いて物体の照合を行い、照合した結果から物体位置尤度を算出してもよい。

物体色尤度算出手段２３０は、物体位置尤度算出手段２２０で算出された物体位置尤度に基づいて物体色の尤もらしさを算出する機能を有している。物体色尤度算出手段２３０は、物体位置尤度算出手段２２０で生成されたある画素における物体位置尤度を物体色尤度の候補とし、当該物体色尤度の候補のうち同一の画素色で物体色尤度が最大となる物体色尤度の候補を物体色尤度とする。

物体領域尤度算出手段２４０は、物体位置尤度算出手段２２０で算出された物体位置尤度と物体色尤度算出手段２３０で算出された物体色尤度から物体領域の尤もらしさを算出する機能を有している。また、物体領域尤度算出手段２４０は、算出された物体位置尤度と特徴位置を中心とした周辺領域の類似度との積に基づき物体領域尤度を算出してもよい。

同様に、背景位置尤度算出手段２５０は、背景が存在する領域中から、背景が存在する位置の尤もらしさを背景特徴から算出する機能を有している。背景位置尤度算出手段２５０は、特徴抽出手段２１０で抽出された背景特徴の位置を中心として、特徴の大きさに応じた分散を持つガウス分布を生成することで背景位置尤度を算出する。この場合も、特徴抽出手段２１０で抽出された背景特徴が複数ある場合は、複数のガウス分布を混合ガウス分布として表現し、当該混合ガウス分布から背景位置尤度を算出することもできる。

背景色尤度算出手段２６０は、背景位置の尤度に基づいて背景色の尤もらしさを算出する機能を有している。背景色尤度算出手段２６０は、背景位置尤度算出手段２５０で生成されたある画素における背景位置尤度を背景色の尤度候補とし、同一色で最も尤度が大きい値を背景色尤度とする。

背景領域尤度算出手段２７０は、背景位置尤度算出手段２５０で算出された背景位置尤度と背景色尤度算出手段２６０で算出された背景色尤度から背景領域の尤もらしさを算出する機能を有している。

物体領域抽出手段２８０は、物体領域尤度算出手段２４０で算出された物体領域の尤度および背景領域尤度算出手段２７０で算出された背景領域の尤度からエネルギー関数のデータ項を定義して、エネルギー関数を最小化することで物体領域と背景領域に分割し、物体領域を抽出する機能を有する。つまり、物体領域抽出手段２８０は、物体領域尤度算出手段２４０で算出された物体領域の尤度と、背景領域尤度算出手段２７０で算出された背景領域の尤度と、隣接する画素間の強度とを表す関数からなるエネルギー関数に対して、グラフカット法などを用いて最小化処理を実施する。この最小化処理を用いて分割された領域から物体領域を抽出することができる。

そして、物体領域抽出手段２８０で抽出された物体領域は、画像出力装置３０に送られる。

次に、本実施の形態にかかる物体領域抽出方法について説明する。図５は、本実施の形態にかかる物体領域抽出方法を説明するためのフローチャートである。本実施の形態にかかる発明を用いて画像中の物体領域を抽出する場合は、まず処理の対象となる画像を入力する（ステップＳ１１）。次に、画像中から抽出する物体と背景の特徴を求め、当該物体と背景を表す特徴の位置を抽出する（ステップＳ１２）。次に、抽出された物体の特徴から物体位置尤度を算出する（ステップＳ１３）。次に、算出された物体位置尤度から物体色尤度を算出する（ステップＳ１４）。次に、算出された物体位置尤度と物体色尤度から物体領域尤度を算出する（ステップＳ１５）。

同様に、抽出された背景の特徴から背景位置尤度を算出する（ステップＳ１６）。次に、算出された背景位置尤度から背景色尤度を算出する（ステップＳ１７）。次に、算出された背景位置尤度と背景色尤度から背景領域尤度を算出する（ステップＳ１８）。なお、物体領域尤度の算出（ステップＳ１３〜Ｓ１５）と背景領域尤度の算出（ステップＳ１６〜Ｓ１８）の順番は任意に設定することができる。

最後に、算出された物体領域尤度と背景領域尤度とに基づいて物体領域を抽出する（ステップＳ１９）。なお、各ステップにおける動作は、上記で説明した物体領域抽出装置の動作と同様であるので重複した説明を省略する。また、画像中から特徴を抽出する際はユーザが手動で指定してもよいし、例えば図４に示す特徴抽出手段２１０等の装置を用いて自動で抽出してもよい。

次に、本実施の形態にかかる物体領域抽出装置を用いて物体領域を抽出する例について具体的に説明する。まず、予め、様々な車、森、空、道路などが映っている画像から物体ごとに特徴抽出を行い、物体ごとの特徴を特徴記憶部２１に格納しておく。車、森、空、道路などの画像から特徴を抽出する際は、例えば、ＳＩＦＴ特徴を抽出する。全画像から抽出した特徴数は数万程度となるため、ｋ−ｍｅａｎｓ等のクラスタリング手法を用いて数百程度の代表特徴を算出する。

その後、車の画像で頻出する代表的な特徴を車の特徴として特徴記憶部２１に格納する。このように頻出する代表的な特徴を物体の特徴としてもよいし、また、特徴間の共起頻度に基づき物体の特徴を求めてもよい。また、ＳＩＦＴ特徴に限らず、テクスチャ特徴などを用いてもよい。

次に、特徴抽出手段２１０を用いて入力画像から特徴を抽出する。このとき、特徴記憶部２１に格納されている車特徴との照合を行い車特徴を決定する。
次に、物体位置尤度算出手段２２０は物体位置尤度を算出する。このとき、特徴抽出手段２１０で決定された車特徴点（車特徴の位置）の周囲も車領域である可能性が高いので、物体位置尤度算出手段２２０は車特徴点の位置を基準に、車領域の位置を表す物体位置尤度を（式１）で定義されるガウス分布に基づき算出する。図６は、物体の特徴点の位置を中心とするガウス分布に基づき算出された物体位置尤度を示す図である。

ここで、Σは共分散で特徴の分布を表し、μは特徴点の位置、ｘは特徴点周辺の位置をベクトルで表記している。Ｔは転置を表す。なお、特徴点が複数ある場合は、（式２）に示す混合ガウス分布から物体位置尤度を算出する。また、分散値は特徴の大きさに制限するものではなく、一定の値を設定してもよい。

次に、物体色尤度算出手段２３０を用いて、物体位置尤度算出手段２２０で求めた物体位置尤度から物体色尤度を算出する。この場合、ある画素位置に設定された物体位置尤度を、その位置にある物体色尤度候補とする。そして、同一の画素色で最大となる物体色尤度候補を物体色尤度とする。図７は、物体位置尤度に基づき物体色尤度を算出する方法を説明するための図である。図７に示すように、３つの物体色尤度候補のうち尤度が最大となる物体色尤度候補（尤度が０．７の物体色尤度候補）を物体色尤度としている。このとき、物体色尤度は（式３）のように表すことができる。

なお、物体色尤度を算出する場合、入力画像を用いてもよいし、入力画像の色クラスタリングを行った画像を用いてもよい。

次に、物体領域尤度算出手段２４０は、物体位置尤度と物体色尤度からある画素Ｉにおける物体領域尤度を（式４）を用いて算出する。

例えば、物体とよく似た背景がある場合、背景に対しても物体色尤度が大きくなるため、物体色尤度のみでは、物体領域として背景が抽出される場合がある。そこで、物体位置尤度を用いて位置の制約を加えることにより、背景領域を物体領域として抽出されることを防ぐことができる。

次に、背景領域尤度を算出する。背景領域尤度の算出も上記で説明した物体領域尤度の算出と同様に算出することができる。
まず、背景位置尤度算出手段２５０は、車領域の位置尤度を算出した方法と同様に、背景位置尤度を算出する。つまり、背景位置尤度算出手段２５０は、背景位置尤度を（式５）で定義されるガウス分布に基づき算出する。

ここで、背景位置は入力画像中の周囲４辺である可能性が高いという事前知識を用いて、入力画像の周囲４辺を中心とするガウス分布を設定してもよい。図８は、画像の周囲４辺付近の位置を背景の特徴点位置の中心とし、この特徴点の位置を中心とするガウス分布に基づき算出された背景位置尤度を示す図である。

次に、背景色尤度算出手段２６０を用いて、背景位置尤度算出手段２５０で求めた物体位置尤度から物体色尤度を算出する。このとき、背景色尤度は（式６）のように表すことができる。

なお、背景色尤度を算出する場合、入力画像を用いてもよいし、入力画像の色クラスタリングを行った画像を用いてもよい。

次に、背景領域尤度算出手段２７０は、背景位置尤度と背景色尤度からある画素Ｉにおける背景領域尤度を（式７）を用いて算出する。

次に、グラフカット法を用いて物体領域の抽出を行う。グラフカット法では、エネルギー関数を（式８）のように定義する。（式８）のλはＲ（Ｉ）とＢ（Ｉ）の比率のパラメータであり、Ｒ（Ｉ）は領域に対するペナルティ関数、Ｂ（Ｉ）は隣接する画素間の強度を表すペナルティ関数である。Ｒ（Ｉ）とＢ（Ｉ）により定義したエネルギー関数Ｅ（式８）を最小化する。このとき、Ｒ（Ｉ）は（式９）、（式１０）で表され、物体と背景の尤度を設定する。また、Ｂ（Ｉ）は（式１１）で表され、隣接画素間の輝度値の類似度を設定する。ここで、｜ｐ−ｑ｜は隣接画素ｐ、ｑ間の距離を表す。グラフカット法では、最小化する前述のエネルギーを最小カット最大流定理に帰着させ、例えば非特許文献３に開示されているアルゴリズムを用いて、グラフの分割を行うことで、物体領域と背景領域に分割する。本実施の形態にかかる物体領域抽出装置を用いて物体領域を抽出した結果を図９に示す。

なお、上記ではエネルギー関数を最小化する方法としてグラフカット法を用いる場合を例示したが、例えば信念伝播法（Belief Propagation）等の他の最適化アルゴリズムを用いても良い。

以上で説明したように、本実施の形態にかかる物体領域抽出装置を用いることで、画像中から物体を精度よく抽出することができる。特に本実施の形態にかかる物体領域抽出装置では、物体領域尤度に加えて背景領域尤度を算出しているので、画像中から物体をより精度よく抽出することができる。また、特徴抽出手段２１０を用いることで手動で特徴を抽出する必要がなくなり、入力画像から自動で物体を抽出することが可能となる。

実施の形態３
次に、本発明の実施の形態３について説明する。図１０は、本実施の形態にかかる物体領域抽出装置を示すブロック図である。図１０に示すように、本実施の形態にかかる物体領域抽出装置４００は、特徴抽出手段２１０と、物体検出手段３１０と、物体位置尤度算出手段２２０と、物体色尤度算出手段２３０と、物体領域尤度算出手段２４０と、背景位置尤度算出手段２５０と、背景色尤度算出手段２６０と、背景領域尤度算出手段２７０と、物体領域抽出手段２８０とを有する。すなわち、本実施の形態にかかる物体領域抽出装置４００は、実施の形態２で説明した物体領域抽出装置３００に、物体検出手段３１０が追加されている。これ以外の部分については実施の形態２と同様であるので重複した説明は省略する。

物体検出手段３１０は、入力画像に対して一定の領域内に存在する特徴から物体を検出する。物体らしい領域であれば、物体らしさに基づいた値を領域の画素に投票していく。例えば、物体らしさが大きければ"１"を、物体らしさが小さければ"０．２"を物体らしさに基づいた値とすることができる。その結果、入力画像中で物体らしい領域には大きな値が、物体らしくない領域には小さな値が投票されることになる。そして、物体位置尤度算出手段２２０においてこの投票値を正規化することにより、投票結果を物体位置尤度として用いることができる。図１１は、このような手法を用いて物体位置尤度を生成した結果を示す図である。図１１に示すように、入力画像の車の位置に対応した位置の物体位置尤度が大きくなっている。その他の部分については、実施の形態２で説明した場合と同様であるので説明を省略する。

本実施の形態にかかる物体領域抽出装置では、物体検出手段３１０を用いて、領域全体から物体らしい領域の画素に投票を行い、この投票結果に基づいて物体位置尤度を定めている。このため、一定領域のテクスチャパターンを持っている物体に対して、実施の形態２にかかる物体領域抽出装置よりも細かい尤度分布を設定することができる。なお、物体の特徴点から求めた物体位置尤度（実施の形態２で説明）と物体検出手段３１０を用いて求めた物体位置尤度とを統合してもよい。

実施の形態４
次に、本発明の実施の形態４について説明する。図１２は、本実施の形態にかかる物体領域抽出装置を示すブロック図である。図１２に示すように、本実施の形態にかかる物体領域抽出装置５００は、特徴抽出手段２１０と、物体形状検出手段４１０と、物体位置尤度算出手段２２０と、物体色尤度算出手段２３０と、物体領域尤度算出手段２４０と、背景位置尤度算出手段２５０と、背景色尤度算出手段２６０と、背景領域尤度算出手段２７０と、物体領域抽出手段２８０とを有する。すなわち、本実施の形態にかかる物体領域抽出装置５００は、実施の形態２で説明した物体領域抽出装置３００に、物体形状検出手段４１０が追加されている。また、本実施の形態ではデータ記憶部２０に物体形状記憶部２２が設けられている。これ以外の部分については実施の形態２と同様であるので重複した説明は省略する。

物体形状検出手段４１０は、物体形状記憶部２２に格納されている物体形状と照合することで、入力画像から物体固有の形状を検出する。例えば、物体領域として車を抽出する場合、物体固有の形状としてタイヤを用いることができる。この場合は、物体形状検出手段４１０は、物体形状記憶部２２に格納されているタイヤの形状と照合し、入力画像からタイヤの形状である楕円を検出する。そして、検出された楕円について、予め設定されたタイヤ用の閾値を用いて処理を行う。そして、閾値処理後の楕円の位置に対して、大きい物体尤度を設定し、物体位置尤度算出手段２２０で算出された物体位置尤度と統合する。図１３は、物体固有の形状（タイヤ）の検出結果から物体位置尤度を生成した結果を示す図である。図１３の右側の図は、物体形状検出手段４１０で求めた物体固有の形状（タイヤ）と物体位置尤度算出手段２２０で算出された物体位置尤度とが統合されている状態を示している。その他の部分については、実施の形態２で説明した場合と同様であるので説明を省略する。

本実施の形態にかかる物体領域抽出装置では、物体形状検出手段４１０を用いて物体固有の形状を検出し、検出した物体固有の形状の位置に対して物体位置尤度を大きく設定している。このため、特徴点として抽出されにくい物体形状でも、物体固有の形状として検出することができるので、実施の形態２にかかる物体領域抽出装置よりも物体位置尤度の分布を細かく設定することができる。

また、上記実施の形態で説明したように、本発明は任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２００９年１１月２０日に出願された日本出願特願２００９−２６５５４５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、入力画像から所望の物体を抽出する画像処理の分野において広く適用することができる。

１００ 物体領域抽出装置
１１０ 特徴抽出手段
１２０ 類似領域算出手段
１３０ 特徴領域尤度算出手段
１４０ 物体領域抽出手段
２００、３００、４００、５００ 物体領域抽出装置
２１０ 特徴抽出手段
２２０ 物体位置尤度算出手段
２３０ 物体色尤度算出手段
２４０ 物体領域尤度算出手段
２５０ 背景位置尤度算出手段
２６０ 背景色尤度算出手段
２７０ 背景領域尤度算出手段
２８０ 物体領域抽出手段
３１０ 物体検出手段
４１０ 物体形状検出手段

Claims (19)

1. 画像中から抽出された特徴と類似度の高い領域を算出する類似領域算出手段と、
   前記特徴の位置と前記類似領域とから特徴領域の尤度を算出する特徴領域尤度算出手段と、
   前記特徴領域の尤度に基づいて物体領域を抽出する物体領域抽出手段と、を備える、
   物体領域抽出装置。
2. 前記物体領域抽出装置は、前記画像中から特徴を求め、当該特徴の位置を抽出する特徴抽出手段を更に有する、請求項１に記載の物体領域抽出装置。
3. 前記類似領域算出手段は、抽出された前記特徴の形状もしくは色と、当該特徴の位置を中心とした周辺領域の形状もしくは色との類似度を算出する、請求項１または２に記載の物体領域抽出装置。
4. 前記周辺領域の範囲は、前記特徴の位置を中心として当該特徴の大きさに応じた分散を持つガウス分布を生成することで決定される、請求項３に記載の物体領域抽出装置。
5. 前記周辺領域の範囲は、前記特徴が複数ある場合は、複数のガウス分布を混合ガウス分布として表現し、当該混合ガウス分布を用いることで決定される、請求項４に記載の物体領域抽出装置。
6. 前記特徴領域尤度算出手段は、抽出された前記特徴の位置と、類似度を算出した領域との距離と、類似度との積により、前記特徴領域の尤度を算出する、請求項１乃至５のいずれか一項に記載の物体領域抽出装置。
7. 前記特徴抽出手段は、物体および背景を表す特徴の位置を抽出し、
   前記類似領域算出手段は、抽出された前記物体の特徴と類似度の高い領域および抽出された前記背景の特徴と類似度の高い領域をそれぞれ算出し、
   前記特徴領域尤度算出手段は、前記物体の特徴の位置と前記類似領域とから物体領域の尤度を算出すると共に、前記背景の特徴の位置と前記類似領域とから背景領域の尤度を算出し、
   前記物体領域抽出手段は、前記物体領域の尤度と前記背景領域の尤度とに基づき物体領域を抽出する、請求項２乃至６のいずれか一項に記載の物体領域抽出装置。
8. 前記類似領域算出手段は、前記物体が存在する領域中から当該物体が存在する位置の尤度を物体の特徴から算出する物体位置尤度算出手段と、
   前記物体位置尤度算出手段で算出された物体位置尤度に基づいて物体の色の尤度を算出する物体色尤度算出手段と、有し、
   前記特徴領域尤度算出手段は、前記物体位置尤度と前記物体色尤度に基づき物体領域尤度を算出する物体領域尤度算出手段を有する、請求項１または２に記載の物体領域抽出装置。
9. 前記類似領域算出手段は、背景が存在する領域中から当該背景が存在する位置の尤度を背景の特徴から算出する背景位置尤度算出手段と、
   前記背景位置尤度算出手段で算出された背景位置尤度に基づいて背景の色の尤度を算出する背景色尤度算出手段と、を更に有し、
   前記特徴領域尤度算出手段は、前記背景位置尤度と前記背景色尤度に基づき背景領域尤度を算出する背景領域尤度算出手段を更に有する、請求項８に記載の物体領域抽出装置。
10. 前記物体位置尤度算出手段は、前記特徴の位置を中心として当該特徴の大きさに応じた分散を持つガウス分布を生成することで前記物体位置尤度を算出し、
    前記背景位置尤度算出手段は、前記特徴の位置を中心として当該特徴の大きさに応じた分散を持つガウス分布を生成することで前記背景位置尤度を算出する、請求項９に記載の物体領域抽出装置。
11. 前記物体色尤度算出手段は、前記物体位置尤度算出手段で生成されたある画素における物体位置尤度を物体色尤度の候補とし、当該物体色尤度の候補のうち同一の画素色で物体色尤度が最大となる物体色尤度の候補を物体色尤度とし、
    前記背景色尤度算出手段は、前記背景位置尤度算出手段で生成されたある画素における背景位置尤度を背景色尤度の候補とし、当該背景色尤度の候補のうち同一の画素色で背景色尤度が最大となる背景色尤度の候補を背景色尤度とする、請求項９または１０に記載の物体領域抽出装置。
12. 前記物体位置尤度算出手段は、一定の領域内に存在する特徴群を用いて物体の照合を行い、照合した結果から物体位置尤度を算出する、請求項８乃至１１のいずれか一項に記載の物体領域抽出装置。
13. 前記物体位置尤度算出手段は、予め領域分割された領域内に存在する特徴群を用いて物体の照合を行い、照合した結果から物体位置尤度を算出する、請求項８乃至１１のいずれか一項に記載の物体領域抽出装置。
14. 前記物体領域尤度算出手段は、算出された前記物体位置尤度と特徴位置を中心とした周辺領域の類似度との積に基づき物体領域尤度を算出する、請求項８乃至１１のいずれか一項に記載の物体領域抽出装置。
15. 前記物体領域抽出手段は、前記物体領域尤度と前記背景領域尤度から、各画素における物体・背景の事後確率を算出する関数と、隣接する画素間の輝度が類似している程、値が高くなる関数が最小化するように、全画素を物体・背景領域に分離し、物体領域を抽出する、請求項８乃至１４のいずれか一項に記載の物体領域抽出装置。
16. 前記物体領域抽出装置は、物体らしさに基づいた値を領域の画素に投票する物体検出手段を更に有し、
    前記物体位置尤度算出手段は当該物体検出手段の当該投票値を正規化した結果を物体位置尤度として用いる、請求項８乃至１５のいずれか一項に記載の物体領域抽出装置。
17. 前記物体領域抽出装置は、予め設定された物体形状に関する情報と照合することで、入力画像から物体固有の形状を検出する物体形状検出手段を更に有し、
    前記物体位置尤度算出手段は前記算出された物体位置尤度と前記物体形状検出手段で検出された物体固有の形状に関する情報を統合する、請求項８乃至１５のいずれか一項に記載の物体領域抽出装置。
18. 画像中から特徴を求め、当該特徴の位置を抽出し、
    抽出された前記特徴と類似度の高い領域を算出し、
    前記類似領域と前記特徴の位置とから特徴領域の尤度を算出し、
    前記特徴領域の尤度に基づいて物体領域を抽出する、
    物体領域抽出方法。
19. 画像中から特徴を求め、当該特徴の位置を抽出し、
    抽出された前記特徴と類似度の高い領域を算出し、
    前記類似領域と前記特徴の位置とから特徴領域の尤度を算出し、
    前記特徴領域の尤度に基づいて物体領域を抽出する動作をコンピュータに実行させるための非一時的なコンピュータ可読媒体。

Images