JP5824413B2 - 物体領域推定装置、物体領域推定方法及び物体領域推定プログラム - Google Patents

Description

本発明は、画像から物体領域を抽出して、物体が存在する空間の構造に関係する領域間の隣接関係を推定する物体領域推定装置、物体領域推定方法及び物体領域推定プログラムに関する。

画像から物体領域を推定する方法は、主に２つに大別することができる。第１の方法は、予め画像に含まれる物体で画像内をカテゴリ分類し、学習により識別器を構成し、その識別器を用いて識別する方法である（例えば、非特許文献１）。第２の方法は、物体領域にラベルがついた画像を大量に学習することによって、確率モデルを構築し、確率的に推定する方法である（例えば、非特許文献２）。

具体的には、第１の方法は、画像から特徴量を抽出し、特徴量を入力としてクラスごとに識別する識別器を構成する。一般的に用いられる特徴量の例としては、Ｂａｇ−ｏｆ−Ｆｅａｔｕｒｅｓなどがある。この場合、複数の画像から抽出された特徴量のクラスタリングによりコードブックを作成し、その出現頻度で画像を表現する。

第１の方法は、画像１枚１枚にラベルが付けられており、１枚の画像が１つの名詞で代表できるような場合に有効である。同じラベルがついた画像から得られる特徴ベクトルの分散が小さい場合には識別器が精度よく構成でき有効であるが、画像に複数の物体が含まれる場合や、同じ物体でも特徴空間でいくつかのクラスタを形成するような場合には適用が難しいという特徴がある。

一方、第２の方法は、物体領域のクラスごとに特徴量を学習するのではなく、ラベルのついた大量の画像集合を学習し、特徴量とラベルの発生確率のモデルを構築する。新たな入力画像に対しモデルのパラメータを推定することで画像のインデキシングを行う。

第２の方法は、画像に複数の物体が含まれる場合や、同じ物体でも特徴空間でいくつかのクラスタを形成するような場合に有効であり、領域分割と領域へのラベルづけを同時に行うことができる。

前景と背景情報の共起表現を用いたＢａｇ−ｏｆ−ｆｅａｔｕｒｅｓ による画像分類、永橋 伊原 藤吉、「画像の認識・理解シンポジウム（ＭＩＲＵ２０１０）」 一般物体認識の現状と今後、柳井啓司、情報処理学会論文誌 ＣＶＩＭ１９−Ｎｏ．ＳＩＧ １６，Ｖｏｌ．４８，２００７

しかしながら、第２の方法を用いた従来技術では、画像を局所特徴の集合として、それぞれが関係性をもたない局所特徴として扱うか、或いは、画像を小領域の集合として、それぞれが関係性をもたない小領域の集合として扱っていたため、画像の領域間を関係付けることができなかった。すなわち、物体と物体の隣接関係に基づき、領域分割と領域へのラベルづけを同時に行うことができない。

このように、従来技術にあっては、画像中に複数の物体が含まれるような場合に、物体同士の隣接関係に基づき画像の類似性を判定することは困難である。ここで、物体同士の隣接関係とは、物体と物体の空間的な位置関係に関わる画像上の物体と物体の境界の性質（画像中で領域は隣接しているが実空間では接していない、直交する面の凸側の境界である、直交する面の凹側の境界である、など）を指す。

一方、従来技術による第１の方法を適用する場合には、画像中に複数の物体があり、その隣接関係が変化するような場合には、学習することができないという問題がある。また、従来技術による第２の方法を適用する場合には、複数の物体を含めたモデル推定が可能であるものの、物体同士の隣接関係を推定することはできないという問題がある。

本発明は、このような事情に鑑みてなされたもので、画像中の複数の物体の３次元的な位置関係を認識し、物体同士の隣接関係に基づいた画像の領域分割を行うことができる物体領域推定装置、物体領域推定方法及び物体領域推定プログラムを提供することを目的とする。

本発明は、入力画像全体を小領域に分割する画像小領域分割手段と、前記小領域毎に、局所画像特徴ベクトルを抽出する局所画像特徴抽出手段と、前記小領域毎に、領域画像特徴ベクトルを抽出する領域画像特徴抽出手段と、隣接する２つの前記小領域に接する境界領域から境界画像特徴ベクトルを抽出する境界画像特徴抽出手段と、前記局所画像特徴ベクトル、前記領域画像特徴ベクトル及び前記境界画像特徴ベクトルについて離散化して量子化特徴ベクトルを出力する量子化手段と、前記量子化特徴ベクトルを観測変数として、観測された特徴の分布を用いて物体領域モデルの推定を行うことにより、前記入力画像中の物体領域と物体領域の境界とを抽出するモデル推定手段とを備えたことを特徴とする。

本発明は、入力画像全体を小領域に分割する画像小領域分割ステップと、前記小領域毎に、局所画像特徴ベクトルを抽出する局所画像特徴抽出ステップと、前記小領域毎に、領域画像特徴ベクトルを抽出する領域画像特徴抽出ステップと、隣接する２つの前記小領域に接する境界領域から境界画像特徴ベクトルを抽出する境界画像特徴抽出ステップと、前記局所画像特徴ベクトル、前記領域画像特徴ベクトル及び前記境界画像特徴ベクトルについて離散化して量子化特徴ベクトルを出力する量子化ステップと、前記量子化特徴ベクトルを観測変数として、観測された特徴の分布を用いて物体領域モデルの推定を行うことにより、前記入力画像中の物体領域と物体領域の境界とを抽出するモデル推定ステップとを有することを特徴とする。

本発明は、コンピュータを、前記物体領域推定装置として機能させるための物体領域推定プログラムである。

本発明によれば、画像中の複数の物体の３次元的な位置関係を認識し、物体同士の隣接関係に基づいた画像の領域分割を行うことができるという効果が得られる。そのため、物体同士の関係に基づいた類似画像検索を可能にすることができるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。 モデルの概念を示す説明図である。 グラフィカルモデルの一例を示す説明図である。 廊下画像データセットへの適用例を示す図（画像）である。 廊下画像に対するトピック抽出結果を示す図（画像）である。

以下、図面を参照して、本発明の一実施形態による物体領域推定装置を説明する。図１は同実施形態の構成を示すブロック図である。物体領域推定装置は、画像小領域分割部１、特徴ベクトル生成部２、画像特徴抽出部３、量子化部４、量子化辞書記憶部５及びモデル推定部６から構成する。画像特徴抽出部３は、局所画像特徴抽出部３１、領域画像特徴抽出部３２、境界画像特徴抽出部３３から構成する。また、モデル推定部６は、領域−境界型モデル記憶部６１を備える。

次に、図１を参照して、図１に示す物体領域推定装置の動作を説明する。はじめに、画像小領域分割部１は、入力画像を小領域に分割する。この小領域は局所画像特徴に空間的な連続性を持たせるためのものであり、複数の物体が同じ領域となることがないように十分に細かく分割する。なお、局所画像特徴に空間的な連続性を持たせるとは、同じ小領域内に含まれる局所画像特徴に対して同じラベルが付与されることを意味する。

次に、画像特徴抽出部３は、３種の特徴ベクトルを生成する。局所画像特徴抽出部３１、領域画像特徴抽出部３２、境界画像特徴抽出部３３のそれぞれは、局所画像特徴、領域画像特徴、境界画像特徴を抽出する。局所画像特徴抽出部３１は、画像全体から一様に局所画像特徴を抽出する。局所画像特徴を画像全体から一様に抽出する方法としては、例えば画像内の格子点上から抽出する方法がある。抽出した特徴量は、特徴点抽出箇所と対応する小領域に属するものとする。局所画像特徴としては、具体的にＳＩＦＴ特徴などを用いることができる。

領域画像特徴抽出部３２は、画像小領域分割部１により分割した小領域から領域画像特徴を抽出する。領域画像特徴としては、色、位置（座標）、テクスチャ特徴などを用いることができる。境界画像特徴抽出部３３は、画像小領域分割部１により分割した小領域群から、隣接する２つの小領域と小領域を取り出したとき、その両方に接する領域、すなわち境界領域から境界画像特徴を抽出する。境界画像特徴としては色ヒストグラムの差分、ＬＭフィルタレスポンスの差分、境界線形状などを用いることができる。これらの特徴量は、いずれか１つを用いてもよいし、複数を組み合わせて用いてもよい。

次に、量子化部４は、量子化辞書記憶部５に記憶されている量子化辞書を参照して、抽出した各特徴ベクトルを離散化する。量子化辞書はクラスタリングによって構成する。クラスタリング手法としてはｋ−ｍｅａｎｓクラスタリングなどを用いることができる。特徴ベクトル生成部２は、量子化した特徴ベクトルを出力する。

次に、モデル推定部６はこれらの特徴ベクトルを観測変数としてモデルの推定を行う。モデルは図２に示す概念図によって表される。図２は、モデルの概念を示す図である。図２において、Ｒｅｇｉｏｎ Ｆｅａｔｕｒｅ、Ｌｏｃａｌ Ｆｅａｔｕｒｅ、Ｂｏｕｎｄａｒｙ Ｆｅａｔｕｒｅはそれぞれ領域画像特徴、局所画像特徴、境界画像特徴のことを意味する。ａ、ｗ_ｉ、ｅはそれぞれ領域画像特徴、局所画像特徴、境界画像特徴を示す。

モデル推定部６は、各画像から複数の小領域が得られており、隣接する領域に対して境界を設定する。各領域からは１つの領域画像特徴と複数の局所画像特徴が観測され、１対の隣接領域から１つの境界画像特徴が観測される。観測された特徴の分布を用いて、最適な領域トピック、境界トピックを求める。

次に、モデル推定部６は、グラフィカルモデルを設定する。図３に、グラフィカルモデルの一例を示す。図３は、グラフィカルモデルの一例を示す図である。図３において、Ｄは画像の数を、Ｂ、Ｚはそれぞれ境界トピック、領域トピックを示す。α、β、ξ、λ、γはパラメータである。また、θは各画像について領域トピックの分布を示す。なお、図中のγ→Ｂといった表記はＢがγから生成されることを表す。ここで、Ｂがγから生成されるとは、Ｂの分布がγに応じて決定されることを示す。図中の四角は、四角内の要素が独立していくつも存在することを示す。最も外側の枠は対象の画像枚数Ｄ個分繰り返している。しかし、Ｚ−Ｂ−Ｚを囲む枠については、各Ｚが他のＢについても影響を及ぼすために独立ではなくなっているが、表記を簡単にするために一部分を抜粋した。

求めるべき各小領域の領域トピックがＺ、各領域境界の境界トピックがＢで表されている。図中の各変数は次のように生成する。まず、画像全体の領域トピックＺの分布θをハイパーパラメータλのディリクレ分布に従って生成する。各領域トピックＺは各トピックの出現確率θに従って生成する。各境界トピックＢの出現確率γは、隣接する領域トピックの組み合わせ毎に定義され、各境界トピックはその領域トピックの組み合わせとパラメータγに従って生成する。

観測特徴ａ、ｗ、ｅについては、それぞれ対応するトピックに応じた出現確率がパラメータα、β、ξとして定義されており、それらに従って生成する。これらのパラメータには、事前分布としてディリクレ分布を仮定したハイパーパラメータを設定してもよい。各境界トピックは隣接領域のトピックに従って生成されるため、領域トピックの連続性を評価するトピックとなり得る。

境界は全ての隣接領域について定義されるため、各領域を次々とつなぐようにして境界トピックが設定するが、図３に示すグラフィカルモデルでは、簡単のため１対の隣接領域についての関係性のみを抜き出して表記している。

このモデルに従い、画像全体について尤度を最大化することができれば、境界画像特徴の出現頻度に基づく境界トピックの抽出と同時に隣接している領域の連続性を考慮した領域トピックの抽出を行うことができる。

まず、境界トピックの尤度Ｐ_Ｂ（Ｂ_ｒｓ｜Ｚ_ｒ，Ｚ_ｓ）は次式のように隣接する領域トピックと境界で観測される境界画像特徴によって決められる。
ここで、ｒｓは領域ｒと領域ｓの境界であることを示す。

境界画像特徴に応じた境界トピック尤度については、境界の長さｌによる重み付けを行う。これは、領域境界線が長ければ長いほど、境界特徴に対して一貫したトピックが出やすいことを意味している。その度合を調整するパラメータとしてωを設定している。

次に、領域トピックの尤度Ｐ_Ｒ（Ｚ_ｒ｜θ_ｄ）は次式のように定める。
ここで、Ｋは領域トピックの取り得るトピック数を、Ｔは境界トピックの取り得るトピック数を示す。また、η（ｒ）は領域ｒ内に含まれる局所画像特徴の集合、ε（ｒ）は領域ｒに隣接する領域の集合を示す。領域トピックの尤度は、画像毎のトピック分布と観測された局所画像特徴だけでなく、隣接する領域トピックと境界トピックの影響を受けることを示している。

最後に、画像全体としての尤度は以下のように示される。ここで、Ｒ_ｄは画像に含まれる小領域の数を示す。
ここで、Ｄｉｒ（・｜λ）はパラメータλでのディリクレ分布を示し、θ_ｄは画像ｄでの各領域トピックの出現確率を示す。パラメータα、β、ξ、γの推定は、画像集合全体の尤度
を最大化することで行われる。

一般に最適なパラメータを求めることは難しいことが知られているが、Ｂｉｓｈｏｐらの提案するＶａｒｉａｔｉｏｎａｌ Ｍｅｓｓａｇｅ Ｐａｓｓｉｎｇを用いて推定を行うことができる。Ｖａｒｉａｔｉｏｎａｌ Ｍｅｓｓａｇｅ Ｐａｓｓｉｎｇはグラフィカルモデルの各ノードについて期待値を逐次的に更新して、隣接ノードに伝搬していく手法であり、各ノードの更新式は以下のようになる。

境界トピックＢ_ｒｓは隣接する２つの領域トピックＺ_ｒ，Ｚ_ｓからのメッセージを受けて、パラメータγ、ξに従って更新する。また、領域トピックＺは境界トピックからのメッセージとして共同親である隣接領域からの影響に基づき更新する。

θはパラメータλと画像毎の領域トピックの分布に従って更新する。

パラメータα、β、γ、ξについては、上式のようにデータ集合全体での、トピックと各特徴との対応分布に従って更新する。

また、パラメータλについては、全画像のθの分布についてＮｅｗｔｏｎ法を用いて、最も適合するディリクレ分布のパラメータを推定する。

各ノードの更新順序については、境界トピックＺの更新と領域トピックＢの更新、画像のトピック分布θの更新を各画像について十分な回数交互に繰り返し、画像集合全体についてパラメータα、β、γ、ξ、λの更新を行う。

廊下画像データセットへの適用例を図４に示す。図４は、廊下画像データセットへの適用例を示す図（画像）である。領域トピック数Ｋを３、境界トピック数Ｔを６としている。天井と床の平面が領域トピックとして抽出され、同様に壁と天井の境界が境界トピックとして抽出されている。これは、画像内の平面が直行する境界線を正解データを与えられることなく抽出できたと捉えることができる。

図５に同様の構図を持つ廊下画像に対するトピック抽出結果を示す。図５は、廊下画像に対するトピック抽出結果を示す図（画像）である。異なるテクスチャをもつ画像群においても、天井・床と壁面の境界を表す境界トピックの出現と壁面中の稜線を表す境界トピックの出現は似通っており、境界トピックの抽出が画像の構図を示す表現になりうることがわかる。

以上説明したように、画像から物体領域を抽出して、物体が存在する空間の構造に関係する、領域間の隣接関係を推定する際に、物体領域集合だけでなく、領域と領域の境界という集合も考慮した確率モデルを用いることにより、物体領域を精度よく抽出するとともに物体領域間の隣接関係のパターンを推定することができる。特に、本実施形態では、画像小領域分割部１と特徴ベクトル生成部２とモデル推定部６とからなり、特徴ベクトル生成部２は境界画像特徴抽出部３３を備え、モデル推定部６が推定するモデルは領域‐境界型モデルとした。モデル推定部６は、従来技術のようなグラフィカルモデルに、物体同士の３次元的な構造を加えたモデルを推定するものであり、従来技術の利点である複数の物体領域の抽出への適用性を備え、また、領域間の隣接関係を含めて推定・記述するものである。領域間の隣接関係も記述することで、物体領域の認識精度を高めるとともに、複数物体の配置などの構図も含めた画像のインデキシングが可能になる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより物体領域推定処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

画像から物体領域を抽出して、物体が存在する空間の構造に関係する、領域間の隣接関係を推定することが不可欠な用途に適用できる。

１・・・画像小領域分割部、２・・・特徴ベクトル生成部、３・・・画像特徴抽出部、３１・・・局所画像特徴抽出部、３２・・・領域画像特徴部、３３・・・境界画像特徴部、４・・・量子化部、５・・・量子化辞書記憶部、６・・・モデル推定部、６１・・・領域−境界型モデル記憶部

Claims (3)

1. 入力画像全体を小領域に分割する画像小領域分割手段と、
   前記小領域毎に、局所画像特徴ベクトルを抽出する局所画像特徴抽出手段と、
   前記小領域毎に、領域画像特徴ベクトルを抽出する領域画像特徴抽出手段と、
   隣接する２つの前記小領域に接する境界領域から境界画像特徴ベクトルを抽出する境界画像特徴抽出手段と、
   前記局所画像特徴ベクトル、前記領域画像特徴ベクトル及び前記境界画像特徴ベクトルについて離散化して量子化特徴ベクトルを出力する量子化手段と、
   前記量子化特徴ベクトルを観測変数として、観測された特徴の分布を用いて物体領域モデルの推定を行うことにより、前記入力画像中の物体領域と前記物体領域の境界とを抽出するモデル推定手段と
   を備えたことを特徴とする物体領域推定装置。
2. 入力画像全体を小領域に分割する画像小領域分割ステップと、
   前記小領域毎に、局所画像特徴ベクトルを抽出する局所画像特徴抽出ステップと、
   前記小領域毎に、領域画像特徴ベクトルを抽出する領域画像特徴抽出ステップと、
   隣接する２つの前記小領域に接する境界領域から境界画像特徴ベクトルを抽出する境界画像特徴抽出ステップと、
   前記局所画像特徴ベクトル、前記領域画像特徴ベクトル及び前記境界画像特徴ベクトルについて離散化して量子化特徴ベクトルを出力する量子化ステップと、
   前記量子化特徴ベクトルを観測変数として、観測された特徴の分布を用いて物体領域モデルの推定を行うことにより、前記入力画像中の物体領域と前記物体領域の境界とを抽出するモデル推定ステップと
   を有することを特徴とする物体領域推定方法。
3. コンピュータを、請求項１に記載の物体領域推定装置として機能させるための物体領域推定プログラム。