JP5840940B2 - 画像領域抽出装置、画像領域抽出方法、および画像領域抽出プログラム - Google Patents

Description

本発明は、画像から領域を抽出する画像領域抽出装置、画像領域抽出方法、および画像領域抽出プログラムに関する。

画像から特定の領域を自動で抽出する技術は、医療分野、画像処理技術分野、生産管理分野、あるいは環境認識分野など、様々な分野で活用されている。かかる技術の１つとして、画像セグメンテーション技術が知られている（例えば、特許文献１、特許文献２、および非特許文献１参照）。

特許文献１に記載の技術は、ユーザから、抽出の対象となる領域（以下「対象領域」という）を指定する領域（以下「指定領域」という）の指定を受け付ける。対象領域は、例えば、画像の前景部分である。指定領域は、例えば、ユーザが画像に対して行ったドラッグ操作の軌跡の部分である。そして、特許文献１に記載の技術は、指定領域と連続し、かつ、隣接する画素間での画素値の差分が所定の閾値以下となる範囲を、対象領域として抽出する。

特許文献２に記載の技術は、指定領域との間での距離の差分が所定の閾値以下となる領域を、対象領域として抽出する。ここで、距離とは、カメラ視点などの基準位置から被写体までの距離成分である。

非特許文献１に記載の技術は、グラフカット法と呼ばれる技術である。かかる技術は、指定領域との間における画素値成分および距離成分の類似性と、隣接画素間における画素値の連結性とに基づいて、対象領域の抽出を行う。

これらの従来技術によれば、対象領域の全てを指定することなく、その一部を指定するだけで、画像から対象領域を抽出することが可能となる。

特開２０１０−７９４７７号公報 特開２０１０−３９９９９号公報

永橋知行、藤吉弘宣、金出武雄著、「平滑化処理の繰り返しによる画像セグメンテーションのためのグラフカット」、ＭＩＲＵ２００７、２００７年７月

しかしながら、上述の従来技術では、指定領域に基づいて対象領域を精度良く抽出することが難しいという課題を有する。理由は以下の通りである。

例えば、内部における画素値の変化が大きい、あるいは、境界部分の画素値の変化が小さい対象領域において、特許文献１に記載の技術では、抽出することが困難である。なぜなら、特許文献１に記載の技術は、隣接する画素間での画素値の差分に基づいて、対象領域抽出を行うからである。また、内部における距離の変化が大きい、あるいは、境界部分の距離の変化が小さい対象領域において、特許文献２に記載の技術では、抽出することが困難である。なぜなら、特許文献２に記載の技術は、指定領域との間での距離の差分に基づいて、対象領域抽出を行うからである。そして、対象部分と他の部分との間で画素値が類似しており、かつ、内部における距離の変化が大きい、あるいは、境界部分の距離の変化が小さい対象領域について、非特許文献１に記載の技術では、抽出することが困難である。なぜなら、非特許文献１に記載の技術は、指定領域との間における画素値成分および距離成分の類似性と、隣接画素間における画素値の連結性とに基づいて、対象領域抽出を行うからである。

例えば、緑色の地に花柄の壁紙の前に観葉植物が置かれている風景の画像があり、観葉植物が対象領域であるというケースが考えられる。このようなケースにおいて、対象部分は、内部における画素値および距離の変化が大きく、境界部分の画素値および距離の変化が小さく、かつ、他の部分との間での画素値の差異が少ない。したがって、上述の従来技術では、対象領域である観葉植物を抽出することは難しい。

本発明の目的は、指定領域に基づいて、対象領域を精度良く抽出することである。

本発明の画像領域抽出装置は、指定領域に基づいて画像から対象領域を抽出する画像領域抽出装置であって、前記画像の各部分の、画素値成分の空間変化の特徴である画素値変化パターン、および、基準位置から被写体までの距離成分の空間変化の特徴である距離変化パターン、を取得する空間変化学習部と、前記指定領域と、前記画像の各部分との間における、前記画素値変化パターンおよび前記距離変化パターンの類似度、に基づいて、前記対象領域の抽出を行う領域分割部とを有する。

本発明の画像領域抽出方法は、指定領域に基づいて画像から対象領域を抽出する画像領域抽出方法であって、前記画像の各部分の、画素値成分の空間変化の特徴である画素値変化パターン、および、基準位置から被写体までの距離成分の空間変化の特徴である距離変化パターン、を取得するステップと、前記指定領域と、前記画像の各部分との間における、前記画素値変化パターンおよび前記距離変化パターンの類似度、に基づいて、前記対象領域の抽出を行うステップとを有する。

本発明の画像領域抽出プログラムは、指定領域に基づいて画像から対象領域を抽出する画像領域抽出プログラムであって、コンピュータに、前記画像の各部分の、画素値成分の空間変化の特徴である画素値変化パターン、および、基準位置から被写体までの距離成分の空間変化の特徴である距離変化パターン、を取得する処理と、前記指定領域と、前記画像の各部分との間における、前記画素値変化パターンおよび前記距離変化パターンの類似度、に基づいて、前記対象領域の抽出を行う処理とを実行させる。

本発明によれば、指定領域に基づいて、対象領域を精度良く抽出することができる。

本発明の実施の形態１に係る画像領域抽出装置の構成の一例を示すブロック図 本発明の実施の形態２に係る画像領域抽出装置の構成の一例を示すブロック図 本発明の実施の形態２に係る画像領域抽出装置の動作の一例を示すフローチャート 本発明の実施の形態２における入力画像の一例を示す図 本発明の実施の形態２における距離画像の一例を示す図 本発明の実施の形態２における画素値の空間変化の算出手法の一例を説明するための図 本発明の実施の形態２における画素値の空間変化の算出手法の他の例を説明するための図 本発明の実施の形態２における指定領域の入力の様子の一例を示す図 本発明の実施の形態２における指定領域学習処理の一例を示すフローチャート 本発明の実施の形態２における画素値成分の空間変化および距離成分の空間変化の一例を示す図 本発明の実施の形態２における対象領域分割処理の一例を示すフローチャート 本発明の実施の形態３に係る画像領域抽出装置の構成の一例を示すブロック図 本発明の実施の形態３における重み決定テーブルの内容の一例を示す図 本発明の実施の形態３における指定領域学習処理の一例を示すフローチャート 本発明の実施の形態３における対象領域分割処理の一例を示すフローチャート

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の一例である。

図１は、本実施の形態に係る画像領域抽出装置の構成の一例を示すブロック図である。

図１において、画像領域抽出装置１００は、指定領域に基づいて画像から対象領域を抽出する装置であり、空間変化学習部１８０および領域分割部２１０を含む。

空間変化学習部１８０は、画像の各部分の、画素値変化パターンおよび距離変化パターンを取得する。画素値変化パターンは、画素値成分の空間変化の特徴である。また、距離変化パターンは、基準位置から被写体までの距離成分の空間変化の特徴である。

領域分割部２１０は、指定領域と、画像の各部分との間における、画素値変化パターンおよび距離変化パターンの類似度に基づいて、対象領域の抽出を行う。

画像領域抽出装置１００は、図示しないが、例えば、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）などの記憶媒体、およびＲＡＭ（random access memory）などの作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このような画像領域抽出装置１００は、指定領域と画像の各部分との間における、画素値変化パターンおよび距離変化パターンの類似度に基づいて、対象領域の抽出を行うことができる。

具体的には、例えば、対象領域が、内部における画素値および距離の変化が大きく、境界部分の画素値および距離の変化が小さく、かつ、他の部分との間での画素値の差異が少ない領域であったとする。画像領域抽出装置１００は、このような対象領域についても、画素値変化パターンおよび距離変化パターンの類似度を用いるため、対象領域の抽出することが可能となる。すなわち、画像領域抽出装置１００は、従来技術に比べて、指定領域に基づいて対象領域を精度良く抽出することができる。

（実施の形態２）
本発明の実施の形態２は、本発明を、ステレオカメラを備えた装置に適用した場合の、具体的態様の一例である。

まず、本実施の形態にかかる画像領域抽出装置の構成について説明する。

図２は、本実施の形態に係る画像領域抽出装置の構成の一例を示すブロック図である。

図２において、画像領域抽出装置１００は、画像から対象領域を抽出する装置である。画像領域抽出装置１００は、ステレオ画像撮影部１１０、画像表示部１２０、ユーザ指示入力部１３０、距離情報計算部１４０、画素値・距離学習部１５０、および画素値・距離データベース（ＤＢ）１６０を有する。また、画像領域抽出装置１００は、空間変化計算部１７０、空間変化学習部１８０、空間変化データベース（ＤＢ）１９０、スコア計算部２００、領域分割部２１０、結果出力部２２０を有する。

ステレオ画像撮影部１１０は、ステレオ画像を入力する。具体的には、ステレオ画像撮影部１１０は、ステレオカメラ（図示せず）によりステレオ画像を取得し、取得したステレオ画像の画像データ（以下、単に「ステレオ画像」という）を、画像表示部１２０および距離情報計算部１４０へ出力する。

なお、ステレオ画像は、左目画像および右目画像から成る。本実施の形態では、左目画像を、領域抽出の対象とする場合について説明する。この場合、ステレオ画像撮影部１１０は、画像表示部１２０へは、ステレオ画像のうち左目画像のみを出力するようにしてもよい。

画像表示部１２０は、入力された左目画像のデータ（以下、単に「左目画像」という）に基づき、左目画像を画面に表示する。画像表示部１２０は、例えば、液晶ディスプレイである。

ユーザ指示入力部１３０は、ユーザから、指定領域の入力を受け付ける。ユーザ指示入力部１３０は、例えば、液晶ディスプレイに設けられたタッチパネル、あるいは、マウスなどの、ポインティングデバイスである。この場合、ユーザは、指もしくはスタイラスペンによるタッチパネルへの接触、あるいはマウスの操作などにより、左目画像の任意の領域を、指定領域として設定することができる。すなわち、本実施の形態において、領域とは、ユーザが左目画像に対して指定した領域である。そして、ユーザ指示入力部１３０は、指定領域を示す指定領域情報を、画素値・距離学習部１５０および空間変化計算部１７０へ出力する。

距離情報計算部１４０は、左目画像から、左目画像の各部分の、画素値成分および距離成分を取得する。より具体的には、距離情報計算部１４０は、入力されたステレオ画像から、画像マッチングなどにより、左目画像と右目画像との間の対応画素対を特定する。そして、距離情報計算部１４０は、対応画素対の視差から、ステレオ法などにより、左目画像の各位置（例えば各画素位置）の距離成分を算出する。

なお、ここで、画素値成分とは、画素が表示する色あるいは輝度、もしくは、色を示す色成分あるいは輝度を示す輝度成分である。また、距離成分とは、ステレオカメラの視点位置などの基準位置から被写体までの距離、もしくは、当該距離を示す距離成分である。また、ステレオ法とは、ステレオカメラの設置パラメータ（カメラパラメータ）を用いて、三角測量の原理により、対応画素対の視差から距離を算出する手法である。

そして、距離情報計算部１４０は、取得した各部分の距離成分を示すデプス情報と、左目画像とを、画素値・距離学習部１５０および空間変化計算部１７０へ出力する。なお、距離情報計算部１４０は、各画素の距離成分を付加した左目画像を左目距離画像として生成し、これを出力してもよい。

画素値・距離学習部１５０は、入力された左目画像の各部分と、入力された指定領域情報が示す領域（指定領域）との間における、画素値成分および距離成分の類似度を算出する。

より具体的には、画素値・距離学習部１５０は、指定領域における画素値成分の平均および標準偏差と、指定領域における距離成分の平均および標準偏差とを算出する。そして、画素値・距離学習部１５０は、算出結果を、指定領域情報として、画素値・距離データベース１６０に記憶させる。

そして、画素値・距離学習部１５０は、指定領域情報を用いて、左目画像の各部分について、上述の画素値成分の類似度および距離成分の類似度を算出する。そして、画素値・距離学習部１５０は、算出した各部分の画素値成分の類似度および距離成分の類似度を、スコア計算部２００へ出力する。

画素値・距離データベース１６０は、上記指定領域情報を記憶する。

空間変化計算部１７０は、左目画像の各部分について、画素値成分の空間変化および距離成分の空間変化を算出する。ここで、空間変化とは、２つ以上の連続する画素間における値の変化であり、例えば、変化量ベクトルで表される。そして、空間変化計算部１７０は、算出した各部分の画素値成分の空間変化および距離成分の空間変化と、指定領域情報とを、空間変化学習部１８０へ出力する。

なお、空間変化計算部１７０は、図２に示すように、画素値成分の空間変化を算出する画素値空間変化計算部１７１と、距離成分の空間変化を算出する距離空間変化計算部１７２とを有してもよい。

空間変化学習部１８０は、左目画像の各部分の、画素値成分の空間変化の傾向である画素値変化パターンと、距離成分の空間変化の傾向である距離変化パターンとを、取得する。画素値変化パターンは、画素値成分の空間変化の特徴である。また、距離変化パターンは、基準位置から被写体までの距離成分の空間変化の特徴である。そして、空間変化学習部１８０は、左目画像の各部分と、入力された指定領域情報が示す領域（指定領域）との間における、画素値変化パターンおよび距離変化パターンの類似度を算出する。

より具体的には、空間変化学習部１８０は、指定領域における画素値変化パターンの平均およびガウス分布における標準偏差と、指定領域における距離変化パターンの平均およびガウス分布における標準偏差とを算出する。そして、空間変化学習部１８０は、算出結果を、指定領域空間変化情報として、空間変化データベース１９０に記憶させる。

そして、空間変化学習部１８０は、指定領域空間変化情報を用いて、左目画像の各部分について、上述の画素値変化パターンの類似度および距離変化パターンの類似度を算出する。そして、画素値・距離学習部１５０は、算出した各部分の画素値変化パターンの類似度および距離変化パターンの類似度を、スコア計算部２００へ出力する。

空間変化データベース１９０は、上記指定領域空間変化情報を記憶する。

スコア計算部２００は、左目画像の部分ごとに、入力された空間変化パターンの類似度と、画素値成分および距離成分の類似度とに基づいて、スコアを算出する。ここで、スコアとは、対象領域であることの尤もらしさを示す指標値であり、例えば、後述のエネルギーＥ（ｐ）である。この場合、スコアが高いほど、対象領域であることの尤もらしさがより高いことを示す。

領域分割部２１０は、指定領域と左目画像の各部分との間における、画素値変化パターンおよび距離変化パターンの類似度（空間変化パターンの類似度）、および、画素値成分および距離成分の類似度に基づいて、対象領域の抽出を行う。より具体的には、領域分割部２１０は、グラフカット法（非特許文献１参照）により、入力された各部分のスコアに基づいて、左目画像からの対象領域の抽出を行う。そして、領域分割部２１０は、対象領域の抽出の結果を、結果出力部２２０へ出力する。

結果出力部２２０は、入力された対象領域の抽出の結果を示す情報を、出力する。より具体的には、結果出力部２２０は、左目画像のうちどの領域が対象領域として抽出されたかを画像で示す抽出結果情報を、画像表示部１２０へ出力する。抽出結果情報は、例えば、画像表示部１２０に対して、表示中の左目画像から対象領域のみを切り出して表示させたり、表示中の左目画像に対象領域を示す画像を重畳表示させるような情報である。あるいは、抽出結果情報は、左目画像から対象領域のみを切り出した画像のデータである。

画像領域抽出装置１００は、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭなどの記憶媒体、およびＲＡＭなどの作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このような構成を有する画像領域抽出装置１００は、指定領域と画像の各部分との間における、画素値変化パターンおよび距離変化パターンの類似度に基づいて、対象領域の抽出を行うことができる。

具体的には、例えば、対象領域が、内部における画素値および距離の変化が大きく、境界部分の画素値および距離の変化が小さく、かつ、他の部分との間での画素値の差異が少ない領域であったとする。画像領域抽出装置１００は、このような対象部分についても、抽出することが可能となる。

すなわち、画像領域抽出装置１００は、従来技術に比べて、指定領域に基づいて対象領域を精度良く抽出することができる。

また、画像領域抽出装置１００は、ステレオ画像を利用して、画像の各部分の距離成分を取得することができる。すなわち、画像領域抽出装置１００は、ステレオカメラを備えた装置に対する軽微な変更により、かかる装置に簡単に搭載することができる。例えば、画像領域抽出装置１００は、ステレオカメラおよびタッチパネルを備えたスマートフォンに対して、アプリケーション・プログラムのダウンロードにより、容易に実現することができる。

また、画像領域抽出装置１００は、ユーザが抽出を望む領域を精度良く抽出し、更に、抽出した領域をユーザに提示することができる。

以上で、画像領域抽出装置１００の構成についての説明を終える。

次は、画像領域抽出装置１００の動作について説明する。

図３は、画像領域抽出装置１００の動作の一例を示すフローチャートである。

まず、ステップＳ１０００において、ステレオ画像撮影部１１０は、ステレオ画像を入力する。

そして、ステップＳ２０００において、距離情報計算部１４０は、左目画像の各部分（例えば、各画素）の距離成分を算出する。

次は、距離成分の算出手法の一例について説明する。

距離情報計算部１４０は、まず、左目画像と右目画像との間で画像マッチングを行い、左目画像の画素と右目画像の画素との組み合わせごとに、マッチングスコアを算出する。マッチングスコアは、左目画像の画素と右目画像の画素とが、同一の物体または背景部分を撮影していることの尤もらしさを示す値である。そして、距離情報計算部１４０は、左目画像の画素ごとに、マッチングスコアが最も高い右目画像の画素を特定し、特定された画素との組を、対応画素対に決定する。

画像マッチングの手法としては、例えば、両画像をブロック化し、ブロック間の一致度を求める手法を用いることができる。この場合、かかる一致度に基づく値を、マッチングスコアとして用いることができる。ブロック間の一致度の評価手法は、例えば、輝度差の総和（ＳＡＤ：Sum of Absolute Difference）、および、輝度値の２乗和（ＳＳＤ：Sum of Squared Difference）が使用できる。また、ブロック間の一致度の評価手法としては、正規化互換相関（ＮＣＣ：Normalized Cross-Correlation）が使用できる。

ＳＡＤ、ＳＳＤでは、評価値は正値であり、評価値が小さいほど一致度が高い。このため、マッチングスコアは、例えば評価値の逆数、あるいは、定数から評価値を引いた値を採用するなど、評価値が小さいほど高い値になるような関数で表現すればよい。ＮＣＣでは、評価値は１〜−１の値を取り、評価値が１のときに一致度が最も高い。このため、評価値は、マッチングスコアとしてそのまま用いることが可能である。もちろん、例えば、マッチングスコアは、評価値の３乗値を採用するなど、評価値が高いほどより重みが大きくなるような関数を用いて表現してもよい。

そして、距離情報計算部１４０は、対応画素対ごとに視差を取得し、取得した視差とカメラパラメータとから、ステレオ法により、当該対応画素対の距離を算出する。そして、距離情報計算部１４０は、算出した各対応画素対の距離を、当該対応画素対のうち、左目画像上の画素の位置の距離成分とする。

図４は、ステレオ画像撮影部１１０が入力する左目画像の一例を示す図である。また、図５は、図４に示す左目画像の距離画像の一例を示す図である。

図４に示す左目画像３１１は、カラー画像あるいはグレースケール画像である。左目画像３１１は、緑色の地に花柄の壁紙３１２の前に、観葉植物３１３およびボール３１４が置かれている風景の画像とする。

図５において、距離画像３２１は、距離の遠近を濃淡で示したグレースケール画像である。ここでは、距離が近いほど、輝度を高く表現し、より白に近い色で表現している。距離画像３２１は、物体のもつテクスチャ情報とは無関係である。すなわち、図４に示すように、壁紙３１２に模様がある場合でも、図５に示すように、距離画像３２１の壁紙３１２の領域には、模様の情報は反映されず、その距離成分は一様な値となる。

この場合、図４および図５から分かるように、観葉植物３１３の領域は、内部における画素値および距離の変化が大きく、他の部分（壁紙３１２およびボール３１４の領域）との境界部分における画素値および距離の変化が小さい。そして、観葉植物３１３の領域は、他の部分との間での画素値の差異が少ない。すなわち、上述の従来技術では、観葉植物３１３を抽出することは困難である。

そして、図３のステップＳ３０００において、空間変化計算部１７０は、左目画像の各部分の画素値成分の空間変化および距離成分の空間変化を算出する。

次は、画素値成分の空間変化および距離成分の空間変化の一例について説明する。

図６は、画素値の空間変化の算出手法の一例を説明するための図である。また、図７は、画素値の空間変化の算出手法の他の例を説明するための図である。

図６および図７に示す各ブロック３３１は、左目画像における１画素を示す。なお、図６および図７では、注目画素から２画素分の距離までの画素のみを図示している。

ここでは、図６に示すように、中央の注目画素ｔを端点とする直線上の連続画素を、空間変化の表現に用いられる画素（以下「近傍画素」という）とする。この場合、近傍画素群は、例えば、注目画素ｔから近い順に、近傍画素ｔ−１、ｔ−２、・・・、ｔ−ｍと表現される。また、図７に示すように、近傍画素は、注目画素ｔを端点とするのではなく、注目画素ｔを通過する直線上の連続画素を、近傍画素としてもよい。この場合、この場合、近傍画素群は、例えば、注目画素ｔから近い順に、近傍画素ｔ−１、ｔ−２、・・・、ｔ−ｍ、および、近傍画素ｔ＋１、ｔ＋２、・・・、ｔ＋ｍと表現される。

近傍画素群の並びの方向は、空間変化を見る方向である。図６に示すように、空間変化を見る方向は、例えば、右上がり斜め４５度の方向３３２であってもよいし、右水平方向３３３であってもよい。また、空間変化を見る方向は、１方向であってもよいし、複数の方向であってもよい。空間変化計算部１７０は、空間変化を見る方向の数が少ないほど、処理負荷を低減することができ、空間変化を見る方向の数が多いほど、検出精度を向上させることができる。また、例えば、空間変化計算部１７０は、指定領域が、ユーザのドラッグ操作により指定される場合、そのドラッグ操作が行われたラインの方向を、空間変化を見る方向としてもよい。

本実施の形態では、一例として、近傍画素がｍ個であり、近傍画素が近傍画素ｔ−１、ｔ−２、・・・、ｔ−ｍと表現されるとする。この場合、空間変化計算部１７０は、以下の式（１）で表される変化量ベクトルｖ_ｃｏｍｂを、画素値成分および距離成分の空間変化として出力する。Ｖ_{ｃｏｌｏｒ}は、画素値成分の空間変化を示す変化量ベクトルである。また、Ｖ_ｄｉｓｔは、画素値成分の空間変化を示す変化量ベクトルである。

ただし、変化量ベクトルＶ_{ｃｏｌｏｒ}は、以下の式（２）および式（４）を満たし、変化量ベクトルＶ_ｄｉｓｔは、以下の式（３）および式（４）を満たす。なお、以下の説明において、画素値成分および距離成分は、ｐで表す。また、添え字のｃｏｌｏｒ、ｄｉｓｔは、それぞれ、画素値成分に関するパラメータ、距離成分に関するパラメータであることを示する。

そして、ステップＳ４０００において、画像表示部１２０は、左目画像を表示する。そして、ユーザ指示入力部１３０は、ユーザから指定領域の入力を受け付ける。

図８は、指定領域の入力の様子の一例を示す図であり、図４に対応するものである。ここでは、観葉植物３１３をユーザが対象領域として指定する場合を例示する。

図８に示すように、ユーザは、タッチパネルにおいて、例えば、左目画像３１１のうち観葉植物３１３の領域内で、指３４１をドラッグさせる。ユーザ指示入力部１３０は、指３４１が接触した領域３４２を、指定領域として取得する。なお、ユーザが対象領域の中央付近でドラッグを行うことを想定して、ユーザ指示入力部１３０は、指３４１が接触した領域３４２から一定範囲の幅を持たせ、より大きい領域を、対象領域として取得してもよい。対象領域の大きさは、大きいほうが、対象領域が持つより多くの情報を学習に利用できるため、指定領域の特徴が対象領域の特徴をより良く表すものとなり、対象領域の抽出精度が向上するからである。

なお、ステップＳ４０００の処理は、ステップＳ３０００の処理の前、あるいは、ステップＳ２０００の処理の前に行われてもよい。

そして、ステップＳ５０００において、画像領域抽出装置１００は、指定領域学習処理を行う。指定領域学習処理は、画素値変化パターンおよび距離変化パターンを含む、指定領域の特徴を学習する処理である。

図９は、指定領域学習処理（図３のステップＳ５０００）の一例を示すフローチャートである。

まず、ステップＳ５１００において、画素値・距離学習部１５０は、指定領域について、画素値成分の平均値および標準偏差と、距離成分の平均値および標準偏差とを、指定領域情報として算出する。そして、画素値・距離学習部１５０は、算出した指定領域情報を、画素値・距離データベース１６０に記憶させる。

以下の説明において、指定領域における画素値成分の平均値および標準偏差は、それぞれ、バー付きのｐ_{ｃｏｌｏｒ}、バー付きのσ_{ｃｏｌｏｒ}で表す。また、指定領域における距離成分の平均値および標準偏差は、それぞれ、バー付きのｐ_ｄｉｓｔ、バー付きのσ_ｄｉｓｔで表す。

なお、対象領域の内部には、画素値成分の空間変化の傾向あるいは距離成分の空間変化の傾向が、大きく変化する箇所が存在し得る。本実施の形態において、空間変化学習部１８０は、このような大きな変化を含めて、指定領域の画素値成分の空間変化の傾向あるいは距離成分の空間変化の傾向を抽出し、指定領域空間変化情報を生成する。

図１０は、画素値成分の空間変化および距離成分の空間変化の一例を示す図であり、図４、図５、および図８に対応するものである。

図１０の左側には、左目画像３１１に指定領域３４２を重畳した画像と、距離画像３２１に指定領域３４２を重畳した画像とを示す。また、図１０の右側には、指定領域３４２としてユーザが指定した軌跡と、画素値および距離との関係を示すグラフ３５１、３５２を示す。グラフ３５１において、横軸は、指定軌跡を示し、縦軸は画素値成分を示す。グラフ３５２において、横軸は指定軌跡を示し、縦軸は距離成分を示す。

指定領域３４２の指定軌跡は、画面手前側に伸びた葉の区間（１）、奥に位置する当該葉の根元の区間（２）、更に奥に位置する別の葉の区間（３）、鉢の土の区間（４）、および鉢の縁の区間（５）を含む。これらの区間の間では、グラフ３５１、３５２に示すように、画素値成分および距離成分の少なくとも一方の空間変化の度合い（傾き）が、大きく変化する。例えば、区間（１）と区間（２）との間において、画素値成分は、同様に緩やかに上昇しているが、距離成分は、急激な上昇に変化している。

例えば、区間（１）と区間（２）との間では、画素値成分の空間変化の仕方はほとんど変化していないが、距離成分の空間変化の仕方は大きく変化している。すなわち、区間（１）と区間（２）との間では、距離が緩やかに小さくなる空間変化が、距離が急激に大きくなる空間変化に転じている。空間変化計算部１７０は、このような空間変化の急激な変化の傾向をも含めて、指定領域空間変化情報を生成する。

そして、ステップＳ５２００において、空間変化学習部１８０は、指定領域について、空間変化パターンの平均値および標準偏差を、指定領域空間変化情報として算出する。そして、空間変化学習部１８０は、算出した指定領域空間変化情報を、空間変化データベース１９０に記憶させて、図３の処理へ戻る。

図３のステップＳ６０００において、画像領域抽出装置１００は、対象領域分割処理を行う。対象領域分割処理は、画素値変化パターンおよび距離変化パターンを含む指定領域の特徴に基づいて、画像から対象画像を抽出する処理である。

図１１は、対象領域分割処理（図３のステップＳ６０００）の一例を示すフローチャートである。

まず、ステップＳ６１００において、画素値・距離学習部１５０および空間変化学習部１８０は、左目画像の部分（画素）を、１つ選択する。なお、選択の対象となる領域は、画像のうち、指定領域を除いた領域であることが望ましい。また、画素値・距離学習部１５０および空間変化学習部１８０がどの画素を選択するかは、スコア計算部２００により制御されてもよい。

そして、ステップＳ６２００において、画素値・距離学習部１５０は、選択中の部分について、記憶されている指定領域情報を用いて、画素値スコアおよび距離スコアを算出する。ここで、画素値スコアは、選択中の部分と指定領域との間の画素値成分の類似度を示す指標値である。距離スコアは、選択中の部分と指定領域との間の距離成分の類似度を示す指標値である。

次は、画素値スコアおよび距離スコアの算出手法の一例について説明する。

画素値・距離学習部１５０は、単一ガウス分布を仮定した場合、例えば、以下の式（５）を用いて、選択中の部分（画素）の画素値成分に対する生起確率を、画素値スコアｓｃｏｒｅ（ｐ_{ｃｏｌｏｒ}）として求める。また、画素値・距離学習部１５０は、例えば、以下の式（６）を用いて、選択中の部分（画素）の距離成分に対する生起確率を、画素値スコアｓｃｏｒｅ（ｐ_ｄｉｓｔ）として求める。

また、画素値・距離学習部１５０は、混合ガウス分布を仮定した場合、例えば、以下の式（７）を用いて、選択中の部分（画素）の画素値成分に対する生起確率を、画素値スコアｓｃｏｒｅ（ｐ_{ｃｏｌｏｒ}）として求める。また、画素値・距離学習部１５０は、例えば、以下の式（８）を用いて、選択中の部分（画素）の距離成分に対する生起確率を、画素値スコアｓｃｏｒｅ（ｐ_ｄｉｓｔ）として求める。なお、ここで、Ｎは、分布数を示し、Ｄ_ｎは、ｎ番目のガウス分布を示す。

混合ガウス分布は、学習サンプルを複数のガウス分布の集合で表現したものである。したがって、混合ガウス分布の利用は、指定領域が、画素値が大きく異なる複数の色グループ、あるいは、距離が大きく異なる複数の距離グループを含む場合など、単一ガウス分布による表現が困難な場合に有効である。混合ガウス分布により得られる類似度は、各分布の生起確率および各分布における評価対象画素の類似度の積を、各分布について総和をとった値となる。

そして、ステップＳ６３００において、空間変化学習部１８０は、選択中の部分について、記憶されている指定領域空間変化情報を用いて、空間変化パターンスコアを算出する。ここで、空間変化パターンスコアは、選択中の部分と指定領域との間の、空間変化パターンの類似度を示す指標値である。画素値成分の空間変化と距離成分の空間変化との組は、以下、「画素値・距離空間変化」という。

次は、空間変化パターンスコアの算出手法の一例について説明する。

空間変化学習部１８０は、単一ガウス分布を仮定した場合、例えば、以下の式（９）を用いて、選択中の部分（画素）の画素値・距離空間変化に対する生起確率を、空間変化パターンスコアｓｃｏｒｅ（ｖ_ｃｏｍｂ）として求める。

また、空間変化学習部１８０は、混合ガウス分布を仮定した場合、例えば、以下の式（１０）を用いて、選択中の部分（画素）の画素値・距離空間変化に対する生起確率を、空間変化パターンスコアｓｃｏｒｅ（ｖ_ｃｏｍｂ）として求める。

そして、ステップＳ６４００において、スコア計算部２００は、左目画像のうち、選択の対象となる領域の全てを処理したか否かを判断する。スコア計算部２００は、全てを処理していない場合（Ｓ６４００：ＮＯ）、ステップＳ６１００へ戻る。また、スコア計算部２００は、全てを処理した場合（Ｓ６４００：ＹＥＳ）、ステップＳ６５００へ進む。

ステップＳ６５００において、スコア計算部２００は、計算された各部分の、画素値スコアｓｃｏｒｅ（ｐ_{ｃｏｌｏｒ}）、画素値スコアｓｃｏｒｅ（ｐ_ｄｉｓｔ）、および空間変化パターンスコアｓｃｏｒｅ（ｖ_ｃｏｍｂ）を取得する。領域分割部２１０は、スコア計算部２００により取得された画素値スコアｓｃｏｒｅ（ｐ_{ｃｏｌｏｒ}）、画素値スコアｓｃｏｒｅ（ｐ_ｄｉｓｔ）、および空間変化パターンスコアｓｃｏｒｅ（ｖ_ｃｏｍｂ）に基づいて、左目画像からの対象画像の抽出を行う。そして、領域分割部２１０は、図３の処理へ戻る。

次は、対象画像の抽出手法の一例について説明する。

領域分割部２１０は、グラフカット手法により、スコアを最適化する画素の組み合せを得ることで領域分割を行う。より具体的には、領域分割部２１０は、以下の式（１１）で表されるエネルギーＥ（ｐ）が最小となるような、左目画像の二分割線を求める。エネルギーＥ（ｐ）は、つまり、対象領域であることの尤もらしさを示す指標値としてのスコアである。エネルギーＥ（ｐ）を最小化する方法としては、例えば、最大流最小カット定理を用いることができる。なお、λは、所定のパラメータ係数である。

ここで、ｇ（Ｘ_{ｃｏｌｏｒ}，Ｘ_ｄｉｓｔ）は、以下の式（１２）で表される。また、ｈ（Ｘ_{ｃｏｌｏｒ}，Ｘ_ｄｉｓｔ，ｍ）は、以下の式（１３）で表される。

式（１１）において、１つ目の項は、指定領域と他の部分との間の類似度など、画像中の各画素値に依存する値である。そして、２つ目の項は、隣接画素間の画素値差など、隣接画素間の値の変化に依存する値である。この点、本実施の形態におけるグラフカット手法は、従来のグラフカット手法と同一である。また、エネルギー計算式は、式（１１）に示すように従来のグラフカットの定式と同じ形式となっているため、グラフカット法と同じ方法で領域分割を行うことができる。

ところが、従来のグラフカット手法のエネルギー計算式では、２つ目の項の値は、隣接画素間の画素値差など隣接画素間の値の変化が小さいほど、小さくなる。これに対し、本実施の形態におけるエネルギー計算法では、２つ目の項の値は、指定領域と他の部分との間で空間変化のパターンが類似しているほど、大きくなる。したがって、本実施の形態においてグラフカット手法により得られる効果は、従来のグラフカット手法とは異なる。

そして、図３のステップＳ７０００において、結果出力部２２０は、対象領域の抽出結果を示す抽出結果情報（対象領域分割処理の結果）を出力する。

そして、ステップＳ８０００において、ステレオ画像撮影部１１０は、ユーザ操作などにより処理の終了を指示されたか否かを判断する。ステレオ画像撮影部１１０は、処理の終了を指示されていない場合（Ｓ８０００：ＮＯ）、ステップＳ１０００へ戻る。また、ステレオ画像撮影部１１０は、処理の終了を指示された場合（Ｓ８０００：ＹＥＳ）、一連の処理を終了する。

このような動作により、画像領域抽出装置１００は、指定領域と画像の各部分との間における、画素値変化パターンおよび距離変化パターンの類似度に基づいて、対象領域の抽出を行うことができる。

以上で、画像領域抽出装置１００の動作についての説明を終える。

以上のように、本実施の形態に係る画像領域抽出装置１００は、指定領域と画像の各部分との間における、画素値変化パターンおよび距離変化パターンの類似度に基づいて、対象領域の抽出を行うことができる。これにより、画像領域抽出装置１００は、従来技術に比べて、指定領域に基づいて対象領域を精度良く抽出することができる。

（実施の形態３）
本発明の実施の形態３は、画素値成分の類似度および距離成分の類似度に対して、それぞれの対象領域の特徴に対する寄与度に応じた重み付けを行うようにした例である。

図１２は、本実施の形態に係る画像領域抽出装置の構成の一例を示すブロック図であり、実施の形態２の図２に対応するものである。図２と同一部分には、同一符号を付し、これについての説明を省略する。

図１２において、画像領域抽出装置１００ａは、図２の構成に加えて、分布計算部２３０ａ、画素値・距離重み計算部２４０ａ、および画素値・距離データベース（ＤＢ）２５０ａを更に有する。また、画像領域抽出装置１００ａは、図２のスコア計算部２００および領域分割部２１０に代えて、スコア計算部２００ａおよび領域分割部２１０ａを有する。

なお、本実施の形態において、距離情報計算部１４０は、デプス情報および左目画像を、分布計算部２３０ａへも出力する。また、ユーザ指示入力部１３０は、指定領域情報を、分布計算部２３０ａへも出力する。

分布計算部２３０ａは、指定領域における、画素値成分の分布および距離成分の分布を取得する。本実施の形態において、画素値成分の分布は、画素値成分のガウス分布の分散を含む。また、距離成分の分布は、距離成分のガウス分布の分散を含むものとする。そして、分布計算部２３０ａは、取得した画素値成分の分布および距離成分の分布を、画素値・距離重み計算部２４０ａへ出力する。

なお、分布計算部２３０ａは、図１２に示すように、画素値成分の分布を算出する画素値分布計算部２３１ａと、距離成分の分布を算出する距離分布計算部２３２ａを有してもよい。

画素値・距離重み計算部２４０ａは、入力された画素値成分の分布から、指定領域の画素値成分の特徴の、対象領域の特徴に対する寄与度を、画素値情報係数（第１の重み）αとして決定する。また、画素値・距離重み計算部２４０ａは、入力された距離成分の分布から、指定領域の距離成分の特徴の対象領域の特徴に対する寄与度を、距離情報係数（第２の重み）βとして決定する。より具体的には、画素値・距離重み計算部２４０ａは、画素値成分の分散が高いほど、画素値情報係数αをより低く決定し、距離成分の分散が高いほど、距離情報係数βをより低く決定する。これは、分散が高い成分ほど、情報の均一性が高く、対象領域の特徴に対する寄与度が低いと考えられるからである。そして、画素値・距離重み計算部２４０ａは、決定した画素値情報係数αおよび距離情報係数βを、画素値・距離データベース２５０ａに記憶させる。

画素値・距離重み計算部２４０ａは、例えば、画素値成分の分散と画素値情報係数α、および、距離成分の分散と距離情報係数βをそれぞれ対応付けた、重み決定テーブルを予め有している。この場合、画素値・距離重み計算部２４０ａは、重み決定テーブルを参照して、指定領域ごとに、画素値情報係数αおよび距離情報係数βを決定する。

図１３は、重み決定テーブルの内容の一例を示す図である。

図１３に示すように、重み決定テーブル３６０は、距離成分の分散３６１と画素値成分の分散３６２との組み合わせごとに、画素値情報係数（α）３６３および距離情報係数（β）３６４を記述している。

画素値・距離データベース２５０ａは、上記画素値情報係数αおよび距離情報係数βを記憶する。

スコア計算部２００ａは、実施の形態２のスコア計算部２００と同様の機能を有する。ただし、スコア計算部２００ａは、画素値成分の類似度（画素値スコア）に画素値情報係数αを掛けた値と、距離成分の類似度（距離スコア）に距離情報係数βを掛けた値とを加算して得られる値に基づいて、スコアを算出する。

領域分割部２１０ａは、実施の形態２の領域分割部２１０と同様の機能を有する。ただし、領域分割部２１０ａは、画素値情報係数αおよび距離情報係数βを適用して得られるスコアに基づいて、対象領域の抽出を行う。

図１４は、本実施の形態における指定領域学習処理（図３のステップＳ５０００）の一例を示すフローチャートであり、実施の形態２の図９に対応するものである。図９と同一部分には、同一ステップ番号を付し、これについての説明を省略する。

ステップＳ５３００ａにおいて、分布計算部２３０ａは、指定領域について、画素値成分の分散および距離成分の分散を算出する。

そして、ステップＳ５４００ａにおいて、画素値・距離重み計算部２４０ａは、画素値成分の分散および距離成分の分散から、画素値情報係数αおよび距離情報係数βを決定し、画素値・距離データベース２５０ａに記憶させる。

図１５は、本実施の形態における対象領域分割処理（図３のステップＳ６０００）の一例を示すフローチャートであり、実施の形態２の図１１に対応するものである。図１１と同一部分には同一ステップ番号を付し、これについての説明を省略する。

ステップＳ６５００ａにおいて、領域分割部２１０ａは、画素値情報係数αおよび距離情報係数βを適用して得られるスコアに基づいて、対象領域の抽出を行う。より具体的には、領域分割部２１０ａは、例えば、以下の式（１４）を用いて、式（１１）に示したエネルギー計算式の１つ目の項のｇ（Ｘ_{ｃｏｌｏｒ}，Ｘ_ｄｉｓｔ）を計算する。

そして、領域分割部２１０ａは、実施の形態２と同様に、式（１１）で表されるエネルギーＥ（ｐ）が最小となるような、左目画像の二分割線を求める。エネルギーＥ（ｐ）は、上述の通り、対象領域であることの尤もらしさを示す指標値としてのスコアである。

このように、本実施の形態に係る画像領域抽出装置１００ａは、画素値成分の類似度および距離成分の類似度に対して、それぞれの対象領域の特徴に対する寄与度に応じた重み付けを行ってスコアを算出し、対象領域の抽出を行う。すなわち、画像領域抽出装置１００ａは、指定領域における画素値成分および距離成分の分布のばらつきに応じて、画素値成分の類似度および距離成分の類似度に対する重み付けを動的に変更させることができる。

類似度に対する重み付けは、例えば、指定領域内の距離成分の分散および画素値成分の分散の両方が小さい場合、色分布の分散が小さい場合、いずれの成分も対象領域の特徴に対する寄与度は高く、いずれかに偏重させる必要性は低い。

一方、例えば、画素値成分の分散が大きい場合、画素値成分については、対象領域の特徴に対する寄与度は低く、指定領域との間の類似度が大きくばらつく可能性が高くなる。このような場合は、安定した類似度が得られる距離成分の類似度に対する重みを大きくすることにより、画素値成分の変動による影響を抑えることができ、領域抽出の安定性を向上させることができる。逆に、距離成分の分散が大きい場合は、同様に、画素成分の類似度に対する重みを大きくすることにより、距離成分の変動による影響を抑えることができ、領域抽出の安定性を向上させることができる。

したがって、本実施の形態に係る画像領域抽出装置１００ａでは、領域分割の安定性・精度の向上が期待できる。

なお、指定画像における距離成分の分散および画素値成分の分散が一定であるような場合、画素値情報係数αおよび距離情報係数βは、固定値であってもよい。また、画素値情報係数αおよび距離情報係数βは、ユーザ指定など、別の手段により決定されてもよい。

また、本実施の形態では、画素値成分の類似度および距離成分の類似度に対して重み付けを行う例について説明した。なお、画像領域抽出装置１００ａは、同様に、画素値空間パターンの類似度および距離空間パターンの類似度に対して、重み付けを行ってもよい。この重み付けは、画素値成分の類似度および距離成分の類似度に対する重み付けと独立して行われてもよいし、画素値成分の類似度および距離成分の類似度に対する重み付けと対応する値で行われてもよい。

なお、以上説明した実施の形態２および実施の形態３では、ステレオ画像からステレオ法により各部分の距離成分を取得する例について説明したが、距離成分の取得手法は、これに限定されない。例えば、画像領域抽出装置は、無線信号による測距を行うことにより、距離成分を取得してもよい。

また、画像領域抽出装置は、類似度の算出を、画素ごとに行ってもよいし、複数の画素から成る小領域ごとに行ってもよい。

本発明は、指定領域に基づいて対象領域を精度良く抽出することができる、画像領域抽出装置、画像領域抽出方法、および画像領域抽出プログラムとして有用である。例えば、本発明は、デジタルスチルカメラ、デジタルビデオカメラ、スマートフォン、タブレット型情報処理端末など、画像処理を行う各種の装置に適用することができる。

１００、１００ａ 画像領域抽出装置
１１０ ステレオ画像撮影部
１２０ 画像表示部
１３０ ユーザ指示入力部
１４０ 距離情報計算部
１５０ 画素値・距離学習部
１６０ 画素値・距離データベース
１７０ 空間変化計算部
１８０ 空間変化学習部
１９０ 空間変化データベース
２００、２００ａ スコア計算部
２１０、２１０ａ 領域分割部
２２０ 結果出力部
２３０ａ 分布計算部
２４０ａ 画素値・距離重み計算部
２５０ａ 画素値・距離データベース

Claims (11)

1. 指定領域に基づいて画像から対象領域を抽出する画像領域抽出装置であって、
   前記画像の各部分の、画素値成分の空間変化の特徴である画素値変化パターン、および、基準位置から被写体までの距離成分の空間変化の特徴である距離変化パターン、を取得する空間変化学習部と、
   前記指定領域と、前記画像の各部分との間における、前記画素値変化パターンおよび前記距離変化パターンの類似度、に基づいて、前記対象領域の抽出を行う領域分割部と、を有する、
   画像領域抽出装置。
2. 前記領域分割部は、
   前記指定領域と前記画像の各部分との間における、前記画素値成分および前記距離成分の類似度、に基づいて、前記対象領域の抽出を行う、
   請求項１記載の画像領域抽出装置。
3. 前記画像から、前記画像の各部分の、前記画素値成分および前記距離成分を取得する距離情報計算部と、
   前記画素値成分および前記距離成分の類似度を算出する画素値・距離学習部と、
   前記画素値成分の空間変化および前記距離成分の空間変化を算出する空間変化計算部と、を更に有し、
   前記空間変化学習部は、
   前記画素値変化パターンおよび前記距離変化パターンの類似度を算出する、
   請求項２記載の画像領域抽出装置。
4. 前記画像の部分ごとに、前記画素値変化パターンおよび前記距離変化パターンの類似度と、前記画素値成分および前記距離成分の類似度と、に基づいて、前記対象領域であることの尤もらしさを示すスコアを算出するスコア計算部、を更に有し、
   前記領域分割部は、
   前記スコアに基づいて、前記対象領域の抽出を行う、
   請求項３記載の画像領域抽出装置。
5. 前記画素値・距離学習部は、
   前記指定領域と前記画像の各部分との間における、前記画素値成分の類似度および前記距離成分の類似度を算出し、
   前記スコア計算部は、
   前記画素値成分の類似度に第１の重みを掛けた値と、前記距離成分の類似度に第２の重みを掛けた値と、を加算して得られる値に基づいて、前記スコアを算出する、
   請求項４記載の画像領域抽出装置。
6. 前記指定領域における、前記画素値成分の分布および前記距離成分の分布を取得する分布計算部と、
   前記画素値成分の分布から、前記指定領域の画素値成分の特徴の前記対象領域の特徴に対する寄与度を、前記第１の重みとして決定し、前記距離成分の分布から、前記指定領域の距離成分の特徴の前記対象領域の特徴に対する寄与度を、前記第２の重みとして決定する画素値・距離重み計算部と、を更に有する、
   請求項５記載の画像領域抽出装置。
7. 前記画素値成分の分布は、画素値成分の分散を含み、前記距離成分の分布は、距離成分の分散を含み、
   前記画素値・距離重み計算部は、
   前記画素値成分の分散が高いほど、前記第１の重みをより低く決定し、前記距離成分の分散が高いほど、前記第２の重みをより低く決定する、
   請求項６記載の画像領域抽出装置。
8. 前記画素値・距離学習部は、
   前記指定領域における前記画素値成分の平均および標準偏差を用いて、前記画素値成分の類似度を算出し、前記指定領域における前記距離成分の平均および標準偏差を用いて、前記距離成分の類似度を算出し、
   前記空間変化学習部は、
   前記指定領域における前記画素値変化パターンの平均および標準偏差を用いて、前記画素値変化パターンの類似度を算出し、前記指定領域における前記距離変化パターンの平均および標準偏差を用いて、前記距離変化パターンの類似度を算出する、
   請求項７記載の画像領域抽出装置。
9. 前記画像を含むステレオ画像を入力するステレオ画像撮影部と、
   前記ステレオ画像から、前記画像の各位置について前記距離成分を算出する距離情報計算部と、
   前記画像を画面に表示する画像表示部と、
   ユーザから前記指定領域の入力を受け付けるユーザ指示入力部と、
   前記対象領域の抽出の結果を示す情報を出力する結果出力部と、を有する、
   請求項８記載の画像領域抽出装置。
10. 指定領域に基づいて画像から対象領域を抽出する画像領域抽出方法であって、
    前記画像の各部分の、画素値成分の空間変化の特徴である画素値変化パターン、および、基準位置から被写体までの距離成分の空間変化の特徴である距離変化パターン、を取得するステップと、
    前記指定領域と、前記画像の各部分との間における、前記画素値変化パターンおよび前記距離変化パターンの類似度、に基づいて、前記対象領域の抽出を行うステップと、を有する、
    画像領域抽出方法。
11. 指定領域に基づいて画像から対象領域を抽出する画像領域抽出プログラムであって、
    コンピュータに、
    前記画像の各部分の、画素値成分の空間変化の特徴である画素値変化パターン、および、基準位置から被写体までの距離成分の空間変化の特徴である距離変化パターン、を取得する処理と、
    前記指定領域と、前記画像の各部分との間における、前記画素値変化パターンおよび前記距離変化パターンの類似度、に基づいて、前記対象領域の抽出を行う処理と、を実行させる、
    画像領域抽出プログラム。

Images