JP6232982B2

JP6232982B2 - 画像処理装置、画像処理方法およびプログラム

Info

Publication number: JP6232982B2
Application number: JP2013249605A
Authority: JP
Inventors: 翔阮; 湖川盧; 立和張; 小暉李
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2013-12-02
Filing date: 2013-12-02
Publication date: 2017-11-22
Anticipated expiration: 2033-12-02
Also published as: KR101603019B1; KR20150063924A; US9367762B2; CN104680512A; EP2879080A2; EP2879080A3; US20150154471A1; EP2879080B1; JP2015106382A

Description

本発明は、画像における顕著性マップを生成する技術に関する。

従来、画像処理の分野では、画像において人間が注目すると予想される画像領域、あるいは注目すべき画像領域（これらを顕著領域という）を、その画像から検出（抽出）する技術が知られている。また、このような顕著領域検出の技術を用いて、画像における各画素の顕著度（saliency measure）を算出することにより、その画像の各画素の顕著度を示す顕著性マップを作成することも行われる。

こうした顕著領域検出の技術は、例えば、画像から主要被写体を検出するために使用されている。

さて、上記顕著領域検出のためのアルゴリズムとして、学習ベースのアルゴリズムが存在している。例えば、特許文献１には、学習対象となる複数の画像データに基づいて特徴の種類を事前に学習して決定しておき、決定された特徴の種類と顕著度の算出対象となる対象画像データとに基づいて、当該対象画像データにおける各部の特徴を抽出することが記載されている。この技術によれば、学習効果を人の経験や記憶の度合いと擬制することにより、より人の感覚に近似した顕著度の判断が可能となる。

ところが、上記学習ベースのアルゴリズムでは、対象画像データに対する事前知識として、学習対象となる複数の画像データを予め用意しておく必要がある。そのため、このような事前知識を持っていない場合には顕著度を評価することができない。

一方、特許文献２には、事前知識を必要とせず、映像を構成する各フレーム間の情報を用いて顕著領域を検出する技術が記載されている。

特開２００１−２３６５０８号公報特開２０１０−２５８９１４号公報

しかしながら、特許文献２の技術は、事前知識を必要としないが、複数のフレームから構成される動画像のみを対象としており、静止画像に対する顕著度の評価に適用することができない。

本発明は、上記課題を解決するためになされたものであり、学習に基づく事前知識を必要とせずに、１枚の静止画像についても顕著度を精度良く評価できる画像処理技術を提供することを目的とする。

上記目的を達成するために、画像の周縁部には背景領域（顕著領域ではない領域）が存在する、あるいは、画像の周縁部には顕著領域が存在しないことが多いという仮定に基づいて顕著度を算出する。

具体的には、本発明に係る画像処理装置は、画像を取得する画像取得部と、前記画像における１つまたは複数の画素からなる領域を単位構成として、第１のアルゴリズムに基づいて前記領域と前記画像の周縁部の領域との類似度を表す第１の類似度マップを算出し、第２のアルゴリズムに基づいて前記領域と前記画像の周縁部の領域との類似度を表す第２の類似度マップを算出する類似度マップ生成部と、前記第１の類似度マップおよび前記第２の類似度マップを統合して顕著性マップを生成する顕著性マップ生成部と、を備える。

画像の周縁部の領域とは、画像の端部（上下左右端）を含む領域である。このような周縁部領域と類似度の高い領域は、背景である可能性が高く、顕著度合いが低いと判断できる。逆に、上記類似度が低い領域は、前景である可能性が高く、顕著度合いが高いと判断できる。ここで、異なるアルゴリズムによって少なくとも２つの類似度マップを生成しそれらを統合することで、１つの類似度マップに基づいて生成する場合よりも精度の良い顕著性マップを生成することができる。

本発明において、前記類似度マップ生成部は、対象の領域を前記周縁部の領域に基づいて再構成し、再構成誤差が小さいほど類似度が大きいものとして前記第１および第２の類似度マップを生成することができる。周縁部領域に基づいて対象の領域を表現したときに、元の領域を精度良く復元できる場合には、対象の領域は周縁部領域と類似度が高いといえるからである。

本発明において、第１のアルゴリズムと第２のアルゴリズムは、その特徴が異なるものであることが好ましい。例えば、顕著領域以外も類似度が低い（顕著度が高い）と判断する可能性があっても、顕著領域を確実に類似度が低いと判断するアルゴリズムと、顕著領域の類似度を高い（顕著度が低い）と判断する可能性があっても、顕著領域以外は確実に類似度が高いと判断するアルゴリズムを採用することが好ましい。

例えば、第１のアルゴリズムとして主成分分析（ＰＣＡ）を用いた再構成に基づく方法が挙げられる。具体的には、前記周縁部の領域の特徴量に対して主成分分析を施して複数の固有ベクトルを算出し、対象の領域の特徴量を前記複数の固有ベクトルの線形結合によって再構成し、再構成誤差が小さいほど類似度を大きく算出するアルゴリズムを第１のアルゴリズムとして採用できる。

また、第２のアルゴリズムとしてスパースコーディング（sparse coding）を用いた再
構成に基づく方法が挙げられる。具体的には、対象の領域の特徴量を、できるだけ少ない周縁部の領域の特徴量の組合せで近似するように、コスト関数が最小となる係数を用いて前記周縁部の領域の特徴量の線形結合によって再構成し、再構成誤差が小さいほど類似度を大きく算出するアルゴリズムを第２のアルゴリズムとして採用できる。

本発明において、入力画像に対して前処理としてスーパーピクセル化処理を施すことも好ましい。すなわち、本発明の画像処理装置は、前記画像取得部が取得した画像から、画素の特徴量に基づいて連結された複数の画素からなる領域に分割してスーパーピクセル画像を生成するスーパーピクセル画像生成部を更に有するようにすることができる。この場合、類似度マップ生成部は、前記スーパーピクセル画像生成部によって生成されたスーパーピクセル画像に基づいて、スーパーピクセル単位で前記第１および第２の類似度マップを生成すればよい。

このように特徴量が類似する隣接する領域を一つの画素（スーパーピクセル）として扱うことで、データ量の削減による高速化および省メモリ化の効果と、ノイズの影響を抑制できるという効果が得られる。

スーパーピクセル化の処理においては、スーパーピクセルのサイズ、すなわち、画像をいくつのスーパーピクセルに分割するかを調整するパラメータがある。本発明において、スーパーピクセル数が異なる複数のスーパーピクセル画像を生成して、複数のスーパーピクセル画像から類似度マップを生成してもよい。類似度マップの生成では、複数のスーパーピクセル画像のそれぞれから第１のアルゴリズムに基づいて類似度マップを生成し、これら複数の類似度マップを統合して前記第１の類似度マップを生成すればよい。同様に、複数のスーパーピクセル画像のそれぞれから第２のアルゴリズムに基づいて類似度マップを生成し、これら複数の類似度マップを統合して前記第２の類似度マップを生成すればよい。

このように、複数のスーパーピクセル画像のそれぞれから類似度マップを生成し、それらを統合することで、ノイズの影響を抑制でき、より精度の良い類似度マップを生成することが可能となる。

本発明において、複数のスーパーピクセル画像のそれぞれから得られる類似度マップに対して、平滑化処理を施すことも好ましい。この際、平滑化処理として、類似度マップ算出の元になったスーパーピクセル画像をクラスタリング（グルーピング）して、各クラスタ内で再構成誤差を拡散する処理を採用することも好ましい。入力画像の周縁部に顕著物体が存在する場合は、周縁部との類似度が高くても背景であるとは限らない。上述のようなクラスタ内での平滑化処理を施すことで、クラスタ内の他の領域における類似度を取り込むことができるので、顕著物体が周縁部に存在する場合であっても顕著領域を精度よく検出できる。

本発明において、複数のスーパーピクセル画像から生成された類似度マップから第１および第２の類似度マップを生成する場合は、入力画像中の画素における特徴量と、当該画素に対応するスーパーピクセルの特徴量との類似度に基づいた重み付け平均を施すことが好ましい。すなわち、前記類似度マップ生成部は、前記複数のスーパーピクセル画像から前記第１および第２のアルゴリズムに基づいて生成された複数の類似度マップを重み付け平均して前記第１および第２の類似度マップを生成するものであり、前記重み付け平均における重みは、前記画像取得部が取得した画像における画素の特徴量と当該画素が属するスーパーピクセルの特徴量とが近いほど大きい重みとする、ことが好ましい。

このような手法により、スーパーピクセル単位で求められた類似度マップから、画素単位での類似度マップを精度良く求めることができる。

本発明において、前記類似度マップ生成部は、算出された類似度に対して、前記画像において検出された物体の位置を中心とする重み付けをして前記第１および第２の類似度マップを生成する、ことも好ましい。なお、物体位置は、類似度マップにおける類似度の小さい領域として求めることができる。

このように、画像の中心に対して大きい重みをつけるのではなく、物体の中心ほど大きい重みをつけることで、物体の中心を反映させた類似度マップの改善が行える。

本発明において、前記顕著性マップ生成部は、前記第１の類似度マップを事前確率として用い、前記第１の類似度マップと前記第２の類似度マップとから尤度を算出し、当該事前確率と尤度から顕著領域の事後確率を表す第１の顕著性マップを算出し、前記第２の類似度マップを事前確率として用い、前記第２の類似度マップと前記第１の類似度マップとから尤度を算出し、当該事前確率と尤度から顕著領域の事後確率を表す第２の顕著性マップを算出し、前記第１の顕著性マップと前記第２の顕著性マップを統合して、最終的な顕著性マップを生成する、ことが好ましい。

このように、第１の類似度マップと第２の類似度マップを互いに事前確率としてそれぞれ顕著度（前景の確率）の事後確率を求めることで、それぞれの類似度マップから多様な情報を統合した顕著性マップが得られる。また、本手法によれば、顕著物体内での顕著度をより一様にすることができる。

なお、本発明は、上記構成の少なくとも一部を有する画像処理装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む画像処理装置の制御方法や顕著性マップ生成方法、または、かかる方法をコンピュータに実行させるためのプログラムやそのプログラムを非一時的に記憶したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、学習に基づく事前知識を必要とせずに、１枚の静止画についても顕著度を精度良く評価できる。

実施形態にかかる画像処理装置の機能ブロックを示す図。実施形態にかかる画像処理方法（顕著性マップ生成方法）の流れを示すフローチャート。スーパーピクセル画像の例を示す図。復元誤差マップの例を示す図。復元誤差マップの平滑化処理におけるクラスタリングを説明する図。復元誤差マップの平滑化処理の例を示す図。複数の復元誤差マップを統合する統合処理の例を示す図。物体位置を考慮した復元誤差マップの補正処理の例を示す図。ベイズ推定に基づく２つの復元誤差マップの融合処理を説明する図。本手法により生成された顕著性マップと従来技術によって生成された顕著性マップの比較を示す図。

画像において顕著度が相対的に高い領域である顕著領域を検出するアルゴリズムは様々な仮説を基に構築されている。例えば、従来のアルゴリズムでは、顕著領域を含む局所領域の中で顕著領域のコントラストが高いという仮説や、画像の中心部に近いほど顕著度が高いという仮説に基づいて構築されている。しかしながら、前者の仮説に基づくアルゴリズムでは、局所領域を特定することが難しいという問題がある。また、後者の仮説は、全ての画像について当てはまるものではない。そこで、本発明者らは、画像における背景領域が画像の端部（周縁部）に存在しているという、従来用いられなかった新たな仮説に着目し、本発明を行うに至った。

（構成）
本発明の一実施形態にかかる画像処理装置１の構成について説明する。図１は、画像処理装置１の構成を示す機能ブロック図である。図１に示す画像処理装置１は、入力画像を取得し、取得した入力画像の各画素における顕著度を示す顕著性マップを出力する。なお、本実施形態において入力画像は静止画像であるとして説明するが、動画像を入力として顕著性マップを出力してもよい。

図１に示すように、画像処理装置１は、画像取得部１１、制御部１２、出力部１３および記憶部１４を備える。

画像取得部１１は、外部からの入力画像を取得するものである。画像取得部１１は、例示的には、ユーザの入力操作に応じて、画像処理装置１に接続されるデジタルカメラあるいはデジタルビデオカメラ等の撮像装置から、リアルタイムで（同期を取って）あるいは非同期で、入力画像を取得する。

ただし、入力画像の取得方法は上記に限定されず、例えば、画像取得部１１は、記憶部１４に格納されている画像データを入力画像として取得してもよいし、画像処理装置１に接続される周辺機器から入力画像を取得してもよいし、有線あるいは無線の通信ネットワークを介して入力画像を取得してもよい。

制御部１２は、画像処理装置１における各種機能を統括的に制御するものである。制御部１２の制御機能は、制御プログラムをＣＰＵ（Central Processing Unit）などの処理
装置が実行することによって実現される。あるいは、制御機能は、ＡＳＩＣ（Application Specific Integrated Circuit）などによって実現されてもよい。また、これらの組合
せによって実現されてもよい。制御部１２は、その制御機能の一部として、画像取得部１１から入力される入力画像に対する各種処理を実行するための機能および構成を備えている。制御部１２の詳細な機能および構成については後述する。

出力部１３は、制御部１２による入力画像の処理結果を外部に対して出力するものである。例えば、出力部１３は、各種の画像アプリケーションに上記処理結果を出力してもよい。本実施形態の出力部１３は、画像取得部１１が取得した入力画像に対して制御部１２により生成された顕著性マップを出力する。

記憶部１４は、各種データおよびコンピュータプログラムを記憶するものである。記憶部１４は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、および不揮発性メモリ（例えばフラッシュメモリ）等の記憶装置を組み合わせることにより実現できる。

記憶部１４には、例えば、制御部１２において実行されるコンピュータプログラムや、当該プログラムにおいて処理される各種データ等が格納される。

（制御部）
次に、制御部１２の各部について説明する。図１に示すように、制御部１２は、ＳＰ画像生成部１２１、復元誤差マップ生成部１２２、顕著性マップ生成部１２３を備える。各機能部の構成を、制御部１２による画像処理（顕著性マップ生成処理）の流れを示す図２のフローチャートおよびその他の図面とともに説明する。

＜ＳＰ画像＞
まず、制御部１２は、画像取得部１１に入力された入力画像を取得する（Ｓ１）。入力画像は、ＳＰ画像生成部１２１に渡される。ＳＰ画像生成部１２１は、画像取得部１１から取得される入力画像を元画像として、画素を単位構成とする元画像から、スーパーピクセル（ＳＰ）を単位構成とするスーパーピクセル画像（ＳＰ画像）を生成する。ここで、スーパーピクセルとは、画像において、色または輝度などの各種のパラメータの値が互いに類似している隣接した複数の画素からなる小領域である。すなわち、スーパーピクセル画像は、入力画像の画素の特徴量に基づいて連結された複数の領域に分割された画像といえる。スーパーピクセルを単位構成とする画像を、元画像と区別するために、スーパーピクセル画像と呼ぶ。

元画像の代わりにスーパーピクセル画像を用いた画像処理を行うことによって、処理の
データ量を大幅に削減できるので処理の高速化および省メモリ化が実現できるとともに、上記の各種パラメータ（輝度、色など）のノイズを抑制することもできる。

スーパーピクセル画像の生成アルゴリズムとして、複数の生成アルゴリズムが知られている。例えば、http://www2.cs.sfu.ca/~mori/research/superpixels/ に記載されている公知の方法を用いればよい。

いずれのスーパーピクセル画像生成アルゴリズムにおいても、生成するスーパーピクセル数を制御するパラメータが存在する。このパラメータを調整することにより、一つの入力画像からスーパーピクセル数が異なる複数のスーパーピクセル画像を生成することができる。なお以下では、このようにスーパーピクセル数が異なる複数のスーパーピクセル画像のことを、解像度が異なる複数のスーパーピクセル画像などと表現する。

図３に示すように、ＳＰ画像生成部１２１は、１つの入力画像３１（図３（ａ））から、解像度の異なる複数のスーパーピクセル画像３２−１，・・・、３２−Ｎｓ（図３（ｂ））を生成する。生成するスーパーピクセル画像の数Ｎｓは任意であってよく、例えば、数個〜数十個程度とすることができる。

以下では、スーパーピクセルを単位構成として画像処理を実施するが、スーパーピクセルにおける特徴量として、ＬａｂおよびＲＧＢの色空間における平均色特徴と、画素座標とを用いる。すなわち、各スーパーピクセルの特徴量は、以下に示すものである。

このようにＬａｂ色特徴とＲＧＢ色特徴の両方を用いることによって、顕著性マップをより精度よく算出することが可能となる。

スーパーピクセル画像全体は、以下のように表すことができる。

ここでx_iは各スーパーピクセルにおける特徴量を表し、Nはスーパーピクセルの数、Dは特徴量の次元数である。

＜周縁部領域＞
それぞれの解像度のスーパーピクセル画像のうち、画像の端部（上端、下端、左端、右端）を含むスーパーピクセルを、周縁部のスーパーピクセル（周縁部領域）と称する。また、周縁部のスーパーピクセルからなる画像を、周縁部画像と称する。周縁部画像の例は図３（ｃ）に示されている。

＜復元誤差マップ生成部＞
復元誤差マップ生成部１２２は、周縁部領域をテンプレートセットとして用いて、その他の領域を復元（再構成）し、復元誤差を表す復元誤差マップを生成する。周縁部は多くの画像において背景であるので、上記の復元において、背景領域では復元誤差が小さく、前景領域では復元誤差が大きくなると考えられる。すなわち、復元誤差は対象画素が周縁部領域とどの程度類似しているかを表す尺度ともいえ、復元誤差マップは周縁部領域との類似度を表す類似度マップと捉えることもできる。

図１に示すように、復元誤差マップ生成部１２２は、Ｄｅｎｓｅ復元誤差マップ生成部１２２ａ、Ｓｐａｒｓｅ復元誤差マップ生成部１２２ｂ、平滑化処理部１２２ｃ、統合処
理部１２２ｄを備える。

Ｄｅｎｓｅ復元誤差マップ生成部１２２ａとＳｐａｒｓｅ復元誤差マップ生成部１２２ｂにより、異なるアルゴリズムを用いて復元誤差マップをそれぞれ生成する（図２のステップＳ３ａ〜Ｓ４ａおよびＳ３ｂ〜Ｓ４ｂ）。これらの復元誤差マップは、解像度の異なるスーパーピクセル画像のそれぞれに対して生成される。平滑化処理部１２２ｃは、それぞれの復元誤差マップに対して平滑化処理を施す（Ｓ５ａおよびＳ５ｂ）。統合処理部１２２ｄは、解像度の異なるスーパーピクセル画像から生成された複数のＤｅｎｓｅ復元誤差マップ（複数階層のＤｅｎｓｅ復元誤差マップとも称する）を統合して画素単位での１つのＤｅｎｓｅ復元誤差マップを生成する（Ｓ６ａ）とともに、解像度の異なるスーパーピクセル画像から生成された複数のＳｐａｒｓｅ復元誤差マップ（複数階層のＳｐａｒｓｅ復元誤差マップとも称する）を統合して画素単位での１つのＳｐａｒｓｅ復元誤差マップを生成する（Ｓ６ｂ）。

以下、復元誤差マップ生成部１２２内の各サブ機能部について詳しく説明する。

≪Ｄｅｎｓｅ復元誤差マップ生成部１２２ａ≫
Ｄｅｎｓｅ復元誤差マップ生成部１２２ａは、主成分分析（ＰＣＡ）を使って周縁部領域から対象領域を再構成した場合の誤差（復元誤差とも再構成誤差とも称する）を計算する。なお、以下では、Ｄｅｎｓｅ復元誤差マップ生成部１２２ａによって行われるＰＣＡを用いた復元（再構成）のことを、Ｄｅｎｓｅ復元と称する。

ステップＳ３ａに示すように、スーパーピクセル画像内の各スーパーピクセルについて、周縁部のスーパーピクセルを用いたＤｅｎｓｅ復元を行う。以下、Ｄｅｎｓｅ復元の詳細について説明する。

まず、周縁部スーパーピクセル（Ｍ個とする）の特徴量b₁, b₂, ..., b_Mからなる背景
テンプレートに対して主成分分析を行って、Ｄ’個の固有ベクトル（主成分ベクトル）u₁, u₂, ..., u_D'からなる正規化共分散行列U_Bを算出する。

ここで、Ｄ’の値は１≦Ｄ’＜Ｍであれば任意であってよく、予め定められていてもよいし寄与率（第Ｄ’主成分までの分散の和が分散の総和に占める割合）に基づいて定めてもよい。

このＰＣＡ基底Ｕ_Ｂを用いて、各スーパーピクセルの復元係数β_iを次のように算出す
る。この復元係数β_iによって各スーパーピクセルを周縁部スーパーピクセルによって復
元することができる。

ここで、エックスバー（ｘの上部にバーを付した記号）は、スーパーピクセル画像全体の特徴量Ｘの平均特徴量である。

なお、Ｄｅｎｓｅ復元は、主成分分析を施して得られる複数の固有ベクトル（主成分ベクトル）を用いて、対象の領域の特徴量をこれら固有ベクトルの線形結合によって再構成する手法ということができる。上記のβ_ｉは固有ベクトルを線形結合する際の係数である。

次に、ステップＳ４ａにおいて、上記にＤｅｎｓｅ復元による復元誤差（再構成誤差）ε_i ^dを次のように算出する。

このようにして、１つのスーパーピクセル画像についてのＤｅｎｓｅ復元誤差マップが生成できる。

Ｄｅｎｓｅ復元誤差マップ生成部１２２ａによって得られるＤｅｎｓｅ復元誤差マップの一例を図４に示す。図４（ａ）は２種類の入力画像を示し、図４（ｂ）は図４（ａ）のそれぞれの入力画像から得られるＤｅｎｓｅ復元誤差マップである。図中、白く表された領域ほど復元誤差が大きい、すなわち、周縁部との類似度が小さいことを表す。

Ｄｅｎｓｅ復元は、周縁部領域の主成分に基づく再構成を行っているので、周縁部と異なる領域については復元誤差が大きくなる。したがって、前景部分では復元誤差が大きくなる。一方、Ｄｅｎｓｅ復元はノイズに弱く、背景部分であっても復元誤差が大きく算出される場合がある。

≪Ｓｐａｒｓｅ復元誤差マップ生成部１２２ｂ≫
Ｓｐａｒｓｅ復元誤差マップ生成部１２２ｂは、スパースコーディングを使って周縁部領域から対象領域を再構成した場合の誤差を計算する。なお、以下では、Ｓｐａｒｓｅ復元誤差マップ生成部１２２ｂによって行われるスパースコーディングを用いた復元（再構成）のことを、Ｓｐａｒｓｅ復元と称する。

ステップＳ３ｂに示すように、スーパーピクセル内の各スーパーピクセルについて、周縁部のスーパーピクセルを用いたＳｐａｒｓｅ復元を行う。以下、Ｓｐａｒｓｅ復元の詳細について説明する。

まず、周縁部スーパーピクセルのＭ個の特徴量からなる背景テンプレートB = [b₁, b₂,
..., b_M]を用いて、各スーパーピクセルを次式のように符号化する。

すなわち、上記のコスト関数が最小となるように復元係数α_iを決定する。対象領域は
、復元係数α_ｉを用いた周縁部の特徴量ベクトルの線形結合によって近似することができる。なお、スパースコーディングは、係数（ベクトル）α_ｉの要素のうちできるだけ多くの要素が０となるように係数α_iを決定するものである。すなわち、背景テンプレートＢ
を構成する特徴量ベクトルのうち、できるだけ少ない数の特徴量ベクトルの線形結合によって、対象領域の特徴量ベクトルを再構成するものである。

次に、ステップＳ４ｂにおいて、上記のＳｐａｒｓｅ復元による復元誤差（再構成誤差）ε_i ^sを次のように算出する。

このようにして、１つのスーパーピクセル画像についてのＳｐａｒｓｅ復元誤差マップが生成できる。

Ｓｐａｒｓｅ復元誤差マップ生成部１２２ｂによって得られるＳｐａｒｓｅ復元誤差マップの一例を図４に示す。図４（ａ）は２種類の入力画像を示し、図４（ｃ）は図４（ａ）のそれぞれの入力画像から得られるＳｐａｒｓｅ復元誤差マップである。図中、白く表された領域ほど復元誤差が大きい、すなわち、周縁部との類似度が小さいことを表す。

Ｓｐａｒｓｅ復元では周縁部領域の特徴量ベクトルが全て基底として用いられるため、周縁部と類似するような領域では復元誤差が小さくなり、背景領域を確実に検出できる。一方、顕著物体が周縁部にも存在する図４の右側の例では、顕著物体の一部（胴および腕）において復元誤差が小さく算出されてしまう。

Ｓｐａｒｓｅ復元誤差は複雑な背景に対してロバストであり、Ｄｅｎｓｅ復元誤差は画像周縁部に顕著物体が存在する場合により精度が高い。したがって、Ｄｅｎｓｅ復元誤差とＳｐａｒｓｅ復元誤差は、顕著度の算出において相補的であると考えられる。

≪平滑化処理部１２２ｃ≫
平滑化処理部１２２ｃは、１つのスーパーピクセル画像から生成された復元誤差マップ（Ｄｅｎｓｅ復元誤差マップおよびＳｐａｒｓｅ復元誤差マップ）のそれぞれについて、局所領域の特徴を考慮した平滑化処理を施す（図２のステップＳ５ａおよびＳ５ｂ）。なお、平滑化処理の対象の復元誤差マップがＤｅｎｓｅ復元誤差マップであるかＳｐａｒｓｅ復元誤差マップであるかによって平滑化処理の内容は変わらないので、両者を区別せずに復元誤差マップと称してまとめて説明する。

平滑化処理部１２２ｃは、まず、復元誤差マップの生成の基になったスーパーピクセル画像に対して、クラスタリング（グルーピング）処理を施す。画像のクラスタリングアルゴリズムは、既存の任意のものを用いればよいが、本実施形態では、Ｋ−ｍｅａｎｓ法によるクラスタリングを採用する。クラスタリングの処理例を図５に示す。図５では、２つのクラスタ５１，５２のみが示されているが、画像全体がクラスタに分割される。

平滑化処理は、各クラスタ内で復元誤差が拡散するように行われる。ここで、誤差拡散においてクラスタ内での画像特徴量を考慮した、すなわち画像のコンテキストを考慮した拡散（平滑化）を行う。より詳細には、以下のような処理が行われる。

まず、各スーパーピクセルについての拡散後の誤差（拡散誤差）を、各スーパーピクセルの復元誤差で初期化する。

なお、左辺が拡散誤差であり、右辺はＤｅｎｓｅ復元誤差またはＳｐａｒｓｅ復元誤差である。なお、ここでは、クラスタ内のスーパーピクセルは、復元誤差が大きいスーパーピクセルから順番に１，２，３、・・・のラベル（添え字ｉ）が割り当てられるものとする。

そして、次のように、拡散誤差を算出する。

なお、Ncはクラスタ内のスーパーピクセル数であり、{k₁, k₂, ..., k_Nc}はクラスタ内のスーパーピクセルのラベルを表す。τは０＜τ＜１を満たす重みパラメータである。σ_ｘ ^２は特徴量Ｘの各次元における分散の和であり、δはデルタ関数である。

数式（９）の右辺第１項は、同一クラスタ内の他のスーパーピクセルの再構成誤差を重み付け平均したものといえる。この際の重みが数式（１０）のw_ikjである。右辺第２項は、対象のスーパーピクセルの再構成誤差の初期値である。したがって、数式（９）は全体として、他のスーパーピクセルの再構成誤差の重み付け平均と、対象のスーパーピクセルの再構成誤差の初期値とを、重みパラメータτを用いて重み付け平均する処理といえる。

上記のようにして拡散誤差を、各クラスタ内で再構成誤差の大きいスーパーピクセルから順に計算する。同様の処理を全クラスタに対して行う。このような平滑化処理により、元画像の特徴（色特徴や輝度特徴）を考慮して、復元誤差の精度を向上させることができる。

図６に平滑化処理の処理結果の例を示した。図６（ａ）は入力元画像であり、図６（ｂ）は平滑化処理前のＤｅｎｓｅ復元誤差マップ、図６（ｃ）は平滑化処理後のＤｅｎｓｅ復元誤差マップ、図６（ｄ）は平滑化処理前のＳｐａｒｓｅ復元誤差マップ、図６（ｅ）は平滑化処理後のＳｐａｒｓｅ復元誤差マップである。顕著物体（人物）の一部（胴）が周縁部に存在するため、平滑化処理前ではＤｅｎｓｅおよびＳｐａｒｓｅのいずれの復元誤差マップにおいても、顕著領域の一部が背景領域として検出されている（復元誤差が小さく算出されている）。これに対し、平滑化処理を行うことで、元画像の色特徴が考慮されることにより、顕著領域がより正しく認識されるようにできるとともに、顕著領域内での復元誤差（顕著度）をより一様にすることができる。

≪統合処理部１２２ｄ≫
統合処理部１２２ｄは、複数のスーパーピクセル画像から生成されたスーパーピクセル単位のＤｅｎｓｅおよびＳｐａｒｓｅ復元誤差マップを統合して、画素単位のＤｅｎｓｅおよびＳｐａｒｓｅ復元誤差マップをそれぞれ１つ生成する（図２のステップＳ６ａおよびＳ６ｂ）。さらに、物体の位置を考慮した重み付けを行うことで復元誤差マップを補正（改善）する。なお、統合処理の対象の復元誤差マップがＤｅｎｓｅ復元誤差マップであるかＳｐａｒｓｅ復元誤差マップであるかによって統合処理の内容は変わらないので、両者を区別せずに復元誤差マップと称してまとめて説明する。またこの項では、統合処理部１２２ｄに入力されるスーパーピクセル単位の復元誤差マップをＳＰ復元誤差マップと称し、単に復元誤差マップと記した場合は統合処理部１２２ｄが生成する画素単位の復元誤差マップを意味するものとする。

・複数階層の復元誤差マップの統合処理
統合処理部１２２ｄは、複数のＳＰ復元誤差マップを重み付け平均して復元誤差マップを生成する。この際、入力元画像における対象画素の特徴量と、スーパーピクセル画像における当該対象画素が属するスーパーピクセルの特徴量とが近いほど、大きい重み付けを行う。具体的には、次のような演算により各画素の復元誤差を算出することによって、複数のＳＰ復元誤差マップの統合を行う。

ここで、ｚは画素位置、ｎ（ｓ）はｓ番目（ｓ階層目）のスーパーピクセル画像における画素ｚを含むスーパーピクセルのラベル、ε_ｎ（ｓ）の上部にチルダを付した記号はスーパーピクセルｎ（ｓ）における復元誤差、ｘ_ｎ（ｓ）はスーパーピクセルｎ（ｓ）における特徴量、ｆ_ｚは入力画像の画素ｚにおける特徴量である。

このように、画素ｚと対応するスーパーピクセルの特徴量の類似度を重み付けパラメータとして用いることで、複数の解像度のスーパーピクセル画像から生成されたＳＰ復元誤差マップを統合して、精度の良い復元誤差マップを生成することができる。図７に統合処理部１２２ｄによる統合処理結果の例を示す。図７（ａ）は元画像であり、図７（ｂ）（ｄ）は複数のＳＰ復元誤差マップを単純平均して得た復元誤差マップ、図７（ｃ）（ｅ）は複数の復元誤差マップから本手法による統合を行って得た復元誤差マップである。図７（ｂ）（ｃ）はＤｅｎｓｅ復元誤差マップであり、図７（ｄ）（ｅ）はＳｐａｒｓｅ復元誤差マップである。いずれの復元誤差マップにおいても、本手法による統合を行うことで、顕著領域をより正確に検出できることが分かる。

・物体位置を考慮した復元誤差マップの補正
上記の統合結果に、物体の位置を考慮した重み付けをして、復元誤差の補正（改善）を行う。従来は、顕著物体が画像中心にあることを仮定して、画像中心ほど大きい重みをつけた補正が行われていた。本手法では、物体の中心ほど大きな重みをつけて補正を行う。

具体的には、統合された復元誤差マップに対して、次のようなガウシアンフィルタを適用する。

すなわち、復元誤差マップにおける重心を顕著物体の位置とみなして、この位置を中心としたガウシアンフィルタを生成する。なお、フィルタ形状を決定するパラメータσ_ｘ、σ_ｙとして例えば画像の幅および高さの１／４を採用することができる。

統合化復元誤差マップＥ（ｚ）に上記のガウシアンフィルタＧ（ｚ）を掛けて、最終的な復元誤差マップＳ（ｚ）＝Ｅ（ｚ）×Ｇ（ｚ）が得られる。図８に本手法による補正の効果を示す。図８（ａ）は入力元画像であり、図８（ｂ）（ｃ）は補正前のＤｅｎｓｅおよびＳｐａｒｓｅ復元誤差マップ、図８（ｄ）（ｅ）はＤｅｎｓｅおよびＳｐａｒｓｅ復
元誤差マップから算出された物体バイアスガウシアンフィルタＧ（ｚ）、図８（ｆ）（ｇ）は補正後のＤｅｎｓｅおよびＳｐａｒｓｅ復元誤差マップである。補正後の復元誤差マップでは、顕著物体の中心をより正確に表現できており、したがって精度の良い顕著性マップの生成に役立つ。

＜顕著性マップ生成部＞
顕著性マップ生成部１２３は、復元誤差マップ生成部１２２が生成したＤｅｎｓｅおよびＳｐａｒｓｅ復元誤差マップを融合して、顕著性マップを生成する。本手法では、ベイズ推定を用いてこれらの復元誤差マップを融合する。ＤｅｎｓｅおよびＳｐａｒｓｅ復元誤差マップは上述のように相補的なものであるため、これらを融合することで精度の良い顕著性マップが得られる。

図９を参照して、２つの復元誤差マップの融合方法についてより詳細に説明する。以下では、Ｄｅｎｓｅ復元誤差マップ（９１）をＳ_１、Ｓｐａｒｓｅ復元誤差マップ（９２）をＳ_２と称する。図に示すように、Ｓ_１とＳ_２のそれぞれを事前確率として用いて２つの顕著性マップ（９５ａ，９５ｂ）を生成し、それらを合成して最終的な顕著性マップ（９７）を得る。以下では、事前確率として用いる復元誤差マップをＳ_ｉ（ｉ＝｛１，２｝）と表し、もう一方の復元誤差マップをＳ_ｊ（ｊ≠ｉ，ｊ＝｛１，２｝）と表す。

まず、Ｓｉについて復元誤差の平均値を閾値として用いて二値化画像（９３ａ，９３ｂ）を得る。この二値化によって、画像全体が前景Ｆｉ（復元誤差が閾値以上）と背景Ｂｉ（復元誤差が閾値未満）に分けられる。前景Ｆｉと背景Ｂｉのそれぞれについて、次式のようにＳｉとＳｊを比較して、Ｓｉの画素ｚが他の復元誤差マップＳｊにおいて前景あるいは背景領域にある画素数を求め、その画素数に基づいて前景尤度および背景尤度を算出する。

ここで、Ｎ_ＦｉおよびＮ_ＢｉはそれぞれＳｉにおける前景および背景の画素数、Ｎ_ｂＦｉ（Ｓ_ｊ（ｚ））およびＮ_ｂＢｉ（Ｓ_ｊ（ｚ））はそれぞれ画素ｚが他方の復元誤差マップＳｊの前景および背景領域にある画素数である。

次に、復元誤差マップＳｉと上述のようにして求められた前景尤度および背景尤度を用いてベイズ公式を用いた融合（９４ａ，９４ｂ）を次式のように行う。

これにより事後確率マップ（９５ａ，９５ｂ）が得られる。

これら２つの事後確率を以下のように統合（９６）して最終的な顕著性マップＳ_Ｂ（Ｓ_１，Ｓ_２）（９７）が得られる。

Ｄｅｎｓｅ復元誤差マップとＳｐａｒｓｅ復元誤差マップをそれぞれ用いることで多様な情報を統合することができる。また、それぞれのマップを事前確率として用いることで、一様に近い顕著性マップを得ることができる。

（実験結果）
本手法および従来技術の手法によって得られる顕著性マップについて説明する。図１０には、入力元画像、従来技術によって得られる顕著性マップ、本手法によって得られる顕著性マップとそれを二値化したもの、および真画像が示されている。

この際、本手法を適用する際には、以下のパラメータを採用している。
ＳＰ画像：スーパーピクセル数５０〜４００の８枚を生成
Ｋ−ｍｅａｎｓクラスタリングのクラスタ数Ｋ：８
平滑化（誤差拡散）処理における重みτ：０．５
ＰＣＡの主成分ベクトル数Ｄ’：寄与率が９５％を満たすように決定
スパースコーディングのコスト関数でのパラメータλ：０．０１

本手法によれば、従来技術と比較して、顕著領域をより精度良く検出できていることが分かる。また、検出結果が一様となっている点も本手法の優れた効果といえる。

なお、図１０中の従来技術の手法は、それぞれ下記に示す文献に記載のアルゴリズムである。
［ＩＴ］L. Itti, C. Koch, and E. Niebur. A model of saliency-based visual attention for rapid scene analysis. PAMI, 20:1254-1259, 1998.
［ＧＢ］J. Harel, C. Koch, and P. Perona. Graph-based visual saliency. In NIPS, 2006.
［ＳＲ］X. Hou and L. Zhang. Saliency detection: A spectral residual approach. In CVPR, 2007.
［ＦＴ］R. Achanta, S. Hemami, F. Estrada, and S. Susstrunk. Frequency-tuned salient region detection. In CVPR, pages 1597-1604, 2009.
［ＣＡ］S. Goferman, L. Zelnik-Manor, and A. Tal. Context-aware saliency detection. In CVPR, pages 2376-2383, 2010.
［ＲＡ］E. Rahtu, J. Kannala, M. Salo, and J. Heikkilae. Segmenting salient objects from images and videos. In ECCV, pages 366-379, 2010.
［ＤＷ］L. Duan, C. Wu, J. Miao, L. Qing, and Y. Fu. Visual saliency detection by spatially weighted dissimilarity. In CVPR, pages 473-480, 2011.
［ＣＢ］H. Jiang, J. Wang, Z. Yuan, T. Liu, N. Zheng, and S. Li. Automatic salient object segmentation based on context and shape prior. In BMVC, 2011.
［ＲＣ］M.-M. Cheng, G.-X. Zhang, N. J. Mitra, X. Huang, and S.-M. Hu. Global contrast based salient region detection. In CVPR, pages 409-416, 2011.
［ＳＶＯ］K.-Y. Chang, T.-L. Liu, H.-T. Chen, and S.-H. Lai. Fusing generic objectness and visual saliency for salient object detection. In ICCV, pages 914-921,
2011.
［ＬＲ］X. Shen and Y. Wu. A unified approach to salient object detection via low rank matrix recovery. In CVPR, pages 853-860, 2012.

（変形例）
上述した実施形態は本発明の一具体例を示したものであり、本発明の範囲をそれらの具体例に限定する趣旨のものではない。

例えば、類似度マップ（復元誤差マップ）は、周縁部領域との類似度を表すものであれば、上記以外の任意のアルゴリズムによって生成されても構わない。上述のように、Ｄｅｎｓｅ復元とＳｐａｒｓｅ復元に基づく復元誤差（類似度）は、互いに特徴が異なるアルゴリズムでありそれぞれが互いを補うことで精度の良い顕著性マップを生成することがで
きるが、本手法の類似度マップの生成アルゴリズムはこれらに限られるものではない。例えば、多様体ランキング法（Manifold Ranking法）を用いて類似度マップを生成してもよい。また、周縁部領域全体との類似度を求める際に、上端部、下端部、左端部、右端部との類似度をそれぞれ求めて、これらを統合して周縁部領域との類似度を求めるようにしても良い。

また、上記の説明では２つのアルゴリズムによって類似度マップを生成しているが、３つ以上のアルゴリズムによって類似度マップを生成してもよい。この場合、これらの類似度マップを統合して最終的な顕著性マップを得るためには、全ての類似度マップのうちの任意の２つの組合せについて、それぞれを事前確率として用いて事後確率を求め、これら事後確率を統合すればよい。類似度マップの数をＮ個とした場合には、Ｎ×（Ｎ−１）通りの事後確率を生成して、統合すればよい。

また、上記の説明では、解像度の異なるスーパーピクセル画像を生成し、それぞれから類似度マップを生成している。しかしながら、１つのみのスーパーピクセル画像から類似度マップを生成しても構わない。この場合、解像度の異なるスーパーピクセル画像から生成された類似度マップを統合する処理（図２のステップＳ６ａ，Ｓ６ｂ）は省略すればよい。また、スーパーピクセル化を行うことなく、画素単位の入力画像を対象として類似度マップを生成しても構わない。このようにしても、顕著物体の検出を行うことはできる。

また、類似度マップに対する平滑化処理（図２のステップＳ５ａ，Ｓ５ｂ）も省略可能である。平滑化処理を施すことで、類似度マップにおけるばらつきを平滑化して精度を上げることができるが、この処理を省略しても顕著物体の検出を行うことはできる。

また、ベイズ推定を用いて複数の類似度マップを融合して最終的な顕著性マップを生成しているが、複数の類似度マップから最終的な顕著性マップを生成する方法は異なる方法で行ってもよい。例えば、それぞれの類似度マップの平均（単純平均でも重み付け平均でもよい）を最終的な顕著性マップとしてもよい。このような手法であっても、異なるアルゴリズムによって生成された類似度マップの特徴をともに考慮できるので、１つのみのアルゴリズムによって生成された類似度マップを顕著性マップとする場合よりも、精度が向上する。

（実装例）
上述した画像処理装置の具体的な実装は、ソフトウェア（プログラム）による実装と、ハードウェアによる実装のいずれも可能である。例えば、画像処理装置に内蔵されたコンピュータ（マイコン、ＣＰＵ、ＭＰＵ、ＦＰＧＡ等）のメモリにコンピュータプログラムを格納し、当該コンピュータプログラムをコンピュータに実行させて、各処理を実現させてもよい。また、本発明の全部または一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。また、本発明は、クラウド環境におけるサーバーにも適用可能である。

また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。よって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。

１画像処理部
１１画像取得部１２制御部
１２１ＳＰ（スーパーピクセル）画像生成部１２２復元誤差マップ生成部
１２３顕著性マップ生成部

Claims

画像を取得する画像取得部と、
前記画像における１つまたは複数の画素からなる領域を単位構成として、第１のアルゴリズムに基づいて前記領域と前記画像の周縁部の領域との類似度を表す第１の類似度マップを算出し、第２のアルゴリズムに基づいて前記領域と前記画像の周縁部の領域との類似度を表す第２の類似度マップを算出する類似度マップ生成部と、
前記第１の類似度マップおよび前記第２の類似度マップを統合して顕著性マップを生成する顕著性マップ生成部と、
を備える画像処理装置。
前記類似度マップ生成部は、対象の領域を前記周縁部の領域に基づいて再構成し、再構成誤差が小さいほど類似度が大きいものとして前記第１および第２の類似度マップを生成する、
請求項１に記載の画像処理装置。
前記第１のアルゴリズムは、
前記周縁部の領域の特徴量に対して主成分分析を施して複数の固有ベクトルを算出し、
対象の領域の特徴量を前記複数の固有ベクトルの線形結合によって再構成し、
再構成誤差が小さいほど類似度を大きく算出する、
アルゴリズムである、
請求項１または２に記載の画像処理装置。
前記第２のアルゴリズムは、
対象の領域の特徴量を、できるだけ少ない周縁部の領域の特徴量の組合せで近似するように、コスト関数が最小となる係数を用いて前記周縁部の領域の特徴量の線形結合によって再構成し、
再構成誤差が小さいほど類似度を大きく算出する、
アルゴリズムである、
請求項１から３のいずれか１項に記載の画像処理装置。
前記画像取得部が取得した画像から、画素の特徴量に基づいて連結された複数の画素からなる領域に分割してスーパーピクセル画像を生成するスーパーピクセル画像生成部を更に有し、
前記類似度マップ生成部は、前記スーパーピクセル画像に基づいて前記第１および第２の類似度マップを生成する、
請求項１から４のいずれか１項に記載の画像処理装置。
前記スーパーピクセル画像生成部は、スーパーピクセル数が異なる複数のスーパーピクセル画像を生成するものであり、
前記類似度マップ生成部は、
前記複数のスーパーピクセル画像のそれぞれから第１のアルゴリズムに基づいて類似度マップを生成し、これら複数の類似度マップを統合して前記第１の類似度マップを生成し、
前記複数のスーパーピクセル画像のそれぞれから第２のアルゴリズムに基づいて類似度マップを生成し、これら複数の類似度マップを統合して前記第２の類似度マップを生成する、
請求項５に記載の画像処理装置。
前記類似度マップ生成部は、前記複数のスーパーピクセル画像のそれぞれから前記第１
および第２のアルゴリズムに基づいて生成された類似度マップに対して、平滑化処理を施してから、前記第１および第２の類似度マップを生成するものであり、
前記平滑化処理は、前記類似度マップの生成に用いられたスーパーピクセル画像をクラスタリングし、各クラスタ内での類似度を平滑化する処理である、
請求項６に記載の画像処理装置。
前記類似度マップ生成部は、前記複数のスーパーピクセル画像から前記第１および第２のアルゴリズムに基づいて生成された複数の類似度マップを重み付け平均して前記第１および第２の類似度マップを生成するものであり、前記重み付け平均における重みは、前記画像取得部が取得した画像における画素の特徴量と当該画素が属するスーパーピクセルの特徴量とが近いほど大きい重みである、
請求項６または７に記載の画像処理装置。
前記類似度マップ生成部は、算出された類似度に対して、前記画像において検出された物体の位置を中心とする重み付けをして前記第１および第２の類似度マップを生成する、
請求項１から８のいずれか１項に記載の画像処理装置。
前記顕著性マップ生成部は、
前記第１の類似度マップを事前確率として用い、前記第１の類似度マップと前記第２の類似度マップとから尤度を算出し、当該事前確率と尤度から顕著領域の事後確率を表す第１の顕著性マップを算出し、
前記第２の類似度マップを事前確率として用い、前記第２の類似度マップと前記第１の類似度マップとから尤度を算出し、当該事前確率と尤度から顕著領域の事後確率を表す第２の顕著性マップを算出し、
前記第１の顕著性マップと前記第２の顕著性マップを統合して、最終的な顕著性マップを生成する、
請求項１から９のいずれか１項に記載の画像処理装置。
コンピュータによって実行される画像処理方法であって、
画像を取得する画像取得ステップと、
前記画像における１つまたは複数の画素からなる領域を単位構成として、第１のアルゴリズムに基づいて前記領域と前記画像の周縁部の領域との類似度を表す第１の類似度マップを算出し、第２のアルゴリズムに基づいて前記領域と前記画像の周縁部の領域との類似度を表す第２の類似度マップを算出する類似度マップ生成ステップと、
前記第１の類似度マップおよび前記第２の類似度マップを統合して顕著性マップを生成する顕著性マップ生成ステップと、
を含む、画像処理方法。
請求項１１に記載の画像処理方法の各ステップをコンピュータに実行させるためのコンピュータプログラム。