JP4685711B2 - 画像処理方法及び装置及びプログラム - Google Patents

Description

本発明は、画像処理方法及び装置及びプログラムに係り、特に、画像の管理・閲覧を効率的に行うための画像分類や、類似画像検索などにおいて必要となる、２つの画像間の類似度を算出する画像処理方法及び装置及びプログラムに関する。

二つの画像間の類似度を算出する従来技術として、以下のものがある。

（１） 画像全体で照合する方法：
画像全体から抽出した特徴量に基づいて類似度を求める方法である。特徴量として画像全体での色の頻出部分布を表した色ヒストグラムがよく用いられており、この場合は、２つの画像から抽出した色ヒストグラムの距離を画像間の類似度としている。この方法は、簡易な処理で実現することが特徴である。

（２）規則的に分割された領域間での照合による方法：
画像全体で照合するのではなく、画像を矩形ブロックで規則的に分割し、各ブロック領域から抽出した特徴量でブロック間の照合を行う方法である。ブロック間の照合を行う方法として、画像での位置が同じブロック間の類似度の総和で画像間の類似度を求める方法がある。また、２つの画像の各ブロックの全ての組み合わせについて、カラーヒストグラムを用いてブロック間の色に対する類似度と、ブロックの位置に関する類似度の乗算により類似度を求めている。この方法では、画像における位置関係と色が似ているブロックが多く含まれる画像ほど類似度が高くなるような画像間の類似度を求めることができる（例えば、非特許文献１参照）。

（３）オブジェクト領域間での照合による方法：
画像をオブジェクトに対応した領域に分割する前処理を行い、各画像から抽出したオブジェクト領域の対応付けを行った後、対応付けられたオブジェクト領域間の類似度から、画像間の類似度を求める方法である。
堀田政二、井上光平、浦浜喜一「画像集合間距離に基づくビデオの類似検索」映像情報メディア学会誌VOL.54, NO.11, pp.1653-1656, 2000

しかしながら、上記の（１）の、画像全体で照合する方法では、類似度算出において、画像における位置的な構成が十分反映されないため、画像内容が似ていなくても画像全体の特徴が似ている場合には類似度が高くなってしまう問題がある。

上記の（２）の規則的に分割された領域間での照合による方法は、画像における位置的な構成を反映した照合が行えるので、画像全体で照合する方法の問題は改善できる。しかし、この方法では、画像内容が同じでも被写体の位置が異なるなど、画像の構成要素は同じであるが、それらの位置関係が異なる場合には類似度が低くなるという問題がある。

上記の（３）のオブジェクト領域間での照合による方法は、この問題を解決できるが、オブジェクト領域を正しく検出できることが前提となる。背景が均一な場合や画像に出現するオブジェクトが特定できる場合などの限定された状況では、オブジェクト領域を抽出することは可能であるが、一般的な画像からオブジェクト領域を精度高く抽出することは困難である。

以上述べた通り、画像内容が類似しているかを反映させた画像間の類似度を一般的な画像に対して精度よく求めることは困難である。

本発明は、上記の点に鑑みなされたもので、画像内容に基づいた、画像間の類似度を精度よく求める方法を提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、２つの画像ＦａとＦｂが入力されたときに、該画像の類似度を算出する画像処理方法であって、
領域分割手段が、予め設定しておいたルールに基づいて画像をＭ個の部分領域に分割する領域分割ステップ（ステップ１）と、
領域間類似度算出手段が、領域分割ステップ（ステップ１）で得られた、画像Ｆａを構成するＭ個の部分領域画像Ｐａ（ｉ）ｉ＝１，２，…Ｍと、画像Ｆｂを構成するＭ個の部分領域画像Ｐｂ（ｊ）ｊ＝１，２，…，Ｍの全ての組み合わせに対する部分領域画像の類似度である部分領域間類似度Ｓａｂ（ｉ，ｊ）を算出する領域間類似度算出ステップ（ステップ２）と、
有効部分領域検出手段が、部分領域間類似度が大きいＫ個の部分領域間ペアについて、当該部分領域間ペアの部分領域間類似度の平均ｕと標準偏差σを算出し、平均ｕが大きい程に大きな値となり、かつ、標準偏差σが大きい程に小さな値となる閾値を定め、部分領域間類似度が閾値以上の部分領域間ペアを有効部分領域ペアとして検出する有効部分領域検出ステップ（ステップ３）と、
画像類似度算出手段が、有効部分領域ペアの部分領域間類似度Ｓａｂ（ｉ，ｊ）の平均値を、２つの画像のＦａとＦｂとの画像類似度として算出する画像類似度算出ステップ（ステップ４）と、を行う。

また、本発明（請求項２）は、有効部分領域検出ステップ（ステップ３）において、
部分領域間類似度Ｓａｂ（ｉ，ｊ）の大きい順に、画像Ｆａの部分領域と画像Ｆｂの部分領域を重複することなく対応付けることにより、前記部分領域間ペアを得る。

図２は、本発明の原理構成図である。

本発明（請求項３）は、２つの画像ＦａとＦｂが入力されたときに、該画像の類似度を算出する画像処理装置であって、
有効部分領域判定に用いるパラメータを格納したパラメータ記憶手段と、
予め設定しておいたルールに基づいて画像をＭ個の部分領域に分割する領域分割手段２と、
領域分割手段２で得られた、画像Ｆａを構成するＭ個の部分領域画像Ｐａ（ｉ）ｉ＝１，２，…Ｍと、画像Ｆｂを構成するＭ個の部分領域画像Ｐｂ（ｊ）ｊ＝１，２，…，Ｍの全ての組み合わせに対する部分領域画像の類似度である部分領域間類似度Ｓａｂ（ｉ，ｊ）を算出する領域間類似度算出手段３と、
部分領域間類似度が大きいＫ個の部分領域間ペアについて、当該部分領域間ペアの部分領域間類似度の平均ｕと標準偏差σを算出し、平均ｕが大きい程に大きな値となり、かつ、標準偏差σが大きい程に小さな値となる閾値を定め、部分領域間類似度が閾値以上の部分領域間ペアを有効部分領域ペアとして検出する有効部分領域検出手段４と、
有効部分領域ペアの部分領域間類似度Ｓａｂ（ｉ，ｊ）の平均値を、２つの画像のＦａとＦｂとの画像類似度として算出する画像類似度算出手段５と、を有する。

また、本発明（請求項４）は、有効部分領域検出手段４において、
部分領域間類似度Ｓａｂ（ｉ，ｊ）の大きい順に、画像Ｆａの部分領域と画像Ｆｂの部分領域を重複することなく対応付けることにより、部分領域間ペアを得る手段を有する。

本発明（請求項５）は、コンピュータに、請求項３または、４記載の画像処理装置の各手段を実行させる画像処理プログラムである。

上記のように本発明によれば、２つの画像の背景や被写体などの構成要素が類似しているものは、構成要素の画像の中での位置関係が変動しても、それらの画像間の類似度が高くなるような、画像内容の類似性を反映した画像間類似度を算出することができる。

以下、図面と共に本発明の実施の形態を説明する。

最初に本発明の概要を説明する。

本発明では、オブジェクト領域間での照合による方法において、オブジェクト領域を検出する前処理を用いずに矩形ブロックのように規則的に分割した領域をオブジェクト領域とみなすことで、オブジェクト領域検出の問題を解決する。規則的に分割した部分領域を用いることで、被写体や背景の境界付近の部分領域では本来類似しているにもかかわらず類似度が低くなること、及び、小領域に分割することで、本来、類似していないのに類似度が高くなることの問題は以下の方針で解決する。

類似した構成要素を含む画像間において、被写体や背景の境界付近の部分領域では本来類似しているにもかかわらず類似度が低くなることもあるが、境界付近を殆ど含まない部分領域の類似度は高く、このような部分領域が多いと考えられる。また、類似した構成要素を含まない画像間において、小さい部分領域では類似する場合があるかも知れないが、このような部分領域は少ないと考えられる。

従って、被車体や背景の境界付近の影響を受けることなく、類似度が信頼できる部分領域を全体のｐ％、本来類似していないにも関わらず、小さい部分領域では類似度が高くなる部分領域を全体のｑ％とすると、図３に示すように、ｑ＜＜ｐと考えられる。この場合、画像間で最も類似する部分領域を対応付けた後、類似度が高い上位ｐ％の部分領域の類似度のみを採用すれば、図３の（ａ）のように、本来、画像の構成が同一の画像間に対しては、類似度が信頼できる部分領域のみ採用され、図３（ｂ）のように、本来、画像の構成が類似していない画像間に対しては誤って類似度が高くなった部分領域の割合はｑ／ｐと小さいため、その影響は小さい。

しかし、被写体や背景の境界付近の影響を受けることなく類似度が信頼できる部分領域の割合ｐは画像により異なるので、処理対象の画像から計測する必要があるが、自動計測することは困難である。そこで、多くの画像に対するｐの実測値の平均値を初期値をｐ_０として予め設定しておき、画像間で対応付けた部分領域ペアの中から類似度が大きいペアをＫ個選択し（ｐ_０＝Ｋ／Ｍ），Ｋ個の部分領域ペアの類似度の分布に基づいて図３に示す類似度の閾値Ｔ１を推定することとする。

本発明では、上記の考え方に基づき、以下に示す装置構成及び動作を行う。

図４は、本発明の一実施の形態における画像処理装置の構成を示す。

同図に示す画像処理装置は、画像取得部１、領域分割処理部２、領域間類似度算出部３、有効部分領域検出部４、パラメータ記憶部５、画像類似度算出部６から構成される。

画像取得部１は、処理対象の２つの画像ＦａとＦｂを読み取り、それらの画像を領域分割処理部２に出力する。

領域分割処理部２は、画像取得部１より受け取った各画像に対して、予め設定しておいたルールに基づいてＭ個の部分領域に分割する。例えば、水平方向にｍ１等分、垂直方向にｍ２等分して、合計Ｍ＝ｍ１×ｍ２個のブロックに分割する方法を用いればよい。画像Ｆａの部分領域画像Ｐａ（ｉ）＝ｉ＝１，２，…，Ｍと、画像Ｆｂの部分領域画像Ｐｂ（ｊ）ｊ＝１，２，…，Ｍを領域間類似度算出部３に出力する。

領域間類似度算出部３は、受け取った部分領域画像Ｐａ（ｉ）とＰｂ（ｊ）の全ての組み合わせのＭ（Ｍ−１）／２通りに対して、部分領域画像の類似度である部分領域間類似度Ｓａｂ（ｉ，ｊ）を算出する。算出した類似度Ｓａｂ（ｉ，ｊ）を有効部分領域判定部４と画像類似度算出部６に出力する。部分領域画像の類似度として、部分領域画像から色ヒストグラムを求め、色ヒストグラムの差分に基づいて算出する方法、色ヒストグラムの分布形状を表す平均、分散、歪度、尖度等の特徴量を求め、その特徴空間での距離から算出する方法、部分領域画像の色シグナチャーを特徴量として求め、Earth Mover’s Distanceに基づいて算出する方法などが有効である。

有効部分領域判定部４は、領域間類似度算出部３より部分領域間類似度、Ｓａｂ（ｉ，ｊ）を受け取ると、有効部分領域判定に用いるパラメータ記憶部５より、有効部分領域判定に用いるパラメータを読み取り、そのパラメータを用いて、Ｍ（Ｍ−１）／２通りの部分領域の組み合わせの中で有効なペアを検出する。検出したＮ個の有効部分領域ペアを画像類似度算出部６に出力する。有効部分領域の具体的な検出方法は後述する。

有効部分領域判定に用いるパラメータ記憶部５は、有効部分領域判定に用いるパラメータを記憶しておき、有効部分領域判定部４からの読み取り要求を受けると、記憶しておいたパラメータを有効部分領域判定部４に出力する。

画像類似度算出部６は、有効部分領域検出部４からＮ個の有効部分領域ペアを受け取ると、Ｎ個の有効部分領域ペアに対する部分領域間類似度Ｓａｂ（ｉ，ｊ）の平均値を、２つの画像ＦａとＦｂとの類似度として算出し、出力する。

次に、上記の構成における処理手順について説明する。

図５は、本発明の一実施の形態における画像処理装置の動作のフローチャートである。

ステップ２０１） 画像取得部１において、２つの画像ＦａとＦｂを読み込む。

ステップ２０２） 領域分割処理部２において、入力された各画像に対してＭ個の領域に分割する処理を行う。図６（ｂ）に分割した例を示す。同図は、４×４＝１６の矩形領域に分割した例である。分割された領域については一時的にメモリ（図示せず）に格納しておくものとする。

ステップ２０３） 領域間類似度算出部３において、メモリ（図示せず）から読み出した、画像Ｆａの部分領域画像Ｐａ（ｉ）ｉ＝１，２，…Ｍと、画像Ｆｂの部分領域画像Ｐｂ（ｊ）ｊ＝１，２，…Ｍの全ての組み合わせについて領域間類似度Ｓａｂ（ｉ，ｊ）を算出する。図６（ｃ）に示すように、Ｍ＊Ｍ（Ｍの２乗）通りの領域間類似度を求めることになる。

ステップ２０４） 部分領域間類似度Ｓａｂ（ｉ，ｊ）の大きい順に、画像Ｆａの部分領域と画像Ｆｂの部分領域を重複することなく対応付ける。対応付けの処理は以下の方法で行う。

１） まず、Ｍ＊Ｍ（Ｍの２乗）通りの部分領域間類似度Ｓａｂ（ｉ，ｊ）を大きい順に並び替える。

２） 次に、部分領域間類似度Ｓａｂ（ｉ，ｊ）が最大の領域ペアを検出し、このペアを対応付け済みとする。この領域ペアをＰａ（ｉｉ１）とＰｂ（ｊｊ１）とする。

３） そして、Ｐａ（ｉｉ１）とＰｂ（ｊｊ１）を除く部分領域で、部分領域間類似度Ｓａｂ（ｉ，ｊ）が最も大きい領域ペアを検出し、このペアを対応付け済みとする。このペアをＰａ（ｉｉ２）とＰｂ（ｊｊ２）とする。

以下同様の処理を繰り返し、全ての部分領域に対して対応付けを行う。

ステップ２０５） 有効部分領域検出部４において、ステップ２０４で対応付けられた部分領域間の類似度が大きいＫ個のペアについて、領域間類似度の平均ｕと、標準偏差σを算出する。なお、Ｋの値については、有効部分領域判定に用いるパラメータ記憶部５から読み出すものとする。

ステップ２０６） 有効部分領域検出部４において、有効部分領域ペアを判定する領域間類似度の閾値を求める。ステップ２０４で対応付けられた部分領域間の類似度が大きいＫ個のペアについて、領域間類似度の平均ｕと標準偏差σを用いて、ｕ−λσを閾値とする。なお、λの値については、類似用意機判定に用いるパラメータ記憶部から読み出す。

ステップ２０７） 部分領域間類似度が、ｕ−λσ以上の部分領域間ペアを有効部分領域ペアとして検出する。

ステップ２０８） 画像類似度算出部６において、有効部分領域検出部４で検出された有効部分領域ペアの部分領域間類似度の平均値を画像類似度として算出し、出力する。

なお画像類似度の出力先は、表示装置や記憶装置とする。

また、本発明は、図４に示す各構成要素の機能をプログラムとして構築し、画像処理装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、２つの画像間の類似性を検出する技術、例えば、ビデオ検索等の技術に適用可能である。

本発明の原理を説明するための図である。 本発明の原理を説明するための図である。 本発明の概要を説明するための図である。 本発明の一実施の形態における画像処理装置の構成図である。 本発明の一実施の形態における全体の処理のフローチャートである。 本発明の一実施の形態における部分領域の例を説明する図である。

符号の説明

１ 画像取得部
２ 領域分割手段、領域分割処理部
３ 領域間類似度算出手段、領域間類似度算出部
４ 有効部分領域検出手段、有効部分領域検出部
５ パラメータ記憶手段、パラメータ記憶部
６ 画像類似度算出手段、画像類似度算出部

Claims (5)

1. ２つの画像ＦａとＦｂが入力されたときに、該画像の類似度を算出する画像処理方法であって、
   領域分割手段が、予め設定しておいたルールに基づいて画像をＭ個の部分領域に分割する領域分割ステップと、
   領域間類似度算出手段が、前記領域分割ステップで得られた、前記画像Ｆａを構成するＭ個の部分領域画像Ｐａ（ｉ）ｉ＝１，２，…Ｍと、前記画像Ｆｂを構成するＭ個の部分領域画像Ｐｂ（ｊ）ｊ＝１，２，…，Ｍの全ての組み合わせに対する部分領域画像の類似度である部分領域間類似度Ｓａｂ（ｉ，ｊ）を算出する領域間類似度算出ステップと、
   有効部分領域検出手段が、前記部分領域間類似度が大きいＫ個の部分領域間ペアについて、当該部分領域間ペアの部分領域間類似度の平均ｕと標準偏差σを算出し、前記平均ｕが大きい程に大きな値となり、かつ、前記標準偏差σが大きい程に小さな値となる閾値を定め、前記部分領域間類似度が前記閾値以上の部分領域間ペアを有効部分領域ペアとして検出する有効部分領域検出ステップと、
   画像類似度算出手段が、前記有効部分領域ペアの部分領域間類似度Ｓａｂ（ｉ，ｊ）の平均値を、２つの画像のＦａとＦｂとの画像類似度として算出する画像類似度算出ステップと、
   を行うことを特徴とする画像処理方法。
2. 前記有効部分領域検出ステップにおいて、
   前記部分領域間類似度Ｓａｂ（ｉ，ｊ）の大きい順に、前記画像Ｆａの部分領域と前記画像Ｆｂの部分領域を重複することなく対応付けることにより、前記部分領域間ペアを得ることを特徴とする請求項１記載の画像処理方法。
3. ２つの画像ＦａとＦｂが入力されたときに、該画像の類似度を算出する画像処理装置であって、
   有効部分領域判定に用いるパラメータを格納したパラメータ記憶手段と、
   予め設定しておいたルールに基づいて画像をＭ個の部分領域に分割する領域分割手段と、
   前記領域分割手段で得られた、前記画像Ｆａを構成するＭ個の部分領域画像Ｐａ（ｉ）ｉ＝１，２，…Ｍと、前記画像Ｆｂを構成するＭ個の部分領域画像Ｐｂ（ｊ）ｊ＝１，２，…，Ｍの全ての組み合わせに対する部分領域画像の類似度である部分領域間類似度Ｓａｂ（ｉ，ｊ）を算出する領域間類似度算出手段と、
   前記部分領域間類似度が大きいＫ個の部分領域間ペアについて、当該部分領域間ペアの部分領域間類似度の平均ｕと標準偏差σを算出し、前記平均ｕが大きい程に大きな値となり、かつ、前記標準偏差σが大きい程に小さな値となる閾値を定め、前記部分領域間類似度が前記閾値以上の部分領域間ペアを有効部分領域ペアとして検出する有効部分領域検出手段と、
   前記有効部分領域ペアの部分領域間類似度Ｓａｂ（ｉ，ｊ）の平均値を、２つの画像のＦａとＦｂとの画像類似度として算出する画像類似度算出手段と、
   を有することを特徴とする画像処理装置。
4. 前記有効部分領域検出手段は、
   前記部分領域間類似度Ｓａｂ（ｉ，ｊ）の大きい順に、前記画像Ｆａの部分領域と前記画像Ｆｂの部分領域を重複することなく対応付けることにより、前記部分領域間ペアを得る手段を有する、請求項３記載の画像処理装置。
5. コンピュータに、
   請求項３または、４記載の画像処理装置の各手段を実行させることを特徴とする画像処理プログラム。

Images