JP4773240B2

JP4773240B2 - 類似判別装置および方法並びにプログラム

Info

Publication number: JP4773240B2
Application number: JP2006083025A
Authority: JP
Inventors: 俊一郎野中; 詩乃小笠原
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-03-24
Filing date: 2006-03-24
Publication date: 2011-09-14
Anticipated expiration: 2026-03-24
Also published as: JP2007257469A

Description

本発明は、２つの画像が類似するか否かを判別する類似判別装置および方法、並びに類似判別方法をコンピュータに実行させるためのプログラムに関するものである。

従来より、複数の画像を、各画像に付与された撮影時刻や撮影場所の情報に基づいて、複数のグループに分類することが行われている（特許文献１参照）。また、複数の画像のそれぞれについて、色、明るさ、周波数情報およびエッジ情報等の特徴量を算出し、この特徴量を重みづけして総合的な特徴量を算出し、これを画像間において比較して複数の画像を互いに類似する複数の画像からなるグループに分類する手法が提案されている（特許文献１，２参照）。さらに、あらかじめ類似する画像を学習パターンとして用いて学習を行い、この学習結果を用いて与えられた２つの画像が類似するか否かを判別する手法も提案されている（特許文献３参照）。また、類似判別の対象となる２つの画像の直交変換係数を求め、直交変換係数に含まれる色毎の出現頻度を表す色ヒストグラムを求め、色ヒストグラムを比較することにより類似判別を行う手法も提案されている（特許文献４参照）。さらに、類似判別の対象となる２つの画像の部分領域のヒストグラムを求め、ヒストグラムの類似度を求めて２つの画像の類似判別を行う手法も提案されている（特許文献５参照）。このようにヒストグラムを用いることにより、少ない演算量により簡易に２つの画像の類似判別を行うことができる。
特開２０００−１１２９９７号公報特開２０００−４８１８１号公報特開２０００−９０１１３号公報特開２００２−８２９８５号公報特開２００２−１６３６５３号公報

しかしながら、上記特許文献４，５に記載されたヒストグラムを用いて類似判別を行う手法においては、ヒストグラムにおける対応する値（すなわちヒストグラムの横軸の値）同士でヒストグラムの相関を求めることにより類似判別を行っているため、２つの画像の色や明るさがわずかに相違するのみでヒストグラムにおける対応する領域の相関が低くなる。このため、上記特許文献４，５に記載されたようなヒストグラムを用いて類似判別を行う手法によっては、人間が見れば類似すると判別するような２つの画像について、類似していないと判別してしまうおそれがある。

本発明は上記事情に鑑みなされたものであり、類似判別の処理を効果的に行うことを目的とする。

本発明による第１の類似判別装置は、２つの画像が類似するか否かを判別する類似判別装置において、
前記２つの画像のそれぞれの特徴量のヒストグラムを算出するヒストグラム算出手段と、
前記２つのヒストグラムを所定数の領域に分割し、前記２つのヒストグラムの対応する領域毎に、該領域同士の相関を表す相関特徴量を算出するに際し、前記対応する領域の近傍の領域の前記ヒストグラムの頻度を参照して、前記相関特徴量を算出する特徴量算出手段と、
前記各領域の相関特徴量に基づいて前記２つの画像の類似判別を行う判別手段とを備えたことを特徴とするものである。

「特徴量」としては、画像の輝度、色相、ＲＧＢ等の各色成分の値、周波数成分、各画素の色ベクトル、各画素の色ベクトルの大きさ等を用いることができる。

なお、本発明による第１の類似判別装置においては、前記ヒストグラム算出手段を、前記２つの画像のそれぞれの色相のヒストグラムを算出する手段としてもよい。

この場合、前記特徴量算出手段を、前記ヒストグラムの最小値近傍の領域については最大値近傍の領域の相関を参照し、前記ヒストグラムの最大値近傍の領域については最小値近傍の領域の相関を参照して前記相関特徴量を算出する手段としてもよい。

本発明による第２の類似判別装置は、２つの画像が類似するか否かを判別する類似判別装置において、
前記２つの画像の相対応する画素間の相関を表す特徴量のヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラムを所定数の領域に分割し、前記ヒストグラムの領域毎に前記２つの画像の相関を表す相関特徴量を算出するに際し、前記各領域の近傍の領域の前記ヒストグラムの頻度を参照して、前記相関特徴量を前記領域毎に算出する特徴量算出手段と、
前記各領域の相関特徴量に基づいて前記２つの画像の類似判別を行う判別手段とを備えたことを特徴とするものである。

「相関を表す特徴量」としては画素間の輝度の差分値、画素間のＲＧＢ各色成分の差分値、周波数成分の差分値、色差および各画素の類似度を表す相関値等を用いることができる。

なお、本発明による第１および第２の類似判別装置においては、前記判別手段を、前記各領域の相関特徴量を所定の重み係数により重みづけ加算することにより総合特徴量を算出し、該総合特徴量に基づいて前記類似判別を行う手段としてもよい。

この場合、前記所定の重み係数を、類似することが分かっている２つのサンプル画像からなる多数の正解データから得た前記相関特徴量と、類似しないことが分かっている２つのサンプル画像からなる多数の不正解データから得た前記相関特徴量とをあらかじめ学習することにより得られた、前記相関特徴量を重みづけする重み係数としてもよい。

学習としては、例えばマシンラーニング（machine learning）の手法を用いることができる。マシンラーニングの手法としては、例えば、ニューラルネットワーク、ブースティング等の既知の手法を用いることができる。

本発明による第１の類似判別方法は、２つの画像が類似するか否かを判別する類似判別方法において、
前記２つの画像のそれぞれの特徴量のヒストグラムを算出し、
前記２つのヒストグラムを所定数の領域に分割し、
前記２つのヒストグラムの対応する領域毎に、該領域同士の相関を表す相関特徴量を算出するに際し、前記対応する領域の近傍の領域の前記ヒストグラムの頻度を参照して、前記相関特徴量を算出し、
前記各領域の相関特徴量に基づいて前記２つの画像の類似判別を行うことを特徴とするものである。

本発明による第２の類似判別方法は、２つの画像が類似するか否かを判別する類似判別方法において、
前記２つの画像の相対応する画素間の相関を表す特徴量のヒストグラムを算出し、
前記ヒストグラムを所定数の領域に分割し、
前記ヒストグラムの領域毎に前記２つの画像の相関を表す相関特徴量を算出するに際し、前記各領域の近傍の領域の前記ヒストグラムの頻度を参照して、前記相関特徴量を前記領域毎に算出し、
前記各領域の相関特徴量に基づいて前記２つの画像の類似判別を行うことを特徴とするものである。

なお、本発明による第１および第２の類似判別方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明の第１の類似判別装置および方法によれば、２つの画像のそれぞれの特徴量のヒストグラムが算出され、２つのヒストグラムが所定数の領域に分割され、２つのヒストグラムの対応する領域毎に、領域同士の相関を表す相関特徴量が算出される。この際に、対応する領域の近傍の領域のヒストグラムの頻度が参照されて相関特徴量が算出され、算出された各領域の相関特徴量に基づいて２つの画像の類似判別が行われる。このように、本発明の第１の類似判別装置および方法においては、２つのヒストグラムの相関を表す相関特徴量を算出する際に、相関特徴量を算出する領域のみならず、その領域の近傍の領域のヒストグラムの頻度を参照して相関特徴量を算出するようにしたため、相関特徴量の算出の際に、２つの画像の明るさや色等の特徴量のわずかな変化を吸収できることとなる。したがって、ヒストグラムの相関を見れば類似しないと判別されるような、わずかに特徴量が異なる２つの画像についても類似すると判別することができ、これにより画像の変化に強い類似判別を行うことができる。

本発明の第２の類似判別装置および方法によれば、２つの画像の相対応する画素間の相関を表す特徴量のヒストグラムが算出され、ヒストグラムが所定数の領域に分割され、ヒストグラムの領域毎に２つの画像の相関を表す相関特徴量が算出される。この際に、相関特徴量を算出する領域の近傍の領域のヒストグラムが参照されて、相関特徴量が領域毎に算出され、算出された各領域の相関特徴量に基づいて２つの画像の類似判別が行われる。このように、本発明の第２の類似判別装置および方法においては、２つの画像の相関を表す相関特徴量を算出する際に、相関特徴量を算出する領域の近傍の領域のヒストグラムに基づいて相関特徴量を算出するようにしたため、相関特徴量の算出の際に、２つの画像の明るさや色等の特徴量のわずかな変化を吸収できることとなる。したがって、相関のヒストグラムを見れば類似しないと判別されるような、わずかに特徴量が異なる２つの画像についても類似すると判別することができ、これにより画像の変化に強い類似判別を行うことができる。

また、相関特徴量を所定の重み係数により重みづけ加算することにより総合特徴量を算出し、総合特徴量に基づいて類似判別を行う際に、あらかじめ学習することにより得られた重み係数を用いることにより、実在する画像に適した重み係数を用いて類似判別を行うことができる。したがって、画像の類似判別をより効果的に行うことができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による類似判別装置の構成を示す概略ブロック図である。図１に示すように第１の実施形態による類似判別装置１は、画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、ＣＰＵ１２を動作させるプログラム、画像を閲覧するためのビューアソフトおよび各種定数が記録されているＲＯＭおよびＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのキーボードおよびマウス等からなる入力部１６と、各種表示を行う液晶モニタ等からなる表示部１８とを備える。

また、類似判別装置１は、画像データを記録したメモリカード２から画像データを読み出したり、メモリカード２に画像データを記録したりするためのカードスロット２０と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、画像データやＣＰＵ１２が実行する各種プログラム等を記録するハードディスク２４と、システムメモリ１４、カードスロット２０およびハードディスク２４を制御するメモリ制御部２６と、表示部１８の表示を制御する表示制御部２８とを備える。

また、類似判別装置１は、低周波画像作成部３０、ヒストグラム算出部３２、特徴量算出部３４および判別部３６を備える。

次いで、低周波画像作成部３０、ヒストグラム算出部３２、特徴量算出部３４および判別部３６が行う処理について説明する。図２は第１の実施形態において行われる処理を示すフローチャートである。なお、類似判別を行う２つの画像はメモリカード２から読み出されてハードディスク２４に保存されているものとする。ユーザが類似判別の指示を入力部１６から行うことによりＣＰＵ１２が処理を開始し、低周波画像作成部３０が、類似判別を行う２つの画像のそれぞれについて、低周波成分を表す低周波画像を作成する（ステップＳＴ１）。

具体的には、低周波画像作成部３０は、画像に対してウェーブレット変換を施したり、画像を構成する画素を間引いて縮小したりすることにより、処理前の画像よりも低い所定の解像度を有する低周波画像を作成する。ここで、ウェーブレット変換を用いた場合には、ウェーブレット変換により得られるＬＬ成分を低周波画像として用いる。なお、画像を縮小する場合には、単純に線形変換により縮小するよりも、Cubicスプライン等の高次の補間演算式を用いて縮小することにより、画像の高周波成分を効果的に除去できるため、類似判別におけるノイズの影響を除去できる。また、低周波画像作成部３０は、２つの画像の解像度が異なる場合には、２つの画像の解像度が一致するように低周波画像を作成する。また、後の処理を容易に行うために、画像を正方形となるように変形してもよい。

次いで、ヒストグラム算出部３２が、画像を構成する各画素における色相を算出する（ステップＳＴ２）。さらに、ヒストグラム算出部３２は、２つの画像のそれぞれについて、色相の値を横軸に、色相の出現数を縦軸にプロットすることにより、色相のヒストグラムを算出する（ステップＳＴ３）。具体的には、色相は０〜３５９度の値をとることから、横軸のスケールを０〜３５９度に設定し、１度刻みで出現数をプロットすることにより色相のヒストグラムを算出する。

次いで、特徴量算出部３４が、ヒストグラム算出部３２が算出した２つの画像についての色相のヒストグラムをそれぞれ所定数の領域に分割する（ステップＳＴ４）。

図３は色相のヒストグラムにおける領域の分割を説明するための図である。図３に示すように、特徴量算出部３４は、色相のヒストグラムＨ０を所定数の領域（ここでは８個）に分割する。なお、分割数は８分割に限定されるものではなく、４分割、１６分割、３２分割等、適宜設定すればよい。

また、特徴量算出部３４は、分割した領域毎に出現頻度の平均値を算出する（ステップＳＴ５）。具体的には、２つのヒストグラムのそれぞれについて、分割により得られた複数の領域Ｃｋ（ｋ＝１〜ｎ、ｎは分割数）毎に頻度の総和を求め、これを領域内の刻み数にて除算することにより、分割した領域Ｃｋ毎に頻度の平均値Ｍｋを算出する。図４は分割した領域毎の平均値のヒストグラムを示す図である。なお、ヒストグラムは０〜３５９度の１度刻みで作成されているため、分割数を８とした場合、各領域Ｃｋ内の刻み数は４５となる。なお、平均値Ｍｋに代えて頻度の総和、中央値、最大値または最小値等を用いてもよい。

さらに、特徴量算出部３４は、領域Ｃｋ毎の平均値Ｍｋを平坦化する（ステップＳＴ６）。具体的には、下記の式（１）により、領域Ｃｋの平均値Ｍｋを隣接する２つの領域Ｃk-1，Ｃk+1の平均値Ｍk-1，Ｍk+1と重みづけ加算することにより、領域Ｃｋ毎の平均値Ｍｋを平坦化して平坦化平均値Ｍｋ′を算出する。

Ｍｋ′＝ａ・Ｍk-1＋ｂ・Ｍk＋ｃ・Ｍk+1 （１）
但し、ａ，ｂ，ｃは重み係数であり、ａ＋ｂ＋ｃ＝１となるように例えば、ａ＝ｃ＝０．２５、ｂ＝０．５の値を用いる。

ここで、色相は０〜３５９度の値をとり、色相の値はループしているため、平坦化平均値Ｍ１′については、下記の式（２）に示すように平均値Ｍｎを用いて算出することができる。また、平坦化平均値Ｍｎ′については、下記の式（３）に示すように平均値Ｍ１を用いて算出することができる。

Ｍ１′＝ａ・Ｍn＋ｂ・Ｍ1＋ｃ・Ｍ2 （２）
Ｍｎ′＝ａ・Ｍn-1＋ｂ・Ｍn＋ｃ・Ｍ1 （３）
なお、ここでは平均値Ｍｉを平坦化する際に平坦化平均値を算出する領域に隣接する２つの領域の平均値を用いているが、さらに多くの隣接する領域の平均値を用いて平坦化を行ってもよい。例えば、下記の式（４）に示すように、隣接する４つの領域の平均値を用いてもよい。

Ｍｋ′＝ａ・Ｍk-2＋ｂ・Ｍk-1＋ｃ・Ｍk＋ｄ・Ｍk+1＋ｅ・Ｍk+2（４）
但し、ａ，ｂ，ｃ，ｄ，ｅは重み係数であり、ａ＋ｂ＋ｃ＋ｄ＋ｅ＝１である。

さらに、特徴量算出部３４は、２つのヒストグラムにおける対応する領域間において、平坦化平均値Ｍｋ′の差の絶対値の逆数を算出することにより、２つのヒストグラムの相関を表す特徴量Ｔｋを算出する（ステップＳＴ７）。ここで、特徴量Ｔｋは、２つのヒストグラムの領域Ｃｋ間の相関を表すものであり、値が大きいほど領域Ｃｋ同士が類似する度合いが高いことを表すものとなる。

続いて、判別部３６が、２つの画像について算出した複数の特徴量Ｔｋを、下記の式（４）により重みづけ加算して総合類似度を算出する（ステップＳＴ８）。

総合類似度Ｓｍ１＝ΣαｋＴｋ（４）
ここで、αｋは特徴量Ｔｋを重みづける重み係数である。重み係数αｋは、類似することが分かっている２つのサンプル画像からなる多数の正解データから得た特徴量と、類似しないことが分かっている２つのサンプル画像からなる多数の不正解データから得た特徴量とを、例えばマシンラーニングの手法を用いて、あらかじめ学習することにより求められるものである。

なお、学習の際に、ヒストグラムの分割数を８分割、１６分割および３２分割等の種々の分割数に設定しておくことにより、色領域の分割数に応じた重み係数αｋを求めておくことができる。また、サンプル画像として、風景画像、人物画像、テンプレート画像等の各種タイプの画像を用いて学習を行うことにより、画像のタイプに応じた重み係数αｋを求めておくことができる。これにより、類似判別を行う画像のタイプをあらかじめ設定しておけば、画像のタイプに応じた最適な重み係数αｋを用いて総合類似度Ｓｍ１を算出することができる。

また、ユーザ毎に学習を行うことにより、類似判別を行う画像を取得したユーザに最適な重み係数αｋを求めておくことができるため、ユーザの撮影傾向に応じた重み係数αｋを用いて総合類似度Ｓｍ１を算出することができる。

そして、判別部３６は総合類似度Ｓｍ１が所定のしきい値Ｔｈ１以上であるか否かを判定し（ステップＳＴ９）、ステップＳＴ９が肯定されると２つの画像は類似すると判定し（ステップＳＴ１０）、処理を終了する。ステップＳＴ９が否定されると２つの画像は類似しないと判定し（ステップＳＴ１１）、処理を終了する。

このように第１の実施形態においては、２つのヒストグラムの相関を表す特徴量Ｔｋを算出する際に、分割した各領域の近傍の領域のヒストグラムの頻度を参照して特徴量Ｔｋを算出するようにしたため、特徴量Ｔｋの算出の際に、２つの画像の明るさや色等の特徴量のわずかな変化を吸収できることとなる。したがって、ヒストグラムの相関を見れば類似しないと判別されるような、わずかに特徴量が異なる２つの画像についても類似すると判別することができ、これにより画像の変化に強い類似判別を行うことができる。

また、特徴量を重みづける重み係数αｋをあらかじめ学習しておくことにより、実在する画像に適した重み係数を用いて類似判別を行うことができるため、画像の類似判別をより効果的に行うことができる。

また、上記第１の実施形態においては、重み係数αｋを学習により求めているが、あらかじめ人為的に設定した重み係数αｋを用いてもよい。

また、上記第１の実施形態においては、２つの画像の色相のヒストグラムを求めているが、輝度、彩度、ＲＧＢ各色成分、周波数成分、各画素の色ベクトルおよび各画素の色ベクトルの大きさ等のヒストグラムを求めて類似判別を行う際にも第１の実施形態を適用できる。

次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態においては、ヒストグラム算出部３２、特徴量算出部３４および判別部３６が行う処理が第１の実施形態と異なるのみであり、装置の構成としては第１の実施形態と同一であるため、ここでは詳細な説明は省略する。

図５は第２の実施形態において行われる処理を示すフローチャートである。なお、類似判別を行う２つの画像はメモリカード２から読み出されてハードディスク２４に保存されているものとする。また、第２の実施形態においては、画像の各画素はＲＧＢそれぞれ８ビットの色成分からなるものとする。ユーザが類似判別の指示を入力部１６から行うことによりＣＰＵ１２が処理を開始し、低周波画像作成部３０が、類似判別を行う２つの画像のそれぞれについて、低周波成分を表す低周波画像を作成する（ステップＳＴ２１）。

次いで、ヒストグラム算出部３２が、画像を構成する各画素における色ベクトルの大きさを算出する（ステップＳＴ２２）。具体的には、下記の式（５）に示すように、最大値が１となるように正規化した色ベクトルの大きさＶ０を算出する。

Ｖ０＝√｛（Ｒ／２５６）²＋（Ｇ／２５６）²＋（Ｂ／２５６）²} （５）
なお、下記の式（６）に示すように、ＲＧＢ各色成分毎に人間の視覚特性を考慮した重みづけを行って色ベクトルの大きさＶ０を算出してもよい。ここで、人間の視覚特性は、Ｇ，Ｒ，Ｂの順で感度が高くなることから、重み係数Ｗｒ，Ｗｇ，ＷｂをＷｇ＞Ｗｒ＞Ｗｂとなるように設定する。これにより、人間の視覚特性を考慮して画像の類似判別を行うことができる。

Ｖ０＝√｛Ｗｒ（Ｒ／２５６）²＋Ｗｇ（Ｇ／２５６）²＋Ｗｂ（Ｂ／２５６）²}（６）
次いで、ヒストグラム算出部３２が、２つの低周波画像についての相対応する画素間において、算出した色ベクトルの大きさの相関を表す特徴量を算出する（ステップＳＴ２３）。具体的には、下記の式（７）に示すように、相対応する画素（ｉ，ｊ）（（ｉ，ｊ）は低周波画像における各画素の位置を表す座標であり、ｉ＝１〜ｐ、ｊ＝１〜ｑ、ｐ，ｑは低周波画像の縦横の画素数）における色ベクトルの大きさの差分値の絶対値を算出し、差分値の絶対値を１から減算することにより特徴量Ｔ（ｉ，ｊ）を算出する。ここで、特徴量Ｔ（ｉ，ｊ）は、２つの色ベクトルの大きさの各画素間における相関を表すものであり、値が大きいほど相対応する画素同士が類似する度合いが高いことを表すものとなる。

Ｔ（ｉ，ｊ）＝１−差分値の絶対値（７）
続いて、ヒストグラム算出部３２が、すべての特徴量Ｔ（ｉ，ｊ）に対しての出現数をプロットすることにより特徴量Ｔ（ｉ，ｊ）のヒストグラムを算出する（ステップＳＴ２４）。図６は特徴量のヒストグラムを示す図である。図６に示すように特徴量のヒストグラムＨ１は、横軸に特徴量の値を、縦軸に特徴量の出現数をプロットすることにより算出されるものである。なお、特徴量は０〜１の間の値をとるため、例えば横軸を０〜１の範囲で０．０１単位で分割し、特徴量を０．０１刻みでプロットすることによりヒストグラムＨ１を算出すればよい。

次いで、特徴量算出部３４が、ヒストグラム算出部３２が算出したヒストグラムＨ１を所定数の領域に分割する（ステップＳＴ２５）。

図７はヒストグラムにおける領域の分割を説明するための図である。図７に示すように、特徴量算出部３４は、ヒストグラムＨ１を所定数の領域（ここでは１０個）Ｃｋ（ｋ＝１〜ｒ：ｒは分割数）に分割する。なお、分割数は１０分割に限定されるものではなく、４分割、８分割、１６分割および３２分割等、適宜設定すればよい。

また、特徴量算出部３４は、分割した領域毎に出現頻度の平均値を算出する（ステップＳＴ２６）。具体的には、ヒストグラムＨ１について、分割により得られた複数の領域Ｃｋ毎に頻度の総和を求め、これを領域内の刻み数にて除算することにより、分割した領域Ｃｋ毎に頻度の平均値Ｍｋを算出する。図８は分割した領域毎の平均値のヒストグラムを示す図である。

ここで、第２の実施形態においては、特徴量のヒストグラムＨ１を上述したように０．０１単位で特徴量をプロットすることにより算出しているため、ヒストグラムＨ１の分割数を１０とした場合、領域Ｃｋ内の分割数も１０となる。したがって、領域Ｃｋ内における頻度の総和を１０により除算して平均値Ｍｋを算出する。なお、平均値に代えて各領域Ｃｋにおける頻度の総和、中央値、最大値または最小値等を用いてもよい。

さらに、特徴量算出部３４は、領域Ｃｋ毎の平均値Ｍｋを平坦化する（ステップＳＴ２７）。具体的には、上記式（１）と同様に、領域Ｃｋの平均値Ｍｋを隣接する２つの領域Ｃk-1，Ｃk+1の平均値Ｍk-1，Ｍk+1と重みづけ加算することにより、領域Ｃｋ毎の平均値Ｍkを平坦化して平坦化平均値Ｍｋ′を算出する。なお、この際に、上記式（４）に示すように、隣接する４つの領域の平均値を用いてもよい。

続いて、判別部３６が、平坦化平均値Ｍｋ′を、下記の式（８）により重みづけ加算して総合類似度を算出する（ステップＳＴ２８）。

総合類似度Ｓｍ２＝ΣβｋＭｋ′ （８）
ここで、βｋは平坦化平均値Ｍｋ′を重みづける重み係数である。重み係数βｋは、類似することが分かっている２つのサンプル画像からなる多数の正解データから得た平坦化平均値と、類似しないことが分かっている２つのサンプル画像からなる多数の不正解データから得た平坦化平均値とを、例えばマシンラーニングの手法を用いて、あらかじめ学習することにより求められるものである。

そして、判別部３６は総合類似度Ｓｍ２が所定のしきい値Ｔｈ２以上であるか否かを判定し（ステップＳＴ２９）、ステップＳＴ２９が肯定されると２つの画像は類似すると判定し（ステップＳＴ３０）、処理を終了する。ステップＳＴ２９が否定されると２つの画像は類似しないと判定し（ステップＳＴ３１）、処理を終了する。

このように、第２の実施形態においては、２つの画像の相関を表すヒストグラムから類似判別を行うための特徴量を算出する際に、分割した各領域の近傍の領域のヒストグラムの頻度を参照して平坦化平均値を算出するようにしたため、平坦化平均値の算出の際に、２つの画像の明るさや色等の特徴量のわずかな変化を吸収できることとなる。したがって、相関のヒストグラムを見れば類似しないと判別されるような２つの画像についても類似すると判別することができ、これにより画像の変化に強い類似判別を行うことができる。

また、平坦化平均値を重みづける重み係数βｋをあらかじめ学習しておくことにより、実在する画像に適した重み係数を用いて類似判別を行うことができるため、画像の類似判別をより効果的に行うことができる。

また、上記第２の実施形態においては、重み係数βｋを学習により求めているが、あらかじめ人為的に設定した重み係数βｋを用いてもよい。

また、上記第２の実施形態においては、２つの画像の色ベクトルの大きさの差分値からヒストグラムを求めているが、画素間の輝度の差分値、画素間のＲＧＢ各色成分の差分値、周波数成分の差分値、色差および各画素の類似度を表す相関値等のヒストグラムを求めて類似判別を行う際にも本発明を適用できる。

以上、本発明の実施形態に係る装置について説明したが、コンピュータを、低周波画像作成部３０、ヒストグラム算出部３２、特徴量算出部３４および判別部３６に対応する手段として機能させ、図２および図５に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も本発明の実施形態の１つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。

本発明の第１の実施形態による類似判別装置の構成を示す概略ブロック図第１の実施形態において行われる処理を示すフローチャート色相のヒストグラムにおける領域の分割を示す図分割した領域毎の平均値のヒストグラムを示す図第２の実施形態において行われる処理を示すフローチャート特徴量のヒストグラムを示す図ヒストグラムの分割を説明するための図分割した領域毎の平均値のヒストグラムを示す図

符号の説明

１類似判別装置
２メモリカード
１２ＣＰＵ
１４システムメモリ
１６入力部
１８表示部
２０カードスロット
２２圧縮解凍部
２４ハードディスク
２６メモリ制御部
２８表示制御部
３０低周波画像作成部
３２色ヒストグラム算出部
３４特徴量算出部
３６判別部

Claims

２つの画像が類似するか否かを判別する類似判別装置において、
前記２つの画像のそれぞれの特徴量のヒストグラムを算出するヒストグラム算出手段と、
前記２つのヒストグラムを所定数の領域に分割し、前記２つのヒストグラムの対応する領域毎に、該領域同士の相関を表す相関特徴量を算出するに際し、前記２つのヒストグラムのそれぞれにおける前記分割された領域の頻度の平均値を算出し、前記２つのヒストグラムのそれぞれにおいて、前記各領域の前記頻度の平均値と該各領域の近傍の領域の前記頻度の平均値とを重み付け加算して、前記各領域についての平坦化平均値を算出し、前記２つのヒストグラムの対応する前記領域間における前記平坦化平均値の差の絶対値の逆数を、前記相関特徴量として算出する特徴量算出手段と、
前記各領域の相関特徴量を所定の重み係数により重み付け加算することにより総合特徴量を算出し、該総合特徴量に基づいて前記２つの画像の類似判別を行う判別手段とを備えたことを特徴とする類似判別装置。
前記ヒストグラム算出手段は、前記２つの画像のそれぞれの色相のヒストグラムを算出する手段であることを特徴とする請求項１記載の類似判別装置。
前記特徴量算出手段は、前記ヒストグラムの最小値近傍の領域については最大値近傍の領域の前記頻度の平均値との重み付け加算により、前記ヒストグラムの最大値近傍の領域については最小値近傍の領域の前記頻度の平均値との重み付け加算により、前記平坦化平均値を算出する手段であることを特徴とする請求項２記載の類似判別装置。
２つの画像が類似するか否かを判別する類似判別装置において、
前記２つの画像の相対応する画素間の相関を表す特徴量のヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラムを所定数の領域に分割し、前記ヒストグラムの領域毎に前記２つの画像の相関を表す相関特徴量を算出するに際し、前記ヒストグラムにおける前記分割された領域の頻度の平均値を算出し、前記ヒストグラムにおける前記各領域の頻度の平均値と、該各領域の近傍の領域の頻度の平均値とを重み付け加算して、前記相関特徴量を前記領域毎に算出する特徴量算出手段と、
前記各領域の相関特徴量を所定の重み係数により重み付け加算することにより総合特徴量を算出し、該総合特徴量に基づいて前記２つの画像の類似判別を行う判別手段とを備えたことを特徴とする類似判別装置。
前記所定の重み係数は、類似することが分かっている２つのサンプル画像からなる多数の正解データから得た前記相関特徴量と、類似しないことが分かっている２つのサンプル画像からなる多数の不正解データから得た前記相関特徴量とをあらかじめ学習することにより得られた、前記相関特徴量を重み付けする重み係数であることを特徴とする請求項１から４のいずれか１項記載の類似判別装置。
２つの画像が類似するか否かを判別する類似判別方法において、
前記２つの画像のそれぞれの特徴量のヒストグラムを算出し、
前記２つのヒストグラムを所定数の領域に分割し、
前記２つのヒストグラムの対応する領域毎に、該領域同士の相関を表す相関特徴量を算出するに際し、前記２つのヒストグラムのそれぞれにおける前記分割された領域の頻度の平均値を算出し、前記２つのヒストグラムのそれぞれにおいて、前記各領域の前記頻度の平均値と該各領域の近傍の領域の前記頻度の平均値とを重み付け加算して、前記各領域についての平坦化平均値を算出し、前記２つのヒストグラムの対応する前記領域間における前記平坦化平均値の差の絶対値の逆数を、前記相関特徴量として算出し、
前記各領域の相関特徴量を所定の重み係数により重み付け加算することにより総合特徴量を算出し、
該総合特徴量に基づいて前記２つの画像の類似判別を行うことを特徴とする類似判別方法。
２つの画像が類似するか否かを判別する類似判別方法において、
前記２つの画像の相対応する画素間の相関を表す特徴量のヒストグラムを算出し、
前記ヒストグラムを所定数の領域に分割し、
前記ヒストグラムの領域毎に前記２つの画像の相関を表す相関特徴量を算出するに際し、前記ヒストグラムにおける前記分割された領域の頻度の平均値を算出し、前記ヒストグラムにおける前記各領域の頻度の平均値と、該各領域の近傍の領域の頻度の平均値とを重み付け加算して前記相関特徴量を前記領域毎に算出し、
前記各領域の相関特徴量を所定の重み係数により重み付け加算することにより総合特徴量を算出し、
該総合特徴量に基づいて前記２つの画像の類似判別を行うことを特徴とする類似判別方法。
２つの画像が類似するか否かを判別する類似判別方法をコンピュータに実行させるためのプログラムにおいて、
前記２つの画像のそれぞれの特徴量のヒストグラムを算出する手順と、
前記２つのヒストグラムを所定数の領域に分割する手順と、
前記２つのヒストグラムの対応する領域毎に、該領域同士の相関を表す相関特徴量を算出するに際し、前記２つのヒストグラムのそれぞれにおける前記分割された領域の頻度の平均値を算出し、前記２つのヒストグラムのそれぞれにおいて、前記各領域の前記頻度の平均値と該各領域の近傍の領域の前記頻度の平均値とを重み付け加算して、前記各領域についての平坦化平均値を算出し、前記２つのヒストグラムの対応する前記領域間における前記平坦化平均値の差の絶対値の逆数を、前記相関特徴量として算出する手順と、
前記各領域の相関特徴量を所定の重み係数により重み付け加算することにより総合特徴量を算出する手順と、
該総合特徴量に基づいて前記２つの画像の類似判別を行う手順とをコンピュータに実行させることを特徴とするプログラム。
２つの画像が類似するか否かを判別する類似判別方法をコンピュータに実行させるためのプログラムにおいて、
前記２つの画像の相対応する画素間の相関を表す特徴量のヒストグラムを算出する手順と、
前記ヒストグラムを所定数の領域に分割する手順と、
前記ヒストグラムの領域毎に前記２つの画像の相関を表す相関特徴量を算出するに際し、前記ヒストグラムにおける前記分割された領域の頻度の平均値を算出し、前記ヒストグラムにおける前記各領域の頻度の平均値と、該各領域の近傍の領域の頻度の平均値とを重み付け加算して前記相関特徴量を前記領域毎に算出する手順と、
前記各領域の相関特徴量を所定の重み係数により重み付け加算することにより総合特徴量を算出する手順と、
該総合特徴量に基づいて前記２つの画像の類似判別を行う手順とをコンピュータに実行させることを特徴とするプログラム。