JP3814499B2

JP3814499B2 - 画像処理装置及びその方法、プログラム

Info

Publication number: JP3814499B2
Application number: JP2001191850A
Authority: JP
Inventors: 康男福田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-06-25
Filing date: 2001-06-25
Publication date: 2006-08-30
Anticipated expiration: 2021-06-25
Also published as: JP2003006639A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像の画像特徴量を抽出する画像処理装置及びその方法、プログラムに関するものである。
【０００２】
【従来の技術】
画像を変倍し、生成された変倍画像に対して公知の離散コサイン変換（ＤＣＴ）処理と量子化処理を行い、その結果、得られたＤＣＴ係数のうち低周波成分側から幾つかのＤＣＴ係数を取り出し、取り出したＤＣＴ係数を原画像の画像特徴量とし、これを、例えば、画像検索に用いるデータとする方式が知られている（ISO/IEC JTC1/SC29/WG11/N3522 "MPEG-7 Visual Working Draft 4.0"（以下、[VWD4.0]）、あるいはISO/IEC JTC1/SC29/WG11/N3522 "MPEG-7 Visual part of eXperimentation Model Version 7.0" （[VXM7.0]））。
【０００３】
以下、[VWD4.0]もしくは[VXM7.0]に記載されている「Color Layout descriptor」における画像特徴量抽出処理について、図１０〜図１４を用いて説明する。
【０００４】
図１０は[VWD4.0]もしくは[VXM7.0]に記載されている「Color Layout descriptor」における画像特徴量抽出処理を説明するための図である。また、図１１はその画像特徴量処理を示すフローチャートである。
【０００５】
原画像１０００１をＲＧＢ色成分毎に８×８画素の画像に変倍する画像変倍処理を行う（ステップＳ１０４０１）。次に、生成した各色成分毎の８×８画素の画像１００１１、１００１２、１００１３の各画素をＹＣｂＣｒ色空間の各色成分データ１００２１、１００２２、１００２３に変換する色変換処理を行う（ステップＳ１０４０２）。次に、ＹＣｂＣｒ色空間の各色成分データ１００２１、１００２２、１００２３に対してＤＣＴ処理を行い、各色成分のＤＣＴ係数１００３１、１００３２、１００３３を取得する（ステップＳ１０４０３）。
【０００６】
尚、画像変倍処理、色変換処理、ＤＣＴ処理は、公知のものでよい。
【０００７】
次に、ＤＣＴ係数１００３１、１００３２、１００３３に対して量子化処理を行う（ステップＳ１０４０４）。
【０００８】
量子化処理は、例えば、[VWD4.0]によれば、以下のプログラムコード１００００〜１０００３に示すような処理で実現することができる。プログラムコード１００００〜１０００３は、公知のＣ言語を用いて記述されている。[VWD4.0]によれば、量子化処理は、Ｙ成分とＣｂ／Ｃｒ成分それぞれについて、ＤＣ成分とＡＣ成分で異なる処理を施すので、量子化処理として、４通りの処理を実現するプログラムコード１００００〜１０００３が用意されている。
【０００９】
プログラムコード１００００：Ｙ係数のＤＣ成分に対する量子化処理
【００１０】

プログラムコード１０００１：Ｃｂ／Ｃｒ係数のＤＣ成分に対する量子化処理
【００１１】

プログラムコード１０００２：Ｙ係数のＡＣ成分に対する量子化処理
【００１２】

プログラムコード１０００３：Ｃｂ／Ｃｒ係数のＡＣ成分に対する量子化処理
【００１３】

プログラムコード１００００、１０００１による量子化処理の結果、ＹもしくはＣｂ／Ｃｒ成分の量子化されたＤＣＴ係数（以下、量子化ＤＣＴ係数）は、０〜６４の値になる。また、プログラムコード１０００２、１０００３による量子化処理の結果、ＹもしくはＣｂ／Ｃｒ成分の量子化ＤＣＴ係数は、０〜３２の値となる。従って、量子化ＤＣＴ係数のＤＣ成分は符号無し６ｂｉｔ、ＡＣ成分は符号無し５ｂｉｔで表現することができる。
【００１４】
続いて、量子化処理の結果によって得られた量子化ＤＣＴ係数１００４１、１００４２、１００４３の内、低周波数成分側から幾つかの係数を選択する係数選択処理を行う（ステップＳ１０４０５）。
【００１５】
図１０の場合は、例として、Ｙ成分の量子化ＤＣＴ係数に関しては６個、Ｃｂ／Ｃｒ成分の量子化ＤＣＴ係数に関しては３個ずつ選択している例である。係数選択処理は、実際は、図１２に示すようなジグザグスキャン処理によって、８×８と二次元に配置された量子化ＤＣＴ係数を一次元に並び替え、その先頭から幾つかを選択することによって実現される。図１２の１０１０１は、ジグザグスキャンを表す図であり、８×８ブロックの各ブロックに記述されている１から６４の数字は、一次元に並びかえられた後にその量子化ＤＣＴ係数が先頭から何番目に配置されるかを示す数字である。
【００１６】
そして、得られた量子化ＤＣＴ係数の低周波成分側から幾つかの量子化ＤＣＴ係数を取得する。[VWD4.0]によれば、ここで取得する量子化ＤＣＴ係数の数は、１、３、６、１０、１５、２１、２８、６４のいずれかである。また、量子化ＤＣＴ係数の数は、Ｃｂ成分の量子化ＤＣＴ係数とＣｒ成分の量子化ＤＣＴ係数に関しては同数であるが、Ｙ成分の量子化ＤＣＴ係数の数とＣｂ／Ｃｒ成分の量子化ＤＣＴ係数の数には別々の数を設定可能である。また、デフォルトではＹ成分の量子化ＤＣＴ係数に関して６個、Ｃｂ／Ｃｒ成分の量子化ＤＣＴ係数に関しては３個を選択する。図１０では、例として、このデフォルト時の係数選択である、Ｙ成分の量子化ＤＣＴ係数に関して６個（１００５１）、Ｃｂ／Ｃｒ成分の量子化ＤＣＴ係数に関しては３個（１００５２、１００５３）を選択している。
【００１７】
この選択された量子化ＤＣＴ係数１００５１、１００５２、１００５３を、原画像１０００１の画像特徴量、即ち、Color Layout descriptorとする。
【００１８】
また、[VWD4.0]によれば、このColor Layout descriptorは、図１３や図１４に示すようなバイナリ構造で格納される。図１３の１０２０１や図１４の１０３０１において、各ブロックは１ｂｉｔを表現している。また、１０２０１や１０３０１では、便宜上、フィールド毎に区切っているが、実際は、同図の破線矢印で示しているような順序で連続して格納されている。
【００１９】
図１３はColor Layout descriptorがデフォルトの場合、即ち、Ｙ成分の量子化ＤＣＴ係数６個、Ｃｂ／Ｃｒ成分の量子化ＤＣＴ係数が各３個の場合のバイナリ構造を表す図である。この場合、先頭の拡張フラグには「０」が格納されている。さらに、それに後続して、Ｙ成分の量子化ＤＣＴ係数が６個、Ｃｂ成分の量子化ＤＣＴ係数が３個、Ｃｒ成分の量子化ＤＣＴ係数が３個の順に格納されている。量子化ＤＣＴ係数は、ＤＣ成分については符号無し６ｂｉｔ、ＡＣ成分については符号無し５ｂｉｔで表現できるので、ＤＣ成分については６ｂｉｔ、ＡＣ成分については５ｂｉｔの領域に格納される。
【００２０】
一方、図１４はColor Layout descriptorがデフォルトでない場合のバイナリ構造を表す図である。この場合、先頭の拡張フラグには「１」が格納されている。それに後続して、３ｂｉｔのフィールドが２つ後続する。この３ｂｉｔのフィールドは、それぞれＹ成分の量子化ＤＣＴ係数の数、Ｃｂ／Ｃｒ成分の量子化ＤＣＴ係数の数を表すのに用いられる係数指定フィールドである。例えば、その数を示すビットパターンと量子化ＤＣＴ係数の数との対応を示すと、以下のような表になる。
【００２１】

【００２２】
さらに、この２つの３ｂｉｔの係数指定フィールドに、後続してＹ、Ｃｂ、Ｃｒ成分の順に量子化ＤＣＴ係数が格納される。Ｙ、Ｃｂ、Ｃｒ成分の係数の数は、係数指定フィールドで指定した係数の数である。図１４の１０３０１では、例として、Ｙ成分の量子化ＤＣＴ係数が６個、Ｃｂ／Ｃｒ成分の量子化ＤＣＴ係数がそれぞれ６個の場合を示している。
【００２３】
また、この画像特徴量として選択した量子化ＤＣＴ係数による画像間の類似度については、[VXM7.0]によれば、以下の類似度算出式により算出される。例えば、２つのColor Layout descriptor、ＣＬＤ1（YCoeff, CbCoeff, CrCoeff）とＣＬＤ2（YCoeff', CbCoeff', CrCoeff'）の間の類似度Ｄは、以下の類似度算出式で算出される。
【００２４】

【００２５】
類似度算出式において、λは各量子化ＤＣＴ係数に関する重み付けであり、[VXM7.0]には、以下の表に示すような重み付け値が示されている。尚、表の空欄部分の重み付け値は１である。
【００２６】

【００２７】
また、２つのColor Layout descriptorの持つ量子化ＤＣＴ係数の数が異なる場合には、少ない量子化ＤＣＴ係数に合わせて類似度算出式を適用するか、あるいは不足している量子化ＤＣＴ係数は１６をその値として補い、多い量子化ＤＣＴ係数に合わせて類似度算出式を適用するということが示されている。
【００２８】
【発明が解決しようとする課題】
上述したように、Color Layout descriptorは、原画像ないし縮小後の８×８画素画像の画素値を周波数空間に投射した距離を類似度として算出している。しかしながら、人間の画像に対する認識は相対的であり、例えば、ある色の認識はその周囲の色などに影響を受けることが知られている。従って、例えば、同一対象を照明条件を違えて撮影した２つの画像や、あるいは同一画像を性能の異なる公知のスキャナ装置などで読み込んだ２つの画像などでは、各画素値がかなり異なる可能性がある。そのような場合にも、人間は若干の色の違いがあると感じても十分に類似しているという認識を持つことが可能であるにもかかわらず、上述したColor Layout descriptorによる方式においては、画像間の画素値の違いがそのまま類似度に反映してしまう。そのため、従来の類似度による類似画像の検索では、人間が十分に類似していると認識できる画像同士を、類似画像として検索することができない場合があった。
【００２９】
本発明は上記の課題を解決するためになされたものであり、従来の画像の類似度による類似度判定では類似画像と判定することが困難な関係にある画像群を、類似画像として判定することが可能な画像特徴量を抽出できる画像処理装置及びその方法、プログラムを提供することを目的とする。
【００３０】
【課題を解決するための手段】
上記目的を達成するために、本発明の画像処理装置は、次の構成を備える。即ち、
画像の特徴量を抽出する画像処理装置であって、
入力画像を入力する入力手段と、
前記入力画像の色空間の各色成分の色変域を取得する色変域取得手段と、
前記入力画像を変倍して縮小画像を生成する変倍手段と、
前記入力画像の色空間の各色成分の値域と、前記色変域取得手段で取得した各色成分の色変域とに基づいて、前記変倍手段によって生成された縮小画像を色正規化する色正規化手段と、
前記色正規化手段で色正規化された画像をＤＣＴするＤＣＴ手段と、
前記ＤＣＴ手段によって得られるＤＣＴ係数を量子化する量子化手段と、
前記量子化手段によって得られる量子化ＤＣＴ係数群の内、低周波数成分側から所定範囲内の量子化ＤＣＴ係数を、前記入力画像の画像特徴量として選択する選択手段と
を備えることを特徴とする画像処理装置。
【００３１】
また、本発明の画像処理方法は、次の構成を備える。即ち、
画像の特徴量を抽出する画像処理方法であって、
入力画像を入力する入力工程と、
前記入力画像の色空間の各色成分の色変域を取得する色変域取得工程と、
前記入力画像を変倍して縮小画像を生成する変倍工程と、
前記入力画像の色空間の各色成分の値域と、前記色変域取得工程で取得した各色成分の色変域とに基づいて、前記変倍工程によって生成された縮小画像を色正規化する色正規化工程と、
前記色正規化工程で色正規化された画像をＤＣＴするＤＣＴ工程と、
前記ＤＣＴ工程によって得られるＤＣＴ係数を量子化する量子化工程と、
前記量子化工程によって得られる量子化ＤＣＴ係数群の内、低周波数成分側から所定範囲内の量子化ＤＣＴ係数を、前記入力画像の画像特徴量として選択する選択工程と
を備えることを特徴とする画像処理方法。
【００４３】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。
【００４４】
図１は本発明の各実施形態で適用可能な画像処理装置の構成を示すブロック図である。
【００４５】
データ入出力部１０５００は、静止画像データと動画像データの両方を入出力可能な画像入力装置である。具体的には、スチル撮影可能なデジタルビデオ装置がある。また、メモリーカード、ＰＣカード等の外部記憶装置からＵＳＢ等の通信インタフェースを介して、画像データを読み込むことも可能である。更に、ＣＤ−ＲＯＭ装置やフロッピーディスク装置等の記憶媒体を着脱可能な記憶装置から画像データを入力する構成であってもよい。加えて、イーサネットカードやモデム、無線通信等の通信路制御装置によるネットワーク接続等の通信路を介して画像データを入力する構成であってもよい。一方、データ入出力部１０５００は、画像データを、例えば、メモリーカードへ書き込むことも行う。
【００４６】
入力部１０５０１は、ユーザからの指示やデータを入力する装置であり、キーボードやポインティング装置を含む。尚、ポインティング装置としては、マウス、トラックボール、トラックパッド、タブレット等が挙げられる。
【００４７】
蓄積部１０５０２は、画像データや後述する画像特徴量抽出処理によって得られる画像特徴量データを蓄積する装置であり、通常は、ハードディスク等の大容量記憶媒体が用いられるが、この他でも、例えば、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ等の光／光磁気ディスクであってもよい。さらには、メモリーカード、ＰＣカード等の記憶媒体であってもよい。概念上、蓄積部１０５０２とデータ入出力部１０５００を区別して説明しているが、実際の装置においてはこれらが同一のものであっても構わない。
【００４８】
表示部１０５０３は、ＧＵＩ（グラフィックユーザインタフェース）等の画像を表示する装置であり、一般的には、ＣＲＴや液晶ディスプレイ等が用いられる。
【００４９】
ＣＰＵ１０５０４は、上述の各構成要素を制御する。ＲＯＭ１０５０５とＲＡＭ１０５０６は、ＣＰＵ１０５０４が実行する処理に必要な制御プログラム、データ、作業領域等をＣＰＵ１０５０４に提供する。また、後述する各実施形態で説明するフローチャートで示される画像特徴抽出処理を実現する制御プログラムは、例えば、蓄積部１０５０２に格納されていても、ＲＯＭ１０５０５に記憶されていても良い。特に、ＲＯＭ１０５０５に格納されている場合は、一旦、ＲＡＭ１０５０６上に、その制御プログラムを読み込んでから実行される。
【００５０】
バス１０５０７は、上述の各構成要素を相互に接続する。
【００５１】
尚、以下に説明する各実施形態で説明するフローチャートの各処理は、ＣＰＵ１０５０４によって制御される専用プログラムで実現されるものとするが、各処理のすべて／一部を専用ハードウェアで実現しても、もちろん構わない。
＜参考の実施形態１＞
図２は本発明の実施形態１の画像特徴量抽出処理の示すフローチャートである。
【００５２】
まず、原画像に対して色正規化処理を行う（ステップＳ１０１）。この色正規化処理についての詳細については後述する。次に、色正規化された画像を入力として、以降、ステップＳ１０２〜ステップＳ１０６の処理を実行するが、これらはそれぞれ上述の図１１のステップＳ１０４０２〜ステップＳ１０４０５に対応するので、ここでは説明を省略する。
【００５３】
次に、ステップＳ１０１の色正規化処理の詳細について説明する。
【００５４】
図３は本発明の実施形態１の画像特徴量抽出対象の画像の一例を示す図である。
【００５５】
２０１は、画像特徴量抽出対象の画像であり、実施形態１では、高さＨ画素、幅Ｗ画素の大きさを有し、ＲＧＢ色空間のＲＧＢ成分の各成分は、ＲＮmin以上ＲＮmax以下、ＧＮmin以上ＧＮmax以下、ＢＮmin以上ＢＮmax以下の値域を取るものとする。これは、例えば、ＲＧＢ成分の各成分８ｂｉｔ整数値（即ち、０以上２５５以下の整数値）で表現されている場合、全色成分とも０以上２５５以下ということになる。
【００５６】
Ｐ（i,j）は、画像２０１の水平方向ｉ、垂直方向ｊの位置の画素の画素値であり、そのＲＧＢ成分は、それぞれｒ_ij、ｇ_ij、ｂ_ijであるとする。また、ｒ_ij、ｇ_ij、ｂ_ijの色変域の最小値及び最大値を、それぞれｒ_min及びｒ_max、g_min及びｇ_max、ｂ_min及びｂ_maxとする。
【００５７】
これらの各色成分の色変域の最小値及び最大値を取得する方法としては、画像２０１の各画素を走査して各画素の画素値を取得し、その取得された画素値の分布から各色成分の最小値及び最大値を取得すればよい。また、予め取得済みであれば、それを本処理の入力として与える方法でも良い。後者の方法の場合、画像２０１の各画素を走査する処理を省略することができ、より効率的となる。
【００５８】
実施形態１では、以下の（１）式を画像２０１の全画素に施すことで、色正規化処理を実現する。即ち、任意の画素値Ｐ（i,j）より正規化画素値Ｐ'（i,j）を算出する。尚、この（１）式は、処理対象画像の色空間の各色成分の値域と、該処理対象画像の各色成分の色変域に基づいて、該処理対象画像を色正規化するものである。
【００５９】

【００６０】
但し、
【００６１】

また、
【００６２】

この色正規化処理を、Ｒ成分を例に挙げて図式化すると、図４のようになる。つまり、色正規化前の画像のＲ成分の色変域ｒ_rangeは、色正規化後はＲＮrangeとなる。尚、図４では、Ｒ成分に対する色正規化処理を例として挙げているが、Ｇ、Ｂ成分についても同様である。
【００６３】
次に、色正規化処理の具体例について、図５を用いて説明する。
【００６４】
図５は本発明の実施形態１の色正規化処理の具体例を示す図である。
【００６５】
図５では、明るさの異なる類似した２つの画像の例を示しており、４０１は明るい環境で撮影された画像である。４１１はやや暗い環境で撮影された画像である。また、画像４０１は前景４０２、４０３と背景４０４、画像４１１は前景４１２、４１３と背景４１４から成る。
【００６６】
例えば、各領域の画素値が
４０２: Ｐ₄₀₂＝(r₄₀₂, g₄₀₂, b₄₀₂)＝(5, 5, 5)
４０３: Ｐ₄₀₃＝(r₄₀₃, g₄₀₃, b₄₀₃)＝(130, 130, 130)
４０４: Ｐ₄₀₄＝(r₄₀₄, g₄₀₄, b₄₀₄)＝(255, 255, 255)
４１２: Ｐ₄₁₂＝(r₄₁₂, g₄₁₂, b₄₁₂)＝(20, 20, 20)
４１３: Ｐ₄₁₃＝(r₄₁₃, g₄₁₃, b₄₁₃)＝(70, 70, 70)
４１４: Ｐ₄₁₄＝(r₄₁₄, g₄₁₄, b₄₁₄)＝(120, 120, 120)
とする。
【００６７】
また、ＲＧＢ各成分の画素値は８ｂｉｔ整数値（即ち、０以上２５５以下の整数値）であるとする。
【００６８】
そして、式（１）を用いて、Ｐ₄₀₂, Ｐ₄₀₃, Ｐ₄₀₄, Ｐ₄₁₂, Ｐ₄₁₃, Ｐ₄₁₄に対して色正規化処理を実行して得られる結果をそれぞれ、Ｐ'₄₀₂, Ｐ'₄₀₃, Ｐ'₄₀₄, Ｐ'₄₁₂, Ｐ'₄₁₃, Ｐ'₄₁₄とすると、以下のようになる。
【００６９】
Ｐ'₄₀₂＝(r'₄₀₂, g'₄₀₂, b'₄₀₂)＝(0, 0, 0)
Ｐ'₄₀₃＝(r'₄₀₃, g'₄₀₃, b'₄₀₃)＝(127.5, 127.5, 127.5)
Ｐ'₄₀₄＝(r'₄₀₄, g'₄₀₄, b'₄₀₄)＝(255, 255, 255)
Ｐ'₄₁₂＝(r'₄₁₂, g'₄₁₂, b'₄₁₂)＝(0, 0, 0)
Ｐ'₄₁₃＝(r'₄₁₃, g'₄₁₃, b'₄₁₃)＝(127.5, 127.5, 127.5)
Ｐ'₄₁₄＝(r'₄₁₄, g'₄₁₄, b'₄₁₄)＝(255, 255, 255)
このように色正規化処理後の画像４０１及び画像４１１は、その画素値が類似するものとなり、明るさが異なるよく似た２つの画像４０１、４１１を同一視することができる。
【００７０】
尚、実施形態１では、式（１）において、ＲＧＢの各色成分について独立に色正規化処理を行ったが、これはあくまでも単なる例示であり、例えば、以下のような式（２）によって色正規化処理を実行しても良い。
【００７１】

【００７２】
但し、
【００７３】

となる色成分ｃを選択し、その色成分ｃの最小値ｃ_min、また、その色成分ｃの色正規化前の最小値ｃ_min、また、その色成分の色正規化後の値域ＣＮrangeを用いるというように、全ての色成分について共通のスケールにより、色正規化を実現するようにしても良い。
【００７４】
また、実施形態１では、ＲＧＢ色空間における色正規化処理を例として説明を行ったが、色正規化に用いられる色空間はＲＧＢ色空間に限定されるものではない。例えば、公知の色変換処理を原画像の各画素に施し、ＹＣｂＣｒ色空間やＬ*ａ*ｂ*色空間等の他の色空間上で色正規化処理を行ってから逆変換により元の色空間に戻して処理を進めるのであっても構わない。
【００７５】
以上説明したように、実施形態１によれば、原画像に対し色正規化処理を施し、この処理結果に基づいて画像特徴量を抽出することで、従来の画像の類似度による類似度判定では類似画像と判定することが困難な関係にある画像群を、類似画像として判定することが可能である。
＜参考の実施形態２＞
実施形態１では、色正規化処理を原画像に対して施す例を説明したが、この色正規化処理の処理対象は原画像に制限されるものではない。例えば、図６のフローチャートに示すように、色正規化処理を原画像を変倍後の画像、例えば、８×８画素の縮小画像に対して施すものであってもよい。
【００７６】
尚、図６のフローチャートのステップＳ５０１〜ステップＳ５０６は、図１のステップＳ１０１〜ステップＳ１０６に対応するが、ステップＳ５０１の色正規化処理に対する入力は、原画像ではなく、原画像を変倍した８×８画素の縮小画像である。つまり、色正規化処理においては、原画像の色空間の各色成分の色変域ではなく、縮小画像の色空間の各色成分の色変域が用いられることになる。また、Color Layout descriptorでは、ＹＣｂＣｒ色空間で表現されているが、適当な公知の色変換を施してから色正規化処理を行い、色正規化後のデータを逆の色変換を施してＹＣｂＣｒ色空間に戻すことにより、任意の色空間で正規化処理を施すことができる。
【００７７】
以上説明したように、実施形態２によれば、色正規化処理の処理対象となる画像が、原画像を変倍した縮小画像であるので、一般にそれより大きい原画像に対して色正規化処理を施すのに比べて処理速度を高速にすることができる。
＜本発明の実施形態＞
本発明の実施形態では、原画像の色変域に基づいて、原画像を変倍した縮小画像に対して色正規化処理を施す例を説明する。
【００７８】
図７は本発明の実施形態の画像特徴量抽出処理を示すフローチャートである。
【００７９】
尚、図７のステップＳ６０１〜Ｓ６０６は、図６のステップＳ５０１〜ステップＳ５０６に対応するので、ここでは説明を省略する。但し、図７では、ステップＳ６０２の前に、ステップＳ６０７として色変域取得処理を実行する。
【００８０】
ステップＳ６０７の色変域取得処理では、実施形態１で説明した原画像の色空間の各色成分、ｒ_ij、ｇ_ij、ｂ_ijの色変域を取得する処理を行う。具体的には、原画像の全画素を走査して各画素の画素値を取得して、原画像の各画素の画素値の分布から各色変域を取得すればよい。そして、この各色成分に対する色変域に基づいて、ステップＳ６０１の色正規化処理を実行する。つまり、ステップＳ６０１の色正規化処理は、実施形態２のステップＳ５０１の色正規化処理のような原画像の縮小画像の各色成分の色変域に基づいて実行するのではなく、原画像の各色成分の色変域に基づいて実行する。
【００８１】
尚、原画像がＲＧＢ色空間以外の色空間で表現されている場合は、適当な公知の色空間変換処理を施せばよい。また、ここでは、例として、ＲＧＢ色空間を用いているが、適当な公知の色変換処理を施すことにより、ＲＧＢ色空間以外の色変域を得るのでも良い。あるいは、この色変域が予め取得済みであれば、それをステップＳ６０１の入力として与えるのでも良く、その場合、ステップＳ６０７の処理は、省略することが可能である。
【００８２】
以上説明したように、本発明の実施形態によれば、実施形態２が処理の高速化という利点がある一方で、変倍画像から色正規化処理を行うため原画像の持つ色正規化処理前の原画像の色変域を忠実に再現できないという特徴があるのに対して、本発明の実施形態では、色正規化処理前に原画像の色変域を取得してそれを利用して色正規化処理を実行するので、より原画像の特徴に忠実な画像特徴量の抽出が可能となる。加えて、実施形態１と比較して、色正規化処理の計算コストを削減することができる。
＜参考の実施形態４＞
実施形態２における色正規化処理は、色変換処理前の縮小画像に対して行うものであったが、例えば、図８に示すように、色変換処理後の画像に対して色正規化処理を行っても良い。
【００８３】
尚、図８のフローチャートのステップＳ７０１〜ステップＳ７０６は、図６のステップＳ５０１〜ステップＳ５０６に対応するが、ステップＳ７０１の色正規化処理に対する入力は、ＲＧＢ成分の色空間の画像ではなく、ＹＣｒＣｂ成分の色空間の画像となる。また、この時の色正規化処理は、上述の式（１）や（２）のＲＧＢ成分に対応する式をＹＣｒＣｂに置き換えることで実現できる。
＜参考の実施形態５＞
本発明の実施形態における色正規化処理は、原画像の各色成分の色変域を取得し、それを用いて、画像変倍処理後の縮小画像に対して行うものであったが、例えば、図９に示すように、色変換処理後の画像に対して色正規化処理を行っても良い。
【００８４】
尚、図９のフローチャートのステップＳ８０１〜ステップＳ８０６は、図７のステップＳ６０１〜ステップＳ６０６に対応するが、ステップＳ８０７の色変域取得処理では、ステップ６０８の色変換処理を原画像に施した画像の各色成分の色変域を取得する。また、ステップＳ８０１の色正規化処理に対する入力は、実施形態４と同様、ＲＧＢ成分の色空間の画像ではなく、ＹＣｒＣｂ成分の色空間の画像となり、この時の色正規化処理は、上述の式（１）や（２）のＲＧＢ成分に対応する式をＹＣｒＣｂに置き換えることで実現できる。
【００８５】
尚、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００８６】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００８７】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８８】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、ＤＶＤ−ＲＯＭ／ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００８９】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９０】
更に、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００９２】
【発明の効果】
以上説明したように、本発明によれば、従来の画像の類似度による類似度判定では類似画像と判定することが困難な関係にある画像群を、類似画像として判定することが可能な画像特徴量を抽出できる画像処理装置及びその方法、プログラムを提供できる。
【図面の簡単な説明】
【図１】本発明の各実施形態で適用可能な画像処理装置の構成を示すブロック図である。
【図２】本発明の参考の実施形態１の画像特徴量抽出処理の示すフローチャートである。
【図３】本発明の参考の実施形態１の画像特徴量抽出対象の画像の一例を示す図である。
【図４】本発明の参考の実施形態１の色正規化処理を説明するための図である。
【図５】本発明の参考の実施形態１の色正規化処理の具体例を示す図である。
【図６】本発明の参考の実施形態２の画像特徴量抽出処理の示すフローチャートである。
【図７】本発明の実施形態の画像特徴量抽出処理を示すフローチャートである。
【図８】本発明の参考の実施形態４の画像特徴量抽出処理を示すフローチャートである。
【図９】本発明の参考の実施形態５の画像特徴量抽出処理を示すフローチャートである。
【図１０】 [VWD4.0]もしくは[VXM7.0]に記載されている「Color Layout descriptor」における画像特徴量抽出処理を説明するための図である。
【図１１】 [VWD4.0]もしくは[VXM7.0]による画像特徴抽出処理を示すフローチャートである。
【図１２】ジグザグスキャン処理を説明するための図である。
【図１３】 [VWD4.0]もしくは[VXM7.0]に記載されているColor Layout descriptorのバイナリ構造を示す図である。
【図１４】 [VWD4.0]もしくは[VXM7.0]に記載されているColor Layout descriptorのバイナリ構造を示す図である。

Claims

画像の特徴量を抽出する画像処理装置であって、
入力画像を入力する入力手段と、
前記入力画像の色空間の各色成分の色変域を取得する色変域取得手段と、
前記入力画像を変倍して縮小画像を生成する変倍手段と、
前記入力画像の色空間の各色成分の値域と、前記色変域取得手段で取得した各色成分の色変域とに基づいて、前記変倍手段によって生成された縮小画像を色正規化する色正規化手段と、
前記色正規化手段で色正規化された画像をＤＣＴするＤＣＴ手段と、
前記ＤＣＴ手段によって得られるＤＣＴ係数を量子化する量子化手段と、
前記量子化手段によって得られる量子化ＤＣＴ係数群の内、低周波数成分側から所定範囲内の量子化ＤＣＴ係数を、前記入力画像の画像特徴量として選択する選択手段と
を備えることを特徴とする画像処理装置。
画像の特徴量を抽出する画像処理方法であって、
入力画像を入力する入力工程と、
前記入力画像の色空間の各色成分の色変域を取得する色変域取得工程と、
前記入力画像を変倍して縮小画像を生成する変倍工程と、
前記入力画像の色空間の各色成分の値域と、前記色変域取得工程で取得した各色成分の色変域とに基づいて、前記変倍工程によって生成された縮小画像を色正規化する色正規化工程と、
前記色正規化工程で色正規化された画像をＤＣＴするＤＣＴ工程と、
前記ＤＣＴ工程によって得られるＤＣＴ係数を量子化する量子化工程と、
前記量子化工程によって得られる量子化ＤＣＴ係数群の内、低周波数成分側から所定範囲内の量子化ＤＣＴ係数を、前記入力画像の画像特徴量として選択する選択工程と
を備えることを特徴とする画像処理方法。