JP4261525B2 - 代表カラーの空間密集成分を量子化する方法 - Google Patents

Description

本発明は、与えられたイメージ領域の代表カラーを、その領域の代表カラー値、その代表カラーの頻度数（代表カラーが与えられた領域で占める比率）、及び、これら代表カラーに対する空間密集成分（spatial coherency）として表現する際に用いられる前記空間密集成分を所定の臨界値に基づいて量子化する代表カラーの空間密集度量子化方法に関する。

従来のイメージ検索システムでイメージ検索のためにイメージをｎ×ｍ個のグリッドに分割して、各々の分割されたセルに対してカラーヒストグラムを求めてその最大値をそのセルに対する領域代表カラー値と定める方法と、カラーヒストグラムの平均値をその領域の代表カラー値と定める方法、主要色相ベクトルをその領域の代表カラー値と定める方法などが提示されている。

すなわち、代表カラーを求める方法としては領域の平均カラー値を利用する方法、最も多くあらわれる一つのカラーで表現する方法、多くあらわれるｎ種類のカラーで表現する方法、定められた領域でｐ％以上であるカラーを利用する方法、ヒストグラムを利用する方法などがある。

このように代表カラーを表現する各方法はそれなりの長所を有する。例えば、ヒストグラムはデータ量が多く、ごく少ない部分を占めるカラーも不必要に領域代表カラー値とすることがあるが、詳細に表現するという長所を有する。領域の平均カラー値の一つをその領域の代表カラー値として表現する場合は、代表カラー値がその領域のカラーの特徴を一つの平均カラー値に含めて表現する長所と、内容ベースの検索の前処理機能を発揮できるが、領域のカラーが色々に構成されている場合正確に表現するのが難しい。

しかし、イメージはその特性が多様で、カラーも一種類のカラー値で表現するのは難しい場合が大部分であるので、上記のようにイメージ領域を代表するカラー値一つの情報のみで表現することはイメージの特徴を表現するのに不適切なだけでなく、精密なイメージ特徴のデータベース化やこれを利用したイメージ検索性能を落とす原因になった。

なお、多様なカラーを利用して領域の代表カラー値を表現する場合は記憶空間が多く必要とするだけでなく、そのカラーの相互関係の表現を正確に伝えることが難しいということがあって、また与えられたイメージ領域のカラー分布によって代表カラー値を定めることが難しい場合が多く、そのような場合、定めた領域の代表カラー値には正確性がない。

このような点を勘案して、与えられたイメージ領域のカラー情報を表現する際に、領域やイメージ領域をいくつかの代表カラーとそれぞれの代表カラーの頻度数（与えられた領域で代表カラーが占める比率、％で示す）で示して、これら代表カラーに対して空間密集成分（信頼度ともいう）を示して、この信頼度をイメージ検索時に代表カラーと一緒に用いることによって検索性能を向上させる技法が提案されたことがある。（大韓民国特許出願第１９９９−２６７８４号、大韓民国特許出願第１９９９−３１８１号）。

ここで空間密集成分とは、与えられたイメージ領域でその代表カラーがどれだけ信頼できるのかを示す情報であり、与えられたイメージ領域でその代表カラーがどれだけ密集して混ざっているかを示す情報として表現できる。

このように空間密集成分を代表カラーと一緒に表現することによって、そのイメージを検索する時その代表カラー値がどれだけ信頼できるのかが分かるので、それをも利用してイメージ検索を実行することによってさらに高い検索性能をもたらすことができる。

したがって、代表カラーがどれだけ信頼できるのかを空間密集成分がどれだけよく示しているかによってイメージ検索の性能は左右される。

それゆえ、空間密集成分の単純な均等量子化だけでは前で説明したように多様なイメージの特性を反映するのが難しい。したがって、空間密集成分に対するさらによい量子化技法が要求されている。

本発明は前述したような問題点を解決するためのものであり、本発明の目的は、マルチメディアデータ検索のためにそのマルチメディアデータの特徴を表す要素として代表カラーを用いる時、前記代表カラーがその代表カラー値、頻度数及び空間密集成分とともに表現され、前記空間密集成分が所定の設定された臨界値を基準にして所定の区間に分けられ、各区間に該当する空間密集成分値を予め定めた特定値に量子化したり、特定区間に対しては均等量子化することによって、空間密集成分が全体的にみたとき非均等量子化となるようにして、相対的に少ないビット数を用いるにもかかわらず、空間密集成分がその代表カラーがどれだけ信頼できるのかをよりよく示すことができるようにして、検索性能を高めることができるようにした代表カラー設定方法を提供することにある。

前記の目的を達成するための本発明は、与えられたイメージ領域を代表するカラー値と一緒にその代表カラー値に対する空間密集成分ＳＣを表現する時、前記空間密集成分ＳＣを所定の設定された臨界値と比較し、その空間密集成分ＳＣを前記臨界値と比較した結果によってその空間密集成分ＳＣに対応する量子化値ＱＳＣをマッピングさせて非均等量子化させることを特徴とする代表カラー設定方法である。

前記臨界値は０．７０であることが望ましい。
前記空間密集成分（ＳＣ＝０ないし１間の値）はそれが０の場合を空間密集成分ＳＣが有効でないという意味に使用することが望ましい。

また、前記空間密集成分ＳＣが臨界値０．７０より小さな場合は、その空間密集成分ＳＣに対する量子化値を１にマッピングさせ（ＱＳＣ＝１）、臨界値０．７０から１までの区間に対しては量子化に残されたビット数で均等量子化を行うことが望ましく、その際、その均等量子化は、量子化された空間密集成分ＱＳＣ＝（ｉｎｔ）［（ＳＣ−０．７）／（１．０−０．７）×（２．０^SC＿BIT−２．０）＋０．５］＋２、（但し、ＳＣ＿ＢＩＴは量子化に割り当てられたビット数）でなされることが望ましい。

また、前記空間密集成分ＳＣを１ビットで量子化して、空間密集成分ＳＣが臨界値０．７０より小さければＱＳＣ＝０、空間密集成分ＳＣが臨界値０．７０より大きければＱＳＣ＝１と量子化することもある。

さらに、前記臨界値は、一つではなく、第１臨界値０．６２と第２臨界値０．７０の二つに設定しても良い。

さらに、空間密集成分ＳＣを２ビット以上で量子化して、空間密集成分ＳＣがＳＣ＜０．６２であればＱＳＣ＝０、０．６２≦ＳＣ＜０．７０であればＱＳＣ＝１、そしてＳＣ≧０．７０であれば空間密集成分ＳＣ値の範囲０．７０から１までの区間に対して量子化に残されたビット数で均等量子化を行い、その際、均等量子化は、量子化された空間密集成分ＱＳＣ＝（ｉｎｔ）[（ＳＣ−０．７）／（１．０−０．７）×（２．０^SC＿BIT−３．０）＋０．５]＋２、（但し、ＳＣ＿ＢＩＴは量子化に割り当てられたビット数）でなされることが望ましい。

以上説明したように、本発明はイメージ検索のための代表カラーがその代表カラー値、頻度数及び空間密集成分とともに表現されて、前記空間密集成分を所定の臨界値を基準にして非均等量子化しているので、相対的に少ないビット数を用いるにもかかわらず空間密集成分がその代表カラーがどれだけ信頼できるのかをさらによく示すことができるようになり、イメージ検索時のさらに向上された検索性能を保障する。

前記した本発明の空間密集成分を利用した代表カラー設定方法を添付された図面を参照してさらに詳細に説明する。

まず、本発明は前で説明したように領域やイメージ領域をいくつかの代表カラーとこれら各々の頻度数（与えられた領域で代表カラーが占める比率）で示し、さらに、これら代表カラーに対して空間密集成分ＳＣを示して、これを検索時、代表カラーと一緒に用いることによって検索性能を高めるようとするものである。

ここで、代表カラーを求める方法には領域の平均カラー値を利用する方法、最も多くあらわれる一つのカラーで表現する方法、多くあらわれるｎ種類のカラーで表現する方法、定められた領域でｐ％以上であるカラーを利用する方法、ヒストグラムを利用する方法などがあり得る。

空間密集成分（ＳＣ）は、領域やイメージ全体のすべての代表カラーに対して一つの値として表現する。

既に言及したように本発明では空間密集成分値を非均等な量子化方法で量子化して表現することによって検索性能を高める。

空間密集成分ＳＣは、ＳＣ＝Σ_{for all i}（ＣＯＨ＿Ｃｉ×ＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉ／ＴＯＴＡＬ＿ＰＥＬＳ＿ＯＦ＿Ｒ）で求められる。ここでＣＯＨ＿ＣｉはＣｉの代表カラー密集比率、ＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉは与えられた領域ＲでＣｉのピクセル数、ＴＯＴＡＬ＿ＰＥＬＳ＿ＯＦ＿Ｒは与えられた領域Ｒでピクセルをカウントして計算された領域Ｒの大きさである。

このように前記空間密集成分ＳＣを求める手順を説明すると、
ＳＣ値を初期値０に設定して（Ｓｅｔ ＳＣ＝０）、ピクセル値をカウントするための変数値（ＳＵＭ＿ＣＯＵＮＧ＿ＰＥＬＳ）を０に設定する。

そして、与えられた領域Ｒ内のすべてのピクセルに対して、ＶＩＳＩＴＥＤ ＰＥＬｐ＝ＦＡＬＳＥに設定して、すべての代表カラーＣｉを考慮してＣＯＨ＿ＣｉとＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉを求める。変数ｐは任意のピクセルであることを示している。

次にはＳＣ＝ＳＣ＋ＣＯＨ＿Ｃｉ×ＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉを求めて、このように求められたＳＣに対してＳＣ／ＴＯＴＡＬ＿ＰＥＬＳ＿ＯＦ＿Ｒを計算することによって最終的に空間密集成分ＳＣを求める。

前記空間密集成分を求める過程でＣＯＨ＿ＣｉとＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉは次のように求めることができる。

まず、密集程度を検索するためのマスク、すなわちＣＣＭ（Coherency Checking Mask)のサイズを設定するが、例えばＣＣＭ＿ＷＩＤＴＨ（マスク幅＝３）×ＣＣＭ＿ＨＥＩＧＨＴ（マスク高さ＝３）に設定する。なお、この例示の具体的数字はピクセル数による。そして初期のＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉ＝０、ＴＯＴＡＬ＿ＮＵＭ＿ＣＯＨＥＲＥＮＴ＝０に設定して、与えられた領域Ｒ内のすべてのピクセルＰＥＬｊに対して、Ｃｉ＝＝ＣＯＬＯＲ＿ＯＦ＿ＰＥＬｊ ＆ ＶＩＳＩＴＥＤ＿ＰＥＬｊ＝＝ＦＡＬＳＥであればＶＩＳＩＴＥＤ＿ＰＥＬｊ＝ＴＲＵＥ、ＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉ＝ＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉ＋１でＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉを増やして、そのピクセル（ＰＥＬｊ）をＣＣＭのセンターに合わせる。変数ｊは任意のピクセルであることを示している。これは次のような作業のためのものである。

すなわち、センターピクセルＰＥＬｊを除いてすべてのマスキングされたピクセルｋ（ＭＡＳＫＥＤ＿ＰＩＸＥＬｋ）に対して、Ｃｉ＝＝ＣＯＬＯＲ＿ＯＦ＿ＭＡＳＫＥＤ＿ＰＩＸＥＬｋであれば、ＴＯＴＡＬ＿ＮＵＭ＿ＣＯＨＥＲＥＮＴ＋＋に増やすためである。

次にはＣＯＨ＿Ｃｉ＝ＴＯＴＡＬ＿ＮＵＭ＿ＣＯＨＥＲＥＮＴ／ＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉ／（ＣＣＭ＿ＷＩＤＴＨ＊ＣＣＭ＿ＨＥＩＧＨＴ−１）でＣＯＨ＿Ｃｉを計算して、このようにして求められたＣＯＨ＿ＣｉとＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉから前で説明したように空間密集成分ＳＣを、ＳＣ＝Σ_{for all i}（ＣＯＨ＿Ｃｉ×ＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉ／ＴＯＴＡＬ＿ＰＥＬＳ＿ＯＦ＿Ｒ）で求めることである。

前記アルゴリズムで空間密集成分ＳＣを求めればＳＣ値は０から１までの実数として得ることができるが、これを１ビット、２ビット、３ビット、４ビット或いは５ビットで示すためには量子化が必要である。

空間密集成分ＳＣを１ビットで量子化すればＱＳＣ（量子化されたＳＣ）は０或いは１の値となり、２ビットで量子化すればＱＳＣ（量子化されたＳＣ）は０、１、２或いは３の値となり、３ビットで量子化すればＱＳＣ（量子化されたＳＣ）は０、１、２、３、４、５、６、７の値となり、４ビットで量子化すればＱＳＣ（量子化されたＳＣ）は０、１、．．．、１５の値となり、５ビットで量子化すればＱＳＣ（量子化されたＳＣ）は０、１、．．．、３１の値となる。

このように空間密集成分ＳＣを量子化するための方法ではＳＣを等分して各々の量子化値にマッピングさせる均等量子化方法、或いは０〜１だけを他の区間に分けて各々の量子化値にマッピングさせる非均等量子化方法があるが、本発明は非均等量子化方法を適用することによって相対的に少ないビット数を用いるにもかかわらず検索性能を高めることができるようにした。

本発明による空間密集成分ＳＣの非均等量子化方法は、量子化値に０を用いない場合と、量子化値に０を用いる場合に分けることができる。

量子化値に０を用いないという点は０が他の意味すなわち「ＳＣが有効でない」という意味に用いるためである。例えば空間密集成分ＳＣを２ビットで量子化する時量子化されたＳＣ、すなわちＱＳＣは１、２或いは３にマッピングされる。

以下、添付した図面を参照しながら本発明の実施形態をより詳細に説明する。
図１は本発明の第１実施形態であって、量子化値に０を用いない場合であり、非均等量子化のための臨界値０．７０を適用した場合である。

まず、段階１０１では前で説明したように空間密集成分ＳＣを計算する。その次の段階１０２では空間密集成分ＳＣを臨界値０．７０と比較する。空間密集成分ＳＣが０．７０より小さければ段階１０３に移行してＱＳＣ＝１にマッピングし、一方、空間密集成分ＳＣが０．７０以上であれば空間密集成分ＳＣの範囲である０．７０から１までの区間に対して量子化に残されたビット数で均等量子化を行う（段階１０４）。

すなわち、均等量子化の例で段階１０５に示したように、
ＱＳＣ＝（ｉｎｔ）[（ＳＣ−０．７）／（１．０−０．７）×（２．０^SC＿BIT−２．０）＋０．５]＋２を適用する。
ここで、ＳＣ＿ＢＩＴは、量子化に割り当てられたビット数すなわち、ＳＣ＿ＢＩＴ＝２ビット、３ビット、４ビット或いは５ビットである。

図２及び図３は、本発明の第２実施形態及び第３実施形態であって、量子値０を用いて空間密集成分ＳＣを量子化する場合である。

もし、量子化値０を用いて空間密集成分ＳＣを量子化するなら、その量子化値に０を含めて表現できる。したがって、例えば２ビットで量子化する時量子化されたＳＣ、すなわちＱＳＣは０、１、２、３にマッピングされる。

図２は、空間密集成分ＳＣを量子化するとき、量子値０を用い、かつ１ビットだけで空間密集成分ＳＣを量子化する場合を示す。

まず、段階２０１では前記したように空間密集成分ＳＣを計算して、その次の段階２０２では空間密集成分ＳＣを臨界値０．７０と比較する。

その比較結果、空間密集成分ＳＣが０．７０より小さければＱＳＣは０の量子値にマッピングされて、空間密集成分が０．７０より大きければ１の量子値にマッピングされる。

一方、空間密集成分ＳＣを１ビット以上２、３、４、５ビットを用いて量子化する時、量子値ＱＳＣは図３の本発明第３実施形態のように求めることができる。

まず、段階３０１では、空間密集成分ＳＣを求めて、その次の段階３０２では空間密集成分ＳＣを臨界値０．６２及び臨界値０．７０と比較する。

比較結果、もし空間密集成分ＳＣが臨界値０．６２より小さければＱＳＣを量子化値０にマッピングし（段階３０３）、空間密集成分ＳＣが臨界値０．６２に同じか大きく、臨界値０．７０より小さければＱＳＣを量子化値１にマッピングする（段階３０４）。

そして空間密集成分ＳＣが臨界値０．７０以上であればそのＳＣ値範囲０．７０から１までの区間に対して量子化に残されたビット数で均等量子化を行う（段階３０５）。

すなわち、均等量子化の例として段階１０５に示したように、
ＱＳＣ＝（ｉｎｔ）[（ＳＣ−０．７）／（１．０−０．７）×（２．０^SC＿BIT−３．０）＋０．５]＋２を適用する。
ここで、ＳＣ＿ＢＩＴは、量子化に割り当てられたビット数すなわち、ＳＣ＿ＢＩＴ＝２ビット、３ビット、４ビット或いは５ビットである。

前記したようにイメージやあるイメージ領域をその領域を代表する代表カラーで表現する時、その代表カラーの頻度数と代表カラーの空間密集成分ＳＣを一緒に表現して、この時空間密集成分ＳＣを非均等量子化方法を適用して量子化することにより相対的に少ないビット数を用いても検索性能を高めることができる。

前記代表カラー情報（代表カラー、頻度数、ＳＣ）を利用したイメージ検索のために、あるイメージ領域（或いはイメージ全体）と他のイメージ領域を比較する時、各々のイメージ領域に対して抽出されたいくつかの代表カラーとこれら代表カラー各々の頻度数（与えられた領域で代表カラーが占める比率）、これら代表カラーに対して空間密集成分ＳＣの値を相互に突き合わせてみることによって比較検索を行うことができる。

すなわち、比較対象になる二つイメージ領域（或いはイメージ全体）間の類似度を反映する差値Ｄｉｆｆ（Ｄ１、Ｄ２）を、Ｄｉｆｆ（Ｄ１、Ｄ２）＝Ｗ１×ＳＣ＿Ｄｉｆｆ×ＤＣ＿Ｄｉｆｆ＋Ｗ２×ＤＣ＿Ｄｉｆｆとして計算して、両イメージ領域（或いはイメージ全体）がどれだけ類似しているかを検索することができる。
ここでＷ１は、ＳＣ＿Ｄｉｆｆに対する加重値で例えばＷ１＝０．３に設定できるが、空間密集成分ＳＣが有効でない場合Ｗ１＝０に設定する。そしてＷ２は右辺２番目の項ＤＣ＿Ｄｉｆｆに対する加重値で例えばＷ２＝０．７に設定することができる。
そして、ＳＣ＿Ｄｉｆｆは、比較対象である二つのイメージ領域（或いはイメージ全体）の各々の空間密集成分ＳＣの差の絶対値であり、ＤＣ＿Ｄｉｆｆは比較対象である両イメージ領域（或いはイメージ全体）各々の代表カラー値の差である。

本発明の代表カラー設定方法で空間密集成分ＳＣの量子化方法第１実施形態を示したフローチャートである。 本発明の代表カラー設定方法で空間密集成分ＳＣの量子化方法第２実施形態を示したフローチャートである。 本発明の代表カラー設定方法で空間密集成分ＳＣの量子化方法第３実施形態を示したフローチャートである。

Claims (2)

1. 与えられたイメージ領域における少なくとも１つの代表カラーの空間密集成分を量子化する方法であって、
   前記空間密集成分は代表カラー毎の空間密集成分の加重された和であり、その代表カラー毎の空間密集成分の加重された和を０から１に正規化する過程を含み、その加重は前記イメージ領域における各代表カラーの画素数に比例し、更に、正規化された空間密集成分を１から３１の範囲に非均等に量子化する過程を含み、０．７より小さな空間密集成分の正規化された値は、量子化値である１に設定し、０．７から１の空間密集成分の正規化された値は、２から３１にわたる量子化範囲に均等に量子化することを特徴とする代表カラーの空間密集成分を量子化する方法。
2. 量子化された空間密集成分が算出されないときは、量子化値を０に設定する過程を含むことを特徴とする請求項１に記載の代表カラーの空間密集成分を量子化する方法。

Images