JP4052837B2 - イメージ領域を描写する方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はマルチメディアデータ検索のためにマルチメディアデータの特徴を表す情報が代表カラーを含む時、その代表カラーを設定する方法に係り、例えばイメージ検索システムに適用するための代表カラー値を指定する際、与えられたイメージ領域の代表カラー値を、その領域の代表カラー値、その代表カラーの頻度数（代表カラーが与えられた領域で占める比率）、そしてこれら代表カラーに対する空間密集成分（spatial coherency）と一緒に表現して代表カラーを指定する方法に関する。
【０００２】
さらに詳細には本発明は前記代表カラーを設定するために用いられる空間密集成分を所定の臨界値に基づいて量子化することを特徴とする代表カラー設定方法に関する。
【０００３】
特に本発明は代表カラーを設定するために用いられる空間密集成分を量子化する時、一つまたはそれ以上の臨界値を基準にして空間密集成分が臨界値によって分けられる区間中でどの区間に属しているかによって予め定めた値に指定したり或いは特定の区間に対しては均等量子化を遂行して代表カラー値を表現することを特徴とする代表カラー設定方法に関する。
【０００４】
【従来の技術】
従来のイメージ検索システムでイメージ検索のためにイメージをｎ×ｍ個のグリッドに分割して、各々の分割されたセルに対してカラーヒストグラムを求めてその最大値をそのセルに対する領域代表カラー値と定める方法と、カラーヒストグラムの平均値をその領域の代表カラー値と定める方法、主要色相ベクトルをその領域の代表カラー値と定める方法などが提示されている。
【０００５】
すなわち、代表カラーを求める方法としては領域の平均カラー値を利用する方法、最も多くあらわれる一つのカラーで表現する方法、多くあらわれるｎ種類のカラーで表現する方法、定められた領域でｐ％以上であるカラーを利用する方法、ヒストグラムを利用する方法などがある。
【０００６】
このように代表カラーを表現する各方法はそれなりの長所を有する。例えば、ヒストグラムはデータ量が多く、ごく少ない部分を占めるカラーも不必要に領域代表カラー値とすることがあるが、詳細に表現するという長所を有する。領域の平均カラー値の一つをその領域の代表カラー値として表現する場合は、代表カラー値がその領域のカラーの特徴を一つの平均カラー値に含めて表現する長所と、内容ベースの検索の前処理機能を発揮できるが、領域のカラーが色々に構成されている場合正確に表現するのが難しい。
【０００７】
しかし、イメージはその特性が多様で、カラーも一種類のカラー値で表現するのは難しい場合が大部分であるので、上記のようにイメージ領域を代表するカラー値一つの情報のみで表現することはイメージの特徴を表現するのに不適切なだけでなく、精密なイメージ特徴のデータベース化やこれを利用したイメージ検索性能を落とす原因になった。
【０００８】
なお、多様なカラーを利用して領域の代表カラー値を表現する場合は記憶空間が多く必要とするだけでなく、そのカラーの相互関係の表現を正確に伝えることが難しいということがあって、また与えられたイメージ領域のカラー分布によって代表カラー値を定めることが難しい場合が多く、そのような場合、定めた領域の代表カラー値には正確性がない。
【０００９】
このような点を勘案して、与えられたイメージ領域のカラー情報を表現する際に、領域やイメージ領域をいくつかの代表カラーとそれぞれの代表カラーの頻度数（与えられた領域で代表カラーが占める比率、％で示す）で示して、これら代表カラーに対して空間密集成分（信頼度ともいう）を示して、この信頼度をイメージ検索時に代表カラーと一緒に用いることによって検索性能を向上させる技法が提案されたことがある。（大韓民国特許出願第１９９９−２６７８４号、大韓民国特許出願第１９９９−３１８１号）。
【００１０】
ここで空間密集成分とは、与えられたイメージ領域でその代表カラーがどれだけ信頼できるのかを示す情報であり、与えられたイメージ領域でその代表カラーがどれだけ密集して混ざっているかを示す情報として表現できる。
【００１１】
このように空間密集成分を代表カラーと一緒に表現することによって、そのイメージを検索する時その代表カラー値がどれだけ信頼できるのかが分かるので、それをも利用してイメージ検索を実行することによってさらに高い検索性能をもたらすことができる。
【００１２】
したがって、代表カラーがどれだけ信頼できるのかを空間密集成分がどれだけよく示しているかによってイメージ検索の性能は左右される。
【００１３】
それゆえ、空間密集成分の単純な均等量子化だけでは前で説明したように多様なイメージの特性を反映するのが難しい。したがって、空間密集成分に対するさらによい量子化技法が要求されている。
【００１４】
【発明が解決しようとする課題】
本発明は前述したような問題点を解決するためのものであり、本発明の目的は、マルチメディアデータ検索のためにそのマルチメディアデータの特徴を表す要素として代表カラーを用いる時、前記代表カラーがその代表カラー値、頻度数及び空間密集成分とともに表現され、前記空間密集成分が所定の設定された臨界値を基準にして所定の区間に分けられ、各区間に該当する空間密集成分値を予め定めた特定値に量子化したり、特定区間に対しては均等量子化することによって、空間密集成分が全体的にみたとき非均等量子化となるようにして、相対的に少ないビット数を用いるにもかかわらず、空間密集成分がその代表カラーがどれだけ信頼できるのかをよりよく示すことができるようにして、検索性能を高めることができるようにした代表カラー設定方法を提供することにある。
【００１５】
【課題を解決するための手段】
前記の目的を達成するための本発明は、少なくとも１つの代表カラーと前記代表カラーに対応する空間密集成分ＳＣを利用してイメージ領域を描写する方法であって、代表カラーＣｉの代表カラー密集比率の総数を代表カラーＣｉのピクセル数で割った値を、密集程度を検索するためのマスクサイズから１を減じた値で割って１つの代表カラーＣｉに対応する代表カラー密集比率ＣＯＨ＿Ｃｉとして求め、それぞれの代表カラーＣｉに対応する代表カラー密集比率ＣＯＨ＿Ｃｉに、イメージ領域内の前記代表カラーＣｉのピクセル数を乗算し、さらにこの乗算値を前記イメージ領域内の全ピクセル数で割った値が、前記イメージ領域内の全ての代表カラーについて加算されて、この加算値が前記空間密集成分ＳＣとして表され、０．７より小さい正規化された空間密集成分ＳＣの値を量子化値である１に量子化し、かつ０．７から１の正規化された空間密集成分ＳＣの値を２から３１の量子化範囲に均等に量子化することにより、３１のビンを使って少なくとも１つの代表カラーの正規化された空間密集成分ＳＣを描写する過程を含むことを特徴とする。
【００１６】
ここで、量子化された空間密集成分ＳＣが算出されないときに、量子化された値を０に設定する過程を含むことを特徴とする。
【００１７】
また、空間密集成分ＳＣに、５ビットという所定のビット数を割り当てる過程を含み、前記５ビットが０から３１にわたる範囲の整数を表すために使用されることを特徴とする。
【００１８】
また、空間密集成分ＳＣを０から１に正規化する過程と、空間密集成分ＳＣに、５ビットという所定のビット数を割り当てる過程とを含み、前記５ビットが、０から３１にわたる範囲の整数を表すために使用されることを特徴とする。
【００２１】
【発明の実施の形態】
前記した本発明の空間密集成分を利用した代表カラー設定方法を添付された図面を参照してさらに詳細に説明する。
【００２２】
まず、本発明は前で説明したように領域やイメージ領域をいくつかの代表カラーとこれら各々の頻度数（与えられた領域で代表カラーが占める比率）で示し、さらに、これら代表カラーに対して空間密集成分ＳＣを示して、これを検索時、代表カラーと一緒に用いることによって検索性能を高めるようとするものである。
【００２３】
ここで、代表カラーを求める方法には領域の平均カラー値を利用する方法、最も多くあらわれる一つのカラーで表現する方法、多くあらわれるｎ種類のカラーで表現する方法、定められた領域でｐ％以上であるカラーを利用する方法、ヒストグラムを利用する方法などがあり得る。
【００２４】
空間密集成分（ＳＣ）は、領域やイメージ全体のすべての代表カラーに対して一つの値として表現する。
【００２５】
既に言及したように本発明では空間密集成分値を非均等な量子化方法で量子化して表現することによって検索性能を高める。
【００２６】
空間密集成分ＳＣは、ＳＣ＝Σ_{for all i}（ＣＯＨ＿Ｃｉ×ＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉ／ＴＯＴＡＬ＿ＰＥＬＳ＿ＯＦ＿Ｒ）で求められる。ここでＣＯＨ＿ＣｉはＣｉの代表カラー密集比率、ＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉは与えられた領域ＲでＣｉのピクセル数、ＴＯＴＡＬ＿ＰＥＬＳ＿ＯＦ＿Ｒは与えられた領域Ｒでピクセルをカウントして計算された領域Ｒの大きさである。
【００２７】
このように前記空間密集成分ＳＣを求める手順を説明すると、
ＳＣ値を初期値０に設定して（Ｓｅｔ ＳＣ＝０）、ピクセル値をカウントするための変数値（ＳＵＭ＿ＣＯＵＮＧ＿ＰＥＬＳ）を０に設定する。
【００２８】
そして、与えられた領域Ｒ内のすべてのピクセルに対して、ＶＩＳＩＴＥＤ＿ＰＥＬｐ＝ＦＡＬＳＥに設定して、すべての代表カラーＣｉを考慮してＣＯＨ＿ＣｉとＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉを求める。変数ｐは任意のピクセルであることを示している。
【００２９】
次にはＳＣ＝ＳＣ＋ＣＯＨ＿Ｃｉ×ＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉを求めて、このように求められたＳＣに対してＳＣ／ＴＯＴＡＬ＿ＰＥＬＳ＿ＯＦ＿Ｒを計算することによって最終的に空間密集成分ＳＣを求める。
【００３０】
前記空間密集成分を求める過程でＣＯＨ＿ＣｉとＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉは次のように求めることができる。
【００３１】
まず、密集程度を検索するためのマスク、すなわちＣＣＭ（Coherency Checking Mask)のサイズを設定するが、例えばＣＣＭ＿ＷＩＤＴＨ（マスク幅＝３）×ＣＣＭ＿ＨＥＩＧＨＴ（マスク高さ＝３）に設定する。なお、この例示の具体的数字はピクセル数による。そして初期のＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉ＝０、ＴＯＴＡＬ＿ＮＵＭ＿ＣＯＨＥＲＥＮＴ＝０に設定して、与えられた領域Ｒ内のすべてのピクセルＰＥＬｊに対して、Ｃｉ＝＝ＣＯＬＯＲ＿ＯＦ＿ＰＥＬｊ ＆ ＶＩＳＩＴＥＤ＿ＰＥＬｊ＝＝ＦＡＬＳＥであればＶＩＳＩＴＥＤ＿ＰＥＬｊ＝ＴＲＵＥ、ＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉ＝ＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉ＋１でＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉを増やして、そのピクセル（ＰＥＬｊ）をＣＣＭのセンターに合わせる。変数ｊは任意のピクセルであることを示している。これは次のような作業のためのものである。
【００３２】
すなわち、センターピクセルＰＥＬｊを除いてすべてのマスキングされたピクセルｋ（ＭＡＳＫＥＤ＿ＰＩＸＥＬｋ）に対して、Ｃｉ＝＝ＣＯＬＯＲ＿ＯＦ＿ＭＡＳＫＥＤ＿ＰＩＸＥＬｋであれば、ＴＯＴＡＬ＿ＮＵＭ＿ＣＯＨＥＲＥＮＴ＋＋に増やすためである。
【００３３】
次にはＣＯＨ＿Ｃｉ＝ＴＯＴＡＬ＿ＮＵＭ＿ＣＯＨＥＲＥＮＴ／ＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉ／（ＣＣＭ＿ＷＩＤＴＨ＊ＣＣＭ＿ＨＥＩＧＨＴ−１）でＣＯＨ＿Ｃｉを計算して、このようにして求められたＣＯＨ＿ＣｉとＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉから前で説明したように空間密集成分ＳＣを、ＳＣ＝Σ_{for all i}（ＣＯＨ＿Ｃｉ×ＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉ／ＴＯＴＡＬ＿ＰＥＬＳ＿ＯＦ＿Ｒ）で求めることである。
【００３４】
前記アルゴリズムで空間密集成分ＳＣを求めればＳＣ値は０から１までの実数として得ることができるが、これを１ビット、２ビット、３ビット、４ビット或いは５ビットで示すためには量子化が必要である。
【００３５】
空間密集成分ＳＣを１ビットで量子化すればＱＳＣ（量子化されたＳＣ）は０或いは１の値となり、２ビットで量子化すればＱＳＣ（量子化されたＳＣ）は０、１、２或いは３の値となり、３ビットで量子化すればＱＳＣ（量子化されたＳＣ）は０、１、２、３、４、５、６、７の値となり、４ビットで量子化すればＱＳＣ（量子化されたＳＣ）は０、１、．．．、１５の値となり、５ビットで量子化すればＱＳＣ（量子化されたＳＣ）は０、１、．．．、３１の値となる。
【００３６】
このように空間密集成分ＳＣを量子化するための方法ではＳＣを等分して各々の量子化値にマッピングさせる均等量子化方法、或いは０〜１だけを他の区間に分けて各々の量子化値にマッピングさせる非均等量子化方法があるが、本発明は非均等量子化方法を適用することによって相対的に少ないビット数を用いるにもかかわらず検索性能を高めることができるようにした。
【００３７】
本発明による空間密集成分ＳＣの非均等量子化方法は、量子化値に０を用いない場合と、量子化値に０を用いる場合に分けることができる。
【００３８】
量子化値に０を用いないという点は０が他の意味すなわち「ＳＣが有効でない」という意味に用いるためである。例えば空間密集成分ＳＣを２ビットで量子化する時量子化されたＳＣ、すなわちＱＳＣは１、２或いは３にマッピングされる。
【００３９】
以下、添付した図面を参照しながら本発明の実施形態をより詳細に説明する。図１は本発明の第１実施形態であって、量子化値に０を用いない場合であり、非均等量子化のための臨界値０．７０を適用した場合である。
【００４０】
まず、段階１０１では前で説明したように空間密集成分ＳＣを計算する。その次の段階１０２では空間密集成分ＳＣを臨界値０．７０と比較する。空間密集成分ＳＣが０．７より小さければ段階１０３に移行してＱＳＣ＝１にマッピングし、一方、空間密集成分ＳＣが０．７０以上であれば空間密集成分ＳＣの範囲である０．７０から１までの区間に対して量子化に残されたビット数で均等量子化を行う（段階１０４）。
【００４１】
すなわち、均等量子化の例で段階１０５に示したように、
ＱＳＣ＝（ｉｎｔ）[（ＳＣ−０．７）／（１．０−０．７）×（２．０^SC_BIT−２．０）＋０．５]＋２を適用する。
ここで、ＳＣ＿ＢＩＴは、量子化に割り当てられたビット数すなわち、ＳＣ＿ＢＩＴ＝２ビット、３ビット、４ビット或いは５ビットである。
【００４２】
図２及び図３は、本発明の第２実施形態及び第３実施形態であって、量子値０を用いて空間密集成分ＳＣを量子化する場合である。
【００４３】
もし、量子化値０を用いて空間密集成分ＳＣを量子化するなら、その量子化値に０を含めて表現できる。したがって、例えば２ビットで量子化する時量子化されたＳＣ、すなわちＱＳＣは０、１、２、３にマッピングされる。
【００４４】
図２は、空間密集成分ＳＣを量子化するとき、量子値０を用い、かつ１ビットだけで空間密集成分ＳＣを量子化する場合を示す。
【００４５】
まず、段階２０１では前記したように空間密集成分ＳＣを計算して、その次の段階２０２では空間密集成分ＳＣを臨界値０．７０と比較する。
【００４６】
その比較結果、空間密集成分ＳＣが０．７０より小さければＱＳＣは０の量子値にマッピングされて、空間密集成分が０．７０より大きければ１の量子値にマッピングされる。
【００４７】
一方、空間密集成分ＳＣを１ビット以上２、３、４、５ビットを用いて量子化する時、量子値ＱＳＣは図３の本発明第３実施形態のように求めることができる。
【００４８】
まず、段階３０１では、空間密集成分ＳＣを求めて、その次の段階３０２では空間密集成分ＳＣを臨界値０．６２及び臨界値０．７０と比較する。
【００４９】
比較結果、もし空間密集成分ＳＣが臨界値０．６２より小さければＱＳＣを量子化値０にマッピングし（段階３０３）、空間密集成分ＳＣが臨界値０．６２に同じか大きく、臨界値０．７０より小さければＱＳＣを量子化値１にマッピングする（段階３０４）。
【００５０】
そして空間密集成分ＳＣが臨界値０．７０以上であればそのＳＣ値範囲０．７０から１までの区間に対して量子化に残されたビット数で均等量子化を行う（段階３０５）。
【００５１】
すなわち、均等量子化の例として段階１０５に示したように、
ＱＳＣ＝（ｉｎｔ）[（ＳＣ−０．７）／（１．０−０．７）×（２．０^SC_BIT−３．０）＋０．５]＋２を適用する。
ここで、ＳＣ＿ＢＩＴは、量子化に割り当てられたビット数すなわち、ＳＣ＿ＢＩＴ＝２ビット、３ビット、４ビット或いは５ビットである。
【００５２】
前記したようにイメージやあるイメージ領域をその領域を代表する代表カラーで表現する時、その代表カラーの頻度数と代表カラーの空間密集成分ＳＣを一緒に表現して、この時空間密集成分ＳＣを非均等量子化方法を適用して量子化することにより相対的に少ないビット数を用いても検索性能を高めることができる。
【００５３】
前記代表カラー情報（代表カラー、頻度数、ＳＣ）を利用したイメージ検索のために、あるイメージ領域（或いはイメージ全体）と他のイメージ領域を比較する時、各々のイメージ領域に対して抽出されたいくつかの代表カラーとこれら代表カラー各々の頻度数（与えられた領域で代表カラーが占める比率）、これら代表カラーに対して空間密集成分ＳＣの値を相互に突き合わせてみることによって比較検索を行うことができる。
【００５４】
すなわち、比較対象になる二つイメージ領域（或いはイメージ全体）間の類似度を反映する差値Ｄｉｆｆ（Ｄ１、Ｄ２）を、Ｄｉｆｆ（Ｄ１、Ｄ２）＝Ｗ１×ＳＣ＿Ｄｉｆｆ×ＤＣ＿Ｄｉｆｆ＋Ｗ２×ＤＣ＿Ｄｉｆｆとして計算して、両イメージ領域（或いはイメージ全体）がどれだけ類似しているかを検索することができる。
ここでＷ１は、ＳＣ＿Ｄｉｆｆに対する加重値で例えばＷ１＝０．３に設定できるが、空間密集成分ＳＣが有効でない場合Ｗ１＝０に設定する。そしてＷ２は右辺２番目の項ＤＣ＿Ｄｉｆｆに対する加重値で例えばＷ２＝０．７に設定することができる。
そして、ＳＣ＿Ｄｉｆｆは、比較対象である二つのイメージ領域（或いはイメージ全体）の各々の空間密集成分ＳＣの差の絶対値であり、ＤＣ＿Ｄｉｆｆは比較対象である両イメージ領域（或いはイメージ全体）各々の代表カラー値の差である。
【００５５】
【発明の効果】
以上説明したように、本発明はイメージ検索のための代表カラーがその代表カラー値、頻度数及び空間密集成分とともに表現されて、前記空間密集成分を所定の臨界値を基準にして非均等量子化しているので、相対的に少ないビット数を用いるにもかかわらず空間密集成分がその代表カラーがどれだけ信頼できるのかをさらによく示すことができるようになり、イメージ検索時のさらに向上された検索性能を保障する。
【図面の簡単な説明】
【図１】本発明の代表カラー設定方法で空間密集成分ＳＣの量子化方法第１実施形態を示したフローチャート。
【図２】本発明の代表カラー設定方法で空間密集成分ＳＣの量子化方法第２実施形態を示したフローチャート。
【図３】本発明の代表カラー設定方法で空間密集成分ＳＣの量子化方法第３実施形態を示したフローチャート。

Claims (4)

1. 少なくとも１つの代表カラーと前記代表カラーに対応する空間密集成分ＳＣを利用してイメージ領域を描写する方法であって、
   代表カラーＣｉの代表カラー密集比率の総数を代表カラーＣｉのピクセル数で割った値を、密集程度を検索するためのマスクサイズから１を減じた値で割って１つの代表カラーＣｉに対応する代表カラー密集比率ＣＯＨ＿Ｃｉとして求め、
   それぞれの代表カラーＣｉに対応する代表カラー密集比率ＣＯＨ＿Ｃｉに、イメージ領域内の前記代表カラーＣｉのピクセル数を乗算し、さらにこの乗算値を前記イメージ領域内の全ピクセル数で割った値が、前記イメージ領域内の全ての代表カラーについて加算されて、この加算値が前記空間密集成分ＳＣとして表され、
   ０．７より小さい正規化された空間密集成分ＳＣの値を量子化値である１に量子化し、かつ０．７から１の正規化された空間密集成分ＳＣの値を２から３１の量子化範囲に均等に量子化することにより、３１のビンを使って少なくとも１つの代表カラーの正規化された空間密集成分ＳＣを描写する過程を含むことを特徴とするイメージ領域を描写する方法。
2. 量子化された空間密集成分ＳＣが算出されないときに、量子化された値を０に設定する過程を含むことを特徴とする請求項１に記載のイメージ領域を描写する方法。
3. 空間密集成分ＳＣに、５ビットという所定のビット数を割り当てる過程を含み、前記５ビットが０から３１にわたる範囲の整数を表すために使用されることを特徴とする請求項１に記載のイメージ領域を描写する方法。
4. 空間密集成分ＳＣを０から１に正規化する過程と、空間密集成分ＳＣに、５ビットという所定のビット数を割り当てる過程とを含み、前記５ビットが、０から３１にわたる範囲の整数を表すために使用されることを特徴とする請求項１に記載のイメージ領域を描写する方法。

Images