JP3676259B2 - Hmmdカラースペースに基づいたカラー量子化方法とマルチメディア - Google Patents

Hmmdカラースペースに基づいたカラー量子化方法とマルチメディア Download PDF

Info

Publication number
JP3676259B2
JP3676259B2 JP2001157023A JP2001157023A JP3676259B2 JP 3676259 B2 JP3676259 B2 JP 3676259B2 JP 2001157023 A JP2001157023 A JP 2001157023A JP 2001157023 A JP2001157023 A JP 2001157023A JP 3676259 B2 JP3676259 B2 JP 3676259B2
Authority
JP
Japan
Prior art keywords
divided
region
equal parts
axis
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001157023A
Other languages
English (en)
Other versions
JP2002027277A (ja
Inventor
ジン・スー・イ
ヒェオン・ジュン・キム
Original Assignee
エルジー電子株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR10-2000-0063163A external-priority patent/KR100374063B1/ko
Application filed by エルジー電子株式会社 filed Critical エルジー電子株式会社
Publication of JP2002027277A publication Critical patent/JP2002027277A/ja
Application granted granted Critical
Publication of JP3676259B2 publication Critical patent/JP3676259B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/644Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor using a reduced set of representative colours, e.g. each representing a particular range in a colour space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Description

【0001】
【発明の属する技術分野】
本発明は、マルチメディア検索に用いられるカラー特徴要素を抽出することにおいて、互いに異なるレベルで量子化されたマルチメディアデータを効率的に検索できるようにするHMMDカラースペースに基づいたカラー量子化方法に関する。
【0002】
【従来の技術】
最近、内容に基づいてマルチメディアを検索する技術の登場によって、正しく早く検索する検索性能を決めるマルチメディア特徴要素に対する工夫が盛んである。
現在、用いられている検索エンジンには画像検索のために全体的及び部分的なカラー情報とテクスチャ情報などを用いているものが多く、このうち、カラー情報は画像検索に最も重要な影響を与える要素として知られている。
従って、より効果的なカラー特徴要素に対する開発が成されており、より効率的に検索できる効果的なカラー空間を開発しようとする工夫も行われている。
カラー情報にはカラーヒストグラム、部分を代表するカラーなど多様な特徴情報があるが、いずれもカラーの量子化をどのように行うかによって検索性能が大きく違ってくる。
【0003】
カラー量子化とは、カラースペース上でカラーの分布を表すとき、数多くのカラー種類ごとに全てを表示することは難いので、同種類のカラーグループを一つのカラーラベルにまとめて制限した数のカラーでカラー情報を示すためのものである。
例えば、RGBカラースペースにおけるカラーヒストグラムの場合、RGBの一要素ごとに0から255の範囲の数字で表すのでカラーの種類は256の3乗となる。これをカラーヒストグラムで表現すると256の3乗のビンから構成しなければならないので現実性のがい。
従って、同種のカラーをグループ化してグループ別に一つのカラーラベルを与える。
このためまずカラースペース全体を表現しようとするカラーの数に等しい部分空間に分割するがこの時分割する方法がカラー量子化方法である。
【0004】
カラーを用いたマルチメディア検索において検索性能に影響を及ぼす要素は多数あるが、先ずカラースペースがカラーをうまく表現しているかどうかが重要であり、それに関連して、与えられたカラースペースをどのような方法で分割するか、即ち、カラー量子化方法によってデータのカラー特徴表現の優劣が決められる。
従って、高い検索性能のためには適切なカラー量子化方法が要求される。
カラー量子化において考慮しなければならない重要なことは、互いに異なる方法で量子化したカラー情報は比較検索を行うことができないという事実である。
【0005】
従来の技術ではそれぞれのデータベースを対象とする検索だけを考慮しているのでかかることが反映する必要もなく、またできなかった。
したがって、いずれも同一量子化の方法によって量子化されていると仮定し、同一量子化方法によって抽出されたカラー情報だけを対象とする比較検索方法に対する研究がつぎつぎ報告されている。
【0006】
しかしながら、インターネットが発達している現在は互いに異なるサーバーで管理しているデータに対しても検索要求によって、サーバーとは無関係にいかなるマルチメディアデータでも相互に比較検索できることが非常に重要になった。
かかる要求を満たすためにはこれに伴う量子化方法も考慮しなければならないし、相互に比較するための検索アルゴリズムも提供すべきである。
このような性質を相互運用性という。
【0007】
【発明が解決しようとする課題】
本発明は、上記従来技術の問題点を解決するためのもので、HMMDカラースペースで検索性能を高める最適の量子化方法を様々な量子化レベルに合わせるように決めようとするものである。
【0008】
本発明の他の目的は互いに異なる応用プログラムから生成されたマルチメディア間の検索ができるように様々な量子化レベルで量子化されたカラー特徴間に相互運用性があると共に高い検索性能を保持するように量子化規則を定義するものである。
【0009】
即ち、本発明は相互運用性を保持しながら高い検索性能を可能とする様々なレベルのカラー量子化方法を提示すると共に互いに異なるレベルで量子化された特徴間の類似度を測定するマルチメディア検索方法を提供するものである。
【0010】
本発明の説明においてまず用語を概略的に定義する。
(a)カラー量子化レベル
任意のカラースペースで示すカラー数は無限であると言える。
コーンピュータで示す256次元のRGBカラースペースで示されるカラー数は256の3乗(16777216)に達する。
従って、カラーに基づいてマルチメディアを検索するためにカラーの数を減らすためにカラーをN(Nは自然数)個にグループ化してカラーのラベルを割り当てる。
この時カラーグループの数をカラー量子化レベルという。
【0011】
(b)相互運用性
同一のカラースペースを用いてマルチメディアのカラー特徴要素を抽出してもその量子化方法によって情報が異なる。
特に互いに異なる量子化レベルで量子化された画像特徴要素を用いて両画像の類似度を測定することは非常に困難である。
これは特徴要素を表しているカラーラベルの意味が全く違い、これらの関係を記述し難いからである。
【0012】
例えば、一つのデータを32レベルで量子化して32個のビンから構成されたカラーヒストグラムを構成し、他のデータを64レベルで量子化して64個のビンから構成されたカラーヒストグラムを構成していると仮定するとき、双方のカラーヒストグラムを用いて類似度を測定するためには第1ヒストグラムの各ビンが第2のヒストグラムのどのビンに当たっているかを把握した上で初めて可能であり、任意の方法で量子化がなされていれば、かかるビン間の関係を定義するのは非常に困難である。
【0013】
しかしながら、いずれかの規則を適用して量子化されていれば、互いに異なる量子化レベルが適用されていても双方の特徴要素で示されたカラーラベル間の関係を記述できるので相互類似度の比較が可能である。
【0014】
例えば、32レベルで量子化された空間を更に各々2等分して64レベルで量子化して構成すれば64レベルで示す各ビンは、包含関係を簡単に計算することによって32レベルのうち一つのレベルにマッピングできる。
このように互いに異なる量子化方法を用いても相互比較して処理可能な性質を相互運用性という。
【0015】
(c)HMMDカラースペース
本願出願人が1998年4月29日付で出願した特許(第98−15326号)で提示しているカラースペースとして、相互対称の円錐の下面を重畳したような二つのダブルコーン状のカラースペースであって、図1に示すような5個のパラメーターから構成されたカラースペースである。
【0016】
5個のパラメーターの色相hue、最大値max、最小値min、差分値diff、合計sumは、各々色濃度(shade)、陰影(tint)、彩度(chroma)、明るさ(brightness)を意味する。
【0017】
図2はHMMDカラースペースの詳細構造の内部断面を示す図である。
その対称の円錐の相互に向き合っている頂点A、Bを連結する縦軸がsum、縦軸と垂直方向に円周を0°から360°まで回転して変わる値がhue、中心(0)から最大円周(c)方向の最短直線成分diff、下側円錐の頂点Bから最大円周(c)方向の最短直線成分はmax、最大円周(c)から上側円錐の頂点方向への最短直線成分はminを意味する。
【0018】
ここで前記のような5個のパラメーターhue、max、min、diff、sumはRGBカラースペースの3パラメーターr、g、bから次のように求められる。
この時hueは0から360までの値を有する。すなわち、そのように円を分割して値を決める。
【0019】
max=max(r、g、b)
min=min(r、g、b)
diff=max(r、g、b)−min(r、g、b)
sum=(max(r、g、b)−min(r、g、b)/2
ifmax(r、g、b)=min(r、g、b)
hue=UNDEFINED;
eles if r=max(r、g、b)&(g−b≧0)hue=(g−b)*60/(max(r、g、b)−min(r、g、b));
eles if r=max(r、g、b)&(g−b<0)hue=360+(g−b)*60/(max(r、g、b)−min(r、g、b));
eles if g=max hue=120+(b−r)*60/(max(r、g、b)−min(r、g、b));
eles hue=240+(r−b)*60/(max(r、g、b)−min(r、g、b));
【0020】
【課題を解決するための手段】
上記目的を達成するための本発明によるHMMDカラースペースのに基づいたカラー量子化方法は、HMMDカラースペースでのカラー情報を用いた検索システムで、差分値(diff)を軸として、仮に指定した一つ以上のdiff値を用いてカラースペースを1次分割する過程と、前記カラースペースの分割領域のうち最も低いdiff領域はグレイ領域であって、hueに区分せず、sumのみを基準にN(Nは自然数)等分する過程と、他のdiff領域に対しては、sum軸を基準に各領域ごとに各々与えられた常数に等分し、hue軸を基準に各領域ごとに各々与えられた常数に等分する過程と、を有することを特徴とする。
【0021】
また、前記diff軸を中心にしてカラースペースを1次分割するためのdiff値の決定は低い彩度(低いdiff領域)であるほど小さい幅を有するように指定することを特徴とする。
【0022】
また前記決定されたdiff値により分割された部分領域で、sum軸を基準に各々与えられた常数に等分するとき、分割した領域の両側のsum幅(a,b)のうち、大きなsum幅(a)を基準に等分することを特徴とする。
【0023】
また、前記hue軸を基準に各領域を分割するとき、赤色(即ち、0°、赤とされる範囲の中心を0゜とする)を始めとしてN(Nは自然数)等分することを特徴とする。
【0024】
また、HMMDカラースペースでのカラー情報を用いた検索システムにおいて、
差分値(diff)を軸として、予め指定した一つ以上のdiff値を基準に前記カラースペースを1次分割する過程と、前記過程を通じて分割された各部分領域に対して、sum軸を基準に2X個(xは定数)に等分し、hue軸を基準に2y個(yは定数)に等分する過程と、を有することを特徴とする。
【0025】
また、HMMDカラースペースでのカラー情報を用いた検索システムにおいて、
(a)diff,sum,hueを用いて、基準となるレベルのカラー量子化を行い、前記カラースペースを基準となるレベルに分割する過程と、(b)前記(a)過程でカラー量子化に分割された各部分領域のうち、一つ以上の部分領域をdiff,sum,hueの一つ以上の組み合わせにより更に細分して分割し、より大きなレベルのカラー量子化を行う過程と、を有することを特徴とする。
【0026】
また、HMMDカラースペースでのカラー情報を用いた検索システムにおいて、
(a)diff,sum,hueを用いて、基準となるレベルのカラー量子化を行い、前記カラースペースを基準となるレベルに分割する過程と、(b)前記(a)過程でカラー量子化に分割された各部分領域のうち、一つ以上の部分領域を併合することにより、より小さいレベルのカラー量子化を行う過程と、を有することを特徴とする。
【0027】
また、互いに異なるレベルのカラー量子化方法で量子化したカラー特徴要素を用いて検索する方法において、
(a)大きなレベルの量子化方法によって生成した特徴要素のカラーラベルを、小さいレベルの量子化方法により生成した特徴要素のカラーラベルのうち一つにマッピングさせることで、互いに異なる量子化方法による二つの特徴要素のカラーラベルの意味を一致(マッピング)させる過程と、(b)一致したカラーラベルを使用して類似度を測定する過程と、(c)測定した類似度を基準にマルチメディアデータを出力する過程と、を有することを特徴とする。
【0028】
また、前記(a)過程は、より大きなレベルの量子化方法によって生成したカラーラベルの各該当部分領域の任意の一点が、マッピングしようとするより小さいレベルの量子化方法により生成したカラーラベルに当たる各領域の何れかの一領域に含まれると、その含まれた領域のカラーラベルをマッピングしたカラーラベルと決定することを特徴とする。
【0029】
また、前記(a)過程でカラーラベルマッピングは最初に両データの類似度の比較時点でのみ行われ、このとき、二つの量子化方法によるカラーラベルのマッピング関係をテーブルなどの形式で格納し、それからデータに対しては別のカラーラベルマッピングを行うことなく、直ぐに格納した関係テーブルの情報を使用することを特徴とする。
【0030】
【発明の実施の形態】
以下、添付の図面を参照して本発明を更に詳細に説明する。
図3はカラースペースにおけるグレイ領域を区画する方法に対して述べている。
本発明ではHMMDカラースペースがdiffによって1次分割されるが図面の通り一定臨界値以下のdiff値を有する領域をグレイ領域とし、hueによって色の区分をしない。
従って、明るさだけがグレイ領域に属した色を区分する要素として作用できるので当該領域では明るさに該当するsumに基づいて分割する。
【0031】
第1実施形態
図4は基本的な32レベルのカラー量子化方法に対して述べている。
まず、diff値が0〜255の範囲の場合diff値9、29、75に基づいて前記カラースペースを四つの部分領域に分けこれらの部分領域を各々S41、S42、S43、S44とする。
この時図3に示すように、S41の場合は最もdiffが低い領域、即ち、彩度が最も低いグレイ領域であるのでhueに対しては分割することなく明るさ、即ち、sumに基づいて8等分する。
S42はhueに基づいて4等分しそれぞれを更にsumに基づいて2等分し、S43はhueに基づいて3等分しそれぞれを更にsumに基づいて4等分する。
【0032】
最後にS44はhueとsumとに基づいてそれぞれ2等分する。
ここで、S42ないしS44の領域ではhueに基づいてまずHMMDカラースペースを等しく分割、すなわち等分し、その次にsumに基づいて等分を行うか又はその逆を行っても良い。
即ち、S42ないしS44部分の領域ではhueとsumのうち、どちらを先に等分してもかまわない。以後かかる関係は任意の領域をsumとhueとに基づいて分割するときはいずれも該当する。
このとき、sumに基づいて分割する際に、分割された領域はその先端部(a,b)において分割幅が異なることになるが、大きい方、すなわちsum軸に近い方aに基づいて等分する。このことはdiff値によって分けられた分割領域をsumに基づいてそれぞれ与えられた常数で等分するとき同じように適用される。
【0033】
図面から分かるように、diffによる分割は低い彩度領域、即ち、低いdiff値を有する領域のほど狭く分割される。これはデータ特性上データを構成する大部分のピクセルのカラーは中間以下の彩度領域に集中しいるので、カラーによる区分能力をより効果的にするためである。
【0034】
また、32レベルのように小さい数で量子化する場合には、低い彩度領域を小さい部分領域に区分し、hueによる分割も高い彩度領域に比べて細かく行うことによって小さいレベルのカラーを用いて効果的に表現できる。
【0035】
図5は64レベルのカラー量子化方法に対して述べている。
先ずdiff軸にdiff値9、29、75を基準に四つの部分領域に分け、これをS51、S53、S54とする。また、図3に示すようにS51の場合最もdiffが低い領域、即ち、彩度が最も低いグレイ領域であるのでhueに対しては分割することなく、明るさ、即ち、sumに基づいて8等分する、
【0036】
S52はhueに基づいて4等分しsumに基づいて4等分し、S53はhueに基づいて6等分しsumに基づいて4等分する。
最後にS54はhueとsumとに基づいてそれぞれ4等分する。
このように量子化された64個の分割領域はそれぞれ図4において分割された32個の分割領域のうち一つに完全に含まれる。
即ち、32個の分割領域の分割境界線は64個の分割領域の分割境界線の部分に完全に一致する。
【0037】
従って、図4から分割された32レベルのカラーで示すデータと図5から分割された64レベルのカラーで示すデータの類似度を測定する場合、互いに異なるカラーラベルを用いても容易に小さいレベルのカラーラベルに一致させることができる。
即ち、64レベルで量子化されたカラー情報は32レベルで量子化されたカラー形式に切り替えることができる。
データの類似度測定はカラー情報の特性によって違うが、本発明の実施形態ではカラーヒストグラムをカラー情報で用いて画像検索に応用した。
【0038】
カラーヒストグラムは画像全体のピクセルに対してカラー分布を示す情報である。
これを求めるために先ず画像の各ピクセルのカラー値がHMMDカラースペースを量子化方法で分割した時どの分割空間に属するかを計算して、各々該当分割空間のカラーラベルを有するヒストグラムビンにその分布を記録する。
【0039】
かかるカラーヒストグラムを用いて画像を検索する方法は参照画像のカラーヒストグラムと対象画像のカラーヒストグラムとの類似度を測定してなされるがこの時の類似度は次の式1を用いる。
【数1】
Figure 0003676259
n:ヒストグラムのビン数
Hγ[i]参照画像のヒストグラムi番目の値
Ht[i]対象画像のヒストグラムのi番目の値
ヒストグラムの各ビン値は一般的に分布を示す値であるので小数となる。
【0040】
しかしながら、実際の応用ではヒストグラムの記憶空間を減らすために一般的な小数表現方式の4バイトの全てを用いることなく、小数値を量子化して1バイト以下の空間として示す。
本実施形態では各小数値を8ビット、即ち、1バイトとして現し、そのために小数値を0〜255値に量子化する。
【0041】
図8は前記カラーマッピングを示しているが、より細かく分割した領域がそれより大きく分割した領域にマッピングする方法を示している。
この場合、マッピング方法は互いに異なる量子化されたカラー情報のうち、より大きいレベルで量子化されたカラー情報のカラーラベルを小さいレベルで量子化されたカラー情報のカラーラベルに変換するものである。このために先ず大きいレベルで量子化されたカラー情報の各分割領域に含まれる任意の一点を小さいレベルの量子化方法を用いて新たなカラーラベルを求めた後その新たなカラーラベルに変換すればよい。
【0042】
カラーマッピングの他の方法は、より大きいレベルで量子化されたカラーラベルを小さいラベルで量子化されたカラーラベルでマッピングするときに、大きいレベルで量子化された各領域の任意の一点は小さいレベルで量子化された領域の一つに必ず含まれるので、この時含まれた該当領域のレベルに変換することによってマッピングできる。
【0043】
このようなマッピング過程は図9のフローチャートに示している。
第一の記述方法はより速くカラーラベルをマッピング変換できる長所があるので一般的に互いに異なる二つの量子化式が分かる場合には第一の記述方法を用いる。
しかしながら、量子化式が記述されず、各カラーラベルの意味するカラースペースにおける分割領域情報だけが記述されている場合には量子化式が分かり難いので第二の方法を用いることが出きる。
このようなカラーマッピングは両データの比較時ごとに行う必要はない。
【0044】
一般的に特定データを参照して類似データを特定データベースで検索する場合、一つのデータベースは同じ方法の量子化方法を用いてカラー情報を抽出しているので、もし参照データとデータベースに属するデータのカラー情報の量子化方法が異なる場合、最初一回だけカラーマッピングを適用すればよい。
また、最初のマッピング過程において両カラーラベル間の関係をテーブルに格納した後は、テーブルに格納された両カラーラベルの間の関係を用いて直ちにマッピングできる。
このような方法によってカラーマッピングに要する時間を減らすことができる。
【0045】
なお、図6は120レベルのカラー量子化方法に対して示している。
先ず、diff軸に沿ってdiff値9、29、75を基準に4個の部分領域に分割しこれをS61、S62、S64とする。
また、図3に示すように、S61の場合は最もdiffが低い領域、即ち、彩度が最も低いグレイ領域であるのでhueに対しては分割することなく明るさ即ち、sumに基づいて8等分する。
S62はhueに基づいて4等分しsumに基づいて4等分し、S63はhueに基づいて12等分しsumに基づいて4等分する。
最後にS64はhueに基づいて12等分しsumに基づいて4等分する。
このように量子化された120個の分割領域はそれぞれ図4において分割された64個の分割領域のうち、一つに完全に含まれる。
即ち、図5において分割された領域のうち、S53に該当する分割領域全てをそれぞれhueに基づいて2等分しS54に該当する分割領域の全てをそれぞれhueに基づいて3等分することによって構成されている。
【0046】
図7は184レベルのカラー量子化方法に対して示している。
先ず、diff軸に沿ってdiff値9、29、75、200に基づいて5個の部分領域に分け、これらをS71、S72、S73、S74、S75とする。また図3に示すように、S71の場合には最もdiffが低い領域、即ち、彩度が最も低いグレイ領域であるのでhueに対しては分割することなく明るさ、即ち、sumに基づいて8等分する。
S72はhueに基づいて8等分しsumに基づいて4等分し、
S73はhueに基づいて12等分しsumに基づいて4等分する。
S74はhueに基づいて12等分しsumに基づいて4等分し、
S75はhueに基づいて24等分しsumに基づいて2等分する。
このように量子化された184個の分割領域はそれぞれ図6において分割された120個の分割領域のうち一つに完全に含まれる。
【0047】
図10aはHMMDカラースペースでhueに基づいて示す断面であり、図10bは図10aのようなhueに基づいて量子化する時hue平面で0°に基づいて分割することを示している。
図10a、図10bから分かるように、視覚的には点線のとおり、−45°から+45°の間が適切な一つの赤色領域と見なされるが検索時は実線の通り、0°から90°の間を一つの領域で分割するのが望ましい。
これはデータ特性上、一つのオブジェクト領域の陰部分を示すために赤色系統の暗いカラーを用いる場合が多いが、この時用いられる赤色カラーは一つのデータ内で赤(R)と緑(G)要素を組み合わせる場合又は赤(R)と青(B)の要素を組み合わせる場合のうちいずれかの組み合わせに用いられるからである。
即ち、一つのデータに赤と緑の組み合わせの暗いカラーと、赤と青の組み合わせの暗いカラーが共に用いられるケースが極めて珍しいためである。これはマルチメディアデータのエンコード又は映像取得装置の特性によるものである。
【0048】
図11はこのような本発明の第1実施形態で示したそれぞれの量子化方法を用いて画像を検索した後、その結果を示す表である。
図11で示す数値は小さいほど(0に近いほど)高い検索結果を意味し、エラーの大きさに比例する。
表から分かるように従来の線形的な単純量子化方法に比べて本発明は非常に高い検索性能を示し、レベル数が増加するほど少しずつ検索性能が高くなることが分かるであろう。
【0049】
図12は本発明の第1実施形態で示した各量子化方法を用いて互いに異なる量子化レベルで抽出された特徴要素間の類似度を計算して検索した後その結果を示した図である。
図12から分かるように互いに異なる量子化レベル間の相互運用性のテストからも高い検索性能を示した。
【0050】
このように、互いに異なるレベルで量子化されたデータの検索時も前記の相互運用性によって最も低いレベルで量子化されたときの検索性能を最小限保障できる。検索性能は、参照画像レベルと対象レベルにおいて、高低両レベルの検索結果で同一となるべきであるが、実際のハードウェアなどの他の要因によって演算過程でわずかの差異が生じる。
【0051】
例えば、参照画像レベルが120レベルでカラー量子化され、対象画像は64レベルで量子化された場合、図11のように64レベルの検索性能が得られるべきであるが、実際には図12の通り検索性能結果が得られるものである。
【0052】
このような本発明の第1実施形態においてカラー量子化に用いられるdiff値とこれによって各部分を分割する所定の常数は最高の検索性能を得るために実験によって得られる値である。
また互いに異なる量子化方法によってカラー量子化された画像の検索の場合も基準となるカラー量子化レベルとこのように量子化されたカラー領域に対して更に細かく分割するために順次的に用いられるカラー量子化レベルまた実験によって得られる結果値を用いるものである。
【0053】
本結果は、様々な量子化方法を用いても本発明によって高い検索性能を常に保持することができ、場所、時間にかかわらず存在する全てのマルチメディアデータの検索の可能性を示している。
【0054】
第2実施形態
一方、本発明の第2実施形態においては、カラー量子化レベルを2のべき数(2X)である256,128,64,32レベルとなるようにする。最初diff値を分割し、これらを基準に部分領域を再び分割して、相違した量子化レベルでも検索ができるようにしている。
【0055】
本発明の第2実施形態は、
HMMDカラースペースでのカラー情報を用いた画像検索システムで、
差分値(diff)が0〜255値の範囲を有するとき、一つ以上の所定のdiff値を基準に、カラースペースを一次分割する過程と、
分割した各diff領域に対してsumを基準に2X個(xは定数)に等分し、hueを基準に2y個(yは定数)に等分する過程とからなるHMMDカラースペースに基づいたカラー量子化方法とを特徴とする。
【0056】
このような特徴を有する本発明の第2実施形態は、まず、diffが0から255までの範囲であるとき、diff軸に沿ってカラースペースを分割するためのdiff値を6,20,60,110に設定し、このdiff値に基づき前記カラースペースを5つの部分領域に分割する。そして、このように分割された各部分領域をそれぞれS1,S2,S3,S4,S5とし、分割した各領域(S1,S2,S3,S4,S5を再びsumを基準に2X個(xは定数)に等分し、hueを基準に2y個に等分することで、カラースペース領域を多様なレベルに分割する。
【0057】
このとき、diff軸に沿って分割した領域(S1,S2,S3,S4,S5)が同一であり、各分割領域をhueとsumとを基準にして2のべき数を満足する数、即ち2X,2y個などに等分する。すなわち、256/128/64/32レベル量子化のうち一つに変換して検索が可能となる。
【0058】
以下、かかる本発明の第2実施形態を添付の図面を参照して詳細に説明する。図13は本発明の第2実施形態におけるHMMDカラースペースでMMD断面から見た256レベルの量子化方法を示す。
分割されるカラー量子化レベルが256である場合に、diff値6,20,60,110を基準に前記カラースペースを5つの部分領域に1次分割し、これをS101,S102,S103,S104,S105とする。
そして、前記領域(S101〜S105)を再びsum軸とhue軸とを基準にして各々2のべき数となるように等分する。
【0059】
即ち、前記領域S101はsum軸を基準に32等分して、前記領域S101を32個の部分領域に分割する。前記領域102はsum軸を基準に8等分し、それぞれを再びhue軸を基準に4等分して、前記領域S102を32個の部分領域に分割する。
前記領域S103はsum軸を基準に4等分し、それぞれを再びhue軸を基準に16等分して、前記領域S103を64個の部分領域に分割する。前記領域S104はsum軸を基準に4等分し、それぞれを再びhue軸を基準に16等分して、前記領域S104を64個の部分領域に分割する。
前記領域S105はsum軸を基準に4等分し、それぞれを再びhue軸を基準に16等分して、前記領域S105を64個の部分領域に分割する。従って、前記カラースペースを256個の部分領域、即ち、256レベルに分割することになる。
【0060】
そして、図14は本発明の第2実施形態による128レベルの量子化方法を示している。
分割されるカラー量子化レベルを128レベルとした場合、diff値6,20,60,110を基準に前記カラースペースを5つの部分領域に1次分割し、これをS111,S112,S113,S114,S115とする。そして、前記領域S111〜S115を再びsum軸とhue軸を基準に各々2のべき数で示される数に等分する。
【0061】
即ち、前記領域S111はsum軸を基準に16等分して、前記領域S111を16個の部分領域に分割する。
前記領域S112はsum軸を基準に4等分し、それぞれを再びhue軸を基準に4等分して、前記領域S112を16個の部分領域に分割する。前記領域S113はsum軸を基準に4等分し、それぞれを再びhue軸を基準に8等分して、前記領域S113を32個の部分領域に分割する。
前記領域S114はsum軸を基準に4等分し、それぞれを再びhue軸を基準に8等分して、前記領域S114を32個の部分領域に分割する。
前記領域S115はsum軸を基準に4等分し、それぞれを再びhue軸を基準に8等分して、前記領域S115を32個の部分領域に分割する。
従って、カラースペースを128個の部分領域に分割したことになる。
【0062】
図15は本発明の第2実施形態において64レベルに量子化する方法を示している。
分割するカラー量子化レベルが64である場合、
diff値6,20,60,110を基準に前記カラースペースを5つの部分領域に1次分割し、これをS121,S122,S123,S124,S125とする。そして、前記領域S121〜S125を再びsum軸とhue軸を基準に各々2べき数で示されるように等分する。
【0063】
即ち、前記領域S121はsum軸を基準に8等分して、前記領域S121を8個の部分領域に分割する。
前記領域S122はsum軸を基準に4等分し、それぞれを再びhue軸を基準に4等分して、前記領域S122を16個の部分領域に分割する。前記領域S123はsum軸を基準に4等分し、それぞれを再びhue軸を基準に4等分して、前記領域S123を16個の部分領域に分割する。
前記領域S124はsum軸を基準に2等分し、それぞれを再びhue軸を基準に8等分して、前記領域S124を16個の部分領域に分割する。
前記領域S125はhue軸を基準に8等分して、前記領域S125を8個の部分領域に分割する。
従って、前記カラースペースを全て64個の部分領域に分割することになる。
【0064】
図16は本発明の第2実施形態における32レベルのカラー量子化方法を示している。
32レベルのカラー量子化ではdiff値6,60,110を基準に前記カラースペースを4つの部分領域に1次分割し、これをS131,S132,S133,S134とする。そして、前記領域S131〜S134を再びsum軸とhue軸を基準に各々2のべき数で示されるように等分する。
【0065】
即ち、前記領域S131をsum軸を基準に8等分して8個の部分領域に分割する。
前記領域S132はsum軸を基準に4等分し、それぞれを再びhue軸を基準に4等分して、前記領域S132を16個の部分領域に分割する。
前記領域S133はhue軸を基準に4等分して4個の部分領域に分割する。
前記領域S134はhue軸を基準に4等分して4個の部分領域に分割する。
従って、前記カラースペースを32個の部分領域に分割したことになる。
このとき、前述したように、本発明の第2実施形態においても、最もdiffの低い領域、彩度の低いグレイ領域に対しては分割せず、明るさ、即ち、sumを基準にしてのみ分割する。
【0066】
図17はかかる本発明の第2実施形態で説明した各量子化方法を用いて画像検索を行った後、その結果を示す図である。
【0067】
図18は本発明の第2実施形態で説明した各量子化方法を用いて、互いに異なる量子化レベルで取り出された特徴要素間の類似度を計算し検索した後、その結果を示す図である。
【0068】
このような本発明の第2実施形態において、カラー量子化に用いられるdiff値と、これによって各領域を分割する2のべき数は最高の検索性能を目指して実験により得られる値である。
【0069】
本発明はカラー量子化の時、まず、基準となるレベルのカラー量子化を行った後、そのカラー量子化で分割された各部分領域を更に細く分割することでより大きなレベルのカラー量子化を行うか、又は、前記カラー量子化で分割した各部分領域を併合してより小さいレベルのカラー量子化を行うこともできる。
【0070】
一例に、基準の量子化レベルを32とし、これから64,128,256レベルの順に、先に分割された領域を細分して分割することができる。
また、逆に、基準の量子化レベルを256とし、これから128,64,32レベルの順に、先に分割された領域を小さいレベルに分割することもできる。
【0071】
基準レベルに量子化した部分領域を再び細分化し、大きなレベルに量子化する前者の場合は、
diff,sum,hueを用いて、基準となるレベルのカラー量子化を行い、前記カラースペースを基準のレベルに分割する過程と、
前記過程でカラー量子化に分割された各部分領域のうち、一つ以上の部分領域をdiff,sum,hue,min,maxの一つ以上の組み合わせにより更に細分して分割してより大きなレベルのカラー量子化を行う過程と、を有することを特徴とする。
【0072】
このとき、前記過程で基準となるカラー量子化レベルは32であり、差分値(diff)が0から255までの範囲内の場合、カラースペースを基準レベルに分割するために指定されたdiff値はそれぞれ6,60,110であり、このdiff値によって前記カラースペースは4つの部分領域に1次分割される。
このとき、前記部分領域をS131,S132,S133,S134とする。
そして、前記領域S131〜S134を再びsum軸とhue軸を基準に各々2のべき数として示されるように等分して、前記カラースペースを基準レベルの32レベルに分割する。
部分領域S131,S132,S133,S134を32レベルに分割する過程は、本発明の第2実施形態における32レベルの量子化方法と同様であり、詳細な説明は省略する。
【0073】
そして、より大きなレベルのカラー量子化を行う過程のうち、32レベルから64レベルにカラー量子化を行う方法は、
領域S132をdiff値20を基準に再び二つの部分領域S132−1,S132−2に分割した後、これらの部分領域S132−1,S132−2をそれぞれsum軸を基準に4等分し、hue軸は4等分したものをそのまま維持して、前記領域S132を32個の部分領域に分割する。
前記領域S131はsum軸を基準に32レベルで8等分したものをそのまま維持する。
前記領域S133はsum軸を基準に2等分し、それぞれを再びhue軸を基準に8等分して、領域S133を16個の部分領域に細分化する。即ち、領域S133は32レベルではhue軸を基準に4等分しているが、64レベルでは8等分する。
領域S134はhue軸を基準に32レベルで4等分したものを8等分して、領域S134を8個の部分領域に細分化する。従って、前記カラースペースを32レベルから64レベルに分割することになる。
【0074】
より大きなレベルのカラー量子化を行う過程のうち、64レベルから128レベルにカラー量子化を行う方法は、
領域S131はsum軸を基準に64レベルで8等分したものを16等分して、領域S131を16個の部分領域に細分化する。
領域S132−1は64レベルでsum軸を基準に4等分し、hue軸を基準に4等分したものをそのまま維持する。
領域S132−2はsum軸を基準に64レベルで4等分したものをそのまま維持し、それぞれを再びhue軸を基準に64レベルで4等分したものを8等分して、領域S132ー2を32個の部分領域に細分化し、
領域S133はhue軸を基準に8等分したものをそのまま維持し、それぞれを再びsum軸を基準に64レベルで2等分したものを4等分して、領域S133を32個の部分領域に細分化する。
領域S134はhue軸を基準に8等分したものをそのまま維持し、それぞれを再びsum軸を基準に4等分して、領域S134を32個の部分領域に細分化する。従って、カラースペースを64レベルから128レベルに分割することになる。
【0075】
より大きなレベルのカラー量子化を行う過程のうち、128レベルから256レベルにカラー量子化を行う方法は、
領域S131はsum軸を基準に128レベルでは16等分したものを32等分して、領域S131を32個の部分領域に細分化する。
領域S132−1はhue軸を基準に4等分したものをそのまま維持し、それぞれを再びsum軸を基準に128レベルで4等分したものを8等分して、領域S132ー1を32個の部分領域に細分化する。
領域S132−2はsum軸を基準に4等分したものをそのまま維持し、それぞれを再びhue軸を基準に128レベルで8等分したものを16等分して、領域S132ー2を64個の部分領域に細分化する。
領域S133はsum軸を基準に4等分したものをそのまま維持し、それぞれを再びhue軸を基準に128レベルで8等分したものを16等分して、領域S133を64個の部分領域に細分化する。
領域S134はsum軸を基準に4等分したものをそのまま維持し、それぞれを再びhue軸を基準に128レベルで8等分したものを16等分して、領域S134を64個の部分領域に細分化する。従って、カラースペースを128レベルから256レベルに分割することになる。
【0076】
一方、基準レベルに量子化された部分領域を併合して、更に小さいレベルに量子化する後者の場合は、
diff,sum,hueを用いて、基準となるレベルのカラー量子化を行い、カラースペースを基準のレベルに分割する過程と、その過程でカラー量子化に分割された各部分領域のうち、一つ以上の部分領域を併合することにより、より小さいレベルのカラー量子化を行う過程とを有することを特徴とする。
【0077】
このとき、前記過程で基準となるカラー量子化レベルは256であり、差分値(diff)が0〜255の範囲を有する場合、前記過程でカラースペースを基準レベルに分割するために指定されたdiff値はそれぞれ6,20,60,110であり、このdiff値によってカラースペースは4つの部分領域に1次分割される。このとき、部分領域をS101,S102,S103,S104,S105とする。そして、領域S101〜S105を再びsum軸とhue軸を基準に各々2のべき数で示されるように等分して、カラースペースを基準レベルの256レベルに分割する。
部分領域S101,S102,S103,S104,S105を256レベルに分割する過程は、本発明の第2実施形態における256レベルの量子化方法と同様であり、詳細な説明は省略する。
【0078】
そして、より小さいレベルのカラー量子化を行う過程のうち、256レベルから128レベルにカラー量子化を行う方法は、
領域S101はsum軸を基準に256レベルでは32等分したものを16等分して、領域S101の量子化レベルを16レベルに減らす。
領域S102はhue軸を基準に256レベルで4等分したものをそのまま維持し、それぞれを再びsum軸を基準に256レベルで8等分したものを4等分して、領域S102の量子化レベルを16レベルに減らす。
領域S103はsum軸を基準に256レベルで4等分したものをそのまま維持し、それぞれを再びhue軸を基準に256レベルで16等分したものを8等分して、領域S103の量子化レベルを32レベルに減らす。
領域S104はsum軸を基準に256レベルで4等分したものをそのまま維持し、それぞれを再びhue軸を基準に256レベルで16等分したものを8等分して、領域S104の量子化レベルを32レベルに減らす。
領域S105はsum軸を基準に256レベルで4等分したものをそのまま維持し、それぞれを再びhue軸を基準に256レベルで16等分したものを8等分して、領域S105の量子化レベルを32レベルに減らす。 従って、カラースペースを256レベルから128レベルに分割することになる。
【0079】
より小さいレベルのカラー量子化を行う過程のうち、128レベルから64レベルでカラー量子化を行う方法は、
領域S101はsum軸を基準に128レベルでは16等分したものを8等分して、領域S101の量子化レベルを8レベルに減らす。
領域S102はsum軸を基準に4等分したものと、hue軸を基準に4等分したものをそのまま維持する。
領域S103はsum軸を基準に4等分したものをそのまま維持し、それぞれを再びhue軸を基準に128レベルで8等分したものを4等分して、領域S103の量子化レベルを16レベルに減らす。
領域S104はhue軸を基準に8等分したものをそのまま維持し、それぞれを再びsum軸を基準に128レベルで4等分したものを2等分して、領域S104の量子化レベルを16レベルに減らす。
領域S105はhue軸を基準に8等分したものをそのまま維持し、sum軸は128レベルで4等分したものを1等分して、領域S105の量子化レベルを8レベルに減らす。従って、カラースペースを128レベルから64レベルに分割することになる。
【0080】
より小さいレベルのカラー量子化を行う過程のうち、64レベルから32レベルにカラー量子化を行う方法は、
領域S101はsum軸を基準に64レベルで8等分したものをそのまま維持する。
領域S102と領域S103とを併合し、その併合した領域はhue軸を基準に4等分したものをそのまま維持し、それぞれを再びsum軸を基準に2等分して、併合した領域の量子化レベルを8レベルに減らす。
領域S104はsum軸を基準に64レベルで2等分したものを1等分し、hue軸を基準に64レベルで8等分したものを4等分して、領域S104の量子化レベルを4レベルに減らす。
領域S105はsum軸を基準に1等分したものをそのまま維持し、hue軸を基準に64レベルで8等分したものを4等分して、領域S105の量子化レベルを4レベルに減らす。従って、カラースペースを64レベルから32レベルに分割することになる。
【0081】
かかる本発明の第2実施形態において、2Xに表現可能なカラー量子化レベルでHMMDカラースペース領域を量子化して検索に用いることにより、第1実施形態より拡張性が向上し、検索性能を更に向上させることができる。
【0082】
【発明の効果】
以上で説明したように、本発明は画像検索などマルチメディア検索において、最も重要とされているカラー情報の効果的な使用のために、HMMDという検索に優れたカラースペースを使用しており、特に、少数のカラーレベルで量子化を行っても高い検索性能が得られる。
【0083】
従って、本発明によれば、検索に必要な特徴要素の空間を少なく使用しても高い検索性能が得られるだけでなく、MPEG−7のような検索関連の標準化活動を通じて最も適切なカラー量子化方法を標準化することにより、サーバーに係わらず、高い検索性能を可能とする。
また、本発明は相違した量子化方法を各用途に合うように使用しても、これに係わらず、互いに比較、検索が可能であるように相互の運用性が保障される量子化方法を提案することにより、標準化の意味に合うようなカラーに基づいたマルチメディア検索の方法及び、特徴要素の構造を解決できるような方案が提示される。
【図面の簡単な説明】
【図1】本発明のHMMDカラースペース構造を示す図である。
【図2】本発明の図1の断面を示す図である。
【図3】本発明のHMMDカラースペースにおいてグレイ領域を分割する状態を示す図である。
【図4】本発明のHMMDカラースペースにおいてMMD断面から見た32レベル量子化方法を示す図である。
【図5】本発明のHMMDカラースペースにおいてMMD断面から見た64レベル量子化方法を示す図である。
【図6】本発明のHMMDカラースペースにおいてMMD断面から見た120レベル量子化方法を示す図である。
【図7】本発明のHMMDカラースペースにおいてMMD断面から見た184レベル量子化方法を示す図である。
【図8】本発明のHMMDカラースペースにおいてMMD断面から見た184レベルと64レベルのカラーラベルマッピング関係を示す図である。
【図9】本発明のカラーマッピング方法の実行手順を示すフローチャートである。
【図10】本発明のHMMDカラースペースにおいてhueに基づいて示す断面図(a)本発明はhueに基づいて量子化過程を示す図(b)である。
【図11】本発明において各量子化レベル別検索性能を示す分布図である。
【図12】本発明において相互運用性検索性能を示す図である。
【図13】本発明の実施形態において、HMMDカラースペースにおいてMMD断面から見た256レベル量子化方法を示す図である。
【図14】本発明の実施形態において、HMMDカラースペースにおいてMMD断面から見た128レベル量子化方法を示す図である。
【図15】本発明の実施形態において、HMMDカラースペースにおいてMMD断面から見た64レベル量子化方法を示す図である。
【図16】本発明の実施形態において、HMMDカラースペースにおいてMMD断面から見た32レベル量子化方法を示す図である。
【図17】本発明の実施形態において、各量子化レベル別検索性能を示す図である。
【図18】本発明において相互運用性検索性能を示す図である。

Claims (17)

  1. 所定のイメージに対するHMMDカラースペースにおけるカラー情報を生成することに用いられるHMMDカラースペースに基づいたカラー量子化方法であって
    その間隔が徐々に増加されるように指定された複数のdiff値によりカラースペースを1次分割する過程と、
    前記カラースペースの分割領域のうち最も低いdiff領域はsumのみを基準にN等分する過程と、
    他のdiff領域に対しては、sumを基準に各領域ごとに各々与えられた常数に等分し、hueを基準に各領域ごとに各々与えられた常数に等分する過程と
    からなることを特徴とするHMMDカラースペースに基づいたカラー量子化方法。
  2. 所定のイメージに対するHMMDカラースペースにおけるカラー情報を生成することに用いられるHMMDカラースペースに基づいたカラー量子化方法において、前記決定されたdiff値により分割された部分領域で、sum軸を基準に各々与えられた常数に等分するとき、分割した領域の両側のsum幅(a,b)のうち、sum軸に近い側のsum幅(a)を基準に等分することを特徴とする請求項1記載のHMMDカラースペースに基づいたカラー量子化方法。
  3. 所定のイメージに対するHMMDカラースペースにおけるカラー情報を生成することに用いられるHMMDカラースペースに基づいたカラー量子化方法において、前記hue軸を基準に各領域を分割するとき、赤色(即ち、0°)を始めとしてN(Nは自然数)等分することを特徴とする請求項1記載のHMMDカラースペースに基づいたカラー量子化方法。
  4. 所定のイメージに対するHMMDカラースペースにおけるカラー情報を生成することに用いられるHMMDカラースペースに基づいたカラー量子化方法において、前記diff軸を基準に分割された各領域はsum軸を基準に2X個(xは定数)に等分し、hueを基準に2y個(yは定数)に等分することを特徴とする請求項1記載のHMMDカラースペースに基づいたカラー量子化方法。
  5. 所定のイメージに対するHMMDカラースペースにおけるカラー情報を生成することに用いられるHMMDカラースペースに基づいたカラー量子化方法において、前記カラースペースが0〜255のdiff値を有するとき、diff軸を基準に前記カラースペースを分割するために指定されたdiff値はそれぞれ6,20,60,110であり、この値に基づき分けられた5つの分割領域(S101,S102,S103,S104,S105)のうち、
    前記領域(S101)はsum軸を基準に32等分して、前記領域(S101)を32個の部分領域に分割し、
    前記領域(S102)はsum軸を基準に8等分し、それぞれを再びhue軸を基準に4等分して、前記領域(S102)を32個の部分領域に分割し、
    前記領域(S103)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に16等分して、前記領域(S103)を64個の部分領域に分割し、
    前記領域(S104)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に16等分して、前記領域(S104)を64個の部分領域に分割し、
    前記領域(S105)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に16等分して、前記領域(S105)を64個の部分領域に分割することにより、
    前記カラースペースを256個の部分領域に分割することを特徴とする請求項1記載のHMMDカラースペースに基づいたカラー量子化方法。
  6. 所定のイメージに対するHMMDカラースペースにおけるカラー情報を生成することに用いられるHMMDカラースペースに基づいたカラー量子化方法において、前記カラースペースが0〜255のdiff値を有するとき、
    diff軸を基準に前記カラースペースを分割するために指定されたdiff値はそれぞれ6,20,60,110であり、この値に基づき分けられた5つの分割領域(S111,S112,S113,S114,S115)のうち、
    前記領域(S111)はsum軸を基準に16等分して、前記領域(S111)を16個の部分領域に分割し、
    前記領域(S112)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に4等分して、前記領域(S112)を16個の部分領域に分割し、
    前記領域(S113)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に8等分して、前記領域(S113)を32個の部分領域に分割し、
    前記領域(S114)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に8等分して、前記領域(S114)を32個の部分領域に分割し、
    前記領域(S115)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に8等分して、前記領域(S115)を32個の部分領域に分割することにより、
    前記カラースペースを全て128個の部分領域に分割することを特徴とする請求項1記載のHMMDカラースペースに基づいたカラー量子化方法。
  7. 所定のイメージに対するHMMDカラースペースにおけるカラー情報を生成することに用いられるHMMDカラースペースに基づいたカラー量子化方法において、前記カラースペースが0〜255のdiff値を有するとき、
    diff軸を基準に前記カラースペースを分割するために指定されたdiff値はそれぞれ6,20,60,110であり、この値に基づき分けられた5つの分割領域(S121,S122,S123,S124,S125)のうち、
    前記領域(S121)はsum軸を基準に8等分して、前記領域(S121)を8個の部分領域に分割し、
    前記領域(S122)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に4等分して、前記領域(S122)を16個の部分領域に分割し、
    前記領域(S123)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に4等分して、前記領域(S123)を16個の部分領域に分割し、
    前記領域(S124)はsum軸を基準に2等分し、それぞれを再びhue軸を基準に8等分して、前記領域(S124)を16個の部分領域に分割し、
    前記領域(S125)はhue軸を基準に8等分して、前記領域(S125)を8個の部分領域に分割することにより、
    前記カラースペースを全て64個の部分領域に分割することを特徴とする請求項1記載のHMMDカラースペースに基づいたカラー量子化方法。
  8. 所定のイメージに対するHMMDカラースペースにおけるカラー情報を生成することに用いられるHMMDカラースペースに基づいたカラー量子化方法において、前記カラースペースが0〜255のdiff値を有するとき、
    diff軸を基準に前記カラースペースを分割するために指定されたdiff値はそれぞれ6,60,110であり、この値に基づき分けられた4つの分割領域(S131,S132,S133,S134)のうち、
    前記領域(S131)はsum軸を基準に8等分して、前記領域(S131)を8個の部分領域に分割し、
    前記領域(S132)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に4等分して、前記領域(S132)を16個の部分領域に分割し、
    前記領域(S133)はhue軸を基準に4等分して、前記領域(S133)を4個の部分領域に分割し、
    前記領域(S134)はhue軸を基準に4等分して、前記領域(S134)を4個の部分領域に分割することにより、
    前記カラースペースを全て32個の部分領域に分割することを特徴とする請求項1記載のHMMDカラースペースに基づいたカラー量子化方法。
  9. 所定のイメージに対するHMMDカラースペースにおけるカラー情報を生成することに用いられるHMMDカラースペースに基づいたカラー量子化方法において、前記カラースペースが0〜255のdiff値を有するとき、diff軸を基準に前記カラースペースを分割するために指定されたdiff値はそれぞれ9,29,75であり、この値に基づき分けられた4つの分割領域(S41,S42,S43,S44)のうち、
    前記領域(S41)はsum軸を基準に8等分して、前記領域(S41)を8個の部分領域に分割し、
    前記領域(S42)はsum軸を基準に2等分、前記領域(S42)をhue軸を基準に4等分して、8個の部分領域に分割し、
    前記領域(S43)はsum軸を基準に4等分、前記領域(S43)をhue軸を基準に3等分して、12個の部分領域に分割し、
    前記領域(S44)はsum軸を基準に2等分、hue軸を基準に2等分して、前記領域(S44)を4個の部分領域に分割することにより、
    前記カラースペースを全て32個の部分領域に分割することを特徴とする請求項1記載のHMMDカラースペースに基づいたカラー量子化方法。
  10. 所定のイメージに対するHMMDカラースペースにおけるカラー情報を生成することに用いられるHMMDカラースペースに基づいたカラー量子化方法において、前記カラースペースが0〜255のdiff値を有するとき、diff軸を基準に前記カラースペースを分割するために指定されたdiff値はそれぞれ9,29,75であり、この値に基づき分けられた4つの分割領域(S51,S52,S53,S54)のうち、
    前記領域(S51)はsum軸を基準に8等分して、前記領域(S51)を8個の部分領域に分割し、
    前記領域(S52)はsum軸を基準に4等分、hue軸を基準に4等分して、前記領域(S52)を16個の部分領域に分割し、
    前記領域(S53)はsum軸を基準に4等分、hue軸を基準に6等分して、前記領域(S53)を24個の部分領域に分割し、
    前記領域(S54)はsum軸を基準に4等分、hue軸を基準に4等分して、前記領域(S54)を16個の部分領域に分割することにより、
    前記カラースペースを全て64個の部分領域に分割することを特徴とする請求項1記載のHMMDカラースペースに基づいたカラー量子化方法。
  11. 所定のイメージに対するHMMDカラースペースにおけるカラー情報を生成することに用いられるHMMDカラースペースに基づいたカラー量子化方法において、前記カラースペースが0〜255のdiff値を有するとき、diff軸を基準に前記カラースペースを分割するために指定されたdiff値はそれぞれ9,29,75であり、この値に基づき分けられた4つの分割領域(S61,S62,S63,S64)のうち、
    前記領域(S61)はsum軸を基準に8等分して、前記領域(S61)を8個の部分領域に分割し、
    前記領域(S62)はsum軸を基準に4等分、hue軸を基準に4等分して、前記領域(S62)を16個の部分領域に分割し、
    前記領域(S63)はsum軸を基準に4等分、hue軸を基準に12等分して、前記領域(S63)を48個の部分領域に分割し、
    前記領域(S64)はsum軸を基準に4等分、hue軸を基準に12等分して、前記領域(S64)を48個の部分領域に分割することにより、
    前記カラースペースを全て120個の部分領域に分割することを特徴とする請求項1記載のHMMDカラースペースに基づいたカラー量子化方法。
  12. 所定のイメージに対するHMMDカラースペースにおけるカラー情報を生成することに用いられるHMMDカラースペースに基づいたカラー量子化方法において、前記カラースペースが0〜255のdiff値を有するとき、diff軸を基準に前記カラースペースを分割するために指定されたdiff値はそれぞれ9,29,75,200であり、この値に基づき分けられた5つの分割領域(S71,S72,S73,S74,S75)のうち、
    前記領域(S71)はsum軸を基準に8等分して、前記領域(S71)を8個の部分領域に分割し、
    前記領域(S72)はsum軸を基準に4等分、hue軸を基準に8等分して、前記領域(S72)を32個の部分領域に分割し、
    前記領域(S73)はsum軸を基準に4等分、hue軸を基準に12等分して、前記領域(S73)を48個の部分領域に分割し、
    前記領域(S74)はsum軸を基準に4等分、hue軸を基準に12等分して、前記領域(S74)を48個の部分領域に分割し、
    前記領域(S75)はsum軸を基準に2等分、hue軸を基準に24等分して、前記領域(S75)を48個の部分領域に分割することにより、
    前記カラースペースを全て184個の部分領域に分割することを特徴とする請求項1記載のHMMDカラースペースに基づいたカラー量子化方法。
  13. 所定のイメージに対するHMMDカラースペースにおけるカラー情報を生成することに用いられるHMMDカラースペースに基づいたカラー量子化方法であって
    その間隔が徐々に増加されるように指定された複数のdiff値によりカラースペースを1次分割する過程と、
    前記過程から分割された各部分領域に対して、sum軸を基準に2X個(xは定数)に等分し、hue軸を基準に2y個(yは定数)に等分する過程と
    を有することを特徴とするHMMDカラースペースに基づいたカラー量子化方法。
  14. 所定のイメージに対するHMMDカラースペースにおけるカラー情報を生成することに用いられるHMMDカラースペースに基づいたカラー量子化方法において、差分値(diff)が0〜255の範囲を有し、分割されるカラー量子化レベルが256である場合、
    前記diff軸を基準に前記カラースペースを分割するために指定されたdiff値はそれぞれ6,20,60,110であり、この値に基づき前記過程で分けられる分割領域(S101,S102,S103,S104,S105)のうち、
    前記領域(S101)はsum軸を基準に32等分して、前記領域(S101)を32個の部分領域に分割し、
    前記領域(S102)はsum軸を基準に8等分し、それぞれを再びhue軸を基準に4等分して、前記領域(S102)を32個の部分領域に分割し、
    前記領域(S103)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に16等分して、前記領域(S103)を64個の部分領域に分割し、
    前記領域(S104)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に16等分して、前記領域(S104)を64個の部分領域に分割し、
    前記領域(S105)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に16等分して、前記領域(S105)を64個の部分領域に分割することにより、
    前記カラースペースを256個の部分領域に分割することを特徴とする請求項13記載のHMMDカラースペースに基づいたカラー量子化方法。
  15. 所定のイメージに対するHMMDカラースペースにおけるカラー情報を生成することに用いられるHMMDカラースペースに基づいたカラー量子化方法において、差分値(diff)が0〜255の範囲を有し、分割されるカラー量子化レベルが128である場合、
    前記過程でカラースペースを分割するために指定されたdiff値はそれぞれ6,20,60,110であり、この値に基づき前記過程で分けられる分割領域(S111,S112,S113,S114,S115)のうち、
    前記領域(S111)はsum軸を基準に16等分して、前記領域(S111)を16個の部分領域に分割し、
    前記領域(S112)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に4等分して、前記領域(S112)を16個の部分領域に分割し、
    前記領域(S113)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に8等分して、前記領域(S113)を32個の部分領域に分割し、
    前記領域(S114)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に8等分して、前記領域(S114)を32個の部分領域に分割し、
    前記領域(S115)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に8等分して、前記領域(S115)を32個の部分領域に分割することにより、
    前記カラースペースを全て128個の部分領域に分割することを特徴とする請求項13記載のHMMDカラースペースに基づいたカラー量子化方法。
  16. 所定のイメージに対するHMMDカラースペースにおけるカラー情報を生成することに用いられるHMMDカラースペースに基づいたカラー量子化方法において、差分値(diff)が0〜255の範囲を有し、分割されるカラー量子化レベルが64である場合、
    前記過程でカラースペースを分割するために指定されたdiff値はそれぞれ6,20,60,110であり、この値に基づき前記過程で分けられる分割領域(S121,S122,S123,S124,S125)のうち、
    前記領域(S121)はsum軸を基準に8等分して、前記領域(S121)を8個の部分領域に分割し、
    前記領域(S122)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に4等分して、前記領域(S122)を16個の部分領域に分割し、
    前記領域(S123)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に4等分して、前記領域(S123)を16個の部分領域に分割し、
    前記領域(S124)はsum軸を基準に2等分し、それぞれを再びhue軸を基準に8等分して、前記領域(S124)を16個の部分領域に分割し、
    前記領域(S125)はhue軸を基準に8等分して、前記領域(S125)を8個の部分領域に分割することにより、
    前記カラースペースを全て64個の部分領域に分割することを特徴とする請求項13記載のHMMDカラースペースに基づいたカラー量子化方法。
  17. 所定のイメージに対するHMMDカラースペースにおけるカラー情報を生成することに用いられるHMMDカラースペースに基づいたカラー量子化方法において、差分値(diff)が0〜255の範囲を有し、分割されるカラー量子化レベルが32である場合、
    前記過程でカラースペースを分割するために指定されたdiff値はそれぞれ6,60,110であり、このdiff値に基づき前記過程で分けられる分割領域(S131,S132,S133,S134)のうち、
    前記領域(S131)はsum軸を基準に8等分して、前記領域(S131)を8個の部分領域に分割し、
    前記領域(S132)はsum軸を基準に4等分し、それぞれを再びhue軸を基準に4等分して、前記領域(S132)を16個の部分領域に分割し、
    前記領域(S133)はhue軸を基準に4等分して、前記領域(S133)を4個の部分領域に分割し、
    前記領域(S134)はhue軸を基準に4等分して、前記領域(S134)を4個の部分領域に分割することにより、
    前記カラースペースを全て32個の部分領域に分割することを特徴とする請求項13記載のHMMDカラースペースに基づいたカラー量子化方法。
JP2001157023A 2000-05-26 2001-05-25 Hmmdカラースペースに基づいたカラー量子化方法とマルチメディア Expired - Fee Related JP3676259B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20000028759 2000-05-26
KR10-2000-0063163A KR100374063B1 (ko) 2000-05-26 2000-10-26 에이취엠엠디(hmmd)칼라 스페이스 기반의칼라양자화 방법과 멀티미디어 특징소 추출 및 검색 방법
KR2000-28759 2000-10-26
KR2000-63163 2000-10-26

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2005006445A Division JP2005216296A (ja) 2000-05-26 2005-01-13 Hmmdカラースペースに基づいたカラー量子化方法を用いたマルチメディアの検索方法
JP2005006438A Division JP2005216295A (ja) 2000-05-26 2005-01-13 Hmmdカラースペースに基づいたカラー量子化方法を用いたマルチメディアの検索方法

Publications (2)

Publication Number Publication Date
JP2002027277A JP2002027277A (ja) 2002-01-25
JP3676259B2 true JP3676259B2 (ja) 2005-07-27

Family

ID=26638030

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2001157023A Expired - Fee Related JP3676259B2 (ja) 2000-05-26 2001-05-25 Hmmdカラースペースに基づいたカラー量子化方法とマルチメディア
JP2005006438A Pending JP2005216295A (ja) 2000-05-26 2005-01-13 Hmmdカラースペースに基づいたカラー量子化方法を用いたマルチメディアの検索方法
JP2005006445A Pending JP2005216296A (ja) 2000-05-26 2005-01-13 Hmmdカラースペースに基づいたカラー量子化方法を用いたマルチメディアの検索方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2005006438A Pending JP2005216295A (ja) 2000-05-26 2005-01-13 Hmmdカラースペースに基づいたカラー量子化方法を用いたマルチメディアの検索方法
JP2005006445A Pending JP2005216296A (ja) 2000-05-26 2005-01-13 Hmmdカラースペースに基づいたカラー量子化方法を用いたマルチメディアの検索方法

Country Status (5)

Country Link
US (4) US6919971B2 (ja)
EP (1) EP1176804A3 (ja)
JP (3) JP3676259B2 (ja)
CN (2) CN1227612C (ja)
BR (1) BR0103093C1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3676259B2 (ja) * 2000-05-26 2005-07-27 エルジー電子株式会社 Hmmdカラースペースに基づいたカラー量子化方法とマルチメディア
JP2002027272A (ja) * 2000-07-11 2002-01-25 Fuji Photo Film Co Ltd カラーチャートおよび色変換定義作成方法
KR100439371B1 (ko) * 2000-09-08 2004-07-09 엘지전자 주식회사 히스토그램을 이용한 멀티미디어 검색방법
KR100488011B1 (ko) * 2002-10-07 2005-05-06 엘지전자 주식회사 칼라 히스토그램의 빈값 양자화 방법
US8208731B2 (en) 2008-04-07 2012-06-26 Microsoft Corporation Image descriptor quantization
CN101799929B (zh) * 2009-02-11 2013-01-23 富士通株式会社 指定颜色层提取设备和方法
US8775424B2 (en) 2010-01-26 2014-07-08 Xerox Corporation System for creative image navigation and exploration
US8553154B2 (en) * 2010-02-16 2013-10-08 Vixs Systems, Inc Method and/or apparatus for implementing a color management module
US8553045B2 (en) 2010-09-24 2013-10-08 Xerox Corporation System and method for image color transfer based on target concepts
US8369616B2 (en) 2010-10-20 2013-02-05 Xerox Corporation Chromatic matching game
US20120109993A1 (en) * 2010-10-28 2012-05-03 Qualcomm Incorporated Performing Visual Search in a Network
US8532377B2 (en) 2010-12-22 2013-09-10 Xerox Corporation Image ranking based on abstract concepts
US9996579B2 (en) * 2014-06-26 2018-06-12 Amazon Technologies, Inc. Fast color searching
US10169803B2 (en) 2014-06-26 2019-01-01 Amazon Technologies, Inc. Color based social networking recommendations
US9785649B1 (en) 2014-09-02 2017-10-10 Amazon Technologies, Inc. Hue-based color naming for an image
US9454713B2 (en) * 2014-12-30 2016-09-27 Ebay Inc. Similar item detection
CN105574900B (zh) * 2015-12-16 2018-12-25 上海华力创通半导体有限公司 基于hmmd颜色空间的颜色量化系统及颜色量化方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3452212B2 (ja) * 1994-07-07 2003-09-29 富士ゼロックス株式会社 減色処理を行なうカラー画像処理装置
EP0705027B1 (en) * 1994-09-30 2000-11-22 SANYO ELECTRIC Co., Ltd. Image communication system and method for data compression of colour images using colour tables and region-based processing
JPH0927966A (ja) * 1995-07-12 1997-01-28 Sanyo Electric Co Ltd 画像符号化方法および画像符号化装置
JPH10160573A (ja) * 1996-11-29 1998-06-19 Shimadzu Corp 色彩測定装置
JPH10276337A (ja) * 1997-03-28 1998-10-13 Sharp Corp カラー画像処理装置
US6633407B1 (en) * 1998-04-29 2003-10-14 Lg Electronics, Inc. HMMD color space and method for quantizing color using HMMD space and color spreading
US6310969B1 (en) * 1998-05-28 2001-10-30 Lg Electronics Inc. Color coordinate space structure and color quantizing and variable gray area designating method therein
US6721449B1 (en) 1998-07-06 2004-04-13 Koninklijke Philips Electronics N.V. Color quantization and similarity measure for content based image retrieval
KR100512118B1 (ko) * 1999-06-10 2005-09-02 엘지전자 주식회사 칼라스페이스의 최적 양자화 방법
KR100364753B1 (ko) * 1999-11-19 2002-12-16 엘지전자 주식회사 칼라 히스토그램의 빈값 양자화 방법
KR100422697B1 (ko) * 1999-12-27 2004-03-12 엘지전자 주식회사 색공간 양자화 묘사자
WO2001063229A1 (fr) * 2000-02-23 2001-08-30 Dainichiseika Color & Chemicals Mfg. Co., Ltd. Procede d'evaluation de la reproductibilite d'echantillon de virage par memoire a transfert de charges
KR100374063B1 (ko) * 2000-05-26 2003-03-03 엘지전자 주식회사 에이취엠엠디(hmmd)칼라 스페이스 기반의칼라양자화 방법과 멀티미디어 특징소 추출 및 검색 방법
JP3676259B2 (ja) * 2000-05-26 2005-07-27 エルジー電子株式会社 Hmmdカラースペースに基づいたカラー量子化方法とマルチメディア
JP3492293B2 (ja) 2000-07-07 2004-02-03 キヤノン株式会社 ファクシミリ装置、およびファクシミリ装置の制御方法
KR100375222B1 (ko) * 2000-07-19 2003-03-08 엘지전자 주식회사 스케일러블 칼라 히스토그램 엔코딩 방법
EP1174804A3 (en) * 2000-07-21 2005-07-20 Lg Electronics Inc. Method for searching multimedia using progressive histogram

Also Published As

Publication number Publication date
BR0103093C1 (pt) 2005-10-11
CN1326160A (zh) 2001-12-12
US6919971B2 (en) 2005-07-19
US20060164664A1 (en) 2006-07-27
EP1176804A2 (en) 2002-01-30
CN100454297C (zh) 2009-01-21
BR0103093A (pt) 2002-02-13
US20050094873A1 (en) 2005-05-05
JP2002027277A (ja) 2002-01-25
US7180634B2 (en) 2007-02-20
US7126720B2 (en) 2006-10-24
EP1176804A3 (en) 2004-08-04
JP2005216295A (ja) 2005-08-11
CN1619543A (zh) 2005-05-25
US7197183B2 (en) 2007-03-27
US20050094876A1 (en) 2005-05-05
US20010055128A1 (en) 2001-12-27
CN1227612C (zh) 2005-11-16
JP2005216296A (ja) 2005-08-11

Similar Documents

Publication Publication Date Title
JP2005216296A (ja) Hmmdカラースペースに基づいたカラー量子化方法を用いたマルチメディアの検索方法
US7376263B2 (en) Content-based multimedia retrieval system and method thereof
KR100649338B1 (ko) 컨텐트 기반 영상 검색용 컬러 양자화 및 상사 측정 방법
JP5236785B2 (ja) カラー画像を探索する方法、カラー画像を探索する装置、カラー画像を探索するシステム、並びにコンピュータによる実行可能命令からなるプログラム
US20100110455A1 (en) Language based color selection method
US6633407B1 (en) HMMD color space and method for quantizing color using HMMD space and color spreading
KR20140058674A (ko) 본질 이미지들을 이용하는 디지털 이미지 신호 압축 시스템 및 방법
JP3701888B2 (ja) 漸進的ヒストグラムを利用したマルチメディアの検索方法
Zachary et al. Content based image retrieval and information theory: A general approach
US6836563B2 (en) Computer-readable medium and program for quantizing a data set, method and apparatus for quantizing a data set
Wong et al. Dominant color structure descriptor for image retrieval
Teng et al. Image indexing and retrieval based on vector quantization
KR20030005908A (ko) 영상의 객체 특징 추출과 이를 이용한 내용 기반 영상검색 장치 및 방법
JP2002288657A (ja) 空間密集成分を利用した代表カラー設定方法
JP2002082985A (ja) 画像検索装置及び方法並びに画像検索プログラムを記録した記憶媒体
KR100374063B1 (ko) 에이취엠엠디(hmmd)칼라 스페이스 기반의칼라양자화 방법과 멀티미디어 특징소 추출 및 검색 방법
Yadav et al. Content based image retrieval using Dither Block Truncation coding with similarity comparison algorithm
JP2006215808A (ja) 色変換方法、色変換装置、プログラムおよび記録媒体
KR100243351B1 (ko) 와이.유.브이(yuv) 공간에서 컬러 특성 분포를 이용한 유사도 측정 방법
KR20030009674A (ko) 내용 기반 영상 검색 장치 및 방법
Teng et al. Effects of codebook sizes, codeword dimensions, and colour spaces on retrieval performance of image retrieval using vector quantization
Supic Image retrieval using annular histograms of simple binarized feature vectores generated from DCT coefficients
Cheung et al. Merged-Color Histogram for Color Image Retrieval
Gagliardi et al. A method for the automatic indexing of colour images for effective image

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040720

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20041020

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20041025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050427

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090513

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100513

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110513

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130513

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees