JP3447726B2 - ビデオ領域代表カラー設定方法とデータ構造及び信頼度抽出方法 - Google Patents

ビデオ領域代表カラー設定方法とデータ構造及び信頼度抽出方法

Info

Publication number
JP3447726B2
JP3447726B2 JP2001508169A JP2001508169A JP3447726B2 JP 3447726 B2 JP3447726 B2 JP 3447726B2 JP 2001508169 A JP2001508169 A JP 2001508169A JP 2001508169 A JP2001508169 A JP 2001508169A JP 3447726 B2 JP3447726 B2 JP 3447726B2
Authority
JP
Japan
Prior art keywords
color
representative color
area
representative
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001508169A
Other languages
English (en)
Other versions
JP2003503804A (ja
Inventor
キム，ヒョン・ジュン
Original Assignee
エルジー エレクトロニクス インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エルジー エレクトロニクス インコーポレーテッド filed Critical エルジー エレクトロニクス インコーポレーテッド
Publication of JP2003503804A publication Critical patent/JP2003503804A/ja
Application granted granted Critical
Publication of JP3447726B2 publication Critical patent/JP3447726B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/644—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor using a reduced set of representative colours, e.g. each representing a particular range in a colour space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

【発明の詳細な説明】
【０００１】技術分野 本発明は、コンテンツベースのマルチメディアデータ抽
出システムで用いられる領域代表カラーに係るもので、
特に、マルチメディア検索において、映像として表示さ
れる被写体や注目領域（Region Of Interest;以下、Ｒ
ＯＩという）のカラーを表現することができるビデオ領
域の代表カラー設定方法、データ構造、及び信頼度抽出
方法に関するものである。
【０００２】背景技術 マルチメディア検索システムにおいて、ビデオの被写体
やＲＯＩのカラー特徴を表現する方法としては、多様な
方法があるが、それぞれのシステムによって異なってい
る。
【０００３】代表するカラーを表現する方法としては、
例えば、領域の平均カラー値を利用する方法、出現頻度
数の高い一つのカラーで表現する方法、ｎ回以上出現す
るカラーで表現する方法、Ｐ％以上出現するカラーを利
用する方法、ヒストグラムを利用する方法などがある。
【０００４】このような従来の方法はそれぞれ独自の利
点と欠点を有している。例えば、ヒストグラムを利用す
る方法はカラー情報を詳細に表現するという利点を有す
る。しかしながら、ヒストグラムは比較的大きなデータ
を持っており、対応するヒストグラムビンによって表さ
れるいくつかのカラーが、比較的小さな領域を占めてい
るカラーであっても領域を代表しているカラー値となる
ことがある。
【０００５】領域代表カラーを平均値によって表現され
る場合、領域が一色の場合は蓄積されたデータ情報を有
し、コンテンツベースの検索時に、フィールタリング機
能を有するという利点がある反面、所定領域が多様なカ
ラーから構成される場合、領域代表カラーを正確に表現
することが難しい。
【０００６】最近、領域代表カラーを抽出するデータ構
造が標準化され、多様なシステムに適用することが行わ
れるようになった。しかし、データ構造のみを標準化し
て、領域代表カラーの抽出方法を一つの方法に標準化し
ていないので、各システムのデータ間の互換性を確保し
難い。
【０００７】さらに、このような方法を利用して代表カ
ラー値を抽出するとき、イメージや領域に従う代表カラ
ー表現の正確度が一貫して維持されない。
【０００８】平均値を代表カラーとして表現するときの
前記指摘された問題の以外にも、例えば、ヒストグラム
を利用して領域カラーを表現するとき、ヒストグラムビ
ン数、すなわち、カラーレベル数によって領域カラーの
表現の程度が決定される。
【０００９】不要に多いビン数で表現すると、領域カラ
ーは、不要に多様なカラーとして表現されて検索性能が
低下し、極めて少ないビン数のカラーとして表現する
と、やはり多様なカラーに構成される領域では、適切な
表現が難しくなって、検索性能が低下する。
【００１０】発明の開示 複数のカラーを用いて領域代表カラーを表現し、多くの
領域代表カラー特徴に基づいて領域代表カラー情報の信
頼値を表現できる、ビデオ領域の代表カラーを設定する
方法を提供することが目的である。
【００１１】本発明の他の目的は、ビデオ領域の代表カ
ラー設定用のデータ構造を提供することである。
【００１２】本発明のさらに他の目的は、本発明による
ビデオ領域の代表カラー設定における信頼度を抽出する
方法を提供することである。
【００１３】上記目的を達成するために、ビデオ領域代
表カラー情報が、代表カラーの数、代表カラー、特定の
領域に関するそれぞれの代表カラーあたりの出現頻度、
及び代表カラー値の信頼度値など、多様な領域代表カラ
ー特徴抽出方法に基づいて、特徴づけるられることが提
供されている。
【００１４】本発明のさらなる利点、目的及び特徴が以
下の記述からより明確になるであろう。
【００１５】好ましい実施形態を実施するモード 本発明の一つの特徴によれば、領域代表カラー抽出方法
を、抽出方法のタイプ、前処理記述、頻度数条件記述、
カラー空間記述、カラーサブスペース記述、量子化記
述、カラークラスタリング記述などで定型化して規定す
ることで、異種システム間の互換性を確保することがで
きる。
【００１６】本発明の他の特徴によれば、代表カラーと
そのカラーと似ているカラーとの類似度と、与えられた
カラーに対するそのカラーのコーヒレンス（coherenc
e）と、何れかのカラーを特定のカラーとしたとき、そ
のカラーの正確な値と代表カラー値との誤差と、イメー
ジ領域での代表カラーの占有領域の大きさと、領域上で
の各カラーのピクセルの位置を考慮して信頼度を抽出す
る。それによって、異なる特徴抽出方法による領域代表
カラー値を比較することができる。
【００１７】又、全体領域の代表カラーに対する信頼度
値及び／又は各カラーの信頼度を表現して、より詳細な
領域代表カラーに対する情報を得ることができる。
【００１８】本発明に係るビデオ領域代表カラー設定方
法は、図１に示したように、ビジュアルデータ（ビデオ
及び／又はイメージ）から領域（Ｒ）を抽出する過程
と、前記抽出された領域に対する代表カラー情報（ＤＣ
Ｄ；Dominant Color Descriptor）を設定する過程と、
領域代表カラー情報に対する領域情報と、設定された代
表カラーを格納する過程と、を順次行うことを特徴とす
る。
【００１９】代表カラー情報（ＤＣＤ）は、与えられた
領域に対するカラー情報に含まれた代表カラーの数
（Ｎ）と、カラー情報として表現された任意の代表カラ
ー（Ｃｉ）及び該代表カラーが示される程度を記述する
頻度数（Ｐｉ）と、前記カラー情報の信頼度（Confiden
ce Measure；ＣＭ）値とで記述される。
【００２０】本発明に係る領域代表カラーを利用した情
報検索方法は、図２に示したように、使用者領域を選択
し、その領域に該当する領域情報を抽出する過程と、前
記該当領域に対する代表カラーを抽出した後、格納され
た全ての領域情報と、代表カラーとを比較する過程と、
を順次行う。
【００２１】そして、領域代表カラーの抽出方法により
生成された定型化データを利用した異種システム間の互
換性維持方法は、図３に示したように、各システム（シ
ステムＡ，システムＢ）の領域情報（Ｒ）に対する領域
代表カラー情報（ＤＣＤ）を求めた後、前記領域代表カ
ラー抽出方法を定型化し、前記領域代表カラー情報と定
型化された領域代表カラー抽出方法とを共有データ形式
に変換して、それらを比較検索することを特徴とする。
【００２２】領域代表カラー抽出方法を利用して定型化
されたデータ構造は、領域代表カラーを抽出する抽出方
法のタイプと、領域代表カラー値を求めるとき、領域の
フィールタリング方式を記述する前処理記述と、求めら
れたヒストグラムに示される代表カラーの頻度数の条件
を記述する頻度数条件記述と、領域代表カラーを表示す
るためのカラー空間に対する情報を記述するカラー空間
記述と、領域代表カラーが前記定義された基準カラー空
間のサブスペースとして表現されたか否かを定義するカ
ラーサブスペース記述と、前記カラー空間の量子化方法
を利用する量子化記述と、前記領域カラーがカラークラ
スタリングベースにより表現された場合、これを記述す
るカラークラスタリング記述と、を定義して定型化され
る。
【００２３】前記抽出方法のタイプは、領域の平均カラ
ー値を利用する方法、最も出現頻度数の高い一つのカラ
ーを表現する方法、ｎ回以上出現するカラーとして表現
する方法、所定領域でしきい値（Ｐ％）以上出現するカ
ラーを利用する方法、及びヒストグラムを利用する方法
中の何れか一つを定義する。
【００２４】更に、前記前処理記述は、領域代表カラー
値を求めるときに設定されるフィルタタイプと、イメー
ジ領域に適用されるフィルタサイズと、フィルタ窓のフ
ィルタスライディング方法を定義する。
【００２５】前記頻度数条件記述は、カラーが領域代表
カラーとして設定される頻度数のしきい値内で決定する
頻度数しきい値と、領域代表カラーの頻度数に基づい
て、大きさ順にある数だけ指定する区分オーダ記述と、
出現頻度の高い上位ｎ頻度度数のしきい値の頻度数和
と、をそれぞれ定義する。
【００２６】前記カラー空間記述は、代表カラーの基準
となるカラー空間と、よく知られたカラー空間から適用
されるカラー空間への変換を決めるための基準カラー空
間からの変換記述を定義する。その変換記述は、基準カ
ラー空間のカラーチャンネル数と、変換タイプとその変
換方法を定義する。
【００２７】前記カラーサブスペース記述においては、
領域代表カラーだけがカラー空間のサブスペースを考慮
する場合、そのサブスペースを表示するために使用され
るカラーチャンネルと、該カラーチャンネルの数と、前
記チャンネルの範囲と、考慮方法に対するベクトルサブ
スペースタイプ及びそのタイプの設定方法と、を定義す
る。
【００２８】前記量子化記述は、カラー空間の量子化方
法を示すために、量子化されたチャンネル数と、該量子
化されたカラーチャンネルと、適用される量子化方法
と、各チャンネル当たり量子化レベルの数と、量子化変
換方法と、をそれぞれ定義する。
【００２９】前記カラークラスタリング記述は、クラス
タリング使用可否、及びクラスタリング個数が領域に従
って変化するかを記述し、クラスタの個数及びクラスタ
されるカラーチャンネル数を記述し、各クラスタを記述
する方法を定義する。
【００３０】従って、定型化データを利用して、他のシ
ステムで異なるＤＣＤ抽出方法により生成されたデータ
間の比較検索を行うことが可能となる。このとき、異な
るＤＣＤ抽出方法を一つに統一して、比較検索を行うこ
とができる。
【００３１】このようなＤＣＤ抽出方法によると、前記
領域代表カラーの正確度を示す信頼度を得ることがで
き、検索性能向上、及び他の抽出方法による領域代表カ
ラー間の互換性確保を実現することができる。
【００３２】このとき、前記信頼度は、イメージ領域で
一つのカラーが何れかの値と表現されるとき、前記カラ
ー値が増減されて変化している二つのカラーを同じカラ
ーと見られる最大の変化値（Not Apparenntly Distingu
ishable Color Allowance;ＮＡＤＣＡ）と、与えられた
カラーに対して、該カラーのピクセルが集合されている
か、又は離散されているかを測定するコーヒレンス値
と、代表カラーをクラスタしたカラーのカラー変化の特
性である、代表カラーにマッピングされた全てのカラー
値と代表カラー値との誤差（Color Mapping Error；Ｃ
ＭＥ）と、イメージ領域で代表カラーが占有する領域の
大きさと、カラーピクセルの領域上での位置とを考慮し
て、一部又は全部を信頼度に反映させる。
【００３３】前記信頼度抽出方法は、信頼度及びピクセ
ルをカウントした和を初期値にセッティングする過程
と、全ての領域の代表カラー（Ｃｉ）に対して、カラー
ピクセルをカウントした値からコーヒレンス値を求め
て、前記コーヒレンス値とカラーピクセルのカウント値
とを乗算した後、初期値の信頼度を加えて、全てのカラ
ーに対する信頼度を求める。その後、前記求められた信
頼度値を予め設定された領域のサイズに分割して、一つ
のイメージ領域に対する信頼度を求める過程と、を包
む。
【００３４】このような信頼度抽出方法を利用して、異
なる抽出方法の各カラー当たり信頼度を求めることがで
きる。
【００３５】以下、ビデオ領域の代表カラー設定方法を
図面を用いて説明する。マルチメディア検索は、映像、
即ち、ビジュアルデータ（ビデオ及び／又はイメージ）
に示される被写体又は注目領域（ＲＯＩ）のカラーを表
現し得る領域代表カラー情報を設定するものである。
【００３６】領域代表カラー情報（ＤＣＤ）は、特定領
域に対するカラー情報であって、該領域をイメージ全
体、イメージの一部分、ビデオセグメント、時間の変化
に従ってビデオセグメントに含まれた被写体が様々な形
態に変化する領域、時間の変化に従ったビデオセグメン
トの正規の位置を表現する領域などに多様に区分して示
される。
【００３７】このような領域代表カラー情報（ＤＣＤ）
は、与えられた領域に対する代表カラーの数（Ｎ）と、
表現されたｉ番目の代表カラー（Ｃｉ）及びその代表カ
ラー（Ｃｉ）が出現する頻度数（Ｐｉ）と、その領域を
代表するカラー値の正確さで表現される信頼度（ＣＭ）
値とで表現される。
【００３８】即ち、ＤＣＤ：［Ｎ，｛（Ｃｉ，Ｐｉ）｜
０＜ｉ≦Ｎ｝，ＣＭ］と表現され、前記Ｎは、ＤＣＤの
代表カラーの数で、Ｃｉは、ＤＣＤのｉ番目（０＜ｉ≦
Ｎ）に表現された代表カラーで、Ｐｉは、代表カラー
（Ｃｉ）が領域に出現する頻度数（０＜ｉ≦Ｎ）で、Ｃ
Ｍは、信頼度であって、該領域を代表するカラー値の正
確度を意味する。
【００３９】このとき、前記代表カラーは、複数のパラ
メータで定義される。即ち、カラー空間情報、量子化情
報、カラークラスタ情報、カラーチャンネルの数などの
チャンネル情報などからなる。
【００４０】従って、多様な領域代表カラー特徴抽出方
法による領域代表カラー値に対する前記領域代表カラー
情報（ＤＣＤ）の表現法、即ち、一つ以上の複数のカラ
ー、及び該カラーの信頼度（ＣＭ）値を利用して領域代
表カラーを表現することができる。
【００４１】例えば、平均カラー方法により領域代表カ
ラー情報（ＤＣＤ１）がＤＣＤ１＝［Ｎ＝１，｛Ｃ０＝
（ｒ，ｇ，ｂ），Ｐ０＝ＵＮＤＥＦＩＮＥＤ）｝，ＣＭ
＝Ｋ］と表現されるとすると、代表カラーの数（Ｎ）は
１で、表現された代表カラー（Ｃ０）は領域の平均カラ
ー（ｒ，ｇ，ｂ）値となり、頻度数（Ｐ０）は、未定義
（ＵＮＤＥＦＩＮＥＤ）状態で表現可能で、信頼度（Ｃ
Ｍ）は、平均値が該当領域を反映する正確度を示す信頼
度値（ｋ）となる。
【００４２】そして、ヒストグラムを利用して、領域代
表カラー（ＤＣＤ５）をＤＣＤ５＝［Ｎ＝６４，｛Ｃ０
＝（ｒ１，ｇ１，ｂ１），Ｐ０＝１０％，（Ｃ１＝（ｒ
２，ｇ２，ｂ２），Ｐ１＝５％），．．．，（Ｃ６３＝
（ｒ６３，ｇ６３，ｂ６３），Ｐ６３＝１％）｝，ＣＭ
＝０．９９］と表現するとき、代表カラーの数（Ｎ）
は、ヒストグラムビン（ｂｉｎ）数となるため、例え
ば、６４個のビンでヒストグラムを表現しようとすると
き、Ｎ＝６４である。このとき、Ｃ０〜Ｃ６３は、該当
ビンが代表するカラー値で表現される。
【００４３】このようにヒストグラムを利用して領域代
表カラーを表現すると、ヒストグラムの量子化レベル数
及び何れか一つの値で表現されるとき、該カラー値の増
減に従って変化するカラーを、同じカラーであると見ら
れる最大の変化値（ＮＡＤＣＡ）によって信頼度（Ｃ
Ｍ）値が変化する。
【００４４】もし、ヒストグラムを構成するとき、量子
化レベル数が過度又は過小であると、信頼度値が低くな
るため、前記信頼度（ＣＭ）値を点検することで、量子
化レベル数が適当であるか否かが判断できる。
【００４５】領域代表カラーを利用した情報検索方法に
おいては、図２に示したように、使用者領域を選択し、
該領域に該当する領域情報を抽出した後、前記該当領域
の代表カラーを抽出し、以前に格納されたその他の全て
の領域情報と前記抽出された代表カラーを比較する。
【００４６】このように、その他の全ての領域情報と、
前記抽出された代表カラーとを比較することにより、全
ての領域情報に対する代表カラーを利用し、使用者選択
領域に対する情報検索を行うことができる。
【００４７】且つ、領域代表カラー抽出方法による定型
化データを利用して異種システム間の互換性を維持する
方法においては、図３に示したように、各システムのデ
ータの領域情報（Ｒ）に対し、領域代表カラー情報（Ｄ
ＣＤ）を抽出して、前記領域代表カラーのそれぞれ異な
る特徴抽出方法を示す。
【００４８】このように、代表カラー情報を共有データ
形式に変換して、異種システム間の比較検索を可能に
し、領域代表カラー情報の定型化された各データを共有
データ形式に変換して、異種システム間の比較検索を行
うことで、異種システム間の互換性を維持することがで
きる。
【００４９】又、領域代表カラーの抽出方法による定型
化データ構造は、領域代表カラーの各抽出方法を定型化
するため、次の項目（項目１〜７）を使用し、各項目
は、再び細部項目として分けられる。
【００５０】項目１の抽出方法のタイプは、領域の平均
カラーを利用する方法と、出現頻度の高い何れか一つの
カラーを利用する方法と、所定のｎ回の出現頻度の高い
カラーを表現する方法と、しきい値以上（Ｐ％）の所定
領域に示されるカラーを利用する方法と、ヒストグラム
を利用した抽出方法と、から何れか一つを規定する。
【００５１】項目２の前処理記述では、領域代表値を求
める場合、該領域をスムージング（smoothihg）、ブル
アリング（burring）などを行うための前処理方式を記
述するもので、その細部項目として、イメージ領域に適
用されるフィルタータイプ（例えば、平均フィルターな
ど）、及びフィルターサイズ（例えば、ｎ，ｍ／ｗｈｏ
ｌｅなど）設定して置き、該フィルターを適用すると
き、フィルター窓をどのようにスライディングさせるか
を記述するフィルタースライディング方法（例えば、
１，１／２，３／ｎｏｎ−ｏｖｅｒｌａｐなど）を表現
する。
【００５２】項目３の頻度数条件記述では、ヒストグラ
ムを求めて、代表カラーが出現される頻度数を利用する
方法に係るもので、その細部項目としてはある値以下の
頻度数に対しては考慮しないという頻度数のしきい値を
定義した後、考慮対称となる頻度数中、頻度数の高いカ
ラーのみを代表カラーに設定する区分オーダしきい値を
定義し、出現頻度数の高い上位ｎ回の頻度数のしきい値
に対する頻度数の和を定義する。
【００５３】項目４のカラー空間記述では、領域代表カ
ラーを表示するためのカラー空間自体に対する情報であ
って、細部項目として基準カラー空間（例えば、ＲＧ
Ｂ，ＨＳＶなど）を定義し、その基準カラー空間の所定
カラー空間と、それとの変換関係を記述する。
【００５４】即ち、基準カラー空間からの変換記述で
は、適用されるカラー空間のカラーチャンネルの数と、
基準カラーから適用されるカラー空間への変換のタイプ
（線形タイプ／非線形タイプ）を定義し、その変換方法
を定義する。
【００５５】もし、カラー空間への変換方法が、線形タ
イプであると、変換マトリックスが定義され、非線形タ
イプであると、Ｃコードタイプが定義方法（方程式及び
条件）として定義される。
【００５６】項目５のカラー空間記述では、領域代表カ
ラーが定義されたカラー空間のどのカラー空間のサブス
ペースとして表現されたかを確認するために、細部項目
としてサブスペースを考慮するか、又は考慮する場合に
使用されるカラーチャンネルの数とその当チャンネルを
定義し、ベクトルサブスペースのタイプの適用の有無
（ベクトルスペースタイプか、ノンベクトルスペースタ
イプか）を定義し、各チャンネルの範囲を示す。
【００５７】このとき、前記チャンネル範囲は、不均衡
信号を有するしきい値で表現されるため、項目の条件が
変わる度毎に新たに定義される（従属的な方法）。
【００５８】もし、ベクトルサブスペースのタイプ項目
が、ノンベクトルスペースタイプであると、方法を定義
をせず、そうでない場合は、方法を明確に定義し、この
場合にも、項目の条件が変わる度毎に新たに定義する
（従属的な方法）。
【００５９】項目６の量子化記述では、カラー空間の量
子化方法を示し、細部項目として量子化されたチャンネ
ルの数と、量子化されたカラーチャンネルと、量子化タ
イプ（線形タイプ／非線形タイプ／ベクトル量子化タイ
プ）を定義し、各チャンネルの量子化レベル数と、前記
定義された量子化タイプを詳しく表現する。
【００６０】即ち、量子化タイプが線形タイプである
と、これを表現し、非線形タイプであると、カラー１チ
ャンネル当たり一つのベクトルを指定し、ベクトル量子
化タイプであると、方程式及び条件方法として定義する
か、又は、ルックアップテーブルとして明確に表現す
る。
【００６１】項目７のカラークラスタリング記述では、
カラーがクラスタリングされたかを表現するために、細
部項目として、クラスタリングされてレベルタイプが決
まっていると、クラスタリングの個数が領域に従って変
化することを表現し、そのクラスタの個数及びクラスタ
されたカラーチャンネルを表示し、各クラスタを定義す
る。
【００６２】このとき、各クラスタカラーの定義として
は、楕円形のパラメータ及び楕円形の中心点を表現す
る。
【００６３】このように領域代表カラーの各抽出方法を
定型化する過程中、平均カラーを使用した抽出方法の一
例を以下に説明する。 ＜平均値を利用した抽出方法の記述＞ 1.Extraction method type = average color 2.preprocessing description 2-1.Filter type = Average filter 2-2.Filter size = Whole 2-3.Filter sliding method =non-overlap 3.Frequency condition description: 3-1.Frequency threshold = 0%or n/a 3-2.Sorting order threshold = n/a 3-3.Frequency sum of top n frequencies threshold =
100% 4.Color space description: 4-1.Reference color space = RGB 4-2.Transformation from reference color space desc
ription: 4-2-1.Number of color channels =n/a 4-2-2.Linear type transformation =n/a 4-2-3.Method definition =n/a 5.Color sub-space description: 5-1.Sub-space used = FALSE 5-2.Number of using color channels =n/a 5-3.Using color channels =n/a 5-4.Channel ranges =n/a 5-5.Vector sub-space type=n/a 5-6.Method definition =n/a 6.Quantization description 6-1.Number of quantized channels = 3 6-2.Quantied color channels = {channel 1, channel
2, channel 3} 6-3.Type = linear type 6-4.Number of quantization levels per channel=(4,
4,4) 6-5.Quantization definition =n/a 7.Color clustering description: 7-1.Clustering used = FLASE 7-2.Fixed level Type=n/a 7-3.Number of clusters=n/a 7-4.clustered color channels=n/a 7-5.cluster definition=n/a
【００６４】このように、平均値を利用した抽出方法の
記述では、項目１の抽出方法のタイプは平均カラーを抽
出する。
【００６５】且つ、項目２は、前処理記述であって、そ
の細部項目のフィルタタイプ（２−１）では、イメージ
領域が平均フィルタによって平均フィルタリングされ
る、フィルタサイズ（２−２）が全体（ｗｈｏｌｅ）で
あるというのは、任意のフィルタサイズでイメージ領域
を平均フィルタリングすることではなく、全体を平均す
ることを意味し、フィルタスライディング方法（２−
３）が“ｎｏｎ−ｏｖｅｒｌａｐ”であるというのは、
フィルタ窓を適用するとき、以前のフィルタ窓と後のフ
ィルタ窓が重複しないようにすることを意味する。
【００６６】又、項目３では、ヒストグラムを求めて頻
度数を利用するとき、頻度数のしきい値（３−１）が０
％又はｎ／ａでは、これを考慮しないことを意味し、区
分オーダしきい値（３−２）がｎ／ａでは、これを考慮
しないことを意味し、しきい値（３−３）は、上位ｎ回
で、頻度数の高いしきい値の頻度数の和（３−３）が１
００％であることを意味する。
【００６７】更に、項目４は、カラー空間自体に対する
情報であって、基準カラー空間（４−１）、及び基準カ
ラー空間からの変換記述（４−２）は、適用するカラー
空間と所定のカラー空間との変換関係を表現したもので
ある。
【００６８】即ち、基準カラー空間はＲＧＢスペース
で、その基準カラー空間からの変換記述（４−２）がｎ
／ａであるので、新しく変換されるカラー空間は無く、
領域代表カラー値を表現したカラー空間は、ＲＧＢであ
ることを意味する。
【００６９】もし、前記ＲＧＢ及び他のカラー空間を使
用し、そのカラー空間とＲＧＢ間で変換することを示す
場合、線形タイプが真（ＴＲＵＥ）であると、一つの変
換マトリックスを定義し、線形変換でない場合、方程式
又は条件文を利用して細部項目を定義する。
【００７０】且つ、項目５のカラー空間の記述は、領域
代表カラーが項目４に定義された任意のカラー空間のサ
ブスペースにおいて表現されたかを確認するためのもの
で、使用されたサブスペースが偽（ＦＡＬＳＥ）にセッ
ティングされて、領域代表カラー値が特定のサブスペー
スを考慮しないということを意味している。
【００７１】又、項目６の量子化記述では、カラー空間
の量子化方法を示しており、量子化されたチャンネルの
数（６−１）は１で、量子化されたカラーチャンネル
（６−２）はＣ１で、量子化タイプ（６−３）が均一量
子化タイプとして定義され、方法定義６−５が必要でな
い。
【００７２】各チャンネルの量子化レベルの数６−４は
チャンネルＣ１が２４レベルに量子化されていることを
表している。
【００７３】且つ、項目７は、この例では、カラーがク
ラスタリングされてないので（ｃｌｕｓｔｅｒｉｎｇ
ｕｓｅｄ＝ＦＬＡＳＥ）、使用しないことを意味する。
【００７４】以下、他の抽出方法（ヒストグラムを利用
する方法）を定型化する一例に対して説明する。
【００７５】領域代表カラー値は、最大１０個のカラー
を有し、その領域に対するヒストグラムを求めた後、前
記ヒストグラムビンにそれに相当するカラーに指定する
が、頻度数が１．５％以下であるものを除く。
【００７６】このような抽出方法は、次のような項目に
より表現される。 ＜ヒストグラムを利用した抽出方法の記述＞ 1.Extraction method type=At most top ten frequentl
y appearing colors 2.Preprocessing description: 2-1.Filter type = Average filter 2-2.Filter size = 5,5(means 5 by 5 filter) 2-3.Filter sliding method =1,1 3.Frequency condition description: 3-1.Frequency threshold = 1.5% 3-2.Sorting order threshold = 10 3-3.Frequency sum of top n frequencies threshold =
n/a%(or100%) 4.Color space description: 4-1.Reference color space = RGB 4-2.Transformation from reference color space desc
ription: 4-2-1.Number of color channels =3 4-2-2.Linear type transformation =FALSE 4-2-3.Method definition = input ranges:r=(0,255),g=(0,255),b=(0,255); output ranges:C1=(0,255),C2=(0,255),C3=(0,360); C1=max(r,g,b); if max(r,g,b)=0, C2=0;
【数１】 if max(r,g,b)=0, C3=UNDEFINED; else if r =max(r,g,b)&(g-b>0)
【数２】 else if r=max(r,g,b)&(g-b<0)
【数３】 else if r=max
【数４】 else
【数５】 5.Color sub-space description: 5-1.Sub-space used = TRUE 5-2.Number of using color channels =1 5-3.Using color channels =C1 5-4.Channel ranges =0,360 5-5.Vector sub-space type=FALSE 5-6.Method definition =n/a 6.Quantization description: 6-1.Number of quantized channels = 1 6-2.Quantied color channels =C2 6-3.Type = linear type 6-4.Number of quantization levels per channel=24 6-5.Quantization definition =n/a 7.Color clustering description: 7-1.Clustering used = FLASE 7-2.Fixed level Type=n/a 7-3.Number of clusters=n/a 7-4.clustered color channels=n/a 7-5.cluster definition=n/a
【００７７】項目１は、抽出方法のタイプを示し、最大
１０個のカラーが現れている。
【００７８】項目２の前処理記述時に、２−１は、領域
代表値を求めるとき、その領域の平均フィルタタイプを
適用することを意味し、２−２は、フィルタサイズが５
×５であるフィルタを適用したことを意味し、２−３の
フィルタスライディング方法が１，１であるというの
は、フィルタの窓を横縦１，１ずつフィルタの中心を移
動しながら適用したことを意味する。
【００７９】項目３は、頻度数の条件記述を示す。３−
１の頻度数のしきい値が１．５％であるので、頻度数
１．５％以下のものは除き、３−２の区分オーダのしき
い値が“１０”であるので、ヒストグラムのカラー頻度
数に従って最大１０個までを代表カラーに指定すること
を意味し、３−３のｎ／ａは、このような項目を考慮し
ないことを意味する。
【００８０】項目４は、カラー空間記述を示す。基準カ
ラー空間（４−１）をＲＧＢとし、基準カラー空間から
の変換記述（４−２）として使用されるカラー空間のカ
ラーチャンネル（４−２−１）は三つで、線形タイプ変
換（４−２−２）が偽（ＦＡＬＳＥ）にセッティングさ
れているので、ＲＧＢに適用するカラー空間への変換が
非線形変換であることを意味し、４−２−３に非線形変
換方法に係る条件が記述されている。
【００８１】前記非線形変換方法の条件（４−２−３）
として、各チャンネルに対する入力範囲（Input range
s）及び出力範囲（Out ranges）が定義され、前記各入
力条件に従う出力範囲が定義される。
【００８２】項目５は、カラーサブスペースの記述であ
って、領域代表カラーが項目４に定義された何れのカラ
ー空間のサブスペースとして表現されたかが示される。
【００８３】このとき、使用されたサブスペースが真
（ＴＲＵＥ）にセッティングされているので、領域代表
カラー値が特定のサブスペースを考慮しており、５−
２，５−３，及び５−４の何れか一つのカラーチャンネ
ル（Ｃ１）が０〜３６０のチャンネル範囲値を考慮して
いることが分かる。
【００８４】項目６の量子化記述は、カラー空間の量子
化方法を示したもので、量子化されたチャンネルの数
（６−１）が１で、量子化されたチャンネル（６−２）
がＣ１であり、量子化タイプ（６−３）を線形量子化タ
イプを適用すること及びその方法定義（６−５）は必要
としないことを示す。
【００８５】又、各チャンネル当たり量子化レベルの数
（６−４）は、チャンネル（Ｃ１）が２４レベルに量子
化されたことを示す。
【００８６】項目７は、カラーがクラスタリングされた
かを示すもので、クラスタリング使用が偽（ＦＡＬＳ
Ｅ）で使用しないことが分かる。
【００８７】このようなデータ構造は、各領域に対する
領域代表カラー値が示されるメモリのヘッダからなり、
各項目が変わる度毎にその項目が定義される。
【００８８】このように特徴抽出方法によって、それぞ
れ異なるシステム間の代表カラーの意味を明確にして、
データ間の比較検索時の互換性を維持し得る。
【００８９】即ち、領域代表カラーの抽出方法による定
型化データを利用して、領域代表カラーに対する適切な
抽出方法を選定した後、その抽出方法を利用して二つの
領域の代表カラーを一つに統一する過程（供給データの
形式変換）を経て比較検索を行うことで、領域代表カラ
ー抽出方法に対する定型化データを利用して、異なる抽
出方法間の互換性を維持することができる。
【００９０】一方、領域代表カラーの信頼度（ＣＭ）
は、領域代表カラーの表現の正確度を示す情報であっ
て、領域が一つの色で表現可能であるか否か、その領域
が一つの色で表現されるとき、前記色に対応する所定の
数値などが設定される。
【００９１】且つ、前記信頼度は、０〜１に正規化され
た値で表現するか、信頼度を構成する要素をそれぞれの
数字を利用してベクトルと表現することもできる。例え
ば、ＣＭ＝［Ｃ，ＡＣＭＥ，Ｐ，ＡＩＳＩ］と表現する
ことができる。
【００９２】ここで、Ｃは、０〜１に正規化されたコー
ヒレンス平均、ＡＣＭＥは、カラーマッピングの誤差
（color mapping error）の平均値、Ｐは、全ての領域
代表カラーの頻度数を加算した値、ＡＩＳＩは、平均イ
メージスペースの重要度である。
【００９３】従って、信頼度（ＣＭ）値は、領域カラー
がいくつかの色で表現されるとき有用である。即ち、領
域が多数の色からなり、一つのカラーとして表現し難い
場合があり、このとき、信頼度値が絶対的に重要な意味
を有する。
【００９４】又、信頼度（ＣＭ）値が低いというのは、
一つの領域が多様なカラーにより複雑に構成されている
ことを意味するので、検索時の有用な情報となり、各領
域が一つ以上の抽出方法により構成されているか、又
は、異なる特徴情報が存在する場合、信頼度値に従って
前記各方法の利点が発揮される。
【００９５】即ち、平均値抽出方法を利用して抽出され
た領域代表カラーの信頼度値が低い場合は、ヒストグラ
ム抽出方法による領域代表カラー情報、又はその他の情
報を利用して検索することができる。
【００９６】更に、所定ｎ回と出現頻度の高いカラーの
抽出方法のような、任意の方法を利用して複数の代表カ
ラー値で領域代表カラーを表現すると、信頼度値に基づ
いてその領域が適切な個数で表現されたことが分かる。
【００９７】このように、信頼度を抽出するときに選択
的に採用される要素は、特定のカラーが任意値で表現さ
れるとき、そのカラー値の増減に従ってカラーが変化す
る。このとき、同一のカラーであると見られる最大の変
化値（ＮＡＤＣＡ）を採用する。
【００９８】このとき、同一のカラーと見られる最大の
変化を、人が感知するか否かの微細変化の差に基づいて
判断せず、そのカラーの類似度判断によって決定する。
【００９９】即ち、イメージの青い空領域は、実際には
数百種類のカラーで表現されて、人間の目には自然に映
されるが、コンテンツベースイメージ検索では、一つの
カラー、特定の青い色として表現されるので、このよう
なコンテンツベースイメージ検索時には、あまり多い種
類のカラーは意味がない。
【０１００】特に、領域代表カラー値を平均値として求
めるとき、前記ＮＡＤＣＡ値を予め定義して、平均値が
イメージ領域で占有する領域の大きさとして信頼度値を
求めることができる。
【０１０１】且つ、特定カラーに対して、そのカラーの
ピクセルが集合、又は離散されているかを測定するコー
ヒレンス（ＣＯＨ）値を採用するが、そのコーヒレンス
値は、正規化して０〜１の値を有し、この値が高いほど
信頼度は高くなる。
【０１０２】又、カラー空間で一点と表現される代表カ
ラー値は、イメージ領域で任意のカラー（Ｐｊ）が代表
カラー（Ｃｉ）と見なされるとき、そのカラーの正確な
値と代表カラー値との差（ＣＭＥ）を適用するが、その
差が小さい程信頼度が高くなり、その差が大きい程信頼
度が低くなる。
【０１０３】即ち、ＣＭＥは以下のように表され、加う
るに代表カラーがイメージ領域内でカバーする領域の大
きさＰｊが信頼度を反映している。ＣＭＥ＝Ｑ（このＱ
の下にＦＯが書き添えられている。）
【０１０４】更に、イメージ領域で代表カラーが占有す
る領域の大きさ（Ｐｉ）を信頼度として利用し、このと
き、代表カラーが占有する領域の大きさが大きい程、代
表カラーの信頼度が高くなる。
【０１０５】且つ、各カラーピクセルの領域（Ｒ）上で
の位置（Image Space Importance：ＩＳＩ）を考慮し
て、信頼度に反映させる。例えば、カラーピクセルがイ
メージの中央に近接するほど、そのカラーは、重要なカ
ラーである可能性が高くなり、縁部に近接するほど、重
要度がより低いカラーである可能性が高くなることを反
映して、代表カラー値で表現されるイメージ領域の各カ
ラーが中央に多数位置すると、信頼度が高くなる。
【０１０６】即ち、このように抽出される信頼度が高い
場合は、カラーが相互に離れており、量子化ステップが
実際にＮＡＤＣＡ値に近接し、領域カラーが全体領域を
占有するときである。
【０１０７】しかし、信頼度が低い場合は、カラーが混
在するか、又は量子化ステップが実際にＮＡＤＣＡ値か
ら遠く、領域カラーが領域を充分に占有していないとき
である。
【０１０８】このように信頼度を抽出するためのアルゴ
リズムは、 ａ）信頼度を初期値（＝０）にセッティングさせ、 ｂ）カウンターピクセルの和（ＳＵＭ＿ＣＯＵＮＴ＿Ｐ
ＥＬＳ）を初期値（＝０）にセッティングさせ、全ての
領域代表カラーに対して、各領域代表カラーにその当す
るカラーピクセルをカウントした値（ＣＯＵＮＴ ＰＥ
ＬＳ＿Ｃｉ）、及び各領域代表カラーに相当するコーヒ
レンス値（ＣＯＨ＿Ｃｉ）を求め、 ｃ）前記コーヒレンス値（ＣＯＨ＿Ｃｉ）と、カラーピ
クセルのカウント値（ＣＯＵＮＴ ＰＥＬＳ＿Ｃｉ）と
を乗算した後、その値に前記信頼度を加えて領域代表カ
ラーに対する信頼度（ＣＭ）を求め、 ｄ）前記求められた信頼度値を領域サイズ（ＳＩＺＥ＿
Ｒ）に分けてイメージ領域に対する信頼度を求め、 ｅ）前記求められた信頼度を出力する。
【０１０９】このとき、前記領域サイズ（ＳＩＺＥ＿
Ｒ）は、所定領域のサイズであり、領域（Ｒ）にあるピ
クセルのカウンティングにより計算される。
【０１１０】以下、一つの代表カラー（Ｃｉ）値に対す
るコーヒレンス（ＣＯＨ＿Ｃｉ）を求める二つの方法
（Ｍｅｔｈｏｄ１， Ｍｅｔｈｏｄ２）に対して説明す
る。
【０１１１】先ず、第１の方法（Ｍｅｔｈｏｄ１）は、 １）所定の幅（ＷＩＤＴＨ）及び高さ（ＨＥＩＧＨＴ）
を有するコーヒレンスチェッキングマスク（Coherency
Checking Mask；ＣＣＭ）のサイズを入力し、 ２）カラーピクセルのカウント（ＣＯＵＮＴ＿ＰＥＬＳ
＿Ｃｉ）値及びコーヒレント全体数（ＴＯＴＡＬ＿ＮＵ
Ｍ＿ＣＯＨＥＲＥＮＴ）を初期値（＝０）にセットして
入力し、 ３）ピクセル（ＰＥＬｊ）のカラーが代表カラーにマッ
ピングされる領域内（Ｒ）の全てのピクセル（ＰＥＬ
ｊ）に対して、 ３−１）前記カラーピクセルを一つず増加させて、カラ
ーピクセルのカウント値を求め（ＣＯＵＮＴ＿ＰＥＬ＿
Ｃｉ＝ＣＯＵＮＴ＿ＰＥＬＳ＿Ｃｉ＋１）、 ３−２）コーヒレンスチェッキングマスク（ＣＣＭ）の
中央配列によりマスクされたカラーピクセルが代表カラ
ーにマッピングされた場合、そのマスクされたピクセル
の数（中央ピクセルは除外）をカウンティングしてコー
ヒレント数［（０〜ＷＩＤＴＨ×ＨＥＩＧＨＴ）−１］
を求め、 ３−３）前記コーヒレント数と、前記求められたコーヒ
レント全体数とを加算してコーヒレント全体数（ＴＯＴ
ＡＬ＿ＮＵＭ＿ＣＯＨＥＲＥＮＴ）を求め、 ４）前記求められたコーヒレント全体数をピクセルカラ
ーのカウント値と、中央ピクセルを除いた全体ピクセル
（ＷＩＤＴＨ×ＨＥＩＧＨＴ−１）とを乗算した値に分
けて、一つの代表カラー値に対するコーヒレンス（ＣＯ
Ｈ＿Ｃｉ）値を求め、 ５）一つの代表カラー値に対するコーヒレンス値及びピ
クセルカラーのカウント値を出力する。
【０１１２】そして、第２の方法は、限定されたピクセ
ルに拘らずに決定されたしきい値を使用する方法であっ
て、 １）所定の幅及び高さを有するコーヒレンスチェッキン
グマスク（ＣＣＭ）のサイズを入力し、 ２）適当数のしきい値を設定し（例えば、ＷＩＤＴＨ×
ＨＥＩＧＨＴ−１）、 ３）カラーピクセルのカウント値、コーヒレント全体
数、非境界ピクセルのカウント値をそれぞれ初期値（＝
０）にし、 ４）ピクセルカラーが代表カラーにマッピングされる領
域内の全てのピクセルに対し、 ４−１）カラーピクセルを一つずつ増加してカウント
し、カラーピクセルのカウント値を求め、 ４−２）コーヒレンスチェッキングアスク（ＣＣＭ）の
中央配列によりマスクされたカラーピクセルが代表カラ
ーにマッピングされた場合、そのマスクされたピクセル
の数（中央ピクセルは除外）をカウンティングしてコー
ヒレント数［（０〜ＷＩＤＴＨ×ＨＥＩＧＨＴ）−１］
を求め、 ４−３）前記コーヒレント数がしきい値より大きいか、
又は同様であると、非境界ピクセルを一つずつ増加して
カウントして、非境界ピクセル（ＮＯＮＢＯＵＮＤ＿Ｐ
ＥＬＳ）のカウント値を求め、 ５）前記求められた非境界ピクセルのカウント値をカラ
ーピクセルのカウント値に分けて一つの代表カラーに対
するコーヒレンス値を求め、 ６）任意の代表カラーに対するコーヒレンス値、及びカ
ラーピクセルのカウント値を出力する。
【０１１３】前記第１、第２の方法において、代表カラ
ー及びマッピングされるカラーを決定するための条件と
して、代表カラーと同一のカラー（明確に区別されない
カラー）と見なされるピクセルカラーのある代表カラー
と、ピクセルカラーの差がＮＡＤＣＡより小さいとき、
即ち、ＤＩＳＴＡＮＣＥ（Ｃｉ，ＣＯＬＯＲ＿ＯＦ＿Ｐ
ＥＬｊ）＜ＮＡＤＣＡを満足すると、ｍｅｔｈｏｄ１の
第３過程、ｍｅｔｈｏｄ２の第４過程の条件をその条件
に変更することができる。
【０１１４】且つ、代表カラーと同一のカラーに見なさ
れる条件として、代表カラーと、マスクされたピクセル
カラーとの差がＮＡＤＣＡよりも小さいとき、即ち、Ｄ
ＩＳＴＡＮＣＥ（Ｃｉ，ＣＯＬＯＲ＿ＯＦ＿ＭＡＳＫＥ
Ｄ＿ＰＥＸＥＬｋ）＜ＮＡＤＣＡを満足すると、この条
件は、ｍｅｔｈｏｄ１の第３−２過程、ｍｅｔｈｏｄ２
の第４−２過程の条件に変更することができる。
【０１１５】このように領域代表カラーに対する信頼度
を抽出することで、それぞれ異なる特徴抽出方法による
領域代表カラーを検索するときに、互換性を確保するこ
とができる。
【０１１６】即ち、特定領域の代表カラーは、領域平均
値により求められるが、特定領域代表カラーが、ヒスト
グラムにより求められた場合、前記特定領域の代表カラ
ー値は、信頼度値を有するので、それぞれ異なる特徴抽
出による領域代表カラー値を容易に比較することができ
る。
【０１１７】且つ、ＤＣＤ抽出方法による定型化データ
は、次のように示される。 DCD1=[N=1,{(C0=gray,P0=n/a)}, CM=0.01] DCD2=[N=1,{(C0=gray,P0=n/a)}, CM=0.99] DCD3=[N=2,{(C0=red,P0=50%),(C1=cyan,P1=50%)},CM=0.
99] DCD4=[N=2,{(C0=red,P0=50%),(C1=cyan,P1=50%)},CM=0.
01] DCD5=[N=n,{(C0=red,P0=50%),(C1=yellow,P1=5%)},....
(Cn-1=gray,Pn-1=1%,CM=0.99]（ＤＣＤ５から検出され
る平均カラーは、“ｇｒａｙ”に推定する） DCD6=[N=n,{(C0=red,P0=10%),(C1=yellow,P1=5
%)},....,(Cn-1=gray,Pn-1=50%)},CM=0.99]（ＤＣＤ６
から検出される平均カラーは、“ｇｒａｙ”に推定す
る）
【０１１８】ここで、領域代表カラー情報からＤＣＤ２
＆ＤＣＤ４＆ＤＣＤ６の代表カラーが類似で、ＤＣＤ１
＆ＤＣＤ３＆ＤＣＤ５の代表カラーが類似であることが
分かる。
【０１１９】このとき、領域代表カラー情報からＤＣＤ
１は、Ｃ０が平均値から求められたことが認められ、Ｄ
ＣＤ３の（Ｃ０，Ｐ０），（Ｃ１，Ｐ１）がヒストグラ
ムであることが認められるとき、（Ｃ０，Ｐ０），（Ｃ
１，Ｐ１）から平均カラーＣ＊を求めてＣ０と比較する
ことができる。
【０１２０】一方、全体領域代表カラー情報（ＤＣＤ）
に対する信頼度値を除いて、各カラー（Ｃｉ）に基づい
て信頼度（ＣＭｉ）を得ることができる。即ち、DCD=
[N,{Ci, Pi, CMi, (0<i≦N)},CM]と表現される。
【０１２１】対する信頼度のように、正規化されたコー
ヒレンス、カラーマッピングの誤差（ＣＭＥ）、代表カ
ラーが占有する領域の大きさ、及び各カラーピクセルの
領域上での位置などを考慮して、所定のカラー対して信
頼度値を求める。すなわち、CMi=[SpatialVariance, Co
lorVariance, SizeOfCovers, Position]のようなベクト
ルによってＣＭｉを表すことができる。
【０１２２】コヒーレンスに逆比例するＳｐａｔｉａｌ
Ｖａｒｉａｎｃｅはｐ２４−２６と同様に定義される。
【０１２３】カラーマッピングエラーＣＭＥに逆比例す
るカラー変動に基づいたあるカラーに対するＣｏｌｏｒ
Ｖａｒｉａｎｃｅ値は次の式に基づいて得ることができ
る。ColorVariance_Ci=SUM[Distance(CENTROID_Ci,MAPP
ING_COLOR_POINT_Pj_TO_Ci)/MAX_DISTANCE_Pi_TO_Ci×N
UM_MAPPING_COLOR_POINT_Ci] 全てのｊに対してCM=Sum
(CM_Ci) 全てのｉ／ＭＡＸ＿ｉ＋１に対して
【０１２４】すなわち、ある代表カラーに対するＣｏｌ
ｏｒＶａｒｉａｎｃｅは代表カラーと認識される全ての
カラーに対して異なっている。かつＤｉｓｔａｎｃｅ
（ＣＥＮＴＲＯＩＤ＿Ｃｉ，ＭＡＰＰＩＮＧ＿ＣＯＬＯ
Ｒ＿ＰＯＩＮＴ＿Ｐｊ＿ＴＯ＿Ｃｉ）はカラーが代表カ
ラーＣｉと推定されるときカラーＰｊに対して異なって
いる。
【０１２５】ＭＡＸ＿ＤＩＳＴＡＮＣＥ＿Ｐｉ＿ＴＯ＿
Ｃｉは二つのカラー（Ｐｊ，Ｃｉ）の間の最大距離差で
ある。
【０１２６】ＮＵＭ＿ＭＡＰＰＩＮＧ＿ＣＯＬＯＲ＿Ｐ
ＯＩＮＴ＿Ｐｊ＿ＴＯ＿Ｃｉは、ｊの最大値であって、
カラーＰｊがＣｉにマッピングされる総回数である。
【０１２７】このように求められた値は正規化されて、
特定の代表カラーに対する信頼度は、０〜１の値にな
る。
【０１２８】且つ、全ての代表カラー値に対する信頼度
を合計（全てのｉに対してＳＵＭ（ＣＭ＿Ｃｉ）、ｉは
整数、０＜ｉ＜Ｍ）して同一のカラーに見られるカラー
の最大値（ＭＡＸ＿ｉ＋１）に分ける。即ち、ＣＭ＿Ｃ
ｉの平均値を求めてイメージ領域に対する信頼度（Ｃ
Ｍ）を求める。
【０１２９】以上説明したように、表現された領域代表
カラー情報、及びそのカラー情報の信頼度をイメージ領
域に対するカラーの類似度及びその差異と、代表カラー
が領域に占める大きさ及び領域上での位置などを考慮し
て表現するため、検索性能を向上し、それぞれ異なる方
法により抽出された領域代表カラー間の互換性を確保し
得るという効果がある。
【０１３０】且つ、領域代表カラー情報の抽出方法を、
カラー空間情報、量子化情報、カラークラスタ情報及び
カラーチャンネル数などに定型化して、標準化するた
め、各システムでそれぞれ異なる方法により抽出された
領域代表カラーを比較検索し得るという効果がある。 ［図面の簡単な説明］
【図１】 本発明に係る領域代表カラーの設定方法を示
したフローチャートである。
【図２】 本発明に係る領域代表カラーを利用した情報
検索方法を示したフローチャートである。
【図３】 本発明に係る領域代表カラー抽出方法により
生成された定型化データを利用した異種システム間の互
換性維持方法を示した構成図である。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平11−96364（ＪＰ，Ａ) 特開 平５−290094（ＪＰ，Ａ) 特開 平６−175633（ＪＰ，Ａ) 特開 平７−146871（ＪＰ，Ａ) 特開 平11−238077（ＪＰ，Ａ) 特表2002−536728（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 H04N 1/40 - 1/60

Claims (22)

    (57)【特許請求の範囲】
  1. 【請求項１】 多様な領域代表カラー抽出方法により表
    現される領域代表カラーにおいて、 所定領域の代表カラー数と、 前記所定領域の代表カラーを示す領域代表カラーと、前記 領域代表カラーの出現頻度数と、少なくとも与えられた代表カラーのピクセルの凝集度を
    表すコーヒレンス値を含み前記所定 領域のカラー値の正
    確さを表す信頼度値とに基づいて 前記領域代表カラーの情報を表現することを
    特徴とするビデオ領域の代表カラー設定方法。
  2. 【請求項２】 前記領域代表カラー情報抽出方法により
    生成された定型化データ、及び異種のシステムの他の代
    表カラー情報抽出方法により生成された各データを、固
    有データ形式に変換して、前記領域代表カラー情報を比
    較検索することを特徴とする請求項１に記載のビデオ領
    域の代表カラー設定方法。
  3. 【請求項３】 前記領域代表カラー情報の信頼度値の大
    小に従って、代表カラーの表現の正確度を判断すること
    を特徴とする請求項１に記載のビデオ領域の代表カラー
    設定方法。
  4. 【請求項４】 前記信頼度は、同一のカラーと見なされ
    る最大変化値を含むことを特徴とする請求項１に記載の
    ビデオ領域の代表カラー設定方法。
  5. 【請求項５】 前記ビデオ領域を示すイメージ領域の特
    定カラーが代表カラーにマッピングされるとき、該特定
    カラーの正確な値と代表カラー値との誤差を前記信頼度
    として採用することを特徴とする請求項１に記載のビデ
    オ領域の代表カラー設定方法。
  6. 【請求項６】 前記ビデオ領域を示すイメージ領域で代
    表カラーが占有する領域の大きさを前記信頼度として採
    用することを特徴とする請求項１に記載のビデオ領域の
    代表カラー設定方法。
  7. 【請求項７】 前記ビデオ領域を示すイメージ領域の各
    カラーピクセルの位置を前記信頼度として採用すること
    を特徴とする請求項１に記載のビデオ領域の代表カラー
    設定方法。
  8. 【請求項８】 前記信頼度は、正規化された前記コーヒ
    レンスの平均値、特定カラーが代表カラーにマッピング
    されるとき、その誤差に対する平均値、全てのビデオ領
    域を表すイメージ領域で代表カラーが占有する領域の大
    きさを合算した値、及び各カラーピクセルのイメージ領
    域上での位置を平均した値を構成要素とするベクトルと
    して表現されることを特徴とする請求項１に記載のビデ
    オ領域の代表カラー設定方法。
  9. 【請求項９】 異なる領域代表カラー特徴抽出方法によ
    り求められた領域代表カラー情報とその代表カラーの各
    信頼度値を利用して、各領域代表カラー値を比較するこ
    とにより、異なる特徴抽出方法間の互換性を確保するこ
    とを特徴とする請求項１に記載のビデオ領域の代表カラ
    ー設定方法。
  10. 【請求項１０】 全体の領域代表カラー情報の各カラー
    に対する正確な信頼度を表現し得ることを特徴とする請
    求項１に記載のビデオ領域の代表カラー設定方法。
  11. 【請求項１１】 それぞれの各代表カラーの信頼度は、
    空間的差、カラーの差、前記カラーが占める領域の大き
    さ、及びその領域での各代表カラーピクセルの位置を含
    む成分を構成するベクトルで表現することを特徴とする
    請求項１記載のビデオ領域の代表カラー設定方法。
  12. 【請求項１２】 領域代表カラー情報を抽出する方法に
    おいて、 領域代表カラーを抽出する抽出方法のタイプと、 前記領域代表カラー値を求めるとき、該領域のフィルタ
    リング方式を記述する前処理記述と、 ヒストグラムにより示される代表カラーの頻度数条件を
    記述する頻度数条件記述と、 領域代表カラーが表示されるカラー空間に対する情報を
    記述するカラー空間記述と、 領域代表カラーが何れかのカラー空間のサブスペースと
    して表現されているかを定義するカラーサブスペース記
    述と、 前記カラー空間の量子化方法を示す量子化記述と、 前記領域代表カラーが再びクラスタリングされたかを記
    述するカラークラスタリング記述と を定義して、定型化させ、 前記領域代表カラー情報の抽出方法により抽出され生成
    された前記領域代表カラー情報を示す定型化データを利
    用して、異種のシステムの他の代表カラー情報抽出方法
    により生成されたデータを固有データ形式に変換するこ
    とにより、異なるシステムの領域代表カラー情報の比較
    検索を行う ことを特徴とするビデオ領域の代表カラー設
    定データ構造。
  13. 【請求項１３】 前記定型化されたデータ構造は、領域
    代表カラー値として示されるメモリのヘッダに表示さ
    れ、前記定型化されたデータ構造の記述項目の条件が変
    わる度毎に再び定義されることを特徴とする請求項１２
    に記載のビデオ領域の代表カラー設定データ構造。
  14. 【請求項１４】 前記前処理記述では、 領域代表カラー値を求めるときに該領域に適用されるフ
    ィルタタイプと、 前記フィルタがイメージ全体領域に適用される方式を定
    義するフィルタサイズと、 フィルタ窓へのスライディング方法と が表現されることを特徴とする請求項１２に記載のビデ
    オ領域の代表カラー設定データ構造。
  15. 【請求項１５】 前記頻度数条件記述では、 ヒストグラムを求めてヒストグラムビンに該当するカラ
    ーの頻度数順に配列した後、該頻度数と設定されたしき
    い値とを比較して、代表カラーに指定することを特徴と
    する請求項１２に記載のビデオ領域の代表カラー設定デ
    ータ構造。
  16. 【請求項１６】 前記カラー空間記述では、基準カラー
    空間と、該基準カラー空間からカラー空間への変換関係
    を表現するためカラーチャンネルの数及びその変換方法
    とが定義されることを特徴とする請求項１２に記載のビ
    デオ領域の代表カラー設定データ構造。
  17. 【請求項１７】 前記カラーサブスペースの記述では、 領域代表カラーが前記カラー空間のサブスペースと表現
    されるときに使用されるカラーチャンネル数及び該カラ
    ーチャンネルと、各カラーチャンネルの範囲とが定義さ
    れることを特徴とする請求項１２に記載のビデオ領域の
    代表カラー設定データ構造。
  18. 【請求項１８】 前記量子化記述では、 カラー空間の量子化されたチャンネル数、量子化される
    チャンネル及び各チャンネルの量子化レベル数が定義さ
    れることを特徴とする請求項１２に記載のビデオ領域の
    代表カラー設定データ構造。
  19. 【請求項１９】 前記クラスタリング記述では、 カラーが再びクラスタリングされた場合、該クラスタリ
    ング個数が領域に従って変化すると、前記クラスタのレ
    ベルタイプ、前記クラスタの個数、及びクラスタされた
    カラーチャンネルを再び定義することを特徴とする請求
    項１２に記載のビデオ領域の代表カラー設定データ構
    造。
  20. 【請求項２０】 信頼度及びピクセルをカウントした和
    を初期値にセッティングする過程と、 全ての領域代表カラーに対して、各領域代表カラーに該
    当するカラーピクセルのカウント値と、各領域代表カラ
    ーに該当するカラーピクセルが集合または離散されてい
    るかを表すコーヒレンス値とを求める過程と、 前記コーヒレンス値と、カラーピクセルのカウント値と
    を乗算した後、該乗算値に前記信頼度を加算して、領域
    代表カラーに対する信頼度を求める過程と、 前記求められた信頼度値を領域サイズに分けて、ビデオ
    領域を表すイメージ領域に対する信頼度を抽出する過程
    と を順次行うことを特徴とするビデオ領域の代表カラーの
    信頼度抽出方法。
  21. 【請求項２１】 異種のシステムにおいて、各システム
    の領域情報と、各システムの領域代表カラー情報と、各
    システムの領域代表カラー情報の抽出方法の定型化デー
    タを利用して、共有データ形式に変換した後、比較検索
    を行うことを特徴とするビデオ領域の代表カラー抽出方
    法による定型化データを利用した異種システム間の互換
    性維持方法。
  22. 【請求項２２】 ビデオ領域の代表カラーを設定する方
    法において、 領域代表カラーの数と、前記領域代表カラーが該当領域
    に現れる頻度数と、前記領域代表カラーが 該当領域でど
    れ程信頼できるかを示す信頼度情報とを含ませて設定す
    ることを特徴とするビデオ領域の代表カラー設定方法。
JP2001508169A 1999-07-03 2000-07-03 ビデオ領域代表カラー設定方法とデータ構造及び信頼度抽出方法 Expired - Fee Related JP3447726B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-1999-0026784A KR100512139B1 (ko) 1999-07-03 1999-07-03 비디오 영역 대표칼라 설정방법과 데이타 구조 및 신뢰도 추출방법
KR1999/26784 1999-07-03
PCT/KR2000/000710 WO2001003439A1 (en) 1999-07-03 2000-07-03 Method for dominant color setting of video region and data structure and method of confidence measure extraction

Publications (2)

Publication Number Publication Date
JP2003503804A JP2003503804A (ja) 2003-01-28
JP3447726B2 true JP3447726B2 (ja) 2003-09-16

Family

ID=19599261

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001508169A Expired - Fee Related JP3447726B2 (ja) 1999-07-03 2000-07-03 ビデオ領域代表カラー設定方法とデータ構造及び信頼度抽出方法

Country Status (5)

Country Link
EP (1) EP1118222B1 (ja)
JP (1) JP3447726B2 (ja)
KR (1) KR100512139B1 (ja)
AU (1) AU5578000A (ja)
WO (1) WO2001003439A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010081894A (ko) * 2000-02-18 2001-08-29 구자홍 이종 시스템간의 내용기반 멀티미디어 검색을 가능하게하는 칼라 히스토그램 변환방법, 멀티미디어 검색 방법,데이터 구조 및 멀티미디어 검색 시스템
US7809185B2 (en) * 2006-09-21 2010-10-05 Microsoft Corporation Extracting dominant colors from images using classification techniques
US9727609B2 (en) * 2012-09-28 2017-08-08 Oracle International Corporation Triggering hard parses
KR101429136B1 (ko) * 2014-03-03 2014-08-11 주식회사 위시링크 평균색상을 이용한 이미지 처리 방법
CN113470125B (zh) * 2021-07-21 2024-01-12 杭州万事利丝绸文化股份有限公司 一种对图案进行颜色搭配的方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4797738A (en) * 1986-05-19 1989-01-10 Kabushiki Kaisha Tohken Color recognition apparatus
US5535314A (en) * 1991-11-04 1996-07-09 Hughes Aircraft Company Video image processor and method for detecting vehicles
JPH05290094A (ja) * 1992-04-08 1993-11-05 Mitsubishi Electric Corp 画像の類似色調検索装置
JPH06175633A (ja) * 1992-12-09 1994-06-24 Omron Corp 画像データ処理装置
JPH07146871A (ja) * 1993-11-24 1995-06-06 Hitachi Ltd 静止画検索装置および静止画検索方法
KR0170932B1 (ko) * 1994-12-29 1999-03-20 배순훈 영상의 시각적, 기하학적 특성에 따른 고속 움직임 추정장치
KR100316765B1 (ko) * 1996-06-28 2002-02-28 윤종용 영상 객체별 시감도 결정방법 및 이를 이용한고능률동영상부호화장치
JP3747589B2 (ja) * 1997-09-17 2006-02-22 コニカミノルタビジネステクノロジーズ株式会社 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体
JPH11238077A (ja) * 1998-02-24 1999-08-31 Minolta Co Ltd 画像検索装置及び方法並びに画像検索プログラムを記録する記録媒体
KR100319155B1 (ko) * 1999-02-01 2001-12-29 구자홍 신뢰도를 이용한 대표칼라 지정방법

Also Published As

Publication number Publication date
KR100512139B1 (ko) 2005-09-02
EP1118222B1 (en) 2013-09-04
JP2003503804A (ja) 2003-01-28
KR20010008792A (ko) 2001-02-05
AU5578000A (en) 2001-01-22
WO2001003439A1 (en) 2001-01-11
EP1118222A1 (en) 2001-07-25
EP1118222A4 (en) 2008-05-28

Similar Documents

Publication Publication Date Title
US7974465B2 (en) Method for dominant color setting of video region and data structure and method of confidence measure extraction
CN107862247B (zh) 一种人脸活体检测方法及终端设备
US7440638B2 (en) Image retrieving system, image classifying system, image retrieving program, image classifying program, image retrieving method and image classifying method
CN102113335B (zh) 图像处理设备和方法
JP4160305B2 (ja) 画像の類似性を決定するシステム及び方法
US6807298B1 (en) Method for generating a block-based image histogram
Saber et al. Automatic image annotation using adaptive color classification
US8180161B2 (en) Image classification device and image classification program
US6738494B1 (en) Method for varying an image processing path based on image emphasis and appeal
CN106898026B (zh) 一种图片的主色调提取方法和装置
CN106570486A (zh) 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法
CN111125416A (zh) 一种基于多特征融合的图像检索方法
Ren et al. Fusion of intensity and inter-component chromatic difference for effective and robust colour edge detection
KR20210088600A (ko) 전시 영역 상태 인식 방법, 장치, 전자 디바이스 및 기록 매체
JP2000207564A (ja) 画像の被写体の検出方法
CN109939432A (zh) 一种智能跳绳计数方法
JP3447726B2 (ja) ビデオ領域代表カラー設定方法とデータ構造及び信頼度抽出方法
CN110705634A (zh) 一种鞋跟型号识别方法、装置及存储介质
CN107292284B (zh) 目标重检测方法、装置及无人机
CN110310268A (zh) 基于白平衡统计分区信息的肤色检测方法及系统
JP2002092611A (ja) 画像処理装置及び画像処理方法並びに記録媒体
Aradhya Real Time Implementation of Emotion Detection and Classification system for Autism Patients
JP2006221523A (ja) オブジェクト領域抽出システムおよび方法
JPH11212993A (ja) 画像検索装置及び方法並びに画像検索プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030617

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070704

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080704

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080704

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090704

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090704

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100704

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110704

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120704

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120704

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130704

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees