JP3447705B2 - 内容をベースとしたマルチメディアデータ検索システム及びその方法 - Google Patents

内容をベースとしたマルチメディアデータ検索システム及びその方法

Info

Publication number
JP3447705B2
JP3447705B2 JP2001039914A JP2001039914A JP3447705B2 JP 3447705 B2 JP3447705 B2 JP 3447705B2 JP 2001039914 A JP2001039914 A JP 2001039914A JP 2001039914 A JP2001039914 A JP 2001039914A JP 3447705 B2 JP3447705 B2 JP 3447705B2
Authority
JP
Japan
Prior art keywords
color
multimedia data
histogram
search
color histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001039914A
Other languages
English (en)
Other versions
JP2001291102A (ja
Inventor
ヒョン・ジュン・キム
ジ・ユン・イ
Original Assignee
エルジー電子株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エルジー電子株式会社 filed Critical エルジー電子株式会社
Publication of JP2001291102A publication Critical patent/JP2001291102A/ja
Application granted granted Critical
Publication of JP3447705B2 publication Critical patent/JP3447705B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、マルチメディアデ
ータを検索するシステム及びその方法に係るもので、詳
しくは、それぞれが異なる色空間と色量子化方法により
構成されたカラーヒストグラムを利用しているいずれの
システムでもマルチメディアデータ検索を行い得る、内
容をベースとしたマルチメディアデータ検索システム及
びその方法に関するものである。
【０００２】
【従来の技術】従来、内容をベースとしたマルチメディ
アデータを検索する際、イメージの色分布はカラーヒス
トグラムにより表現される。そのカラーヒストグラムは
色空間と色量子化方法によって定義されている。従来の
内容をベースとしたマルチメディアデータを検索すると
きにそのカラーヒストグラムを主に使用していた。
【０００３】すなわち、インターネット環境下で同じ色
空間と色量子化方法により構成されたカラーヒストグラ
ムを利用した各システムの間では、色をベースとしたイ
メージやビデオ検索が相互に可能である。一方、異なる
色空間と色量子化方法により構成されたカラーヒストグ
ラムを利用したシステムの間では色をベースとしたイメ
ージやビデオを相互に検索することは不可能であった。
【０００４】ここで、カラーヒストグラムはイメージの
色分布を表現するものであり、色ピクセルに対する位置
にかかわらない性質を有するので（イメージ検索におい
て、色の位置にかかわる性質が必要な場合もあるが、こ
のような場合は、カラーヒストグラムではなく他の特徴
表現を利用すべきである）、内容をベースとしたイメー
ジ検索を行うための他の色表現方法（テクスチャーヒス
トグラム）よりも優れた性能を有する。各カラーヒスト
グラムを比較するための類似度の計算方法は容易であ
る。
【０００５】このような従来のカラーヒストグラムを利
用した内容をベースとしたマルチメディアデータ検索シ
ステムにおいては、図１１に示したように、使用者によ
り入力される照会イメージを入力されて、その照会イメ
ージの特徴情報であるカラーヒストグラムを抽出する色
量子化器１００と、複数の検索対象イメージデータ１０
３−１〜１０３−Ｎを格納するイメージデータベース１
０３と、それら複数の検索対象イメージの特徴情報であ
る各カラーヒストグラム１０２−１〜１０２−Ｎを格納
する特徴データベース１０２と、照会イメージのカラー
ヒストグラムと複数の検索対象イメージの各カラーヒス
トグラムとの類似度を計算し、その類似度に応じたイメ
ージを検索結果として出力する検索部１０１と、を備え
て構成されていた。
【０００６】以下、このように構成された従来のカラー
ヒストグラムを利用した内容をベースとしたマルチメデ
ィアデータ検索システムの動作を説明する。
【０００７】まず、色量子化器100は複数の検索対象イ
メージに対する各イメージデータ（イメージ１〜イメー
ジＮ）１０３−１〜１０３−Ｎの特徴情報を求めるため
に各カラーヒストグラム１０２−１〜１０２−Ｎを抽出
する。すなわち、色量子化器１００は各イメージ１０３
−１〜１０３−Ｎ毎に１つずつのカラーヒストグラム１
０２−１〜１０２−Ｎを抽出する。
【０００８】次いで、抽出された各カラーヒストグラム
１０２−１〜１０２−Ｎは該当の各イメージ１０３−１
〜１０３−Ｎに連結されて特徴データベース１０２に格
納される。すなわち、抽出された各カラーヒストグラム
１０２−１〜１０２−Ｎが特徴データベース１０２に格
納されて、それぞれのイメージのカラー分布を表現す
る。
【０００９】一方、色量子化器１００は、使用者により
照会イメージが入力されると、その照会イメージに対す
るカラーヒストグラムを抽出する。
【００１０】すなわち、色量子化器１００は定められた
色空間と色量子化方法によって、指定された色空間を複
数の下位空間に分割して量子化（これを色量子化と称す
る）する。
【００１１】ここで、色量子化された各下位空間はカラ
ーヒストグラムの一つのビンとマッチングされ、任意の
イメージ内の全ピクセルの色値は各下位空間に対応する
頻度数に比例したカラーヒストグラムを構成する。
【００１２】次いで、検索部１０１は抽出された照会イ
メージのカラーヒストグラムと特徴データベース１０２
に格納された各検索対象イメージ１０３−１〜１０３−
Ｎのカラー分布を表現する各カラーヒストグラム１０２
−１〜１０２−Ｎとの類似度を計算し、類似度に応じた
検索結果を出力する。
【００１３】例えば、検索部１０１は色をベースとした
イメージ検索を行うために、予め抽出されて特徴データ
ベース１０２に格納された各ヒストグラム１０２−１〜
１０２−Ｎと照会イメージのヒストグラムとを公知の方
法、すなわち、ヒストグラム・インターセクションのよ
うなヒストグラムマッチング方法を利用して類似度を計
算した後、その計算された類似度値の大きさを基準にし
てカラーヒストグラムに相当する各イメージを検索結果
として出力する。
【００１４】このとき、検索部１０１は照会イメージの
カラーヒストグラムが以前に抽出されて特徴データベー
ス１０２に格納されていると、その以前に抽出された照
会イメージのカラーヒストグラムと各検索対象イメージ
のカラーヒストグラムの類似度とを計算し、その類似度
に応じたイメージを検索結果として出力する（色量子化
器により照会イメージのカラーヒストグラムを新たに抽
出する必要がない）。
【００１５】一方、照会イメージのカラーヒストグラム
が以前に抽出されておらず、特徴データベース１０２に
格納されてないと、色量子化器１００は照会イメージの
カラーヒストグラムを抽出して検索部１０１に提供す
る。
【００１６】しかし、このような従来のカラーヒストグ
ラムを利用した内容をベースとしたマルチメディアデー
タ検索システムにおいては、各システムが同じ色空間を
使用し、かつ同じ色量子化方法を色量子化器で用いてい
ないと、各カラーヒストグラム間の比較が不可能である
という不都合な点があった。
【００１７】例えば、インターネットのような環境下
で、同じ色空間と色量子化方法により構成されたカラー
ヒストグラムを利用する２つのシステム間では、色をベ
ースとしたマルチメディアデータ検索が相互に可能であ
る。
【００１８】一方、色空間と色量子化方法により構成さ
れたカラーヒストグラムが同じでない２つのシステムの
間では、色をベースとしたマルチメディアデータ検索が
できない。
【００１９】以下、従来の相互に異なるシステムの間で
マルチメディアデータ検索が不可能である理由を図１２
の場合を例にあげて説明する。
【００２０】すなわち、色空間と色量子化方法が相異す
ると、各カラーヒストグラムのビンの意味がそれぞれ異
なるため、地域システムＡ（２００）で利用しているカ
ラーヒストグラムと、地域システムＢ（２０４）で利用
しているカラーヒストグラムと、を比較することは不可
能である。
【００２１】例えば、地域システムＡ（２００）では、
各イメージの各カラーヒストグラム２０１−１〜２０１
−Ｎを特徴データベース２０１に格納するとき、赤、
緑、青（ＲＧＢ）の色空間２０２を利用し、各ＲＧＢ要
素に対して５レベルずつ均一に色量子化２０３を行っ
て、１２５（５×５×５）のビン数を有するカラーヒス
トグラムを構成して格納するとする。
【００２２】一方、地域システムＢ（２０４）では、各
イメージの各カラーヒストグラム２０５−１〜２０５−
Ｎを特徴データベース２０５に格納するとき、色相、彩
度、輝度（ＨＳＶ）の色空間２０６を利用し、各ＨＳＶ
要素に対して７レベルずつ均一に色量子化２１０を行っ
て、３４３（７×７×７）のビン数を有するカラーヒス
トグラムを構成して格納するとする。
【００２３】このように、それぞれのカラーヒストグラ
ムが異なると、各地域システムＡ、Ｂ間ではカラーヒス
トグラムの比較が不可能である。
【００２４】
【発明が解決しようとする課題】上述したように、従来
のカラーヒストグラムを利用した内容をベースとしたマ
ルチメディアデータ検索システムにおいては、相互に異
なる色空間と色量子化方法で構成されたカラーヒストグ
ラムを利用した異種システム間では共通にマルチメディ
アデータを検索することが不可能で、自身の照会イメー
ジに対する検索対象イメージを相手方のデータベースか
ら検索することが出来ないという不都合な点があった。
【００２５】また、従来のカラーヒストグラムを利用し
た内容をベースとしたマルチメディアデータ検索システ
ムにおいては、インターネットのようなネットワーク環
境下で多様なイメージが格納されたデータベースを検索
部に連結して検索することが出来ないという不都合な点
があった。
【００２６】本発明は、このような従来の状況に鑑みて
なされたもので、相互に異なる色空間と色量子化方法に
より構成されたカラーヒストグラムを利用した各システ
ムの間で共通にマルチメディアデータ検索を行い得る内
容をベースとしたマルチメディアデータ検索システム及
びその方法を提供することを目的とする。
【００２７】本発明の他の目的は、相互に異なる色空間
と色量子化方法により構成されたカラーヒストグラムを
利用した各システムの間で、自身の照会イメージに対す
る検索対象イメージを相手方のデータベースから、その
データベースのカラーヒストグラムが自身のデータベー
スのカラーヒストグラムと異なっていても検索し得る内
容をベースとしたマルチメディアデータ検索システム及
びその方法を提供しようとする。
【００２８】本発明のその他の目的は、インターネット
のようなネットワーク環境下で多様なイメージを格納し
ているデータベースを自身の検索部に連結してイメージ
検索を行い得る内容をベースとしたマルチメディアデー
タ検索システム及びその方法を提供しようとする。
【００２９】本発明は、照会イメージのカラーヒストグ
ラムを予め抽出した後、その抽出された照会イメージの
カラーヒストグラムを格納することによってマルチメデ
ィアデータの検索速度を向上し得る内容をベースとした
マルチメディアデータ検索システム及びその方法を提供
しようとする。
【００３０】
【課題を解決するための手段】本発明に係る相互に異な
るベースを利用したシステム間でマルチメディアデータ
検索システムにおいては、照会マルチメディアデータの
ヒストグラムを抽出する第１色量子化手段と、検索対象
マルチメディアデータのヒストグラムを抽出する第２色
量子化手段と、抽出された照会マルチメディアデータの
カラーヒストグラムのベースと抽出された検索対象マル
チメディアデータのカラーヒストグラムのベースとを比
較する比較手段と、２つのカラーヒストグラムのベース
が同じでない場合に２つのカラーヒストグラムを同じベ
ースにより構成されたカラーヒストグラムに変換させる
ヒストグラム変換手段と、を含むことを特徴とする。
【００３１】本発明に係る内容をベースとしたマルチメ
ディアデータ検索方法は、照会マルチメディアデータ
と、相互に異なるベースを利用したシステムに格納され
ている検索対象マルチメディアデータとを比較してマル
チメディアデータを検索する方法であって、照会マルチ
メディアデータを入力するステップと、入力された照会
マルチメディアデータのヒストグラムと検索対象マルチ
メディアデータのヒストグラムとを比較し、２つのカラ
ーヒストグラムのベースが同じでないと、２つのカラー
ヒストグラムを同じベースにより構成されたカラーヒス
トグラムに変換させるステップと、変換されたヒストグ
ラムに基づいて照会マルチメディアデータと検索対象マ
ルチメディアデータとの類似度を計算し、その類似度に
応じた検索結果を出力するステップと、を行うことを特
徴とする。
【００３２】さらに、本発明に係る、照会マルチメディ
アデータと、相互に異なるベースを利用したシステムに
格納されている検索対象マルチメディアデータとを比較
してマルチメディアデータを内容をベースとして検索す
る方法は、照会マルチメディアデータのカラーヒストグ
ラムを抽出するステップと、検索対象マルチメディアデ
ータのカラーヒストグラムを抽出するステップと、抽出
された照会マルチメディアデータのベースとなる色空間
と色量子化方法と抽出された検索対象マルチメディアデ
ータのベースとなる色空間と色量子化方法とを比較する
ステップと、抽出された照会マルチメディアデータ、ま
たは、抽出された検索対象マルチメディアデータのカラ
ーヒストグラムを同じ色空間と色量子化方法により構成
されたカラーヒストグラムに変換して、照会マルチメデ
ィアデータ及び検索対象マルチメディアデータの類似度
に応じた検索を行うステップと、を行うことを特徴とす
る。
【００３３】さらに、本発明に係る内容をベースとした
マルチメディアデータ検索システム及びその方法におけ
るマルチメディアデータ生成方法は、カラーヒストグラ
ムのベースとなる色空間及び色量子化方法が相互に異な
るシステム間でマルチメディアデータの検索を可能にす
るマルチメディアデータの生成方法において、マルチメ
ディアデータのカラーヒストグラムが如何なる色空間に
より構成されているかを描写する色空間描写情報を定義
し、マルチメディアデータのカラーヒストグラムが如何
なる色量子化方法により構成されているかを描写する色
量子化描写情報を定義し、色空間描写情報及び量子化描
写情報をヒストグラムとともに保持することを特徴とす
る。
【００３４】そして、本発明に係るマルチメディアデー
タのヒストグラム変換方法は、照会マルチメディアデー
タの色空間及び色量子化方法と、相互に異なるシステム
に格納されている検索対象マルチメディアデータの色空
間及び色量子化方法とを比較し、これらの色空間または
色量子化方法が同じでない場合に照会マルチメディアデ
ータのヒストグラムと検索対象マルチメディアデータの
ヒストグラムとを同じ色空間及び色量子化方法により構
成されたヒストグラムに変換し、照会マルチメディアデ
ータ及び検索対象マルチメディアデータの類似度に応じ
た検索を行う方法において、色量子化された照会マルチ
メディアデータの色空間の各下位空間を検索対象マルチ
メディアデータの色空間上に投影するステップと、投影
された照会マルチメディアデータの下位空間が重なる検
索対象マルチメディアデータの色空間の各量子に対して
照会マルチメディアデータの下位空間のビン値を分配す
るステップと、を行うことを特徴とする。
【００３５】さらに、本発明に係る相互に異なるベース
を利用したシステム間でマルチメディアデータを検索す
るマルチメディアデータ検索システムにおいては、検索
対象マルチメディアデータのヒストグラムを抽出する第
１色量子化手段と、抽出された検索対象マルチメディア
データのヒストグラムのベースとなる色空間と色量子化
方法を描写する描写手段と、描写された色空間と色量子
化方法と同一の方法により照会マルチメディアデータの
ヒストグラムを抽出する第２色量子化手段と、を含むこ
とを特徴とする。
【００３６】本発明に係る内容をベースとしたマルチメ
ディアデータ検索方法は、照会マルチメディアデータを
入力して、相互に異なるベースを利用したシステムに格
納されている検索対象マルチメディアデータを検索する
方法であって、検索対象マルチメディアデータのカラー
ヒストグラムを抽出するステップと、抽出された検索対
象マルチメディアデータのカラーヒストグラムのベース
となる色空間と色量子化方法を描写するステップと、検
索対象マルチメディアデータの色空間と色量子化方法と
一致する照会マルチメディアデータのカラーヒストグラ
ムが以前に格納されていているか否かを判断するステッ
プと、格納されていた場合に、格納されていた照会マル
チメディアデータのカラーヒストグラムと検索対象マル
チメディアデータのカラーヒストグラムとの類似度を計
算し、その類似度に応じたマルチメディアデータ検索を
行うステップと、を行うことを特徴とする。
【００３７】
【発明の実施の形態】以下、本発明の実施の形態を図面
を用いて説明する。本発明では、相互に異なる色空間と
色量子化方法により構成されたマルチメディアデータを
有するそれぞれのシステム（相互に異なる色空間と色量
子化方法により構成されたカラーヒストグラムを利用し
た各システム）間でマルチメディアデータ検索を共通に
行い得る、内容をベースとしたマルチメディアデータ検
索システム及びその方法を提示する。
【００３８】まず、本発明に係る内容をベースとしたマ
ルチメディアデータ検索システムの第１実施形態は、図
１に示したように、使用者により入力される照会イメー
ジを入力されてその照会イメージのカラーヒストグラム
を抽出する色量子化器３００と、抽出された照会イメー
ジのカラーヒストグラムのベースとなる色空間情報を描
写する色空間描写子（ディスクリプタ）３０１と、抽出
されたカラーヒストグラムのベースとなる色量子化情報
を描写する色量子化描写子３０２と、各検索対象イメー
ジデータ３１０−１〜３１０−Ｎ及びそれら検索対象イ
メージの各カラーヒストグラム３０９−１〜３０９−Ｎ
を提供する検索対象システム３０５と、相互に異なるシ
ステムの間でマルチメディアデータ検索を行い得るよう
に、抽出された照会イメージのカラーヒストグラムを各
検索対象イメージの各カラーヒストグラム３０９−１〜
３０９−Ｎと一致するように変換させるカラーヒストグ
ラム変換器３０３と、変換された照会イメージのカラー
ヒストグラムと各検索対象イメージの各カラーヒストグ
ラム３０９−１〜３０９−Ｎとの類似度を計算し、その
類似度に応じたイメージを検索結果として出力する検索
部３０４と、により構成されている。
【００３９】検索対象システム３０５は、各検索対象イ
メージデータ（イメージ１〜イメージＮ）３１０−１〜
３１０−Ｎを格納する複数のイメージデータベース３１
０と、各検索対象イメージデータ（イメージ１〜イメー
ジＮ）３１０−１〜３１０−Ｎの特徴情報である各カラ
ーヒストグラム３０９−１〜３０９−Ｎを抽出する複数
の色量子化器３０８と、抽出された検索対象イメージの
各カラーヒストグラム３０９−１〜３０９−Ｎを格納す
る複数の特徴データベース３０９と、検索対象イメージ
のカラーヒストグラムのベースとなる色空間情報を描写
する複数の色空間描写子３０６と、検索対象イメージの
カラーヒストグラムのベースとなる色量子化情報を描写
する複数の色量子化描写子３０７と、により構成されて
いる。
【００４０】以下、本発明に係る内容をベースとしたマ
ルチメディアデータ検索システムの第１実施形態の動作
について詳しく説明する。
【００４１】まず、照会イメージが入力されると、色量
子化器３００は照会イメージの特徴情報であるカラーヒ
ストグラムを抽出する。ここで、色量子化器３００によ
り抽出された照会イメージのカラーヒストグラムは、任
意の色空間及び色量子化により抽出されたものである。
【００４２】そして、色空間描写子３０１は抽出された
カラーヒストグラムが如何なる色空間により構成されて
いるかを描写し、色量子化描写子３０２は抽出されたカ
ラーヒストグラムが如何なる色量子化により構成されて
いるかを描写する。
【００４３】一方、検索対象システム３０５は、マルチ
メディアデータ構造を有する、すなわち、同じ色空間と
色量子化方法により構成されているか、または、異なる
色空間と色量子化方法により構成されたカラーヒストグ
ラムを格納する複数の特徴データベース３０９により構
成することができる。
【００４４】ここで、各特徴データベース３０９は位置
的に互いに離れて、主にインターネットのようなネット
ワークにより連結されている。
【００４５】また、検索対象となる（イメージデータベ
ースを共有するか、若しくは、イメージデータベースを
検索部に提供する）検索対象システム３０５は、インタ
ーネット環境下（ネットワーク）でデータを提供するシ
ステムであって、同じシステムかまたは異なるシステム
である。
【００４６】ここで、同じシステムとは、同じ色空間と
色量子化方法により構成されたカラーヒストグラムを利
用するシステムであり、異なるシステムとは、異なる色
空間と色量子化方法により構成されたカラーヒストグラ
ムを利用するシステムである。
【００４７】検索対象システム３０５内の各色量子化器
３０８は、イメージデータベース３１０に格納された複
数のイメージデータ（イメージ１〜イメージＮ）３１０
−１〜３１０−Ｎの特徴情報である各カラーヒストグラ
ム３０９−１〜３０９−Ｎを抽出する。すなわち、色量
子化器３０８はイメージデータ３１０−１毎に１つずつ
のカラーヒストグラム３０９−１を抽出する。
【００４８】ここで、抽出されたカラーヒストグラム３
０９−１は該当するイメージ３１０−１に連結され、特
徴データベース３０９に格納される。
【００４９】また、各特徴データベース３０９には、異
なる色空間、または、異なる色量子化方法により構成さ
れたカラーヒストグラムを有する複数の検索対象イメー
ジが格納されている。
【００５０】また、各特徴データベース３０９に格納さ
れた各検索対象イメージのカラーヒストグラムが如何な
る色空間として描写されていているかは各色空間描写子
３０６により描写され、格納された各検索対象イメージ
のカラーヒストグラムが如何なる色量子化方法により量
子化されているかは各色量子化描写子３０７により描写
される。
【００５１】カラーヒストグラム変換器３０３は照会イ
メージのカラーヒストグラムのベースとなる色空間と色
量子化方法（情報）を色空間描写子３０１及び色量子化
描写子３０２から把握する。
【００５２】さらに、カラーヒストグラム変換器３０３
は各検索対象イメージのカラーヒストグラムのベースと
なる色空間と色量子化方法を検索対象システム３０５内
の各色空間描写子３０６及び色量子化描写子３０７から
把握する。
【００５３】そして、カラーヒストグラム変換器３０３
は、相互に異なる各システムの間でマルチメディアデー
タ検索を行い得るように、把握した各検索対象イメージ
のカラーヒストグラムのベースとなる色空間と色量子化
方法を把握した照会イメージのカラーヒストグラムのベ
ースとなる色空間と色量子化方法と比較し、同じでない
と、照会イメージのカラーヒストグラムを検索対象イメ
ージのカラーヒストグラムと一致するように変換させ
る。
【００５４】また、カラーヒストグラム変換器３０３
は、検索対象イメージのカラーヒストグラムを照会イメ
ージのカラーヒストグラムと一致するように変換させる
機能を実施することもできる。
【００５５】例えば、カラーヒストグラム変換器３０３
は、複数の特徴データベース３０９に格納された各検索
対象イメージのカラーヒストグラムのベースとなる色空
間と色量子化方法が、照会イメージのカラーヒストグラ
ムのベースとなる色空間と色量子化方法と同じでないと
常に、照会イメージのカラーヒストグラムを検索対象イ
メージのカラーヒストグラムと一致するように変換させ
る。
【００５６】このとき、カラーヒストグラム変換器３０
３は、照会イメージのカラーヒストグラムの色空間と色
量子化方法が、各検索対象イメージのカラーヒストグラ
ムの色空間と色量子化方法と同じ色空間と色量子化方法
により構成された場合（同じシステムの場合）は、照会
イメージのカラーヒストグラムを検索部３０７にそのま
ま提供するが、照会イメージのカラーヒストグラムと各
検索対象イメージのカラーヒストグラムとが相互に異な
る色空間と色量子化方法により構成された場合（異なる
システムの場合）は、照会イメージのカラーヒストグラ
ム（照会イメージのカラーヒストグラムのベースとなる
色空間と色量子化方法）を各検索対象イメージのカラー
ヒストグラム（各検索対象イメージのカラーヒストグラ
ムのベースとなる色空間と色量子化方法）と同じ色空間
と色量子化方法に変換させた後、変換された照会イメー
ジのカラーヒストグラムを検索部３０４に提供する。
【００５７】このようにカラーヒストグラム変換器３０
３は、照会イメージのカラーヒストグラム及び検索対象
イメージのカラーヒストグラム中の一方を他方のカラー
ヒストグラムの構成（色空間と色量子化方法）と一致す
るように変換して、照会イメージのカラーヒストグラム
と検索対象イメージのカラーヒストグラムとを比較でき
るようにする。
【００５８】すなわち、照会イメージと類似するイメー
ジを複数の検索対象イメージの格納されたイメージデー
タベース３１０から探索する場合、照会イメージのカラ
ーヒストグラムと特徴データベース３０９に格納された
各イメージデータのカラーヒストグラム３０９−１〜３
０９−Ｎとの比較が行われる。
【００５９】このとき、カラーヒストグラム変換器３０
３は照会イメージのカラーヒストグラムを検索対象イメ
ージのカラーヒストグラムと比較し得るように、照会イ
メージのカラーヒストグラムと検索対象イメージのカラ
ーヒストグラムとを同じヒストグラムに変換する。
【００６０】例えば、使用者がインターネットを通じて
相互に異なるシステムによって異なる色空間と異なる色
量子化方法からなるカラーヒストグラムにより構成され
た各検索対象イメージから照会イメージと類似するイメ
ージを検索する場合、照会イメージと類似するイメージ
を検索する度毎に照会イメージのカラーヒストグラムを
検索対象イメージのカラーヒストグラムと同一方式のカ
ラーヒストグラムに変換して、照会イメージのカラーヒ
ストグラムと検索対象イメージのカラーヒストグラムと
を比較し得るようにする。
【００６１】検索部３０４はカラーヒストグラム変換器
３０３からの照会イメージのカラーヒストグラム、また
は、変換された照会イメージのカラーヒストグラムと、
検索対象イメージ（マルチメディアデータ）のカラーヒ
ストグラムとを比較（類似度を計算）し、類似度に応じ
たイメージを検索結果として出力する。
【００６２】以上のように、本発明に係る内容をベース
としたマルチメディアデータ検索システムの第１実施形
態においては、カラーヒストグラム変換器３０３を利用
することが特徴で、互いに異なるシステムの間でマルチ
メディアデータを検索することが可能である。
【００６３】本実施形態に係る内容をベースとしたマル
チメディアデータ検索システムを用いると、相互に異な
る各システムの間でマルチメディアデータの検索が可能
になることを図２を参照して説明する。
【００６４】すなわち、地域システムＡ（４００）は、
各イメージに対する複数のカラーヒストグラム４０１−
１〜４０１−Ｎを格納する複数の特徴データベース４０
１と、各カラーヒストグラム４０１−１〜４０１−Ｎに
該当する色空間情報を描写する色空間描写子４０２及び
色量子化情報を描写する色量子化描写子４０３と、によ
り構成され、地域システムＢ（４０４）は、各イメージ
に対する複数のカラーヒストグラム４０５−１〜４０５
−Ｍを格納する複数の特徴データベース４０５と、各カ
ラーヒストグラム４０５−１〜４０５−Ｍに該当する色
空間情報を描写する色空間描写子４０６及び色量子化情
報を描写する色量子化描写子４０７と、により構成され
ると仮定して、それら地域システムＡ、Ｂ４００、４０
４（異なるシステム）間でマルチメディアデータの検索
が可能になることを説明する。
【００６５】まず、地域システムＡ（４００）内の色空
間描写子４０２はカラーヒストグラムのベースとなる色
空間がＲＧＢ色空間であると記述し、色量子化描写子４
０３はＲＧＢ色空間を各５レベルずつ均一に色量子化し
ていることを記述している。
【００６６】一方、地域システムＢ（４０４）内の色空
間描写子４０６はカラーヒストグラムのベースとなる色
空間をＨＳＶ色空間として表現し、色量子化描写子４０
７はＨＳＶ色空間を各７レベルずつ均一に色量子化して
いる。
【００６７】従って、地域システムＡ（４００）からの
照会イメージに対する比較（検索）対象イメージを地域
システムＢ（４０４）の特徴データベース４０５から検
索する場合、地域システムＡ（４００）は、各色空間描
写子４０２、４０６及び各色量子化描写子４０３、４０
７により地域システムＢ（４０４）が地域システムＡ
（４００）とは異なるシステムであると判断する。
【００６８】次いで、地域システムＡ（４００）は、地
域システムＢが異なるシステムであると判断したため、
ＲＧＢ色空間（各５レベルずつ均一に色量子化）をベー
スとしたカラーヒストグラム（照会イメージに該当す
る）をＨＳＶ色空間（各７レベルずつ均一に色量子化）
をベースとしたカラーヒストグラム（検索対象イメージ
に該当する）に変換し、その変換されたカラーヒストグ
ラムをＨＳＶ色空間（各７レベルずつ均一に色量子化）
をベースとしたカラーヒストグラムと比較して、マルチ
メディアデータ検索を行う。
【００６９】すなわち、地域システムＡ（４００）で使
用されるカラーヒストグラムを地域システムＢ（４０
４）で使用されるカラーヒストグラムと比較するため
に、一方のカラーヒストグラム（カラーヒストグラムの
ベースとなる色量子化方法及び色空間）を他方のカラー
ヒストグラム（カラーヒストグラムのベースとなる色量
子化方法及び色空間）の構成方法と一致するように変換
させて、マルチメディアデータ検索を行う。
【００７０】このようなカラーヒストグラム変換を実施
するとき、ＲＧＢ色空間の１つの量子はＨＳＶ色空間へ
投影することが可能で、ＨＳＶ色空間の１つ以上の色量
子化された下位空間と重なることもあり得る。このと
き、投影された色空間が重なる程度は、数学積分を使用
して相対的に正確に求めることができるが、計算が複雑
であるため、実時間タイムシステムを実現しようとする
場合は好ましくない。
【００７１】そこで、本発明に係る内容をベースとした
マルチメディアデータ検索方法の第１実施形態として、
サンプリング方法を利用してヒストグラムを迅速に変換
させる方法を提案する。
【００７２】以下、図１の検索システムを用いて行われ
る本発明に係る内容をベースとしたマルチメディアデー
タ検索方法の第１実施形態として、色空間と色量子化方
法によって照会イメージのカラーヒストグラムと検索対
象イメージのカラーヒストグラムの抽出方法が異なる場
合、それらカラーヒストグラムを比較して類似度を計算
し、計算された類似度に応じて照会イメージと検索対象
イメージとの類似可否を判断する検索方法に対し、図３
に基づいて説明する。
【００７３】先ず、マルチメディアデータ検索システム
に照会イメージが入力されると（Ｓ５００）、入力され
た照会イメージのカラーヒストグラムと同じ照会イメー
ジのカラーヒストグラムが以前に抽出されていているか
否かを検索する（Ｓ５０１）。
【００７４】次いで、以前に抽出されたカラーヒストグ
ラムがあると、特徴データベース３０９からその以前に
抽出されたカラーヒストグラム値をリードする（読み出
す）（Ｓ５０２）。
【００７５】一方、照会イメージが使用者により新たに
形成されたか、若しくは、他のイメージデータから持ち
込まれたものであるため、以前に抽出されたカラーヒス
トグラムがない場合は、入力された照会イメージに対す
るカラーヒストグラムを色量子化器３００を利用して抽
出する（Ｓ５０３）。
【００７６】ここで、入力された照会イメージに対する
カラーヒストグラムの抽出方法は、イメージの全ピクセ
ルを定められた色空間値に変換し、変換された色空間値
を色量子化方法により複数の下位色空間に分割して、変
換された各ピクセル値がどの下位色空間に投影（表示）
されるかを把握する。このようなステップを全てのピク
セルに対して行うと、どの下位色空間にいくつのピクセ
ルが投影されているかが把握される。すなわち、投影さ
れた頻度数の値が把握され、該投影された頻度数の値を
１次元のベクトルに並べた値がカラーヒストグラムにな
る。
【００７７】このとき、１次元のベクトルに並べた値に
対するそれぞれの１次元ベクトル要素を“ヒストグラム
ビン”と称する。それらは各下位色空間を意味する。従
って、カラーヒストグラムのビン数は色量子化数と一致
する。
【００７８】次いで、１次元ベクトル値を総イメージピ
クセル数で割算して、カラーヒストグラムをイメージの
サイズにかかわわらず正規化させる。
【００７９】次いで、特徴データベースに格納された各
検索対象イメージのカラーヒストグラム値をリードする
（Ｓ５０４）。
【００８０】次いで、ステップで抽出、または、リード
された照会イメージのカラーヒストグラム（Ｓ５０２、
Ｓ５０３）を特徴データベースに格納された全ての検索
対象イメージのカラーヒストグラムと比較する。
【００８１】すなわち、照会イメージのカラーヒストグ
ラムのベースとなる色空間と色量子化方法と、全ての検
索対象イメージのカラーヒストグラムのベースとなる色
空間と色量子化方法とを比較する（Ｓ５０５）。
【００８２】比較結果、照会イメージのカラーヒストグ
ラムのベースとなる色空間と色量子化方法が全ての検索
対象イメージのカラーヒストグラムのベースとなる色空
間と色量子化方法に同じでないと、ヒストグラム変換器
３０３を利用して照会イメージのカラーヒストグラムを
検索対象イメージのカラーヒストグラムと一致するよう
に変換させる（Ｓ５０６）。
【００８３】次いで、変換された照会イメージのカラー
ヒストグラムを検索対象イメージのカラーヒストグラム
と比較し、類似度を計算する（Ｓ５０７）。
【００８４】一方、比較（Ｓ５０５）の結果、照会イメ
ージのカラーヒストグラムのベースとなる色空間と色量
子化方法と、全ての検索対象イメージのカラーヒストグ
ラムのベースとなる色空間と色量子化方法とが同じであ
ると、そのまま比較して類似度を計算する（Ｓ５０
７）。
【００８５】ここで、類似度を計算する方法は、公知の
方法を使用することができる。
【００８６】または、検索対象イメージが類似イメージ
かどうかを判断するため所定臨界値と比較し（Ｓ５０
８）、類似度が所定臨界値を越えると、検索対象イメー
ジのカラーヒストグラムに該当する検索対象イメージを
類似イメージとして出力する（Ｓ５０９）。
【００８７】次いで、このように比較して類似度を計算
するステップ（Ｓ５０７）を全ての検索対象イメージの
カラーヒストグラムに対して行うことによって、１つの
照会イメージに対する検索を実施し、類似度を比較し、
計算した現在の検索対象イメージのカラーヒストグラム
が最後の検索対象イメージのカラーヒストグラムでない
場合（Ｓ５１０）は、特徴データベースに格納された検
索対象イメージのカラーヒストグラム値をリードする段
階（Ｓ５０４）から後を繰返して行う。
【００８８】次いで、最後の検索対象イメージのカラー
ヒストグラムまでの類似度計算ステップが完了すると、
他の照会イメージが入力されたか否かを判断し（Ｓ５１
１）、もし、他の照会イメージが入力されていると、照
会イメージが入力されるステップ（Ｓ５００）以後を繰
返して行う。
【００８９】一方、本発明においてカラーヒストグラム
の変換方法とは、カラーヒストグラムを変換するために
色量子化された照会イメージの色空間の各下位空間（各
量子）を検索対象イメージの色空間上に投影し、投影し
て重なった体積に比例してビン値を分配することであ
る。それを図４に基づいて詳しく説明する。
【００９０】すなわち、本発明に係る内容をベースとし
たマルチメディアデータ検索方法の第１実施形態におい
て、カラーヒストグラム変換方法においては、図４に示
したように、照会イメージの色空間がＲＧＢ色空間６０
０として表現され、そのＲＧＢ色空間は各コンポーネン
ト（ＲＧＢ）に対して３等分されて色量子化されてい
る。結局、ＲＧＢ色空間には２７個の色量子化された下
位空間が存在し、照会イメージはビンサイズ２７のカラ
ーヒストグラムとして表現される。
【００９１】また、検索対象イメージの色空間はＨＳＶ
色空間６０１として表現され、Ｓ及びＶコンポーネント
に対しては各々３等分し、ＨはＳ値の区間によって８等
分または６等分し、無彩色に近い領域では分割していな
い。結局、ＨＳＶ色空間には４５個の色量子化された下
位空間が存在し、各検索対象イメージはビンサイズ４５
のカラーヒストグラムとして表現される。
【００９２】ＲＧＢ色空間の一つの量子をＨＳＶ色空間
に投影することが可能で、ＨＳＶ色空間の一つ以上の色
量子化された下位空間と重ねることができる。
【００９３】ＲＧＢ色空間６００の色量子化された下位
空間（ＱＳＳ＿１）６００Ａは、ＨＳＶ色空間６０１の
色量子化された各下位空間（ＴＱＳＳ＿１、ＴＱＳＳ＿
２、ＴＱＳＳ＿９）に亘って投影される（６０１Ａ）。
【００９４】図中、未説明符号６０３はＨＳＶ色空間６
０１の水平断面、６０２はＨＳＶ色空間６０１の垂直断
面、をそれぞれ意味する。
【００９５】このとき、色量子化された下位空間（ＱＳ
Ｓ＿１）６００Ａが投影されて各下位空間（ＴＱＳＳ＿
１、ＴＱＳＳ＿２、ＴＱＳＳ＿９）に重なる部分の体積
比が各々０．５４、０．３５、０．１１であると仮定す
ると、色量子化された下位空間（ＱＳＳ＿１）６００Ａ
のヒストグラム値Ｈ＿Ｑ（ＱＳＳ＿１）は各下位空間
（ＴＱＳＳ＿１、ＴＱＳＳ＿２、ＴＱＳＳ＿９）のヒス
トグラム値Ｈ＿Ｔ（ＴＱＳＳ＿１）、Ｈ＿Ｔ（ＴＱＳＳ
＿２）、Ｈ＿Ｔ（ＴＱＳＳ＿９）にそれぞれ０．５４×
Ｈ＿Ｑ（ＱＳＳ＿１）、０．３５×Ｈ＿Ｑ（ＱＳＳ＿
１）、０．１１×Ｈ＿Ｑ（ＱＳＳ＿１）だけ重なってい
る見ることができる。
【００９６】すなわち、Ｈ＿Ｔ（ＴＱＳＳ＿１）、Ｈ＿
Ｔ（ＴＱＳＳ＿２）、Ｈ＿Ｔ（ＴＱＳＳ＿９）は下式１
〜３のように更新される。 H_T(TQSS_1):=H_T(TQSS_1)+H_Q(QSS_1)*0.54 −−−− 式１ H_T(TQSS_2):=H_T(TQSS_2)+H_Q(QSS_1)*0.35 −−−− 式２ H_T(TQSS_9):=H_T(TQSS_9)+H_Q(QSS_1)*0.11 −−−− 式３
【００９７】ここで、Ｈ＿Ｔは正規化された検索対象イ
メージのカラーヒストグラム、Ｈ＿Ｑは正規化された照
会イメージのカラーヒストグラム、Ｈ＿Ｔ（ＴＱＳＳ＿
ｋ）はＨ＿ＴのインデックスＴＱＳＳ＿ｋに該当するヒ
ストグラム値、Ｈ＿Ｑ（ＱＳＳ＿ｉ）はＨ＿Ｑのインデ
ックスＱＳＳ＿ｉに該当するヒストグラム値をそれぞれ
意味する。
【００９８】以上のようなステップをＲＧＢ色空間の全
ての色量子化された下位空間ＱＳＳ＿ｉに対して実施す
ると、各Ｈ＿Ｔ（ＴＱＳＳ＿ｋ）値は徐々に更新され、
更新された後得られたＨ＿Ｔ（ＴＱＳＳ＿ｋ）のヒスト
グラムがＨＳＶ色空間を４５色段階（上述した色量子化
方式）に色量子化したカラーヒストグラムになる（ここ
で、ｉ＝１、２・・・２６、２７で、ｋ＝１、２・・・
４４、４５）。
【００９９】このようなカラーヒストグラム変換ステッ
プに対し、図５に示した本発明に係るカラーヒストグラ
ム変換器の実施ステップの第１実施形態を参照して説明
する。
【０１００】まず、照会イメージと検索対象イメージと
の色空間と色量子化方法が相互に異なるとき、カラーヒ
ストグラムの変換を開始する（Ｓ７００）。
【０１０１】次いで、照会イメージのカラーヒストグラ
ムのベースとなる色空間と色量子化方法を利用して定義
された全ての下位空間ＱＳＳ＿ｉに対してカラーヒスト
グラム変換を検討する（Ｓ７０１）。
【０１０２】次いで、全ての下位空間ＱＳＳ＿ｉを検索
対象イメージの色空間に投影し、投影された立体ＰＶ
（ＱＳＳ＿ｉ）の体積値Ｖ＿ｉを計算する（Ｓ７０
２）。
【０１０３】次いで、全ての下位空間ＱＳＳ＿ｉに対し
て検索対象イメージの色量子化方法により定義された各
下位空間ＴＱＳＳ＿ｋに重なっているか否かを確認し、
重なっている場合は、各下位空間ＴＱＳＳ＿ｋ及び投影
された立体ＰＶ（ＱＳＳ＿ｉ）に重なる立体ＩＶの体積
値ＩＶ＿ｋ＿ｉを計算する（Ｓ７０３）。
【０１０４】次いで、検索対象イメージの色空間の色量
子化された各下位空間中、重なる体積を含む全ての下位
空間ＴＱＳＳ＿ｋに対してカラーヒストグラム変換を実
施する（Ｓ７０４）。
【０１０５】次いで、体積値の比によって、検索対象イ
メージのカラーヒストグラム及び照会イメージのカラー
ヒストグラムの全ての下位空間ＴＱＳＳ＿ｋ及び下位空
間ＱＳＳ＿ｉを下式４により更新して（Ｓ７０５）、カ
ラーヒストグラム変換を完了する。
【０１０６】 H_T(TQSS_k):=H_T(TQSS_k)+H_Q(QSS_i)xIV_k_i/V_i −−− 式４
【０１０７】ここで、ＩＶ＿ｋ＿Ｉは投影された立体Ｐ
Ｖ（ＱＳＳ＿ｉ）に重なる立体ＩＶの体積値、Ｖ＿Ｉは
全ての下位空間ＱＳＳ＿ｉを検索対象イメージの色空間
上に投影し、投影された立体ＰＶ（ＱＳＳ＿ｉ）の体積
値、をそれぞれ意味する。
【０１０８】次いで、全ての下位空間ＴＱＳＳ＿ｋの最
後の下位空間ＴＱＳＳ＿ｋまで更新ステップが実施され
てない場合（Ｓ７０６）は、全下位空間ＴＱＳＳ＿ｋに
対して実施するステップ（Ｓ７０４）以後を繰返して行
う。
【０１０９】また、全下位空間ＱＳＳ＿ｉの最後の下位
空間ＱＳＳ＿ｉまで更新ステップが実施されてない場合
（Ｓ７０７）、全下位空間ＱＳＳ＿ｉに対して実施する
ステップ（Ｓ７０１）以後を繰返して行う。
【０１１０】ここで、投影された立体の体積値は、数学
積分を利用すると相対的に正確に求めることができる
が、その計算が複雑であるため、リアルタイムシステム
に適用することは困難である。
【０１１１】そこで、本発明ではサンプリング技法を利
用して立体の体積値を近似化して求めることによって、
カラーヒストグラムの変換を迅速に実施することができ
る。
【０１１２】以下、本発明に係る内容をベースとしたマ
ルチメディアデータ検索方法の第１実施形態において、
サンプリング技法を利用したヒストグラム変換方法に対
し、図６を参照して説明する。
【０１１３】先ず、ＲＧＢ色空間８００の下位空間（Ｑ
ＳＳ＿１）８００Ｂから１０個のサンプリングポイント
８００Ａを均一に抽出する。
【０１１４】すなわち、抽出された１０個のサンプリン
グポイントがＨＳＶ色空間８０２のどの下位空間に存在
しているかを把握して、その投影（重なりの）程度を計
算する。
【０１１５】図中、８０１Ａは下位空間（ＱＳＳ＿１）
８００Ｂが投影された総体積、８０１Ｂはサンプリング
ポイント８００ＡがＨＳＶ色空間に投影された箇所、８
０３はＨＳＶ色空間８０１の水平断面、８０２はＨＳＶ
色空間８０１の垂直断面、をそれぞれ意味する。
【０１１６】一つのサンプリングポイント８００ＡがＨ
ＳＶ色空間８０１に投影される度毎に０．１×Ｈ＿Ｑ
（ＱＳＳ＿１）だけ該当の下位空間に投影されたとす
る。１０個のサンプリングポイント８００Ａに対して同
様に考えると、ＴＱＳＳ＿１には５個が投影されるため
０．５×Ｈ＿Ｑ（ＱＳＳ＿１）が投影され、ＴＱＳＳ＿
２には０．４×Ｈ＿Ｑ（ＱＳＳ＿１）が投影され、ＴＱ
ＳＳ＿９には０．１×Ｈ＿Ｑ（ＱＳＳ＿１）が投影され
たことになる。
【０１１７】すなわち、Ｈ＿Ｔ（ＴＱＳＳ＿１）、Ｈ＿
Ｔ（ＴＱＳＳ＿２）、Ｈ＿Ｔ（ＴＱＳＳ＿９）は下式５
〜７のように書き換えられる。 H_T(TQSS_1):=H_T(TQSS_1)+H_Q(QSS_1)*0.5 −−− 式５ H_T(TQSS_2):=H_T(TQSS_2)+H_Q(QSS_1)*0.4 −−− 式６ H_T(TQSS_9):=H_T(TQSS_9)+H_Q(QSS_1)*0.１ −−− 式７
【０１１８】ここで、Ｈ＿Ｔは正規化された検索対象イ
メージのカラーヒストグラム、Ｈ＿Ｑは正規化された照
会イメージのカラーヒストグラム、Ｈ＿Ｔ（ＴＱＳＳ＿
ｋ）はＨ＿ＴのインデックスＴＱＳＳ＿ｋに該当するヒ
ストグラム値、Ｈ＿Ｑ（ＱＳＳ＿ｉ）はＨ＿Ｑのインデ
ックスＱＳＳ＿ｉに該当するヒストグラム値、をそれぞ
れ意味する。
【０１１９】このようなステップをＲＧＢ色空間の全て
の色量子化された下位空間ＱＳＳ＿ｉに対して行うと、
各Ｈ＿Ｔ（ＴＱＳＳ＿ｋ）値は徐々に書き換えられ、そ
の書き換えられて得られたＨ＿Ｔ（ＴＱＳＳ＿ｋ）のヒ
ストグラムがＨＳＶ色空間を４５色段階（上述した色量
子化方式）に色量子化したカラーヒストグラムになる
（ここで、ｉ＝１、２・・・２６、２７で、ｋ＝１、２
・・・４４、４５である）。
【０１２０】本発明の最も特徴的な要素のもう一つは、
照会イメージの色空間の色量子化された各下位空間をサ
ンプリングする時、各下位空間の重要度に応じてサンプ
リングポイントの個数を変化し得ることである。
【０１２１】すなわち、色量子化された各下位空間の重
要度に応じてサンプリングポイントの個数を変化させる
ことによって、ヒストグラム変換の正確性を高めると同
時に、ヒストグラム変換時間を短縮しすることができ
る。
【０１２２】ここで、下位空間の重要度とは、下位空間
に対応するヒストグラムのビン値及び下位空間の体積値
である。
【０１２３】まず、下位空間をサンプリングする時は、
カラーヒストグラムから該当のビン値が入力され、ビン
値が大きいと、多数のサンプリングポイントを形成する
が、ビン値が小さいと、少数のサンプリングポイントを
形成する。
【０１２４】このとき、ヒストグラムビン値が０である
各下位空間は、ヒストグラム変換に寄与しないのでサン
プリングしなくても良く、特に、細かく色量子化された
色空間のヒストグラムには０値を有するビンがかなり存
在するため、ヒストグラムの変換時間を一層短縮するこ
とができる。
【０１２５】０でないビン値に対しては、ビン値に比例
して照会イメージの色空間の色量子化された下位空間の
体積値の反映度を調節する。
【０１２６】すなわち、照会イメージの色空間の色量子
化された下位空間の体積が大きくなるほど、その空間を
カバーするためには多数のサンプリングポイントが必要
になるため、照会イメージの色空間の色量子化された下
位空間をサンプリングする時は、その下位空間の体積値
及びビン値を同時に考慮した上、サンプリングポイント
の数を決定する。
【０１２７】しかし、本発明はサンプリングポイントの
数を決定するために下位空間の重要度を決定する時、体
積値及びビン値を適用する方法に対して制限がない。
【０１２８】照会イメージの色空間の色量子化された下
位空間に対し、体積値及びビン値の重要度に応じてサン
プリングポイントの数を決定するステップを含む全体ヒ
ストグラム変換ステップに対し、本発明に係るカラーヒ
ストグラム変換器の実施ステップの第２実施形態を示し
た図７に基づいて説明する。
【０１２９】まず、照会イメージ及び検索対象イメージ
の色空間と色量子化方法が相互に異なると、カラーヒス
トグラムの変換を開始する（Ｓ９００）。
【０１３０】次いで、カラーヒストグラムを変換するた
めに、変換すべきカラーヒストグラムの全ての色量子化
された下位空間に対してカラーヒストグラム変換を考慮
する（Ｓ９０１）。
【０１３１】次いで、照会イメージの色空間の色量子化
された下位空間ＱＳＳ＿ｉに対し、その下位空間ＱＳＳ
＿ｉのヒストグラムビン値及び体積値に比例してサンプ
リングポイントの個数Ｎｏ＿ｏｆ＿ＳＰを決定し（Ｓ９
０２）、下位空間ＱＳＳ＿ｉから決定された個数だけ均
一にサンプリングポイントを抽出する（Ｓ９０３）。
【０１３２】このとき、各サンプリングポイントは、適
用された色空間（ＲＧＢまたはＨＳＶ）のポイント値と
して表現され、例えば、ＲＧＢ色空間が適用されたと仮
定すると、サンプリングポイントはＲ＝１５０、Ｇ＝１
３０、Ｂ＝１２０のようとして表現される。
【０１３３】次いで、抽出された全てのサンプリングポ
イントＳＰ＿ｉに対して考慮した後（Ｓ９０４）、照会
イメージのカラーヒストグラムのベースとなる色空間
（すなわち、サンプリングポイントを抽出すべき色空
間）と検索対象イメージのカラーヒストグラムのベース
となる色空間（変換すべきカラーヒストグラムに対する
色空間）とが同じであるか否かを比較する（Ｓ９０
５）。
【０１３４】もし、照会イメージのカラーヒストグラム
のベースとなる色空間と検索対象イメージのカラーヒス
トグラムのベースとなる色空間とが一致しないと、抽出
された全てのサンプリングポイントのそれぞれのサンプ
リングポイントＳＰ＿ｉの色値を検索対象イメージの色
空間値に変換する（Ｓ９０６）。
【０１３５】一方、照会イメージのカラーヒストグラム
のベースとなる色空間と検索対象イメージのカラーヒス
トグラムのベースとなる色空間とが一致していると、色
量子化方法だけが異なる場合であるから、色値を検索対
象イメージの色空間値に変換するステップ（Ｓ９０６）
を省略する。
【０１３６】次いで、抽出された全てのサンプリングポ
イントＳＰ＿ｉを検索対象イメージの色空間に投影した
後、投影された値が検索対象イメージの色空間の如何な
る色量子化された下位空間ＴＱＳＳに属しているかを確
認した（Ｓ９０７）後、下式８のようにＨ＿Ｔ（ＴＱＳ
Ｓ＿ｋ）に対応するカラーヒストグラムビン値を更新す
る（Ｓ９０８）。 H_T(TQSS_k):=H_T(TQSS_k)+H_Q(QSS_i)×1/No_of_SP −−− 式８
【０１３７】ここで、Ｈ＿Ｔは正規化された検索対象イ
メージのカラーヒストグラム、Ｈ＿Ｑは正規化された照
会イメージのカラーヒストグラム、Ｈ＿Ｔ（ＴＱＳＳ＿
ｋ）はＨ＿ＴのインデックスＴＱＳＳ＿ｋに該当するヒ
ストグラム値、Ｈ＿Ｑ（ＱＳＳ＿ｉ）はＨ＿Ｑのインデ
ックスＱＳＳ＿ｉに該当するヒストグラム値、をそれぞ
れ意味する。
【０１３８】次いで、更新ステップ（Ｓ９０８）を行っ
ていないサンプリングポイントＳＰ＿ｉが残った場合
（Ｓ９０９）は、抽出された全てのサンプリングポイン
トＳＰ＿ｉに対して考慮するステップ（Ｓ９０４）以後
を反復して実施する。
【０１３９】次いで、更新ステップ（Ｓ９０８）を行っ
ていない色量子化された下位空間ＱＳＳ＿ｉが残った場
合（Ｓ９１０）は、全ての色量子化された下位空間に対
して考慮するステップ（Ｓ９０１）以後を反復して実施
する。
【０１４０】従って、抽出された全てのサンプリングポ
イントＳＰ＿ｉ及び全ての色量子化された下位空間ＱＳ
Ｓ＿ｉに対して上述したようなステップを行って、カラ
ーヒストグラムを変換する。
【０１４１】以上説明したように、サンプリング技法を
利用したカラーヒストグラム変換方法は、イメージを検
索する時、相異する色空間及び相異する色量子化にカラ
ーヒストグラムを変換することが可能で、色だけではな
く、任意の１次元以上の空間を構成する要素に対して異
なる色量子化方法が適用されたヒストグラムをまた別の
色量子化方法に変換する必要があるときも適用すること
が可能である。
【０１４２】そして、本発明に係る内容をベースとした
マルチメディアデータ検索システムの第２実施形態にお
いては、図８に示したように、カラーヒストグラム変換
器３０３の代わりに照会イメージのカラーヒストグラム
データベース１００１が構成され、その他の構成要素は
図１と同様である。
【０１４３】この実施形態を詳しく説明すると以下の通
りである。使用者により入力される照会イメージを入力
されて照会イメージのカラーヒストグラムを抽出する色
量子化器１０００と、抽出されたカラーヒストグラムを
格納する照会イメージのカラーヒストグラムデータベー
ス１００１と、各検索対象イメージデータ１００７−１
〜１００７−Ｎ及び各検索対象イメージのカラーヒスト
グラム１００８−１〜１００８−Ｎを提供する検索対象
システム１００３（図１の３０５と同様）と、入力され
る照会イメージと同じ照会イメージのカラーヒストグラ
ムが以前に検索対象イメージのカラーヒストグラム構成
と一致する色空間と色量子化方法により色量子化し抽出
されて照会イメージのカラーヒストグラムデータベース
１００１に格納されている場合に、格納された照会イメ
ージのカラーヒストグラムと検索対象イメージのカラー
ヒストグラムとの類似度を計算し、その類似度に応じた
イメージを検索結果として出力する検索部１００２と、
を備えて構成されている。
【０１４４】以下、このように構成された本発明に係る
内容をベースとしたマルチメディアデータ検索システム
の第２実施形態の動作を説明する。
【０１４５】照会イメージが入力されると、色量子化器
１０００は照会イメージの特徴情報のカラーヒストグラ
ムを抽出し、抽出されたカラーヒストグラムを照会イメ
ージカラーヒストグラムデータベース１００１に格納す
る。
【０１４６】ここで、色量子化器１０００は、検索対象
となる検索対象システム１００３から検索対象イメージ
のベースとなる色空間と色量子化方法を参照して、抽出
された照会イメージのカラーヒストグラムのベースとな
る色空間と色量子化方法を検索対象イメージと同じ色空
間と色量子化方法を利用して色量子化する。
【０１４７】従って、照会イメージのカラーヒストグラ
ムデータベース１００１には、同じ照会イメージであっ
ても相互に異なる色空間と色量子化方法により構成され
た複数のカラーヒストグラム１００１−１〜１００１−
Ｎが格納されることができる。
【０１４８】また、照会イメージをサムネイルイメージ
形態にサイズを縮小してカラーヒストグラムを求める方
法を適用すると、一層速い速度でカラーヒストグラムを
抽出することができる。
【０１４９】さらには、照会イメージの色量子化を検索
対象システム１００３で行い、その色量子化結果（カラ
ーヒストグラム情報）を比較、検索する方法も可能であ
る。
【０１５０】ここで、検索対象となる（イメージデータ
ベースを共有、若しくは、イメージデータベースを検索
部に提供する）検索対象システム１００３は、インター
ネット環境下（ネットワーク）でデータを提供するシス
テムであって、同じシステムまたは異なるシステムであ
る。
【０１５１】検索対象システム１００３内の複数の色量
子化器１００６は、イメージデータベース１００７に格
納された複数のイメージデータ（イメージ１・・・イメ
ージＮ）１００７−１〜１００７−Ｎの特徴情報である
各カラーヒストグラム１００８−１〜１００８−Ｎを抽
出する。すなわち、イメージ１００７毎に一つずつのカ
ラーヒストグラム１００８−１を抽出する。
【０１５２】ここで、抽出された各カラーヒストグラム
１００８−１〜１００８−Ｎは該当イメージ１００７−
１〜１００７−Ｎに連結され、特徴データベース１００
８に格納される。
【０１５３】また、検索対象システム１００３は、検索
対象イメージのカラーヒストグラムを抽出するための色
量子化器１００６と、色量子化器１００６により抽出さ
れた後、特徴データベース１００８に格納されたカラー
ヒストグラムのベースとなる色空間情報を描写する複数
の色空間描写子１００４と、格納されたカラーヒストグ
ラムのベースとなる色量子化情報を描写する複数の色量
子化描写子１００５と、により構成される。
【０１５４】且つ、検索対象システム１００３は、多様
な特徴データベース１００８により構成され、それら特
徴データベース１００８には相異する色空間または相異
する色量子化により構成されたカラーヒストグラムを有
する各イメージが格納され、如何なる色空間、如何なる
色量子化によりカラーヒストグラムが表現されていてい
るかは、色空間情報を描写する複数の色空間描写子１０
０４と色量子化情報を描写する複数の色量子化描写子１
００５により記述されている。
【０１５５】ここで、各特徴データベース１００８は、
互いに位置的に離れて、主にインターネットのようなネ
ットワークにより連結している。
【０１５６】次いで、検索部１００２は使用者により入
力される照会イメージと同じ照会イメージのカラーヒス
トグラムが検索対象イメージのカラーヒストグラムの構
成と一致する色空間と色量子化方法により色量子化され
た後、抽出されて照会イメージのカラーヒストグラムデ
ータベース１００１に予め格納されていているかどうか
を判断する。
【０１５７】判断ステップで、使用者により入力される
照会イメージと同じ照会イメージのカラーヒストグラム
が照会イメージのカラーヒストグラムデータベース１０
０１に格納されている場合は、検索部１００２は格納さ
れた照会イメージのカラーヒストグラムと検索対象イメ
ージのカラーヒストグラムとの類似度を計算し、その類
似度に応じたイメージを検索結果として出力する。
【０１５８】一方、使用者により入力される照会イメー
ジと同じ照会イメージのカラーヒストグラムが照会イメ
ージのカラーヒストグラムデータベース１００１に格納
されていない場合は、検索部１００２は入力される照会
イメージのカラーヒストグラムを抽出した後、抽出され
た照会イメージのカラーヒストグラムと検索対象イメー
ジのカラーヒストグラムとの類似度を計算し、その類似
度に応じたイメージを検索結果として出力する。
【０１５９】ここで、抽出された照会イメージのカラー
ヒストグラムは、照会イメージのカラーヒストグラムデ
ータベース１００１に格納される。
【０１６０】そして、図８の検索システムを用いて行わ
れる本発明に係る内容をベースとしたマルチメディアデ
ータ検索方法の第２実施形態に対し、図９に基づいて説
明する。
【０１６１】まず、照会イメージが入力されると（Ｓ１
１００）、色量子化器１０００（または、検索部１００
２）は検索対象イメージの色空間描写情報及び色量子化
描写情報を取得する（Ｓ１１０１）。
【０１６２】次いで、色量子化器１０００（または、検
索部１００２）は色空間描写情報及び色量子化描写情報
を参照して、照会イメージのカラーヒストグラムを検索
対象イメージのカラーヒストグラムの構成と一致する色
空間と色量子化方法により色量子化して、照会イメージ
のカラーヒストグラムを抽出する（Ｓ１１０２）。
【０１６３】次いで、特徴データベース１００８に格納
された各検索対象イメージの各カラーヒストグラム値１
００８−１〜１００８−Ｎをリードした後（Ｓ１１０
３）、抽出した照会イメージのカラーヒストグラムとリ
ードされた検索対象イメージのカラーヒストグラムとの
類似度を比較する（Ｓ１１０４）。
【０１６４】次いで、照会イメージのカラーヒストグラ
ムと検索対象イメージのカラーヒストグラムとの類似度
が所定の臨界値よりも大きい場合は（Ｓ１１０５）、検
索対象イメージを類似イメージとして出力する（Ｓ１１
０６）。
【０１６５】一方、照会イメージのカラーヒストグラム
と検索対象イメージのカラーヒストグラムとの類似度が
所定の臨界値よりも小さい場合は、検索対象イメージを
類似イメージとして出力するステップ（Ｓ１１０６）を
省略する。
【０１６６】次いで、最後の検索対象イメージイメージ
Ｎまで類似度を比較するステップが完了したか否かを判
断し（Ｓ１１０７）、完了してない場合は、検索対象シ
ステム１００３内の次の検索対象イメージに対するヒス
トグラム構成が以前と変わっているかどうかを判断する
（Ｓ１１０９）。
【０１６７】もし、次の検索対象イメージに対するヒス
トグラム構成が以前と変わっている場合は、検索対象イ
メージの色空間描写情報及び色量子化描写情報を取得す
るステップ（Ｓ１１０１）以後を反復して実施する。
【０１６８】一方、次の検索対象イメージに対するヒス
トグラム構成が以前と同じである場合は、検索対象イメ
ージに対する各カラーヒストグラム値１００８−１〜１
００８−Ｎをリードするステップ（Ｓ１１０３）以後を
反復して実施する。
【０１６９】次いで、最後の検索対象イメージイメージ
Ｎまで類似度を比較するステップが完了した場合は、他
の照会イメージが入力されたか否かを判断し（Ｓ１１０
８）、もし、他の照会イメージが入力された場合は、照
会イメージが入力されるステップ（Ｓ１１００）以後を
反復して実施し、他の照会イメージが入力されてない場
合は、マルチメディアデータ検索を終了する。
【０１７０】なお、図８の検索システムを用いて行われ
る本発明に係る内容をベースとしたマルチメディアデー
タ検索方法の第３実施形態に対し、図１０に基づいて説
明する。
【０１７１】簡単に説明すると、照会イメージのカラー
ヒストグラムを格納し、格納されたカラーヒストグラム
をマルチメディアデータ検索に利用するステップが図９
の第２実施形態と異なるだけであるため、以下では、図
９と同じステップ（Ｓ１１００、Ｓ１１０１、Ｓ１１０
３〜Ｓ１１０９）に関する説明は省略する。
【０１７２】まず、照会イメージが入力すると（Ｓ１１
００）、検索対象イメージの色空間及び色量子化描写情
報を参照して（Ｓ１１０１）、入力された照会イメージ
と同じ照会イメージのカラーヒストグラムが以前に検索
対象イメージのカラーヒストグラム構成と一致する色空
間と色量子化方法により色量子化された後、抽出されて
照会イメージのカラーヒストグラムデータベース１００
１に格納されているか否か判断する（Ｓ１２００）。
【０１７３】もし、照会イメージのカラーヒストグラム
が以前に抽出されて照会イメージのカラーヒストグラム
データベース１００１に格納されていると、格納された
照会イメージのカラーヒストグラム値をリードした後
（Ｓ１２０２）、検索対象イメージに対する各カラーヒ
ストグラム値１００８−１〜１００８−Ｎをリードする
ステップ（Ｓ１１０３）以後を実施する。
【０１７４】一方、照会イメージのカラーヒストグラム
が照会イメージのカラーヒストグラムデータベース１０
０１に格納されていない場合は、入力される照会イメー
ジのカラーヒストグラムを検索対象イメージのカラーヒ
ストグラム構成と一致する色空間と色量子化方法により
色量子化して抽出する（Ｓ１２０１）。
【０１７５】次いで、抽出された照会イメージのカラー
ヒストグラムを照会イメージのカラーヒストグラムデー
タベース１００１に格納した後（Ｓ１２０３）、検索対
象イメージのカラーヒストグラム値１００８−１〜１０
０８−Ｎをリードするステップ（Ｓ１１０３）以後を実
施する。
【０１７６】このように検索対象イメージのカラーヒス
トグラム構成と一致する照会イメージのカラーヒストグ
ラムを予め格納しておくことによって、予め格納された
照会イメージのカラーヒストグラムと同じ照会イメージ
が入力されると、入力される照会イメージのカラーヒス
トグラムを新たに抽出するステップを省略して、マルチ
メディアデータを検索する速度を向上させる。
【０１７７】
【発明の効果】以上説明したように、本発明に係る内容
をベースとしたマルチメディアデータ検索システム及び
その方法においては、相互に異なる色空間と色量子化方
法により構成されたカラーヒストグラムを利用した各シ
ステムの間で相互交換性を有しながらマルチメディアデ
ータ検索が可能になるという効果がある。
【０１７８】また、本発明に係る内容をベースとしたマ
ルチメディアデータ検索システム及びその方法において
は、相互に異なる色空間と色量子化方法により構成され
たカラーヒストグラムを利用した各システムの間で、自
身の照会イメージに対する検索対象イメージを相手方の
データベースから検索することができるという効果があ
る。
【０１７９】さらに、本発明に係る内容をベースとした
マルチメディアデータ検索システム及びその方法におい
ては、インターネットのようなネットワーク環境下で多
様なイメージの格納されたデータベースを検索部に連結
して、イメージ検索を行い得るという効果がある。
【０１８０】さらに、本発明に係る内容をベースとした
マルチメディアデータ検索システム及びその方法におい
ては、照会イメージのカラーヒストグラムを予め抽出し
て格納することによって、マルチメディアデータの検索
速度を向上し得るという効果がある。
【図面の簡単な説明】
【図１】 本発明に係る内容をベースとしたマルチメデ
ィアデータ検索システムの第１実施形態を示した構成図
である。
【図２】 本発明に係る内容をベースとしたマルチメデ
ィアデータ検索システム及びその方法を利用すると、相
互に異なる各システムの間でマルチメディアデータ検索
が可能になることを説明するための図である。
【図３】 図１の検索システムを用いた本発明に係る内
容をベースとしたマルチメディアデータ検索方法の第１
実施形態を示したフローチャートである。
【図４】 図３において、カラーヒストグラム変換方法
を説明するための図である。
【図５】 カラーヒストグラム変換器の実施課程の第１
実施形態を示したフローチャートである。
【図６】 図３において、サンプリング技法を利用した
カラーヒストグラム変換方法を示した図である。
【図７】 カラーヒストグラム変換器の実施課程の第２
実施形態を示したフローチャートである。
【図８】 本発明に係る内容をベースとしたマルチメデ
ィアデータ検索システムの第２実施形態を示した構成図
である。
【図９】 図８の検索システムを用いた本発明に係る内
容をベースとしたマルチメディアデータ検索方法の第２
実施形態を示したフローチャートである。
【図１０】 図８の検索システムを用いた本発明に係る
内容をベースとしたマルチメディアデータ検索方法の第
３実施形態を示したフローチャートである。
【図１１】 従来のカラーヒストグラムを利用した内容
をベースとしたマルチメディアデータ検索システムを示
した構成図である。
【図１２】 従来の相互に異なる各システムの間でマル
チメディアデータ検索が不可能であることを説明するた
めの図である。
【符号の説明】
３００ 色量子化器 ３０１ 色空間描写子 ３０２ 色量子化描写子 ３０３ ヒストグラム変換器 ３０４ 検索部 ３０５ 検索対象システム
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｇ０６Ｆ 17/30 ３５０ Ｇ０６Ｆ 17/30 ３５０Ｃ (56)参考文献 特開 平９−149257（ＪＰ，Ａ) 特開 平７−37060（ＪＰ，Ａ) 特開 平９−214792（ＪＰ，Ａ) 特開2000−11138（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 G06F 17/30

Claims (26)

    (57)【特許請求の範囲】
  1. 【請求項１】 相互に異なるベースを利用したシステム
    間でマルチメディアデータを検索するマルチメディアデ
    ータ検索システムにおいて、 照会マルチメディアデータのカラーヒストグラムを抽出
    する第１色量子化手段と、 検索対象マルチメディアデータのカラーヒストグラムを
    抽出する第２色量子化手段と、 抽 出された照会マルチメディアデータのカラーヒストグ
    ラムのベースと抽出された検索対象マルチメディアデー
    タのカラーヒストグラムのベースとを比較する比較手段
    と、 ２つのカラーヒストグラムのベースが同じでない場合、
    ２つのカラーヒストグラムを同じベースにより構成され
    た カラーヒストグラムに変換させるヒストグラム変換手
    段とを含むことを特徴とする内容をベースとしたマルチ
    メディアデータ検索システム。
  2. 【請求項２】 各カラーヒストグラムのベースとなる色
    空間及び色量子化情報を描写する描写手段をさらに含
    み、 その描写手段は、 各カラーヒストグラムが如何なる色空間により構成され
    ているか否か描写する色空間描写手段と、 各カラーヒストグラムが如何なる色量子化方法により構
    成されているか否か描写する色量子化描写手段と、から
    なることを特徴とする請求項１記載の内容をベースとし
    たマルチメディアデータ検索システム。
  3. 【請求項３】 ヒストグラム変換手段は、照会マルチメ
    ディアデータを検索対象マルチメディアデータの色空間
    と色量子化方法と一致するように変換させることを特徴
    とする請求項１記載の内容をベースとしたマルチメディ
    アデータ検索システム。
  4. 【請求項４】 照会マルチメディアデータと、相互に異
    なるベースを利用したシステムに格納されている検索対
    象マルチメディアデータとを比較してマルチメディアデ
    ータを検索する方法において、 （ａ）照会マルチメディアデータを入力するステップ
    と、 （ｂ）入力された照会マルチメディアデータのカラーヒ
    ストグラムと検索対象マルチメディアデータのカラーヒ
    ストグラムとを比較し、２つのカラーヒストグラムのベ
    ースが同じでないと、２つのカラーヒストグラムを同じ
    ベースにより構成されたカラーヒストグラムに変換させ
    るステップと、 （ｃ）変換されたカラーヒストグラムに基づいて照会マ
    ルチメディアデータと検索対象マルチメディアデータと
    の類似度を計算し、その類似度に応じた検索結果を出力
    するステップと、を行うことを特徴とする内容をベース
    としたマルチメディアデータ検索方法。
  5. 【請求項５】 カラーヒストグラムを変換させるステッ
    プ（ｂ）は、 照会マルチメディアデータのカラーヒストグラムが以前
    に抽出されているか否かを判断するステップと、 以前に抽出されたカラーヒストグラム値をリードするス
    テップと、 検索対象マルチメディアデータのカラーヒストグラム値
    をリードするステップと、を行い、 カラーヒストグラムのベースとして色空間と色量子化方
    法とを用いる ことを特徴とする請求項４記載の内容をベ
    ースとしたマルチメディアデータ検索方法。
  6. 【請求項６】 照会マルチメディアデータのカラーヒス
    トグラムが以前に抽出されてない場合は、入力された照
    会マルチメディアデータに対するカラーヒストグラムを
    抽出するステップを追加的に行うことを特徴とする請求
    項４記載の内容をベースとしたマルチメディアデータ検
    索方法。
  7. 【請求項７】 検索結果を出力するステップ（ｃ）は、 類似度を類似したマルチメディアデータとするための所
    定臨界値と比較し、類似度が所定臨界値を越えると、検
    索対象のカラーヒストグラムに該当するマルチメディア
    データを類似したマルチメディアデータとして出力する
    ことを特徴とする請求項４記載の内容をベースとしたマ
    ルチメディアデータ検索方法。
  8. 【請求項８】 照会マルチメディアデータと、相互に異
    なるベースを利用したシステムに格納されている検索対
    象マルチメディアデータとを比較してマルチメディアデ
    ータを検索する方法において、 （ａ）照会マルチメディアデータのカラーヒストグラム
    を抽出するステップと、 （ｂ）検索対象マルチメディアデータのカラーヒストグ
    ラムを抽出するステップと、 （ｃ）抽出された照会マルチメディアデータのベースと
    なる色空間と色量子化方法と検索対象マルチメディアデ
    ータのベースとなる色空間と色量子化方法とを比較する
    ステップと、 （ｄ）抽出された照会マルチメディアデータと検索対象
    マルチメディアデータとの色空間と色量子化方法が同じ
    でない場合、抽出された照会マルチメディアデータ、ま
    たは、検索対象マルチメディアデータのカラーヒストグ
    ラムを同じ色空間と色量子化方法により構成されたカラ
    ーヒストグラムに変換して、照会マルチメディアデータ
    及び検索対象マルチメディアデータの類似度に応じた検
    索を行うステップとを行うことを特徴とする内容をベー
    スとしたマルチメディアデータ検索方法。
  9. 【請求項９】 抽出された照会及び検索対象マルチメデ
    ィアデータの色空間と色量子化方法が同じである場合
    は、抽出された照会及び検索対象マルチメディアデータ
    の類似度に応じた検索を行うステップを追加的に行うこ
    とを特徴とする請求項８記載の内容をベースとしたマル
    チメディアデータ検索方法。
  10. 【請求項１０】 カラーヒストグラムを変換するステッ
    プは、照会マルチメディアデータの色空間と色量子化方
    法を検索対象マルチメディアデータの色空間と色量子化
    方法と一致するように変換させることであることを特徴
    とする請求項８記載の内容をベースとしたマルチメディ
    アデータ検索方法。
  11. 【請求項１１】 カラーヒストグラムを変換するステッ
    プは、検索対象マルチメディアデータの色空間と色量子
    化方法を照会マルチメディアデータの色空間と色量子化
    方法と一致するように変換させることであることを特徴
    とする請求項８記載の内容をベースとしたマルチメディ
    アデータ検索方法。
  12. 【請求項１２】 照会マルチメディアデータと、相互に
    異なるベースを利用したシステムに格納されている検索
    対象マルチメディアデータとを比較してマルチメディア
    データを検索する方法において、 （ａ）照会マルチメディアデータと検索対象マルチメデ
    ィアデータとのベースとなる色空間と色量子化方法を比
    較するステップと、 （ｂ）照会マルチメディアデータの色空間と色量子化方
    法と検索対象マルチメディアデータの色空間と色量子化
    方法とが相異する場合、照会マルチメディアデータのカ
    ラーヒストグラムまたは検索対象マルチメディアデータ
    のカラーヒストグラムを変換するステップと、 （ｃ）変換された、または、変換されてない照会マルチ
    メディアデータと検索対象マルチメディアデータとの類
    似度を計算し、その類似度に応じた検索を行うステップ
    とを行うことを特徴とする内容をベースとしたマルチメ
    ディアデータ検索方法。
  13. 【請求項１３】 カラーヒストグラムを変換するステッ
    プは、照会マルチメディアデータを検索対象マルチメデ
    ィアデータの色空間と色量子化方法と一致するように変
    換することであることを特徴とする請求項１２記載の内
    容をベースとしたマルチメディアデータ検索方法。
  14. 【請求項１４】 カラーヒストグラムのベースとなる色
    空間及び色量子化方法が相互に異なるシステム間でマル
    チメディアデータの検索を可能にするマルチメディアデ
    ータの生成方法において、 マルチメディアデータのカラーヒストグラムが如何なる
    色空間により構成されているかを描写する色空間描写情
    報を定義し、マルチメディアデータのカラーヒストグラ
    ムが如何なる色量子化方法により構成されているかを描
    写する量子化描写情報を定義し、色空間描写情報及び量
    子化描写情報をヒストグラムとともに保持することを特
    徴とするマルチメディアデータの生成方法。
  15. 【請求項１５】 色量子化描写情報は、色空間それぞれ
    のコンポーネントに対する色量子化レベル及び各コンポ
    ーネントに対する色量子化方法を、均一または非均一に
    描写することを特徴とする請求項１４記載のマルチメデ
    ィアデータの生成方法。
  16. 【請求項１６】 照会マルチメディアデータの色空間及
    び色量子化方法と、相互に異なるシステムに格納されて
    いる検索対象マルチメディアデータの色空間 及び色量子
    化方法とを比較し、これらの色空間または色量子化方法
    が同じでない場合に照会マルチメディアデータのヒスト
    グラムと検索対象マルチメディアデータのヒストグラム
    とを同じ色空間及び色量子化方法により構成されたヒス
    トグラムに変換し、照会マルチメディアデータ及び検索
    対象マルチメディアデータの類似度に応じた検索を行う
    方法において、 （ａ）色量子化された照会マルチメディアデータの色空
    間の各下位空間を検索対象マルチメディアデータの色空
    間上に投影するステップと、 （ｂ）投影された照会マルチメディアデータの下位空間
    が重なる検索対象マルチメディアデータの色空間の各量
    子に対して照会マルチメディアデータの下位空間のビン
    値を分配するステップとを行うことを特徴とするマルチ
    メディアデータのヒストグラム変換方法。
  17. 【請求項１７】 ビン値は、検索対象マルチメディアデ
    ータの色空間の各量子へ投影されて重なる体積に比例し
    て分配することを特徴とする請求項１６記載のマルチメ
    ディアデータのヒストグラム変換方法。
  18. 【請求項１８】 ビン値を分配するステップは、照会マ
    ルチメディアデータの色空間から所定個数のサンプリン
    グポイントを任意に抽出し、それら抽出されたサンプリ
    ングポイントを投影された検索対象マルチメディアデー
    タの各下位空間に分布する比率を利用して近似し、サン
    プリングポイントの個数は、照会マルチメディアデータ
    の色空間の色量子化された下位空間の重要度に応じて調
    節することを特徴とする請求項１６記載のマルチメディ
    アデータのヒストグラム変換方法。
  19. 【請求項１９】 重要度は、 照会マルチメディアデータの色空間の色量子化された下
    位空間の体積値、または、照会マルチメディアデータの
    カラーヒストグラムのビン値を鑑みて決定するか、また
    は、照会マルチメディアデータの色空間の色量子化され
    た下位空間の体積値と照会マルチメディアデータのカラ
    ーヒストグラムのビン値とを同時に考慮して決定するこ
    とを特徴とする請求項１８記載のマルチメディアデータ
    のヒストグラム変換方法。
  20. 【請求項２０】 重要度は、ビン値を考慮して臨界値を
    利用して決定することで、その臨界値は、ビン値“０”
    をサンプリングしない値に設定するか、“０”でないビ
    ン値を最大数にサンプリングさせる値に設定することを
    特徴とする請求項１８記載のマルチメディアデータのヒ
    ストグラム変換方法。
  21. 【請求項２１】 “０”でないビン値に対しては、その
    ビン値に比例して照会マルチメディアデータの色空間の
    色量子化された下位色空間の体積値の反映度を調節する
    ことを特徴とする請求項１６記載のマルチメディアデー
    タのヒストグラム変換方法。
  22. 【請求項２２】 相互に異なるベースを利用したシステ
    ム間でマルチメディアデータを検索するマルチメディア
    データ検索システムにおいて、 検索対象マルチメディアデータのカラーヒストグラムを
    抽出する第１色量子化手段と、 抽出された検索対象マルチメディアデータのカラーヒス
    トグラムのベースとなる色空間と色量子化方法を描写す
    る描写手段と、 描写された色空間と色量子化方法と同様の方法により照
    会マルチメディアデータのカラーヒストグラムを抽出す
    る第２色量子化手段とを含むことを特徴とする内容をベ
    ースとしたマルチメディアデータ検索システム。
  23. 【請求項２３】 照会マルチメディアデータのカラーヒ
    ストグラムが以前に抽出されている場合は、以前に抽出
    された照会マルチメディアデータのカラーヒストグラム
    と検索対象マルチメディアデータのカラーヒストグラム
    との類似度を計算し、その類似度に応じたマルチメディ
    アデータを検索結果として出力する検索部と、抽出され
    た照会マルチメディアデータのカラーヒストグラムを格
    納するデータベースと、をさらに含むことを特徴とする
    請求項２２記載の内容をベースとしたマルチメディアデ
    ータ検索システム。
  24. 【請求項２４】 描写手段は、 抽出された検索対象マルチメディアデータのカラーヒス
    トグラムのベースとなる色空間情報を描写する色空間描
    写手段と、 抽出された検索対象マルチメディアデータのカラーヒス
    トグラムのベースとなる色量子化情報を描写する色量子
    化描写手段と、からなることを特徴とする請求項２２記
    載の内容をベースとしたマルチメディアデータ検索シス
    テム。
  25. 【請求項２５】 照会マルチメディアデータを入力し
    て、相互に異なるベースを利用したシステムに格納され
    ている検索対象マルチメディアデータを検索する方法に
    おいて、（ａ）検索対象マルチメディアデータのカラーヒストグ
    ラムを抽出するステップと、 （ｂ）抽出された検索対象マルチメディアデータのカラ
    ーヒストグラムのベースとなる色空間と色量子化方法を
    描写するステップと、 （ｃ）検索対象マルチメディアデータの色空間と色量子
    化方法と一致する照会マルチメディアデータのカラーヒ
    ストグラムが以前に格納されていていたか否か判断する
    ステップと、 （ｄ）格納されていた場合に、その格納されていた照会
    マルチメディアデータのカラーヒストグラムと検索対象
    マルチメディアデータのカラーヒストグラムとの類似度
    を計算し、その類似度に応じたマルチメディアデータ検
    索を行うステップとを行うことを特徴とする内容をベー
    スとしたマルチメディアデータ検索方法。
  26. 【請求項２６】 照会マルチメディアデータのカラーヒ
    ストグラムが以前に格納されてない場合は、 照会マルチメディアデータを検索対象マルチメディアデ
    ータの色空間と色量子化方法により色量子化して抽出す
    るステップと、 抽出された照会マルチメディアデータのカラーヒストグ
    ラムと検索対象マルチメディアデータのカラーヒストグ
    ラムとの類似度を計算し、その類似度に応じた検索を行
    うステップと、を順次行って、色量子化して抽出した照
    会マルチメディアデータのカラーヒストグラムを格納す
    るステップを追加的に行うことを特徴とする請求項２５
    記載の内容をベースとしたマルチメディアデータ検索方
    法。
JP2001039914A 2000-02-18 2001-02-16 内容をベースとしたマルチメディアデータ検索システム及びその方法 Expired - Fee Related JP3447705B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20000007708 2000-02-18
KR2000-7708 2000-02-18
KR1020000011336A KR20010081894A (ko) 2000-02-18 2000-03-07 이종 시스템간의 내용기반 멀티미디어 검색을 가능하게하는 칼라 히스토그램 변환방법, 멀티미디어 검색 방법,데이터 구조 및 멀티미디어 검색 시스템
KR2000-11336 2000-03-07

Publications (2)

Publication Number Publication Date
JP2001291102A JP2001291102A (ja) 2001-10-19
JP3447705B2 true JP3447705B2 (ja) 2003-09-16

Family

ID=26637157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001039914A Expired - Fee Related JP3447705B2 (ja) 2000-02-18 2001-02-16 内容をベースとしたマルチメディアデータ検索システム及びその方法

Country Status (4)

Country Link
US (1) US7376263B2 (ja)
EP (1) EP1126388A3 (ja)
JP (1) JP3447705B2 (ja)
KR (1) KR20010081894A (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411953B1 (en) * 1999-01-25 2002-06-25 Lucent Technologies Inc. Retrieval and matching of color patterns based on a predetermined vocabulary and grammar
KR100422697B1 (ko) * 1999-12-27 2004-03-12 엘지전자 주식회사 색공간 양자화 묘사자
US7039255B2 (en) * 2000-07-21 2006-05-02 Lg Electronics Inc. Method for searching multimedia using progressive histogram
KR100442126B1 (ko) * 2001-01-12 2004-07-30 주식회사 코어트러스트 아이템간의 연관성을 이용한 비디오 추천 시스템 및 방법
KR100850935B1 (ko) * 2001-12-27 2008-08-08 주식회사 엘지이아이 장면 전환 검출 장치
KR101046215B1 (ko) 2002-04-23 2011-07-04 씨티씨 케이블 코포레이션 알루미늄 전도체 복합 코어 강화 케이블 및 그 제조 방법
KR100718586B1 (ko) * 2002-11-25 2007-05-16 한국과학기술원 웹 상의 이질적인 이미지 데이터베이스들을 선택하기 위한복합추정 방법 및 이를 이용한 검색 시스템
JP4336950B2 (ja) * 2003-05-15 2009-09-30 富士ゼロックス株式会社 画像処理装置
EP1881455B1 (en) * 2003-07-04 2009-12-23 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for representing a group of images
KR101056542B1 (ko) * 2004-12-30 2011-08-11 주식회사 케이티 이기종 서버를 이용한 주문형비디오 서비스 시스템 및 그방법
CN100391232C (zh) * 2005-01-07 2008-05-28 智辉研发股份有限公司 数字影像闪光场景检测与消除方法
TWI281084B (en) * 2005-01-27 2007-05-11 Arima Computer Corp White balance method
US7925650B2 (en) * 2006-07-27 2011-04-12 Hewlett-Packard Development Company, L.P. Image management methods, image management systems, and articles of manufacture
US7991206B1 (en) 2007-07-02 2011-08-02 Datascout, Inc. Surrogate heuristic identification
US7814070B1 (en) 2006-04-20 2010-10-12 Datascout, Inc. Surrogate hashing
US8549022B1 (en) 2007-07-02 2013-10-01 Datascout, Inc. Fingerprint generation of multimedia content based on a trigger point with the multimedia content
US9020964B1 (en) 2006-04-20 2015-04-28 Pinehill Technology, Llc Generation of fingerprints for multimedia content based on vectors and histograms
US7840540B2 (en) * 2006-04-20 2010-11-23 Datascout, Inc. Surrogate hashing
US8463000B1 (en) 2007-07-02 2013-06-11 Pinehill Technology, Llc Content identification based on a search of a fingerprint database
US8156132B1 (en) 2007-07-02 2012-04-10 Pinehill Technology, Llc Systems for comparing image fingerprints
US20080046424A1 (en) * 2006-06-23 2008-02-21 Horton Richard B System and method of selecting images according to color content
DE202006017287U1 (de) * 2006-11-13 2007-01-11 Trw Automotive Safety Systems Gmbh Mit einem Flammschutzmittel ausgerüsteter Gassack
US7751620B1 (en) 2007-01-25 2010-07-06 Bitdefender IPR Management Ltd. Image spam filtering systems and methods
KR101330637B1 (ko) * 2007-05-15 2013-11-18 삼성전자주식회사 영상 및 영상 정보 검색 장치 및 방법, 그리고 그 시스템
KR100894016B1 (ko) * 2007-08-14 2009-04-17 주식회사 케이티프리텔 오브젝트 색상 정보를 이용한 동영상 검색 서비스 제공방법 및 시스템
KR100896336B1 (ko) * 2007-08-22 2009-05-07 주식회사 코난테크놀로지 영상 정보 기반의 동영상 연관 검색 시스템 및 방법
JP2009110211A (ja) * 2007-10-29 2009-05-21 Sony Corp 情報符号化装置および方法、情報検索装置および方法、情報検索システムおよび方法、並びにプログラム
JP5656353B2 (ja) * 2007-11-07 2015-01-21 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ マルチリンガル・テキスト・リソースのアクセスを制御するための方法および装置
US8031981B2 (en) * 2007-12-21 2011-10-04 Daon Holdings Limited Method and systems for generating a subset of biometric representations
JP2009251705A (ja) * 2008-04-02 2009-10-29 Nikon Systems Inc 画像評価装置
US9558510B2 (en) 2009-02-24 2017-01-31 Ebay Inc. System and method to create listings using image and voice recognition
US8630489B2 (en) * 2009-05-05 2014-01-14 Microsoft Corporation Efficient image matching
JP4982538B2 (ja) * 2009-08-19 2012-07-25 ヤフー株式会社 カラーヒストグラム生成装置、カラーヒストグラム生成方法及びプログラム
CN102033893A (zh) * 2009-09-25 2011-04-27 鸿富锦精密工业（深圳）有限公司 图片查询系统及方法
TWI411968B (zh) * 2009-12-31 2013-10-11 Via Tech Inc 圖像特徵計算方法以及圖像檢索方法
CN103106668B (zh) * 2011-11-09 2016-08-03 佳能株式会社 基于颜色直方图来描述图像区域的方法和系统
US9064149B1 (en) 2013-03-15 2015-06-23 A9.Com, Inc. Visual search utilizing color descriptors
US9299009B1 (en) * 2013-05-13 2016-03-29 A9.Com, Inc. Utilizing color descriptors to determine color content of images
JP6079738B2 (ja) * 2014-09-12 2017-02-15 カシオ計算機株式会社 ヒストグラムインターセクション演算装置、データ照合装置、類似データ検索装置、ヒストグラムインターセクション演算方法およびプログラム
GB2549073B (en) 2016-03-24 2020-02-26 Imagination Tech Ltd Generating sparse sample histograms
US10599945B2 (en) * 2017-08-15 2020-03-24 International Business Machines Corporation Image cataloger based on gridded color histogram analysis
WO2019205069A1 (en) * 2018-04-27 2019-10-31 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating 3d model of building
WO2020053119A1 (en) * 2018-09-11 2020-03-19 Amadeus S.A.S. A space allocation system for allocating space to objects with multi-variate characteristics, and a method thereof
CN111046202A (zh) * 2019-12-16 2020-04-21 广西师范大学 基于hsv颜色空间特有属性的图像检索方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0737060A (ja) * 1993-07-20 1995-02-07 Hitachi Ltd 画像の色量子化方法
EP0721631B1 (de) * 1993-09-27 1997-07-23 Siemens Aktiengesellschaft Verfahren zur segmentation von digitalen farbbildern
US6463173B1 (en) * 1995-10-30 2002-10-08 Hewlett-Packard Company System and method for histogram-based image contrast enhancement
JPH09214792A (ja) * 1996-01-31 1997-08-15 Fuji Xerox Co Ltd 色変換装置
JPH10301948A (ja) * 1997-04-25 1998-11-13 Nippon Telegr & Teleph Corp <Ntt> 画像および映像検索方法
US6163622A (en) * 1997-12-18 2000-12-19 U.S. Philips Corporation Image retrieval system
US6633407B1 (en) * 1998-04-29 2003-10-14 Lg Electronics, Inc. HMMD color space and method for quantizing color using HMMD space and color spreading
KR100307368B1 (ko) * 1998-05-28 2001-11-30 구자홍 색좌표공간의구성방법및색양자화방법
US6285995B1 (en) * 1998-06-22 2001-09-04 U.S. Philips Corporation Image retrieval system using a query image
US6564263B1 (en) * 1998-12-04 2003-05-13 International Business Machines Corporation Multimedia content description framework
US6512850B2 (en) * 1998-12-09 2003-01-28 International Business Machines Corporation Method of and apparatus for identifying subsets of interrelated image objects from a set of image objects
KR100512139B1 (ko) * 1999-07-03 2005-09-02 엘지전자 주식회사 비디오 영역 대표칼라 설정방법과 데이타 구조 및 신뢰도 추출방법
US6411724B1 (en) * 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information
KR20010055492A (ko) * 1999-12-10 2001-07-04 오길록 영상 히스토그램을 이용한 영상 검색 시스템과 그 방법

Also Published As

Publication number Publication date
EP1126388A3 (en) 2005-05-04
KR20010081894A (ko) 2001-08-29
US20010017940A1 (en) 2001-08-30
US7376263B2 (en) 2008-05-20
JP2001291102A (ja) 2001-10-19
EP1126388A2 (en) 2001-08-22

Similar Documents

Publication Publication Date Title
JP3447705B2 (ja) 内容をベースとしたマルチメディアデータ検索システム及びその方法
JP5121972B2 (ja) カラー画像を表現する方法、カラー画像を表現する装置、カラー画像を表現するシステム、コンピュータによる実行可能命令からなるプログラム、及びコンピュータ読取り可能媒体
Qiu Indexing chromatic and achromatic patterns for content-based colour image retrieval
US6163622A (en) Image retrieval system
US20150310012A1 (en) Object-based image search system and search method thereof
JP2003153007A (ja) 画像重要度に基づく画像圧縮制御システム及び方法
JP2002183145A (ja) 画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体
KR100422697B1 (ko) 색공간 양자화 묘사자
WO2004031991A1 (en) Reduction of search ambiguity with multiple media references
JP2002099913A (ja) 漸進的ヒストグラムを利用したマルチメディアの検索方法
Wong et al. Dominant color image retrieval using merged histogram
KR100312331B1 (ko) 내용기반영상검색방법및장치
CN112561976A (zh) 一种图像主颜色特征提取方法、图像检索方法、存储介质及设备
KR100340035B1 (ko) 영상유사도가중치조절장치및방법과그를이용한내용기반영상검색시스템및방법
Wong et al. Merged-color histogram for color image retrieval
JP2000250943A (ja) 画像辞書、画像分類方法、分類観点提示方法、画像ナビゲーション方法及び画像検索・画像分類連携システム
Jayadevan et al. A review on recent pseudo-coloring techniques
JPH07160725A (ja) 画像検索装置
KR100324255B1 (ko) 내용 기반 동영상 검색 방법
JP2003216649A (ja) 画像検索装置及び画像検索プログラム
Cheung et al. Merged-Color Histogram for Color Image Retrieval
JPH11175548A (ja) 画像ファイル検索方法、画像ファイル検索装置及び記憶媒体
Chiang et al. Image retrieval based on the wavelet features of interest
JP2000010997A (ja) 動画像検索装置および動画像検索方法
Cheung et al. Dominant Color Image Retrieval using Merged Histogram

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030617

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070704

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080704

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080704

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090704

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees