JP3948249B2 - 類似性判定装置及び類似性判定方法並びにプログラム - Google Patents
類似性判定装置及び類似性判定方法並びにプログラム Download PDFInfo
- Publication number
- JP3948249B2 JP3948249B2 JP2001332605A JP2001332605A JP3948249B2 JP 3948249 B2 JP3948249 B2 JP 3948249B2 JP 2001332605 A JP2001332605 A JP 2001332605A JP 2001332605 A JP2001332605 A JP 2001332605A JP 3948249 B2 JP3948249 B2 JP 3948249B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- feature amount
- color
- distance
- signal feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
Description
【０００１】
【発明の属する技術分野】
本発明は、類似画像検索や類似音響検索等を行う際に利用する類似性判定技術に関し、特に、問合せ信号と検索対象信号とが類似しているか否かを判定する類似性判定技術に関する。
【０００２】
【従来の技術】
画像や音響などの信号データを蓄積して管理する信号データベースにおいて、蓄積されている信号データの中から所定の信号（問合せ信号）と類似する信号データを検索する類似信号検索が行われる場合があり、たとえば、類似画像検索に利用することができる。この種の類似画像検索技術は従来から数多く提案されている。
【０００３】
従来、この種の類似画像検索技術は、類似性を判定する際、主として、画像の全体的な色情報を表す特徴量、または局所的な色情報を表した特徴量の集合を用いるものである。全体的な色情報を画像特徴量として用いるものほとんどにおいては、主として、画像中に含まれる画素の色構成比を表す色ヒストグラムを計算して、その類似性から類似画像を検索する方法が採用されている。ここで、色ヒストグラムとは、画像を表す色と、その構成割合とからなる画像特徴量である。色ヒストグラム情報としては、画像に含まれるすべての色についてのヒストグラムや、１つ又は複数の代表色とその色構成割合とからなるヒストグラム等を利用することができる。しかし、この手法には、画像の持つ色の空間的な配置が反映されない、つまりレイアウト構造が反映されないという欠点があった。
【０００４】
一方、局所的な色情報を表した特徴量の集合を用いることにより、画像を色の空間的な配置を考慮した画像検索システムが、米国特許第５５７９４７１号で紹介されている。このシステムの動作のモードのうちの１つにおいて、データベースの各画像がブロックに分割される。各ブロックは、同様の色のサブセットにグループ化され、かかるサブセットの最大のものが選択される。選択されたサブセットの平均色が、各ブロックの代表色として選択される。
【０００５】
また、色の空間的な配置を周波数軸上で表した画像特徴量を用いた画像検索装置の一例が、特開２０００−２５９８３２号公報に記載されている。ここで画像の周波数変換係数は、画像の色（平均色）のスペクトラムの周波数分布を複数の帯域に分割し、直交行列を用いて周波数解析して得られた、帯域ごとのエネルギーを示す値からなるものである。
【０００６】
図１１は、この従来の画像検索装置の要部の構成を示すブロック図であって、画像データ１０１から特徴量１０３を生成する画像特徴量生成部１０２と、予め特徴量が格納されている画像特徴量記憶部１０４と、特徴量１０３と画像特徴量記憶部１０４に格納されている特徴量１０５との類似度１０７を算出する類似度算出部１０６とからなる画像検索装置が示されている。ここで、画像特徴量生成部１０２は、画像データ１０１から固定サイズの画像１１１を生成する画像サイズ変換手段１１０と、画像１１１に対して周波数解析を行う周波数解析手段１１２と、周波数解析手段１１２から得られる周波数変換係数１１３のうち、直流成分及び一部交流成分を画像特徴量１０３として抽出する直流成分および一部交流成分抽出手段１１４とからなっている。
【０００７】
ところで、画像検索装置における検索精度を向上させるためには、類似性の判定精度を高いものにすることが必要になる。類似性の判定精度を高めるために、色構成比を表す特徴量と色配置を表す特徴量の双方を利用するということが考えられる。今、例えば、色配置特徴量としてＤＣＴ（離散コサイン変換）係数を、色構成比特徴量として色ヒストグラムを用いるとすると、類似性の判定は、次のようにして行う。先ず、問合せ画像の持つＤＣＴ係数と検索対象画像の持つＤＣＴ係数間の距離と、問合せ画像が持つ色ヒストグラムと検索対象画像が持つ色ヒストグラム間の距離とを算出する。その後、算出した双方の距離を加算し、加算結果に基づいて問合せ画像と検索対象画像との類似性を判定する。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記の例において、ＤＣＴ係数の直流成分は画像の持つ平均色という色情報を表すため、ＤＣＴ係数は画像のおおまかな配置情報のみならず代表色をも表現する。このため、ＤＣＴ係数と、代表色を表すヒストグラムとの類似度をそのまま加算しては、類似性の判定結果に、代表色に関する類似性が大きく反映されてしまう。このように、色構成比特徴量と色配置特徴量が全く異なる性質を持つ特徴量であるとは限らないため、色構成比特徴量および色配置特徴量間の比較検索を行う際に双方の距離を加算しこの距離に基づいて類似性を判定しても、双方の特徴量に共通した性質が強調された判定結果がでてしまう。このため、検索精度の低下を招いてしまう場合がある。また、音響信号の特徴量についても、例えば、ある長さをもつ音響信号区間に対して、区間全体から抽出した周波数分布特徴量と、区間を分割して各分割区間に対して周波数分布特徴量を抽出した集合の双方を利用して類似した音響信号区間を検索する場合に、双方が全く異なる性質を持つ特徴量であるとは限らないため、双方の距離を加算しこの距離に基づいて類似する音響区間を検索しても、双方の特徴量に共通した性質が強調された検索結果がでてしまう。
【０００９】
本発明は、上述の事情に鑑みてなされたものであり、その目的は、色構成比特徴量と色配置特徴量といった複数種類の特徴量を用いて類似性を判定する際、高い精度で類似性を判定できるようにすることにある。
【００１０】
【課題を解決するための手段】
上記課題を解決するために、本発明の類似性判定装置は、
検索対象信号および問合せ信号それぞれの第１の信号特徴量および第２の信号特徴量に基づいて前記検索対象信号と前記問合せ信号との類似性を判定する類似性判定装置に於いて、
前記検索対象信号の第１の信号特徴量と前記問合せ信号の第１の信号特徴量との距離を求める際に使用する、前記第１の信号特徴量の要素に対する重み値を、前記第２の信号特徴量のタイプに応じて決定する重み決定手段と、
前記検索対象信号の第１の信号特徴量と前記問合せ信号の第１の信号特徴量との距離を、前記重み付け決定手段により決定された重み値に基づき算出する第１の信号特徴量間距離算出手段と、
前記検索対象信号の第２の信号特徴量と前記問合せ信号の第２の信号特徴量との距離を算出する第２の信号特徴量間距離算出手段と、
前記第１の信号特徴量間距離算出手段により算出された距離と、前記第２の信号特徴量間距離算出手段により算出された距離とに基づき、前記検索対象信号と問合せ信号との類似性を判定する類似性判定手段とを備えている。
【００１１】
この構成では、検索対象信号と問合せ信号の第１の信号特徴量間の距離を算出する際に使用する、第１の信号特徴量の要素に対する重み値を、第２の信号特徴量のタイプに応じて決定しておき、第１の信号特徴量間の距離は、上記決定した重み値を利用して算出する。従って、第１，第２の信号特徴量に、共通した性質を持つ要素が含まれている場合、上記要素を除外した第１の信号特徴量間の距離を算出することができる。この結果、第１の信号特徴量間の距離と、第２の信号特徴量間の距離とに基づいて、問合せ信号と検索対象信号との類似性を判定する際、第１，第２の信号特徴量に共通して含まれている要素に関する類似性が、判定結果に大きく反映されてしまうという事態を防ぐことができ、類似性の判定精度を向上させることができる。
【００１２】
ここで、検索対象信号，問合せ信号が、例えば、検索対象画像，問合せ画像を示すものである場合は、第１，第２の信号特徴量として、色構成比特徴量，色配置特徴量を使用することができる。また、重み決定手段が決定する重み値は、例えば、第１の信号特徴量の直流成分に対する重み値とすることができる。
【００１３】
また、本発明の類似性判定装置は、第１の信号特徴量が、直流成分とその他の成分とに分かれていない場合であっても、直流成分に対する重み値を決定する重み決定手段を利用できるようにするため、
前記第１の信号特徴量を直流成分とその他の成分に変換する信号特徴量変換手段を備え、且つ、
前記第１の特徴量間距離算出手段が、前記特徴量変換手段で変換が行われた後の、前記検索対象信号の第１の信号特徴量と前記問合せ信号の第１の信号特徴量との距離を、前記重み決定手段で決定された重み値に基づき算出する構成を有する。
【００１４】
【発明の実施の形態】
次に本発明の実施の形態について図面を参照して詳細に説明する。以下の説明では、第１の信号特徴量および第２の信号特徴量として色構成比特徴量および色配置特徴量を用いて説明する。色構成比特徴量として色ヒストグラムを、色配置特徴量としてＤＣＴ（離散コサイン変換）の低周波成分の係数、或いは画像を矩形領域分割し各領域に色構成比特徴量を割り当てた集合を利用する場合について示すが、これらの特徴はそれに限らず、類似の性質を持つ特徴であればなんでもよい。例えば、文献；”Ｃｏｌｏｒ ａｎｄ Ｔｅｘｔｕｒｅ Ｄｅｓｃｒｉｐｔｏｒｓ”；ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ Ｖｏｌ１１、Ｎｏ６、Ｊｕｎｅ２００１ 記載のドミナントカラー記述子（Ｄｏｍｉｎａｎｔ Ｃｏｌｏｒ），カラーストラクチャー記述子（Ｃｏｌｏｒ Ｓｔｒｕｃｔｕｒｅ）、スケーラブルカラー記述子（Ｓｃａｌａｂｌｅ Ｃｏｌｏｒ）のうちの１つまたは複数を色構成比特徴量として用いることができ、さらにカラーレイアウト記述子（Ｃｏｌｏｒ Ｌａｙｏｕｔ）、エッジヒストグラム記述子（Ｅｄｇｅ Ｈｉｓｔｏｇｒａｍ）、画像を矩形領域（グリッド）に分割し、各グリッドに色構成比特徴量等を割り当てた集合を色配置特徴量として用いることもできる。また、色構成比特徴量を画像全体の色情報を表す特徴量で、色配置特徴量が局所的な色情報を表した特徴量の集合とすることもできる。
【００１５】
図１は本発明に係る類似性判定装置の第１の実施の形態の構成例を示すブロック図であり、画像検索システムの一部として利用されるものである。図１に示すように、本実施の形態に係る類似性判定装置３には、検索対象となる画像を入力する検索対象画像入力装置１と、ディジタル写真や手書きスケッチなどといった検索に用いる問合せ画像を入力する問合せ画像入力装置２と、類似性判定装置３による類似性の判定結果を出力するディスプレイ装置や印刷装置等の出力装置４と、キーボード等の入力装置５とが接続されている。
【００１６】
類似性判定装置３は、検索対象画像入力装置１から順次入力される検索対象画像と、問合せ画像入力装置２から入力される問合せ画像との類似性を判定する装置である。以下に、類似性判定装置３の各部を詳細に説明する。
【００１７】
第１の色配置特徴量生成手段３１は、検索対象画像入力装置１から検索対象画像が入力される毎に、検索対象画像を固定サイズの画像に変換したうえで、画像の色のスペクトラムの周波数分布を複数の帯域に分割し、直交行列を用いて周波数解析して得られた、帯域ごとのエネルギーを示す値を抽出する。本実施の形態では、直交行列として、ＤＣＴ（離散コサイン変換）を行い低周波成分を抽出するが、フーリエ変換、ウェーブレット変換などを行い低周波成分を抽出することもできる。
【００１８】
第１の色構成比特徴量生成手段３２は、検索対象画像入力装置１から検索対象画像が入力される毎に、検索対象画像の各画素値を用いて、色ヒストグラムを計算する。色ヒストグラムとしては、検索対象画像に含まれるすべての色についてのヒストグラムや、１つ又は複数の代表色とその色構成割合とからなるヒストグラム等を利用することができる。
【００１９】
第２の色配置特徴量生成手段３３は、問合せ画像入力装置２から入力された問合せ画像を固定サイズの画像に変換したうえで、画像の色のスペクトラムの周波数分布を複数の帯域に分割し、直交行列を用いて周波数解析して得られた、帯域ごとのエネルギーを示す値を抽出する。この第２の色配置特徴量生成手段３３は、第１の色配置特徴量生成手段３１と同等のものである。
【００２０】
第２の色構成比特徴量生成手段３４は、問合せ画像入力装置２から入力された問合せ画像の各画素値を用いて、色ヒストグラムを計算する。この第２の色構成比特徴量生成手段３４は、第１の色配置特徴量生成手段３２と同等のものである。
【００２１】
重み決定手段３５は、第１，第２の色配置特徴量生成手段３１，３３で生成された色配置特徴量間の距離を算出する際に使用する、色配置特徴量に含まれる各要素に対する重み値を決定する。この重み値の決定は、第１，第２の色構成比特徴量生成手段３２，３４が生成する色構成比特徴量のタイプに応じて決定する。ここで、色構成比特徴量のタイプとは、色構成比特徴量の種類、或いは色構成比特徴量のパラメータの値である。これらの内の、どれを色構成比特徴量のタイプとして使用するかは、ユーザが入力装置５を用いて重み決定手段３５に指示する。色構成比特徴の種類としては、例えば、色ヒストグラム、スケーラブルカラー記述子、ドミナントカラー記述子、カラーストラクチャ記述子等がある。色構成比特徴量のパラメータの値としては、例えば、色ヒストグラムの場合、色ヒストグラムに含まれる代表色の数や割合、ヒストグラム上での色の広がりを示す値、色の集中具合を示す値等がある。
【００２２】
今、例えば、ユーザが色構成比特徴量のタイプとして、色構成比特徴量のパラメータの値を指示した場合は、主に色ヒストグラムに含まれる代表色の数や割合、またヒストグラム上での広がりや色の集中具合といった特徴量のパラメータの値に応じて、ＤＣＴ係数の直流成分（平均色）に対する重み値を決定することができる。例えば、問合せ画像の色構成比特徴量のパラメータの値が、代表色が少なく頻度が偏っていることを示している場合には、色ヒストグラムの最頻色とＤＣＴ係数の直流成分は極めて類似した値を示す可能性が高いため、ＤＣＴ係数の直流成分に対する重みを極めて小さくするか、０にすることが可能である。このような処理は、例えば、問合せ画像の色構成比特徴量のパラメータの値と、重み値とを対応付けて登録した対応テーブル（図示せず）を利用することにより、容易に実現できる。
【００２３】
また、例えば、ユーザが色構成比特徴量のタイプとして、色構成比特徴量の種類を指示した場合は、重み決定手段３５は、色構成比特徴量の種類に応じた重み値を決定する。例えば、色構成比特徴量のタイプが、色ヒストグラムである場合には、ＤＣＴ係数の直流成分を利用しない、つまり重みを０にすると決定する。また、例えば、スケーラブルカラー記述子、ドミナントカラー記述子、カラーストラクチャー記述子などのうちのどれが利用されているかに応じて、カラーレイアウト記述子などに含まれる直流成分に対する重み値を設定することができる。また、１種類の色構成比特徴量のみ利用する場合と、２種類以上の色構成比特徴量を利用する場合によっても、直流成分に対する重み値を変更することができる。当然、２種類以上の色構成比特徴量を用いる場合にも、各色構成比特徴量のパラメータに応じて重み値を変更することが可能である。
【００２４】
色配置特徴量間距離算出手段３６は、第１の色配置特徴量生成手段３１で生成された特徴量と、第２の色配置特徴量生成手段３３で生成された特徴量との間の距離値を、重み決定手段３５により決定された重みを用いて計算する。距離値としてはさまざまな定義が可能であるが、例えばＤＣＴ係数の低周波成分間の距離計算方法としては、以下のものがある。距離値をＤとすると、２つの特徴量間の距離値は以下の式（１）で表すことができる。
【００２５】
【数１】
【００２６】
Ｙｉ , Ｃｂｉ , Ｃｒｉ はｉ個目のＤＣＴ係数であり，ｗ１ｉ 〜ｗ３ｉ は重み係数である。重み係数はＤＣＴ係数の周波数帯域によって異なる値を設定することができる。特に、例えば色配置特徴量が単独で用いられる場合、２のべき乗の大きい順にジグザグスキャン順に適用することができる。ここでは、直流成分の重み係数ｗ１０ ，ｗ２０ ，ｗ３０ として、重み決定手段３５で決定された直流成分に対する重み値を代入する。
【００２７】
色構成比特徴量間距離算出手段３７は、第１の色構成比特徴量生成手段３２で生成された特徴量と、第２の色構成比特徴量生成手段３４で生成された特徴量との間の距離値を計算する。距離値としてはさまざまな定義が可能であるが、例えばＬ１ノルムやＬ２ノルムなどを用いることができる。
【００２８】
類似性判定手段３８は、色配置特徴量間距離算出手段３６により算出された距離値と、色構成比特徴量間距離算出手段３７により算出された距離値より、検索対象画像と問合せ画像との類似性を判定する。より具体的には、例えば、検索対象画像入力装置１から検索対象画像が入力される毎に、色配置特徴量間距離算出手段３６で算出された距離値と色構成比特徴量間距離算出手段３７で算出された距離値とを重み付け加算し、加算結果と検索対象画像の画像識別子とを対応付けて保持しておく。尚、第ｊ番目に入力された検索対象画像の画像識別子は、ＩＤｊであるとする。そして、入力された全ての検索対象画像に対して上記した処理を行うと、保持している画像識別子を加算結果が小さい順にソートし、ソート結果を出力装置４に出力する。以上の処理により、出力装置４には、問合せ画像との類似性が高い順に、検索対象画像の画像識別子が出力されるので、ユーザは、例えば、ソート順が若い画像識別子を指定することにより、問合せ画像と類似性の高い検索対象画像を得ることができる。尚、類似性の判定方法は、これに限られるものではなく、加算結果と閾値とを比較することにより、類似性を判定するようにすることもできる。
【００２９】
次に、本実施の形態の動作を図１のブロック図及び図２のフローチャートを参照して説明する。
【００３０】
先ず、問合せ画像入力装置２から問合せ画像を入力する（Ａ１）。これにより、色配置特徴量生成手段３３，色構成比特徴量生成手段３４が、問合せ画像の色配置特徴量，色構成比特徴量を生成する（Ａ２）。
【００３１】
その後、検索対象画像入力装置１から第１番目の検索対象画像を１枚入力する（Ａ３）。これにより、色配置特徴量生成手段３１，色構成比特徴量生成手段３２が、検索対象画像の色配置特徴量，色構成比特徴量を生成する（Ａ５）。その後、重み決定手段３５が、色構成比特徴量のタイプに応じて、色配置特徴量の各要素に対する重み値を決定する（Ａ６）。次いで、色配置特徴量間距離算出手段３６が重み値を使用して色配置特徴量間距離を算出し、色構成比特徴量間距離算出手段３７が、色構成比特徴量間距離を算出する（Ａ７）。
【００３２】
その後、類似性判定手段３８が、色配置特徴量間距離と色構成比特徴量間距離との重み付き加算を行い、加算結果と検索対象画像の画像識別子とを対応付けて保持する（Ａ８）。
【００３３】
以上の処理を全ての検索対象画像に対して行う。そして、全ての検索対象画像に対して上記した処理を行うと（Ａ４がＹＥＳ）、類似性判定手段３８が、保持している画像識別子を加算結果が小さい順にソートし、ソート結果を出力装置４に出力する（Ａ９，Ａ１０）。
【００３４】
なお、上記の実施形態例において、直流成分に対する重みを０にするかわりに、色配置特徴量を抽出する段階で交流成分のみを抽出しておくこともできる。
【００３５】
上述したように、本実施の形態では、重み決定手段３５が、色構成比特徴量のタイプに応じて色配置特徴量に含まれる要素に対する重み値を決定し、色配置特徴量間距離算出手段３６が、上記決定された重み値を用いて色配置特徴量生成手段３１で生成された特徴量と、第２の色配置特徴量生成手段３３で生成された特徴量との間の距離値を計算する。従って、色構成比特徴量，色配置特徴量の双方に含まれている共通した性質の要素を除外した、色配置特徴量間距離を色配置特徴量間距離算出手段３６で算出することができる。この結果、色配置特徴量間距離と、色構成比特徴量間距離とに基づいて、問合せ画像と検索対象画像との類似性を判定する際、色配置特徴量，色構成比特徴量に共通して含まれている要素に関する類似性が大きく反映されてしまうという事態を防ぐことができ、類似性の判定精度を向上させることができる。
【００３６】
図３は、本発明に係る類似性判定装置の第２の実施の形態の構成例を示すブロック図である。本実施の形態における類似性判定装置３ａは、図１に示された第１の実施の形態における類似性判定装置３の構成に加え、第１，第２の色配置特徴量変換手段６１，６２を有する点、および第１，第２の色配置特徴量生成手段３１，３３の代わりに第１，第２の色配置特徴量生成手段３１ａ，３３ａを有する点が相違している。
【００３７】
第１の色配置特徴量生成手段３１ａは、検索対象画像を矩形領域分割し、各矩形領域に色構成比特徴量を割り当てた集合を色配置特徴量とする。第２の色配置特徴量生成手段３３ａは、問合せ画像を矩形領域分割し、各矩形領域に色構成比特徴量を割り当てた集合を色配置特徴量とする。
【００３８】
第１の色配置特徴量変換手段６１は、検索対象画像の色配置特徴量を直流成分と他の成分に変換する。また、第２の色配置特徴量変換手段６２は、問合せ画像の色配置特徴量を直流成分と他の成分に変換する。
【００３９】
次に、本実施の形態の動作について説明する。図４は、本実施の形態の動作例を示すフローチャートである。この図４に示したフローチャートと、図２に示した第１の実施の形態の動作例のフローチャートとの相違点は、ステップＡ２，Ａ３間に、色配置特徴量変換手段６２が行うステップＢ１の変換処理が挿入され、ステップＡ５，Ａ６間に色配置特徴量変換手段６１が行うステップＢ２の変換処理が挿入されている点だけであるので、以下では、ステップＢ１，Ｂ２についてのみ説明する。
【００４０】
図５は、本実施の形態の第１，第２の色配置特徴量変換手段６１，６２の処理を、色配置特徴量が、画像を矩形領域分割し各領域に色構成比特徴量を割り当てた集合である場合を例として説明するためのフローチャートである。
【００４１】
第２の色配置特徴量生成手段３３ａが、問合せ画像の色配置特徴量を生成すると（図４，Ａ２）、第２の色配置特徴量変換手段６２が、ステップＢ１の変換処理を行う。
【００４２】
ステップＢ１では、先ず、図５のフローチャートに示すように、問合せ画像の色配置特徴量における各矩形領域に含まれる色構成比特徴量より代表色を決定する（ステップＢ１１）。ここで、代表色の決定方法は、それぞれの色にその割合を乗算して全てを加算することによって計算する方法や、最頻値や中央値を代表色とする方法などが考えられる。
【００４３】
次に、各矩形領域より算出された代表色から構成される画像を生成する（ステップＢ１２）。
【００４４】
次に、生成画像に対して周波数解析を実行し（ステップＢ１３）、生成される直流成分とそれ以外の成分を抽出する（ステップＢ１４）。周波数解析方法としては、アダマール変換やＤＣＴ変換などを適用することにより、直流成分およびその他の成分に変換することができる。また、各矩形領域毎に代表色や平均色などを算出し単純にその平均値を計算することにより、直流成分を生成することもできる。以上が、ステップＢ１で行われる処理である。
【００４５】
また、図４のステップＡ５に於いて、第１の色配置特徴量生成手段３１ａが、検索対象画像の色配置特徴量を生成すると、第１の色配置特徴量変換手段６１が、第１の色配置特徴量生成手段３１ａで生成された色配置特徴量を処理対象にして、変換処理（Ｂ２）を行う。ステップＢ２に於いては、第１の色配置特徴量変換手段６１が、検索対象画像の色配置特徴量を処理対象にして図５のフローチャートに示す処理を行う。
【００４６】
上述したように、本実施の形態では、重み決定手段３５が、色構成比特徴量のタイプに応じて色配置特徴量に含まれる要素に対する重み値を決定し、色配置特徴量間距離算出手段３６が、上記決定された重み値を用いて色配置特徴量生成手段３１ａで生成された特徴量と、第２の色配置特徴量生成手段３３ａで生成された特徴量との間の距離値を計算する。従って、色構成比特徴量，色配置特徴量の双方に含まれている共通した性質の要素を除外した、色配置特徴量間距離を色配置特徴量間距離算出手段３６で算出することができる。この結果、色配置特徴量間距離と、色構成比特徴量間距離とに基づいて、問合せ画像と検索対象画像との類似性を判定する際、色配置特徴量，色構成比特徴量に共通して含まれている要素に関する類似性が判定結果に大きく反映されてしまうという事態を防ぐことができ、類似性の判定精度を向上させることができる。
【００４７】
図６は、本発明に係る類似性判定装置の第３の実施の形態の構成例を示すブロック図である。本実施の形態の類似性判定装置３ｂと、図１に示した第１の実施の形態に係る類似性判定装置３との相違点は、重み決定手段３５の代わりに重み決定手段３５ｂを備えている点、色配置特徴量間距離算出手段３６の代わりに色配置特徴量間距離算出手段３６ｂを備えている点、および色構成比特徴量間距離算出手段３７の代わりに色構成比特徴量間距離算出手段３７ｂを備えている点である。
【００４８】
重み決定手段３５ｂは、色配置特徴量のタイプに応じて色構成比特徴量に含まれる要素に対する重み値を決定する。例えば、ＤＣＴ係数の交流成分の中央からの分散値を色特徴量のタイプとし、色ヒストグラムに含まれる代表色の広がりや色の集中具合などに対する重み値を決定することができる。
【００４９】
色構成比特徴量間距離算出手段３７ｂは、第１の色構成比特徴量生成手段３２で生成された色構成比特徴量と、第２の色構成比特徴量生成手段３４で生成された色構成比特徴量との間の距離値を、重み決定手段３５ｂにより決定された重みを用いて計算する。また色配置特徴量は１種類である必要はなく、色配置特徴量の種類や数に応じて重みを決定することも可能である。
【００５０】
色配置特徴量間距離算出手段３６ｂは、第１の色配置特徴量生成手段３１で生成された色配置特徴量と、第２の色配置特徴量生成手段３３で生成された色配置特徴量との間の距離値を計算する。
【００５１】
次に本実施の形態の動作について説明する。図７は本実施の形態の動作例を示すフローチャートである。この図７に示すフローチャートと、図２に示した第１の実施の形態のフローチャートとの相違点は、ステップＡ６，Ａ７の代わりにステップＡ６ｂ，Ａ７ｂの処理を行う点だけであるので、以下では、ステップＡ６ｂ，Ａ７ｂの処理についてのみ説明する。
【００５２】
ステップＡ６ｂに於いては、重み決定手段３５ｂが、色配置特徴量のタイプに応じて、重み値を決定する。次の、ステップＡ７ｂでは、色構成比特徴量間距離算出手段３７ｂが重み値を使用して色構成比特徴量間距離を算出し、色配置特徴量間距離算出手段３６ｂが、色配置特徴量間距離を算出する。
【００５３】
上述したように、本実施の形態では、重み決定手段３５ｂが、色配置特徴量のタイプに応じて色構成比特徴量に含まれる要素に対する重み値を決定し、色構成比特徴量間距離算出手段３７ｂが、上記決定された重み値を用いて第１の色構成比特徴量生成手段３２で生成された特徴量と、第２の色構成比特徴量生成手段３４で生成された特徴量との間の距離値を計算する。従って、色構成比特徴量，色配置特徴量の双方に含まれている共通した性質の要素を除外した、色構成比特徴量間距離を色構成比特徴量間距離算出手段３７ｂで算出することができる。この結果、色配置特徴量間距離と、色構成比特徴量間距離とに基づいて、問合せ画像と検索対象画像との類似性を判定する際、色配置特徴量，色構成比特徴量に共通して含まれている要素に関する類似性が大きく反映されてしまうという事態を防ぐことができ、類似性の判定精度を向上させることができる。
【００５４】
以上、本発明の実施の形態を図面により詳述してきたが、具体的な構成はこの実施の形態に限られたものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれる。例えば、色ヒストグラム情報における色の種類は特定の色空間に限らず、例えばＲＧＢ色空間，ＹＣｂＣｒ色空間，ＨＳＶ色空間等のうちの、任意の色空間を用いることができる。また、ＤＣＴ係数の算出には、成分色のすべてを用いる必要はなく、一部の色のみを用いてもよい。また、画像信号の特徴量である必要はなく、音響信号の特徴量を用いてもよい。例えば、ある長さをもつ音響信号区間に対して、区間全体から抽出した特徴量と、区間を分割して各分割区間に対して特徴量を抽出した集合の双方を利用して類似した音響信号区間を検索する場合に、区間全体から抽出した特徴量の低周波成分に対する重みを設定することにより、より正確に類似した音響区間を検索することもできる。
【００５５】
図８は、本発明に係る類似性判定装置の第４の実施の形態の構成例を示すブロック図である。本実施の形態は、図１に示した第１の実施の形態に於ける類似性判定装置の処理速度を向上させるようにしたものである。
【００５６】
本実施の形態に係る類似性判定装置３ｃには、検索対象画像登録部１００と、問合せ画像入力装置２と、出力装置４と、入力装置５とが接続されている。
【００５７】
検索対象画像登録部１００は、検索対象画像入力装置１と、第１の色配置特徴量生成手段３１ｃと、第２の色構成比特徴量生成手段３２ｃと、第１の色配置特徴量蓄積部７１及び第１の色構成比特徴量蓄積部７２を有する検索対象画像特徴量記憶部７とを備えている。
【００５８】
第１の色配置特徴量生成手段３１ｃは、検索対象画像入力装置１から検索対象画像が入力される毎に、その画像の色配置特徴量を生成し、第１の色配置特徴量蓄積部７１に蓄積する。第１の色構成比特徴量生成手段３２ｃは、検索対象画像入力装置１から検索対象画像が入力される毎に、その画像の色構成比特徴量を生成し、第１の色構成比特徴量蓄積部７２に蓄積する。尚、第１の色配置特徴量生成手段３１ｃが生成する色配置特徴量および第１の色構成比特徴量生成手段３２ｃが生成する色構成比特徴量は、第１の実施の形態に於ける第１の色配置特徴量生成手段３１及び第１の色構成比特徴量生成手段３２が生成するものと同じにすることができる。
【００５９】
類似性判定装置３ｃ内には、第２の色配置特徴量生成手段３３と、第２の色構成比特徴量生成手段３４と、重み決定手段３５ｃと、色配置特徴量間距離算出手段３６ｃと、色構成比特徴量間距離算出手段３７ｃと、類似性判定手段３８とが設けられている。
【００６０】
重み決定手段３５ｃは、第１の色構成比特徴量蓄積部７２に蓄積されている各検索対象画像の色構成比特徴量と、第２の色構成比特徴量生成手段３４が生成した問合せ画像の色構成比特徴量のタイプに応じて、色配置特徴量間距離算出手段３６ｃが、問合せ画像の色配置特徴量と第１の色配置特徴量蓄積部７１に蓄積されている各検索対象画像の色配置特徴量との距離を求める際に使用する重み値を決定する。
【００６１】
色配置特徴量間距離算出手段３６ｃは、第１の色配置特徴量蓄積部７１に蓄積されている各検索対象画像の色配置特徴量と、第２の色配置特徴量生成手段３３で生成された色配置特徴量との間の距離値を、重み決定手段３５により決定された重みを用いて計算する。
【００６２】
色構成比特徴量間距離算出手段３７ｃは、第１の色構成比特徴量蓄積部７２に蓄積されている各検索対象画像の色構成比特徴量と、第２の色構成比特徴量生成手段３４で生成された色構成比特徴量との間の距離値を計算する。尚、他の第１図と同一符号は同一部分を表している。
【００６３】
次に、本実施の形態の動作を図８のブロック図及び図９のフローチャートを参照して説明する。
【００６４】
先ず、問合せ画像入力装置２から問合せ画像を入力する（Ｃ１）。これにより、色配置特徴量生成手段３３，色構成比特徴量生成手段３４が、問合せ画像の色配置特徴量，色構成比特徴量を生成する（Ｃ２）。
【００６５】
その後、検索対象画像特徴量記憶部７より第１番目の検索対象画像の色配置特徴量，色構成比特徴量を入力する（Ｃ３）。これにより、重み決定手段３５が、色構成比特徴量のタイプに応じて、色配置特徴量の各要素に対する重み値を決定する（Ｃ５）。次いで、色配置特徴量間距離算出手段３６が重み値を使用して色配置特徴量間距離を算出し、色構成比特徴量間距離算出手段３７が、色構成比特徴量間距離を算出する（Ｃ６）。
【００６６】
その後、類似性判定手段３８が、色配置特徴量間距離と色構成比特徴量間距離との重み付き加算を行い、加算結果と検索対象画像の画像識別子とを対応付けて保持する（Ｃ７）。
【００６７】
以上の処理を全ての検索対象画像に対して行う。そして、全ての検索対象画像に対して上記した処理を行うと（Ｃ４がＹＥＳ）、類似性判定手段３８が、保持している保持している画像識別子を加算結果が小さい順にソートし、ソート結果を出力装置４に出力する（Ｃ８，Ｃ９）。
【００６８】
本実施の形態では、各検索対象画像の特徴量を検索対象画像特徴量記憶部７に蓄積しておき、問合せ画像が入力されたとき、検索対象画像特徴量７に蓄積されている特徴量を使用して類似性の判定を行っており、問合せ画像が入力される毎に、検索対象画像の特徴量を求める処理が不要になるので、類似性の判定処理に要する時間を短くすることができる。
【００６９】
尚、図３，図６に示した第２，第３実施の形態に於いても、図８に示した実施の形態と同様に、各検索対象画像の色配置特徴量，色構成比特徴量を検索対象画像特徴量記憶部に登録しておき、この登録された色配置特徴量，色構成比特徴量を用いて問合せ画像との類似性を判定するようにしても良い。
【００７０】
例えば、図３に示した第２の実施の形態に於いては、第１の色配置特徴量変換手段６１で生成された各検索対象画像の色配置特徴量と第１の色構成比特徴量生成手段３２で生成された各検索対象画像の色構成比特徴量とを検索対象画像特徴量記憶部に蓄積し、重み決定手段３５，色配置特徴量間距離算出手段３６，色構成比特徴量間距離算出手段３７が、検索対象画像特徴量記憶部に蓄積された各検索対象画像の色配置特徴量，色構成比特徴量を順次使用するようにする。
【００７１】
また、図３に示した第２の実施の形態に於いては、第１の色配置特徴量生成手段３１で生成された各検索対象画像の色配置特徴量と第１の色構成比特徴量生成手段３２で生成された各検索対象画像の色構成比特徴量とを検索対象画像特徴量記憶部に蓄積し、色配置特徴量変換手段６１，重み決定手段３５，色配置特徴量間距離算出手段３６，色構成比特徴量間距離算出手段３７が、検索対象画像特徴量記憶部に蓄積された各検索対象画像の色配置特徴量，色構成比特徴量を順次使用することもできる。
【００７２】
また、図６に示した第３の実施の形態に於いては、第１の色配置特徴量生成手段３１が生成した各検索対象画像の色配置特徴量と第１の色構成比特徴量生成手段３２が生成した各検索対象画像の色構成比特徴量とを検索対象画像特徴量記憶部に蓄積し、重み決定手段３５ｂ，色配置特徴量間距離算出手段３６ｂ，色構成比特徴量間距離算出手段３７ｂが、検索対象画像特徴量記憶部に蓄積された各検索対象画像の色配置特徴量，色構成比特徴量を順次使用するようにする。
【００７３】
また、本発明をソフトウェアによって実現する場合には、ハードウェア構成として、例えば、図１０に示すように、中央処理装置（ＣＰＵ）８１を含む主制御部８０と、ＲＯＭ，ＲＡＭ，ＨＤＤ等からなるメモリ部８２と、マンマシンインタフェースをとる入出力部８３と、表示部８４とからなる処理装置に対して、本発明を実現するためのプログラムを装備することによって、容易に実現できる。このようなプログラムを、処理装置が読み取り可能な、任意の形式の記録媒体８５に記録した状態で予め用意しておいて、これからプログラムを読み込むことによって、同様なシステムを具備する場合に、本発明を普遍的に実現することができる。このような媒体としては、磁気テープ，フロッピィディスク，ＣＤ−ＲＯＭ等の任意の形式のものを使用することができる。
【００７４】
例えば、本発明の第１の実施の形態を実現する場合には、記録媒体８５に記録されているプログラムは、主制御部８０によって読み取られ、その動作を制御することで、主制御部８０上に、図１に示した色配置特徴量生成手段３１，３３、色構成比特徴量生成手段３２，３４、重み決定手段３５、色配置特徴量間距離算出手段３６、色構成比特徴量間距離算出手段３７、類似性判定手段３８を実現する。また、例えば、本発明の第２の実施の形態を実現する場合には、記録媒体８５に記録されているプログラムは、主制御部８０によって読み取られ、その動作を制御することで、主制御部８０上に、図３に示した色配置特徴量生成手段３１ａ，３３ａ、色構成比特徴量生成手段３２，３４、重み決定手段３５、色配置特徴量間距離算出手段３６、色構成比特徴量間距離算出手段３７、類似性判定手段３８を実現する。更に、本発明の第３の実施の形態を実現する場合には、記録媒体８５に記録されているプログラムは、主制御部８０によって読み取られ、その動作を制御することで、主制御部８０上に、図６に示した色配置特徴量生成手段３１，３３、色構成比特徴量生成手段３２，３４、重み決定手段３５ｂ、色配置特徴量間距離算出手段３６ｂ、色構成比特徴量間距離算出手段３７ｂ、類似性判定手段３８を実現する。また、本発明の第４の実施の形態を実現する場合には、記録媒体８５に記録されているプログラムは、主制御部８０によって読み取られ、その動作を制御することで、主制御部８０上に、図８に示した色配置特徴量生成手段３１ｃ，３３、色構成比特徴量生成手段３２ｃ，３４、重み決定手段３５ｃ、色配置特徴量間距離算出手段３６ｃ、色構成比特徴量間距離算出手段３７ｃ、類似性判定手段３８を実現する。
【００７５】
【発明の効果】
以上説明したように、本発明によれば、問合せ信号と検索対象信号との類似性の判定精度を高いものにすることができる。その理由は、検索対象信号と問合せ信号の第１の信号特徴量間の距離を算出する際に使用する、第１の信号特徴量の各要素に対する重み値を、第２の信号特徴量のタイプに応じて決定しておき、第１の信号特徴量間の距離は、上記決定した重み値を利用して算出するようにしているからである。つまり、第１，第２の信号特徴量に、共通した性質を持つ要素が含まれている場合、上記要素を除外した第１の信号特徴量間の距離を算出することができ、この結果、第１の信号特徴量間の距離と、第２の信号特徴量間の距離とに基づいて、問合せ信号と検索対象信号との類似性を判定する際、第１，第２の信号特徴量に共通して含まれている要素に関する類似性が、判定結果に大きく反映されてしまうという事態を防ぐことができるからである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成例を示すブロック図である。
【図２】本発明の第１の実施の形態の動作例を示すフローチャートである。
【図３】本発明の第２の実施の形態の構成例を示すブロック図である。
【図４】本発明の第２の実施の形態の動作例を示すフローチャートである。
【図５】色配置特徴量変換手段６１，６２の処理例を示すフローチャートである。
【図６】本発明の第３の実施の形態の構成例を示すブロック図である。
【図７】本発明の第３の実施の形態の動作例を示すフローチャートである。
【図８】本発明の第４の実施の形態の構成例を示すブッロク図である。
【図９】本発明の第４の実施の形態の動作例を示すフローチャートである。
【図１０】本発明をソフトウェアによって実現する際のハードウェア構成の一例を示す図である。
【図１１】従来の技術のブロック図である。
【符号の説明】
１…検索対象画像入力装置
２…問合せ画像入力装置
３，３ａ，３ｂ，３ｃ…類似性判定装置
３１，３１ａ，３３，３３ａ，３１ｃ…色配置特徴量生成手段
３２，３２ｃ，３４…色構成比特徴量生成手段
３５，３５ｂ，３５ｃ…重み決定手段
３６，３６ｂ，３６ｃ…色配置特徴量間距離算出手段
３７，３７ｂ，３７ｃ…色構成比特徴量間距離算出手段
３８…類似性判定手段
４…出力装置
５…入力装置
１００…検索対象画像登録部
７…検索対象画像特徴量記憶部
７１…色配置特徴量蓄積部
７２…色構成比特徴量蓄積部
【発明の属する技術分野】
本発明は、類似画像検索や類似音響検索等を行う際に利用する類似性判定技術に関し、特に、問合せ信号と検索対象信号とが類似しているか否かを判定する類似性判定技術に関する。
【０００２】
【従来の技術】
画像や音響などの信号データを蓄積して管理する信号データベースにおいて、蓄積されている信号データの中から所定の信号（問合せ信号）と類似する信号データを検索する類似信号検索が行われる場合があり、たとえば、類似画像検索に利用することができる。この種の類似画像検索技術は従来から数多く提案されている。
【０００３】
従来、この種の類似画像検索技術は、類似性を判定する際、主として、画像の全体的な色情報を表す特徴量、または局所的な色情報を表した特徴量の集合を用いるものである。全体的な色情報を画像特徴量として用いるものほとんどにおいては、主として、画像中に含まれる画素の色構成比を表す色ヒストグラムを計算して、その類似性から類似画像を検索する方法が採用されている。ここで、色ヒストグラムとは、画像を表す色と、その構成割合とからなる画像特徴量である。色ヒストグラム情報としては、画像に含まれるすべての色についてのヒストグラムや、１つ又は複数の代表色とその色構成割合とからなるヒストグラム等を利用することができる。しかし、この手法には、画像の持つ色の空間的な配置が反映されない、つまりレイアウト構造が反映されないという欠点があった。
【０００４】
一方、局所的な色情報を表した特徴量の集合を用いることにより、画像を色の空間的な配置を考慮した画像検索システムが、米国特許第５５７９４７１号で紹介されている。このシステムの動作のモードのうちの１つにおいて、データベースの各画像がブロックに分割される。各ブロックは、同様の色のサブセットにグループ化され、かかるサブセットの最大のものが選択される。選択されたサブセットの平均色が、各ブロックの代表色として選択される。
【０００５】
また、色の空間的な配置を周波数軸上で表した画像特徴量を用いた画像検索装置の一例が、特開２０００−２５９８３２号公報に記載されている。ここで画像の周波数変換係数は、画像の色（平均色）のスペクトラムの周波数分布を複数の帯域に分割し、直交行列を用いて周波数解析して得られた、帯域ごとのエネルギーを示す値からなるものである。
【０００６】
図１１は、この従来の画像検索装置の要部の構成を示すブロック図であって、画像データ１０１から特徴量１０３を生成する画像特徴量生成部１０２と、予め特徴量が格納されている画像特徴量記憶部１０４と、特徴量１０３と画像特徴量記憶部１０４に格納されている特徴量１０５との類似度１０７を算出する類似度算出部１０６とからなる画像検索装置が示されている。ここで、画像特徴量生成部１０２は、画像データ１０１から固定サイズの画像１１１を生成する画像サイズ変換手段１１０と、画像１１１に対して周波数解析を行う周波数解析手段１１２と、周波数解析手段１１２から得られる周波数変換係数１１３のうち、直流成分及び一部交流成分を画像特徴量１０３として抽出する直流成分および一部交流成分抽出手段１１４とからなっている。
【０００７】
ところで、画像検索装置における検索精度を向上させるためには、類似性の判定精度を高いものにすることが必要になる。類似性の判定精度を高めるために、色構成比を表す特徴量と色配置を表す特徴量の双方を利用するということが考えられる。今、例えば、色配置特徴量としてＤＣＴ（離散コサイン変換）係数を、色構成比特徴量として色ヒストグラムを用いるとすると、類似性の判定は、次のようにして行う。先ず、問合せ画像の持つＤＣＴ係数と検索対象画像の持つＤＣＴ係数間の距離と、問合せ画像が持つ色ヒストグラムと検索対象画像が持つ色ヒストグラム間の距離とを算出する。その後、算出した双方の距離を加算し、加算結果に基づいて問合せ画像と検索対象画像との類似性を判定する。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記の例において、ＤＣＴ係数の直流成分は画像の持つ平均色という色情報を表すため、ＤＣＴ係数は画像のおおまかな配置情報のみならず代表色をも表現する。このため、ＤＣＴ係数と、代表色を表すヒストグラムとの類似度をそのまま加算しては、類似性の判定結果に、代表色に関する類似性が大きく反映されてしまう。このように、色構成比特徴量と色配置特徴量が全く異なる性質を持つ特徴量であるとは限らないため、色構成比特徴量および色配置特徴量間の比較検索を行う際に双方の距離を加算しこの距離に基づいて類似性を判定しても、双方の特徴量に共通した性質が強調された判定結果がでてしまう。このため、検索精度の低下を招いてしまう場合がある。また、音響信号の特徴量についても、例えば、ある長さをもつ音響信号区間に対して、区間全体から抽出した周波数分布特徴量と、区間を分割して各分割区間に対して周波数分布特徴量を抽出した集合の双方を利用して類似した音響信号区間を検索する場合に、双方が全く異なる性質を持つ特徴量であるとは限らないため、双方の距離を加算しこの距離に基づいて類似する音響区間を検索しても、双方の特徴量に共通した性質が強調された検索結果がでてしまう。
【０００９】
本発明は、上述の事情に鑑みてなされたものであり、その目的は、色構成比特徴量と色配置特徴量といった複数種類の特徴量を用いて類似性を判定する際、高い精度で類似性を判定できるようにすることにある。
【００１０】
【課題を解決するための手段】
上記課題を解決するために、本発明の類似性判定装置は、
検索対象信号および問合せ信号それぞれの第１の信号特徴量および第２の信号特徴量に基づいて前記検索対象信号と前記問合せ信号との類似性を判定する類似性判定装置に於いて、
前記検索対象信号の第１の信号特徴量と前記問合せ信号の第１の信号特徴量との距離を求める際に使用する、前記第１の信号特徴量の要素に対する重み値を、前記第２の信号特徴量のタイプに応じて決定する重み決定手段と、
前記検索対象信号の第１の信号特徴量と前記問合せ信号の第１の信号特徴量との距離を、前記重み付け決定手段により決定された重み値に基づき算出する第１の信号特徴量間距離算出手段と、
前記検索対象信号の第２の信号特徴量と前記問合せ信号の第２の信号特徴量との距離を算出する第２の信号特徴量間距離算出手段と、
前記第１の信号特徴量間距離算出手段により算出された距離と、前記第２の信号特徴量間距離算出手段により算出された距離とに基づき、前記検索対象信号と問合せ信号との類似性を判定する類似性判定手段とを備えている。
【００１１】
この構成では、検索対象信号と問合せ信号の第１の信号特徴量間の距離を算出する際に使用する、第１の信号特徴量の要素に対する重み値を、第２の信号特徴量のタイプに応じて決定しておき、第１の信号特徴量間の距離は、上記決定した重み値を利用して算出する。従って、第１，第２の信号特徴量に、共通した性質を持つ要素が含まれている場合、上記要素を除外した第１の信号特徴量間の距離を算出することができる。この結果、第１の信号特徴量間の距離と、第２の信号特徴量間の距離とに基づいて、問合せ信号と検索対象信号との類似性を判定する際、第１，第２の信号特徴量に共通して含まれている要素に関する類似性が、判定結果に大きく反映されてしまうという事態を防ぐことができ、類似性の判定精度を向上させることができる。
【００１２】
ここで、検索対象信号，問合せ信号が、例えば、検索対象画像，問合せ画像を示すものである場合は、第１，第２の信号特徴量として、色構成比特徴量，色配置特徴量を使用することができる。また、重み決定手段が決定する重み値は、例えば、第１の信号特徴量の直流成分に対する重み値とすることができる。
【００１３】
また、本発明の類似性判定装置は、第１の信号特徴量が、直流成分とその他の成分とに分かれていない場合であっても、直流成分に対する重み値を決定する重み決定手段を利用できるようにするため、
前記第１の信号特徴量を直流成分とその他の成分に変換する信号特徴量変換手段を備え、且つ、
前記第１の特徴量間距離算出手段が、前記特徴量変換手段で変換が行われた後の、前記検索対象信号の第１の信号特徴量と前記問合せ信号の第１の信号特徴量との距離を、前記重み決定手段で決定された重み値に基づき算出する構成を有する。
【００１４】
【発明の実施の形態】
次に本発明の実施の形態について図面を参照して詳細に説明する。以下の説明では、第１の信号特徴量および第２の信号特徴量として色構成比特徴量および色配置特徴量を用いて説明する。色構成比特徴量として色ヒストグラムを、色配置特徴量としてＤＣＴ（離散コサイン変換）の低周波成分の係数、或いは画像を矩形領域分割し各領域に色構成比特徴量を割り当てた集合を利用する場合について示すが、これらの特徴はそれに限らず、類似の性質を持つ特徴であればなんでもよい。例えば、文献；”Ｃｏｌｏｒ ａｎｄ Ｔｅｘｔｕｒｅ Ｄｅｓｃｒｉｐｔｏｒｓ”；ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ Ｖｏｌ１１、Ｎｏ６、Ｊｕｎｅ２００１ 記載のドミナントカラー記述子（Ｄｏｍｉｎａｎｔ Ｃｏｌｏｒ），カラーストラクチャー記述子（Ｃｏｌｏｒ Ｓｔｒｕｃｔｕｒｅ）、スケーラブルカラー記述子（Ｓｃａｌａｂｌｅ Ｃｏｌｏｒ）のうちの１つまたは複数を色構成比特徴量として用いることができ、さらにカラーレイアウト記述子（Ｃｏｌｏｒ Ｌａｙｏｕｔ）、エッジヒストグラム記述子（Ｅｄｇｅ Ｈｉｓｔｏｇｒａｍ）、画像を矩形領域（グリッド）に分割し、各グリッドに色構成比特徴量等を割り当てた集合を色配置特徴量として用いることもできる。また、色構成比特徴量を画像全体の色情報を表す特徴量で、色配置特徴量が局所的な色情報を表した特徴量の集合とすることもできる。
【００１５】
図１は本発明に係る類似性判定装置の第１の実施の形態の構成例を示すブロック図であり、画像検索システムの一部として利用されるものである。図１に示すように、本実施の形態に係る類似性判定装置３には、検索対象となる画像を入力する検索対象画像入力装置１と、ディジタル写真や手書きスケッチなどといった検索に用いる問合せ画像を入力する問合せ画像入力装置２と、類似性判定装置３による類似性の判定結果を出力するディスプレイ装置や印刷装置等の出力装置４と、キーボード等の入力装置５とが接続されている。
【００１６】
類似性判定装置３は、検索対象画像入力装置１から順次入力される検索対象画像と、問合せ画像入力装置２から入力される問合せ画像との類似性を判定する装置である。以下に、類似性判定装置３の各部を詳細に説明する。
【００１７】
第１の色配置特徴量生成手段３１は、検索対象画像入力装置１から検索対象画像が入力される毎に、検索対象画像を固定サイズの画像に変換したうえで、画像の色のスペクトラムの周波数分布を複数の帯域に分割し、直交行列を用いて周波数解析して得られた、帯域ごとのエネルギーを示す値を抽出する。本実施の形態では、直交行列として、ＤＣＴ（離散コサイン変換）を行い低周波成分を抽出するが、フーリエ変換、ウェーブレット変換などを行い低周波成分を抽出することもできる。
【００１８】
第１の色構成比特徴量生成手段３２は、検索対象画像入力装置１から検索対象画像が入力される毎に、検索対象画像の各画素値を用いて、色ヒストグラムを計算する。色ヒストグラムとしては、検索対象画像に含まれるすべての色についてのヒストグラムや、１つ又は複数の代表色とその色構成割合とからなるヒストグラム等を利用することができる。
【００１９】
第２の色配置特徴量生成手段３３は、問合せ画像入力装置２から入力された問合せ画像を固定サイズの画像に変換したうえで、画像の色のスペクトラムの周波数分布を複数の帯域に分割し、直交行列を用いて周波数解析して得られた、帯域ごとのエネルギーを示す値を抽出する。この第２の色配置特徴量生成手段３３は、第１の色配置特徴量生成手段３１と同等のものである。
【００２０】
第２の色構成比特徴量生成手段３４は、問合せ画像入力装置２から入力された問合せ画像の各画素値を用いて、色ヒストグラムを計算する。この第２の色構成比特徴量生成手段３４は、第１の色配置特徴量生成手段３２と同等のものである。
【００２１】
重み決定手段３５は、第１，第２の色配置特徴量生成手段３１，３３で生成された色配置特徴量間の距離を算出する際に使用する、色配置特徴量に含まれる各要素に対する重み値を決定する。この重み値の決定は、第１，第２の色構成比特徴量生成手段３２，３４が生成する色構成比特徴量のタイプに応じて決定する。ここで、色構成比特徴量のタイプとは、色構成比特徴量の種類、或いは色構成比特徴量のパラメータの値である。これらの内の、どれを色構成比特徴量のタイプとして使用するかは、ユーザが入力装置５を用いて重み決定手段３５に指示する。色構成比特徴の種類としては、例えば、色ヒストグラム、スケーラブルカラー記述子、ドミナントカラー記述子、カラーストラクチャ記述子等がある。色構成比特徴量のパラメータの値としては、例えば、色ヒストグラムの場合、色ヒストグラムに含まれる代表色の数や割合、ヒストグラム上での色の広がりを示す値、色の集中具合を示す値等がある。
【００２２】
今、例えば、ユーザが色構成比特徴量のタイプとして、色構成比特徴量のパラメータの値を指示した場合は、主に色ヒストグラムに含まれる代表色の数や割合、またヒストグラム上での広がりや色の集中具合といった特徴量のパラメータの値に応じて、ＤＣＴ係数の直流成分（平均色）に対する重み値を決定することができる。例えば、問合せ画像の色構成比特徴量のパラメータの値が、代表色が少なく頻度が偏っていることを示している場合には、色ヒストグラムの最頻色とＤＣＴ係数の直流成分は極めて類似した値を示す可能性が高いため、ＤＣＴ係数の直流成分に対する重みを極めて小さくするか、０にすることが可能である。このような処理は、例えば、問合せ画像の色構成比特徴量のパラメータの値と、重み値とを対応付けて登録した対応テーブル（図示せず）を利用することにより、容易に実現できる。
【００２３】
また、例えば、ユーザが色構成比特徴量のタイプとして、色構成比特徴量の種類を指示した場合は、重み決定手段３５は、色構成比特徴量の種類に応じた重み値を決定する。例えば、色構成比特徴量のタイプが、色ヒストグラムである場合には、ＤＣＴ係数の直流成分を利用しない、つまり重みを０にすると決定する。また、例えば、スケーラブルカラー記述子、ドミナントカラー記述子、カラーストラクチャー記述子などのうちのどれが利用されているかに応じて、カラーレイアウト記述子などに含まれる直流成分に対する重み値を設定することができる。また、１種類の色構成比特徴量のみ利用する場合と、２種類以上の色構成比特徴量を利用する場合によっても、直流成分に対する重み値を変更することができる。当然、２種類以上の色構成比特徴量を用いる場合にも、各色構成比特徴量のパラメータに応じて重み値を変更することが可能である。
【００２４】
色配置特徴量間距離算出手段３６は、第１の色配置特徴量生成手段３１で生成された特徴量と、第２の色配置特徴量生成手段３３で生成された特徴量との間の距離値を、重み決定手段３５により決定された重みを用いて計算する。距離値としてはさまざまな定義が可能であるが、例えばＤＣＴ係数の低周波成分間の距離計算方法としては、以下のものがある。距離値をＤとすると、２つの特徴量間の距離値は以下の式（１）で表すことができる。
【００２５】
【数１】
Ｙｉ , Ｃｂｉ , Ｃｒｉ はｉ個目のＤＣＴ係数であり，ｗ１ｉ 〜ｗ３ｉ は重み係数である。重み係数はＤＣＴ係数の周波数帯域によって異なる値を設定することができる。特に、例えば色配置特徴量が単独で用いられる場合、２のべき乗の大きい順にジグザグスキャン順に適用することができる。ここでは、直流成分の重み係数ｗ１０ ，ｗ２０ ，ｗ３０ として、重み決定手段３５で決定された直流成分に対する重み値を代入する。
【００２７】
色構成比特徴量間距離算出手段３７は、第１の色構成比特徴量生成手段３２で生成された特徴量と、第２の色構成比特徴量生成手段３４で生成された特徴量との間の距離値を計算する。距離値としてはさまざまな定義が可能であるが、例えばＬ１ノルムやＬ２ノルムなどを用いることができる。
【００２８】
類似性判定手段３８は、色配置特徴量間距離算出手段３６により算出された距離値と、色構成比特徴量間距離算出手段３７により算出された距離値より、検索対象画像と問合せ画像との類似性を判定する。より具体的には、例えば、検索対象画像入力装置１から検索対象画像が入力される毎に、色配置特徴量間距離算出手段３６で算出された距離値と色構成比特徴量間距離算出手段３７で算出された距離値とを重み付け加算し、加算結果と検索対象画像の画像識別子とを対応付けて保持しておく。尚、第ｊ番目に入力された検索対象画像の画像識別子は、ＩＤｊであるとする。そして、入力された全ての検索対象画像に対して上記した処理を行うと、保持している画像識別子を加算結果が小さい順にソートし、ソート結果を出力装置４に出力する。以上の処理により、出力装置４には、問合せ画像との類似性が高い順に、検索対象画像の画像識別子が出力されるので、ユーザは、例えば、ソート順が若い画像識別子を指定することにより、問合せ画像と類似性の高い検索対象画像を得ることができる。尚、類似性の判定方法は、これに限られるものではなく、加算結果と閾値とを比較することにより、類似性を判定するようにすることもできる。
【００２９】
次に、本実施の形態の動作を図１のブロック図及び図２のフローチャートを参照して説明する。
【００３０】
先ず、問合せ画像入力装置２から問合せ画像を入力する（Ａ１）。これにより、色配置特徴量生成手段３３，色構成比特徴量生成手段３４が、問合せ画像の色配置特徴量，色構成比特徴量を生成する（Ａ２）。
【００３１】
その後、検索対象画像入力装置１から第１番目の検索対象画像を１枚入力する（Ａ３）。これにより、色配置特徴量生成手段３１，色構成比特徴量生成手段３２が、検索対象画像の色配置特徴量，色構成比特徴量を生成する（Ａ５）。その後、重み決定手段３５が、色構成比特徴量のタイプに応じて、色配置特徴量の各要素に対する重み値を決定する（Ａ６）。次いで、色配置特徴量間距離算出手段３６が重み値を使用して色配置特徴量間距離を算出し、色構成比特徴量間距離算出手段３７が、色構成比特徴量間距離を算出する（Ａ７）。
【００３２】
その後、類似性判定手段３８が、色配置特徴量間距離と色構成比特徴量間距離との重み付き加算を行い、加算結果と検索対象画像の画像識別子とを対応付けて保持する（Ａ８）。
【００３３】
以上の処理を全ての検索対象画像に対して行う。そして、全ての検索対象画像に対して上記した処理を行うと（Ａ４がＹＥＳ）、類似性判定手段３８が、保持している画像識別子を加算結果が小さい順にソートし、ソート結果を出力装置４に出力する（Ａ９，Ａ１０）。
【００３４】
なお、上記の実施形態例において、直流成分に対する重みを０にするかわりに、色配置特徴量を抽出する段階で交流成分のみを抽出しておくこともできる。
【００３５】
上述したように、本実施の形態では、重み決定手段３５が、色構成比特徴量のタイプに応じて色配置特徴量に含まれる要素に対する重み値を決定し、色配置特徴量間距離算出手段３６が、上記決定された重み値を用いて色配置特徴量生成手段３１で生成された特徴量と、第２の色配置特徴量生成手段３３で生成された特徴量との間の距離値を計算する。従って、色構成比特徴量，色配置特徴量の双方に含まれている共通した性質の要素を除外した、色配置特徴量間距離を色配置特徴量間距離算出手段３６で算出することができる。この結果、色配置特徴量間距離と、色構成比特徴量間距離とに基づいて、問合せ画像と検索対象画像との類似性を判定する際、色配置特徴量，色構成比特徴量に共通して含まれている要素に関する類似性が大きく反映されてしまうという事態を防ぐことができ、類似性の判定精度を向上させることができる。
【００３６】
図３は、本発明に係る類似性判定装置の第２の実施の形態の構成例を示すブロック図である。本実施の形態における類似性判定装置３ａは、図１に示された第１の実施の形態における類似性判定装置３の構成に加え、第１，第２の色配置特徴量変換手段６１，６２を有する点、および第１，第２の色配置特徴量生成手段３１，３３の代わりに第１，第２の色配置特徴量生成手段３１ａ，３３ａを有する点が相違している。
【００３７】
第１の色配置特徴量生成手段３１ａは、検索対象画像を矩形領域分割し、各矩形領域に色構成比特徴量を割り当てた集合を色配置特徴量とする。第２の色配置特徴量生成手段３３ａは、問合せ画像を矩形領域分割し、各矩形領域に色構成比特徴量を割り当てた集合を色配置特徴量とする。
【００３８】
第１の色配置特徴量変換手段６１は、検索対象画像の色配置特徴量を直流成分と他の成分に変換する。また、第２の色配置特徴量変換手段６２は、問合せ画像の色配置特徴量を直流成分と他の成分に変換する。
【００３９】
次に、本実施の形態の動作について説明する。図４は、本実施の形態の動作例を示すフローチャートである。この図４に示したフローチャートと、図２に示した第１の実施の形態の動作例のフローチャートとの相違点は、ステップＡ２，Ａ３間に、色配置特徴量変換手段６２が行うステップＢ１の変換処理が挿入され、ステップＡ５，Ａ６間に色配置特徴量変換手段６１が行うステップＢ２の変換処理が挿入されている点だけであるので、以下では、ステップＢ１，Ｂ２についてのみ説明する。
【００４０】
図５は、本実施の形態の第１，第２の色配置特徴量変換手段６１，６２の処理を、色配置特徴量が、画像を矩形領域分割し各領域に色構成比特徴量を割り当てた集合である場合を例として説明するためのフローチャートである。
【００４１】
第２の色配置特徴量生成手段３３ａが、問合せ画像の色配置特徴量を生成すると（図４，Ａ２）、第２の色配置特徴量変換手段６２が、ステップＢ１の変換処理を行う。
【００４２】
ステップＢ１では、先ず、図５のフローチャートに示すように、問合せ画像の色配置特徴量における各矩形領域に含まれる色構成比特徴量より代表色を決定する（ステップＢ１１）。ここで、代表色の決定方法は、それぞれの色にその割合を乗算して全てを加算することによって計算する方法や、最頻値や中央値を代表色とする方法などが考えられる。
【００４３】
次に、各矩形領域より算出された代表色から構成される画像を生成する（ステップＢ１２）。
【００４４】
次に、生成画像に対して周波数解析を実行し（ステップＢ１３）、生成される直流成分とそれ以外の成分を抽出する（ステップＢ１４）。周波数解析方法としては、アダマール変換やＤＣＴ変換などを適用することにより、直流成分およびその他の成分に変換することができる。また、各矩形領域毎に代表色や平均色などを算出し単純にその平均値を計算することにより、直流成分を生成することもできる。以上が、ステップＢ１で行われる処理である。
【００４５】
また、図４のステップＡ５に於いて、第１の色配置特徴量生成手段３１ａが、検索対象画像の色配置特徴量を生成すると、第１の色配置特徴量変換手段６１が、第１の色配置特徴量生成手段３１ａで生成された色配置特徴量を処理対象にして、変換処理（Ｂ２）を行う。ステップＢ２に於いては、第１の色配置特徴量変換手段６１が、検索対象画像の色配置特徴量を処理対象にして図５のフローチャートに示す処理を行う。
【００４６】
上述したように、本実施の形態では、重み決定手段３５が、色構成比特徴量のタイプに応じて色配置特徴量に含まれる要素に対する重み値を決定し、色配置特徴量間距離算出手段３６が、上記決定された重み値を用いて色配置特徴量生成手段３１ａで生成された特徴量と、第２の色配置特徴量生成手段３３ａで生成された特徴量との間の距離値を計算する。従って、色構成比特徴量，色配置特徴量の双方に含まれている共通した性質の要素を除外した、色配置特徴量間距離を色配置特徴量間距離算出手段３６で算出することができる。この結果、色配置特徴量間距離と、色構成比特徴量間距離とに基づいて、問合せ画像と検索対象画像との類似性を判定する際、色配置特徴量，色構成比特徴量に共通して含まれている要素に関する類似性が判定結果に大きく反映されてしまうという事態を防ぐことができ、類似性の判定精度を向上させることができる。
【００４７】
図６は、本発明に係る類似性判定装置の第３の実施の形態の構成例を示すブロック図である。本実施の形態の類似性判定装置３ｂと、図１に示した第１の実施の形態に係る類似性判定装置３との相違点は、重み決定手段３５の代わりに重み決定手段３５ｂを備えている点、色配置特徴量間距離算出手段３６の代わりに色配置特徴量間距離算出手段３６ｂを備えている点、および色構成比特徴量間距離算出手段３７の代わりに色構成比特徴量間距離算出手段３７ｂを備えている点である。
【００４８】
重み決定手段３５ｂは、色配置特徴量のタイプに応じて色構成比特徴量に含まれる要素に対する重み値を決定する。例えば、ＤＣＴ係数の交流成分の中央からの分散値を色特徴量のタイプとし、色ヒストグラムに含まれる代表色の広がりや色の集中具合などに対する重み値を決定することができる。
【００４９】
色構成比特徴量間距離算出手段３７ｂは、第１の色構成比特徴量生成手段３２で生成された色構成比特徴量と、第２の色構成比特徴量生成手段３４で生成された色構成比特徴量との間の距離値を、重み決定手段３５ｂにより決定された重みを用いて計算する。また色配置特徴量は１種類である必要はなく、色配置特徴量の種類や数に応じて重みを決定することも可能である。
【００５０】
色配置特徴量間距離算出手段３６ｂは、第１の色配置特徴量生成手段３１で生成された色配置特徴量と、第２の色配置特徴量生成手段３３で生成された色配置特徴量との間の距離値を計算する。
【００５１】
次に本実施の形態の動作について説明する。図７は本実施の形態の動作例を示すフローチャートである。この図７に示すフローチャートと、図２に示した第１の実施の形態のフローチャートとの相違点は、ステップＡ６，Ａ７の代わりにステップＡ６ｂ，Ａ７ｂの処理を行う点だけであるので、以下では、ステップＡ６ｂ，Ａ７ｂの処理についてのみ説明する。
【００５２】
ステップＡ６ｂに於いては、重み決定手段３５ｂが、色配置特徴量のタイプに応じて、重み値を決定する。次の、ステップＡ７ｂでは、色構成比特徴量間距離算出手段３７ｂが重み値を使用して色構成比特徴量間距離を算出し、色配置特徴量間距離算出手段３６ｂが、色配置特徴量間距離を算出する。
【００５３】
上述したように、本実施の形態では、重み決定手段３５ｂが、色配置特徴量のタイプに応じて色構成比特徴量に含まれる要素に対する重み値を決定し、色構成比特徴量間距離算出手段３７ｂが、上記決定された重み値を用いて第１の色構成比特徴量生成手段３２で生成された特徴量と、第２の色構成比特徴量生成手段３４で生成された特徴量との間の距離値を計算する。従って、色構成比特徴量，色配置特徴量の双方に含まれている共通した性質の要素を除外した、色構成比特徴量間距離を色構成比特徴量間距離算出手段３７ｂで算出することができる。この結果、色配置特徴量間距離と、色構成比特徴量間距離とに基づいて、問合せ画像と検索対象画像との類似性を判定する際、色配置特徴量，色構成比特徴量に共通して含まれている要素に関する類似性が大きく反映されてしまうという事態を防ぐことができ、類似性の判定精度を向上させることができる。
【００５４】
以上、本発明の実施の形態を図面により詳述してきたが、具体的な構成はこの実施の形態に限られたものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれる。例えば、色ヒストグラム情報における色の種類は特定の色空間に限らず、例えばＲＧＢ色空間，ＹＣｂＣｒ色空間，ＨＳＶ色空間等のうちの、任意の色空間を用いることができる。また、ＤＣＴ係数の算出には、成分色のすべてを用いる必要はなく、一部の色のみを用いてもよい。また、画像信号の特徴量である必要はなく、音響信号の特徴量を用いてもよい。例えば、ある長さをもつ音響信号区間に対して、区間全体から抽出した特徴量と、区間を分割して各分割区間に対して特徴量を抽出した集合の双方を利用して類似した音響信号区間を検索する場合に、区間全体から抽出した特徴量の低周波成分に対する重みを設定することにより、より正確に類似した音響区間を検索することもできる。
【００５５】
図８は、本発明に係る類似性判定装置の第４の実施の形態の構成例を示すブロック図である。本実施の形態は、図１に示した第１の実施の形態に於ける類似性判定装置の処理速度を向上させるようにしたものである。
【００５６】
本実施の形態に係る類似性判定装置３ｃには、検索対象画像登録部１００と、問合せ画像入力装置２と、出力装置４と、入力装置５とが接続されている。
【００５７】
検索対象画像登録部１００は、検索対象画像入力装置１と、第１の色配置特徴量生成手段３１ｃと、第２の色構成比特徴量生成手段３２ｃと、第１の色配置特徴量蓄積部７１及び第１の色構成比特徴量蓄積部７２を有する検索対象画像特徴量記憶部７とを備えている。
【００５８】
第１の色配置特徴量生成手段３１ｃは、検索対象画像入力装置１から検索対象画像が入力される毎に、その画像の色配置特徴量を生成し、第１の色配置特徴量蓄積部７１に蓄積する。第１の色構成比特徴量生成手段３２ｃは、検索対象画像入力装置１から検索対象画像が入力される毎に、その画像の色構成比特徴量を生成し、第１の色構成比特徴量蓄積部７２に蓄積する。尚、第１の色配置特徴量生成手段３１ｃが生成する色配置特徴量および第１の色構成比特徴量生成手段３２ｃが生成する色構成比特徴量は、第１の実施の形態に於ける第１の色配置特徴量生成手段３１及び第１の色構成比特徴量生成手段３２が生成するものと同じにすることができる。
【００５９】
類似性判定装置３ｃ内には、第２の色配置特徴量生成手段３３と、第２の色構成比特徴量生成手段３４と、重み決定手段３５ｃと、色配置特徴量間距離算出手段３６ｃと、色構成比特徴量間距離算出手段３７ｃと、類似性判定手段３８とが設けられている。
【００６０】
重み決定手段３５ｃは、第１の色構成比特徴量蓄積部７２に蓄積されている各検索対象画像の色構成比特徴量と、第２の色構成比特徴量生成手段３４が生成した問合せ画像の色構成比特徴量のタイプに応じて、色配置特徴量間距離算出手段３６ｃが、問合せ画像の色配置特徴量と第１の色配置特徴量蓄積部７１に蓄積されている各検索対象画像の色配置特徴量との距離を求める際に使用する重み値を決定する。
【００６１】
色配置特徴量間距離算出手段３６ｃは、第１の色配置特徴量蓄積部７１に蓄積されている各検索対象画像の色配置特徴量と、第２の色配置特徴量生成手段３３で生成された色配置特徴量との間の距離値を、重み決定手段３５により決定された重みを用いて計算する。
【００６２】
色構成比特徴量間距離算出手段３７ｃは、第１の色構成比特徴量蓄積部７２に蓄積されている各検索対象画像の色構成比特徴量と、第２の色構成比特徴量生成手段３４で生成された色構成比特徴量との間の距離値を計算する。尚、他の第１図と同一符号は同一部分を表している。
【００６３】
次に、本実施の形態の動作を図８のブロック図及び図９のフローチャートを参照して説明する。
【００６４】
先ず、問合せ画像入力装置２から問合せ画像を入力する（Ｃ１）。これにより、色配置特徴量生成手段３３，色構成比特徴量生成手段３４が、問合せ画像の色配置特徴量，色構成比特徴量を生成する（Ｃ２）。
【００６５】
その後、検索対象画像特徴量記憶部７より第１番目の検索対象画像の色配置特徴量，色構成比特徴量を入力する（Ｃ３）。これにより、重み決定手段３５が、色構成比特徴量のタイプに応じて、色配置特徴量の各要素に対する重み値を決定する（Ｃ５）。次いで、色配置特徴量間距離算出手段３６が重み値を使用して色配置特徴量間距離を算出し、色構成比特徴量間距離算出手段３７が、色構成比特徴量間距離を算出する（Ｃ６）。
【００６６】
その後、類似性判定手段３８が、色配置特徴量間距離と色構成比特徴量間距離との重み付き加算を行い、加算結果と検索対象画像の画像識別子とを対応付けて保持する（Ｃ７）。
【００６７】
以上の処理を全ての検索対象画像に対して行う。そして、全ての検索対象画像に対して上記した処理を行うと（Ｃ４がＹＥＳ）、類似性判定手段３８が、保持している保持している画像識別子を加算結果が小さい順にソートし、ソート結果を出力装置４に出力する（Ｃ８，Ｃ９）。
【００６８】
本実施の形態では、各検索対象画像の特徴量を検索対象画像特徴量記憶部７に蓄積しておき、問合せ画像が入力されたとき、検索対象画像特徴量７に蓄積されている特徴量を使用して類似性の判定を行っており、問合せ画像が入力される毎に、検索対象画像の特徴量を求める処理が不要になるので、類似性の判定処理に要する時間を短くすることができる。
【００６９】
尚、図３，図６に示した第２，第３実施の形態に於いても、図８に示した実施の形態と同様に、各検索対象画像の色配置特徴量，色構成比特徴量を検索対象画像特徴量記憶部に登録しておき、この登録された色配置特徴量，色構成比特徴量を用いて問合せ画像との類似性を判定するようにしても良い。
【００７０】
例えば、図３に示した第２の実施の形態に於いては、第１の色配置特徴量変換手段６１で生成された各検索対象画像の色配置特徴量と第１の色構成比特徴量生成手段３２で生成された各検索対象画像の色構成比特徴量とを検索対象画像特徴量記憶部に蓄積し、重み決定手段３５，色配置特徴量間距離算出手段３６，色構成比特徴量間距離算出手段３７が、検索対象画像特徴量記憶部に蓄積された各検索対象画像の色配置特徴量，色構成比特徴量を順次使用するようにする。
【００７１】
また、図３に示した第２の実施の形態に於いては、第１の色配置特徴量生成手段３１で生成された各検索対象画像の色配置特徴量と第１の色構成比特徴量生成手段３２で生成された各検索対象画像の色構成比特徴量とを検索対象画像特徴量記憶部に蓄積し、色配置特徴量変換手段６１，重み決定手段３５，色配置特徴量間距離算出手段３６，色構成比特徴量間距離算出手段３７が、検索対象画像特徴量記憶部に蓄積された各検索対象画像の色配置特徴量，色構成比特徴量を順次使用することもできる。
【００７２】
また、図６に示した第３の実施の形態に於いては、第１の色配置特徴量生成手段３１が生成した各検索対象画像の色配置特徴量と第１の色構成比特徴量生成手段３２が生成した各検索対象画像の色構成比特徴量とを検索対象画像特徴量記憶部に蓄積し、重み決定手段３５ｂ，色配置特徴量間距離算出手段３６ｂ，色構成比特徴量間距離算出手段３７ｂが、検索対象画像特徴量記憶部に蓄積された各検索対象画像の色配置特徴量，色構成比特徴量を順次使用するようにする。
【００７３】
また、本発明をソフトウェアによって実現する場合には、ハードウェア構成として、例えば、図１０に示すように、中央処理装置（ＣＰＵ）８１を含む主制御部８０と、ＲＯＭ，ＲＡＭ，ＨＤＤ等からなるメモリ部８２と、マンマシンインタフェースをとる入出力部８３と、表示部８４とからなる処理装置に対して、本発明を実現するためのプログラムを装備することによって、容易に実現できる。このようなプログラムを、処理装置が読み取り可能な、任意の形式の記録媒体８５に記録した状態で予め用意しておいて、これからプログラムを読み込むことによって、同様なシステムを具備する場合に、本発明を普遍的に実現することができる。このような媒体としては、磁気テープ，フロッピィディスク，ＣＤ−ＲＯＭ等の任意の形式のものを使用することができる。
【００７４】
例えば、本発明の第１の実施の形態を実現する場合には、記録媒体８５に記録されているプログラムは、主制御部８０によって読み取られ、その動作を制御することで、主制御部８０上に、図１に示した色配置特徴量生成手段３１，３３、色構成比特徴量生成手段３２，３４、重み決定手段３５、色配置特徴量間距離算出手段３６、色構成比特徴量間距離算出手段３７、類似性判定手段３８を実現する。また、例えば、本発明の第２の実施の形態を実現する場合には、記録媒体８５に記録されているプログラムは、主制御部８０によって読み取られ、その動作を制御することで、主制御部８０上に、図３に示した色配置特徴量生成手段３１ａ，３３ａ、色構成比特徴量生成手段３２，３４、重み決定手段３５、色配置特徴量間距離算出手段３６、色構成比特徴量間距離算出手段３７、類似性判定手段３８を実現する。更に、本発明の第３の実施の形態を実現する場合には、記録媒体８５に記録されているプログラムは、主制御部８０によって読み取られ、その動作を制御することで、主制御部８０上に、図６に示した色配置特徴量生成手段３１，３３、色構成比特徴量生成手段３２，３４、重み決定手段３５ｂ、色配置特徴量間距離算出手段３６ｂ、色構成比特徴量間距離算出手段３７ｂ、類似性判定手段３８を実現する。また、本発明の第４の実施の形態を実現する場合には、記録媒体８５に記録されているプログラムは、主制御部８０によって読み取られ、その動作を制御することで、主制御部８０上に、図８に示した色配置特徴量生成手段３１ｃ，３３、色構成比特徴量生成手段３２ｃ，３４、重み決定手段３５ｃ、色配置特徴量間距離算出手段３６ｃ、色構成比特徴量間距離算出手段３７ｃ、類似性判定手段３８を実現する。
【００７５】
【発明の効果】
以上説明したように、本発明によれば、問合せ信号と検索対象信号との類似性の判定精度を高いものにすることができる。その理由は、検索対象信号と問合せ信号の第１の信号特徴量間の距離を算出する際に使用する、第１の信号特徴量の各要素に対する重み値を、第２の信号特徴量のタイプに応じて決定しておき、第１の信号特徴量間の距離は、上記決定した重み値を利用して算出するようにしているからである。つまり、第１，第２の信号特徴量に、共通した性質を持つ要素が含まれている場合、上記要素を除外した第１の信号特徴量間の距離を算出することができ、この結果、第１の信号特徴量間の距離と、第２の信号特徴量間の距離とに基づいて、問合せ信号と検索対象信号との類似性を判定する際、第１，第２の信号特徴量に共通して含まれている要素に関する類似性が、判定結果に大きく反映されてしまうという事態を防ぐことができるからである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成例を示すブロック図である。
【図２】本発明の第１の実施の形態の動作例を示すフローチャートである。
【図３】本発明の第２の実施の形態の構成例を示すブロック図である。
【図４】本発明の第２の実施の形態の動作例を示すフローチャートである。
【図５】色配置特徴量変換手段６１，６２の処理例を示すフローチャートである。
【図６】本発明の第３の実施の形態の構成例を示すブロック図である。
【図７】本発明の第３の実施の形態の動作例を示すフローチャートである。
【図８】本発明の第４の実施の形態の構成例を示すブッロク図である。
【図９】本発明の第４の実施の形態の動作例を示すフローチャートである。
【図１０】本発明をソフトウェアによって実現する際のハードウェア構成の一例を示す図である。
【図１１】従来の技術のブロック図である。
【符号の説明】
１…検索対象画像入力装置
２…問合せ画像入力装置
３，３ａ，３ｂ，３ｃ…類似性判定装置
３１，３１ａ，３３，３３ａ，３１ｃ…色配置特徴量生成手段
３２，３２ｃ，３４…色構成比特徴量生成手段
３５，３５ｂ，３５ｃ…重み決定手段
３６，３６ｂ，３６ｃ…色配置特徴量間距離算出手段
３７，３７ｂ，３７ｃ…色構成比特徴量間距離算出手段
３８…類似性判定手段
４…出力装置
５…入力装置
１００…検索対象画像登録部
７…検索対象画像特徴量記憶部
７１…色配置特徴量蓄積部
７２…色構成比特徴量蓄積部
Claims (31)
- 検索対象信号および問合せ信号それぞれの第１の信号特徴量および第２の信号特徴量に基づいて前記検索対象信号と前記問合せ信号との類似性を判定する類似性判定装置に於いて、
前記検索対象信号の第１の信号特徴量と前記問合せ信号の第１の信号特徴量との距離を求める際に使用する、前記第１の信号特徴量の要素に対する重み値を、前記第２の信号特徴量のタイプに応じて決定する重み決定手段と、
前記検索対象信号の第１の信号特徴量と前記問合せ信号の第１の信号特徴量との距離を、前記重み付け決定手段により決定された重み値に基づき算出する第１の信号特徴量間距離算出手段と、
前記検索対象信号の第２の信号特徴量と前記問合せ信号の第２の信号特徴量との距離を算出する第２の信号特徴量間距離算出手段と、
前記第１の信号特徴量間距離算出手段により算出された距離と、前記第２の信号特徴量間距離算出手段により算出された距離とに基づき、前記検索対象信号と問合せ信号との類似性を判定する類似性判定手段とを備えたことを特徴とする類似性判定装置。 - 前記第１の信号特徴量が、直流成分とその他の成分からなることを特徴とする請求項１に記載の類似性判定装置。
- 前記第１の信号特徴量を直流成分とその他の成分に変換する信号特徴量変換手段を備え、且つ、
前記第１の信号特徴量間距離算出手段が、前記信号特徴量変換手段で変換が行われた後の、前記検索対象信号の第１の信号特徴量と前記問合せ信号の第１の信号特徴量との距離を、前記重み決定手段で決定された重み値に基づき算出する構成を有することを特徴とする請求項１に記載の類似性判定装置。 - 前記重み決定手段が、前記直流成分に対する重み値を決定する構成を有することを特徴とする請求項２または請求項３に記載の類似性判定装置。
- 前記第１の信号特徴量が、信号の集中具合を含むことを特徴とする請求項１に記載の類似性判定装置。
- 前記重み決定手段が、前記信号の集中具合に対する重み値を決定する構成を有することを特徴とする請求項５記載の類似性判定装置。
- 前記第１及び第２の信号特徴量が、画像特徴量であることを特徴とする請求項１乃至６のいずれか１項に記載の類似性判定装置。
- 前記第１及び第２の信号特徴量が、音響特徴量であることを特徴とする請求項１乃至６のいずれか１項に記載の類似性判定装置。
- 前記第１の信号特徴量が、画像の色構成比を表す色構成比特徴量であることを特徴とする請求項７に記載の類似性判定装置。
- 前記第２の信号特徴量が、画像の色配置を表す色配置特徴量であることを特徴とする請求項７または９に記載の類似性判定装置。
- 前記第１の信号特徴量が、画像の色配置を表す色配置特徴量であることを特徴とする請求項７に記載の類似性判定装置。
- 前記第２の信号特徴量が、画像の色構成比を表す色構成比特徴量であることを特徴とする請求項７または１１に記載の類似性判定装置。
- 前記色配置特徴量が、前記画像を固定サイズの画像に変換し、その後、前記固定サイズの画像に対して周波数変換および量子化を施すことによって生成されることを特徴とする請求項１０または１１に記載の類似性判定装置。
- 前記色配置特徴量が、信号を複数のブロックに分割し、各ブロックより代表色に関する情報を抽出することによって生成されることを特徴とする請求項１０または１１に記載の類似性判定装置。
- 前記色構成比特徴量が、画像より１つまたは複数の代表色を選択し、その各々の代表色に関して色分布に関連する情報を計算することにより生成されることを特徴とする請求項９または１２に記載の類似性判定装置。
- 検索対象信号および問合せ信号それぞれの第１の信号特徴量および第２の信号特徴量に基づいて前記検索対象信号と前記問合せ信号との類似性を判定する類似性判定方法に於いて、
前記検索対象信号の第１の信号特徴量と前記問合せ信号の第１の信号特徴量との距離を求める際に使用する、前記第１の信号特徴量の要素に対する重み値を、前記第２の信号特徴量のタイプに応じて決定する重み決定ステップと、
前記検索対象信号の第１の信号特徴量と前記問合せ信号の第１の信号特徴量との距離を、前記重み付け決定ステップにより決定された重み値に基づき算出する第１の信号特徴量間距離算出ステップと、
前記検索対象信号の第２の信号特徴量と前記問合せ信号の第２の信号特徴量との距離を算出する第２の信号特徴量間距離算出ステップと、
前記第１の信号特徴量間距離算出ステップにより算出された距離と、前記第２の信号特徴量間距離算出ステップにより算出された距離とに基づき、前記検索対象信号と問合せ信号との類似性を判定する類似性判定ステップとを含むことを特徴とする類似性判定方法。 - 前記第１の信号特徴量が、直流成分とその他の成分からなることを特徴とする請求項１６に記載の類似性判定方法。
- 前記第１の信号特徴量を直流成分とその他の成分に変換する信号特徴量変換ステップを含み、且つ、
前記第１の信号特徴量間距離算出ステップが、前記信号特徴量変換ステップで変換が行われた後の、前記検索対象信号の第１の信号特徴量と前記問合せ信号の第１の信号特徴量との距離を、前記重み決定ステップで決定された重み値に基づき算出することを特徴とする請求項１６に記載の類似性判定方法。 - 前記重み決定ステップが、前記直流成分に対する重み値を決定することを特徴とする請求項１７または請求項１８に記載の類似性判定方法。
- 前記第１の信号特徴量が、信号の集中具合を含むことを特徴とする請求項１６に記載の類似性判定方法。
- 前記重み決定ステップが、前記信号の集中具合に対する重み値を決定することを特徴とする請求項２０記載の類似性判定方法。
- 前記第１及び第２の信号特徴量が、画像特徴量であることを特徴とする請求項１６乃至２１のいずれか１項に記載の類似性判定方法。
- 前記第１及び第２の信号特徴量が、音響特徴量であることを特徴とする請求項１６乃至２１のいずれか１項に記載の類似性判定方法。
- 前記第１の信号特徴量が、画像の色構成比を表す色構成比特徴量であることを特徴とする請求項２２に記載の類似性判定方法。
- 前記第２の信号特徴量が、画像の色配置を表す色配置特徴量であることを特徴とする請求項２２または２４に記載の類似性判定方法。
- 前記第１の信号特徴量が、画像の色配置を表す色配置特徴量であることを特徴とする請求項２２に記載の類似性判定方法。
- 前記第２の信号特徴量が、画像の色構成比を表す色構成比特徴量であることを特徴とする請求項２２または２６に記載の類似性判定方法。
- 前記色配置特徴量が、前記画像を固定サイズの画像に変換し、その後、前記固定サイズの画像に対して周波数変換および量子化を施すことによって生成されることを特徴とする請求項２５または２６に記載の類似性判定方法。
- 前記色配置特徴量が、信号を複数のブロックに分割し、各ブロックより代表色に関する情報を抽出することによって生成されることを特徴とする請求項２５または２６に記載の類似性判定方法。
- 前記色構成比特徴量が、画像より１つまたは複数の代表色を選択し、その各々の代表色に関して色分布に関連する情報を計算することにより生成されることを特徴とする請求項２４または２７に記載の類似性判定方法。
- コンピュータを、検索対象信号および問合せ信号それぞれの第１の信号特徴量および第２の信号特徴量に基づいて前記検索対象信号と前記問合せ信号との類似性を判定する類似性判定装置として機能させるためのプログラムであって、
前記コンピュータを、
前記検索対象信号の第１の信号特徴量と前記問合せ信号の第１の信号特徴量との距離を求める際に使用する、前記第１の信号特徴量の要素に対する重み値を、前記第２の信号特徴量のタイプに応じて決定する重み決定手段、
前記検索対象信号の第１の信号特徴量と前記問合せ信号の第１の信号特徴量との距離を、前記重み付け決定手段により決定された重み値に基づき算出する第１の信号特徴量間距離算出手段、
前記検索対象信号の第２の信号特徴量と前記問合せ信号の第２の信号特徴量との距離を算出する第２の信号特徴量間距離算出手段、
前記第１の信号特徴量間距離算出手段により算出された距離と、前記第２の信号特徴量間距離算出手段により算出された距離とに基づき、前記検索対象信号と問合せ信号との類似性を判定する類似性判定手段として機能させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001332605A JP3948249B2 (ja) | 2001-10-30 | 2001-10-30 | 類似性判定装置及び類似性判定方法並びにプログラム |
| US10/274,946 US7046865B2 (en) | 2001-10-30 | 2002-10-22 | Determination of similarity using weighting value depending on the type of characteristic |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001332605A JP3948249B2 (ja) | 2001-10-30 | 2001-10-30 | 類似性判定装置及び類似性判定方法並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003141540A JP2003141540A (ja) | 2003-05-16 |
| JP3948249B2 true JP3948249B2 (ja) | 2007-07-25 |
Family
ID=19147997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001332605A Expired - Lifetime JP3948249B2 (ja) | 2001-10-30 | 2001-10-30 | 類似性判定装置及び類似性判定方法並びにプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7046865B2 (ja) |
| JP (1) | JP3948249B2 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4063486B2 (ja) * | 2000-09-06 | 2008-03-19 | 日本電気株式会社 | 画像検索装置及び方法並びに画像検索プログラムを記録した記憶媒体 |
| EP1480170A1 (en) * | 2003-05-20 | 2004-11-24 | Mitsubishi Electric Information Technology Centre Europe B.V. | Method and apparatus for processing images |
| US7499570B2 (en) * | 2004-03-02 | 2009-03-03 | Siemens Corporate Research, Inc. | Illumination invariant change detection |
| US7991242B2 (en) * | 2005-05-11 | 2011-08-02 | Optosecurity Inc. | Apparatus, method and system for screening receptacles and persons, having image distortion correction functionality |
| US20090174554A1 (en) | 2005-05-11 | 2009-07-09 | Eric Bergeron | Method and system for screening luggage items, cargo containers or persons |
| US7609885B2 (en) * | 2005-08-04 | 2009-10-27 | Sony Corporation | System and method for effectively implementing a texture feature detector |
| US7627166B2 (en) * | 2005-09-28 | 2009-12-01 | Yahoo! Inc. | Method and mechanism for processing image data |
| WO2007037427A1 (ja) * | 2005-09-30 | 2007-04-05 | Pioneer Corporation | コンテンツ検索装置、検索機能付きコンテンツ出力装置及びコンテンツ検索方法 |
| US7583839B2 (en) * | 2005-10-31 | 2009-09-01 | Yahoo! Inc. | Method and mechanism for analyzing the texture of a digital image |
| US20070098257A1 (en) * | 2005-10-31 | 2007-05-03 | Shesha Shah | Method and mechanism for analyzing the color of a digital image |
| US7831111B2 (en) | 2005-10-31 | 2010-11-09 | Yahoo! Inc. | Method and mechanism for retrieving images |
| KR100791373B1 (ko) * | 2005-12-12 | 2008-01-07 | 삼성전자주식회사 | 선호 색을 변환하는 장치 및 방법 |
| US7899232B2 (en) | 2006-05-11 | 2011-03-01 | Optosecurity Inc. | Method and apparatus for providing threat image projection (TIP) in a luggage screening system, and luggage screening system implementing same |
| US8494210B2 (en) | 2007-03-30 | 2013-07-23 | Optosecurity Inc. | User interface for use in security screening providing image enhancement capabilities and apparatus for implementing same |
| US8748056B2 (en) * | 2006-10-18 | 2014-06-10 | Bloom Energy Corporation | Anode with remarkable stability under conditions of extreme fuel starvation |
| US7642444B2 (en) * | 2006-11-17 | 2010-01-05 | Yamaha Corporation | Music-piece processing apparatus and method |
| JP5239367B2 (ja) * | 2007-03-19 | 2013-07-17 | 富士通株式会社 | 情報提供システム、情報提供プログラムおよび情報提供方法 |
| US20090112830A1 (en) * | 2007-10-25 | 2009-04-30 | Fuji Xerox Co., Ltd. | System and methods for searching images in presentations |
| US8549018B1 (en) * | 2010-01-21 | 2013-10-01 | Symantec Corporation | Systems and methods for predictive responses to internet object queries |
| AU2012304490B2 (en) | 2011-09-07 | 2015-06-25 | Rapiscan Systems, Inc. | X-ray inspection system that integrates manifest data with imaging/detection processing |
| JP2014085921A (ja) * | 2012-10-25 | 2014-05-12 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| US9250773B2 (en) * | 2013-04-30 | 2016-02-02 | International Business Machines Corporation | Accessible chart navigation using object neighborhood |
| EP3764280A1 (en) | 2016-02-22 | 2021-01-13 | Rapiscan Systems, Inc. | Methods for verifying types of containers |
| CN109993178B (zh) * | 2017-12-29 | 2024-02-02 | 华为技术有限公司 | 一种特征数据生成和特征匹配方法及装置 |
| US11115703B2 (en) | 2019-12-19 | 2021-09-07 | Feed Media Inc. | Platforms, media, and methods providing a first play streaming media station |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5487133A (en) * | 1993-07-01 | 1996-01-23 | Intel Corporation | Distance calculating neural network classifier chip and system |
| US5621752A (en) * | 1994-06-23 | 1997-04-15 | Qualcomm Incorporated | Adaptive sectorization in a spread spectrum communication system |
| EP0694855B1 (en) * | 1994-07-28 | 2002-05-02 | International Business Machines Corporation | Search/sort circuit for neural networks |
| US5831977A (en) * | 1996-09-04 | 1998-11-03 | Ericsson Inc. | Subtractive CDMA system with simultaneous subtraction in code space and direction-of-arrival space |
| JP3812161B2 (ja) | 1998-08-03 | 2006-08-23 | コニカミノルタビジネステクノロジーズ株式会社 | 画像比較装置、画像比較方法及び記録媒体 |
| JP2000163576A (ja) | 1998-11-25 | 2000-06-16 | Hitachi Ltd | 画像検索方法及びその実施装置並びにその処理プログラムを記録した媒体 |
| JP3496559B2 (ja) | 1999-01-06 | 2004-02-16 | 日本電気株式会社 | 画像特徴量生成装置、並びに画像特徴量生成方法 |
| JP2000216979A (ja) | 1999-01-22 | 2000-08-04 | Canon Inc | 画像抽出方法及び装置並びに記憶媒体 |
-
2001
- 2001-10-30 JP JP2001332605A patent/JP3948249B2/ja not_active Expired - Lifetime
-
2002
- 2002-10-22 US US10/274,946 patent/US7046865B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003141540A (ja) | 2003-05-16 |
| US20030081859A1 (en) | 2003-05-01 |
| US7046865B2 (en) | 2006-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3948249B2 (ja) | 類似性判定装置及び類似性判定方法並びにプログラム | |
| KR100737176B1 (ko) | 신호 처리 방법 및 영상 음성 처리 장치 | |
| JP3740065B2 (ja) | 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法 | |
| JP4545641B2 (ja) | 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体 | |
| JP4527322B2 (ja) | 画像検索装置、画像検索方法、及び画像検索用プログラム | |
| JP3658761B2 (ja) | 画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体 | |
| JP3568117B2 (ja) | ビデオ画像の分割、分類、および要約のための方法およびシステム | |
| JP4139615B2 (ja) | 前景／背景セグメント化を用いた画像のイベント・クラスタリング | |
| JP5005154B2 (ja) | 記憶媒体上に記憶された情報信号を再生する装置 | |
| JP3550681B2 (ja) | 画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体 | |
| US20150242399A1 (en) | Media Fingerprinting and Identification System | |
| US8467611B2 (en) | Video key-frame extraction using bi-level sparsity | |
| KR100836740B1 (ko) | 영상 데이터 처리 방법 및 그에 따른 시스템 | |
| JP5097280B2 (ja) | 画像及び画像群を表現、比較及び検索する方法及び装置、プログラム、コンピュータ読み取り可能な記憶媒体 | |
| JP4937578B2 (ja) | 情報処理方法 | |
| JP2002125178A (ja) | メディア・セグメント化システムおよび関連する方法 | |
| JP2004361987A (ja) | 画像検索システム、画像分類システム、画像検索プログラム及び画像分類プログラム、並びに画像検索方法及び画像分類方法 | |
| KR20030029410A (ko) | 웹 기반 영상 데이터 검색 시스템 및 그 방법 | |
| Seetharaman et al. | Statistical framework for image retrieval based on multiresolution features and similarity method | |
| Song et al. | A novel video abstraction method based on fast clustering of the regions of interest in key frames | |
| Howarth et al. | Visual Features for Content-based Medical Image Retrieval. | |
| Dorado et al. | Fuzzy color signatures | |
| EP1365357B1 (en) | Creating image features from an image having any shape | |
| JP3951707B2 (ja) | 類似性判定方法および装置 | |
| JP2004234613A (ja) | 映像記述システムおよび方法、映像識別システムおよび方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040426 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070327 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070409 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3948249 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110427 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120427 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120427 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130427 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130427 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140427 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |