JPH11316819A - 画像検索装置及び方法 - Google Patents
画像検索装置及び方法Info
- Publication number
- JPH11316819A JPH11316819A JP10121064A JP12106498A JPH11316819A JP H11316819 A JPH11316819 A JP H11316819A JP 10121064 A JP10121064 A JP 10121064A JP 12106498 A JP12106498 A JP 12106498A JP H11316819 A JPH11316819 A JP H11316819A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- label
- setting
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】ヒストグラムの内積演算等に先立って行なう、
或いはヒストグラムの内積演算等に代わる高速な画像検
索（或いは絞り込み）を提供する。 【解決手段】複数の画像データの各々に関して、画像特
徴量抽出部１４は画像を複数のブロックに分割し、各ブ
ロック毎に特徴量を算出する。特徴量ラベル化部１５
は、各ブロックの特徴量に応じてラベルを付与し、付与
されたラベルのヒストグラムを表すラベルヒストグラム
情報を生成し、画像管理データベース１８に登録すると
ともに、各ラベルをキーとして当該ラベルを含む画像の
画像ＩＤとその含有数を検索できる成分インデックス１
９への登録を行う。パターンマッチング部１６は、検索
元画像のラベルヒストグラム情報に基づいて、検索条件
とすべき検索対象ラベルとその含有数範囲を設定し、設
定された検索条件で成分インデックス１９を参照して画
像を抽出する。
或いはヒストグラムの内積演算等に代わる高速な画像検
索（或いは絞り込み）を提供する。 【解決手段】複数の画像データの各々に関して、画像特
徴量抽出部１４は画像を複数のブロックに分割し、各ブ
ロック毎に特徴量を算出する。特徴量ラベル化部１５
は、各ブロックの特徴量に応じてラベルを付与し、付与
されたラベルのヒストグラムを表すラベルヒストグラム
情報を生成し、画像管理データベース１８に登録すると
ともに、各ラベルをキーとして当該ラベルを含む画像の
画像ＩＤとその含有数を検索できる成分インデックス１
９への登録を行う。パターンマッチング部１６は、検索
元画像のラベルヒストグラム情報に基づいて、検索条件
とすべき検索対象ラベルとその含有数範囲を設定し、設
定された検索条件で成分インデックス１９を参照して画
像を抽出する。
Description
【０００１】
【産業上の利用分野】本発明は、自然画像等の類似する
画像を検索する画像検索装置及びその方法に関する。
画像を検索する画像検索装置及びその方法に関する。
【０００２】
【従来の技術】一般に、ある程度の実用化レベルに達し
ている類似画像検索システムにおいて、自然画像を類似
検索する場合には、色情報を画像特徴量として用いるこ
とが多い。そして、その多くが、色情報に関するヒスト
グラム（以下、カラーヒストグラム）を取ることにより
ＲＧＢの割合や画像中に多く存在する色の組み合わせを
算出し、これを特徴量として用いて検索するものであ
る。このような検索処理においては、その比較の手段と
して、カラーヒストグラムの内積演算が行なわれること
になる。
ている類似画像検索システムにおいて、自然画像を類似
検索する場合には、色情報を画像特徴量として用いるこ
とが多い。そして、その多くが、色情報に関するヒスト
グラム（以下、カラーヒストグラム）を取ることにより
ＲＧＢの割合や画像中に多く存在する色の組み合わせを
算出し、これを特徴量として用いて検索するものであ
る。このような検索処理においては、その比較の手段と
して、カラーヒストグラムの内積演算が行なわれること
になる。
【０００３】
【発明が解決しようとする課題】しかしながら、上述の
カラーヒストグラムの内積演算は、登録画像数に比例し
て計算量が増える性質があり、大量の画像が存在する場
合は検索処理時間がかかるという問題があった本発明は
上記の問題に鑑みてなされたものであり、カラーヒスト
グラムの内積演算に先立って行なう、或いはカラーヒス
トグラムの内積演算等に代わる高速な画像検索（或いは
絞り込み）を行える画像検索装置及び方法を提供するこ
とを目的とする。
カラーヒストグラムの内積演算は、登録画像数に比例し
て計算量が増える性質があり、大量の画像が存在する場
合は検索処理時間がかかるという問題があった本発明は
上記の問題に鑑みてなされたものであり、カラーヒスト
グラムの内積演算に先立って行なう、或いはカラーヒス
トグラムの内積演算等に代わる高速な画像検索（或いは
絞り込み）を行える画像検索装置及び方法を提供するこ
とを目的とする。
【０００４】また、本発明の他の目的は、インデックス
ファイルを用いて高速にプリサーチを行なうことによ
り、稼動するシステムの性能に見合った画像数に絞り込
むことを可能とすることにある。
ファイルを用いて高速にプリサーチを行なうことによ
り、稼動するシステムの性能に見合った画像数に絞り込
むことを可能とすることにある。
【０００５】また、本発明の他の目的は、ユーザーが指
定する検索の曖昧さを加味した絞り込みを可能とするこ
とにある。
定する検索の曖昧さを加味した絞り込みを可能とするこ
とにある。
【０００６】
【課題を解決するための手段】上記の目的を達成するた
めの本発明の一態様による画像検索装置は、例えば以下
の構成を備える。すなわち、複数の画像データの各々に
関して、画像を複数のブロックに分割し、各ブロック毎
に特徴量に応じて付与されたラベルのヒストグラムを表
すラベルヒストグラム情報を格納する格納手段と、各ラ
ベルをキーとして当該ラベルを含む画像の画像ＩＤとそ
の含有数を検索できるインデックスと、検索元画像のラ
ベルヒストグラム情報に基づいて、検索条件とすべき検
索対象ラベルとその含有数範囲を設定する設定手段と、
前記設定手段で設定された検索条件で前記インデックス
を参照して画像を抽出する抽出手段とを備える。
めの本発明の一態様による画像検索装置は、例えば以下
の構成を備える。すなわち、複数の画像データの各々に
関して、画像を複数のブロックに分割し、各ブロック毎
に特徴量に応じて付与されたラベルのヒストグラムを表
すラベルヒストグラム情報を格納する格納手段と、各ラ
ベルをキーとして当該ラベルを含む画像の画像ＩＤとそ
の含有数を検索できるインデックスと、検索元画像のラ
ベルヒストグラム情報に基づいて、検索条件とすべき検
索対象ラベルとその含有数範囲を設定する設定手段と、
前記設定手段で設定された検索条件で前記インデックス
を参照して画像を抽出する抽出手段とを備える。
【０００７】また、本発明の他の態様によれば、上記画
像検索装置によって実現される画像検索方法が提供され
る。また、本発明の他の態様によれば、前記画像検索方
法をコンピュータに実現させるための制御プログラムを
格納する記憶媒体が提供される。
像検索装置によって実現される画像検索方法が提供され
る。また、本発明の他の態様によれば、前記画像検索方
法をコンピュータに実現させるための制御プログラムを
格納する記憶媒体が提供される。
【０００８】
【発明の実施の形態】以下、添付の図面を参照して本発
明の好適な一実施形態を説明する。
明の好適な一実施形態を説明する。
【０００９】図１は本実施形態による画像検索装置の制
御構成を示すブロック図である。同図において、１０１
はＣＰＵであり、本実施形態の画像検索装置における各
種制御を実行する。１０２はＲＯＭであり、本装置の立
ち上げ時に実行されるブートプログラムや各種データを
格納する。１０３はＲＡＭであり、ＣＰＵ１０１が処理
するための制御プログラムを格納するとともに、ＣＰＵ
１０１が各種制御を実行する際の作業領域を提供する。
１０４はキーボード、１０５はマウスであり、ユーザに
よる各種入力操作環境を提供する。
御構成を示すブロック図である。同図において、１０１
はＣＰＵであり、本実施形態の画像検索装置における各
種制御を実行する。１０２はＲＯＭであり、本装置の立
ち上げ時に実行されるブートプログラムや各種データを
格納する。１０３はＲＡＭであり、ＣＰＵ１０１が処理
するための制御プログラムを格納するとともに、ＣＰＵ
１０１が各種制御を実行する際の作業領域を提供する。
１０４はキーボード、１０５はマウスであり、ユーザに
よる各種入力操作環境を提供する。
【００１０】１０６は外部記憶装置であり、ハードディ
スクやフロッピーディスク、ＣＤ−ＲＯＭ等で構成され
る。１０７はネットワークインターフェースであり、ネ
ットワーク上の各機器との通信を可能とする。１０９は
インターフェース、１１０は画像読み取りのためのスキ
ャナである。また、１１１は上記の各構成を接続するバ
スである。なお、後述の各フローチャートに示される処
理を実現する制御プログラムは、ＲＯＭ１０２に格納さ
れていてもよいし、外部記憶装置１０６よりＲＡＭ１０
３にロードされてもよい。
スクやフロッピーディスク、ＣＤ−ＲＯＭ等で構成され
る。１０７はネットワークインターフェースであり、ネ
ットワーク上の各機器との通信を可能とする。１０９は
インターフェース、１１０は画像読み取りのためのスキ
ャナである。また、１１１は上記の各構成を接続するバ
スである。なお、後述の各フローチャートに示される処
理を実現する制御プログラムは、ＲＯＭ１０２に格納さ
れていてもよいし、外部記憶装置１０６よりＲＡＭ１０
３にロードされてもよい。
【００１１】なお、上記の構成においてスキャナ１１０
や外部記憶装置１０６はネットワーク上に配置されたも
ので代用してもよい。
や外部記憶装置１０６はネットワーク上に配置されたも
ので代用してもよい。
【００１２】図２は本実施形態の画像検索装置の機能構
成を示すブロック図である。同図において、１１はユー
ザインターフェース部であり、表示器１０７、キーボー
ド１０４及びマウス１０５を用いて、ユーザからの各種
の操作入力を検出する。１２は画像入力部であり、スキ
ャナ１１０による画像の読み取りを行う。１３は画像メ
モリであり、画像入力部１２によって得られたイメージ
データをＲＡＭ１０３の所定の領域に格納する。１４は
画像特徴量抽出部であり、画像メモリ１３に格納した画
像について、後述の手順で特徴量を抽出する。１５は特
徴量ラベル化部であり、画像特徴量抽出部１４によって
得られた特徴量をラベル化し、そのヒストグラム情報を
生成する。１６はパターンマッチング部であり、指定さ
れた画像のヒストグラム情報と、画像蓄積部１７に蓄積
されている画像のヒストグラム情報に基づいて、両者の
類似度を算出し、類似画像を検索する。本実施形態で
は、特徴量ラベルのヒストグラムの内積を演算すること
によって類似画像検索を行う。なお、特徴量ラベルのヒ
ストグラムとは、各特徴量ラベル毎の当該画像による含
有数を表すものである。また、パターンマッチング部１
６は、上記の類似度計算に先立って、後述の１次検索
（プリサーチ）を行い、画像検索速度を向上する。
成を示すブロック図である。同図において、１１はユー
ザインターフェース部であり、表示器１０７、キーボー
ド１０４及びマウス１０５を用いて、ユーザからの各種
の操作入力を検出する。１２は画像入力部であり、スキ
ャナ１１０による画像の読み取りを行う。１３は画像メ
モリであり、画像入力部１２によって得られたイメージ
データをＲＡＭ１０３の所定の領域に格納する。１４は
画像特徴量抽出部であり、画像メモリ１３に格納した画
像について、後述の手順で特徴量を抽出する。１５は特
徴量ラベル化部であり、画像特徴量抽出部１４によって
得られた特徴量をラベル化し、そのヒストグラム情報を
生成する。１６はパターンマッチング部であり、指定さ
れた画像のヒストグラム情報と、画像蓄積部１７に蓄積
されている画像のヒストグラム情報に基づいて、両者の
類似度を算出し、類似画像を検索する。本実施形態で
は、特徴量ラベルのヒストグラムの内積を演算すること
によって類似画像検索を行う。なお、特徴量ラベルのヒ
ストグラムとは、各特徴量ラベル毎の当該画像による含
有数を表すものである。また、パターンマッチング部１
６は、上記の類似度計算に先立って、後述の１次検索
（プリサーチ）を行い、画像検索速度を向上する。
【００１３】１７は画像蓄積部であり、画像入力部１２
等によって得られた画像データを蓄積する。１８は画像
管理データベース（以下、画像管理ＤＢ）であり、図３
で示されるデータ形態で画像蓄積部１７に格納された画
像データを管理する。また、１９は成分インデックスで
あり、図４に示される成分インデックスファイルを格納
する。なお、成分インデックスの利用については、添付
のフローチャートにより後述する。
等によって得られた画像データを蓄積する。１８は画像
管理データベース（以下、画像管理ＤＢ）であり、図３
で示されるデータ形態で画像蓄積部１７に格納された画
像データを管理する。また、１９は成分インデックスで
あり、図４に示される成分インデックスファイルを格納
する。なお、成分インデックスの利用については、添付
のフローチャートにより後述する。
【００１４】以上のような構成を備えた本実施形態の画
像検索装置の動作例を以下に説明する。なお、以下の例
では色に着目した画像特徴量として、赤（Ｒ）、緑
（Ｇ）、青（Ｂ）の三色を採用し、３次元の色空間での
処理を用いて説明する。
像検索装置の動作例を以下に説明する。なお、以下の例
では色に着目した画像特徴量として、赤（Ｒ）、緑
（Ｇ）、青（Ｂ）の三色を採用し、３次元の色空間での
処理を用いて説明する。
【００１５】［画像の登録処理］先ず画像登録の際に行
う処理を説明する。図５は本実施形態による画像登録処
理の手順を表すフローチャートである。まず、ステップ
Ｓ１１において、ユーザーインターフェース部１１を介
したユーザの指示により、画像入力部１２を用いて画像
を読み込み、これを画像メモリ１３に保持する。次に、
ステップＳ１２において、この画像を複数のブロックに
分割する。本実施形態では、画像を縦横の複数ブロック
に分割する。図６は本実施形態による画像のブロック分
割例を示す図である。同図に示されるように、本実施形
態では、説明のため３×３の計９個のブロックに画像を
分割する。次にステップＳ１３において、分割された各
ブロックの特徴量を算出し、得られた特徴量を以下の手
順でラベル化する。
う処理を説明する。図５は本実施形態による画像登録処
理の手順を表すフローチャートである。まず、ステップ
Ｓ１１において、ユーザーインターフェース部１１を介
したユーザの指示により、画像入力部１２を用いて画像
を読み込み、これを画像メモリ１３に保持する。次に、
ステップＳ１２において、この画像を複数のブロックに
分割する。本実施形態では、画像を縦横の複数ブロック
に分割する。図６は本実施形態による画像のブロック分
割例を示す図である。同図に示されるように、本実施形
態では、説明のため３×３の計９個のブロックに画像を
分割する。次にステップＳ１３において、分割された各
ブロックの特徴量を算出し、得られた特徴量を以下の手
順でラベル化する。
【００１６】なお、本実施形態で用いる３×３への分割
はあくまで説明のためのものである。実際には、自然画
であれば１０×１０以上の分割数とするのが好ましい。
また、白の無地背景に商品が写っているような場合であ
れば、１３×１３以上の分割数とするのが好ましい。
はあくまで説明のためのものである。実際には、自然画
であれば１０×１０以上の分割数とするのが好ましい。
また、白の無地背景に商品が写っているような場合であ
れば、１３×１３以上の分割数とするのが好ましい。
【００１７】図７は本実施形態による多次元特徴量空間
を説明する図である。図７に示すように、多次元特徴量
空間（ＲＧＢカラー空間）を複数のブロック（色ブロッ
ク）、即ちセル（色セル）に分割し、夫々のセル（色セ
ル）に対して通し番号でユニークなラベルを付与する。
ここで、多次元特徴量空間（ＲＧＢカラー空間）を複数
のブロックに分けたのは微妙な特徴量（色）の違いを吸
収するためである。
を説明する図である。図７に示すように、多次元特徴量
空間（ＲＧＢカラー空間）を複数のブロック（色ブロッ
ク）、即ちセル（色セル）に分割し、夫々のセル（色セ
ル）に対して通し番号でユニークなラベルを付与する。
ここで、多次元特徴量空間（ＲＧＢカラー空間）を複数
のブロックに分けたのは微妙な特徴量（色）の違いを吸
収するためである。
【００１８】なお、多次元特徴量空間に関しては、画像
特徴量をそのまま用いるものではなく各パラメータを平
均と分散を実験によって求め規格化（正規化）した後、
例えば、主成分分析等の直交変換を行い、意味のある次
元にしたものを用いることが考えられる。なお、「意味
のある次元」とは、主成分分析において、寄与率が大き
な主成分軸で構成される次元である。
特徴量をそのまま用いるものではなく各パラメータを平
均と分散を実験によって求め規格化（正規化）した後、
例えば、主成分分析等の直交変換を行い、意味のある次
元にしたものを用いることが考えられる。なお、「意味
のある次元」とは、主成分分析において、寄与率が大き
な主成分軸で構成される次元である。
【００１９】ステップＳ１３では、ステップＳ１２で得
られた各分割ブロックに対して、定められた画像特徴量
計算処理を行い、上記多次元特徴量空間上のどのセルに
属するかを求め、対応するラベルを求める。この処理を
全てのブロックに対して行う。すなわち、分割画像ブロ
ックに対して、全ての画素がどの色セルに属するかの計
算処理を行い、もっとも頻度の多い色セルのラベルをそ
の分割画像ブロックのパラメータラベル（カラーラベ
ル）として決定し、この処理を全てのブロックに対して
行う。
られた各分割ブロックに対して、定められた画像特徴量
計算処理を行い、上記多次元特徴量空間上のどのセルに
属するかを求め、対応するラベルを求める。この処理を
全てのブロックに対して行う。すなわち、分割画像ブロ
ックに対して、全ての画素がどの色セルに属するかの計
算処理を行い、もっとも頻度の多い色セルのラベルをそ
の分割画像ブロックのパラメータラベル（カラーラベ
ル）として決定し、この処理を全てのブロックに対して
行う。
【００２０】以上のようにして各ブロックに対してパラ
メータラベルが付与されると、ステップＳ１４におい
て、一枚の画像における全ての分割画像ブロック群で決
定したラベルのヒストグラム情報を得る。続いて、ステ
ップＳ１５において、当該画像データの画像ＩＤを取得
し、画像管理ＤＢ１８へ当該画像データへのアドレス、
ステップＳ１４で得られたヒストグラム情報等の属性
を、図３に示すごとく登録する。
メータラベルが付与されると、ステップＳ１４におい
て、一枚の画像における全ての分割画像ブロック群で決
定したラベルのヒストグラム情報を得る。続いて、ステ
ップＳ１５において、当該画像データの画像ＩＤを取得
し、画像管理ＤＢ１８へ当該画像データへのアドレス、
ステップＳ１４で得られたヒストグラム情報等の属性
を、図３に示すごとく登録する。
【００２１】更に、ステップＳ１６において、ラベルを
キーとして、そのラベルを含む画像ＩＤと各画像がその
ラベルを含む個数を対にして記憶する、図４に示すよう
な成分インデックスへ反映させる。なお、成分インデッ
クスへ反映するかどうかは、各ラベルの当該画像が含む
個数に応じて決定する。例えば、所定のしきい値と各ラ
ベルの含有数を比較して、成分インデックスへ反映する
か反映しないかを決定する。言い換えれば、所定のしき
い値を越える含有数のラベルについて成分インデックス
を更新する。なお、このしきい値は必要に応じてチュー
ニングを行なう。
キーとして、そのラベルを含む画像ＩＤと各画像がその
ラベルを含む個数を対にして記憶する、図４に示すよう
な成分インデックスへ反映させる。なお、成分インデッ
クスへ反映するかどうかは、各ラベルの当該画像が含む
個数に応じて決定する。例えば、所定のしきい値と各ラ
ベルの含有数を比較して、成分インデックスへ反映する
か反映しないかを決定する。言い換えれば、所定のしき
い値を越える含有数のラベルについて成分インデックス
を更新する。なお、このしきい値は必要に応じてチュー
ニングを行なう。
【００２２】以上が画像登録時に行われる処理である。
【００２３】［類似画像検索処理］次に本実施形態によ
る類似画像検索の処理を説明する。図８は本実施形態に
よる類似画像検索処理の手順を説明するフローチャート
である。
る類似画像検索の処理を説明する。図８は本実施形態に
よる類似画像検索処理の手順を説明するフローチャート
である。
【００２４】まずステップＳ１０１において、ユーザイ
ンターフェース部１１を介して類似検索元画像を指定す
ると、ステップＳ１０２において１次検索（以下、プリ
サーチということもある）が行われ、その検索結果がユ
ーザインターフェース部１１によって提示される。その
検索結果によってユーザは２次検索（以下、主検索とい
うこともある）を実行するか否かを指示する。そして、
２次検索を実行する旨が指示されると、ステップＳ１０
３からステップＳ１０４へ進み、先の１次検索で取得さ
れた画像について２次検索を実行する。本実施形態で
は、２次検索においては、ヒストグラムの内積演算を行
なうことにより類似画像を検索する。ステップＳ１０５
ではステップＳ１０４の２次検索によって得られた画像
を提示する。詳細には、２次検索によって最終的に取得
された画像ＩＤより、画像管理ＤＢ１８を参照してフル
パスのファイル名を得て、これをユーザに提示する。
ンターフェース部１１を介して類似検索元画像を指定す
ると、ステップＳ１０２において１次検索（以下、プリ
サーチということもある）が行われ、その検索結果がユ
ーザインターフェース部１１によって提示される。その
検索結果によってユーザは２次検索（以下、主検索とい
うこともある）を実行するか否かを指示する。そして、
２次検索を実行する旨が指示されると、ステップＳ１０
３からステップＳ１０４へ進み、先の１次検索で取得さ
れた画像について２次検索を実行する。本実施形態で
は、２次検索においては、ヒストグラムの内積演算を行
なうことにより類似画像を検索する。ステップＳ１０５
ではステップＳ１０４の２次検索によって得られた画像
を提示する。詳細には、２次検索によって最終的に取得
された画像ＩＤより、画像管理ＤＢ１８を参照してフル
パスのファイル名を得て、これをユーザに提示する。
【００２５】本実施形態では、１次検索処理（プリサー
チ）を実行するが、その最大の目的は、２次検索におけ
る処理負荷の軽減である。数万枚の画像ＤＢから類似画
像検索を行なう場合において、ユーザーが全ての画像を
類似度の高い順番で見ることは殆ど希であり、その多く
はせいぜい類似度の高い順から数百枚並べれば満足する
ものである。
チ）を実行するが、その最大の目的は、２次検索におけ
る処理負荷の軽減である。数万枚の画像ＤＢから類似画
像検索を行なう場合において、ユーザーが全ての画像を
類似度の高い順番で見ることは殆ど希であり、その多く
はせいぜい類似度の高い順から数百枚並べれば満足する
ものである。
【００２６】そこで、本実施形態の画像検索装置では、
システムの処理能力とユーザーに最大で提供するヒット
数を考慮して、検索ヒット数目標範囲の上限を決定す
る。また、これと同時に、検索ヒット数目標範囲の下限
を設定するが、この値は例えばユーザーにとってみすぼ
らしい検索結果としたくなければ、ヒット表示画面で一
読できる数の画像を検索するようにすれば良い。換言す
れば、ヒット表示画面によって一度に表示し得る画像数
を下限とする。
システムの処理能力とユーザーに最大で提供するヒット
数を考慮して、検索ヒット数目標範囲の上限を決定す
る。また、これと同時に、検索ヒット数目標範囲の下限
を設定するが、この値は例えばユーザーにとってみすぼ
らしい検索結果としたくなければ、ヒット表示画面で一
読できる数の画像を検索するようにすれば良い。換言す
れば、ヒット表示画面によって一度に表示し得る画像数
を下限とする。
【００２７】そこで、本実施形態では例えば、予めシス
テム導入時に２次検索処理が負担にならないようなヒッ
ト数を決めるための実験を行なう。そして、そのヒット
数が３００件であったとすると、プリサーチの目標範囲
の上限をやや多めの４００件と設定する。また、ヒット
表示画面１ページの表示数が２０であれば、やはり予め
システム導入時に、プリサーチの目標範囲の下限を表示
画面１ページの表示数そのものの２０とする。
テム導入時に２次検索処理が負担にならないようなヒッ
ト数を決めるための実験を行なう。そして、そのヒット
数が３００件であったとすると、プリサーチの目標範囲
の上限をやや多めの４００件と設定する。また、ヒット
表示画面１ページの表示数が２０であれば、やはり予め
システム導入時に、プリサーチの目標範囲の下限を表示
画面１ページの表示数そのものの２０とする。
【００２８】このプリサーチ処理により絞った画像のみ
に対してヒストグラムの内積演算を行なうことにより、
類似度を伴う検索結果を従来の全てに画像に対して直接
内積計算を行なうよりはるかに高速に得ることが可能と
なる。
に対してヒストグラムの内積演算を行なうことにより、
類似度を伴う検索結果を従来の全てに画像に対して直接
内積計算を行なうよりはるかに高速に得ることが可能と
なる。
【００２９】次に、図９及び図１０を参照して、本実施
形態によるプリサーチの手順を詳細に説明する。図９は
本実施形態のプリサーチの全体の処理手順を説明するフ
ローチャートである。図１０は本実施形態のプリサーチ
における、曖昧度に応じた画像抽出の手順を説明するフ
ローチャートである。
形態によるプリサーチの手順を詳細に説明する。図９は
本実施形態のプリサーチの全体の処理手順を説明するフ
ローチャートである。図１０は本実施形態のプリサーチ
における、曖昧度に応じた画像抽出の手順を説明するフ
ローチャートである。
【００３０】まず、ステップＳ２１において、考慮すべ
きヒストグラム数Ｎとプリサーチの目標範囲（上限値Ｐ
max、下限値Ｐmin）をシステム記憶領域より取得する。
なお、考慮すべきヒストグラム数Ｎおよびプリサーチの
目標範囲の利用については以下の説明で明らかになろ
う。
きヒストグラム数Ｎとプリサーチの目標範囲（上限値Ｐ
max、下限値Ｐmin）をシステム記憶領域より取得する。
なお、考慮すべきヒストグラム数Ｎおよびプリサーチの
目標範囲の利用については以下の説明で明らかになろ
う。
【００３１】次に、ステップＳ２２において、類似検索
を行いたい画像（以下、類似検索元画像）を選択すると
ともに、類似検索の曖昧度を指定する。なお、本実施形
態では、類似検索元画像を複数の提示画像群の中から選
択するものとするが、上述のステップＳ１０１において
既に類似検索元画像が指定されるので、ここでの指定は
省略してよい。また、検索の曖昧さについては、初期状
態で所定のデフォルト値が設定され、ユーザが所望に変
更するような形態でも構わない。
を行いたい画像（以下、類似検索元画像）を選択すると
ともに、類似検索の曖昧度を指定する。なお、本実施形
態では、類似検索元画像を複数の提示画像群の中から選
択するものとするが、上述のステップＳ１０１において
既に類似検索元画像が指定されるので、ここでの指定は
省略してよい。また、検索の曖昧さについては、初期状
態で所定のデフォルト値が設定され、ユーザが所望に変
更するような形態でも構わない。
【００３２】ユーザーから検索の指示が出されると、ス
テップＳ２３において、検索元画像に対応する画像ＩＤ
を取得し、画像管理ＤＢ１８から当該検索元画像のヒス
トグラム情報を得る。そして、ステップＳ２４におい
て、取得されたヒストグラム情報から得られるラベル数
と、考慮すべきラベル数Ｎのうち、小さい方の値をＨma
xに設定する。そして、ステップＳ２５においてＨに１
をセットする。
テップＳ２３において、検索元画像に対応する画像ＩＤ
を取得し、画像管理ＤＢ１８から当該検索元画像のヒス
トグラム情報を得る。そして、ステップＳ２４におい
て、取得されたヒストグラム情報から得られるラベル数
と、考慮すべきラベル数Ｎのうち、小さい方の値をＨma
xに設定する。そして、ステップＳ２５においてＨに１
をセットする。
【００３３】以上のステップＳ２１〜Ｓ２５までの処理
により、処理中のヒストグラム順位を表す変数Ｈ、当該
プリサーチにおいて考慮すべき最大のラベル数Ｈmax、
プリサーチによる取得画像数の上限値Ｐmax、プリサー
チによる取得画像数の下限値Ｐminが設定されることに
なる。
により、処理中のヒストグラム順位を表す変数Ｈ、当該
プリサーチにおいて考慮すべき最大のラベル数Ｈmax、
プリサーチによる取得画像数の上限値Ｐmax、プリサー
チによる取得画像数の下限値Ｐminが設定されることに
なる。
【００３４】次に、ステップＳ２６において、ヒストグ
ラム情報の第１位のラベルを、当該類似検索元画像と同
程度の個数含む画像を成分インデックス１９を参照して
取得し、取得された画像ＩＤを検索仮結果に登録すると
ともに、その取得数をＰとする。なお、この処理で、
「同程度の個数」とは、設定された曖昧度等によって異
なってくる。この点に関しては、ステップＳ２６の処理
の詳細は、図１０を参照して後述する。
ラム情報の第１位のラベルを、当該類似検索元画像と同
程度の個数含む画像を成分インデックス１９を参照して
取得し、取得された画像ＩＤを検索仮結果に登録すると
ともに、その取得数をＰとする。なお、この処理で、
「同程度の個数」とは、設定された曖昧度等によって異
なってくる。この点に関しては、ステップＳ２６の処理
の詳細は、図１０を参照して後述する。
【００３５】上記ステップＳ２６の処理の結果、取得さ
れた画像数Ｐが設定された取得画像数Ｐmaxよりも大き
い場合は、取得画像の絞り込みを行うためにステップＳ
２８〜Ｓ３１の処理を行う。
れた画像数Ｐが設定された取得画像数Ｐmaxよりも大き
い場合は、取得画像の絞り込みを行うためにステップＳ
２８〜Ｓ３１の処理を行う。
【００３６】ステップＳ２８では、処理対象のヒストグ
ラム順位を一つ下げる（ＨにＨ＋１を代入する）。そし
て、ステップＳ２９において、ヒストグラム情報におけ
る次の順位（第Ｈ位）に対応するラベルを当該類似検索
元画像と同程度含む画像（画像ＩＤ）を取得する。次
に、ステップＳ３０において、前回までの検索仮結果に
含まれている画像ＩＤと、ステップＳ２９で取得された
画像ＩＤとの論理積を取り、その結果を新たな検索仮結
果とする。また、ステップＳ３１では、その新たな検索
仮結果に含まれる画像ＩＤの数で取得数Ｐを更新する。
ラム順位を一つ下げる（ＨにＨ＋１を代入する）。そし
て、ステップＳ２９において、ヒストグラム情報におけ
る次の順位（第Ｈ位）に対応するラベルを当該類似検索
元画像と同程度含む画像（画像ＩＤ）を取得する。次
に、ステップＳ３０において、前回までの検索仮結果に
含まれている画像ＩＤと、ステップＳ２９で取得された
画像ＩＤとの論理積を取り、その結果を新たな検索仮結
果とする。また、ステップＳ３１では、その新たな検索
仮結果に含まれる画像ＩＤの数で取得数Ｐを更新する。
【００３７】以上のステップＳ２８〜Ｓ３１による「更
なる絞り込み処理」は、取得画像数ＰがＰmax以下にな
るか、或いは処理したラベル数（ヒストグラム順位Ｈ）
が考慮すべきラベル数の最大値Ｈmaxに達するまで繰り
返される（ステップＳ２７）。
なる絞り込み処理」は、取得画像数ＰがＰmax以下にな
るか、或いは処理したラベル数（ヒストグラム順位Ｈ）
が考慮すべきラベル数の最大値Ｈmaxに達するまで繰り
返される（ステップＳ２７）。
【００３８】ステップＳ２７において、取得数Ｐが目標
上限値Ｐmax以下であるか、或いは処理したラベルのヒ
ストグラム順位ＨがＨmax以上になった場合には、ステ
ップＳ３２へ進む。ステップＳ３２では、取得数Ｐが目
標下限値Ｐminより大きいか否かを判定する。ここで、
取得数Ｐが目標下限値以下であった場合は、ステップＳ
３３へ進み、検索仮結果を前回の結果（一つ上位のヒス
トグラム順位までの絞り込みの結果）へ戻す。そして、
ステップＳ３６でその検索仮結果を提示する。ただし、
Ｈ＝１である場合は「前回の結果」が存在しないので、
ステップＳ３３はスキップされる。
上限値Ｐmax以下であるか、或いは処理したラベルのヒ
ストグラム順位ＨがＨmax以上になった場合には、ステ
ップＳ３２へ進む。ステップＳ３２では、取得数Ｐが目
標下限値Ｐminより大きいか否かを判定する。ここで、
取得数Ｐが目標下限値以下であった場合は、ステップＳ
３３へ進み、検索仮結果を前回の結果（一つ上位のヒス
トグラム順位までの絞り込みの結果）へ戻す。そして、
ステップＳ３６でその検索仮結果を提示する。ただし、
Ｈ＝１である場合は「前回の結果」が存在しないので、
ステップＳ３３はスキップされる。
【００３９】一方、ステップＳ３２において取得数Ｐが
目標下限値Ｐminよりも大きければ、ステップＳ３４へ
進み、ヒストグラム順位ＨがＨmax以上かつ取得数Ｐが
目標上限値Ｐmaxより大きい場合は、ステップＳ３５へ
進み、取得された検索仮結果の画像ＩＤについて、先頭
からＰmax個を取り出し、これを検索仮結果とし、ステ
ップＳ３６でユーザに提示する。一方、ステップＳ３４
からＮＯ分岐する場合は、取得数ＰがＰmin≦Ｐ≦Ｐmax
を満足するものであり、そのまま検索仮結果の内容がユ
ーザに提示される。
目標下限値Ｐminよりも大きければ、ステップＳ３４へ
進み、ヒストグラム順位ＨがＨmax以上かつ取得数Ｐが
目標上限値Ｐmaxより大きい場合は、ステップＳ３５へ
進み、取得された検索仮結果の画像ＩＤについて、先頭
からＰmax個を取り出し、これを検索仮結果とし、ステ
ップＳ３６でユーザに提示する。一方、ステップＳ３４
からＮＯ分岐する場合は、取得数ＰがＰmin≦Ｐ≦Ｐmax
を満足するものであり、そのまま検索仮結果の内容がユ
ーザに提示される。
【００４０】以上をまとめると、ステップＳ２６の処理
によって、成分インデックス１９を参照し、適合する画
像ＩＤ群を取得し、その数がプリサーチの目標範囲上限
値Ｐmax以下であればその画像ＩＤ群を検索仮結果とし
て処理を終了する。また、プリサーチの目標範囲上限よ
り大きければ次のヒストグラム順位のラベルに関して同
上の処理を行ない、先の検索仮結果の画像ＩＤとの論理
積を取って取得画像の絞り込みを行う。そして、その結
果、その数Ｐがプリサーチの目標範囲上限Ｐmax以下と
なり、かつプリサーチの目標範囲下限Ｐminより大きけ
れば、その画像ＩＤ群を検索仮結果として処理を終了す
る。また、取得された画像ＩＤ数Ｐがプリサーチの目標
範囲下限Ｐminを下回れば、前回の結果に戻して本処理
を終了する。
によって、成分インデックス１９を参照し、適合する画
像ＩＤ群を取得し、その数がプリサーチの目標範囲上限
値Ｐmax以下であればその画像ＩＤ群を検索仮結果とし
て処理を終了する。また、プリサーチの目標範囲上限よ
り大きければ次のヒストグラム順位のラベルに関して同
上の処理を行ない、先の検索仮結果の画像ＩＤとの論理
積を取って取得画像の絞り込みを行う。そして、その結
果、その数Ｐがプリサーチの目標範囲上限Ｐmax以下と
なり、かつプリサーチの目標範囲下限Ｐminより大きけ
れば、その画像ＩＤ群を検索仮結果として処理を終了す
る。また、取得された画像ＩＤ数Ｐがプリサーチの目標
範囲下限Ｐminを下回れば、前回の結果に戻して本処理
を終了する。
【００４１】また、取得数Ｐがプリサーチの目標範囲上
限Ｐmaxより大きければ、上述の絞り込み処理をＨmaxで
予め決められた回数と検索指定元画像のラベル種類数−
１で求まる回数のうちのどちらか小さな方の回数だけ、
再帰的に処理を繰り返す。ヒストグラム順位ＨがＨmax
に達した時点で依然として取得数Ｐが目標範囲上限Ｐma
xより大きい場合は、最新の論理積による絞り込み結果
から、プリサーチの目標範囲上限Ｐmaxまでの画像ＩＤ
をその最終結果とする。
限Ｐmaxより大きければ、上述の絞り込み処理をＨmaxで
予め決められた回数と検索指定元画像のラベル種類数−
１で求まる回数のうちのどちらか小さな方の回数だけ、
再帰的に処理を繰り返す。ヒストグラム順位ＨがＨmax
に達した時点で依然として取得数Ｐが目標範囲上限Ｐma
xより大きい場合は、最新の論理積による絞り込み結果
から、プリサーチの目標範囲上限Ｐmaxまでの画像ＩＤ
をその最終結果とする。
【００４２】次に、ステップＳ２６及びステップＳ２９
で実行される画像の抽出処理について図１０のフローチ
ャートを用いて説明する。
で実行される画像の抽出処理について図１０のフローチ
ャートを用いて説明する。
【００４３】この画像抽出処理では、ヒストグラムの第
Ｈ位のラベルから、当該類似検索元画像のそのラベルの
含有数に基づいてラベル数の範囲を決定し、そのラベル
を決定されたラベル数範囲で含む画像を、成分インデッ
クス１９を参照して探す。
Ｈ位のラベルから、当該類似検索元画像のそのラベルの
含有数に基づいてラベル数の範囲を決定し、そのラベル
を決定されたラベル数範囲で含む画像を、成分インデッ
クス１９を参照して探す。
【００４４】まず、ステップＳ４１において、検索キー
となるラベルＫ、当該類似検索元画像が含むラベルＫの
個数（含有数Ｆ）、曖昧度を設定する。なお、検索キー
となるラベルＫは、ヒストグラム順位Ｈによって決定さ
れるものである。次に、ステップＳ４２において、抽出
結果をクリアして、以下の抽出処理に備える。
となるラベルＫ、当該類似検索元画像が含むラベルＫの
個数（含有数Ｆ）、曖昧度を設定する。なお、検索キー
となるラベルＫは、ヒストグラム順位Ｈによって決定さ
れるものである。次に、ステップＳ４２において、抽出
結果をクリアして、以下の抽出処理に備える。
【００４５】ステップＳ４３では、曖昧検索を行うか否
かを判定する。ユーザが指定した曖昧度が最小値の場合
（もしくは曖昧検索を行わない旨の設定がなされている
場合）には、ステップＳ５０へ進み、当該検索キーとな
っているラベルＫだけで成分インデックスファイルを検
索する（ステップＳ５０〜Ｓ５１）。一方、それ以外の
場合には、ラベルＫに対して、曖昧度に対応したペナル
ティー範囲内のペナルティー距離を持つラベルを抽出
し、抽出されたラベル群に関しても成分インデックスを
参照して画像の抽出を行う（ステップＳ４４〜Ｓ４
９）。そして、これらの抽出結果の論理和を取ることに
より、曖昧な検索を実現する。もちろん曖昧度が高いほ
どペナルティー距離の大きなラベルも考慮するようにす
る。
かを判定する。ユーザが指定した曖昧度が最小値の場合
（もしくは曖昧検索を行わない旨の設定がなされている
場合）には、ステップＳ５０へ進み、当該検索キーとな
っているラベルＫだけで成分インデックスファイルを検
索する（ステップＳ５０〜Ｓ５１）。一方、それ以外の
場合には、ラベルＫに対して、曖昧度に対応したペナル
ティー範囲内のペナルティー距離を持つラベルを抽出
し、抽出されたラベル群に関しても成分インデックスを
参照して画像の抽出を行う（ステップＳ４４〜Ｓ４
９）。そして、これらの抽出結果の論理和を取ることに
より、曖昧な検索を実現する。もちろん曖昧度が高いほ
どペナルティー距離の大きなラベルも考慮するようにす
る。
【００４６】まず、曖昧検索時の処理を順を追って説明
する。ステップＳ４４では、処理回数をカウントするた
めの変数Ｊを１に初期化する。そして、ステップＳ４５
において、ラベルＫに対して、曖昧度に応じたペナルテ
ィー値の範囲にあるラベルを図１１のごときペナルティ
ーマトリクスを参照して獲得し、ラベル群LABEL[n]を生
成する。なお、ラベル群LABEL[n]にはラベルＫも含ま
る。また、LABEL[n]が含むラベルの個数をＮとし、各ラ
ベルをLABEL[1]…LABEL[N]と表す。例えば、図１１のペ
ナルティーマトリクスにおいて、ラベル３について、ペ
ナルティー値範囲が４以下である場合は、LABEL[1]＝
３、LABEL[2]＝５、LABEL[3]＝６、LABEL[4]＝８…とな
る。
する。ステップＳ４４では、処理回数をカウントするた
めの変数Ｊを１に初期化する。そして、ステップＳ４５
において、ラベルＫに対して、曖昧度に応じたペナルテ
ィー値の範囲にあるラベルを図１１のごときペナルティ
ーマトリクスを参照して獲得し、ラベル群LABEL[n]を生
成する。なお、ラベル群LABEL[n]にはラベルＫも含ま
る。また、LABEL[n]が含むラベルの個数をＮとし、各ラ
ベルをLABEL[1]…LABEL[N]と表す。例えば、図１１のペ
ナルティーマトリクスにおいて、ラベル３について、ペ
ナルティー値範囲が４以下である場合は、LABEL[1]＝
３、LABEL[2]＝５、LABEL[3]＝６、LABEL[4]＝８…とな
る。
【００４７】次に、ステップＳ４６において、Ｊ＜Ｎで
あれば、ステップＳ４７へ進み、LABEL[J]の含有数が0.
5×Ｆ〜１.5×Ｆの範囲である画像の画像ＩＤを取得す
る。本実施形態では、画像の拡大縮小に対しても安定性
のあるプリサーチを行なうため、面積比２倍の相似比の
画像を検索するため、これを考慮した実験に基づき、全
てのラベルに対し固定的な割合、例えば類似検索元画像
中の頻度値（Ｆ）に対してラベル数の範囲を５０％〜１
５０％としている。なお、含有数の範囲は、類似検索元
画像中の頻度値（Ｆ）を含む範囲となるが、その範囲の
決定方法に関してはステップＳ１０４で行われる２次検
索の性質により様々な方法があり、上記実施形態に限定
されるものではない。例えば、他の方法として、ラベル
夫々に対し統計的な処理を行ない１画像中あたりの頻度
の平均と分散を求めておき、検索元画像中の頻度値の標
準偏差を求め偏差に応じたラベル数の範囲を設定する方
法もある。
あれば、ステップＳ４７へ進み、LABEL[J]の含有数が0.
5×Ｆ〜１.5×Ｆの範囲である画像の画像ＩＤを取得す
る。本実施形態では、画像の拡大縮小に対しても安定性
のあるプリサーチを行なうため、面積比２倍の相似比の
画像を検索するため、これを考慮した実験に基づき、全
てのラベルに対し固定的な割合、例えば類似検索元画像
中の頻度値（Ｆ）に対してラベル数の範囲を５０％〜１
５０％としている。なお、含有数の範囲は、類似検索元
画像中の頻度値（Ｆ）を含む範囲となるが、その範囲の
決定方法に関してはステップＳ１０４で行われる２次検
索の性質により様々な方法があり、上記実施形態に限定
されるものではない。例えば、他の方法として、ラベル
夫々に対し統計的な処理を行ない１画像中あたりの頻度
の平均と分散を求めておき、検索元画像中の頻度値の標
準偏差を求め偏差に応じたラベル数の範囲を設定する方
法もある。
【００４８】次に、ステップＳ４８において、ステップ
Ｓ４７で取得された画像ＩＤとそれまでの抽出結果に含
まれる画像ＩＤとの論理和をとり、その結果を新たな抽
出結果とする。ステップＳ４９では処理回数カウンタＪ
を１つ増加して、ステップＳ４６へ処理を戻すことによ
り、抽出されたラベル群LABEL[1]〜LABEL[N]の全てにつ
いてステップＳ４７、Ｓ４８の処理が行われることにな
る。そして、ラベル群の全ラベルについて処理を終える
と、ステップＳ５２へ進み、最終的に得られた抽出結果
とその画像数を出力する（画像数は、ステップＳ２６に
おける取得数Ｐとして用いられる）。
Ｓ４７で取得された画像ＩＤとそれまでの抽出結果に含
まれる画像ＩＤとの論理和をとり、その結果を新たな抽
出結果とする。ステップＳ４９では処理回数カウンタＪ
を１つ増加して、ステップＳ４６へ処理を戻すことによ
り、抽出されたラベル群LABEL[1]〜LABEL[N]の全てにつ
いてステップＳ４７、Ｓ４８の処理が行われることにな
る。そして、ラベル群の全ラベルについて処理を終える
と、ステップＳ５２へ進み、最終的に得られた抽出結果
とその画像数を出力する（画像数は、ステップＳ２６に
おける取得数Ｐとして用いられる）。
【００４９】一方、曖昧検索を行わない場合は、ステッ
プＳ５０へ進み、ラベルＫの含有数が0.5Ｆ〜1.5Ｆであ
る画像の画像ＩＤを成分インデックス１９を参照して抽
出する。そして、ステップＳ５１で、抽出された画像Ｉ
Ｄを抽出結果とし、ステップＳ５２でその画像数ととも
に出力される。なお、ステップＳ５２における「出力」
とは、図８に示される制御プログラムへデータを渡すこ
とである。
プＳ５０へ進み、ラベルＫの含有数が0.5Ｆ〜1.5Ｆであ
る画像の画像ＩＤを成分インデックス１９を参照して抽
出する。そして、ステップＳ５１で、抽出された画像Ｉ
Ｄを抽出結果とし、ステップＳ５２でその画像数ととも
に出力される。なお、ステップＳ５２における「出力」
とは、図８に示される制御プログラムへデータを渡すこ
とである。
【００５０】以上説明したように、本発明によれば、ヒ
ストグラムの内積演算等を用いた類似画像検索処理に先
立って、成分インデックスファイルを用いたプリサーチ
を行うことで高速に画像を絞り込むことが可能となる。
このため、稼動するシステムの性能に見合った画像数に
絞り込むことができ、検索速度、システムの負荷の軽減
がなされる。また、ユーザーが指定する検索の曖昧さを
加味したプリサーチが行なえるので、効果的な絞り込み
が行える。
ストグラムの内積演算等を用いた類似画像検索処理に先
立って、成分インデックスファイルを用いたプリサーチ
を行うことで高速に画像を絞り込むことが可能となる。
このため、稼動するシステムの性能に見合った画像数に
絞り込むことができ、検索速度、システムの負荷の軽減
がなされる。また、ユーザーが指定する検索の曖昧さを
加味したプリサーチが行なえるので、効果的な絞り込み
が行える。
【００５１】上記実施形態においては、自然画像検索を
行う例を説明したが、本実施形態の画像検索処理は、Ｃ
ＧやＣＡＤ等の人工的な画像の検索のプリサーチ処理へ
も適応可能である。
行う例を説明したが、本実施形態の画像検索処理は、Ｃ
ＧやＣＡＤ等の人工的な画像の検索のプリサーチ処理へ
も適応可能である。
【００５２】また、本実施形態では画像特徴量として色
情報を選んだが、これに限定されるものではなく、その
他の画像パラメータを画像分割ブロック毎に求めること
で実施することも可能である。
情報を選んだが、これに限定されるものではなく、その
他の画像パラメータを画像分割ブロック毎に求めること
で実施することも可能である。
【００５３】また、上記実施形態では、ヒストグラムの
含有数に基づく検索処理をプリサーチとして使用する
が、このような検索処理を類似度を伴う検索に応用する
ことも可能である。例えば、１００％一致する画像の検
索を行なうには、成分インデックス１９を参照する際の
ラベル含有数の範囲を検索元画像の着目ラベルの出現値
として検索を行えば良い。そして、類似度を上げ、ラベ
ル含有数範囲の上限と下限を類似度に応じて広げて、上
述のプリサーチに相当する処理を行い、前回の結果とＯ
Ｒをとって累積する。このように、徐々に類似度を上げ
て、上記処理を繰り返してゆくことにより、類似度に応
じた検索を行なうことが可能となる。
含有数に基づく検索処理をプリサーチとして使用する
が、このような検索処理を類似度を伴う検索に応用する
ことも可能である。例えば、１００％一致する画像の検
索を行なうには、成分インデックス１９を参照する際の
ラベル含有数の範囲を検索元画像の着目ラベルの出現値
として検索を行えば良い。そして、類似度を上げ、ラベ
ル含有数範囲の上限と下限を類似度に応じて広げて、上
述のプリサーチに相当する処理を行い、前回の結果とＯ
Ｒをとって累積する。このように、徐々に類似度を上げ
て、上記処理を繰り返してゆくことにより、類似度に応
じた検索を行なうことが可能となる。
【００５４】なお、本発明は、複数の機器から構成され
るシステムに適用しても、一つの機器からなる装置に適
用してもよい。
るシステムに適用しても、一つの機器からなる装置に適
用してもよい。
【００５５】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
【００５６】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
【００５７】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。
【００５８】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
【００５９】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【００６０】
【発明の効果】以上説明したように、本発明によれば、
カラーヒストグラムの内積演算に先立って行なう、或い
はカラーヒストグラムの内積演算等に代わる高速な画像
検索（或いは絞り込み）が提供される。
カラーヒストグラムの内積演算に先立って行なう、或い
はカラーヒストグラムの内積演算等に代わる高速な画像
検索（或いは絞り込み）が提供される。
【００６１】また、本発明によれば、インデックスファ
イルを用いて高速にプリサーチを行なうことにより、稼
動するシステムの性能に見合った画像数に絞り込むこと
が可能となり、検索速度が向上する。
イルを用いて高速にプリサーチを行なうことにより、稼
動するシステムの性能に見合った画像数に絞り込むこと
が可能となり、検索速度が向上する。
【００６２】また、本発明によれば、ユーザーが指定す
る検索の曖昧さを加味した絞り込みが可能となり、効果
的な絞り込みを行える。
る検索の曖昧さを加味した絞り込みが可能となり、効果
的な絞り込みを行える。
【００６３】
【図１】本実施形態による画像検索装置の制御構成を示
すブロック図である。
すブロック図である。
【図２】本実施形態の画像検索装置の機能構成を示すブ
ロック図である。
ロック図である。
【図３】画像管理データベース１８による格納データの
データ構成例を示す図である。
データ構成例を示す図である。
【図４】成分インデックス１９による格納データのデー
タ構成例を示す図である。
タ構成例を示す図である。
【図５】本実施形態による画像登録処理の手順を表すフ
ローチャートである。
ローチャートである。
【図６】本実施形態による画像のブロック分割例を示す
図である。
図である。
【図７】本実施形態による多次元特徴量空間を説明する
図である。
図である。
【図８】本実施形態による類似画像検索処理の手順を説
明するフローチャートである。
明するフローチャートである。
【図９】本実施形態のプリサーチの全体の処理手順を説
明するフローチャートである。
明するフローチャートである。
【図１０】本実施形態のプリサーチにおける、曖昧度に
応じた画像抽出の手順を説明するフローチャートであ
る。
応じた画像抽出の手順を説明するフローチャートであ
る。
【図１１】本実施形態のペナルティマトリクスを示す図
である。
である。
Claims (20)
- 【請求項１】 複数の画像データの各々に関して、画像
を複数のブロックに分割し、各ブロック毎に特徴量に応
じて付与されたラベルのヒストグラムを表すラベルヒス
トグラム情報を格納する格納手段と、 各ラベルをキーとして当該ラベルを含む画像の画像ＩＤ
とその含有数を検索できるインデックスと、 検索元画像のラベルヒストグラム情報に基づいて、検索
条件とすべき検索対象ラベルとその含有数範囲を設定す
る設定手段と、 前記設定手段で設定された検索条件で前記インデックス
を参照して画像を抽出する抽出手段とを備えることを特
徴とする画像検索装置。 - 【請求項２】 前記抽出手段で抽出された画像につい
て、ラベルヒストグラム情報の内積に基づく類似画像検
索を行う検索手段を更に備えることを特徴とする請求項
１に記載の画像検索装置。 - 【請求項３】 前記格納手段は、前記付与されたラベル
をラベル列として各画像に対応して格納し、 前記抽出手段で抽出された画像について、前記ラベル列
のパターンマッチングを行うことで類似画像検索を行う
検索手段を更に備えることを特徴とする請求項１に記載
の画像検索装置。 - 【請求項４】 前記設定手段は、前記検索画像が含むラ
ベルのみを検索条件とすることを特徴とする請求項１に
記載の画像検索装置。 - 【請求項５】 前記設定手段は、前記検索画像が含むラ
ベルと、該ラベルとのペナルティー値が所定値以下の類
似ラベルを検索ラベルとして設定し、 前記抽出手段は、前記設定手段で設定された検索ラベル
の少なくとも一つのラベルが前記含有数範囲で存在する
画像を抽出することを特徴とする請求項１に記載の画像
検索装置。 - 【請求項６】 所望に設定された曖昧度に応じて前記ペ
ナルティー値が設定されることを特徴とする請求項５に
記載の画像検索装置。 - 【請求項７】 前記設定手段は、前記検索ラベルの前記
類似検索元画像に含まれる個数に第１の所定数と第２の
所定数を乗じて得られる値の範囲を前記含有数範囲とす
ることを特徴とする請求項１に記載の画像検索装置。 - 【請求項８】 前記抽出手段によって所定の上限値を越
える画像が抽出された場合、前記類似検索元画像中の別
のラベルを用いて前記設定手段及び前記抽出手段を繰り
返し作用させる制御手段を更に備えることを特徴とする
請求項１に記載の画像検索装置。 - 【請求項９】 前記制御手段は、前記類似検索元画像の
ラベルヒストグラム情報における上位のラベルから順次
用いるラベルを選択することを特徴とする請求項８に記
載の画像検索装置。 - 【請求項１０】 複数の画像データの各々に関して、画
像を複数のブロックに分割し、各ブロック毎に特徴量に
応じて付与されたラベルのヒストグラムを表すラベルヒ
ストグラム情報を格納したデータベースと、各ラベルを
キーとして当該ラベルを含む画像の画像ＩＤとその含有
数を検索可能に登録するインデックスを用いた画像検索
方法であって、 検索元画像のラベルヒストグラム情報に基づいて、検索
条件とすべき検索対象ラベルとその含有数範囲を設定す
る設定工程と、 前記設定工程で設定された検索条件で前記インデックス
を参照して画像を抽出する抽出工程とを備えることを特
徴とする画像検索方法。 - 【請求項１１】 前記抽出工程で抽出された画像につい
て、ラベルヒストグラム情報の内積に基づく類似画像検
索を行う検索工程を更に備えることを特徴とする請求項
１０に記載の画像検索方法。 - 【請求項１２】 前記データベースは、前記付与された
ラベルをラベル列として各画像に対応して格納し、 前記抽出工程で抽出された画像について、前記ラベル列
のパターンマッチングを行うことで類似画像検索を行う
検索工程を更に備えることを特徴とする請求項１０に記
載の画像検索方法。 - 【請求項１３】 前記設定工程は、前記検索画像が含む
ラベルのみを検索条件とすることを特徴とする請求項１
０に記載の画像検索方法。 - 【請求項１４】 前記設定工程は、前記検索画像が含む
ラベルと、該ラベルとのペナルティー値が所定値以下の
類似ラベルを検索ラベルとして設定し、 前記抽出工程は、前記設定工程で設定された検索ラベル
の少なくとも一つのラベルが前記含有数範囲で存在する
画像を抽出することを特徴とする請求項１０に記載の画
像検索方法。 - 【請求項１５】 所望に設定された曖昧度に応じて前記
ペナルティー値が設定されることを特徴とする請求項１
４に記載の画像検索方法。 - 【請求項１６】 前記設定工程は、前記検索ラベルの前
記類似検索元画像に含まれる個数に第１の所定数と第２
の所定数を乗じて得られる値の範囲を前記含有数範囲と
することを特徴とする請求項１０に記載の画像検索方
法。 - 【請求項１７】 前記抽出工程によって所定の上限値を
越える画像が抽出された場合、前記類似検索元画像中の
別のラベルを用いて前記設定工程及び前記抽出工程を繰
り返し実行する制御工程を更に備えることを特徴とする
請求項１０に記載の画像検索方法。 - 【請求項１８】 前記制御工程は、前記類似検索元画像
のラベルヒストグラム情報における上位のラベルから順
次用いるラベルを選択することを特徴とする請求項１７
に記載の画像検索方法。 - 【請求項１９】 登録すべき画像の各ブロックにラベル
を付与し、付与されたラベルに基づいてラベルヒストグ
ラム情報を獲得して前記データベースに登録するととも
に、付与された各ラベルに基づいて前記インデックスに
追加登録を行う登録工程を更に備えることを特徴とする
請求項１０に記載の画像検索方法。 - 【請求項２０】 複数の画像データの各々に関して、画
像を複数のブロックに分割し、各ブロック毎に特徴量に
応じて付与されたラベルのヒストグラムを表すラベルヒ
ストグラム情報を格納したデータベースと、各ラベルを
キーとして当該ラベルを含む画像の画像ＩＤとその含有
数を検索可能に登録するインデックスを用いた画像検索
処理をコンピュータに実現させるための制御プログラム
を格納する記憶媒体であって、該制御プログラムが、 検索元画像のラベルヒストグラム情報に基づいて、検索
条件とすべき検索対象ラベルとその含有数範囲を設定す
る設定工程のコードと、 前記設定工程で設定された検索条件で前記インデックス
を参照して画像を抽出する抽出工程のコードとを備える
ことを特徴とする記憶媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12106498A JP4298001B2 (ja) | 1998-04-30 | 1998-04-30 | 画像検索装置及び方法 |
| EP99302566A EP0947937B1 (en) | 1998-04-02 | 1999-03-31 | Image search apparatus and method |
| DE69942901T DE69942901D1 (de) | 1998-04-02 | 1999-03-31 | Einrichtung und Verfahren zum Suchen von Bildern |
| US09/281,783 US6584223B1 (en) | 1998-04-02 | 1999-03-31 | Image search apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12106498A JP4298001B2 (ja) | 1998-04-30 | 1998-04-30 | 画像検索装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11316819A true JPH11316819A (ja) | 1999-11-16 |
| JP4298001B2 JP4298001B2 (ja) | 2009-07-15 |
Family
ID=14801956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12106498A Expired - Fee Related JP4298001B2 (ja) | 1998-04-02 | 1998-04-30 | 画像検索装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4298001B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002183145A (ja) * | 2000-12-12 | 2002-06-28 | Nec Corp | 画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体 |
| WO2002067197A1 (fr) * | 2001-02-19 | 2002-08-29 | Nec Corporation | Dispositif de creation de caracteristique d'image a partir d'une image de n'importe quelle forme |
| JPWO2004093006A1 (ja) * | 2003-04-16 | 2006-07-06 | 富士通株式会社 | 知識発見装置、知識発見プログラムおよび知識発見方法 |
| JP2011118481A (ja) * | 2009-11-30 | 2011-06-16 | Fuji Xerox Co Ltd | 画像処理プログラム及び画像処理装置 |
| CN110110189A (zh) * | 2018-02-01 | 2019-08-09 | 北京京东尚科信息技术有限公司 | 用于生成信息的方法和装置 |
-
1998
- 1998-04-30 JP JP12106498A patent/JP4298001B2/ja not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002183145A (ja) * | 2000-12-12 | 2002-06-28 | Nec Corp | 画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体 |
| US7006689B2 (en) | 2000-12-12 | 2006-02-28 | Nec Corporation | Image search system and image search method thereof |
| WO2002067197A1 (fr) * | 2001-02-19 | 2002-08-29 | Nec Corporation | Dispositif de creation de caracteristique d'image a partir d'une image de n'importe quelle forme |
| US7697753B2 (en) | 2001-02-19 | 2010-04-13 | Nec Corporation | Device for creating image feature from image having any shape |
| JPWO2004093006A1 (ja) * | 2003-04-16 | 2006-07-06 | 富士通株式会社 | 知識発見装置、知識発見プログラムおよび知識発見方法 |
| JP2011118481A (ja) * | 2009-11-30 | 2011-06-16 | Fuji Xerox Co Ltd | 画像処理プログラム及び画像処理装置 |
| CN110110189A (zh) * | 2018-02-01 | 2019-08-09 | 北京京东尚科信息技术有限公司 | 用于生成信息的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4298001B2 (ja) | 2009-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7392233B2 (en) | Image searching system, image searching method, and a recording medium storing an image searching program | |
| US7844139B2 (en) | Information management apparatus, information management method, and computer program product | |
| US6856987B2 (en) | Information search apparatus and method, and computer readable memory | |
| US7508998B2 (en) | Image search apparatus, image search method, program, and storage medium | |
| KR100809798B1 (ko) | 컬러 화상 표시 및 검색을 위한 장치 및 방법 | |
| US20040215660A1 (en) | Image search method and apparatus | |
| EP1387303A2 (en) | Image classification method and image feature space displaying method | |
| JP2001202523A (ja) | 画像処理方法及びその装置 | |
| US6912531B1 (en) | Image storage method and apparatus | |
| JPH08249349A (ja) | 画像データベース装置 | |
| JP3754791B2 (ja) | 画像検索装置及び方法 | |
| JPH11312248A (ja) | 画像検索装置及び方法 | |
| US7146382B2 (en) | Image processing apparatus and its method and server apparatus | |
| JP2006119723A (ja) | 画像処理装置、画像処理方法 | |
| JP4298001B2 (ja) | 画像検索装置及び方法 | |
| EP1074953A2 (en) | Image retrieval apparatus and method | |
| JPH11288418A (ja) | 画像検索装置及び方法 | |
| JP4148642B2 (ja) | 類似画像検索装置、及びコンピュータ読み取り可能な記録媒体 | |
| JPH08263522A (ja) | 画像検索方法 | |
| KR100612852B1 (ko) | ＧｏＦ/ＧｏＰ의 질감 표현 방법과, 이를 이용한ＧｏＦ/ＧｏＰ 검색 방법 및 장치 | |
| JP2798283B2 (ja) | 画像検索装置 | |
| JPH0981591A (ja) | 画像データベースの検索キー登録方法 | |
| JPH1139309A (ja) | 画像検索装置及び方法 | |
| JP2001084271A (ja) | 情報検索装置及びそのアルゴリズム更新方法及びコンピュータ読み取り可能な記憶媒体 | |
| JP2003271601A (ja) | 画像管理検索方法、画像管理検索装置、プログラム及び当該プログラムを記憶した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040609 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040609 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20040609 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040609 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070327 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071121 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20071203 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20080208 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090415 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140424 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |