JPH0944518A

JPH0944518A - 画像データベースの構築方法と、画像データベースの検索方法及び検索装置

Info

Publication number: JPH0944518A
Application number: JP7197491A
Authority: JP
Inventors: Kazuhiko Hamaya; 和彦浜谷
Original assignee: AdIn Research Inc
Current assignee: AdIn Research Inc
Priority date: 1995-08-02
Filing date: 1995-08-02
Publication date: 1997-02-14

Abstract

(57)【要約】【課題】本発明はイメージ的な曖昧検索を高速に行い
得る画像データベースの検索方法及び検索装置の提供を
目的とする。【解決手段】本発明による画像データベースの構築・
検索方法は、画像から特徴ベクトルを抽出する段階と；
抽出された特徴ベクトルをファジィルールに従って階層
的なカテゴリにパターン分類する段階と；特徴ベクトル
と分類されたパターンから得たデータを画像データベー
スに登録する段階と；パターン分類された階層にに応じ
て画像データの縮小されたアブストラクト画像を表示す
る段階と；表示画像の中から検索対象画像と類似した画
像を選択する段階と；選択画像の特徴ベクトルから検索
用データを生成する段階と；検索用データを検索条件と
して画像データベースをファジィルールに基づいて検索
し、検索用データに対応する上記画像データが分類され
たパターンを得る段階とからなる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像データベースシ
ステムに係り、特に、画像データベースシステムにおけ
る画像データの検索方法及び検索装置に関する。

【０００２】

【従来の技術】従来、通常のデータベース検索において
利用者の持つ漠然とした要求に対応し得るよう、曖昧な
検索条件の指定を許容する方法が提案されている。その
一例として、曖昧さを取り入れた所謂ファジィデータベ
ースは、通常のデータ検索に曖昧な言語的表現を使用す
ることが可能である。更に、ファジィデータベースによ
れば、検索条件だけではなく、データ自体にも曖昧な属
性値を持たせることが可能である。例えば、人物のデー
タベースにおいて、年齢として「若い」・「中年」等の
検索条件を指定し、実際のデータ属性値に対し、数値で
はなく同様に「若い」等の曖昧な言語的な表現が許容さ
れる。

【０００３】しかし、２次元的な形や関係を表わす画像
データは、形や位置関係が問題にならない数値・文字等
の通常のシンボルデータとは本質的に異なっている。従
って、画像データベースシステムを実用化するため、従
来より画像データに特有な圧縮、記述及び検索等の手法
が必要であると考えられている。

【０００４】入力ベクトルｖ_1iとデータベースに記録さ
れた記録ベクトルｖ_2iとの類似度は、例えば、従来より
周知の以下のベクトルの距離計算：

【０００５】

【数１】

【０００６】によって求められる。上記式を用いて、例
えば、１００次元程度のベクトルデータを極めて大量
（例えば、数千万件のオーダー）に登録し、同時に検索
するには膨大な処理時間が必要である。従来のデータベ
ースシステムでは、検索時間を短縮するため、Ｂ−木
（Ｂ−ｔｒｅｅ）等の探索木が利用されている。かかる
探索木を利用することにより、探索範囲が限定されるた
め探索速度が高速化される。図１３は、従来のＢ−木を
用いた索引検索の一例の説明図である。索引は、最初、
根の部分で５０ページまでの範囲と１００ページまでの
範囲に分割される。例えば、５０ページまでの範囲の索
引は、根の部分の数値５０の右側のポインタの指し示す
節の部分に関連付けられている。節の部分で、索引は、
２０ページまでの範囲と、２０ページから５０ページま
での範囲に分割される。同様に節における２０ページま
での範囲と、２０ページから５０ページまでの範囲は、
夫々、５ページと２０ページに関連付けられたポインタ
を含む枝と、３３ページと５０ページに関連付けられた
ポインタを有する枝とに分割されている。

【０００７】

【発明が解決しようとする課題】人間の認識レベルの点
からみると、画像はそれ自体が曖昧なデータであると考
えられる。従って、画像データベースの検索に、「ファ
ジィ」検索、或いは、ファジィ検索と同様に曖昧さを許
容する検索が必要とされている。

【０００８】しかし、画像データは、上記の如く、２次
元的な形や関係を表わしているので、単に言語的な曖昧
検索では十分な検索を行えないという問題点がある。上
記シンボル情報のためのＢ−木法のように、画像データ
の検索時間を短縮させる方法が必要とされる。

【０００９】本発明は、上記問題点に鑑みイメージ的な
曖昧検索を高速に行い得る画像データベースの検索方法
及び検索装置の提供を目的とする。更に、本発明は上記
の如くイメージ的な曖昧検索が高速に行える画像データ
ベースを構築する方法の提供を目的とする。

【００１０】

【課題を解決するための手段】本発明は、上記目的を実
現するため、画像特徴量を用いてデータ属性を自動的に
作成し、併せて、データを登録することにより、イメー
ジ的なファジィ検索を実現する。

【００１１】図１は本発明の原理を説明するための図で
ある。本発明による画像データベースの構築方法は、検
索用の画像から上記画像の特徴量を表わす第１の特徴ベ
クトルを抽出する特徴抽出段階（ステップ１０）と；上
記画像の抽出された第１の特徴ベクトルをファジィルー
ルに従って階層的なカテゴリにパターン分類するパター
ン分類段階（ステップ２０）と；上記第１の特徴ベクト
ルと上記分類されたパターンから登録用データを生成し
画像データベースに登録する画像データ登録段階（ステ
ップ３０）とからなる。

【００１２】上記本発明の画像データベースの構築方法
によれば、ファジィルールを利用した推論、及び、ファ
ジィルール自体の学習によって、画像の特徴量を表わす
特徴ベクトルから高次の特徴ベクトル、及び、画像がパ
ターン分類されるカテゴリのデータのような画像のデー
タ属性が自動的に得られる。順次に高次の特徴ベクトル
を抽出してパターン分類を繰り返すことにより階層的な
パターン分類が行われる。

【００１３】上記パターン分類は、上記特徴ベクトルを
入力する段階（ステップ２０２）と；上記入力された特
徴ベクトルに上記ファジィルールを適用して、上記特徴
ベクトルと上記分類された各パターンとの合致度を算出
する段階（ステップ２０４）と；上記入力された特徴ベ
クトルが近似する上記パターンが存在するかどうかを判
定する段階（ステップ２０６）と；上記判定する段階に
おいて上記近似するパターンが存在しない場合に上記入
力された特徴ベクトルに対応する新しいパターンを作成
し（ステップ２１２）、上記判定する段階において上記
近似するパターンが存在する場合にその近似するパター
ンを上記特徴ベクトルに応じて更新する段階（ステップ
２１０）とからなる。これにより、入力された特徴ベク
トルに応じて特徴ベクトルが自動的にパターン分類され
る。

【００１４】更に、上記本発明の画像データベースの構
築方法により登録された画像データベースを検索する本
発明の検索方法は、ファジィルールを用いて階層的なカ
テゴリにパターン分類された画像の特徴ベクトルに応じ
て上記画像データベースに分類して登録された上記画像
データの縮小されたアブストラクト画像を表示する画像
表示段階（ステップ４０）と；上記表示された画像の中
から検索対象画像と類似した少なくとも一つの画像を選
択する検索条件指定段階（ステップ５０）と；上記選択
された少なくとも一の画像の上記特徴ベクトルから検索
用データを生成する検索用データ生成段階（ステップ６
０）と；上記生成された検索用データを検索条件として
上記画像データベースをファジィルールに基づいて検索
し、上記検索用データに対応する上記画像データが分類
されたパターンを得るファジィ検索段階（ステップ７
０）とからなる。

【００１５】更に、本発明の画像データベースの検索方
法は、階層的に構築された画像データベースを検索する
際に、上記ファジィ検索段階に続いて、更なるパターン
が得られなくなるまで、上記検索によって得られた画像
データから新たな検索用データを生成する段階と、上記
生成された新たな検索用データを検索条件として上記検
索によって得られたパターンの範囲内で上記画像データ
ベースをファジィルールに基づいて検索する段階と、上
記新たな検索用データに対応する新たな画像データが分
類されたパターンを得る段階とを繰り返す階層的なファ
ジィ検索段階を有する。

【００１６】図２は本発明の画像データベース検索装置
の原理構成図である。本発明の画像データベース検索装
置２は、画像データベースに画像データを登録する画像
データベース登録モジュール４と、上記画像データベー
スから検索条件に合う画像データを検索する画像データ
ベース検索モジュール６と、ファジィルールを適用する
ファジィ推論手段８とからなる。

【００１７】上記画像データベース登録モジュール４
は、画像データから画像の特徴ベクトルを抽出する特徴
ベクトル抽出手段４２と；上記特徴ベクトルを入力し、
ファジィルールを適用して高次の特徴ベクトルを生成す
る高次特徴ベクトル生成手段４４と；上記画像データの
上記特徴ベクトルを入力し、ファジィルールを適用して
上記入力された特徴ベクトルをパターンに分類するパタ
ーン分類手段４６とからなる。上記画像データベース検
索モジュール６は、上記画像データベースに登録された
上記画像データの縮小アブストラクト画像を表示し、上
記表示された画像の中から検索用画像を選択し、上記選
択された画像の画像データに基づいて検索用データを生
成する検索用データ生成手段６２と；上記検索用データ
生成手段により生成された上記検索用データを入力し、
上記ファジィルールを適用して上記画像データベースに
登録された画像データを検索するファジィ検索手段６４
とからなる。

【００１８】

【発明の実施の形態】図３は本発明の一実施例の画像デ
ータベース検索システムの構成図である。本発明の一実
施例による画像データベース検索装置２は、画像データ
ベースに画像データを登録する登録モジュール４と、画
像データベースを検索する検索モジュール４と、ファジ
ィルールを用いてファジィ推論を実行するファジィ推論
部８とからなる。

【００１９】登録モジュール４は、例えば、画像データ
ベース１２のような画像データ源から画像データを入力
し、画像から特徴量を抽出する特徴ベクトル抽出部４２
と、ファジィ推論部８に接続され、特徴ベクトルに対し
ファジィルールを適用し高次の特徴ベクトルを得る高次
特徴ベクトル生成部４４と、ファジィ推論部８に接続さ
れ、特徴ベクトルに対しファジィルールを適用して特徴
ベクトルをパターン分類するパターン分類部４６とから
なる。登録モジュール４は、ユーザが入出力装置１６を
介して画像の属性を予め定義し、各画像に対しその定義
された属性の曖昧な属性値を設定するための属性設定部
４８を更に有する。

【００２０】上記特徴ベクトル抽出部４２に加えて、高
次特徴ベクトル生成部４４、パターン分類部４６及び属
性設定部４８は、夫々、画像データベース１２に接続さ
れ、ファジィ推論に使用されるファジィルールとそのパ
ラメータ、或いは、画像データの属性及び属性値を画像
データベース１２に登録する。

【００２１】画像データベース検索装置２の検索モジュ
ール６は、画像データベース１２に登録された画像デー
タの縮小アブストラクト画像を入出力装置１６に表示さ
せる検索用データ生成部６２を有する。検索用データ生
成部１６は、上記表示された画像の中から入出力装置１
６を介してユーザが選択した検索用画像の画像データに
基づいて、例えば、合成特徴ベクトルのような検索用デ
ータを生成する。

【００２２】検索モジュール６は、上記検索用データ生
成部６２により生成された上記検索用データを入力し、
ファジィ推論部８を介してファジィルールを適用して上
記画像データベースに登録された画像データの中から上
記検索用データに類似したデータを有する画像データを
検索するファジィ検索部６４を更に有する。

【００２３】検索モジュール６には、上記属性設定部４
８において予め定義された属性に対し曖昧に表わされた
属性値と共に上記画像データベースに分類して登録され
た上記画像データの上記属性値に対し曖昧な検索条件を
用いてファジィ検索をかけるファジィ言語検索部６６が
更に設けられている。

【００２４】上記検索用データ生成部６２、ファジィ検
索部６４及びファジィ言語検索部６６は、夫々、登録さ
れた画像データ又はファジィルールを取り出すため画像
データベース１２に接続されている。画像データベース
画像装置２は、上記登録モジュール４で入力、生成され
た属性データ、特徴ベクトル、画像データ等を既存の汎
用データベース１４の一部としてデータベース化するた
めのインタフェース部１０を有する。これにより、既存
のデータベース１４を利用した登録や検索が実現され、
既に開発されたデータベースに画像データを追加登録し
て、通常のデータと画像データを融合して利用し得る。

【００２５】以下に、本発明の一実施例の画像データ検
索システムの動作を詳細に説明する。図４は本発明の一
実施例による特徴ベクトルの抽出過程を説明する動作フ
ローチャートである。本発明の一実施例の画像データ検
索システムにおいて、画像データベースの登録処理を行
う場合、最初、入出力装置１６を介した利用者からの指
示に従って、画像データベース１２から画像データを取
得する（ステップ１００）。次いで、属性設定部４８が
起動され、属性設定部４８は、上記指定された画像デー
タの予め定義された画像データの属性に対し入出力装置
１６を介して利用者によって入力された属性値を設定す
る（ステップ１０２）。

【００２６】上記の属性の典型的な例は、従来のデータ
ベースシステムにおいて周知のシンボル（文字列）属性
であり、画像データには、画像自体のみならず、かかる
シンボル属性が付加されることになる。シンボル属性に
は、例えば、「文字」、「図形」等の属性値を有する対
象の種別を表わす属性、「丸」、「四角」のような属性
値を有する対象の形状を表わす属性を含む場合がある。

【００２７】上記ステップ１００における画像データの
指定は、利用者の直接的な指示の他、予め準備されプロ
グラミングされた手順に従って行ってもよい。上記画像
データの入力源は上記画像データベース１２に限定され
ることはなく、例えば、画像スキャナから読み込んでも
よい。

【００２８】次いで、画像データの画像から画像の特徴
を表わす複数の特徴量を算出する（ステップ１０４）。
特徴量の算出処理は、より詳細には、画像サイズを正規
化し、格子状の領域に分割し（ステップ１０６）、濃淡
分布、局所相関、局所コントラスト等の統計量を算出し
（ステップ１０８）、フーリエ変換の後、周波数分布を
得る（ステップ１１０）ことからなる。

【００２９】上記の如く算出された画像の特徴を表わす
複数の特徴量を上記画像データの「特徴ベクトル」とし
て抽出し、上記属性値及び特徴ベクトルは上記画像デー
タに関連付けられた情報として画像データベース１２に
登録することが可能である（ステップ１１２）。特徴ベ
クトルを抽出すべき画像データが他に存在するかどうか
を判定し（ステップ１１４）、存在するならばステップ
１００に戻る。全ての画像データの処理が終了したなら
ば、高次特徴ベクトル抽出処理に進む。

【００３０】本発明の一実施例の画像データ検索システ
ムでは、上記シンボル属性が特徴ベクトルを補助する情
報として利用される。或いは、数値形式の属性値を有す
る属性を定義し、かかる属性を特徴ベクトルの一要素に
加えてもよい。上記画像の複数の特徴量は、例えば、通
常のコンピュータ装置を利用して算出することが可能で
あるが、処理の高速化を図るため高速な画像処理装置を
使用してもよい。

【００３１】次に、効率的に画像データの検索が行える
よう上記の如く画像毎に得られる多数の特徴ベクトルを
幾つかのパターンに分類する。即ち、画像データの検索
を高速化するため、画像データベースに登録される画像
データを特徴ベクトルのパターンの近似度に応じたカテ
ゴリに分類する。

【００３２】更に、探索エリアを縮小して検索速度を向
上させるため上記画像データのパターン分類を階層化す
ることを考える。図５は本発明の一実施例による特徴ベ
クトルのパターン分類の階層化処理を説明する動作フロ
ーチャートである。この方法によれば、特徴ベクトルに
パターンを表わすファジィルールを適用して特徴ベクト
ルとパターンとの合致度を算出し、特徴ベクトルのパタ
ーン分類を行うことにより高次の特徴ベクトルを抽出す
る処理が最終的なパターン分類が得られるまで順次繰り
返される。図６は上記高次特徴ベクトルの抽出を実行す
る高次特徴ベクトル生成部４４の構成図である。図５に
示すフローチャートを参照して上記方法を以下に詳細に
説明する。

【００３３】特徴ベクトル入力部４４２は、最初にパタ
ーン分類を行う階層のレベルを設定し、画像データベー
ス１２から取得した階層レベルに応じたファジィルール
をファジィ推論部８に初期設定してファジィ推論部８を
起動し（ステップ２００）、第１番目の階層の場合には
特徴ベクトル抽出部４２から、第２番目以降の階層の場
合にはファジィルール・高次特徴ベクトル抽出部４５０
から得た特徴ベクトルをファジィ推論部８に供給する
（ステップ２０２）。ファジィ推論部８は、入力された
特徴ベクトルにファジィルールを適用して、特徴ベクト
ルとファジィルールによって表わされたパターンとの合
致度を算出する（ステップ２０４）。全てのルールが適
用されたかどうかが判定され（ステップ２０６）、未だ
適用されていないルールがある場合には、ステップ２０
４に戻って更なる合致度の算出が行われ、全てのルール
が適用されている場合には、ファジィ推論部８は推論処
理を終了し、算出された合致度を近似度判定部４４４に
供給する。

【００３４】近似度判定部４４４は、上記特徴ベクトル
に対し算出された各ファジィルールとの合致度を評価
し、近似パターン、即ち、合致度が所定の値を上回るフ
ァジィルールが存在するかどうかを判定する（ステップ
２０８）。近似パターンが存在する場合、近似度判定部
４４４は、上記近似パターンに関連するファジィルール
を上記特徴ベクトルの影響を考慮して変形するファジィ
ルール変形部４４６を起動する（ステップ２１０）。一
方、近似パターンが存在しない場合、近似度判定部４４
４は、上記特徴ベクトルに近似した新たなパターンに関
連する新しいファジィルールを作成するファジィルール
追加部４４８を起動する（ステップ２１２）。

【００３５】次いで、ファジィルール・高次特徴ベクト
ル抽出部４４４において全ての特徴ベクトルに対し合致
度が算出されたがどうかが判定され（ステップ２１
４）、未だ合致度の算出が行われていない特徴ベクトル
が存在するならば、ステップ２０２に戻り、ステップ２
０２乃至２１４の動作が繰り返される。

【００３６】全ての特徴ベクトルに対し合致度の算出が
行われた場合には、ファジィルール・高次特徴ベクトル
抽出部４４４は、ファジィ推論部８に設定されているフ
ァジィルールのパラメータを取得して、画像データベー
ス１２に登録する（ステップ２１６）。ファジィルール
・高次特徴ベクトル抽出部４４４は、更に、現在の階層
レベルが最終階層であるかどうかを判定し（ステップ２
１８）、最終階層の場合には、目的のパターン分類が得
られているので、パターン分類処理を終了する。

【００３７】最終階層に達していない場合には、特徴ベ
クトル入力部４４２は、現状態のファジィ推論部８に特
徴ベクトルを入力する（ステップ２２０）。ファジィ推
論部８は、入力された特徴ベクトルに対し全てのファジ
ィルールを順次に適用して合致度を算出し（ステップ２
２２）、ファジィルール・高次特徴ベクトル抽出部４４
４は、算出された合致度を上記特徴ベクトルに対応する
高次特徴ベクトルとして画像データベース１２に登録す
る（ステップ２２４）。全ての特徴ベクトルに対し高次
特徴ベクトルが求められたかどうかが判定され（ステッ
プ２２６）、高次特徴ベクトルが未だ求められていない
特徴ベクトルが存在する場合、ステップ２２０に戻る。

【００３８】全ての特徴ベクトルに対し高次特徴ベクト
ルが生成された場合、ステップ２００に戻り、更なる階
層レベルに応じた高次特徴ベクトルを生成するよう、ス
テップ２００乃至２２６の処理が繰り返される。かかる
処理を繰り返すことにより、全ての階層についてパター
ン分類が行われ、特徴ベクトルの階層化されたパターン
分類結果が得られ、画像データベース１２に登録され
る。

【００３９】ここで、上記本発明の一実施例において用
いられているパターン分類の手法について説明する。本
発明の一実施例によるパターン分類は、特願平６−１２
６６０４号明細書に詳細に説明されているファジィルー
ルを適用したファジィ推論、より詳しくは、ファジィ的
な発想に基づいたクラスタリング手法を用いて実現され
ている。このファジィ集合による特徴ベクトルのクラス
タリング手法は、（１）全てのベクトル成分を使用する
必要はない、（２）一つの特徴ベクトルは複数のクラス
タに属していても構わないという点に注意が必要であ
る。

【００４０】更に、クラスタリングには、各クラスへの
帰属度を決めるための閾値があり、この値を調整するこ
とにより分類の数を変えることが可能である。各クラス
タには、例えば、図７に示す如く、クラスタの中心と広
がりとを表わすファジィルール、又は、パターンセット
が割り当てられている。同図の（ａ）は２次元の特徴ベ
クトルのパターン分類を行う特徴空間を示し、同図の
（ｂ）は特徴量１〜４の４種類のパターンセットの形状
を示している。

【００４１】以下では、上記の如くパターン分類されて
画像データベース１２に登録された画像データを検索す
る本発明の一実施例による画像データベース検索システ
ムの検索モジュールについて説明する。図８は本発明の
一実施例の画像データベース検索システムにおける画像
データベース検索処理を説明するフローチャートであ
る。同図に従って画像データベース検索処理を詳細に説
明する。

【００４２】ファジィ言語検索部６６は、入出力装置１
６を介して、予め定義された属性に対し曖昧に表わされ
た属性値の検索条件を受け（ステップ４００）、上記属
性値に関して上記検索条件を用いて画像データベース１
２に登録された画像データを検索する（ステップ４０
２）。検索用データ生成部６２は、検索対象となる画像
データをファジィ言語検索部６６で検索された画像デー
タに限定する（ステップ４０４）。次いで、検索用デー
タ生成部６２は、上記限定された画像データが画像デー
タベース１２に登録される際に分類されたパターンのカ
テゴリを抽出し（ステップ４０６）、抽出されたカテゴ
リの分類パターンを最も典型的に表わす画像データ、即
ち、分類パターンとの合致度が最も高い画像データをカ
テゴリ毎に選択する（ステップ４０８）。検索用データ
生成部６２は、上記カテゴリ毎に選択された画像データ
縮小画像を得て、分類パターンの階層構造に応じて入出
力装置１６に表示する（ステップ４１０）。

【００４３】表示された縮小画像の中から、入出力装置
１６を介して、少なくとも一つの検索対象に類似する画
像が選択される（ステップ４１２）。検索用データ生成
部６２は、上記選択された画像の特徴ベクトルを取得
し、かかる特徴ベクトルに加重平均等の演算を行って検
索用データとして合成特徴ベクトルを生成し、ファジィ
検索部６４に合成特徴ベクトルを送出する（ステップ４
１４）。

【００４４】合成特徴ベクトルを受けたファジィ検索部
６４は、画像データの階層化されたパターン分類に従っ
て画像データを検索するために上位階層から順に階層レ
ベルを設定し（ステップ４１６）、設定された階層に応
じたファジィルールを画像データベースから選択してフ
ァジィ推論部８に設定し、ファジィ推論部８を起動する
（ステップ４２０）。ファジィ推論部８は、検索用デー
タ生成部６２で作成された合成特徴ベクトルを入力し
（ステップ４２０）、上記ファジィルールを適用して、
合成特徴ベクトルと各ファジィルールとの合致度を算出
し、合致度をファジィ検索部６４に返す（ステップ４２
２）。ファジィ検索部６４は、得られた合致度を評価し
て、指定された階層のファジィルール、即ち、分類され
たパターンの中に上記号合成特徴ベクトルと近似するル
ールが検出する（ステップ４２４）。ここで、全ての階
層に関しファジィ検索が行われたかどうかを判定する
（ステップ４２６）。まだ最終階層に達していない場
合、ファジィ検索部６４は、ステップ４１６に戻って次
の階層を設定する。更に、次の階層に関し登録されてい
るファジィルール、即ち、パターンの中で、上記前の階
層のファジィ検索によって近似していると判定されたパ
ターンの下位の階層にあるパターンだけを選択し、その
選択された下位階層のパターンに関連するファジィルー
ルを選択した（ステップ４１８）後、ステップ４２０乃
至４２６の処理を繰り返す。

【００４５】ステップ４２６において最後の階層に関す
るファジィ検索が行われたと判定された場合、ファジィ
検索部６４は、最終的に上記合成特徴ベクトルと近似し
ていると判定されたファジィルールに関連付けられた少
なくとも一つのパターンに分類された画像データを抽出
し、その画像データを上記合成特徴ベクトルとの類似度
の順に並べて検索結果として出力する（ステップ４２
８）。このようにして、指定された曖昧条件と検索対象
類似画像を用いて画像データベースを検索し、所望の画
像データが抽出される。

【００４６】尚、上記ステップ４２８における画像デー
タと合成特徴ベクトルの類似度の判定は、例えば、画像
データの特徴ベクトルと合成特徴ベクトルとの距離計算
によって実現することが可能である。図９は本発明の他
の一実施例による画像データベース検索処理の概略的な
フローチャートである。図９に示す本発明の他の一実施
例の検索処理は、画像データに基づくファジィ検索を最
初に行い、その検索結果に対し、更に属性に関する言語
的検索を行う点を特徴としている。

【００４７】上記方法によれば、ファジィルールを用い
て階層的なカテゴリにパターン分類された画像データを
階層に応じて縮小されたアブストラクト画像として表示
し（ステップ４５０）、上記表示された画像の中から検
索対象画像と類似した少なくとも一つの画像を選択する
（ステップ４５２）。上記選択された少なくとも一の画
像の上記特徴ベクトルから合成特徴ベクトルを生成し
（ステップ４５４）、画像データベースから上記合成特
徴ベクトルに類似した特徴ベクトルを有するパターンを
抽出する（ステップ４５６）。次いで、画像データの属
性値に対する曖昧な検索条件を指定する（ステップ４５
８）。上記抽出されたパターンに属する画像データの中
で上記属性値の検索条件を用いて画像データの属性の言
語的ファジィ検索を行って、検索条件に合致する画像デ
ータを抽出し、検索結果を出力する（ステップ４６
２）。

【００４８】図１０は本発明の他の実施例による特徴ベ
クトルのパターン分類の階層化処理を説明するフローチ
ャートである。同図に示す方法は、最終階層の特徴ベク
トル空間が全空間に一致するよう画像の特徴抽出処理で
得られた特徴ベクトル空間から部分空間を階層的に選択
する。各階層で選択されるベクトルの成分は異なってい
ることが必要とされる。図１０に示すフローチャートを
参照して上記方法を詳細に説明する。

【００４９】特徴ベクトル入力部４４２は、最初にパタ
ーン分類を行う階層のレベルを設定し、画像データベー
ス１２から取得した階層レベルに応じたファジィルール
をファジィ推論部８に初期設定してファジィ推論部８を
起動し（ステップ２５０）、特徴ベクトル抽出部４２か
ら特徴ベクトルを入力し（ステップ２５２）、特徴ベク
トルの中から階層レベルに応じたベクトル空間を選択
し、特徴ベクトルの中で選択されたベクトル成分だけを
ファジィ推論部８に供給する（ステップ２５４）。以
下、図５の説明と同様に、ファジィ推論部８は、入力さ
れた特徴ベクトルにファジィルールを適用して、特徴ベ
クトルとファジィルールによって表わされたパターンと
の合致度を算出する（ステップ２５６）。全てのルール
が適用されたかどうかが判定され（ステップ２５８）、
未だ適用されていないルールがある場合には、ステップ
２５６に戻って更なる合致度の算出が行われ、全てのル
ールが適用されている場合には、ファジィ推論部８は推
論処理を終了し、算出された合致度を近似度判定部４４
４に供給する。

【００５０】近似度判定部４４４は、上記特徴ベクトル
に対し算出された各ファジィルールとの合致度を評価
し、近似パターン、即ち、合致度が所定の値を上回るフ
ァジィルールが存在するかどうかを判定する（ステップ
２６０）。近似パターンが存在する場合、近似度判定部
４４４は、上記近似パターンに関連するファジィルール
を上記特徴ベクトルの影響を考慮して変形するファジィ
ルール変形部４４６を起動する（ステップ２６２）。一
方、近似パターンが存在しない場合、近似度判定部４４
４は、上記特徴ベクトルに近似した新たなパターンに関
連する新しいファジィルールを作成するファジィルール
追加部４４８を起動する（ステップ２６４）。

【００５１】次いで、ファジィルール・高次特徴ベクト
ル抽出部４４４において全ての特徴ベクトルに対し合致
度が算出されたがどうかが判定され（ステップ２６
６）、未だ合致度の算出が行われていない特徴ベクトル
が存在するならば、ステップ２５２に戻り、ステップ２
５２乃至２６６の動作が繰り返される。

【００５２】全ての特徴ベクトルに対し合致度の算出が
行われた場合には、ファジィルール・高次特徴ベクトル
抽出部４４４は、ファジィ推論部８に設定されているフ
ァジィルールのパラメータを取得して、画像データベー
ス１２に登録する（ステップ２６８）。ファジィルール
・高次特徴ベクトル抽出部４４４は、更に、現在の階層
レベルが最終階層であるかどうかを判定し（ステップ２
７０）、最終階層の場合には、目的のパターン分類が得
られているので、パターン分類処理を終了する。最終階
層に達していない場合には、ステップ２５０に戻り、次
の階層に関する処理を行う。

【００５３】上記処理を繰り返すことにより、最終的に
全ての階層についてパターン分類が行われる。図１１は
かくして得られたパターン分類の階層構造を説明する図
である。上記の説明の如く、本発明の一実施例の画像デ
ータベース検索システムによれば、パターン分類部４６
は高次特徴ベクトル生成部４４に含まれ、高次特徴ベク
トル生成部において最終的なパターン分類結果を得るこ
とが可能である。しかしながら、図１２に示す如く、高
次特徴ベクトル生成部４４よりも簡単な構成を有する別
個のパターン分類部４６を設けてもよい。同図に示す如
く、本発明の他の実施例によるパターン分類部４６は、
ファジィルール登録部４７０から特徴ベクトル入力部４
６２への特徴ベクトルを供給するための接続が設けられ
ていない点で図６に示された高次特徴ベクトル生成部４
４とは異なっている。

【００５４】

【発明の効果】上記説明の如く、本発明によれば、画像
データは階層構造のクラスタに分類され、各クラスタは
ファジィルールで表わされる。従って、曖昧なデータ及
び検索条件を許容するファジィ推論に基づくマッチング
によって画像の特徴ベクトルがどのクラスタに格納され
ているかが分かるので、本質的に曖昧な要素を含む画像
データが分類されているパターンを検出し得る利点があ
る。

【００５５】更に、分類されたクラスタを階層構造化す
ることにより、各クラスタ内に含まれる画像データの数
が減少するので、検索空間が縮小し検索速度が向上する
利点が得られる。更に、本発明によれば、教師信号の有
無に係わらず特徴ベクトルのパターン分類が行われる。
又、階層的に特徴ベクトルのパターン分類を行うことに
より、画像処理によって抽出される特徴量が低次な、例
えば、統計的な特徴量であっても、段階的に高度な特徴
量に変換して、最終的に画像データのパターン分類が行
える利点がある。

【図面の簡単な説明】

【図１】本発明の原理説明図である。

【図２】本発明の原理構成図である。

【図３】本発明の一実施例の画像データベース検索シス
テムの構成図である。

【図４】本発明の一実施例による特徴ベクトル抽出処理
を説明する動作フローチャートである。

【図５】本発明の一実施例による特徴ベクトルのパター
ン分類の階層化処理を説明する動作フローチャートであ
る。

【図６】本発明の一実施例による高次特徴ベクトル生成
部の構成図である。

【図７】本発明の一実施例によるパターン分類の手法の
概念を説明する図である。

【図８】本発明の一実施例の画像データベース検索シス
テムにおける画像データベース検索処理を説明するフロ
ーチャートである。

【図９】本発明の他の一実施例による画像データベース
検索処理の概略的なフローチャートである。

【図１０】本発明の他の実施例による特徴ベクトルのパ
ターン分類の階層化処理を説明する動作フローチャート
である。

【図１１】本発明の他の実施例による特徴ベクトルのパ
ターン分類の階層構造を説明する図である。

【図１２】本発明の他の実施例によるパターン分類部の
構成図である。

【図１３】従来のＢ−木を用いた索引検索の一例の説明
図である。

【符号の説明】

２画像データベース検索装置４画像データベース登録モジュール６画像データベース検索モジュール８ファジィ推論部１０インタフェース部１２画像データベース４２特徴ベクトル抽出部４４高次特徴ベクトル生成部４６パターン分類部４８属性設定部６２検索用データ生成部６４ファジィ検索部６６ファジィ言語検索部

Claims

【特許請求の範囲】

【請求項１】画像検索用の画像データを画像データベ
ースに登録する方法であって、検索用の画像から上記画像の特徴量を表わす第１の特徴
ベクトルを抽出する特徴抽出段階と；上記画像の抽出さ
れた第１の特徴ベクトルをファジィルールに従って階層
的なカテゴリにパターン分類するパターン分類段階と；
上記第１の特徴ベクトルと上記パターン分類された階層
的なカテゴリの情報とから登録用データを生成し画像デ
ータベースに登録する画像データ登録段階とからなる、
画像データベースの構築方法。
【請求項２】上記特徴抽出段階は、上記画像データの
予め定義された属性に対し曖昧に表わされた属性値を設
定する段階を更に有する請求項１記載の画像データベー
スの構築方法。
【請求項３】上記パターン分類段階は、高次の特徴ベクトルを得るよう上記画像の上記第１の特
徴ベクトルをパターン分類し、所定の階層数に達するま
でパターン分類によって得られた高次の特徴ベクトルを
繰り返し的にパターン分類する請求項１又は２記載の画
像データベースの構築方法。
【請求項４】上記パターン分類段階は、上記パターン
分類を行う前に、上記特徴ベクトルに予め定義された属
性に対し曖昧に表わされた属性値を設定する段階を更に
有する請求項３項記載の画像データベースの構築方法。
【請求項５】上記パターン分類段階におけるパターン
分類は、上記特徴ベクトルを入力する段階と；上記入力された特
徴ベクトルに上記ファジィルールを適用して、上記特徴
ベクトルと上記分類された各パターンとの合致度を算出
する段階と；上記入力された特徴ベクトルが近似する上
記パターンが存在するかどうかを判定する段階と；上記
判定する段階において上記近似するパターンが存在しな
い場合に上記入力された特徴ベクトルに対応する新しい
パターンを作成し、上記判定する段階において上記近似
するパターンが存在する場合にその近似するパターンを
上記特徴ベクトルに応じて変形する段階とからなる請求
項１乃至４のうちいずれか１項記載の画像データベース
の登録方法。
【請求項６】画像を表わす特徴ベクトルを含む画像デ
ータがパターン分類されて登録された画像データベース
を検索する方法であって、上記画像データ中の画像の縮小されたアブストラクト画
像を表示する画像表示段階と；上記表示されたアブスト
ラクト画像の中から検索対象画像と類似したアブストラ
クト画像を有する少なくとも一つの上記画像データを選
択する検索条件指定段階と；上記選択された少なくとも
一の画像データの上記特徴ベクトルから検索用データを
生成する検索用データ生成段階と；上記生成された検索
用データを検索条件として上記画像データベースをファ
ジィルールに基づいて検索し、上記検索用データに対応
する上記画像データが分類されたパターンを得るファジ
ィ検索段階とからなる、画像データベースの検索方法。
【請求項７】画像を表わす特徴ベクトルを含む画像デ
ータがパターン分類されて登録された画像データベース
を検索する方法であって、上記画像データ中の画像の縮小されたアブストラクト画
像を表示する画像表示段階と；上記表示されたアブスト
ラクト画像の中から検索対象画像と類似したアブストラ
クト画像を有する少なくとも一つの上記画像データを選
択する検索条件指定段階と；上記選択された少なくとも
一の画像データの上記特徴ベクトルから検索用データを
生成する検索用データ生成段階と；上記生成された検索
用データを検索条件として上記画像データベースをファ
ジィルールに基づいて検索して画像データを得るファジ
ィ検索段階と；上記ファジィ検索段階において得られた
画像データの予め定義された属性の属性値に対し曖昧に
表わされた検索条件で言語的検索を行い、検索結果の画
像データを得る言語的検索段階とからなる、画像データ
ベースの検索方法。
【請求項８】画像を表わす特徴ベクトルを含む画像デ
ータがパターン分類されて登録された画像データベース
を検索する方法であって、上記画像データの予め定義された属性の属性値に対し曖
昧に表わされた検索条件で言語的検索を行い、画像デー
タを得る言語的検索段階と；上記言語的検索段階で得ら
れた上記画像データ中の画像の縮小されたアブストラク
ト画像を表示する画像表示段階と；上記表示されたアブ
ストラクト画像の中から検索対象画像と類似したアブス
トラクト画像を有する少なくとも一つの上記画像データ
を選択する検索条件指定段階と；上記選択された少なく
とも一の画像データの上記特徴ベクトルから検索用デー
タを生成する検索用データ生成段階と；上記生成された
検索用データを検索条件として上記画像データベースを
ファジィルールに基づいて検索して画像データを得るフ
ァジィ検索段階とからなる、画像データベースの検索方
法。
【請求項９】上記画像表示段階は、上記分類して登録
された画像データの中で上記分類の基準に最も合致する
画像データの画像を縮小し、上記アブストラクト画像と
して表示する請求項６乃至８のうちいずれか１項記載の
画像データベースの検索方法。
【請求項１０】更なるパターンが得られなくなるま
で、上記検索によって得られた画像データから新たな検
索用データを生成する段階と、上記生成された新たな検
索用データを検索条件として上記検索によって得られた
パターンの範囲内で上記画像データベースをファジィル
ールに基づいて検索する段階と、上記新たな検索用デー
タに対応する新たな画像データが分類されたパターンを
得る段階とを繰り返す階層的なファジィ検索段階を更に
有する請求項６乃至８のうちいすれか１項記載の画像デ
ータベースの検索方法。
【請求項１１】上記ファジィルールに基づく検索は、上記合成特徴ベクトルを入力する段階と；上記ファジィ
ルールに従って上記検索用データと、上記分類されたパ
ターンの合致度を算出する段階と；上記算出された合致
度が所定の閾値を超える上記パターンを検索結果として
出力する段階とからなる請求項１０記載の画像データベ
ースの検索方法。
【請求項１２】上記画像表示段階は、上記画像データ
ベースに登録された画像データを上記画像データの分類
に応じて階層的に表示する請求項１０記載の画像データ
ベースの検索方法。
【請求項１３】画像データベースに画像データを登録
する画像データベース登録モジュールと、上記画像デー
タベースから検索条件に合う画像データを検索する画像
データベース検索モジュールとからなる画像データベー
スの検索装置であって、ファジィルールを適用するファジィ推論手段を更に有
し、上記画像データベース登録モジュールは、画像データから画像の特徴ベクトルを抽出する特徴ベク
トル抽出手段と；上記特徴ベクトルを入力し、ファジィ
ルールを適用して高次の特徴ベクトルを生成する高次特
徴ベクトル生成手段と；上記画像データの上記特徴ベク
トルを入力し、ファジィルールを適用して上記入力され
た特徴ベクトルをパターンに分類するパターン分類手段
とからなり、上記画像データベース検索モジュールは、上記画像データベースに登録された上記画像データの縮
小アブストラクト画像を表示し、上記表示された画像の
中から検索用画像を選択し、上記選択された画像の画像
データに基づいて検索用データを生成する検索用データ
生成手段と；上記検索用データ生成手段により生成され
た上記検索用データを入力し、上記ファジィルールを適
用して上記画像データベースに登録された画像データの
パターンの中から上記検索用データに近似するパターン
を検索するファジィ検索手段とからなる、画像データベ
ースの検索装置。
【請求項１４】上記画像データベース登録モジュール
は、上記画像データに対し予め定義された属性データに
曖昧な状態を表わす属性値を設定する属性設定手段を更
に有し、上記画像データベース検索モジュールは、上記属性デー
タに対し、曖昧な状態を表わす検索条件を用いてファジ
ィ検索をかけるファジィ言語検索手段を更に有する、請
求項１２記載の画像データベースの検索装置。
【請求項１５】別のデータベースに上記画像データベ
ースを追加登録し上記別のデータベースから上記画像デ
ータを検索するよう上記別のデータベースに接続可能で
あり、上記画像データベース登録モジュールで作成され
た上記特徴ベクトル、上記画像データを上記別のデータ
ベースにデータベース化するインタフェース手段を更に
有する、請求項１３記載の画像データベースの検索装
置。
【請求項１６】上記パターン分類手段は、上記特徴ベクトルを入力し、上記入力された特徴ベクト
ルに上記ファジィルールを適用して、上記特徴ベクトル
と上記分類された各パターンとの合致度を算出する合致
度算出手段と；上記入力された特徴ベクトルが近似する
上記パターンが存在するかどうかを判定する近似度判定
手段と；上記近似度判定手段の判定において上記近似す
るパターンが存在しない場合に上記入力された特徴ベク
トルに対応する新しいパターンを作成するファジィルー
ル追加手段と；上記近似度判定手段の判定において上記
近似するパターンが存在する場合にその近似するパター
ンを上記特徴ベクトルに応じて変形するファジィルール
変形手段とからなる、請求項１３項記載の画像データベ
ースの検索装置。
【請求項１７】上記高次特徴ベクトル抽出手段は、上記特徴ベクトルを入力し、上記入力された特徴ベクト
ルに上記ファジィルールを適用して、上記特徴ベクトル
と上記分類された各パターンとの合致度を算出する合致
度算出手段と；上記入力された特徴ベクトルが近似する
上記パターンが存在するかどうかを判定する近似度判定
手段と；上記近似度判定手段の判定において上記近似す
るパターンが存在しない場合に上記入力された特徴ベク
トルに対応する新しいパターンを作成するファジィルー
ル追加手段と；上記近似度判定手段の判定において上記
近似するパターンが存在する場合にその近似するパター
ンを上記特徴ベクトルに応じて更新するファジィルール
変形手段と；上記合致度算出手段により算出された上記
特徴ベクトルと上記分類された各パターンとの合致度を
上記高次の特徴ベクトルの要素として出力する高次特徴
ベクトル生成手段とからなる、請求項１３項記載の画像
データベースの検索装置。
【請求項１８】上記ファジィ検索手段は、上記検索用データを入力し、上記入力された検索用デー
タに上記ファジィルールを適用して、上記特徴ベクトル
と上記分類された各パターンとの合致度を算出する合致
度算出手段と；上記入力された検索用データが近似する
上記パターンが存在するかどうかを判定する近似度判定
手段と；上記近似度判定手段の判定において上記近似す
るパターンであると判定されたカテゴリに属する画像デ
ータを検索結果として出力する検索結果出力手段とから
なる、請求項１３項記載の画像データベースの検索装
置。