JPH06168277A - 画像検索装置及び方法 - Google Patents

Abstract

(57)【要約】 【目的】画像データを迅速に検索する。 【構成】ユーザ指定入力手段１０１より画像を検索する
ための情報が入力されると、その情報を元に特徴量計測
手段１０２により特徴量を数値的に測定し、得られた特
徴量を量子化手段１０３により量子化する。量子化され
た特徴を基に対応づけテーブル１０４によりデータベー
ス１０６に格納された画像との対応づけをし、画像検索
手段１０５によってデータベース１０６から対象となる
画像データを検索する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像を含むデータを格
納し、たとえば言葉あるいは図形・画像パターンなどに
よる指定に応じてデータを取り出すデータベースシステ
ム等の画像検索装置及びその方法に関する。

【０００２】

【従来の技術】従来、この種のデータベースシステムに
おいては、登録時にデータにキーワードを付け、与えら
れたキーワードに対応するデータを検索するものがあっ
た。また、近年、このようなキーワード付けに適さない
対象データやキーワード付けの労力を省くために、予め
設けられたキーワードの代わりに画像から計測された特
徴量との差を計算し、これに基づいて検索を行なうデー
タベースシステムが検討されてきた。このような例は加
藤、下垣、藤村：「画像対話型商標：意匠データベース
TRADEMARK 」、電子通信情報学会論文誌vol.j72-DII, n
o.4, pp.535-544(1989) ( 以降、文献１と呼ぶ）や栗
田、下垣、加藤：「主観的類似度に適応した画像検
索」、情報処理学会論文誌、vol.31, no.2, pp.31-38
（1989）（以降、文献２と呼ぶ）に提案されている。文
献１による画像データベースシステムでは、図２の２０
１に示すような検索パターンを入力とし、これから濃淡
分布、周波数分布などの特徴量を計測し、各特徴量の値
を要素とする特徴量ベクトルＦ＝（ｆ１，ｆ２，…，ｆ
ｎ）を得る。（ここで、ｆ１，ｆ２などは個々の特徴量
の値である。）特徴量ベクトルＦをデータベースに格納
された各画像パターンｉの特徴量ベクトルＦｉ＝（ｆｉ
０，ｆｉ１，…，ｆｉｎ）との距離Ｄを数式１で計算
し、この距離の小さいデータを類似データとして提示す
る。また文献２の画像データベースシステムでは、「暖
かい」、「冷たい」、「やわらかい」、「新鮮な」など
の言葉と絵画データの持つ色分布特徴を対応づけ、検索
のために指示された言葉を特徴量に変換し、これをデー
タベース中の各データの持つ色特徴分布との比較により
指示に対応した画像データを検索している。

【０００３】

【数１】

【０００４】

【発明が解決しようとする課題】しかしながら上記従来
例では、検索の際に全てのデータに対して指示されたパ
ターンもしくは言葉から得られた特徴との距離計算を行
なっていたために、検索時間がかかるという欠点があっ
た。

【０００５】本発明は上記従来例に鑑みて成されたもの
で、短い検索時間でデータの検索ができる画像検索装置
を提供することを目的とする。

【０００６】

【課題を解決するための手段】及び

【作用】上記目的を達成するために、本発明の画像検索
装置は次のような構成からなる。

【０００７】複数の画像データを記憶する記憶手段と、
検索情報を入力する入力手段と、画像の特徴を特徴量と
して数値的に計測する計測手段と、前記特徴量を量子化
する量子化手段と、量子化された特徴量と前記記憶手段
に記憶された画像データとを対応づける対応づけ手段と
を具備する。

【０００８】また、蓄積された複数の画像データから所
望の画像データを検索する画像検索装置であって、前記
蓄積された画像データの特徴を表わす画像特徴量を計算
する手段と、前記画像特徴量をもとにキー画像の例示に
よる検索を行なう例示画検索手段と、前記蓄積された画
像データに付属して入力された付属情報により検索を行
なう付属情報検索手段と、前記例示画検索手段と前記付
属情報検索手段とを組み合わせた統合検索手段とを備え
る。

【０００９】また、蓄積する画像を入力する手段と、入
力された画像から画像の特徴を表わす特徴量を抽出する
手段と、例示画像を入力する手段と、前記複数の画像に
付属する付属情報を入力する手段と、前記画像と前記特
徴量と前記付属情報とを蓄積する手段と、前記例示画像
から画像の特徴を表わす特徴量を抽出する手段と、前記
付属情報による検索条件を入力する手段と、前記検索条
件と前記付属情報とに基づいて、蓄積された画像の中か
ら候補画像を限定する手段と、前記候補画像の特徴量と
例示画像の特徴量との類似度を数値化して求め、該類似
度に基いて候補順位を決定する手段とを備える。

【００１０】また、本発明の画像検索方法は次のような
構成からなる。

【００１１】検索情報を入力する入力工程と、前記検索
情報に基づいて画像の特徴を特徴量として数値的に計測
する計測工程と、前記特徴量を量子化する量子化工程
と、量子化された特徴量と記憶媒体に記憶された画像デ
ータとの対応表に基づいて前記特徴量と画像データとを
対応づける工程とを具備する。

【００１２】また、蓄積された複数の画像データから所
望の画像データを検索する画像検索方法であって、前記
蓄積された画像データの特徴を表わす画像特徴量を計算
する工程と、前記画像特徴量をもとにキー画像の例示に
よる検索を行なう例示画検索工程と、前記蓄積された画
像データに付属して入力された付属情報により検索を行
なう付属情報検索工程と、前記例示画検索工程と前記付
属情報検索工程とを組み合わせた統合検索工程とを備え
る。

【００１３】また、蓄積する画像を入力する工程と、入
力された画像から画像の特徴を表わす特徴量を抽出する
工程と、例示画像を入力する工程と、前記複数の画像に
付属する付属情報を入力する工程と、前記画像と前記特
徴量と前記付属情報とを蓄積する工程と、前記例示画像
から画像の特徴を表わす特徴量を抽出する工程と、前記
付属情報による検索条件を入力する工程と、前記検索条
件と前記付属情報とに基づいて、蓄積された画像の中か
ら候補画像を限定する工程と、前記候補画像の特徴量と
例示画像の特徴量との類似度を数値化して求め、該類似
度に基いて候補順位を決定する工程とを備える。

【００１４】

【実施例】

［第１実施例］図１は、本発明の第１の実施例であるデ
ータベースシステムの主たる構成を示した図である。図
において、１０１は検索のためのユーザからの指定を受
け検索情報ｉを出力するユーザ指定入力手段、１０２は
ユーザの指定した検索情報ｉを受けそれから特徴量ベク
トルｊを生成する特徴量計測変換手段、１０３は特徴量
ベクトルｊから対応づけテーブルへのインデクスｋを生
成する量子化手段、１０４はインデクスｋとデータベー
ス１０６内のデータとの対応づけを格納した対応づけテ
ーブル、１０５はインデクスにより対応づけテーブルか
ら得られた候補データ群ｌと特徴量ベクトルｊとを受け
検索情報に当てはまるデータを選択する画像検索手段、
１０６は画像データを含むデータを格納したデータベー
ス、１０７はデータベースの内容に応じて対応付けを制
御するための閾値配列設定手段である。

【００１５】図３は実施例のデータベースシステムによ
る検索処理を示した流れ図である。まずステップＳ３０
１で、ユーザ指定入力手段１０１がユーザから図２に示
すような画像・図形パターンもしくは言葉もしくはその
両方により検索すべき対象データの指定を受ける。次い
でステップＳ３０２で、特徴量計測変換手段が、画像・
図形パターンの場合には画像処理により特徴量を計測
し、言葉の場合には内部の変換テーブルにより与えられ
た言葉を特徴量に変換し、これらから特徴量ベクトルｊ
を生成する。続いてステップＳ３０３で量子化手段１０
３が特徴量ベクトルｊの各要素を変換量子化して対応づ
けテーブルのインデクスｋを生成する。ステップＳ３０
４では、インデクスｋで対応づけテーブル１０４を索く
ことにより候補データ群ｌを得る。ステップＳ３０５
で、画像検索手段１０５は候補データ群ｌの中の各デー
タの特徴量ベクトルと検索情報の特徴量ベクトルｊとの
違いを計算し、違いが小さいデータを検索結果として選
択する。

【００１６】ここで、ユーザは図２に示すようなラフス
ケッチと画像データのイメージを表す言葉とを用いて検
索したい画像を指定する。特徴量計測変換手段１０２に
おける特徴量計測は文献１及び文献２に示されているよ
うに多種多様であり、例えば、検索情報の画像・図形パ
ターンをフーリエ変換して得られる係数列やパターンを
二値化処理して得られた連結領域の面積や円形度などを
用いる。言葉からの特徴量変換に用いる変換テーブル
は、事前に多数の被験者に多数の画像パターンを観察さ
せて言葉との合致度合を評価させ、この合致度合と画像
パターンから計測される色特徴などの特徴量との相関を
計算するか、あるいは、合致度合と特徴量とを入出力と
するニューラルネットワークの学習により作成すること
ができる。このような手法のより詳細な説明は文献２に
与えられている。特徴量計測および特徴量変換により得
られた特徴量はこれらを要素とする特徴量ベクトルにま
とめられ、出力される。

【００１７】図４は量子化によるインデクスの生成を説
明する図である。特徴量ベクトルは利用する特徴量の数
を次元とするベクトルであり、２次元となることはほと
んどないが、ここでは簡単のために特徴量を２つ利用し
た場合である２次元の例を示す。

【００１８】図４における２つの軸はそれぞれの特徴量
の値を意味する。各軸はいくつかのしきい値（ｘ１，ｘ
２，…ｘｎ，ｙ１，ｙ２…，ｙｍ）により区切られ、複
数の領域に分割されている。特徴量ベクトルｊはこの特
徴量空間の１点に対応し、これに対する領域の番号がイ
ンデクスとなる。領域の番号は例えば、 ｘ_i ＜ｘ≦ｘ_i+1 ，ｙ_j ＜ｙ≦ｙ_j+1 の時にｊ＊（ｎ＋１）＋ｉとする。ただし、ｘ₀ ，ｙ₀
はマイナス無限大、ｘ_{n+ 1} ，ｙ_m+1 はプラス無限大とす
る。

【００１９】ここで、閾値ｘｉ，ｙｉなどを生成する方
法には色々あるが、固定的な閾値を与えた場合には、各
領域に含まれるデータの数に大小の違いが生じ、検索時
間にバラツキが発生するという問題点が生じる。これ
は、量子化手段１０３を以下に示すように構成すること
によって、非線形を含む多様な閾値配列を与えることで
解決することができる。

【００２０】図５は、図４に説明した量子化を実現する
ための一方式であり、比較量子化手段５０１と閾値配列
５０２から構成される。比較量子化手段５０１は、閾値
配列５０２にあるしきい値を順に参照しながら検索情報
からの特徴量ベクトルと比較し、各要素毎の比較結果か
らインデクスを作成する。なお、特徴量ベクトルの各次
元の要素の量子化に異なるしきい値を用いる場合には各
次元に対応したしきい値配列を用意する。

【００２１】図６は対応づけテーブルの構成を示したも
のであり、主テーブル６０１の各アドレスには対応する
データの識別子の配列へのポインタが格納されている。
６０２は対応するデータ識別子の配列の一例であり、配
列データの最後を示すものとして０が入っている。イン
デクスは相対アドレスとして利用され、そこに格納され
たデータ識別子の配列へのポインタが出力される。

【００２２】図７は画像検索手段１０５による検索の手
順のフローチャートである。まず、ステップＳ７０１に
おいて、識別子配列内の各データに対して、データベー
ス内に登録されている特徴量ベクトルを読み出し、ステ
ップＳ７０２において、これと検索情報から得られる特
徴ベクトルとの距離を前出の数式１により計算する。こ
れを全データについて行った後、ステップＳ７０４にお
いて、算出された距離をキーとして小さい順にデータを
ソーティングし、上位にいくつか（通常、１０から１０
０程度）を検索結果として出力する。尚、距離の計算方
式としては、パターン認識の教科書に説明されている各
種の距離尺度、例えばマハラノビス距離などを用いるこ
ともできる。

【００２３】図８は、図５に説明した量子化手段の閾値
配列５０２の内容をデータ内容に応じて設定するための
閾値配列設定手段１０７の内容を示した図である。デー
タベースに蓄えられた全データもしくは一部のデータを
対象に、順に特徴量計測手段１０２により各特徴量を計
算し、その値に対応する特徴量ヒストグラムカウンタ８
０２を１増加させることにより、対象とするデータ群に
対する特徴量ヒストグラムを計数する。続いて、閾値決
定手段８０３が特徴量ヒストグラムを参照して閾値を決
定し、閾値配列５０２に設定する。上記の閾値配列の決
定は各特徴量毎に繰り返し行なう。

【００２４】図９は閾値決定手段８０３の動作を示す流
れ図である。閾値決定手段８０３は、ステップＳ９０１
における初期化の後、ステップＳ９０２〜Ｓ９０５によ
り、ｉを加算しながら順に特徴量ヒストグラムカウンタ
８０２の内容Ｈ（ｉ）を参照して内部のレジスタｔに加
算すると共に、その値が特定の閾値Ｓ（これは対象デー
タ数Ｎ／閾値数ｎで計算される）を越えた場合に、ステ
ップＳ９０７において、その時のｉの値を閾値として閾
値配列５０２に設定し、ステップＳ９０８において、レ
ジスタｔからＳだけ値を減算する。これをすべての特徴
量ヒストグラムカウンタを参照し終わるまで繰り返すこ
とで閾値が決定される。このしきい値配列の設定は、以
下の２通りの形態で利用される。第１は、画像データの
登録以前に標準的なデータ群を用いて行われるものであ
り、これは標準的なしきい値配列として与えられる。第
２は、データベースに画像データが登録された後に、蓄
えられたデータに対してしきい値配列を最適化するもの
であり、この場合にはしきい値配列を再設定した後、デ
ータベース内の各画像データに対してインデクスの再計
算を行い、これに基づいて対応付けテーブルを作り直
す。

【００２５】以上説明したように、画像特徴量の計測手
段に加えて、特徴量の量子化手段と量子化された特徴量
と画像データを対応づける対応づけテーブルを具備する
ことにより、指示された検索情報から距離計算なしに候
補データを限定することができ、検索時間の短縮が可能
となる。また、量子化手段に閾値配列を具備することで
非線形量子化を行ない、対応付けテーブル内でのデータ
のバラツキを均一化することで検索時間のバラツキを少
なくすることができた。さらに、データベースに格納さ
れているデータに応じた閾値配列の設定手段を用意する
ことでデータベースの内容に応じて閾値を調整し、検索
時間のバラツキをさらに小さくすることが可能となっ
た。

【００２６】

【他の実施例】

［第２実施例］図１０は量子化手段１０３を実現する別
方式であり、比較量子化手段１００１と正規化計算手段
１００２から構成される。比較量子化手段１００１は正
規化計算手段１００２によりある値の範囲に正規化され
た特徴量の値をあらかじめ設定された閾値に従つて量子
化し、各要素毎の量子化結果からインデクスを作成す
る。正規化計算手段は例えば数式２のような計算を行な
う。

【００２７】

【数２】 ｏｕｔｐｕｔ＝（ａ＊ｉｎｐｕｔ＋ｂ）ｍｏｄ ｃ ここで、ａ，ｂ，ｃは前もって設定された定数である。
同様に任意のハッシュ関数や対数変換などが利用でき
る。なお、特徴量ベクトルの各次元の要素の値の分布が
異なる場合には各次元に対応した量子化手段を用意す
る。

【００２８】このようにしても、第１実施例と同じく検
索時間を短縮することができるという効果を得ることが
できる。 ［第３実施例］次に、本発明の第３の実施例の画像デー
タベースシステムの説明をする。

【００２９】従来、画像データベースから必要な画像を
検索する場合には、第１の方法として、画像の蓄積時に
付属情報として登録した言葉や記号等のキーワードを用
いて検索を行う方法があった。

【００３０】また、第２の方法として、蓄積する画像を
入力する際にその画像の特徴を表わす特徴量を複数個抽
出し、それらも入力画像と関連づけて画像データベース
に蓄積し、検索時には、入力された例示画像から前記特
徴を表わす複数の特徴量を抽出し、この抽出された特徴
量と画像データベースに蓄積された画像の対応する特徴
量の間で距離計算を行ない、求められた距離空間により
候補順位を決め、その順位をもとに表示するという方法
があった。

【００３１】しかしながら、第１の方法では画像データ
ベースの規模が大きく、表現内容が複雑になると、蓄積
される画像全てに体系的にキーワードを付与することは
極めて困難で、言語や記号などのキーワードのみでは必
要とする画像を一度では検索できないことも多い。

【００３２】また、第２の方法では、画像データベース
中の全ての画像に対し、特徴を表わす特徴量の比較及び
候補順位の決定が行なわれるため、候補として好ましく
ない画像が現われたり、所望の画像が上位候補にならな
かったり、利用者の意図にあった柔軟な画像の検索がで
きないという問題があった。

【００３３】本実施例においては、上記のような問題点
を解決し、利用者の意図にあった柔軟な画像の検索方法
を説明する。

【００３４】以下、第３の実施例を図面を用いながら説
明する。図１１は本実施例の装置のブロック図である。
図１１において、１０はデータベースに蓄積しておくべ
きデータを入力するための蓄積データ入力部、２０は入
力された画像に対して種々の特徴量を計算する特徴量計
算部、３０は入力されたデータを蓄積しているデータ蓄
積部、４０は所望のデータを得るための検索条件を設定
する検索条件入力部、５０は検索条件入力部４０より与
えられた検索条件からデータ蓄積部３０にあるデータの
うち候補となるデータを選び出す候補決定部、６０は本
実施例装置全体の制御を行なう制御部、７０はデータを
表示するための表示部である。

【００３５】蓄積データ入力部１０は、画像の入力を行
なう画像入力部１１と画像に付属した情報（画像名，日
付，その他必要な情報）を入力する付属情報入力部１２
からなる。データ蓄積部３０は、画像入力部１１から入
力された画像を蓄積する画像蓄積部３１、特徴量計算部
２０で計算された画像特徴量を蓄積する特徴量蓄積部３
２、付属情報入力部１２から入力された付属情報を蓄積
する付属情報蓄積部３３からなる。検索条件入力部４０
は、検索キーとなる画像を例示する例示画入力部４１、
付属情報による検索条件を指示する付属情報の検索条件
入力部４２、例示画像入力部４１で示された例示画と付
属情報の検索条件入力部４２で示された検索条件を組み
合わせて検索条件を指定する検索条件指定部４３とから
なる。候補決定部５０における画像分類部５１は、特徴
量蓄積部３２に蓄積されている各画像の特徴量ベクトル
をもとに蓄積されている画像を分類し、その結果を保持
している。付属情報による検索部５２は、付属情報の検
索条件入力部４２で入力された検索条件に合致するデー
タを設定する。さらに統合判定部５３では、例示画入力
部４１より入力された例示画と蓄積画像の分類結果の比
較、および付属情報による検索部５２において選定され
たデータとより総合的に合致するデータを選び出す。類
似度計算部５４は総合判定部５３で選び出されたデータ
に対する類似度を計算して候補画像を順位付ける。

【００３６】図１１の構成の装置において、画像の蓄積
には蓄積用の画像を画像入力部１１から入力する。入力
された画像に対し、特徴量計算部２０において画像の特
徴を表わす複数個の特徴量が計算され、入力された画像
とともにそれぞれ特徴量蓄積部３２と画像蓄積部３１へ
蓄積される。また、入力画像に対する付属情報（例え
ば、画像名、日付，その他必要な情報）を付属情報入力
部１２より入力し、入力画像および特徴量と対応づけて
付属情報蓄積部３３へ蓄積する。これらのデータを関連
付けて蓄積する方法は、既に公知である関係データベー
ス等のデータベースマネジメントシステムを用いれば容
易に行なえるのでここでは詳述しない。

【００３７】次に、検索機能に関して説明する。本実施
例における検索機能は、（ｉ）例示画による検索、（ｉ
ｉ）付属情報による検索、（ｉｉｉ）例示画と付属情報
の組合せによる検索の３つに分けられる。（ｉ）の例示
画による検索では、検索キーとなる画像を例示画入力部
４１に例示し、このキー画像に“似た画像”を選び出す
類似検索、及びこのキー画像に“似ていない画像”を選
び出す非類似検索が可能である。（ｉｉ）の付属情報に
よる検索では、画像の付属情報について何らかの検索条
件があらかじめ分かっているような場合は、付属情報の
検索条件入力部より付属情報の条件を入力して候補とな
るデータを選び出すことが可能である。（ｉｉｉ）の例
示画と付属情報の組合せによる検索では、（ｉ）と（ｉ
ｉｉ）の検索条件の論理和または論理積をとることがで
きる。例えば、例示したキー画像に“似ていない画像”
で、かつ付属情報の検索条件を満たすもの、例示したキ
ー画像に“似ている画像”または付属情報の検索条件を
満たすもの、等の検索が可能で、この指定を検索条件指
定部４３に行なう。これらの処理をさらに詳述する。
（ｉ）の例示画による検索では、例示画入力部４１に入
力されたキー画像の特徴量が特徴量計算部２０で、既に
蓄積されている画像の特徴量と同様に計算される。

【００３８】一方、画像分類部５１では、特徴量蓄積部
３２に蓄積された特徴量（一般にｎ個）で構成される空
間（ｎ次元）で、統計的手段等による求まる識別関数を
用いて、このｎ次元特徴量空間を複数個に分割し、画像
蓄積部３１へ蓄積されているデータを分類する。

【００３９】図１２に２次元の特徴量空間で画像データ
とａ，ｂ，ｃ３つのグループに分割した例を示す。キー
画像として例示された画像も計算された特徴量により、
この空間内の点として表わせるので、どのグループに属
するか判定することが可能である。ここで、例示画に
“似ている”条件での検索の場合、例示画が属するグル
ープの画像データは、類似度計算部５４へ送られ、キー
画像とグループ内の画像との特徴量を用いた類似度の計
算が行なわれ、類似度の小さい順に表示部７０に表示さ
れる。この類似度の計算に用いられる特徴量は、分類の
ために用いたのと同一の特徴量でも良いが、好ましい方
法としては、分類には画像の大域的な特徴を表わす特徴
量を類似度の計算には比較的詳細な特徴を記述できる特
徴量を用いると効果的である。

【００４０】次に、例示画に“似ていない”条件での検
索の場合、例示画が属するグループを除く全てのグルー
プの画像のデータを最終候補として表示部７０に表示す
る。例えば、図１２において、キー画像がグループａに
属するとすれば、グループｂ、およびｃに属する全ての
画像が最終候補となる。“似ていない”条件で類似度の
計算を行なわないのは、類似度の尺度が小さい（つまり
“似ていない”）領域では、人間の間隔として類似性の
距離尺度がほとんど意味を持たないためである。

【００４１】次に、（ｉｉ）の付属情報による検索で
は、付属情報の検索条件入力部４２より入力された検索
条件（文字列のマッチング，数値の一致，不一致，大小
関係，これらの論理和，論理積，否定等）により、付属
情報による検索部５２において付属情報蓄積部３３に蓄
積されているデータとの間で検索が行なわれ、条件に当
てはまるデータが最終候補として表示部７０に表示され
る。付属情報による検索は、関係データベース操作言語
ＳＱＬ等、公知なのでここでは詳述しない。

【００４２】（ｉｉ）の例示画と付属情報との組み合わ
せによる検索では、検索条件指定部４３で例示したキー
画像に“似ている”又は“似ていない”条件と付属情報
の検索条件との論理和又は論理積を指定すればよい。こ
の時、例示画で指定された条件に合った画像の集合を、
画像分類部５１より得ることができ、また付属情報によ
る検索条件に合った画像の集合を付属情報による検索部
５２より得ることができるので、統合判定部５３では検
索条件指定部４３で指定された「ＡＮＤ」または「Ｏ
Ｒ」の指定により、それぞれ上記の２つの集合の論理積
または論理和を取って得られた集合を統合判定部５３の
結果とする。次に、例示画の条件が“似ている”場合に
は、統合判定部５３で得られた画像の集合に対し、類似
度計算部５４において、（ｉ）の場合と同様にキー画像
との類似度を計算し、類似度の小さい画像から候補画像
として表示部７０に表示される。例示画の条件が“似て
いない”場合には、統合判定部５３で得られた画像の集
合を候補画像として表示部７０へ表示する。

【００４３】以上述べたように、本実施例によれば、画
像データの検索にあたって、例示されたキー画像に類似
又は非類似した画像を検索する例示画検索過程、および
画像に付属する付属情報によって画像を検索する付属情
報検索過程、および上記例示画検索過程と付属情報検索
過程とを組み合わせた統合検索過程とにより、画像デー
タに対する多様な検索方式を提供し、利用者の意図にあ
った柔軟な画像検索方式を実現できる利点がある。

【００４４】なお、本実施例の画像分類部５１では、画
像の分類のための識別関数を統計的な手法による線形の
識別関数の例を挙げたが、ニューラルネット等、非線系
の識別関数とすることができる。また、前もってどのよ
うな画像のクラスが存在するかが分からない場合には、
クラスタリングの手法を用いて画像を分類することも可
能である。また、付属情報による検索を最初に行い、付
属情報の適切な画像のみに対してさらに類似又は非類似
の検索を行うことで検索の効率化も可能である。 ［第４実施例］第４実施例として、データベースシステ
ムにおける画像検索の説明をする。

【００４５】従来、画像データベースから必要な画像を
検索する場合には、第１の方法として、画像の蓄積時に
付属情報として登録した言葉や記号等のキーワードを用
いて検索を行う方法がある。

【００４６】また、第２の方法として、蓄積する画像を
入力する際にその画像の特徴を表わす特徴量を複数個抽
出し、それらも入力画像と関連づけて画像データベース
に蓄積し、検索時には、入力された例示画像から前記特
徴を表わす複数の特徴量を抽出し、この抽出された特徴
量と画像データベースに蓄積された画像の対応する特徴
量の間で距離計算を行ない、求められた距離空間により
候補順位を決め、その順位をもとに表示するという方法
がある。

【００４７】しかしながら、第１の方法では、画像デー
タベースの規模が大きく表現内容が複雑になると、言語
や記号などのキーワードのみでは必要とする画像を一度
では検索できないことが多く、また第２の方法では、画
像データベース中の全ての画像に対し、特徴を表わす特
徴量の比較及び候補順位の決定が行われるため、検索前
から候補として現われるのに好ましくないと分かってい
る画像なども候補として挙げられるため、必要とする画
像が上位候補に上がりにくくなったり、また検索時間も
長くなるなど、利用者の意図にあった画像の検索ができ
ないという問題があった。

【００４８】本実施例では上記のような問題点を解決
し、効率的な類似画像の蓄積及び検索方法を提供する。

【００４９】図１３は、本実施例に係る装置のブロック
構成図を示す。

【００５０】図において、１は画像データベースシステ
ムであり、２は蓄積画像入力部、３はこの蓄積画像入力
部２によって入力された画像の特徴量の抽出部、４は付
属情報の入力部、また５は検索時の例示画像入力部、６
はこの例示画像入力部５によって入力された例示画像の
特徴量抽出部、７は付属情報の検索条件入力部、また８
は検索結果等の表示部である。

【００５１】画像データベースシステム１の１１は入力
画像の蓄積部、１２は特徴量抽出部３により抽出された
特徴量の蓄積部、１３は付属情報入力部４により入力さ
れた付属情報の蓄積部、１４は検索条件入力部７により
入力された条件による候補画像限定部１５は特徴量の蓄
積部１２内の特徴量と例示画像の特徴量抽出部６により
抽出された特徴量間との類似度計算部、１６はこの類似
度計算部１５により得られた類似度に基いた候補順位決
定部である。

【００５２】本実施例は、画像データベースシステム１
として関係データベースを用い、植物の葉の２値画像を
対象画像として実現した例である。

【００５３】まず画像の蓄積時には、画像データベース
作成者が蓄積用画像を蓄積画像入力部２に入力する。そ
うすると、特徴量抽出部３により画像の特徴を表わす複
数個の特徴量が抽出され、入力された画像とともに特徴
量蓄積部１２と画像蓄積部１１に蓄積される。

【００５４】図１５は、関係データベースに画像データ
を蓄積する形態の一例である。３１は画像ファイルのデ
ィレクトリのみをカラム内に格納する例、３２は画像デ
ータをベクトル列として直接カラム内に格納する例であ
る。また、関係データベースに特徴量データを蓄積する
方法の例として、特徴量の１つをｎ次元ベクトル（ｎは
特徴量によって異なる）とした時に、ｎ次元ベクトルを
ｎ個のカラムに格納する方法、ｎ次元ベクトルを画像デ
ータのようにバイト列形式で格納する方法などがあげら
れる。ここでは画像の特徴量として、８×８のメッシュ
ごとの黒画素の数、縦横各８本の短冊ごとの白黒反転回
転、円形度、伸長度などを用いる。

【００５５】また入力画像に付属する付属情報を付属情
報入力部４より入力し、入力画像と対応づけて付属情報
蓄積部１３に蓄積する。ここでは、たとえば画像ｉｄ、
名称、科名、生息地、花期などを画像の付属情報として
登録する。

【００５６】次に例示画像の検索時についてであるが、
本実施例の検索時の処理を示すフローチャートを図１４
に示し、説明する。

【００５７】まず、利用者が或る葉の２値画像を例示画
像として例示画像入力部５に入力する（Ｓ１４１）。こ
こでこの例示画像は、検索時に新たに入力する方法に加
え、画像データベース中に蓄積されている画像を例示画
像として用いることも可能である。このように例示画像
を示すと、特徴量抽出部６により入力画像から蓄積時と
同様の画像の特徴を表わす特徴量が抽出される（Ｓ１４
２）。また、例えば、検索により得たい葉の科名が分か
っているなど、画像の付属情報について何らかの検索条
件があらかじめ分かっているような場合は、検索条件入
力部７より付属情報の条件を入力する（Ｓ１４３）。こ
こで、この検索条件が入力されると、検索条件による候
補画像限定部１４によりこの入力された検索条件と画像
データベース１中の付属情報蓄積部１３に蓄積された付
属情報との間で検索が行なわれ、その条件に当てはまる
ものだけを候補画像と限定する（Ｓ１４４）。ここで
は、画像データベースとして関係データベースを用いて
いるので、データベース操作言語ＳＱＬを用いて検索を
行うことができる。例えば、“科名がバラ科である”と
いう検索条件として“select image_id where family='
bara' ”というように与えることにより、検索条件にあ
てはまる画像のみのimage_idを得ることができる。また
ここで、付属情報の検索条件が入力されない場合には、
全ての蓄積画像が候補画像となるようにすればよい。

【００５８】次に、この候補画像に対して順位づけを行
なうわけだが、まず、例示画像の特徴量と候補画像の特
徴量との間で類似度計算部１５により類似度の計算を行
なう（Ｓ１４５）。限定された候補画像に対して距離計
算を行う方法の例として、前記付属情報による検索によ
り得られたimage_idに対応する画像の特徴量に対して距
離計算を行う方法や、得られた候補画像もしくは画像ｉ
ｄを一度関係データベースのテーブルに格納しそのテー
ブルに対して距離計算を行う方法などがある。ここで、
類似度は例示画像と各蓄積画像の各特徴量間の距離計算
を行なうことにより求めているが、例えば、用いる特徴
量を任意に選択できたり、学習などにより得られた人間
の主観評価と各特徴量間の関係を利用し、各特徴量に重
みづけを与えたりすることも可能である。

【００５９】このようにして求められた類似度をもとに
候補順位決定部１６により例示画像に類似していると思
われる候補画像の候補順位を決定する（Ｓ１４６）。

【００６０】このようにして決定された候補順位に従
い、表示部８により、例えば第１候補のみ表示するとか
上位１０候補を表示し残りはウィンドウのボタン等を指
示することにより次の１０候補を表示するといったよう
に、指示した表示形態で表示する（Ｓ１４７）。

【００６１】以上の過程の後、利用者は必要とする画像
を蓄積画像の中から求めることができる。

【００６２】以上説明したように、本実施例の装置は、
画像データベースより類似の画像を検索する際に、例示
画像とそれに付属した何らかの付属情報を検索条件に与
えることにより、はじめから候補として望ましくない画
像を排除することができるため、検索精度が向上し、ま
た検索時間も短縮できるなど、効率的な類似検索を実現
できる効果がある。

【００６３】尚、本発明は、複数の機器から構成される
システムに適用しても１つの機器から成る装置に適用し
ても良い。また、本発明は、システム或は装置にプログ
ラムを供給することによって達成される場合にも適用で
きることはいうまでもない。

【００６４】

【発明の効果】以上説明したように、本発明にかかる画
像検索装置及び方法は、短い検索時間でデータの検索が
できるという効果がある。

【図面の簡単な説明】

【図１】第１実施例の主たる構成を示した図である。

【図２】ユーザによるデータ指定情報の例の図である。

【図３】本発明によるデータベースシステムの動作を示
す流れ図である。

【図４】特徴量空間の量子化の説明図である。

【図５】量子化手段の構成例の図である。

【図６】対応付けテーブルの構成を示す図である。

【図７】画像検索手段の動作を示した流れ図である。

【図８】量子化手段の閾値配列をデータ内容に応じて設
定する閾値配列設定手段の構成図である。

【図９】閾値決定手段の動作を示す流れ図である。

【図１０】量子化手段の別の構成例の図である。

【図１１】第３実施例のブロック図である。

【図１２】画像データを特徴量空間でグループ分けした
例を示す図である。

【図１３】第４実施例を示すブロック構成図である。

【図１４】第４実施例の検索時の処理の流れを示す流れ
図を示す図である。

【図１５】関係データベースに画像データを蓄積する形
態の一例の図である。

【符号の説明】

１０１ ユーザ指定入力手段、 １０２ 特徴量計測変換手段、 １０３ 量子化手段、 １０４ 対応づけテーブル、 １０５ 画像検索手段、 １０６ 画像データを含むデータを格納したデータベー
ス、 １０７ 閾値配列設定手段、 ｉ 検索情報、 ｊ 特徴量ベクトル、 ｋ 対応づけテーブルへのインデクス、 ｌ 対応づけテーブルから得られた候補データのリス
ト、 ５０１ 量子化手段１０３内の比較量子化手段、 ５０２ 閾値配列、 ８０２ 閾値配列設定手段の中の特徴量ヒストグラムカ
ウンタ、 ８０３ 閾値決定手段である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 志村 典男 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (9)

【特許請求の範囲】
1. 【請求項１】 複数の画像データを記憶する記憶手段
   と、 検索情報を入力する入力手段と、 画像の特徴を特徴量として数値的に計測する計測手段
   と、 前記特徴量を量子化する量子化手段と、 量子化された特徴量と前記記憶手段に記憶された画像デ
   ータとを対応づける対応づけ手段と、を具備することを
   特徴とする画像検索装置。
2. 【請求項２】 前記量子化手段は、前記特徴量を非線形
   に量子化することを特徴とする請求項１記載の画像検索
   装置。
3. 【請求項３】 前記量子化手段は、前記記憶手段に記憶
   された画像データを計測して得られる特徴量に基づいて
   量子化のしきい値を決定することを特徴とする請求項２
   記載の画像検索装置。
4. 【請求項４】 前記対応づけ手段は、量子化された特徴
   量と画像データとを対応づける表に基づいて対応づけを
   行うことを特徴とする請求項１記載の画像検索装置。
5. 【請求項５】 検索情報を入力する入力工程と、 前記検索情報に基づいて画像の特徴を特徴量として数値
   的に計測する計測工程と、 前記特徴量を量子化する量子化工程と、 量子化された特徴量と記憶媒体に記憶された画像データ
   との対応表に基づいて前記特徴量と画像データとを対応
   づける工程と、を具備することを特徴とする画像検索方
   法。
6. 【請求項６】 蓄積された複数の画像データから所望の
   画像データを検索する画像検索装置であって、 前記蓄積された画像データの特徴を表わす画像特徴量を
   計算する手段と、 前記画像特徴量をもとにキー画像の例示による検索を行
   なう例示画検索手段と、 前記蓄積された画像データに付属して入力された付属情
   報により検索を行なう付属情報検索手段と、 前記例示画検索手段と前記付属情報検索手段とを組み合
   わせた統合検索手段と、を備えることを特徴とする画像
   検索装置。
7. 【請求項７】 蓄積された複数の画像データから所望の
   画像データを検索する画像検索方法であって、 前記蓄積された画像データの特徴を表わす画像特徴量を
   計算する工程と、 前記画像特徴量をもとにキー画像の例示による検索を行
   なう例示画検索工程と、 前記蓄積された画像データに付属して入力された付属情
   報により検索を行なう付属情報検索工程と、 前記例示画検索工程と前記付属情報検索工程とを組み合
   わせた統合検索工程と、を備えることを特徴とする画像
   検索方法。
8. 【請求項８】 蓄積する画像を入力する手段と、 入力された画像から画像の特徴を表わす特徴量を抽出す
   る手段と、 例示画像を入力する手段と、 前記複数の画像に付属する付属情報を入力する手段と、 前記画像と前記特徴量と前記付属情報とを蓄積する手段
   と、 前記例示画像から画像の特徴を表わす特徴量を抽出する
   手段と、 前記付属情報による検索条件を入力する手段と、 前記検索条件と前記付属情報とに基づいて、蓄積された
   画像の中から候補画像を限定する手段と、 前記候補画像の特徴量と例示画像の特徴量との類似度を
   数値化して求め、該類似度に基いて候補順位を決定する
   手段と、を備えることを特徴とする画像検索装置。
9. 【請求項９】 蓄積する画像を入力する工程と、 入力された画像から画像の特徴を表わす特徴量を抽出す
   る工程と、 例示画像を入力する工程と、 前記複数の画像に付属する付属情報を入力する工程と、 前記画像と前記特徴量と前記付属情報とを蓄積する工程
   と、 前記例示画像から画像の特徴を表わす特徴量を抽出する
   工程と、 前記付属情報による検索条件を入力する工程と、 前記検索条件と前記付属情報とに基づいて、蓄積された
   画像の中から候補画像を限定する工程と、 前記候補画像の特徴量と例示画像の特徴量との類似度を
   数値化して求め、該類似度に基いて候補順位を決定する
   工程と、を備えることを特徴とする画像検索方法。