JPH1139317A

JPH1139317A - 画像検索装置および記録媒体

Info

Publication number: JPH1139317A
Application number: JP9189433A
Authority: JP
Inventors: Hideyuki Kobayashi; 秀行小林
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 1997-07-15
Filing date: 1997-07-15
Publication date: 1999-02-12
Anticipated expiration: 2017-07-15
Also published as: JP3649264B2

Abstract

(57)【要約】【課題】自由で自然に近いキーワードを用いて画像検
索を行うことができるようにする。【解決手段】キーワードと画像特徴量との関係を表す
対応表を記憶しておく。画像特徴量は、色情報と形状情
報で構成する。キーワードが入力されたとき、対応表に
従って、これを画像特徴量に変換する。画像データベー
スに記録されている画像データを画像特徴量に変換し、
キーワードから変換された画像特徴量と比較する。比較
結果に対応して、その画像特徴量を有する画像データを
検索する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像検索装置およ
び記録媒体に関し、特に、画像データをキーワードによ
り、簡単かつ確実に、検索することができるようにし
た、画像検索装置および記録媒体に関する。

【０００２】

【従来の技術】従来、画像を検索する方法として、パタ
ーンマッチングによる方法と、キーワードを利用する方
法とが知られている。

【０００３】パターンマッチングによる方法において
は、画像データが、画素単位でマッチングするか否かが
判定される。

【０００４】これに対して、キーワードを用いる方法に
おいては、各画像毎に、適当なキーワードをユーザが入
力し、画像を検索するとき、画像を入力するのではな
く、キーワードを入力し、そのキーワードが対応されて
いる画像を検索するようにしている。

【０００５】

【発明が解決しようとする課題】しかしながら、パター
ンマッチングによる方法は、検索に時間がかかる課題が
ある。

【０００６】これに対して、キーワードを用いる方法
は、検索は迅速に行うことができるが、そのデータベー
スを管理する管理者が、各画像毎にキーワードを設定す
る操作が必要となり、データベースを作成し、維持する
のに大きな労力が必要となる。また、検索は、管理者が
使用したキーワードを用いて行う必要があるため、自由
な用語を用いて検索を行うことができない課題があっ
た。

【０００７】さらにまた、管理者が設定するキーワード
が適切でないと、所望の画像を検索することができなく
なってしまい、キーワードの設定操作が、検索の精度に
大きく影響する課題があった。

【０００８】本発明はこのような状況に鑑みてなされた
ものであり、簡単かつ確実に、所望の画像を検索するこ
とができるようにするものである。

【０００９】

【課題を解決するための手段】請求項１に記載の画像検
索装置は、画像特徴量とキーワードとの関係を記憶する
記憶手段と、記憶手段に記憶されている画像特徴量とキ
ーワードとの関係を参照して、入力されたキーワード
を、対応する画像特徴量に変換するキーワード変換手段
と、データベースに記憶されている画像データを、画像
特徴量に変換する画像変換手段と、画像変換手段により
変換された画像特徴量と、キーワード変換手段により変
換された画像特徴量とを比較する比較手段と、比較手段
の比較結果に対応して、データベースから画像データを
検索する検索手段とを備えることを特徴とする。

【００１０】画像を複数の領域に分割する分割手段をさ
らに設けることができる。この場合、複数の領域のうち
の、所定の位置の領域の画像の検索を行うようにした
り、背景以外の領域の画像の検索を行うようにすること
ができる。画像が背景の画像であるか否かは、画像の外
枠の占める割合から判定するようにすることができる。
あるいはまた、背景以外の領域を、１つの領域の画像と
して検索させるようにすることができる。

【００１１】画像特徴量またはキーワードには優先度を
設定し、その優先度に対応して検索を行わせるようにす
ることができる。

【００１２】画像特徴量が、色情報と形状情報とを含む
場合、色情報と形状情報のいずれが優先するかを、各キ
ーワード毎に設定するようにすることができる。、ま
た、所定のモードが設定されたとき、色情報と形状情報
のうちの一方だけで検索を行うようにすることもでき
る。

【００１３】１つのキーワードには、複数の画像特徴量
を対応させたり、また、１つの画像特徴量には、複数の
キーワードを対応させることができる。

【００１４】請求項１１に記載の記録媒体は、画像特徴
量とキーワードとの関係を記憶する記憶ステップと、記
憶ステップで記憶されている画像特徴量とキーワードと
の関係を参照して、入力されたキーワードを、対応する
画像特徴量に変換するキーワード変換ステップと、デー
タベースに記憶されている画像データを、画像特徴量に
変換する画像変換ステップと、画像変換ステップで変換
された画像特徴量と、キーワード変換ステップで変換さ
れた画像特徴量とを比較する比較ステップと、比較ステ
ップでの比較結果に対応して、データベースから画像デ
ータを検索する検索ステップとを備えるプログラムが記
録されていることを特徴とする。

【００１５】請求項１２に記載の画像検索装置は、画像
データを色を基準にして複数の領域に分割する分割手段
と、分割手段により分割された画像データの形状情報を
抽出する形状情報抽出手段と、分割手段により分割され
た画像データの色情報を抽出する色情報抽出手段と、形
状情報抽出手段により抽出された形状情報と、入力され
た形状情報とを比較する形状情報比較手段と、色情報抽
出手段により抽出された色情報と、入力された色情報と
を比較する色情報比較手段と、形状情報比較手段と色情
報比較手段による比較結果に対応して、データベースか
ら画像データを検索する検索手段とを備えることを特徴
とする。

【００１６】この分割手段には、画像の解像度を低下さ
せた後、同一の色の領域毎に分割を行わせるようにする
ことができる。

【００１７】請求項１４に記載の記録媒体は、画像デー
タを色を基準にして複数の領域に分割する分割ステップ
と、分割ステップで分割された画像データの形状情報を
抽出する形状情報抽出ステップと、分割ステップで分割
された画像データの色情報を抽出する色情報抽出ステッ
プと、形状情報抽出ステップで抽出された形状情報と、
入力された形状情報とを比較する形状情報比較ステップ
と、色情報抽出ステップで抽出された色情報と、入力さ
れた色情報とを比較する色情報比較ステップと、形状情
報比較ステップと色情報比較ステップによる比較結果に
対応して、データベースから画像データを検索する検索
ステップとを備えるプログラムが記録されていることを
特徴とする。

【００１８】請求項１５に記載の画像検索装置は、キー
ワードと画像特徴量との対応関係を表すテーブルを記憶
するテーブル記憶手段と、テーブルを参照して、画像特
徴量を対応するキーワードに、またはキーワードを対応
する画像特徴量に変換する変換手段と、変換手段により
変換されたキーワードまたは画像特徴量を出力する出力
手段とを備えることを特徴とする。

【００１９】キーワードが対応する関連キーワードを選
択する、キーワード選択手段をさらに設けることができ
る。

【００２０】請求項１７に記載の記録媒体は、キーワー
ドと画像特徴量との対応関係を表すテーブルを記憶する
テーブル記憶ステップと、テーブルを参照して、画像特
徴量を対応するキーワードに、またはキーワードを対応
する画像特徴量に変換する変換ステップと、変換ステッ
プで変換されたキーワードまたは画像特徴量を出力する
出力ステップとを備えるプログラムが記録されているこ
とを特徴とする。

【００２１】請求項１に記載の画像検索装置および請求
項１１に記載の記録媒体においては、データベースに記
憶されている画像データが画像特徴量に変換される。ま
た、画像特徴量とキーワードとの関係が記憶されてお
り、この記憶されている関係を参照して、入力されたキ
ーワードが、対応する画像特徴量に変換される。画像デ
ータから変換された画像特徴量と、キーワードから変換
された画像特徴量とが比較され、その比較結果に対応し
て、データベースから画像データが検索される。

【００２２】請求項１２に記載の画像検索装置および請
求項１４に記載の記録媒体においては、画像が複数の領
域に分割され、分割された画像の形状情報と色情報が抽
出される。そして、抽出された形状情報と色情報に対応
して、データベースから画像データが検索される。

【００２３】請求項１５に記載の画像検索装置および請
求項１７に記載の記録媒体においては、キーワードと画
像特徴量との対応関係を表すテーブルが記憶されてお
り、このテーブルを参照して、画像特徴量が対応するキ
ーワードに、またはその逆に、変換が行われ、変換され
たキーワードまたは画像特徴量が出力される。

【００２４】

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。

【００２５】請求項１に記載の画像検索装置は、画像特
徴量とキーワードとの関係を記憶する記憶手段（例え
ば、図２の画像特徴データベース２４）と、記憶手段に
記憶されている画像特徴量とキーワードとの関係を参照
して、入力されたキーワードを、対応する画像特徴量に
変換するキーワード変換手段（例えば、図５のステップ
Ｓ２）と、データベースに記憶されている画像データ
を、画像特徴量に変換する画像変換手段（例えば、図５
のステップＳ６）と、画像変換手段により変換された画
像特徴量と、キーワード変換手段により変換された画像
特徴量とを比較する比較手段（例えば、図５のステップ
Ｓ８）と、比較手段の比較結果に対応して、データベー
スから画像データを検索する検索手段（例えば、図５の
ステップＳ１０）とを備えることを特徴とする。

【００２６】請求項２に記載の画像検索装置は、画像を
複数の領域に分割する分割手段（例えば、図１２のステ
ップＳ６１）をさらに備えることを特徴とする。

【００２７】請求項１２に記載の画像検索装置は、画像
データを色を基準にして複数の領域に分割する分割手段
（例えば、図１２のステップＳ６１）と、分割手段によ
り分割された画像データの形状情報を抽出する形状情報
抽出手段（例えば、図１２のステップＳ６４）と、分割
手段により分割された画像データの色情報を抽出する色
情報抽出手段（例えば、図１２のステップＳ６３）と、
形状情報抽出手段により抽出された形状情報と、入力さ
れた形状情報とを比較する形状情報比較手段（例えば、
図１５のステップＳ８３）と、色情報抽出手段により抽
出された色情報と、入力された色情報とを比較する色情
報比較手段（例えば、図１５のステップＳ８４）と、形
状情報比較手段と色情報比較手段による比較結果に対応
して、データベースから画像データを検索する検索手段
（例えば、図５のステップＳ１０）とを備えることを特
徴とする。

【００２８】請求項１５に記載の画像検索装置は、キー
ワードと画像特徴量との対応関係を表すテーブルを記憶
するテーブル記憶手段（例えば、図２の画像特徴データ
ベース２４）と、テーブルを参照して、画像特徴量を対
応するキーワードに、またはキーワードを対応する画像
特徴量に変換する変換手段（例えば、図１９のステップ
Ｓ１１２）と、変換手段により変換されたキーワードま
たは画像特徴量を出力する出力手段（例えば、図１９の
ステップＳ１１９）とを備えることを特徴とする。

【００２９】図１は、本発明の画像検索装置の構成例を
表している。キーボード１は、文字を入力するとき、ユ
ーザにより操作される。タブレット２は、ペン２Ａで、
その上を操作することで、例えば、検索すべき画像が入
力される。再生装置３は、固体メモリ、ディスク、テー
プなどの記録媒体に記録されている画像データを再生す
る。ディスプレイ４は、画像を表示する。インタフェー
ス５は、これらのキーボード１乃至ディスプレイ４と、
制御回路１０の間のインタフェース処理を行う。制御回
路１０は、例えば、マイクロコンピュータなどにより構
成され、各部を制御する。

【００３０】キーワード画像特徴量変換装置６は、キー
ワードを画像特徴量に変換したり、あるいは逆に、画像
特徴量をキーワードに変換する処理を行う。画像データ
画像特徴量変換装置７は、画像データを画像特徴量に変
換する処理を行う。特徴量マッチング装置８は、キーワ
ード画像特徴量変換装置６、または画像データ画像特徴
量変換装置７より供給された画像特徴量を、画像データ
ベース９より読み出された画像特徴量と比較する処理を
行う。画像データベース９は、複数の画像の画像データ
をデータベースとして記憶している。

【００３１】なお、これらのキーワード画像特徴量変換
装置６乃至画像データベース９は、ハードウェアにより
構成することもできるが、ソフトウェアプログラムによ
り構成することもできる。

【００３２】図２は、キーワード画像特徴量変換装置６
の構成例を表している。関連キーワード出力装置２１
は、関連キーワードデータベース２３に接続されてお
り、キーワードが入力されたとき、それに関連する関連
キーワードを検索し、出力するようになされている。関
連キーワードデータベース２３には、所定のキーワード
に対応する関連キーワードがデータベースとして登録さ
れている。文字画像変換装置２２は、画像特徴データベ
ース２４に接続されており、キーワードが入力される
と、画像特徴データベース２４を参照して、そのキーワ
ードに対応する画像特徴量を出力するかまたはその逆
に、画像特徴量が入力されると、対応するキーワードを
検索し、出力するようになされている。画像特徴データ
ベース２４には、キーワードと画像特徴量の対応関係を
表す変換テーブルが記憶されている。

【００３３】図３は、画像データ画像特徴量変換装置７
の構成例を表している。領域分割装置３１は、入力され
た画像データを複数の領域に分割し、各領域の画像デー
タを色情報抽出装置３２と形状情報抽出装置３３に出力
している。色情報抽出装置３２と形状情報抽出装置３３
は、領域分割装置３１より入力された各領域毎の画像デ
ータから色情報よりなる画像特徴または形状情報よりな
る画像特徴量を抽出し、出力するようになされている。

【００３４】図４は、特徴量マッチング装置８の構成例
を表している。形状情報比較装置４１は、キーワード画
像特徴量変換装置６、または画像データ画像特徴量変換
装置７が出力した形状情報と、画像データベース９より
読み出された形状情報とを比較し、その比較結果（形状
類似度）を類似度統合部４３に出力するようになされて
いる。また、色情報比較装置４２は、キーワード画像特
徴量変換装置６、または画像データ画像特徴量変換装置
７が出力する色情報と、画像データベース９より読み出
された色情報とを比較し、その比較結果（色類似度）
を、類似度統合部４３に出力している。類似度統合部４
３は、形状情報比較装置４１より供給される形状類似度
と、色情報比較装置４２より供給される色類似度とを統
合して、総合類似度とし、判定部４４に出力している。
判定部４４は、総合類似度の値から、２つの画像の類似
度を判定し、判定結果を制御回路１０に出力するように
なされている。

【００３５】次に、図５のフローチャートを参照して、
画像検索処理について説明する。いま、この処理で、所
定のキーワードを入力して、そのキーワードに対応する
画像を検索するものとする。

【００３６】最初に、ステップＳ１において、ユーザ
は、キーボード１を操作し、所定のキーワード（例えば
「自然」）を入力する。制御回路１０は、インタフェー
ス５を介して、このキーワードの入力を受けたとき、ス
テップＳ２において、このキーワードをキーワード画像
特徴量変換装置６に供給し、キーワード画像特徴量変換
処理を実行させる。この処理の詳細は、図６のフローチ
ャートに示されている。

【００３７】すなわち、キーワード画像特徴量変換装置
６は、ステップＳ２１において、関連キーワード出力処
理を実行する。この関連キーワード出力処理の詳細は、
図７のフローチャートに示されている。

【００３８】最初に、ステップＳ４１において、関連キ
ーワード出力装置２１は、制御回路１０からキーワード
が供給されてきたとき、このキーワードを初期キーワー
ドに設定する。いまの場合、「自然」のキーワードが初
期キーワードとして設定される。

【００３９】次に、ステップＳ４２に進み、関連キーワ
ード出力装置２１は、ステップＳ４１で設定した初期キ
ーワードを親キーワードとして設定する。ステップＳ４
３においては、親キーワードに対して子キーワードが検
索される。すなわち、関連キーワード出力装置２１は、
関連キーワードデータベース２３を参照して、「自然」
を親キーワードとする子キーワードを検索する。これに
より、例えば、図８に示すように、「自然」の親キーワ
ード（初期キーワード）に対して、「海」、「山」、お
よび「空」の３つの第１ランクの子キーワード（関連キ
ーワード）が検索される。

【００４０】次にステップＳ４４において、関連キーワ
ード出力装置２１は、子キーワードが第３ランクに達し
たか否かを判定する。いまの場合、第１ランクの子キー
ワードが検索されただけであるので、ＮＯの判定が行わ
れ、ステップＳ４５に進む。ステップＳ４５において
は、子キーワードが、親キーワードにシフトされる。い
まの場合、例えば「海」の子キーワードが、親キーワー
ドに設定される。

【００４１】次に、ステップＳ４３に戻り、「海」の親
キーワードに対する子キーワードが、関連キーワードデ
ータベース２３から検索される。これにより、例えば、
図８に示すように、「山」、「川」、および「魚」の子
キーワードが検索される。

【００４２】ステップＳ４５においては、他のキーワー
ド「山」と「空」も、それぞれ親キーワードに設定され
る。その結果、ステップＳ４３においては、「山」の親
キーワードに対する子キーワードと、「空」の親キーワ
ードに対応する子キーワードが検索される。図８の表示
例においては、「山」の親キーワードに対して、
「森」、「川」、および「自然」の子キーワードが検索
され、「空」の親キーワードに対して、「青」、
「海」、および「地球」の子キーワードが検索されてい
る。以上により、第２ランクの子キーワードが検索され
たことになる。

【００４３】次に、ステップＳ４４に進み、子キーワー
ドが第３ランクに達したか否かが判定される。いまの場
合、まだ達していないので、再び、ステップＳ４５とス
テップＳ４３の処理が実行され、図８に示すように、第
２ランクのキーワードを親キーワードとする第３ランク
の子キーワードが検索される。このようにして、第３ラ
ンクまでの検索が行われると、合計４０個（＝１＋３＋
９＋２７）のキーワード（但し、中には同一のキーワー
ドもある）が検索される。

【００４４】ステップＳ４４において、第３ランクまで
の子キーワードが検索されたと判定された場合、ステッ
プＳ４６に進み、関連キーワードに重み付けを行い、関
連度を算出する処理が実行される。

【００４５】ここでは、初期キーワードは関連度が８と
され、第１ランクの関連キーワードは関連度が４とさ
れ、第２ランクのキーワードは関連度が２とされ、第３
ランクのキーワードは関連度が１とされる。そして、同
一のキーワードが複数のランクで重複して現れている場
合、また、同一のランクにおいて、同一のキーワードが
重複して現れている場合には、それぞれの関連度の値が
加算されて、そのキーワードの関連度とされる。

【００４６】例えば、図８の例においては、初期キーワ
ードから第２ランクまでの間において、「自然」のキー
ワードは、初期キーワードと第２ランクに１回ずつ現れ
る。従って、「自然」の関連度は１０（＝８＋２）とさ
れる。

【００４７】「海」のキーワードは、第１ランクにおい
て１回出現し、第２ランクにおいても１回出現してい
る。そこで、この「海」の関連度は、６（＝４＋２）と
される。「川」のキーワードは、第２ランクにおいて２
回出現しているので、その関連度は４（＝２＋２）とさ
れる。

【００４８】「地球」のキーワードは、第２ランクにお
いて１回出現するだけなので、その関連度は２とされ
る。

【００４９】以上のようにして、出現したすべてのキー
ワードに対する関連度の算出が行われたとき、ステップ
Ｓ４７において、関連キーワード出力装置２１は、関連
度の高い順に５個のキーワードを選択する。そして、ス
テップＳ４８において、選択した関連キーワードを出力
する。

【００５０】以上のようにして、図６のステップＳ２１
の関連キーワード出力処理が完了したとき、関連キーワ
ード出力装置２１は、ステップＳ２２で、ステップＳ２
１で選択した５個の関連キーワードを文字画像変換装置
２２に出力する。文字画像変換装置２２は、関連キーワ
ード出力装置２１から５個の間連キーワードの供給を受
けたとき、ステップＳ２３において、画像特徴データベ
ース２４を参照して、文字画像変換処理を実行する。

【００５１】画像特徴データベース２４には、例えば、
図９に示すように、キーワードと画像特徴量が対応付け
て、変換テーブルとして記憶されている。画像特徴量
は、色情報と形状情報に区分されている。

【００５２】図１０と図１１は、画像特徴データベース
のキーワードと画像特徴量の対応関係の例を表してい
る。図１０は、「山」のキーワードに、色情報として
「緑」が、また、形状情報として「三角形」が、それぞ
れ対応されている。

【００５３】図１１の例においては、「海」のキーワー
ドに対して、「青」の色情報と、「四角形」の形状情報
が対応されている。

【００５４】文字画像変換装置２２は、関連キーワード
出力装置２１から供給された５個の間連キーワードに対
応する画像特徴量（形状情報と色情報）を画像特徴デー
タベース２４から検索し、ステップＳ２４で、その検索
の結果得られた画像特徴量を、入力された関連キーワー
ドに対応する画像特徴量として出力する。

【００５５】以上のようにして、図５のステップＳ２の
キーワード画像特徴量変換処理が行われたとき、ステッ
プＳ３において、文字画像変換装置２２が検索した画像
特徴量が、特徴量マッチング装置８に供給される。

【００５６】一方、画像検索が指令されたとき、以上の
ステップＳ１乃至Ｓ３の処理と並行して、ステップＳ４
乃至Ｓ７の処理が実行される。ステップＳ４において
は、制御回路１０は、画像データベース９を制御し、そ
こに記憶されている画像データの読み出しを指令する。
画像データベース９は、この指令に対応して、ステップ
Ｓ５において画像データを読み出し、これを画像データ
画像特徴量変換装置７に供給する。画像データ画像特徴
量変換装置７は、画像データの供給を受けたとき、ステ
ップＳ６において、画像データ画像特徴量変換処理を実
行する。この画像データ画像特徴量変換処理の詳細は、
図１２に示されている。

【００５７】最初にステップＳ６１において、画像デー
タ画像特徴量変換装置７は、画像データベース９からの
画像データの供給を受けると、ステップＳ６１におい
て、領域分割処理を実行する。すなわち、領域分割装置
３１は、入力された画像データを複数の領域に分割する
処理を行う。図１３は、この領域分割処理の例を表して
いる。いま、例えば、画像データベース９から、木々で
覆われ、緑色の山の左上に、赤い太陽が、空色の空の中
に浮かんでいる画像が供給されたものとする。この画像
においてはまた、山の下に茶色の大地が展開しており、
その上に青色の川が流れている。

【００５８】領域分割装置３１は、この画像を、同一の
色が同一の領域に属するように、複数の領域に分割す
る。すなわち、この例の場合、赤色の領域（太陽）、空
色の領域（空）、緑色の領域（山）、茶色の領域（大
地）、および青色の領域（川）の５個の領域に分割され
る。

【００５９】図１２に戻って、ステップＳ６１で領域分
割処理により得られた各領域毎の画像データは、ステッ
プＳ６２で、色情報抽出装置３２と形状情報抽出装置３
３に供給される。色情報抽出装置３２と形状情報抽出装
置３３は、それぞれ、ステップＳ６３またはステップＳ
６４において、それぞれ色情報抽出処理、または形状情
報抽出処理を実行する。

【００６０】図１３の表示例の場合、色情報抽出装置３
２は、入力された各領域の画像データの代表色を特定す
る処理を実行する。図１３の表示例の場合、例えば、太
陽の領域の代表色は赤、空の領域の代表色は空色、山の
領域の代表色は緑色、大地の領域の代表色は茶色、川の
領域の代表色は青色として特定される。

【００６１】なお、色情報抽出装置３２における領域内
の代表色の特定処理には、ステップＳ６１の領域分割処
理において基準とした色を、そのまま用いるようにする
こともできる。

【００６２】一方、形状情報抽出装置３３は、各領域の
画像データの形状的特徴を抽出する。例えば、図１３の
表示例の場合、太陽の領域の形状は円、山の領域の形状
は三角形とされる。しかしながら、川の領域の形状、大
地の領域の形状、あるいは空の領域の形状は、単純な形
状として認識することは困難である。そこで、形状抽出
装置３３は、各領域画像の重心位置と面積を計算し、面
積が等しい代表的な、予め用意されている所定の形状と
重ね合わせを行い、最も重なり部分の大きい形状を、そ
の領域の画像データの形状として抽出する。

【００６３】図１４は、川の領域を、予め用意されてい
る同一面積の６個の代表的な形状（三角形、正四角形、
円、五角形、長方形、十字形）と重ね合わせを行った様
子を表している。川の形状は、このようにして、予め用
意された代表形状と比較され、最も重なり部分の大きい
形状として認識される。

【００６４】以上のようにして、各領域毎の色情報と形
状情報の抽出処理が完了したとき、ステップＳ６５にお
いて、抽出した色情報と形状情報が、画像データ画像特
徴量変換装置７から出力される。

【００６５】以上のようにして、図５のステップＳ６の
画像データ画像特徴量変換処理が終了したとき、ステッ
プＳ７において、制御回路１０は、画像データ画像特徴
量変換装置７が出力した色情報と形状情報を、特徴量マ
ッチング装置８に転送する。

【００６６】特徴量マッチング装置８は、以上のように
して、キーワード画像特徴量変換装置６と画像データ画
像特徴量変換装置７から、画像特徴量の供給を受ける
と、ステップＳ８において、特徴量マッチング処理を実
行する。この処理の詳細は、図１５に示されている。

【００６７】特徴量マッチング装置８は、ステップＳ８
１で、キーワード画像特徴量変換装置６が出力した画像
特徴量を取得し、ステップＳ８２で、画像データ画像特
徴量変換装置７が出力した画像特徴量を取得する。そし
て、これらの画像特徴量は、形状情報比較装置４１と、
色情報比較装置４２に、それぞれ供給される。形状情報
比較装置４１と色情報比較装置４２は、それぞれ２つの
形状情報と色情報の供給を受けると、ステップＳ８３ま
たはステップＳ８４において、形状情報比較処理または
色情報比較処理を実行する。

【００６８】形状情報比較装置４１は、代表形状の組み
合わせに対応する形状類似度の対応表を有しており、こ
の対応表に従って、形状情報の類似の判定処理を行う。
図１６は、このような対応表の例を表している。図１６
は、円、三角形、および四角形の代表形状が比較される
場合における、形状類似度を表している。円と円、三角
形と三角形、または、四角形と四角形といったように、
同一の代表形状が比較されるとき、形状類似度は１０と
される。例えば、円と三角形の形状類似度は４とされ、
円と四角形の形状類似度は５とされる。また、三角形と
四角形の形状類似度は５とされる。このような対応表
は、多くの代表図形を組み合わせた場合における形状類
似度の判定を複数の人に判定させることにより、実験的
に求めることができる。

【００６９】この例では、形状類似度は１０段階で判定
され、その値が大きいほど、２つの形状が類似している
ことになる。

【００７０】一方、色情報比較装置４２は、図１７に示
すような色情報のダイアグラムを有しており、２つの色
情報のダイアグラム上の距離から、色類似度を決定す
る。２つの色情報の距離が小さいほど、色類似度が大き
い値（最大１０）に設定され、距離が大きいほど、色類
似度の値は小さい値（最小値０）に設定される。

【００７１】以上のようにして、ステップＳ８３とステ
ップＳ８４において、形状情報比較処理と色情報比較処
理が行われた結果、形状類似度と色類似度が得られる
と、それらがステップＳ８５またはステップＳ８６で、
形状情報比較装置４１または色情報比較装置４２から、
類似度統合部４３に出力される。

【００７２】類似度統合部４３は、形状情報比較装置４
１と色情報比較装置４２から、それぞれ形状類似度と色
類似度の供給を受けると、ステップＳ８７で、類似度統
合処理を行い、総合類似度を演算する。そして、ステッ
プＳ８８において、総合類似度が判定部４４に出力され
る。この総合類似度は、最大値が１００とされ、最小値
が０とされる。２つの画像が類似しているほど、総合類
似度の値は大きくなる。

【００７３】判定部４４は、ステップＳ８９において、
総合類似度が、それまで得られた総合類似度の中の最大
値より大きいか否かを判定する。最大値より大きくなけ
れば、ステップＳ９０に進み、すべての検索対象につい
てマッチング処理を行ったか否かを判定し、まだマッチ
ング処理を行っていない画像特徴量が存在する場合に
は、ステップＳ８２に戻り、次の検索対象とされる画像
データベース９からの画像の画像特徴量が選択される。
そして、その画像特徴量とキーワードが対応する画像特
徴量とのマッチング処理が、上述した場合と同様に実行
される。

【００７４】ステップＳ８９において、得られた総合類
似度が、それまでの総合類似度より大きいと判定された
場合、ステップＳ９１に進み、それまで記憶していた最
大総合類似度を、新たに得られた最大総合類似度で更新
する。

【００７５】以上のようにして、ステップＳ９０におい
て、すべての検索対象についてマッチング処理が行われ
たと判定された場合、ステップＳ９２に進み、判定部４
４は、最大総合類似度に対応する画像特徴量を出力す
る。

【００７６】以上のようにして、図５のステップＳ８の
特徴量マッチング処理が完了した場合、特徴量マッチン
グ装置８から、最大総合類似度を有する画像特徴量が出
力される。制御回路１０は、この画像特徴量の供給を受
けると、ステップＳ９において、これを画像データベー
ス９に供給する。画像データベース９は、画像特徴量の
供給を受けると、ステップＳ１０で、その供給を受けた
画像特徴量を有する画像データを検索する。そして、ス
テップＳ１１において、検索の結果得られた画像データ
が制御回路１０に出力される。制御回路１０は、このよ
うにして、画像データベース９から供給を受けた画像デ
ータを、インタフェース５を介してディスプレイ４に出
力し、表示させる。

【００７７】図１８は、以上のキーワードからの画像検
索処理を概念的に表している。すなわち、以上の例にお
いては、「自然」のキーワードが入力され、このキーワ
ードが、「森」、「山」、「海」、「川」のような関連
キーワードに変換され、これらの関連キーワードが、さ
らに画像特徴量に変換される。例えば、「森」のキーワ
ードは、「三角形」の形状情報と「緑」の色情報に変換
される。「山」のキーワードは、「四角形」の形状情報
と「緑」の色情報に変換される。「海」のキーワード
は、「四角形」の形状情報と「青」の色情報に変換さ
れ、「川」のキーワードは、「長方形」の形状情報と
「青」の色情報に変換される。

【００７８】一方、画像データベース９中の画像データ
が読み出され、複数の領域に分割され、各分割領域毎に
画像特徴量が抽出される。そして、この画像特徴量とキ
ーワードを変換して得られた画像特徴量とが比較され、
両者がマッチングする画像データが検索される。

【００７９】画像特徴データベース２４には、予め実験
などにより作成したキーワードと画像特徴量との対応関
係を表すテーブルを記録しておき、関連キーワードデー
タベース２３にも、予め実験などにより求めた、自由で
自然な関連キーワードのテーブルを記録しておくように
すれば、ユーザは、新たにキーワードや画像特徴量を作
成する必要がない。従って、画像検索装置を購入した
後、画像データベース９に検索対象となる画像データを
記録する処理を行うだけで、直ちに検索処理を開始する
ことが可能となる。その結果、管理者が、新たなキーワ
ードや画像特徴量を規定する手間がいらず、自由で、自
然に近いキーワードを用いて、迅速に、かつ正確に、所
望の画像を検索することが可能となる。

【００８０】この画像検索装置においては、以上のよう
にして、キーワードから所定の画像データを検索するこ
とができるだけでなく、画像データを入力して、それに
対応するキーワードを検索することもできる。図１９
は、その場合の処理（画像認識処理）例を表している。
最初にステップＳ１１１において、ユーザは、画像デー
タを入力する。この入力は、例えば、タブレット２上
で、ペン２Ａを操作して行ったり、再生装置３で所定の
記録媒体再生することで行われる。制御回路１０は、ス
テップＳ１１１で入力された画像データの供給を受けた
とき、これを画像データ画像特徴量変換装置７に供給す
る。画像データ画像特徴量変換装置７は、ステップＳ１
１２において、画像データ画像特徴量変換処理を実行す
る。この処理の詳細は、図１２に示した通りである。す
なわち、画像データ画像特徴量変換装置７は、入力され
た画像データを複数の領域に分割し、各領域毎の色情報
と形状情報を画像特徴量として抽出する。

【００８１】ステップＳ１１２で、画像特徴量が抽出さ
れたとき、ステップＳ１１３において、制御回路１０
は、画像データ画像特徴量変換装置７が出力する画像特
徴量をキーワード画像特徴量変換装置６に転送する。キ
ーワード画像特徴量変換装置６は、ステップＳ１１４で
文字画像変換処理を実行する。

【００８２】すなわち、文字画像変換装置２２は、画像
データ画像特徴量変換装置７より出力された画像特徴量
の入力を受けたとき、画像特徴データベース２４を参照
して、対応するキーワードを検索する。検索されたキー
ワードは、ステップＳ１１５において、文字画像変換装
置２２から関連キーワード出力装置２１に転送される。
関連キーワード出力装置２１は、ステップＳ１１６にお
いて、関連キーワードデータベース２３を参照して、入
力されたキーワードに対応する関連キーワードを検索す
る。この場合においても、図８を参照して上述した場合
と同様に、１つのキーワードに対して、第３ランクまで
の関連キーワードが検索される。その結果、初期キーワ
ードとあわせて、４０個の関連キーワードが、ステップ
Ｓ１１７で得られることになる。

【００８３】関連キーワード出力装置２１は、このよう
にして、関連キーワードが得られたとき、ステップＳ１
１８でキーワード選択処理を実行する。すなわち、上述
した場合と同様に、関連度を演算し、関連度が最も大き
いキーワードを、例えば５個選択する。そして、ステッ
プＳ１１９において、選択した５個のキーワードを出力
する。

【００８４】制御回路１０は、キーワード画像特徴量変
換装置６から５個のキーワードが出力されたとき、これ
をインタフェース５を介してディスプレイ４に出力し、
表示させる。

【００８５】図２０は、以上の画像認識処理（キーワー
ド抽出処理）を模式的に表している。同図に示すよう
に、１枚の画像データが入力されると、この画像データ
が複数の領域の画像データに分割され、各領域毎に画像
特徴量が抽出される。そして、各画像特徴量が、対応す
るキーワードに変換される。変換されたキーワードのう
ち、最も関連度の高いキーワードが５個選択される。こ
の図２０の表示例においては、「自然」、「山」、
「川」のキーワードが、入力された画像データに対応し
て抽出されている。

【００８６】なお、１枚の画像を複数の領域に分割する
際、上記実施の形態においては、画像を表現する色の数
を少なくして（代表色でまとめることで）分割を行うよ
うにしているが、色だけでなく、解像度を低下するよう
にしても良い。この処理を行うことにより、画像の色
が、自動的に代表色によって表現されることになる。こ
れにより、また、認識が困難な複雑な形状を大まかな形
状にまとめることができるため、形状抽出処理を簡単に
行うことが可能になる。

【００８７】分割した領域には、優先度を付け、優先度
の高い領域から順番に検索を行うようにすることもでき
る。例えば、１枚の画像の中央部に位置する領域が存在
する場合、その領域の画像全体の面積に占める割合が２
０％以上であるとき、その領域の画像が重要度の高い画
像である、すなわち、優先度の高い領域であると規定す
る。逆に、中央部にはなく、占める面積が小さい領域の
画像は、重要度の低い画像とする。このように、分割領
域の位置に対応して優先度を決定するようにしても良
い。

【００８８】また、画像のうち、背景画像と、それ以外
の画像（前景画像）とを識別し、背景画像以外の画像
（前景画像）を優先度の高い画像とするようにしても良
い。

【００８９】各領域の画像が、背景画像であるのか、そ
れ以外の画像（前景画像）であるのかは、例えば、１枚
の画像の外枠の長さの占める割合から判断することがで
きる。

【００９０】例えば、図２１の表示例においては、青い
空の背景画像に、前景画像として、山の画像が配置され
ている。山の頂上部分は白い雪で覆われており、裾野の
部分は茶色の土で覆われている。この１枚の画像が、空
の領域、山頂の領域、および裾野の領域の３つに分割さ
れたとする。画面は、Ｌ₁，Ｌ₂，Ｌ₃，Ｌ₄の外枠で構成
されている。空の領域は、画面の外枠のうち、Ｌ₇，
Ｌ₂，Ｌ₃，Ｌ₄，Ｌ₅を含んでいる。これに対して、裾野
の領域は、外枠のうち、Ｌ₆を含んでおり、山頂の領域
は外枠を含んでない。従って、空の領域の外枠長さの占
める割合は、（Ｌ₇＋Ｌ₂＋Ｌ₃＋Ｌ₄＋Ｌ₅）／（Ｌ₁＋Ｌ
₂＋Ｌ₃＋Ｌ₄）となる。これに対して、裾野の領域の外
枠の占める割合は、（Ｌ₆）／（Ｌ₁＋Ｌ₂＋Ｌ₃＋Ｌ₄）
となり、山頂の領域の外枠の占める割合は０となる。前
者の割合が、後２者の割合より大きい。従って、前者の
空の領域の方が、後２者の裾野の領域と山頂の領域よ
り、背景画像である確率が高い。そこで、空の領域を背
景画像として判定することができる。

【００９１】このように、背景画像と、それ以外の画像
とを識別することができる場合、背景画像の領域と、そ
れ以外の画像の領域とに分割することで、色で判別した
場合には、複数の領域に分割されてしまうのを１つの領
域とすることができる。すなわち、上述したように、色
で領域を分割すると、図２１の表示例は、青色の空の領
域、白い雪の山頂の領域、茶色の土の裾野の領域の３つ
の領域に分割される。しかしながら、背景画像領域と、
それ以外の領域に分割するようにすれば、白い雪の山頂
の領域と茶色の土の裾野の領域で構成される山の領域
（前景画像）を１つの領域とすることができる。すなわ
ち、これにより、「雪を冠した山」を１つの領域とする
ことができることになる。

【００９２】以上においては、１つのキーワードに対し
て１つの画像特徴量を対応させるようにしたが、複数の
画像特徴量を対応させるようにしても良い。また、逆
に、１つの画像特徴量に対して、複数のキーワードを対
応させるようにしても良い。このような場合、また、複
数の画像特徴量またはキーワードに対して優先度を付与
するようにすることができる。さらに、画像特徴量のう
ち、色情報だけ、あるいは形状情報だけに優先度を設定
することもできる。また、所定の検索モードが指令され
た場合には、色情報と形状情報のうち、一方だけを用い
て検索処理を行うようにすることもできる。このように
することで、より柔軟な検索処理が可能となる。

【００９３】なお、上記したような処理を行うプログラ
ムをユーザに伝送する伝送媒体としては、磁気ディス
ク、CD-ROM、固体メモリなどの記録媒体の他、ネットワ
ーク、衛星などの通信媒体を利用することができる。

【００９４】

【発明の効果】以上の如く、請求項１に記載の画像検索
装置および請求項１１に記載の記録媒体によれば、デー
タベースに記憶されている画像データを画像特徴量に変
換し、入力されたキーワードを、予め記憶されている画
像特徴量とキーワードとの関係を参照して画像特徴量に
変換し、それぞれの画像特徴量を比較して、比較結果に
対応して、データベースから画像データを検索するよう
にしたので、自由で、自然に近いキーワードを用いて、
所望の画像データを、迅速かつ正確に、検索することが
可能となる。

【００９５】請求項１２に記載の画像検索装置および請
求項１４に記載の記録媒体によれば、画像を色を基準に
して複数の領域に分割し、分割した画像の形状情報と色
情報を抽出し、抽出した形状情報と色情報に基づいて、
データベースから所定の画像データを検索するようにし
たので、迅速かつ確実に、所望の画像データを検索する
ことが可能となる。

【００９６】請求項１５に記載の画像検索装置および請
求項１７に記載の記録媒体によれば、キーワードと画像
特徴量との対応関係を表すテーブルを参照して、画像特
徴量を対応するキーワードに、またはその逆に変換する
ようにしたので、キーワードと画像特徴量との関係を容
易に知ることが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像検索装置の構成例を示す
ブロック図である。

【図２】図１のキーワード画像特徴量変換装置の構成例
を示すブロック図である。

【図３】図１の画像データ画像特徴量変換装置の構成例
を示すブロック図である。

【図４】図１の特徴量マッチング装置の構成例を示すブ
ロック図である。

【図５】図１の画像検索装置における画像検索処理を説
明するフローチャートである。

【図６】図５のステップＳ２のキーワード画像特徴量変
換処理を説明するフローチャートである。

【図７】図６のステップＳ２１の関連キーワード出力処
理を説明するフローチャートである。

【図８】関連キーワードを説明する図である。

【図９】キーワードと画像特徴量の関係を説明する図で
ある。

【図１０】キーワードと画像特徴量の関係を説明する図
である。

【図１１】キーワードと画像特徴量の関係を説明する図
である。

【図１２】図５のステップＳ６の画像データ画像特徴量
変換処理の詳細を説明するフローチャートである。

【図１３】領域分割を説明する図である。

【図１４】形状情報抽出処理を説明する図である。

【図１５】図５のステップＳ８の特徴量マッチング処理
の詳細を説明するフローチャートである。

【図１６】形状類似度の判定を説明する図である。

【図１７】色類似度を説明する図である。

【図１８】類似画像検索処理を説明する図である。

【図１９】画像認識処理を説明するフローチャートであ
る。

【図２０】画像認識処理を説明する図である。

【図２１】背景画像を説明する図である。

【符号の説明】

１キーボード２タブレット３再生装置４ディスプレイ５インタフェース６キーワード画像特徴量変換装置７画像データ画像特徴量変換装置８特徴量マッチング装置９画像データベース１０制御回路２１関連キーワード出力装置２２文字画像変換装置２３関連キーワードデータベース２４画像特徴データベース３１領域分割装置３２色情報抽出装置３３形状情報抽出装置４１形状情報比較装置４２色情報比較装置４３類似度統合部４４判定部

Claims

【特許請求の範囲】

【請求項１】画像特徴量とキーワードとの関係を記憶
する記憶手段と、前記記憶手段に記憶されている画像特徴量とキーワード
との関係を参照して、入力されたキーワードを、対応す
る前記画像特徴量に変換するキーワード変換手段と、データベースに記憶されている画像データを、前記画像
特徴量に変換する画像変換手段と、前記画像変換手段により変換された画像特徴量と、前記
キーワード変換手段により変換された画像特徴量とを比
較する比較手段と、前記比較手段の比較結果に対応して、前記データベース
から画像データを検索する検索手段とを備えることを特
徴とする画像検索装置。
【請求項２】前記画像を複数の領域に分割する分割手
段をさらに備えることを特徴とする請求項１に記載の画
像検索装置。
【請求項３】前記検索手段は、複数の領域のうちの、
所定の位置の領域の画像の検索を行うことを特徴とする
請求項２に記載の画像検索装置。
【請求項４】前記分割手段は、複数の領域のうちの所
定の領域の画像が背景の画像であるか否かを、前記画像
の外枠の占める割合から判定することを特徴とする請求
項２に記載の画像検索装置。
【請求項５】前記検索手段は、複数の領域のうちの、
背景以外の領域の画像の検索を行うことを特徴とする請
求項４に記載の画像検索装置。
【請求項６】前記検索手段は、前記背景以外の領域
を、１つの領域の画像として検索することを特徴とする
請求項４に記載の画像検索装置。
【請求項７】前記画像特徴量またはキーワードには優
先度が設定されており、前記検索手段は、前記優先度に対応して検索を行うこと
を特徴とする請求項１に記載の画像検索装置。
【請求項８】前記画像特徴量は、色情報と形状情報を
含み、前記色情報と形状情報のいずれが優先するかが、各キー
ワード毎に設定されていることを特徴とする請求項７に
記載の画像検索装置。
【請求項９】前記画像特徴量は、色情報と形状情報を
含み、前記検索手段は、所定のモードが設定されたとき、前記
色情報と形状情報のうちの一方だけで検索を行うことを
特徴とする請求項１に記載の画像検索装置。
【請求項１０】１つの前記キーワードに対して複数の
前記画像特徴量が対応しているか、または、１つの前記
画像特徴量に対して複数の前記キーワードが対応してい
ることを特徴とする請求項１に記載の画像検索装置。
【請求項１１】画像特徴量とキーワードとの関係を記
憶する記憶ステップと、前記記憶ステップで記憶されている画像特徴量とキーワ
ードとの関係を参照して、入力されたキーワードを、対
応する前記画像特徴量に変換するキーワード変換ステッ
プと、データベースに記憶されている画像データを、画像特徴
量に変換する画像変換ステップと、前記画像変換ステップで変換された画像特徴量と、前記
キーワード変換ステップで変換された画像特徴量とを比
較する比較ステップと、前記比較ステップでの比較結果に対応して、前記データ
ベースから画像データを検索する検索ステップとを備え
るプログラムが記録されていることを特徴とする記録媒
体。
【請求項１２】画像データを色を基準にして複数の領
域に分割する分割手段と、前記分割手段により分割された画像データの形状情報を
抽出する形状情報抽出手段と、前記分割手段により分割された画像データの色情報を抽
出する色情報抽出手段と、前記形状情報抽出手段により抽出された形状情報と、入
力された形状情報とを比較する形状情報比較手段と、前記色情報抽出手段により抽出された色情報と、入力さ
れた色情報とを比較する色情報比較手段と、前記形状情報比較手段と色情報比較手段による比較結果
に対応して、データベースから画像データを検索する検
索手段とを備えることを特徴とする画像検索装置。
【請求項１３】前記分割手段は、画像の解像度を低下
させた後、同一の色の領域毎に分割を行うことを特徴と
する請求項１２に記載の画像検索装置。
【請求項１４】画像データを色を基準にして複数の領
域に分割する分割ステップと、前記分割ステップで分割された画像データの形状情報を
抽出する形状情報抽出ステップと、前記分割ステップで分割された画像データの色情報を抽
出する色情報抽出ステップと、前記形状情報抽出ステップで抽出された形状情報と、入
力された形状情報とを比較する形状情報比較ステップ
と、前記色情報抽出ステップで抽出された色情報と、入力さ
れた色情報とを比較する色情報比較ステップと、前記形状情報比較ステップと色情報比較ステップによる
比較結果に対応して、データベースから画像データを検
索する検索ステップとを備えるプログラムが記録されて
いることを特徴とする記録媒体。
【請求項１５】キーワードと画像特徴量との対応関係
を表すテーブルを記憶するテーブル記憶手段と、前記テーブルを参照して、画像特徴量を対応するキーワ
ードに、またはキーワードを対応する画像特徴量に変換
する変換手段と、前記変換手段により変換されたキーワードまたは画像特
徴量を出力する出力手段とを備えることを特徴とする画
像検索装置。
【請求項１６】各キーワードが対応する関連キーワー
ドを検索し、検索した関連キーワードの中から所定のも
のを選択するキーワード選択手段をさらに備えることを
特徴とする請求項１５に記載の画像検索装置。
【請求項１７】キーワードと画像特徴量との対応関係
を表すテーブルを記憶するテーブル記憶ステップと、前記テーブルを参照して、画像特徴量を対応するキーワ
ードに、またはキーワードを対応する画像特徴量に変換
する変換ステップと、前記変換ステップで変換されたキーワードまたは画像特
徴量を出力する出力ステップとを備えるプログラムが記
録されていることを特徴とする記録媒体。