JPH08194716A

JPH08194716A - 画像処理方法及びその装置

Info

Publication number: JPH08194716A
Application number: JP7004926A
Authority: JP
Inventors: Kazuko Tsujimura; 和子辻村; Hiroaki Sato; 宏明佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-01-17
Filing date: 1995-01-17
Publication date: 1996-07-30

Abstract

(57)【要約】【目的】より速く正確に画像データを検索することが
できる画像処理方法及びその装置を提供する。【構成】検索者は、画像検索情報として画像或いは図
形パターンとそのパターンの輪郭であるエッジ情報とそ
のパターンの周辺領域の色情報とを入力する。この入力
情報と記述ファイル４ｂに格納された画像データの特徴
データとに基づいて、入力情報と画像データファイル４
ａに格納された画像データとの類似度を総合的に判断し
検索候補となる画像データを絞りこむ。そして、絞りこ
まれた画像データに対してのみアクセスし、これをディ
スプレイ６に表示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像処理方法及びその装
置に関し、特に、画像データベース或いは画像ファイル
システムにアクセスし画像データを検索する画像処理方
法及びその装置に関する。

【０００２】

【従来の技術】従来より画像データベース或いは画像フ
ァイルシステムにアクセスし画像データを検索する方法
としては、以下のような方法が用いられてきた。（１）外部から指定した小さな画像パターン（テンプレ
ート画像）を検索対象の画像（原画像）上で移動させな
がら原画像と重ね合わせ、各々の対応画素の差の総和を
求め、その最小値をテンプレート画像と原画像の差と
し、その差が小さいものを類似画像として選びだすテン
プレートマッチング方法（この方法の詳細は、「コンピ
ュータ画像処理入門」総研出版、ｐｐ１４８−１５２等
の画像処理のテキストなどに記載されている）。

【０００３】（２）前もって検索対象となる画像（原画
像）をいくつかの性質に関し一様な性質をもつ複数の領
域に区分けし、各領域の特徴を記述したデータと画像検
索のためキーとして指定された画像或いは図形パターン
との対応関係を面積・２次モーメントなどを指標として
類似度を計算し、その類似度が高いものを類似画像とし
て選択する方法（この方法の詳細は、「概略画像を用い
た画像検索」平田、原、情報処理学会研究会資料ＥＤ
９２−２等に記載されている）。

【０００４】

【発明が解決しようとする課題】しかしながら上記従来
例で説明した（１）の方法では、テンプレート画像を移
動させる毎に各々の対応画素の差を計算しなければなら
ず、また、そのテンプレート画像を原画像上で十分細か
く移動させなければ正しいマッチングが得られないの
で、十分な精度で画像検索を実行するためには、計算時
間が非常に長くなるいう問題があった。

【０００５】また、上記従来例で説明した（２）の方法
では、原画像を分割した複数の画像領域において、検索
のキーとして指定した画像パターンより大きく、かつ、
その指定された画像パターンがもつ色と類似した色を持
つ領域が、１つ以上存在すると、所望の画像が正しく検
索されないという問題があった。本発明は上記従来例に
鑑みてなされたもので、より正確に、かつ、効率的に画
像を検索することができる画像処理方法及びその装置を
提供することを目的としている。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に本発明の画像処理方法は、以下のような工程からな
る。即ち、ファイルに格納された画像データを外部から
入力する情報と、前記ファイルに格納された画像データ
の特徴データとに基づいて検索することができる画像処
理方法であって、検索情報として画像或いは図形パター
ンと、前記パターンのエッジ情報と、前記パターンの周
辺の色情報とを入力する入力工程と、前記入力パターン
と前記特徴データとに基づいて、検索候補となる画像デ
ータを抽出する抽出工程と、前記入力パターンのエッジ
情報と前記特徴データと前記抽出工程における抽出結果
とに基づいて、前記検索候補を絞り込むための第１補助
情報を生成する第１生成工程と、前記入力パターンの周
辺の色情報と前記特徴データと前記抽出工程における抽
出結果とに基づいて、前記検索候補を絞り込むための第
２補助情報を生成する第２生成工程と、前記抽出工程に
おける抽出結果と前記第１及び第２補助情報とに基づい
て、総合的に検索候補の画像データを決定する決定工程
と、前記決定工程における決定に基づいて前記ファイル
にアクセスし、画像データを読み出すアクセス工程と、
前記アクセスによって読みだされた画像データを表示す
る表示工程とを有することを特徴とする画像処理方法を
備える。

【０００７】また他の発明によれば、ファイルに格納さ
れた画像データを外部から入力する情報に基づいて検索
することができる画像処理装置であって、検索情報とし
て画像或いは図形パターンと、前記パターンのエッジ情
報と、前記パターンの周辺の色情報とを入力する入力手
段と、前記ファイルに格納された画像データの特徴デー
タを格納する記憶手段と、前記入力パターンと前記特徴
データとに基づいて、検索候補となる画像データを抽出
する抽出手段と、前記入力パターンのエッジ情報と前記
特徴データと前記抽出手段の抽出結果とに基づいて、前
記検索候補を絞り込むための第１補助情報を生成する第
１生成手段と、前記入力パターンの周辺の色情報と前記
特徴データと前記抽出手段の抽出結果とに基づいて、前
記検索候補を絞り込むための第２補助情報を生成する第
２生成手段と、前記抽出手段の抽出結果と前記第１及び
第２補助情報とに基づいて、総合的に検索候補の画像デ
ータを決定する決定手段と、前記決定手段による決定に
基づいて前記ファイルにアクセスし、画像データを読み
出すアクセス手段と、前記アクセスによって読みだされ
た画像データを表示する表示手段とを有することを特徴
とする画像処理装置を備える。

【０００８】

【作用】以上の構成により本発明は、検索情報として画
像或いは図形パターンと、そのパターンのエッジ情報
と、そのパターンの周辺の色情報とを入力し、その入力
パターンとファイルに格納された画像データの特徴デー
タとに基づいて、検索候補となる画像データを抽出し、
さらに、その入力パターンのエッジ情報と特徴データと
検索候補の抽出結果とに基づいて、その検索候補を絞り
込むための第１補助情報と、その入力パターンの周辺の
色情報と特徴データと検索候補の抽出結果とに基づい
て、その検索候補を絞り込むための第２補助情報とを生
成し、前記検索候補の抽出結果と第１及び第２補助情報
とに基づいて、総合的に検索候補の画像データを決定
し、その決定に基づいてファイルにアクセスし画像デー
タを読み出してその読みだされた画像データを表示する
よう動作する。

【０００９】

【実施例】以下添付図面を参照して本発明の好適な実施
例を詳細に説明する。図１は本発明の代表的な実施例で
ある画像検索機能を備えた対話型画像処理装置の構成を
示すブロック図である。この画像処理装置は、装置全体
を制御し、画像検索処理を実行するＣＰＵ１、ＣＰＵ１
が実行する制御プログラムや処理プログラムを格納する
ＲＯＭ２、制御プログラムや処理プログラム実行の作業
領域として用いられるＲＡＭ３、検索の対象となる画像
データを格納する画像データファイル４ａや検索に用い
られる画像データの特徴を記述した記述ファイル４ｂが
格納された磁気ディスクや光磁気ディスクなどで構成さ
れるファイルシステム４、後述する検索処理に用いられ
る検索処理専用メモリ（ＳＲＭ）５、検索された画像を
表示したり検索処理に必要なメッセージなどを表示する
ディスプレイ（ＤＰ）６、各種コマンドなどを入力して
検索処理操作を行なうキーボード（ＫＢ）７、検索処理
操作の補助入力として用いられるマウス８、検索結果を
出力するプリンタ９、入力画像パターンと画像データと
の類似度計算を実行する類似度計算プロセッサ１０、そ
して、各構成要素を相互に接続するＣＰＵバス１１とで
構成される。

【００１０】そして、検索処理専用メモリ（ＳＲＭ）５
には、以下に説明する検索処理で必要な検索キーとなる
画像パターンを一時的に格納する指定パターンバッファ
（ＴＰＢ）２２、記述ファイル４ｂの内容を一時的に格
納する記述ファイルバッファ（ＤＦＢ）２４、詳細は後
述する対応領域格納バッファ（ＣＴＢ）２６、詳細は後
述する指定エッジ格納バッファ（ＴＥＢ）２８、詳細は
後述する周辺領域格納バッファ（ＮＴＢ）３０、及び、
検索作業領域（ＳＷＢ）３２が確保される。

【００１１】図２は、本実施例の画像検索処理の概要を
示すブロック図である。図２において、１０１はある画
像の１部分を表す領域を指定する領域指定処理、１０２
は指定された領域の輪郭の一部を実画像中にも存在する
エッジとして指定するエッジ指定処理、１０３は指定領
域の周辺色情報を指定する周辺色指定処理である。領域
指定処理１０１、エッジ指定処理１０２、及び、周辺色
指定処理１０３は検索者がディスプレイ（ＤＰ）に表示
された画像を参照してキーボード（ＫＢ）７とマウス８
とを操作してマンマシンインタラクティブに行なう処理
である。これらの処理によって作成された指定パターン
の情報は、指定パターン情報として指定パターンバッフ
ァ（ＴＰＢ）に格納される。

【００１２】以上の処理を図３〜図４を参照して、詳細
に説明する。図３は指定パターンの情報を作成するため
に表示されたディスプレイ（ＤＰ）６の表示画面６ａの
表示例を示す図である。さて、図３に示すような画面が
表示されると、検索者は検索したい画像の図形パターン
を図形入力用のウインドウ３０１にマウス８を操作して
描画する。即ち、表示されているアイコン“Region”３
０３をマウス８で選択し、検索したい画像の部分画像と
なる領域を多角形で指定し、その色をアイコン“カラー
パレット”３０２から選択する。これが、領域指定処理
１０１である。次に、検索者は、指定した多角形の辺の
うち、検索対象となる実画像中にも存在するエッジであ
ると判断したものをいくつか選択しこれをマウス８でク
リックして指定する。もし該当するものがないようなら
指定する必要はない。これが、エッジ指定処理１０２で
ある。そして、アイコン“Background”３０３をマウス
８で選択し、その領域の背景色となる色をアイコン“カ
ラーパレット”３０２から指定する。これが、周辺色指
定処理１０３である。

【００１３】このようにして作成された図形パターン
（指定パターン）の例が図４である。さて、図２の説明
に戻ると、図２において、１０５は記述ファイル４ａに
格納された画像特徴を参照して指定パターンの領域に対
応する実画像中の候補領域と指定パターンとの類似度を
計算し、高い類似度をもつ候補領域の情報を対応領域格
納バッファ２６に格納する対応領域決定処理、１０７は
記述ファイル４ａに格納された画像特徴を参照して指定
パターンのエッジに対応する実画像中のエッジの有無を
判定し、その判定結果を指定エッジ情報として指定エッ
ジ格納バッファ２８に格納する指定エッジ有無判定処
理、１０９は記述ファイル４ａに格納された画像特徴を
参照して指定パターンの周辺領域に対応する実画像中の
領域を決定し、その周辺領域の情報は周辺領域情報とし
て周辺領域格納バッファ３０に格納する周辺領域決定処
理である。

【００１４】さらに、１１１は対応領域格納バッファ２
６、指定エッジ格納バッファ２８、周辺領域格納バッフ
ァ３０に格納された情報に基づいて、指定パターンと個
々の画像との統合的な類似度を計算する統合類似度計算
処理、１１２は指定パターンとそれぞれの画像に対する
統合的な類似度を入力とし、その値の大きいほうから所
定個（Ｌ個）の画像データを選択するソーティング処
理、１１３はソーティング処理１１２によってソートさ
れた画像の類似度情報を用い、画像データファイル４ａ
にアクセスし類似度の大きいほうから対応する複数（Ｌ
個）の画像データファイルを読み出しディスプレイ（Ｄ
Ｐ）６に表示する画像データアクセス処理である。

【００１５】以下、対応領域決定処理１０５、指定エッ
ジ有無判定処理１０７、周辺領域決定処理１０９、統合
類似度計算処理１１１各々の詳細について、図５〜図９
に示すフローチャートを参照して説明する。・対応領域決定処理（図５〜図６）この処理は、指定パターンバッファ２２に格納された検
索者が与えた画像もしくは図形パターンと画像中の個々
の領域の面積や境界点座標列や色の平均値と、記述ファ
イル４ｂに格納された個々のエッジの座標列などを参照
し、記述ファイル４ｂに格納された指定パターンで示さ
れる領域に対応する領域をいくつか候補領域として選択
し、各候補領域の記述情報と指定パターンとの類似度を
対応領域格納バッファ２６に出力する。

【００１６】記述ファイル４ｂから得られる画像の領域
記述情報は、その画像中の描く領域に対して、領域の縦
横幅、領域の面積、領域の平均色情報、領域の重心座
標、及び、領域の輪郭を折れ線近似した部分の両端の頂
点の座標、各線分において、エッジであるかどうかを示
すエッジ情報（エッジであれば“１”、エッジでなけれ
ば“０”）である。なお、この領域記述情報の単位とな
る領域は、画像に対して公知の領域分割処理（例えば、
富永昌治：カラー画像の色分類と分割、情報処理学会
誌、Vol. 31, No. 11, pp. 1589-1598, 1990 November
等）を施すことによって得られる。また、領域分割され
た各領域の輪郭線を直線近似するのは、公知の直線近似
処理（例えば、Y.Kuroxumi "Polygonal approximation
by the minimax method" Computer Graphics and Image
Procssing，Vol.19,pp.248ー264(1982)）を行うことで
可能である。

【００１７】各線分がエッジであるかどうかを示すエッ
ジ情報を得るには、図５に示すような処理を行う。ここ
では、画像（ｉ）中のある領域の輪郭を示す線分のうち
の一つである線分Ｐがエッジであるかを判定し、エッジ
であればエッジ情報として“１”、そうでなければ
“０”をセットするとしている。まず、ステップＳ４０
１では、線分Ｐを一定画素数分、公知の膨張処理（例え
ば、コンピュータ画像処理入門総研出版 pp. 76-77
を参照）を施して膨張させる。これを膨張線分Ｐ’とす
る。次に、ステップＳ４０２〜Ｓ４０３で膨張線分Ｐ’
の全画素に対して、エッジ画像中でその画素がエッジと
なっているかを調べる。このため、予め画像（ｉ）にエ
ッジ抽出処理を施してエッジ画像を抽出しておく必要が
ある。エッジ抽出処理は既存の手法（例えば、ディジタ
ル画像処理近代科学社 pp. 283-305を参照）を用いれ
ば良い。

【００１８】こうして、膨張線分Ｐ’のエッジ画像と重
なる割合（ｘp）をステップＳ４０４で求め、ステップ
Ｓ４０５の判断で、ｘpがある閾値以上であれば線分Ｐ
はエッジであると判定し処理はステップＳ４０６に進ん
で、エッジ検出結果として“１”をセットし、ｘpがあ
る閾値未満であれば線分Ｐはエッジでないと判定し処理
はステップＳ４０７に進んで、エッジ検出結果として
“０”をセットする。

【００１９】さて、指定パターンバッファ（ＴＰＢ）２
２に格納される指定パターン情報とは、図３で作成され
た指定（図形）に関し、図形の縦横幅、図形の面積、色
情報、図形の重心座標、指定された図形の辺の両端の頂
点の座標、各辺においてエッジとして指定されたか否か
を示すエッジ情報（エッジであれば“１”、エッジでな
ければ“０”）、及び、周辺領域の色情報である。

【００２０】以上のことを踏まえて、次に、図６のフロ
ーチャートを参照して対応領域決定処理の詳細を説明す
る。まずステップＳ５０１では、入力された指定パター
ン情報と領域記述情報に対して、両者の色情報の差（Ｄ
ｃ）を計算し、その差（Ｄｃ）が所定の閾値よりも大き
ければ不一致（指定パターンの対応候補領域にならな
い）と判断し、対応領域の候補から除外する。色情報の
差（Ｄｃ）は、指定パターンの各色成分の値をＲ，Ｇ，
Ｂ、候補領域の各色成分の値をｒ，ｇ，ｂとしたとき、
以下の式に基づいて計算する。

【００２１】Ｄｃ＝｜Ｒ−ｒ｜＋｜Ｇ−ｇ｜＋｜Ｂ−ｂ｜次に、ステップＳ５０２では、ステップＳ５０１の処理
で除外されなかった各領域に対して、両者の縦横幅を比
較し、候補領域の縦もしくは横幅と指定パターンの縦、
横幅の差が、閾値よりも大きければ、不一致として候補
領域から除外する。この比較は、指定パターンの縦幅を
ｗ、横幅をｖとし、候補領域の縦幅をＷ、横幅をＶと
し、Ｄｓ＝｜Ｗ−ｗ｜＋｜Ｖ−ｖ｜で定義される値を所
定の閾値と比較して行なう。

【００２２】さらに、ステップＳ５０３では、ステップ
Ｓ５０２の処理で除外されなかった各領域に対して、両
者の重心位置座標を比較し、その差のｘ座標値或いはｙ
座標値が、ある閾値よりも離れている場合、不一致と判
断し、候補領域から除外する。この比較は、指定パター
ンの重心座標を（ｘ，ｙ）とし、候補領域の重心座標を
（Ｘ，Ｙ）としたときに、Ｄｐ＝｜Ｘ−ｘ｜＋｜Ｙ−ｙ
｜で定義される値を所定の閾値と比較して行なう。

【００２３】ステップＳ５０１〜Ｓ５０３の処理によっ
て、候補領域として絞り込まれた各領域に対して、ステ
ップＳ５０４では、指定パターンとの類似度（Ｓ）を次
の式に従って算出する。Ｓ＝−（Ａ×Ｄｃ＋Ｂ×Ｄｓ＋Ｃ×Ｄｐ）ここで、Ａ、Ｂ、Ｃは各々、重み係数である。

【００２４】そして、ステップＳ５０５では得られた複
数の類似度（Ｓ）をその値より大きい順にソートし、ス
テップＳ５０６ではその最大値より上位Ｋ個の領域を対
応候補領域として、領域の記述情報ならびにその類似度
を対応領域格納バッファ（ＣＴＢ）２６に格納する。な
お、以上の処理によって、画像（ｉ）に関してＫ個の領
域の類似度が得られるので、以下の説明では、その類似
度各々をＳrijという。

【００２５】以上の処理をまとめると、ステップＳ５０
１の色情報判定、ステップＳ５０２のサイズ情報判定、
及び、ステップＳ５０３の位置情報判定の各処理によっ
て、対応領域となる候補条件をみたさなければ、候補領
域から除外してゆくことでその候補を絞り込んでゆき、
ステップＳ５０４で、残った候補領域においてそれぞれ
指定パターンとの類似度を求めて、ステップＳ５０５で
ソートし、ステップＳ５０６で類似度の上位Ｋ個の領域
を対応候補領域として、領域の記述情報ならびにその類
似度を対応領域格納バッファ（ＣＴＢ）２６に格納す
る。

【００２６】・指定エッジ有無判定処理（図７）この処理は、指定パターンバッファ２２に格納されてい
るエッジ情報と対応領域格納バッファ２６に格納されて
いる各々の対応候補領域情報と、記述ファイル４ａを参
照して、検索者が指定したエッジパターンに該当するエ
ッジが実画像中に存在するかの判定を行ないエッジの存
在率などの情報を算出し、これを指定エッジ格納バッフ
ァ２８に出力する。

【００２７】以下の説明では、Ｋ個の対応候補領域
（ｋ：ｋ＝１、２、…、Ｋ）についての指定エッジ情報
を求める説明を行う。まず、ステップＳ６０１では対応
領域格納バッファ（ＣＴＢ）２６に格納されている対応
領域記述情報から、対応領域の輪郭の線分中、エッジ情
報の値が“１”である線分（その線分の数は“ｍ”とす
る）のみを取り出し、それをＥk1，Ｅk2，…Ｅkmとす
る。一方、ステップＳ６０２では、指定パターンバッフ
ァ（ＴＰＢ）２２に格納されている指定パターン情報か
らエッジ情報の値が“１”である線分（その線分の数は
“ｎ”とする）のみを取り出し、それをｅk1，ｅk2，…
ｅknとする。ここで、各Ｅk1，Ｅk2，…，Ｅkm、及び、
ｅk1，ｅk2，…，ｅknは全て両端の頂点座標をもつもの
とする。

【００２８】次に、ステップＳ６０３では、指定エッジ
の両端と対応輪郭の線分との距離の最小値（ｄmin）を
求めるための初期値として、＋９９９９９をｄminにセ
ットする。そして、ステップＳ６０４〜Ｓ６０８では、
各指定パターンのエッジｅkiにおいて、その両端の頂点
座標と対応領域の全てのエッジ（Ｅk1、…、Ｅkm）との
距離の和を求め、その最小値（ｄmin）を得る。

【００２９】さらに、ステップＳ６０９ではその最小値
（ｄmin）と所定の閾値（ｄth）とを比較する。ここ
で、ｄmin＜ｄthであれば処理はステップＳ６１０に進
み、ｅkiは、実画像中にもエッジとして存在すると判定
し、判定結果として“１”をセットする。これに対し
て、ｄmin≧ｄthであれば処理はステップＳ６１１に進
み、実画像中にはエッジとして存在しないと判定し、判
定結果として“０”をセットする。

【００３０】処理はステップＳ６１２において、全ｅki
に対する判断が終了したかどうかを調べ、未終了であれ
ば、処理はステップＳ６１３でｉの値をインクリメント
してステップＳ６０３に戻り処理を続行する。これに対
して、終了と判断されたなら、処理はステップＳ６１４
に進み、得られた判定結果の情報を候補領域における指
定エッジ情報として指定エッジ格納バッファ２８に出力
する。

【００３１】・周辺領域決定処理（図８）この処理は、対応領域格納バッファ２６で格納されてい
る各々の対応候補領域情報と記述ファイル４ａに格納さ
れている画像中の個々の領域の特徴とを参照して、各々
の対応候補領域の周辺領域を決定し周辺領域の記述情報
を出力する。ここでは、画像（ｉ）に関してＫ個の対応
候補領域（ｊ：ｊ＝１、２、…、Ｋ）についての周辺領
域情報を求める。

【００３２】まず、ステップＳ７０１では対応領域格納
バッファ２６から対応領域情報を入力し、ステップＳ７
０２では記述ファイル４ｂから画像の領域記述情報を入
力する。次に、ステップＳ７０３では、対応候補領域
（ｊ）の全隣接領域を求め、これを対応候補領域（ｊ）
の周辺領域とみなし、ステップＳ７０４ではこの周辺領
域の色情報を周辺領域情報として周辺領域格納バッファ
３０に格納する。

【００３３】・統合類似度計算処理（図９）この処理は、対応領域格納バッファ２６に格納された各
々の対応候補領域の記述情報、指定エッジ格納バッファ
２８に格納された指定パターンのエッジの有無について
の指定エッジ情報、及び、周辺領域格納バッファ３０に
格納された各対応候補領域の周辺領域情報から各々の各
候補領域と指定パターンとの類似度を求め、その中で最
も高い類似度を指定パターンと画像との統合的な類似度
としてソーティング処理１１２に出力する。言い換える
と、ここで得られる最も高い類似度を持つ候補領域を、
その画像中で検索者が指定した図形パターンと最もよく
対応している領域であるとして、その類似度を指定パタ
ーンと画像との類似度とする。この処理は、全ての画像
に対して行われ、各画像と指定パターンの類似度を求
め、これをソート処理のためソーティング処理１１２に
引き渡す。

【００３４】ここでは、画像（ｉ）の対応候補領域
（ｊ：ｊ＝１、２、…、Ｋ）における統合類似度ＴＳij
（ｊ：ｊ＝１、２、…、Ｋ）を求める。まず、ステップ
Ｓ８０１では、以下計算するＫ個の統合類似度（ＴＳi
j）の最大値（Ｓmax）の初期値をセットする。次にステ
ップＳ８０２では対応領域格納バッファ（ＣＴＢ）２６
に格納された対応領域情報を入力し、さらにステップＳ
８０３でその入力情報から対応領域（ｊ：ｊ＝１、２、
…、Ｋ）の類似度（Ｓrij）を抽出する。

【００３５】次に、ステップＳ８０４では周辺領域格納
バッファ（ＮＴＢ）３０に格納された周辺領域情報を入
力し、さらにステップＳ８０５でその入力情報から周辺
領域の色の類似度（Ｓbij）を以下の式を用いて計算す
る。Ｓbij ＝−｛｜Ｒbij1−ｒb｜＋｜Ｇbij1−ｇb｜＋｜Ｂbij1−ｂb｜＋… …＋｜Ｒbijn−ｒb｜＋｜Ｇbijn−ｇb｜＋｜Ｂbijn−ｂb｜｝／ｎここで、周辺領域の色情報を（Ｒbij1,Ｇbij1,Ｂbij1）
…（Ｒbijn,Ｇbijn,Ｂbijn）、指定パターンの周辺色情
報を（ｒb，ｇb，ｂb）としている。

【００３６】さらにステップＳ８０６では、指定エッジ
格納バッファ（ＴＥＢ）２８に格納された指定エッジ情
報を入力し、続くステップＳ８０７では指定エッジの類
似度（Ｓeij）を以下の式を用いて計算する。Ｓeij＝（ｅ０＋ｅ１＋…＋ｅｍ）／ｍここで、指定エッジ情報を（ｅ０，ｅ１，…，ｅｍ）と
している。

【００３７】そして、ステップＳ８０８では、ステップ
Ｓ８０２〜Ｓ８０７で求められた各類似度を用い、次の
式によって、統合類似度（ＴＳij）を求める。ＴＳij＝Ｄ×Ｓrij＋Ｅ×Ｓbij＋Ｆ×Ｓeij ここで、Ｄ、Ｅ、Ｆは各々、重み係数である。以上の処
理をステップＳ８０９〜Ｓ８１２の処理を合わせて実行
すると、Ｋ個の対応候補領域に関する統合類似度（ＴＳ
ij）が計算され、そのＫ個の統合類似度（ＴＳij）の最
大値（Ｓmax）が得られる。

【００３８】最後に、ステップＳ８１３ではその最大値
を得られる最も高い類似度を持つ候補領域を、その画像
（ｉ）中で検索者が指定した図形パターンと最もよく対
応している領域であるとする。以上説明した処理が画像
データファイル４ａに格納されているＮ個の画像（ｉ：
ｉ＝１、Ｎ）に対して実行され、ソーティング処理１１
２では各画像に関して得られた最大類似度をソートし、
その値の大きいほうから所定個（Ｌ個）の画像データを
選択し、最後に、画像データアクセス処理１１３がその
所定個の画像の類似度情報を用い、画像データファイル
４ａにアクセスし類似度の大きいほうから対応するＬ）
の画像データファイルを読み出しディスプレイ（ＤＰ）
６に表示する。

【００３９】従って本実施例に従えば、画像検索情報と
して画像或いは図形パターンの領域情報のみならず、そ
の領域のエッジ情報や周辺領域の色情報を入力し、その
入力画像検索情報に基づいて、画像データの各種記述情
報を用いて、アクセスすべき画像データを絞りこみ、そ
の絞り込んだ画像に対してのみアクセスするので、より
正確に画像データの検索を行なうことができる。また、
その検索には大容量の画像データを直接アクセスするこ
とがないので、検索速度が速く効率的な検索を行なうこ
とができるという利点がある。

【００４０】なお本実施例では、検索者が検索したい画
像の図形パターン作成に、ディスプレイ画面６ａにマウ
ス８などを操作して描画する場合について説明したが、
本発明はこれによって限定されるものではなく、例え
ば、適当な用紙に指定パターンを表す図形のスケッチを
描き、これをスキャナなどの画像入力装置を用いて装置
に読み込むこともできる。

【００４１】この場合、まず検索者は適当な用紙に、所
定のペンを用いて指定パターンの輪郭を描き、次に適当
なペンなどを用いてそのパターンに色を塗る。そして、
同様にその周辺に色を塗り、パターンの輪郭中で実画像
中にも存在すると思われるエッジを所定のペンで上書き
する。このようにして作成したスケッチを指定パターン
としてスキャナから読み込む。次に、読み込まれたパタ
ーンに関し、その輪郭線を本実施例で説明したような直
線近似処理の手法を用いて、パターンを多角形に近似し
その各辺の頂点座標を求め、またパターン内の平均色を
パターンの色とみなす。

【００４２】また本実施例で説明した指定エッジ有無判
定処理では、エッジが実画像中にも存在するかどうかの
判定において、図７に示したように指定パターンのエッ
ジｅkiの両端の頂点座標と対応領域の全てのエッジＥk
1，Ｅk2，…，Ｅkmとの距離の和を求めて、その最小値
がある閾値以下であればｅkiは実画像中にも存在するエ
ッジと判定していたが、本発明はこれによって限定され
るものではない。例えば、図１０に示すようなエッジ有
無判定を行うことも可能である。

【００４３】まず、ステップＳ９０１では、Ｅk1，Ｅk2
…Ｅkm、及び、ｅk1，ｅk2…ｅknからそれぞれの線分の
中点の座標と傾きを求める。次にステップＳ９０２で
は、指定エッジ（ｅki）の中点（ｅkic）と対応領域の
エッジ（Ｅkj：ｊ＝１、Ｋ）の中点との距離（ｄekiEk
j）を計算する。そして、ステップＳ９０３〜Ｓ９０４
では、全ての対応領域のエッジ（Ｅkj）に関し、その距
離が所定の閾値（ｄth）より大きい対応領域のエッジ
（Ｅkj）を指定エッジ（ｅki）に対応するエッジの候補
から除外する。

【００４４】次にステップＳ９０５〜Ｓ９０７では、除
外されずに残った全ての対応領域エッジ（Ｅkl：１＜１
＜ｍ）に関する傾きと、指定エッジ（ｅki）の傾きの差
の絶対値（ｄ´ekiEkj）を計算して所定の閾値（ｄ´t
h）と比較し、その絶対値がその閾値未満であれば、処
理はステップＳ９０８に進み、一方、その絶対値がその
閾値以上であれば、処理はステップＳ９０９に進む。

【００４５】そして、ステップＳ９０８では指定エッジ
（ｅki）は実画像中にもエッジとして存在すると判定し
て判定結果として“１”をセットし、ステップＳ９０９
では実画像中にエッジとしては存在しないと判定して判
定結果として“０”をセットする。尚、本発明は、複数
の機器から構成されるシステムに適用しても良いし、１
つの機器から成る装置に適用しても良い。また、本発明
はシステム或は装置にプログラムを供給することによっ
て達成される場合にも適用できることはいうまでもな
い。

【００４６】

【発明の効果】以上説明したように本発明よれば、検索
情報として画像或いは図形パターンのみならず、そのパ
ターンの輪郭として存在するエッジや、そのパターンの
周辺領域の色を用い、画像データの特徴データを参照し
て、検索対象となる画像データを絞り込むので、その絞
り込みのために直接画像データにアクセスすることがな
く、より速く正確に所望の画像を検索することができる
という効果がある。

【図面の簡単な説明】

【図１】本発明の代表的な実施例である画像検索機能を
備えた対話型画像処理装置の構成を示すブロック図であ
る。

【図２】画像検索処理の概要を示すブロック図である。

【図３】指定パターンの情報を作成するために表示され
たディスプレイ（ＤＰ）６の表示画面６ａの表示例を示
す図である。

【図４】作成された図形パターン（指定パターン）の例
を示す図である。

【図５】エッジ情報取得処理の詳細を示すフローチャー
トである。

【図６】対応領域決定処理の詳細を示すフローチャート
である。

【図７】指定エッジ有無判定処理の詳細を示すフローチ
ャートである。

【図８】周辺領域決定処理の詳細を示すフローチャート
である。

【図９】統合類似度決定処理の詳細を示すフローチャー
トである。

【図１０】指定エッジ有無判定処理の別の実施例を示す
フローチャートである。

【符号の説明】

１ＣＰＵ２ＲＯＭ３ＲＡＭ４ファイルシステム５検索処理専用メモリ（ＳＲＭ）６ディスプレイ（ＤＰ）７キーボード（ＫＢ）８マウス９プリンタ１０類似度計算プロセッサ１１ＣＰＵバス２２指定パターンバッファ（ＴＰＢ）２４記述ファイルバッファ（ＤＦＢ）２６対応領域格納バッファ（ＣＴＢ）２８指定エッジ格納バッファ（ＴＥＢ）３０周辺領域格納バッファ（ＮＴＢ）３２検索作業領域（ＳＷＢ）

フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所 9061−5ＨＧ０６Ｆ 15/70 ３１０ 9061−5Ｈ３３５Ｚ

Claims

【特許請求の範囲】

【請求項１】ファイルに格納された画像データを外部
から入力する情報に基づいて検索することができる画像
処理装置であって、検索情報として画像或いは図形パターンと、前記パター
ンのエッジ情報と、前記パターンの周辺の色情報とを入
力する入力手段と、前記ファイルに格納された画像データの特徴データを格
納する記憶手段と、前記入力パターンと前記特徴データとに基づいて、検索
候補となる画像データを抽出する抽出手段と、前記入力パターンのエッジ情報と前記特徴データと前記
抽出手段の抽出結果とに基づいて、前記検索候補を絞り
込むための第１補助情報を生成する第１生成手段と、前記入力パターンの周辺の色情報と前記特徴データと前
記抽出手段の抽出結果とに基づいて、前記検索候補を絞
り込むための第２補助情報を生成する第２生成手段と、前記抽出手段の抽出結果と前記第１及び第２補助情報と
に基づいて、総合的に検索候補の画像データを決定する
決定手段と、前記決定手段による決定に基づいて前記ファイルにアク
セスし、画像データを読み出すアクセス手段と、前記アクセスによって読みだされた画像データを表示す
る表示手段とを有することを特徴とする画像処理装置。
【請求項２】前記入力手段は、情報入力と情報表示の
ためにキーボード、ポインティングデバイス、ディスプ
レイを備えることを特徴とする請求項１に記載の画像処
理装置。
【請求項３】前記ファイルに格納される画像データは
複数の領域に分割されて管理され、前記抽出手段は、前記入力パターンに基づいて、前記複
数の領域のどの領域が検索候補となるかを抽出すること
を特徴とする請求項１に記載の画像処理装置。
【請求項４】前記決定手段は、総合的に検索候補の画
像データを決定するために前記抽出手段の抽出結果と前
記第１及び第２補助情報とを定量化して評価し、前記定
量化された値に基づいて、１つ或いは複数の画像データ
を検索結果として決定することを特徴とする請求項１に
記載の画像処理装置。
【請求項５】前記決定手段が複数の画像データを検索
結果として決定する場合、前記定量化された値を値の大
きいほうからソートするソート手段をさらに有すること
を特徴とする請求項４に記載の画像処理装置。
【請求項６】前記入力手段は、前記入力パターンの色
情報を入力できることを特徴とする請求項１に記載の画
像処理装置。
【請求項７】ファイルに格納された画像データを外部
から入力する情報と、前記ファイルに格納された画像デ
ータの特徴データとに基づいて検索することができる画
像処理方法であって、検索情報として画像或いは図形パターンと、前記パター
ンのエッジ情報と、前記パターンの周辺の色情報とを入
力する入力工程と、前記入力パターンと前記特徴データとに基づいて、検索
候補となる画像データを抽出する抽出工程と、前記入力パターンのエッジ情報と前記特徴データと前記
抽出工程における抽出結果とに基づいて、前記検索候補
を絞り込むための第１補助情報を生成する第１生成工程
と、前記入力パターンの周辺の色情報と前記特徴データと前
記抽出工程における抽出結果とに基づいて、前記検索候
補を絞り込むための第２補助情報を生成する第２生成工
程と、前記抽出工程における抽出結果と前記第１及び第２補助
情報とに基づいて、総合的に検索候補の画像データを決
定する決定工程と、前記決定工程における決定に基づいて前記ファイルにア
クセスし、画像データを読み出すアクセス工程と、前記アクセスによって読みだされた画像データを表示す
る表示工程とを有することを特徴とする画像処理方法。