JPH10289241A - 画像処理装置及びその制御方法 - Google Patents

Abstract

(57)【要約】 【課題】 画像データを管理するための説明文およびキ
ーワードを付加する作業を行うことなく、ユーザーが所
望する画像データを容易にかつ効率的に検索することが
できる画像処理装置を提供する。 【解決手段】 所望の画像データを検索するための検
索条件がユーザーインタフェース１より入力されると、
その検索条件に対応する検索情報を持つ画像データを、
全文検索インデックスおよびキーワードインデックス１
１を参照して検索する。そして、その検索結果に応じて
新たな検索条件を設定し検索を繰り返し実行する。ま
た、実行回数を監視しその監視結果に応じて検索される
画像データを取得する。更に、取得された画像データの
画像特徴量に基づいて、画像特徴インデックス９を参照
し、該画像データに類似する画像データを検索する。以
上の検索によって検索された画像データに基づいて、検
索条件に該当する画像データを検索結果通知部１２で表
示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データを管理
する画像処理装置及びその制御方法に関するものであ
る。

【０００２】

【従来の技術】従来、自然画像をスキャナ等で読み込ん
で得られる画像データを管理する画像処理装置において
画像データを検索する場合には、画像データに対する画
像認識技術が実現困難なため、画像データを直接用いた
検索はできなかった。そのため、画像データを読み込む
際に、その画像データを示す説明文およびキーワードを
付加し、画像データを検索する際には、その画像データ
に付加した説明文およびキーワードを用いて検索を行う
ことが一般的であった。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の画像処理装置において、特に、管理する画像データ
が多いと、その画像データに説明文およびキーワードを
付加する作業が大きな負担となっていた。また、負担を
軽減するために、画像データに説明文およびキーワード
を付加しないで管理することも可能であるが、この場合
の画像データの検索は、管理されるすべての画像データ
の縮小画像を表示し、その縮小画像よりユーザが所望す
る縮小画像を選択することで画像データを検索しなけれ
ばならず、、使い易いものとは言えず、効率も悪かっ
た。

【０００４】本発明は上記の問題点に鑑みてなされたも
のであり、画像データを管理するための説明文およびキ
ーワードを付加する作業を行うことなく、ユーザーが所
望する画像データを容易にかつ効率的に検索することが
できる画像処理装置及びその方法を提供することを目的
とする。

【０００５】

【課題を解決するための手段】上記の目的を解決するた
めの本発明による画像処理装置は以下の構成を備える。
即ち、画像データを管理する画像処理装置であって、前
記画像データの画像特徴量を抽出する抽出手段と、前記
抽出手段で抽出された画像特徴量と前記画像データとの
対応を画像特徴量インデックスに記憶する第１記憶手段
と、画像データの検索に用いる検索情報が前記画像デー
タに付加されている場合、該検索情報と該画像データと
の対応を検索情報インデックスに記憶する第２記憶手段
と、所望の画像データを検索するための検索条件を入力
する入力手段と、前記入力手段で入力された検索条件に
対応する検索情報を持つ画像データを、前記検索情報イ
ンデックスを参照して検索する第１検索手段と、前記第
１検索手段による検索結果に応じて、新たな検索条件を
設定し該第１検索手段による検索を繰り返し実行する実
行手段と、前記実行手段による実行回数を監視し、その
監視結果に応じて前記第１検索手段で検索される画像デ
ータを取得する取得手段と、前記取得手段で取得された
画像データの画像特徴量に基づいて、前記画像特徴量イ
ンデックスを参照し、該画像データに類似する画像デー
タを検索する第２検索手段と、前記取得手段で取得され
た画像データと、前記第２検索手段で検索された画像デ
ータに基づいて、前記検索条件に該当する画像データを
表示する表示手段とを備える。

【０００６】また、好ましくは、概念毎に同義語・類義
語を管理する同義語・類義語・概念辞書を記憶する第３
記憶手段を更に備える。また、好ましくは、前記実行手
段は、前記入力手段で入力された検索条件で画像データ
が検索されない場合、前記同義語・類義語・概念辞書を
参照して該検索条件の概念のレベルの次の概念のレベル
の同義語・類義語を獲得し、該獲得した同義語・類義語
を新たな検索条件として設定する。

【０００７】また、好ましくは、前記実行手段は、前記
入力手段で入力された検索条件で画像データが検索され
ない場合、前記同義語・類義語・概念辞書を参照して該
検索条件の概念のレベルから所定の概念のレベル内の同
義語・類義語を獲得し、該獲得した同義語・類義語を新
たな検索条件として設定する。また、好ましくは、前記
第１記憶手段は、複数種類のサンプル画像データの画像
特徴量と、該サンプル画像データとの対応を予め前記画
像特徴量インデックスに記憶する。

【０００８】また、好ましくは、前記サンプル画像デー
タは、前記第１検索手段によって所定値以上の頻度で検
索される画像データであり、前記検索情報が付加されて
いる。また、好ましくは、前記第２記憶手段は、前記サ
ンプル画像データの検索情報と、該サンプル画像データ
との対応を予め前記検索情報インデックスに記憶する。

【０００９】また、好ましくは、前記取得手段で取得さ
れる画像データの内、前記サンプル画像データが含まれ
る場合は、前記該サンプル画像データの画像特徴量に基
づいて、前記画像特徴量インデックスを参照し、該画像
データに類似する画像データを検索する。また、好まし
くは、前記表示手段は、前記検索条件に該当する画像デ
ータを縮小画像で表示する。

【００１０】また、好ましくは、前記表示手段で表示さ
れる縮小画像のいずれかが選択され、その選択した縮小
画像の原寸画像の表示が要求された場合、前記第２記憶
手段は、前記検索条件を該縮小画像に対応する画像デー
タの検索情報として、該画像データと対応づけて前記検
索情報インデックスに記憶する。また、好ましくは、前
記画像データは、自然画像を読み取って得られる画像デ
ータである。

【００１１】上記の目的を達成するための本発明による
画像処理装置の制御方法は以下の構成を備える。即ち、
画像データを管理する画像処理装置の制御方法であっ
て、前記画像データの画像特徴量を抽出する抽出工程
と、前記抽出工程で抽出された画像特徴量と前記画像デ
ータとの対応を画像特徴量インデックスに記憶する第１
記憶工程と、画像データの検索に用いる検索情報が前記
画像データに付加されている場合、該検索情報と該画像
データとの対応を検索情報インデックスに記憶する第２
記憶工程と、所望の画像データを検索するための検索条
件を入力する入力工程と、前記入力工程で入力された検
索条件に対応する検索情報を持つ画像データを、前記検
索情報インデックスを参照して検索する第１検索工程
と、前記第１検索工程による検索結果に応じて、新たな
検索条件を設定し該第１検索工程による検索を繰り返し
実行する実行工程と、前記実行工程による実行回数を監
視し、その監視結果に応じて前記第１検索工程で検索さ
れる画像データを取得する取得工程と、前記取得工程で
取得された画像データの画像特徴量に基づいて、前記画
像特徴量インデックスを参照し、該画像データに類似す
る画像データを検索する第２検索工程と、前記取得工程
で取得された画像データと、前記第２検索工程で検索さ
れた画像データに基づいて、前記検索条件に該当する画
像データを表示する表示工程とを備える。

【００１２】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
画像データを管理する画像処理装置の制御のプログラム
コードが格納されたコンピュータ可読メモリであって、
前記画像データの画像特徴量を抽出する抽出工程のプロ
グラムコードと、前記抽出工程で抽出された画像特徴量
と前記画像データとの対応を画像特徴量インデックスに
記憶する第１記憶工程のプログラムコードと、画像デー
タの検索に用いる検索情報が前記画像データに付加され
ている場合、該検索情報と該画像データとの対応を検索
情報インデックスに記憶する第２記憶工程のプログラム
コードと、所望の画像データを検索するための検索条件
を入力する入力工程のプログラムコードと、前記入力工
程で入力された検索条件に対応する検索情報を持つ画像
データを、前記検索情報インデックスを参照して検索す
る第１検索工程のプログラムコードと、前記第１検索工
程による検索結果に応じて、新たな検索条件を設定し該
第１検索工程による検索を繰り返し実行する実行工程の
プログラムコードと、前記実行工程による実行回数を監
視し、その監視結果に応じて前記第１検索工程で検索さ
れる画像データを取得する取得工程のプログラムコード
と、前記取得工程で取得された画像データの画像特徴量
に基づいて、前記画像特徴量インデックスを参照し、該
画像データに類似する画像データを検索する第２検索工
程のプログラムコードと、前記取得工程で取得された画
像データと、前記第２検索工程で検索された画像データ
に基づいて、前記検索条件に該当する画像データを表示
する表示工程のプログラムコードとを備える。

【００１３】

【発明の実施の形態】以下、図面を参照して本発明の好
適な実施形態を詳細に説明する。図１は本発明の実施形
態の画像処理装置の構成を示すブロック図である。図１
において、１はユーザインタフェースであり、キーボー
ド、マウスより構成される。４は画像蓄積部であり、画
像メモリ５に一旦記憶される画像データを蓄積する。２
は画像入力部であり、ユーザーインタフェース１からの
指示により、画像蓄積部４に登録する登録対象となる画
像データの入力を行う。

【００１４】尚、本実施形態で扱う画像データは、自然
画像データであるとする。但し、画像データはこれに限
定されず、ＣＧやＣＡＤ等の人工的な画像データであっ
ても良い。５は画像メモリであり、画像入力部２より入
力された画像データを一旦記憶する。７は画像特徴抽出
部であり、画像メモリ５に一旦記憶された画像データの
類似画像データを検索するための画像特徴量を抽出す
る。９は画像特徴インデックスであり、画像特徴抽出部
７で抽出された画像データの画像特徴量を、その画像デ
ータと対応づけて登録する。

【００１５】３は言語処理部であり、画像入力部２より
入力された画像データに、その画像データの内容を示す
説明文およびキーワードが付加されている場合、同義語
・類義語・概念辞書８を参照して、その説明文およびキ
ーワードの形態素解析を行い、その解析結果より得られ
る単語を全文検索登録部およびキーワード登録部６に出
力する。また、ユーザーインタフェース１より画像蓄積
部４に蓄積される画像データを検索するための検索語が
入力された場合には、その検索語を画像検索部１０に出
力する。

【００１６】６は全文検索登録部およびキーワード登録
部であり、言語処理部３より入力される単語を、入力さ
れた画像データと対応づけて全文検索インデックスおよ
びキーワードインデックス１１に登録する。８は同義語
・類義語・概念辞書であり、同義語、類義語をそれらに
対応する概念毎に管理する辞書である。また、同義語・
類義語・概念辞書８で管理される単語には、検索語に対
する自身の有効度を示す画像特徴重みが付加されてい
る。尚、この同義語・類義語・概念辞書８の詳細につい
ては後述する。

【００１７】１０は検索部であり、画像検索部１０ａ、
言語・画像特徴概念変換部１０ｂ、言語検索部１０ｃよ
り構成される。言語検索部１０ｃは、言語処理部３より
入力された検索語に基づいて、全文検索インデックスお
よびキーワードインデックス１１を参照して全文検索お
よびキーワード検索を行う。言語・画像特徴概念変換部
１０ｂは、検索語に対する画像特徴重みを同義語・類義
語・概念辞書８を参照して取得し、言語検索部１０ｃで
検索された画像データの類似画像データを検索するため
の画像特徴量を算出する。画像検索部１０ａは、言語・
画像特徴概念変換部１０ｂで算出される画像特徴量に基
づいて画像特徴インデックス９を参照し、類似画像デー
タを検索する。また、検索結果通知部１２で表示されて
いる検索結果である画像データの内、ユーザーインタフ
ェース１より指定された画像データの画像特徴量に基づ
いて画像特徴インデックス９を参照し、類似画像データ
を検索する。

【００１８】１２は検索結果通知部であり、検索部１０
より検索結果として得られる画像データを表示する。次
に、本実施形態の同義語・類義語・概念辞書８の詳細な
構成の一例について、図５を用いて説明する。図５は本
発明の実施形態の同義語・類義語・概念辞書の詳細な構
成の一例を示す図である。

【００１９】同義語・類義語・概念辞書８は、同義語・
類義語を、それに対応する概念の抽象度に応じて登録さ
れている。そして、概念の抽象度が異なる同義語・類義
語の間には、その抽象度の差を示す概念距離が定義され
ている。例えば、図５では、「乗り物」と「車」との概
念距離は１０になる。また、同義語・類義語には、入力
された検索語のｎ個の画像特徴量に、検索語に対し自身
の画像特徴量の有効度を反映した重み付けを行うための
画像特徴重みとしてｎ次元のベクトルが定義されてい
る。そして、それらｎ次元のベクトルは、その大きさが
１００となるように正規化されている。

【００２０】例えば、自動車は人工物であり、様々な色
があり得るので色に関する画像特徴量に対する重みは０
として、参照すべきでないものとして定義される。これ
により、検索語に対する有効な画像特徴量として、色以
外の画像特徴量に重みを置いた検索が実行されることに
なる。次に、本実施形態の画像処理装置で実行される画
像データを登録する画像登録処理について、図２を用い
て説明する。

【００２１】図２は本発明の実施形態で実行される画像
登録処理の処理フローを示すフローチャートである。ま
ず、ステップＳ１０１で、登録対象の画像データを画像
入力部２より入力し、入力された画像データは画像メモ
リ５に一旦記憶される。次に、ステップＳ１０２で、入
力された画像データに、その入力された画像データに対
する説明文やキーワードが付加されているか否かを判定
する。説明文やキーワードが付加されていない場合（ス
テップＳ１０２でＮＯ）、ステップＳ１０４に進む。一
方、説明文やキーワードが付加されている場合（ステッ
プＳ１０２でＹＥＳ）、ステップＳ１０３に進む。

【００２２】ステップＳ１０３で、画像データに付加さ
れている説明文やキーワードを、そその画像データと対
応づけて全文検索インデックスおよびキーワードインデ
ックス１１に登録する。ステップＳ１０４で、画像デー
タの画像特徴量を画像特徴抽出部７で抽出する。ステッ
プＳ１０５で、画像データより抽出した画像特徴量を、
その画像データと対応づけて画像特徴インデックス９に
登録する。ステップＳ１０６で、画像データを画像蓄積
部４に蓄積する。

【００２３】尚、初期導入時に検索がよく行われそうな
代表的かつ良質の複数のサンプル画像データ（所定値以
上の頻度で検索される画像データ）を登録する場合に
は、そのサンプル画像データの内容の説明文やキーワー
ドを付加する。そのため、付加する説明文あるいはキー
ワードは、そのサンプル画像データと対応づけられて全
文検索インデックスおよびキーワードインデックス１１
に登録される。また、類似画像データの検索を行うため
に、そのサンプル画像データの画像特徴量が抽出され、
抽出された画像特徴量は画像特徴インデックス９に登録
される。

【００２４】次に、本実施形態の画像処理装置で実行さ
れる画像データを検索する検索処理について、図３及び
図４を用いて説明する。まず、検索処理の概要につい
て、図３を用いて説明する。図３は本発明の実施形態で
実行される検索処理の概要を示すフローチャートであ
る。

【００２５】まず、ステップＳ２０１で、画像蓄積部４
に蓄積されるすべての画像データを検索対象の画像デー
タとしてセットする。次に、ステップＳ２０２で、検索
条件である「検索語」をユーザーインタフェース１より
入力する。次に、ステップＳ２０３で、入力された「検
索語」に基づいて、その検索語を説明文およびキーワー
ドとする検索処理（全文検索およびキーワード検索）を
行う。以下、この検索処理の詳細について、図４を用い
て説明する。

【００２６】図４は本発明の実施形態で実行される検索
処理の詳細を示すフローチャートである。まず、ステッ
プＳ３０１で、ｃｏｕｎｔｅｒ（不図示）に０をセット
し、検索語の概念と現在設定されている同義語・類義語
・概念辞書８の概念とのレベルを一致させる。ステップ
Ｓ３０２で、 ｃｏｕｎｔｅｒの内容が所定値ｍａｘ以
上であるか否かを判定する。所定値ｍａｘ以上である場
合（ステップＳ３０２でＹＥＳ）、ステップＳ３０９に
進む。そして、ステップＳ３０９で、該当する画像デー
タが検索されない旨を検索結果通知部１２で出力する。
一方、所定値ｍａｘ未満である場合（ステップＳ３０２
でＮＯ）、ステップＳ３０３に進む。

【００２７】ステップＳ３０３で、検索語に基づく全文
検索およびキーワード検索を実行する。ステップＳ３０
４で、検索される画像データが存在するか否かを判定す
る。検索される画像データが存在しない場合（ステップ
Ｓ３０４でＮＯ）、ステップＳ３１２に進む。一方、検
索される画像データが存在する場合（ステップＳ３０４
でＹＥＳ）、ステップＳ３０５に進む。

【００２８】ステップＳ３０５で、検索された画像デー
タにサンプル画像データが存在するか否かを判定する。
サンプル画像データが存在する場合（ステップＳ３０５
でＹＥＳ）、ステップＳ３１３に進む。そして、ステッ
プＳ３１３で、同義語・類義語・概念辞書８を参照して
検索語に対する最適な画像特徴重みを抽出する。そし
て、その抽出された検索語の画像特徴重みを考慮に入れ
て、サンプル画像データの共通の画像特徴量、あるいは
多数決的な判断による意味がある画像特徴量を抽出す
る。一方、サンプル画像データが存在しない場合（ステ
ップＳ３０５でＮＯ）、ステップＳ３０６に進む。そし
て、ステップＳ３０６で、同義語・類義語・概念辞書８
を参照して検索語に対する最適な画像特徴重みを抽出す
る。そして、その抽出された検索語の画像特徴重みを考
慮に入れて、検索された画像データの共通の画像特徴
量、あるいは多数決的な判断による意味がある画像特徴
量を抽出する。

【００２９】ステップＳ３０７で、抽出された画像特徴
量に基づいて画像特徴インデックス９を参照し、検索さ
れた画像データの類似画像データの検索を行う。ステッ
プＳ３０８で、検索された類似画像データに含まれるサ
ンプル画像データを除き、ステップＳ３０７で検索され
た類似画像データとステップＳ３０３で検索された画像
データの論理積をとって得られる画像データを検索結果
として検索結果通知部１２に出力する。

【００３０】尚、検索された画像データ及び類似画像デ
ータは、縮小画像で表示される。一方、ステップＳ３０
４で、検索された画像データが存在しない場合、ステッ
プＳ３１２で、同義語・類義語・概念辞書８を参照し
て、検索語の概念のレベルから次の概念のレベルにある
同義語・類義語を取得する。そして、取得した同義語・
類義語を新たな検索条件として設定する。尚、同義語・
類義語が複数ある場合には、それらの論理和を新たな検
索条件として設定する。そして、ステップＳ３１１で、
ｃｏｕｎｔｅｒの内容を１インクリメントし、ステップ
Ｓ２０２に戻る。

【００３１】例えば、上述した同義語・類義語・概念辞
書８において、「自動車」という検索語による全文検索
およびキーワード検索で検索される画像データが存在し
ない場合には、同義語・類義語・概念辞書８で、「自動
車」の概念のレベルの次の概念のレベルにある「車」、
「カー」、「モービル」を検索語として、再度全文検索
およびキーワード検索を行う。また、これでも検索され
る画像データが存在しない場合には、「自動車」の概念
のレベルの更に次の概念のレベルにある「スポーツカ
ー」、「乗り物」を検索語として、再度全文検索および
キーワード検索を行う。それでも、検索される画像デー
タが存在しない場合には、上位・下位概念の関係がない
単語、あるいは検索語の概念のレベルから、例えば、３
つ離れた概念のレベルまでという制約で単語を取得す
る。

【００３２】尚、上述の所定値ｍａｘは、ステップＳ３
１２〜ステップＳ３１０の処理を繰り返す数によって決
定され、ユーザーがユーザーインタフェース１より任意
に設定することができる。また、この設定する所定値ｍ
ａｘによって、ユーザーは得られる検索結果の検索精度
を把握することができ、通常、所定値ｍａｘが小さい
程、検索精度が高い検索結果となる。また、各概念のレ
ベルに応じた検索結果を取得することができる。

【００３３】再び、図３のフローチャートの説明に戻
る。ステップＳ２０３で、検索処理が実行されると、ス
テップＳ２０４で、その検索結果を検索結果通知部１２
で表示する。ステップＳ２０５で、その検索結果に対す
るユーザの指示を受け付ける。ユーザの指示が、検索結
果に対し、更に検索語を設定して検索結果の絞り込みを
行う場合は、ステップＳ２１１で、現在の検索結果を更
に絞り込んで検索する旨をユーザーインタフェース１よ
り設定し、ステップＳ２０２に戻り、新たな検索語を入
力する。この場合、現在得られている検索結果は保持さ
れ、新たに入力された検索語による検索処理の検索結果
と、保持されている検索結果の論理積をとることで検索
結果の絞り込みが実現される。

【００３４】ユーザの指示が、検索処理の終了である場
合には、処理を終了する。ユーザの指示が、検索のやり
直しを行う場合は、ステップＳ２１２で、検索結果をク
リアし、ステップＳ２０１に戻る。ユーザの指示が、検
索結果として表示される画像データ（縮小表示されてい
る画像データ）に対し、所望の画像データに対する処理
を実行するために画像データを選択する場合は、ステッ
プＳ２０６で、選択する画像データに対する処理がその
画像データの詳細（原寸の画像データ）を表示する要求
であるか否かを判定する。選択する画像データの詳細を
表示する要求である場合（ステップＳ２０６でＹＥ
Ｓ）、ステップＳ２０７に進む。ステップＳ２０７で、
選択された画像データ（縮小表示されている画像デー
タ）の詳細（原寸の画像データ）を表示する。ステップ
Ｓ２０８で、検索語を選択された画像データの新たな説
明文およびキーワードとして、その画像データと対応づ
けて全文検索インデックスおよびキーワードインデック
ス１１に登録する。

【００３５】尚、選択された画像データの詳細を表示す
る場合には、その画像データが検索語に該当する画像デ
ータとして扱われ、その検索語が画像データの説明文お
よびキーワードとして自動的に追加され、全文検索イン
デックスおよびキーワードインデックス１１に追加登録
される。このように、入力された検索語を説明文あるい
はキーワードとして、全文検索インデックスおよびキー
ワードインデックス１１に自動追加登録する機能を有す
る。この結果、初期導入時のサンプル画像データ以外の
検索される画像データの説明文およびキーワードとして
全文検索インデックスおよびキーワードインデックス１
１に登録され、全文検索インデックスおよびキーワード
インデックス１１の登録内容を充実したものに構成する
ことができる。これにより、次回以降に同じ検索語で検
索する場合には、その検索語は全文検索インデックスお
よびキーワードインデックス１１に説明文およびキーワ
ードとして既に登録されているので、非常に高速に検索
を行うことができる。

【００３６】一方、ステップＳ２０６で、選択する画像
データの詳細を表示する要求でない場合（ステップＳ２
０６でＮＯ）、ステップＳ２０９に進む。そして、ステ
ップＳ２０９で、選択された画像データの類似画像デー
タの検索を行う。ステップＳ２１０で、検索された類似
画像データに応じて、現在、縮小表示されている画像デ
ータの表示を更新する。

【００３７】尚、選択された画像データの類似画像デー
タを検索する場合には、その画像データの画像特徴量に
基づいて、画像特徴インデックス９を参照して類似画像
データを検索する。そして、この処理によりユーザーが
所望する画像データに近い類似画像データが得られた場
合は、ステップＳ２１１における検索の絞り込みがより
有効なものとなる。

【００３８】以上説明したように、本実施形態によれ
ば、画像データを管理するための説明文およびキーワー
ドを付加する作業をすることなく、ユーザーが所望する
画像データを容易に検索することができる。尚、本発明
は、複数の機器（例えば、ホストコンピュータ、インタ
フェース機器、リーダ、プリンタ等）から構成されるシ
ステムに適用しても、一つの機器からなる装置（例え
ば、複写機、ファクシミリ装置等）に適用してもよい。

【００３９】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００４０】この場合、記憶媒体から読出されたプログ
ラムコード自体が上述した実施の形態の機能を実現する
ことになり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することになる。プログラムコードを供
給するための記憶媒体としては、例えば、フロッピディ
スク、ハードディスク、光ディスク、光磁気ディスク、
ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモ
リカード、ＲＯＭなどを用いることができる。

【００４１】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施の形態の機能
が実現される場合も含まれることは言うまでもない。

【００４２】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書き込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００４３】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明したフローチャートに対応す
るプログラムコードを格納することになるが、簡単に説
明すると、図６のメモリマップ例に示す各モジュールを
記憶媒体に格納することになる。すなわち、少なくとも
「抽出モジュール」、「第１記憶モジュール」、「第２
記憶モジュール」、「入力モジュール」、「第１検索モ
ジュール」、「実行モジュール」、「取得モジュー
ル」、「第２検索モジュール」および「表示モジュー
ル」の各モジュールのプログラムコードを記憶媒体に格
納すればよい。

【００４４】尚、「抽出モジュール」は、画像データの
画像特徴量を抽出する。「第１記憶モジュール」は、抽
出された画像特徴量と画像データとの対応を画像特徴量
インデックスに記憶する。「第２記憶モジュール」は、
画像データの検索に用いる検索情報が前記画像データに
付加されている場合、該検索情報と該画像データとの対
応を検索情報インデックスに記憶する。「入力モジュー
ル」は、所望の画像データを検索するための検索条件を
入力する。「第１検索モジュール」は、入力された検索
条件に対応する検索情報を持つ画像データを、検索情報
インデックスを参照して検索する。「実行モジュール」
は、検索結果に応じて、新たな検索条件を設定し検索を
繰り返し実行する。「取得モジュール」は、実行回数を
監視し、その監視結果に応じて検索される画像データを
取得する。「第２検索モジュール」は、取得された画像
データの画像特徴量に基づいて、画像特徴量インデック
スを参照し、該画像データに類似する画像データを検索
する。「表示モジュール」は、取得された画像データ
と、検索された画像データに基づいて、検索条件に該当
する画像データを表示する。

【００４５】

【発明の効果】以上説明したように、本発明によれば、
画像データを管理するための説明文およびキーワードを
付加する作業を行うことなく、ユーザーが所望する画像
データを容易にかつ効率的に検索することができる画像
処理装置及びその方法を提供できる。

【図面の簡単な説明】

【図１】本発明の実施形態における画像処理装置の構成
を示すブロック図である。

【図２】本発明の実施形態で実行される画像登録処理の
処理フローを示すフローチャートである。

【図３】本発明の実施形態で実行される検索処理の概要
を示すフローチャートである。

【図４】本発明の実施形態で実行される検索処理の詳細
を示すフローチャートである。

【図５】本発明の実施形態の同義語・類義語・概念辞書
の詳細な構成の一例を示す図である。

【図６】本発明の実施形態を実現するプログラムコード
を格納した記憶媒体のメモリマップの構造を示す図であ
る。

【符号の説明】

１ ユーザーインタフェース ２ 画像入力部 ３ 言語処理部 ４ 画像蓄積部 ５ 画像メモリ ６ 全文検索登録部およびキーワード登録部 ７ 画像特徴抽出部 ８ 同義語・類義語・概念辞書 ９ 画像特徴インデックス １０ 検索部 １０ａ 画像検索部 １０ｂ 言語・画像特徴概念変換部 １０ｃ 言語検索部 １１ 全文検索インデックスおよびキーワードインデッ
クス １２ 検索結果通知部

Claims (23)

【特許請求の範囲】
1. 【請求項１】 画像データを管理する画像処理装置であ
   って、 前記画像データの画像特徴量を抽出する抽出手段と、 前記抽出手段で抽出された画像特徴量と前記画像データ
   との対応を画像特徴量インデックスに記憶する第１記憶
   手段と、 画像データの検索に用いる検索情報が前記画像データに
   付加されている場合、該検索情報と該画像データとの対
   応を検索情報インデックスに記憶する第２記憶手段と、 所望の画像データを検索するための検索条件を入力する
   入力手段と、 前記入力手段で入力された検索条件に対応する検索情報
   を持つ画像データを、前記検索情報インデックスを参照
   して検索する第１検索手段と、 前記第１検索手段による検索結果に応じて、新たな検索
   条件を設定し該第１検索手段による検索を繰り返し実行
   する実行手段と、 前記実行手段による実行回数を監視し、その監視結果に
   応じて前記第１検索手段で検索される画像データを取得
   する取得手段と、 前記取得手段で取得された画像データの画像特徴量に基
   づいて、前記画像特徴量インデックスを参照し、該画像
   データに類似する画像データを検索する第２検索手段
   と、 前記取得手段で取得された画像データと、前記第２検索
   手段で検索された画像データに基づいて、前記検索条件
   に該当する画像データを表示する表示手段とを備えるこ
   とを特徴とする画像処理装置。
2. 【請求項２】 概念毎に同義語・類義語を管理する同義
   語・類義語・概念辞書を記憶する第３記憶手段を更に備
   えることを特徴とする請求項１に記載の画像処理装置。
3. 【請求項３】 前記実行手段は、前記入力手段で入力さ
   れた検索条件で画像データが検索されない場合、前記同
   義語・類義語・概念辞書を参照して該検索条件の概念の
   レベルの次の概念のレベルの同義語・類義語を獲得し、
   該獲得した同義語・類義語を新たな検索条件として設定
   することを特徴とする請求項２に記載の画像処理装置。
4. 【請求項４】 前記実行手段は、前記入力手段で入力さ
   れた検索条件で画像データが検索されない場合、前記同
   義語・類義語・概念辞書を参照して該検索条件の概念の
   レベルから所定の概念のレベル内の同義語・類義語を獲
   得し、該獲得した同義語・類義語を新たな検索条件とし
   て設定することを特徴とする請求項２に記載の画像処理
   装置。
5. 【請求項５】 前記第１記憶手段は、複数種類のサンプ
   ル画像データの画像特徴量と、該サンプル画像データと
   の対応を予め前記画像特徴量インデックスに記憶するこ
   とを特徴とする請求項１に記載の画像処理装置。
6. 【請求項６】 前記サンプル画像データは、前記第１検
   索手段によって所定値以上の頻度で検索される画像デー
   タであり、前記検索情報が付加されていることを特徴と
   する請求項５に記載の画像処理装置。
7. 【請求項７】 前記第２記憶手段は、前記サンプル画像
   データの検索情報と、該サンプル画像データとの対応を
   予め前記検索情報インデックスに記憶することを特徴と
   する請求項６に記載の画像処理装置。
8. 【請求項８】 前記第２検索手段は、前記取得手段で取
   得される画像データの内、前記サンプル画像データが含
   まれる場合は、前記該サンプル画像データの画像特徴量
   に基づいて、前記画像特徴量インデックスを参照し、該
   画像データに類似する画像データを検索することを特徴
   とする請求項７に記載の画像処理装置。
9. 【請求項９】 前記表示手段は、前記検索条件に該当す
   る画像データを縮小画像で表示することを特徴とする請
   求項１に記載の画像処理装置。
10. 【請求項１０】 前記表示手段で表示される縮小画像の
    いずれかが選択され、その選択した縮小画像の原寸画像
    の表示が要求された場合、前記第２記憶手段は、前記検
    索条件を該縮小画像に対応する画像データの検索情報と
    して、該画像データと対応づけて前記検索情報インデッ
    クスに記憶することを特徴とする請求項８に記載の画像
    処理装置。
11. 【請求項１１】 前記画像データは、自然画像を読み取
    って得られる画像データであることを特徴とする請求項
    １に記載の画像処理装置。
12. 【請求項１２】 画像データを管理する画像処理装置の
    制御方法であって、 前記画像データの画像特徴量を抽出する抽出工程と、 前記抽出工程で抽出された画像特徴量と前記画像データ
    との対応を画像特徴量インデックスに記憶する第１記憶
    工程と、 画像データの検索に用いる検索情報が前記画像データに
    付加されている場合、該検索情報と該画像データとの対
    応を検索情報インデックスに記憶する第２記憶工程と、 所望の画像データを検索するための検索条件を入力する
    入力工程と、 前記入力工程で入力された検索条件に対応する検索情報
    を持つ画像データを、前記検索情報インデックスを参照
    して検索する第１検索工程と、 前記第１検索工程による検索結果に応じて、新たな検索
    条件を設定し該第１検索工程による検索を繰り返し実行
    する実行工程と、 前記実行工程による実行回数を監視し、その監視結果に
    応じて前記第１検索工程で検索される画像データを取得
    する取得工程と、 前記取得工程で取得された画像データの画像特徴量に基
    づいて、前記画像特徴量インデックスを参照し、該画像
    データに類似する画像データを検索する第２検索工程
    と、 前記取得工程で取得された画像データと、前記第２検索
    工程で検索された画像データに基づいて、前記検索条件
    に該当する画像データを表示する表示工程とを備えるこ
    とを特徴とする画像処理装置の制御方法。
13. 【請求項１３】 概念毎に同義語・類義語を管理する同
    義語・類義語・概念辞書を第３記憶媒体に記憶する第３
    記憶工程を更に備えることを特徴とする請求項１２に記
    載の画像処理装置の制御方法。
14. 【請求項１４】 前記実行工程は、前記入力工程で入力
    された検索条件で画像データが検索されない場合、前記
    同義語・類義語・概念辞書を参照して該検索条件の概念
    のレベルの次の概念のレベルの同義語・類義語を獲得
    し、該獲得した同義語・類義語を新たな検索条件として
    設定することを特徴とする請求項１３に記載の画像処理
    装置の制御方法。
15. 【請求項１５】 前記実行工程は、前記入力工程で入力
    された検索条件で画像データが検索されない場合、前記
    同義語・類義語・概念辞書を参照して該検索条件の概念
    のレベルから所定の概念のレベル内の同義語・類義語を
    獲得し、該獲得した同義語・類義語を新たな検索条件と
    して設定することを特徴とする請求項１３に記載の画像
    処理装置の制御方法。
16. 【請求項１６】 前記第１記憶工程は、複数種類のサン
    プル画像データの画像特徴量と、該サンプル画像データ
    との対応を予め前記画像特徴量インデックスに記憶する
    ことを特徴とする請求項１２に記載の画像処理装置の制
    御方法。
17. 【請求項１７】 前記サンプル画像データは、前記第１
    検索工程によって所定値以上の頻度で検索される画像デ
    ータであり、前記検索情報が付加されていることを特徴
    とする請求項１６に記載の画像処理装置の制御方法。
18. 【請求項１８】 前記第２記憶工程は、前記サンプル画
    像データの検索情報と、該サンプル画像データとの対応
    を予め前記検索情報インデックスに記憶することを特徴
    とする請求項１７に記載の画像処理装置の制御方法。
19. 【請求項１９】 前記第２検索工程は、前記取得工程で
    取得される画像データの内、前記サンプル画像データが
    含まれる場合は、前記該サンプル画像データの画像特徴
    量に基づいて、前記画像特徴量インデックスを参照し、
    該画像データに類似する画像データを検索することを特
    徴とする請求項１８に記載の画像処理装置の制御方法。
20. 【請求項２０】 前記表示工程は、前記検索条件に該当
    する画像データを縮小画像で表示することを特徴とする
    請求項１２に記載の画像処理装置の制御方法。
21. 【請求項２１】 前記表示工程で表示される縮小画像の
    いずれかが選択され、その選択した縮小画像の原寸画像
    の表示が要求された場合、前記第２記憶工程は、前記検
    索条件を該縮小画像に対応する画像データの検索情報と
    して、該画像データと対応づけて前記検索情報インデッ
    クスに記憶することを特徴とする請求項２０に記載の画
    像処理装置の制御方法。
22. 【請求項２２】 前記画像データは、自然画像を読み取
    って得られる画像データであることを特徴とする請求項
    １３に記載の画像処理装置。
23. 【請求項２３】 画像データを管理する画像処理装置の
    制御のプログラムコードが格納されたコンピュータ可読
    メモリであって、 前記画像データの画像特徴量を抽出する抽出工程のプロ
    グラムコードと、 前記抽出工程で抽出された画像特徴量と前記画像データ
    との対応を画像特徴量インデックスに記憶する第１記憶
    工程のプログラムコードと、 画像データの検索に用いる検索情報が前記画像データに
    付加されている場合、該検索情報と該画像データとの対
    応を検索情報インデックスに記憶する第２記憶工程のプ
    ログラムコードと、 所望の画像データを検索するための検索条件を入力する
    入力工程のプログラムコードと、 前記入力工程で入力された検索条件に対応する検索情報
    を持つ画像データを、前記検索情報インデックスを参照
    して検索する第１検索工程のプログラムコードと、 前記第１検索工程による検索結果に応じて、新たな検索
    条件を設定し該第１検索工程による検索を繰り返し実行
    する実行工程のプログラムコードと、 前記実行工程による実行回数を監視し、その監視結果に
    応じて前記第１検索工程で検索される画像データを取得
    する取得工程のプログラムコードと、 前記取得工程で取得された画像データの画像特徴量に基
    づいて、前記画像特徴量インデックスを参照し、該画像
    データに類似する画像データを検索する第２検索工程の
    プログラムコードと、 前記取得工程で取得された画像データと、前記第２検索
    工程で検索された画像データに基づいて、前記検索条件
    に該当する画像データを表示する表示工程のプログラム
    コードとを備えることを特徴とするコンピュータ可読メ
    モリ。