JPH10289241A - 画像処理装置及びその制御方法 - Google Patents
画像処理装置及びその制御方法Info
- Publication number
- JPH10289241A JPH10289241A JP9095840A JP9584097A JPH10289241A JP H10289241 A JPH10289241 A JP H10289241A JP 9095840 A JP9095840 A JP 9095840A JP 9584097 A JP9584097 A JP 9584097A JP H10289241 A JPH10289241 A JP H10289241A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- search
- image
- synonym
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
ーワードを付加する作業を行うことなく、ユーザーが所
望する画像データを容易にかつ効率的に検索することが
できる画像処理装置を提供する。 【解決手段】 所望の画像データを検索するための検
索条件がユーザーインタフェース1より入力されると、
その検索条件に対応する検索情報を持つ画像データを、
全文検索インデックスおよびキーワードインデックス1
1を参照して検索する。そして、その検索結果に応じて
新たな検索条件を設定し検索を繰り返し実行する。ま
た、実行回数を監視しその監視結果に応じて検索される
画像データを取得する。更に、取得された画像データの
画像特徴量に基づいて、画像特徴インデックス9を参照
し、該画像データに類似する画像データを検索する。以
上の検索によって検索された画像データに基づいて、検
索条件に該当する画像データを検索結果通知部12で表
示する。
Description
する画像処理装置及びその制御方法に関するものであ
る。
で得られる画像データを管理する画像処理装置において
画像データを検索する場合には、画像データに対する画
像認識技術が実現困難なため、画像データを直接用いた
検索はできなかった。そのため、画像データを読み込む
際に、その画像データを示す説明文およびキーワードを
付加し、画像データを検索する際には、その画像データ
に付加した説明文およびキーワードを用いて検索を行う
ことが一般的であった。
来の画像処理装置において、特に、管理する画像データ
が多いと、その画像データに説明文およびキーワードを
付加する作業が大きな負担となっていた。また、負担を
軽減するために、画像データに説明文およびキーワード
を付加しないで管理することも可能であるが、この場合
の画像データの検索は、管理されるすべての画像データ
の縮小画像を表示し、その縮小画像よりユーザが所望す
る縮小画像を選択することで画像データを検索しなけれ
ばならず、、使い易いものとは言えず、効率も悪かっ
た。
のであり、画像データを管理するための説明文およびキ
ーワードを付加する作業を行うことなく、ユーザーが所
望する画像データを容易にかつ効率的に検索することが
できる画像処理装置及びその方法を提供することを目的
とする。
めの本発明による画像処理装置は以下の構成を備える。
即ち、画像データを管理する画像処理装置であって、前
記画像データの画像特徴量を抽出する抽出手段と、前記
抽出手段で抽出された画像特徴量と前記画像データとの
対応を画像特徴量インデックスに記憶する第1記憶手段
と、画像データの検索に用いる検索情報が前記画像デー
タに付加されている場合、該検索情報と該画像データと
の対応を検索情報インデックスに記憶する第2記憶手段
と、所望の画像データを検索するための検索条件を入力
する入力手段と、前記入力手段で入力された検索条件に
対応する検索情報を持つ画像データを、前記検索情報イ
ンデックスを参照して検索する第1検索手段と、前記第
1検索手段による検索結果に応じて、新たな検索条件を
設定し該第1検索手段による検索を繰り返し実行する実
行手段と、前記実行手段による実行回数を監視し、その
監視結果に応じて前記第1検索手段で検索される画像デ
ータを取得する取得手段と、前記取得手段で取得された
画像データの画像特徴量に基づいて、前記画像特徴量イ
ンデックスを参照し、該画像データに類似する画像デー
タを検索する第2検索手段と、前記取得手段で取得され
た画像データと、前記第2検索手段で検索された画像デ
ータに基づいて、前記検索条件に該当する画像データを
表示する表示手段とを備える。
語を管理する同義語・類義語・概念辞書を記憶する第3
記憶手段を更に備える。また、好ましくは、前記実行手
段は、前記入力手段で入力された検索条件で画像データ
が検索されない場合、前記同義語・類義語・概念辞書を
参照して該検索条件の概念のレベルの次の概念のレベル
の同義語・類義語を獲得し、該獲得した同義語・類義語
を新たな検索条件として設定する。
入力手段で入力された検索条件で画像データが検索され
ない場合、前記同義語・類義語・概念辞書を参照して該
検索条件の概念のレベルから所定の概念のレベル内の同
義語・類義語を獲得し、該獲得した同義語・類義語を新
たな検索条件として設定する。また、好ましくは、前記
第1記憶手段は、複数種類のサンプル画像データの画像
特徴量と、該サンプル画像データとの対応を予め前記画
像特徴量インデックスに記憶する。
タは、前記第1検索手段によって所定値以上の頻度で検
索される画像データであり、前記検索情報が付加されて
いる。また、好ましくは、前記第2記憶手段は、前記サ
ンプル画像データの検索情報と、該サンプル画像データ
との対応を予め前記検索情報インデックスに記憶する。
れる画像データの内、前記サンプル画像データが含まれ
る場合は、前記該サンプル画像データの画像特徴量に基
づいて、前記画像特徴量インデックスを参照し、該画像
データに類似する画像データを検索する。また、好まし
くは、前記表示手段は、前記検索条件に該当する画像デ
ータを縮小画像で表示する。
れる縮小画像のいずれかが選択され、その選択した縮小
画像の原寸画像の表示が要求された場合、前記第2記憶
手段は、前記検索条件を該縮小画像に対応する画像デー
タの検索情報として、該画像データと対応づけて前記検
索情報インデックスに記憶する。また、好ましくは、前
記画像データは、自然画像を読み取って得られる画像デ
ータである。
画像処理装置の制御方法は以下の構成を備える。即ち、
画像データを管理する画像処理装置の制御方法であっ
て、前記画像データの画像特徴量を抽出する抽出工程
と、前記抽出工程で抽出された画像特徴量と前記画像デ
ータとの対応を画像特徴量インデックスに記憶する第1
記憶工程と、画像データの検索に用いる検索情報が前記
画像データに付加されている場合、該検索情報と該画像
データとの対応を検索情報インデックスに記憶する第2
記憶工程と、所望の画像データを検索するための検索条
件を入力する入力工程と、前記入力工程で入力された検
索条件に対応する検索情報を持つ画像データを、前記検
索情報インデックスを参照して検索する第1検索工程
と、前記第1検索工程による検索結果に応じて、新たな
検索条件を設定し該第1検索工程による検索を繰り返し
実行する実行工程と、前記実行工程による実行回数を監
視し、その監視結果に応じて前記第1検索工程で検索さ
れる画像データを取得する取得工程と、前記取得工程で
取得された画像データの画像特徴量に基づいて、前記画
像特徴量インデックスを参照し、該画像データに類似す
る画像データを検索する第2検索工程と、前記取得工程
で取得された画像データと、前記第2検索工程で検索さ
れた画像データに基づいて、前記検索条件に該当する画
像データを表示する表示工程とを備える。
コンピュータ可読メモリは以下の構成を備える。即ち、
画像データを管理する画像処理装置の制御のプログラム
コードが格納されたコンピュータ可読メモリであって、
前記画像データの画像特徴量を抽出する抽出工程のプロ
グラムコードと、前記抽出工程で抽出された画像特徴量
と前記画像データとの対応を画像特徴量インデックスに
記憶する第1記憶工程のプログラムコードと、画像デー
タの検索に用いる検索情報が前記画像データに付加され
ている場合、該検索情報と該画像データとの対応を検索
情報インデックスに記憶する第2記憶工程のプログラム
コードと、所望の画像データを検索するための検索条件
を入力する入力工程のプログラムコードと、前記入力工
程で入力された検索条件に対応する検索情報を持つ画像
データを、前記検索情報インデックスを参照して検索す
る第1検索工程のプログラムコードと、前記第1検索工
程による検索結果に応じて、新たな検索条件を設定し該
第1検索工程による検索を繰り返し実行する実行工程の
プログラムコードと、前記実行工程による実行回数を監
視し、その監視結果に応じて前記第1検索工程で検索さ
れる画像データを取得する取得工程のプログラムコード
と、前記取得工程で取得された画像データの画像特徴量
に基づいて、前記画像特徴量インデックスを参照し、該
画像データに類似する画像データを検索する第2検索工
程のプログラムコードと、前記取得工程で取得された画
像データと、前記第2検索工程で検索された画像データ
に基づいて、前記検索条件に該当する画像データを表示
する表示工程のプログラムコードとを備える。
適な実施形態を詳細に説明する。図1は本発明の実施形
態の画像処理装置の構成を示すブロック図である。図1
において、1はユーザインタフェースであり、キーボー
ド、マウスより構成される。4は画像蓄積部であり、画
像メモリ5に一旦記憶される画像データを蓄積する。2
は画像入力部であり、ユーザーインタフェース1からの
指示により、画像蓄積部4に登録する登録対象となる画
像データの入力を行う。
画像データであるとする。但し、画像データはこれに限
定されず、CGやCAD等の人工的な画像データであっ
ても良い。5は画像メモリであり、画像入力部2より入
力された画像データを一旦記憶する。7は画像特徴抽出
部であり、画像メモリ5に一旦記憶された画像データの
類似画像データを検索するための画像特徴量を抽出す
る。9は画像特徴インデックスであり、画像特徴抽出部
7で抽出された画像データの画像特徴量を、その画像デ
ータと対応づけて登録する。
入力された画像データに、その画像データの内容を示す
説明文およびキーワードが付加されている場合、同義語
・類義語・概念辞書8を参照して、その説明文およびキ
ーワードの形態素解析を行い、その解析結果より得られ
る単語を全文検索登録部およびキーワード登録部6に出
力する。また、ユーザーインタフェース1より画像蓄積
部4に蓄積される画像データを検索するための検索語が
入力された場合には、その検索語を画像検索部10に出
力する。
部であり、言語処理部3より入力される単語を、入力さ
れた画像データと対応づけて全文検索インデックスおよ
びキーワードインデックス11に登録する。8は同義語
・類義語・概念辞書であり、同義語、類義語をそれらに
対応する概念毎に管理する辞書である。また、同義語・
類義語・概念辞書8で管理される単語には、検索語に対
する自身の有効度を示す画像特徴重みが付加されてい
る。尚、この同義語・類義語・概念辞書8の詳細につい
ては後述する。
言語・画像特徴概念変換部10b、言語検索部10cよ
り構成される。言語検索部10cは、言語処理部3より
入力された検索語に基づいて、全文検索インデックスお
よびキーワードインデックス11を参照して全文検索お
よびキーワード検索を行う。言語・画像特徴概念変換部
10bは、検索語に対する画像特徴重みを同義語・類義
語・概念辞書8を参照して取得し、言語検索部10cで
検索された画像データの類似画像データを検索するため
の画像特徴量を算出する。画像検索部10aは、言語・
画像特徴概念変換部10bで算出される画像特徴量に基
づいて画像特徴インデックス9を参照し、類似画像デー
タを検索する。また、検索結果通知部12で表示されて
いる検索結果である画像データの内、ユーザーインタフ
ェース1より指定された画像データの画像特徴量に基づ
いて画像特徴インデックス9を参照し、類似画像データ
を検索する。
より検索結果として得られる画像データを表示する。次
に、本実施形態の同義語・類義語・概念辞書8の詳細な
構成の一例について、図5を用いて説明する。図5は本
発明の実施形態の同義語・類義語・概念辞書の詳細な構
成の一例を示す図である。
類義語を、それに対応する概念の抽象度に応じて登録さ
れている。そして、概念の抽象度が異なる同義語・類義
語の間には、その抽象度の差を示す概念距離が定義され
ている。例えば、図5では、「乗り物」と「車」との概
念距離は10になる。また、同義語・類義語には、入力
された検索語のn個の画像特徴量に、検索語に対し自身
の画像特徴量の有効度を反映した重み付けを行うための
画像特徴重みとしてn次元のベクトルが定義されてい
る。そして、それらn次元のベクトルは、その大きさが
100となるように正規化されている。
があり得るので色に関する画像特徴量に対する重みは0
として、参照すべきでないものとして定義される。これ
により、検索語に対する有効な画像特徴量として、色以
外の画像特徴量に重みを置いた検索が実行されることに
なる。次に、本実施形態の画像処理装置で実行される画
像データを登録する画像登録処理について、図2を用い
て説明する。
登録処理の処理フローを示すフローチャートである。ま
ず、ステップS101で、登録対象の画像データを画像
入力部2より入力し、入力された画像データは画像メモ
リ5に一旦記憶される。次に、ステップS102で、入
力された画像データに、その入力された画像データに対
する説明文やキーワードが付加されているか否かを判定
する。説明文やキーワードが付加されていない場合(ス
テップS102でNO)、ステップS104に進む。一
方、説明文やキーワードが付加されている場合(ステッ
プS102でYES)、ステップS103に進む。
れている説明文やキーワードを、そその画像データと対
応づけて全文検索インデックスおよびキーワードインデ
ックス11に登録する。ステップS104で、画像デー
タの画像特徴量を画像特徴抽出部7で抽出する。ステッ
プS105で、画像データより抽出した画像特徴量を、
その画像データと対応づけて画像特徴インデックス9に
登録する。ステップS106で、画像データを画像蓄積
部4に蓄積する。
代表的かつ良質の複数のサンプル画像データ(所定値以
上の頻度で検索される画像データ)を登録する場合に
は、そのサンプル画像データの内容の説明文やキーワー
ドを付加する。そのため、付加する説明文あるいはキー
ワードは、そのサンプル画像データと対応づけられて全
文検索インデックスおよびキーワードインデックス11
に登録される。また、類似画像データの検索を行うため
に、そのサンプル画像データの画像特徴量が抽出され、
抽出された画像特徴量は画像特徴インデックス9に登録
される。
れる画像データを検索する検索処理について、図3及び
図4を用いて説明する。まず、検索処理の概要につい
て、図3を用いて説明する。図3は本発明の実施形態で
実行される検索処理の概要を示すフローチャートであ
る。
に蓄積されるすべての画像データを検索対象の画像デー
タとしてセットする。次に、ステップS202で、検索
条件である「検索語」をユーザーインタフェース1より
入力する。次に、ステップS203で、入力された「検
索語」に基づいて、その検索語を説明文およびキーワー
ドとする検索処理(全文検索およびキーワード検索)を
行う。以下、この検索処理の詳細について、図4を用い
て説明する。
処理の詳細を示すフローチャートである。まず、ステッ
プS301で、counter(不図示)に0をセット
し、検索語の概念と現在設定されている同義語・類義語
・概念辞書8の概念とのレベルを一致させる。ステップ
S302で、 counterの内容が所定値max以
上であるか否かを判定する。所定値max以上である場
合(ステップS302でYES)、ステップS309に
進む。そして、ステップS309で、該当する画像デー
タが検索されない旨を検索結果通知部12で出力する。
一方、所定値max未満である場合(ステップS302
でNO)、ステップS303に進む。
検索およびキーワード検索を実行する。ステップS30
4で、検索される画像データが存在するか否かを判定す
る。検索される画像データが存在しない場合(ステップ
S304でNO)、ステップS312に進む。一方、検
索される画像データが存在する場合(ステップS304
でYES)、ステップS305に進む。
タにサンプル画像データが存在するか否かを判定する。
サンプル画像データが存在する場合(ステップS305
でYES)、ステップS313に進む。そして、ステッ
プS313で、同義語・類義語・概念辞書8を参照して
検索語に対する最適な画像特徴重みを抽出する。そし
て、その抽出された検索語の画像特徴重みを考慮に入れ
て、サンプル画像データの共通の画像特徴量、あるいは
多数決的な判断による意味がある画像特徴量を抽出す
る。一方、サンプル画像データが存在しない場合(ステ
ップS305でNO)、ステップS306に進む。そし
て、ステップS306で、同義語・類義語・概念辞書8
を参照して検索語に対する最適な画像特徴重みを抽出す
る。そして、その抽出された検索語の画像特徴重みを考
慮に入れて、検索された画像データの共通の画像特徴
量、あるいは多数決的な判断による意味がある画像特徴
量を抽出する。
量に基づいて画像特徴インデックス9を参照し、検索さ
れた画像データの類似画像データの検索を行う。ステッ
プS308で、検索された類似画像データに含まれるサ
ンプル画像データを除き、ステップS307で検索され
た類似画像データとステップS303で検索された画像
データの論理積をとって得られる画像データを検索結果
として検索結果通知部12に出力する。
ータは、縮小画像で表示される。一方、ステップS30
4で、検索された画像データが存在しない場合、ステッ
プS312で、同義語・類義語・概念辞書8を参照し
て、検索語の概念のレベルから次の概念のレベルにある
同義語・類義語を取得する。そして、取得した同義語・
類義語を新たな検索条件として設定する。尚、同義語・
類義語が複数ある場合には、それらの論理和を新たな検
索条件として設定する。そして、ステップS311で、
counterの内容を1インクリメントし、ステップ
S202に戻る。
書8において、「自動車」という検索語による全文検索
およびキーワード検索で検索される画像データが存在し
ない場合には、同義語・類義語・概念辞書8で、「自動
車」の概念のレベルの次の概念のレベルにある「車」、
「カー」、「モービル」を検索語として、再度全文検索
およびキーワード検索を行う。また、これでも検索され
る画像データが存在しない場合には、「自動車」の概念
のレベルの更に次の概念のレベルにある「スポーツカ
ー」、「乗り物」を検索語として、再度全文検索および
キーワード検索を行う。それでも、検索される画像デー
タが存在しない場合には、上位・下位概念の関係がない
単語、あるいは検索語の概念のレベルから、例えば、3
つ離れた概念のレベルまでという制約で単語を取得す
る。
12〜ステップS310の処理を繰り返す数によって決
定され、ユーザーがユーザーインタフェース1より任意
に設定することができる。また、この設定する所定値m
axによって、ユーザーは得られる検索結果の検索精度
を把握することができ、通常、所定値maxが小さい
程、検索精度が高い検索結果となる。また、各概念のレ
ベルに応じた検索結果を取得することができる。
る。ステップS203で、検索処理が実行されると、ス
テップS204で、その検索結果を検索結果通知部12
で表示する。ステップS205で、その検索結果に対す
るユーザの指示を受け付ける。ユーザの指示が、検索結
果に対し、更に検索語を設定して検索結果の絞り込みを
行う場合は、ステップS211で、現在の検索結果を更
に絞り込んで検索する旨をユーザーインタフェース1よ
り設定し、ステップS202に戻り、新たな検索語を入
力する。この場合、現在得られている検索結果は保持さ
れ、新たに入力された検索語による検索処理の検索結果
と、保持されている検索結果の論理積をとることで検索
結果の絞り込みが実現される。
合には、処理を終了する。ユーザの指示が、検索のやり
直しを行う場合は、ステップS212で、検索結果をク
リアし、ステップS201に戻る。ユーザの指示が、検
索結果として表示される画像データ(縮小表示されてい
る画像データ)に対し、所望の画像データに対する処理
を実行するために画像データを選択する場合は、ステッ
プS206で、選択する画像データに対する処理がその
画像データの詳細(原寸の画像データ)を表示する要求
であるか否かを判定する。選択する画像データの詳細を
表示する要求である場合(ステップS206でYE
S)、ステップS207に進む。ステップS207で、
選択された画像データ(縮小表示されている画像デー
タ)の詳細(原寸の画像データ)を表示する。ステップ
S208で、検索語を選択された画像データの新たな説
明文およびキーワードとして、その画像データと対応づ
けて全文検索インデックスおよびキーワードインデック
ス11に登録する。
る場合には、その画像データが検索語に該当する画像デ
ータとして扱われ、その検索語が画像データの説明文お
よびキーワードとして自動的に追加され、全文検索イン
デックスおよびキーワードインデックス11に追加登録
される。このように、入力された検索語を説明文あるい
はキーワードとして、全文検索インデックスおよびキー
ワードインデックス11に自動追加登録する機能を有す
る。この結果、初期導入時のサンプル画像データ以外の
検索される画像データの説明文およびキーワードとして
全文検索インデックスおよびキーワードインデックス1
1に登録され、全文検索インデックスおよびキーワード
インデックス11の登録内容を充実したものに構成する
ことができる。これにより、次回以降に同じ検索語で検
索する場合には、その検索語は全文検索インデックスお
よびキーワードインデックス11に説明文およびキーワ
ードとして既に登録されているので、非常に高速に検索
を行うことができる。
データの詳細を表示する要求でない場合(ステップS2
06でNO)、ステップS209に進む。そして、ステ
ップS209で、選択された画像データの類似画像デー
タの検索を行う。ステップS210で、検索された類似
画像データに応じて、現在、縮小表示されている画像デ
ータの表示を更新する。
タを検索する場合には、その画像データの画像特徴量に
基づいて、画像特徴インデックス9を参照して類似画像
データを検索する。そして、この処理によりユーザーが
所望する画像データに近い類似画像データが得られた場
合は、ステップS211における検索の絞り込みがより
有効なものとなる。
ば、画像データを管理するための説明文およびキーワー
ドを付加する作業をすることなく、ユーザーが所望する
画像データを容易に検索することができる。尚、本発明
は、複数の機器(例えば、ホストコンピュータ、インタ
フェース機器、リーダ、プリンタ等)から構成されるシ
ステムに適用しても、一つの機器からなる装置(例え
ば、複写機、ファクシミリ装置等)に適用してもよい。
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
ラムコード自体が上述した実施の形態の機能を実現する
ことになり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することになる。プログラムコードを供
給するための記憶媒体としては、例えば、フロッピディ
スク、ハードディスク、光ディスク、光磁気ディスク、
CD−ROM、CD−R、磁気テープ、不揮発性のメモ
リカード、ROMなどを用いることができる。
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)などが実際の処理の一部または全
部を行い、その処理によって前述した実施の形態の機能
が実現される場合も含まれることは言うまでもない。
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書き込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
の記憶媒体には、先に説明したフローチャートに対応す
るプログラムコードを格納することになるが、簡単に説
明すると、図6のメモリマップ例に示す各モジュールを
記憶媒体に格納することになる。すなわち、少なくとも
「抽出モジュール」、「第1記憶モジュール」、「第2
記憶モジュール」、「入力モジュール」、「第1検索モ
ジュール」、「実行モジュール」、「取得モジュー
ル」、「第2検索モジュール」および「表示モジュー
ル」の各モジュールのプログラムコードを記憶媒体に格
納すればよい。
画像特徴量を抽出する。「第1記憶モジュール」は、抽
出された画像特徴量と画像データとの対応を画像特徴量
インデックスに記憶する。「第2記憶モジュール」は、
画像データの検索に用いる検索情報が前記画像データに
付加されている場合、該検索情報と該画像データとの対
応を検索情報インデックスに記憶する。「入力モジュー
ル」は、所望の画像データを検索するための検索条件を
入力する。「第1検索モジュール」は、入力された検索
条件に対応する検索情報を持つ画像データを、検索情報
インデックスを参照して検索する。「実行モジュール」
は、検索結果に応じて、新たな検索条件を設定し検索を
繰り返し実行する。「取得モジュール」は、実行回数を
監視し、その監視結果に応じて検索される画像データを
取得する。「第2検索モジュール」は、取得された画像
データの画像特徴量に基づいて、画像特徴量インデック
スを参照し、該画像データに類似する画像データを検索
する。「表示モジュール」は、取得された画像データ
と、検索された画像データに基づいて、検索条件に該当
する画像データを表示する。
画像データを管理するための説明文およびキーワードを
付加する作業を行うことなく、ユーザーが所望する画像
データを容易にかつ効率的に検索することができる画像
処理装置及びその方法を提供できる。
を示すブロック図である。
処理フローを示すフローチャートである。
を示すフローチャートである。
を示すフローチャートである。
の詳細な構成の一例を示す図である。
を格納した記憶媒体のメモリマップの構造を示す図であ
る。
クス 12 検索結果通知部
Claims (23)
- 【請求項1】 画像データを管理する画像処理装置であ
って、 前記画像データの画像特徴量を抽出する抽出手段と、 前記抽出手段で抽出された画像特徴量と前記画像データ
との対応を画像特徴量インデックスに記憶する第1記憶
手段と、 画像データの検索に用いる検索情報が前記画像データに
付加されている場合、該検索情報と該画像データとの対
応を検索情報インデックスに記憶する第2記憶手段と、 所望の画像データを検索するための検索条件を入力する
入力手段と、 前記入力手段で入力された検索条件に対応する検索情報
を持つ画像データを、前記検索情報インデックスを参照
して検索する第1検索手段と、 前記第1検索手段による検索結果に応じて、新たな検索
条件を設定し該第1検索手段による検索を繰り返し実行
する実行手段と、 前記実行手段による実行回数を監視し、その監視結果に
応じて前記第1検索手段で検索される画像データを取得
する取得手段と、 前記取得手段で取得された画像データの画像特徴量に基
づいて、前記画像特徴量インデックスを参照し、該画像
データに類似する画像データを検索する第2検索手段
と、 前記取得手段で取得された画像データと、前記第2検索
手段で検索された画像データに基づいて、前記検索条件
に該当する画像データを表示する表示手段とを備えるこ
とを特徴とする画像処理装置。 - 【請求項2】 概念毎に同義語・類義語を管理する同義
語・類義語・概念辞書を記憶する第3記憶手段を更に備
えることを特徴とする請求項1に記載の画像処理装置。 - 【請求項3】 前記実行手段は、前記入力手段で入力さ
れた検索条件で画像データが検索されない場合、前記同
義語・類義語・概念辞書を参照して該検索条件の概念の
レベルの次の概念のレベルの同義語・類義語を獲得し、
該獲得した同義語・類義語を新たな検索条件として設定
することを特徴とする請求項2に記載の画像処理装置。 - 【請求項4】 前記実行手段は、前記入力手段で入力さ
れた検索条件で画像データが検索されない場合、前記同
義語・類義語・概念辞書を参照して該検索条件の概念の
レベルから所定の概念のレベル内の同義語・類義語を獲
得し、該獲得した同義語・類義語を新たな検索条件とし
て設定することを特徴とする請求項2に記載の画像処理
装置。 - 【請求項5】 前記第1記憶手段は、複数種類のサンプ
ル画像データの画像特徴量と、該サンプル画像データと
の対応を予め前記画像特徴量インデックスに記憶するこ
とを特徴とする請求項1に記載の画像処理装置。 - 【請求項6】 前記サンプル画像データは、前記第1検
索手段によって所定値以上の頻度で検索される画像デー
タであり、前記検索情報が付加されていることを特徴と
する請求項5に記載の画像処理装置。 - 【請求項7】 前記第2記憶手段は、前記サンプル画像
データの検索情報と、該サンプル画像データとの対応を
予め前記検索情報インデックスに記憶することを特徴と
する請求項6に記載の画像処理装置。 - 【請求項8】 前記第2検索手段は、前記取得手段で取
得される画像データの内、前記サンプル画像データが含
まれる場合は、前記該サンプル画像データの画像特徴量
に基づいて、前記画像特徴量インデックスを参照し、該
画像データに類似する画像データを検索することを特徴
とする請求項7に記載の画像処理装置。 - 【請求項9】 前記表示手段は、前記検索条件に該当す
る画像データを縮小画像で表示することを特徴とする請
求項1に記載の画像処理装置。 - 【請求項10】 前記表示手段で表示される縮小画像の
いずれかが選択され、その選択した縮小画像の原寸画像
の表示が要求された場合、前記第2記憶手段は、前記検
索条件を該縮小画像に対応する画像データの検索情報と
して、該画像データと対応づけて前記検索情報インデッ
クスに記憶することを特徴とする請求項8に記載の画像
処理装置。 - 【請求項11】 前記画像データは、自然画像を読み取
って得られる画像データであることを特徴とする請求項
1に記載の画像処理装置。 - 【請求項12】 画像データを管理する画像処理装置の
制御方法であって、 前記画像データの画像特徴量を抽出する抽出工程と、 前記抽出工程で抽出された画像特徴量と前記画像データ
との対応を画像特徴量インデックスに記憶する第1記憶
工程と、 画像データの検索に用いる検索情報が前記画像データに
付加されている場合、該検索情報と該画像データとの対
応を検索情報インデックスに記憶する第2記憶工程と、 所望の画像データを検索するための検索条件を入力する
入力工程と、 前記入力工程で入力された検索条件に対応する検索情報
を持つ画像データを、前記検索情報インデックスを参照
して検索する第1検索工程と、 前記第1検索工程による検索結果に応じて、新たな検索
条件を設定し該第1検索工程による検索を繰り返し実行
する実行工程と、 前記実行工程による実行回数を監視し、その監視結果に
応じて前記第1検索工程で検索される画像データを取得
する取得工程と、 前記取得工程で取得された画像データの画像特徴量に基
づいて、前記画像特徴量インデックスを参照し、該画像
データに類似する画像データを検索する第2検索工程
と、 前記取得工程で取得された画像データと、前記第2検索
工程で検索された画像データに基づいて、前記検索条件
に該当する画像データを表示する表示工程とを備えるこ
とを特徴とする画像処理装置の制御方法。 - 【請求項13】 概念毎に同義語・類義語を管理する同
義語・類義語・概念辞書を第3記憶媒体に記憶する第3
記憶工程を更に備えることを特徴とする請求項12に記
載の画像処理装置の制御方法。 - 【請求項14】 前記実行工程は、前記入力工程で入力
された検索条件で画像データが検索されない場合、前記
同義語・類義語・概念辞書を参照して該検索条件の概念
のレベルの次の概念のレベルの同義語・類義語を獲得
し、該獲得した同義語・類義語を新たな検索条件として
設定することを特徴とする請求項13に記載の画像処理
装置の制御方法。 - 【請求項15】 前記実行工程は、前記入力工程で入力
された検索条件で画像データが検索されない場合、前記
同義語・類義語・概念辞書を参照して該検索条件の概念
のレベルから所定の概念のレベル内の同義語・類義語を
獲得し、該獲得した同義語・類義語を新たな検索条件と
して設定することを特徴とする請求項13に記載の画像
処理装置の制御方法。 - 【請求項16】 前記第1記憶工程は、複数種類のサン
プル画像データの画像特徴量と、該サンプル画像データ
との対応を予め前記画像特徴量インデックスに記憶する
ことを特徴とする請求項12に記載の画像処理装置の制
御方法。 - 【請求項17】 前記サンプル画像データは、前記第1
検索工程によって所定値以上の頻度で検索される画像デ
ータであり、前記検索情報が付加されていることを特徴
とする請求項16に記載の画像処理装置の制御方法。 - 【請求項18】 前記第2記憶工程は、前記サンプル画
像データの検索情報と、該サンプル画像データとの対応
を予め前記検索情報インデックスに記憶することを特徴
とする請求項17に記載の画像処理装置の制御方法。 - 【請求項19】 前記第2検索工程は、前記取得工程で
取得される画像データの内、前記サンプル画像データが
含まれる場合は、前記該サンプル画像データの画像特徴
量に基づいて、前記画像特徴量インデックスを参照し、
該画像データに類似する画像データを検索することを特
徴とする請求項18に記載の画像処理装置の制御方法。 - 【請求項20】 前記表示工程は、前記検索条件に該当
する画像データを縮小画像で表示することを特徴とする
請求項12に記載の画像処理装置の制御方法。 - 【請求項21】 前記表示工程で表示される縮小画像の
いずれかが選択され、その選択した縮小画像の原寸画像
の表示が要求された場合、前記第2記憶工程は、前記検
索条件を該縮小画像に対応する画像データの検索情報と
して、該画像データと対応づけて前記検索情報インデッ
クスに記憶することを特徴とする請求項20に記載の画
像処理装置の制御方法。 - 【請求項22】 前記画像データは、自然画像を読み取
って得られる画像データであることを特徴とする請求項
13に記載の画像処理装置。 - 【請求項23】 画像データを管理する画像処理装置の
制御のプログラムコードが格納されたコンピュータ可読
メモリであって、 前記画像データの画像特徴量を抽出する抽出工程のプロ
グラムコードと、 前記抽出工程で抽出された画像特徴量と前記画像データ
との対応を画像特徴量インデックスに記憶する第1記憶
工程のプログラムコードと、 画像データの検索に用いる検索情報が前記画像データに
付加されている場合、該検索情報と該画像データとの対
応を検索情報インデックスに記憶する第2記憶工程のプ
ログラムコードと、 所望の画像データを検索するための検索条件を入力する
入力工程のプログラムコードと、 前記入力工程で入力された検索条件に対応する検索情報
を持つ画像データを、前記検索情報インデックスを参照
して検索する第1検索工程のプログラムコードと、 前記第1検索工程による検索結果に応じて、新たな検索
条件を設定し該第1検索工程による検索を繰り返し実行
する実行工程のプログラムコードと、 前記実行工程による実行回数を監視し、その監視結果に
応じて前記第1検索工程で検索される画像データを取得
する取得工程のプログラムコードと、 前記取得工程で取得された画像データの画像特徴量に基
づいて、前記画像特徴量インデックスを参照し、該画像
データに類似する画像データを検索する第2検索工程の
プログラムコードと、 前記取得工程で取得された画像データと、前記第2検索
工程で検索された画像データに基づいて、前記検索条件
に該当する画像データを表示する表示工程のプログラム
コードとを備えることを特徴とするコンピュータ可読メ
モリ。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9095840A JPH10289241A (ja) | 1997-04-14 | 1997-04-14 | 画像処理装置及びその制御方法 |
EP98302888A EP0872803B1 (en) | 1997-04-14 | 1998-04-09 | Image processing method and control method therefor |
DE69832924T DE69832924T2 (de) | 1997-04-14 | 1998-04-09 | Bildverarbeitungsgerät und Kontrollverfahren dafür |
US09/058,206 US6430566B1 (en) | 1997-04-14 | 1998-04-10 | Image processing apparatus and control method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9095840A JPH10289241A (ja) | 1997-04-14 | 1997-04-14 | 画像処理装置及びその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH10289241A true JPH10289241A (ja) | 1998-10-27 |
Family
ID=14148583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9095840A Pending JPH10289241A (ja) | 1997-04-14 | 1997-04-14 | 画像処理装置及びその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH10289241A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1115834A (ja) * | 1997-06-19 | 1999-01-22 | Canon Inc | 画像処理装置及びその制御方法 |
JP2002007413A (ja) * | 2000-06-20 | 2002-01-11 | Fujitsu Ltd | 画像検索装置 |
JP2002536731A (ja) * | 1999-02-01 | 2002-10-29 | エルジー エレクトロニクス インコーポレーテッド | マルチメディアデータのサーチ方法 |
JP2002536730A (ja) * | 1999-01-29 | 2002-10-29 | エルジー エレクトロニクス インコーポレーテッド | マルチメディアデータの検索又はブラウジング方法 |
JP2002366575A (ja) * | 2001-03-26 | 2002-12-20 | Lg Electronics Inc | イメージ検索方法及び検索装置 |
WO2007111297A1 (ja) * | 2006-03-24 | 2007-10-04 | Nec Corporation | 映像データインデキシングシステム、映像データインデキシング方法およびプログラム |
JP2008234218A (ja) * | 2007-03-19 | 2008-10-02 | Ricoh Co Ltd | 情報検索システム及び情報検索方法 |
JP2019159396A (ja) * | 2018-03-07 | 2019-09-19 | 株式会社日本電気特許技術情報センター | 編集装置、編集方法および編集プログラム |
-
1997
- 1997-04-14 JP JP9095840A patent/JPH10289241A/ja active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1115834A (ja) * | 1997-06-19 | 1999-01-22 | Canon Inc | 画像処理装置及びその制御方法 |
JP2002536730A (ja) * | 1999-01-29 | 2002-10-29 | エルジー エレクトロニクス インコーポレーテッド | マルチメディアデータの検索又はブラウジング方法 |
US6643643B1 (en) | 1999-01-29 | 2003-11-04 | Lg Electronics Inc. | Method of searching or browsing multimedia data and data structure |
JP2002536731A (ja) * | 1999-02-01 | 2002-10-29 | エルジー エレクトロニクス インコーポレーテッド | マルチメディアデータのサーチ方法 |
JP2002007413A (ja) * | 2000-06-20 | 2002-01-11 | Fujitsu Ltd | 画像検索装置 |
JP2002366575A (ja) * | 2001-03-26 | 2002-12-20 | Lg Electronics Inc | イメージ検索方法及び検索装置 |
WO2007111297A1 (ja) * | 2006-03-24 | 2007-10-04 | Nec Corporation | 映像データインデキシングシステム、映像データインデキシング方法およびプログラム |
JPWO2007111297A1 (ja) * | 2006-03-24 | 2009-08-13 | 日本電気株式会社 | 映像データインデキシングシステム、映像データインデキシング方法およびプログラム |
US8280195B2 (en) | 2006-03-24 | 2012-10-02 | Nec Corporation | Video data indexing system, video data indexing method and program |
JP2008234218A (ja) * | 2007-03-19 | 2008-10-02 | Ricoh Co Ltd | 情報検索システム及び情報検索方法 |
JP2019159396A (ja) * | 2018-03-07 | 2019-09-19 | 株式会社日本電気特許技術情報センター | 編集装置、編集方法および編集プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7096218B2 (en) | Search refinement graphical user interface | |
US8458207B2 (en) | Using anchor text to provide context | |
US7647303B2 (en) | Document processing apparatus for searching documents, control method therefor, program for implementing the method, and storage medium storing the program | |
JPH10124413A (ja) | 埋め込みウェブオブジェクトの優先順位づけダウンローディングの方法と装置 | |
JPH11110416A (ja) | データベースからドキュメントを検索するための方法および装置 | |
JP2001075969A (ja) | 画像管理検索装置、画像管理検索方法及び記憶媒体 | |
JP2004341753A (ja) | 検索支援装置、検索支援方法、およびプログラム | |
JPH10289240A (ja) | 画像処理装置及びその制御方法 | |
JP2000200281A (ja) | 情報検索装置および情報検索方法ならびに情報検索プログラムを記録した記録媒体 | |
JPWO2003034279A1 (ja) | 情報検索方法、情報検索プログラム、情報検索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JPH10301943A (ja) | 画像処理装置及びその制御方法 | |
JP3356519B2 (ja) | 文書情報検索装置 | |
JPH10289241A (ja) | 画像処理装置及びその制御方法 | |
US6430566B1 (en) | Image processing apparatus and control method therefor | |
JPH1115834A (ja) | 画像処理装置及びその制御方法 | |
JP2000222416A (ja) | 情報検索装置及びその方法、及びそのプログラムを記憶した記憶媒体 | |
JPH10289245A (ja) | 画像処理装置及びその制御方法 | |
JP2005107931A (ja) | 画像検索装置 | |
JP2001265774A (ja) | 情報検索方法、装置、および情報検索プログラムを記録した記録媒体、ハイパーテキスト情報検索システム | |
JPH0773197A (ja) | 異表記語辞書作成支援装置 | |
JPH1145261A (ja) | 情報検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JPH10254888A (ja) | 情報処理装置及びその処理方法 | |
JP2001005830A (ja) | 情報処理装置及びその方法、コンピュータ可読メモリ | |
JP3902825B2 (ja) | 文書検索システムおよび方法 | |
JPH09160908A (ja) | 文書処理装置及びその方法、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040413 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040413 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20040413 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040413 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060317 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060630 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061117 |