JPH1166084A - 画像検索装置およびその装置の各手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 文書中の図や表等の画像を検索対象とした検
索を行うことができるようにすること。 【解決手段】 文書中の画像を検索するための検索条件
を入力する複数のクライアント１００と、文書ＤＢ１０
１中の文書から文書中に存在する画像の位置情報を抽出
すると共に、画像に関する記述を文書中の画像を検索す
るための画像検索情報として抽出し、抽出した画像検索
情報をベクター表現に変換し、変換した画像検索情報の
ベクター表現に画像の位置情報を付加して転置ファイル
１０２に登録し、クライアント１００から入力した検索
条件をベクター表現に変換し、検索条件のベクター表現
と画像検索情報のベクター表現との類似度を求め、求め
た類似度が所定の閾値を超える画像検索情報に対応する
画像の位置情報を検索結果として出力する検索サーバ１
０３と、を備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書中の図や表等
の画像を検索対象とした検索を行うことができるように
した画像検索装置およびその装置の各手段としてコンピ
ュータを機能させるためのプログラムを記録したコンピ
ュータ読み取り可能な記録媒体に関する。

【０００２】

【従来の技術】コンピュータの発達に伴って、紙を媒体
として記録され、また保存されていた文書についても、
電子化された情報として取り扱うことが一般的となり、
大量の電子化された文書がデータベースに蓄積されるこ
ととなっている。

【０００３】ところで、大量の電子化された文書が蓄積
されていくに従って、大量の文書の中から所望の文書を
容易に探し出すことができる検索技術が重要となってく
る。特に、誰もがコンピュータを用いて作業を行う今日
にあっては、特殊な手法を用いることなく、コンピュー
タの初心者であっても簡単に所望の文書を検索できるよ
うな検索システムを構築することが重要なポイントとな
る。

【０００４】検索の容易化を図るための１つの手法とし
て、人間が通常用いる自然言語を用いて検索条件を入力
することができるようにする技術を挙げることができ
る。この技術は、近年の自然言語処理技術の発達に伴っ
て、多くの検索システムに取り入れられつつある。

【０００５】

【発明が解決しようとする課題】近年のマルチメディア
技術の進歩により、ワードプロセッサ等においても図や
表等の画像を含めた文書を簡単に作成することができる
ようになっている。そのため、文書そのものではなく、
文書中の画像を検索対象とすることができる技術の開発
が望まれているが、上記従来の技術においては、文書中
の画像を直接の検索対象とした検索を行うことはできな
かった。換言すれば、上記従来の技術を用いて文書中の
画像を検索するには、所望の画像が含まれていると思わ
れる文書を検索した後、検索した文書から利用者自ら所
望の画像を探し出さなければならなかった。

【０００６】本発明は上記に鑑みてなされたものであっ
て、文書中の図や表等の画像を検索対象とした検索を行
うことができるようにすることを目的とする。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、請求項１の画像検索装置は、予め用意された文書に
含まれた図や表等の画像を検索する画像検索装置であっ
て、前記文書に含まれた画像の位置情報を抽出すると共
に、前記画像に関する記述を文書中の画像を検索するた
めの画像検索情報として抽出して格納する画像情報格納
手段と、検索条件を入力する入力手段と、前記入力手段
を介して入力した検索条件に基づいて、前記画像情報格
納手段から該当する画像検索情報を検索し、検索した画
像検索情報に対応する前記画像の位置情報を検索結果と
して出力する検索手段と、を備えたものである

【０００８】また、請求項２の画像検索装置は、請求項
１に記載の画像検索装置において、前記画像検索情報
が、前記文書中の画像に関する記述および前記文書中に
存在する画像中の文字列を含むものである。

【０００９】また、請求項３の画像検索装置は、請求項
１または２に記載の画像検索装置において、前記画像情
報格納手段が、前記画像検索情報をベクター表現に変換
して格納し、前記検索手段が、前記入力手段を介して入
力した検索条件をベクター表現に変換し、前記検索条件
のベクター表現と前記画像検索情報のベクター表現との
類似度を求め、求めた類似度が所定の閾値を超える画像
検索情報に対応する前記画像の位置情報を検索結果とし
て出力するものである。

【００１０】さらに、請求項４のコンピュータ読み取り
可能な記録媒体は、前記請求項１〜３のいずれか１つに
記載の画像検索装置の各手段としてコンピュータを機能
させるためのプログラムを記録したものである。

【００１１】

【発明の実施の形態】以下、本発明の画像検索装置およ
びその装置の各手段としてコンピュータを機能させるた
めのプログラムを記録したコンピュータ読み取り可能な
記録媒体の一実施の形態について、添付の図面を参照し
つつ詳細に説明する。

【００１２】図１は、本実施の形態の画像検索装置のシ
ステム構成図である。図１に示す画像検索装置は、文書
中の画像を検索するための検索条件を入力すると共に、
入力した検索条件に該当する文書中の画像を画面表示す
る複数のクライアント１００と、クライアント１００等
で作成された複数の文書を格納した文書ＤＢ（データベ
ース）１０１中の文書から文書中に存在する画像の位置
情報を抽出すると共に、画像に関する記述を文書中の画
像を検索するための画像検索情報として抽出し、抽出し
た画像検索情報をベクター表現に変換し、変換した画像
検索情報のベクター表現に画像の位置情報を属性情報と
して付加して転置ファイル１０２に登録し、クライアン
ト１００から入力した検索条件をベクター表現に変換
し、検索条件のベクター表現と画像検索情報のベクター
表現との類似度を求め、求めた類似度が所定の閾値を超
える画像検索情報に対応する画像の位置情報を検索結果
として出力する検索サーバ１０３と、上記クライアント
１００や検索サーバ１０３等を接続するネットワーク１
０４と、から構成されている。なお、クライアント１０
０や検索サーバ１０３は、パーソナルコンピュータやワ
ークステーション等のコンピュータで構成される。

【００１３】図２は、検索サーバ１０３の処理を示す概
略ブロック図である。検索サーバ１０３は、ベクトル空
間法を用いた検索処理を行うことが可能なものであっ
て、検索対象を文書中の画像とする検索処理だけでな
く、検索対象を文書とする検索処理をも行うことができ
るものである。以下では、この図２を用いて、ベクトル
空間法による検索処理を可能とするために、文書ＤＢ１
０１に格納された文書を転置ファイル１０２に登録する
処理およびベクトル空間法による検索処理について説明
する。

【００１４】（１）転置ファイルに登録する処理 文書を転置ファイル１０２に登録する処理は、図２に示
す自然言語処理モジュール２００およびデータベース・
ビルド・コンポーネント２０４によって行われる。

【００１５】自然言語処理モジュール２００は、文書Ｄ
Ｂ１０１から文書を入力し、入力した文書について、フ
ォーマットの認識処理や、品詞情報を格納した辞書２０
１および各単語の係り受け等を解析するための文法辞書
２０２を用いて形態素解析，構文解析等の解析処理を行
う。そして、解析結果に基づいて、文書を複数のセンテ
ンスからなるサブドキュメントに区切り、サブドキュメ
ントから名詞句を抽出した後，サブドキュメント毎の名
詞句リストからなるドキュメント・セット２０３を生成
する。

【００１６】また、自然言語処理モジュール２００は、
上記解析結果に基づいて、文書ＤＢ１０１から入力した
文書中に存在する図や表等の画像の位置情報を抽出する
と共に、画像に関する記述を文書中の画像を検索するた
めの画像検索情報として抽出した後、この画像検索情報
から名詞句を抽出し、画像検索情報の名詞句リストを含
めてドキュメント・セット２０３を生成する。なお、画
像検索情報の名詞句リストには、対応する画像の位置情
報および画像検索情報であることを示す情報が属性情報
として付加される。また、自然言語処理モジュール２０
０は、図や表等の画像中の文字列についても画像検索情
報として抽出することができる。

【００１７】図３は、自然言語処理モジュール２００の
処理を説明するための説明図である。図３に示すよう
に、文書中のあるページにグラフが存在する場合、自然
言語処理モジュール２００は、このグラフに関する記述
を画像検索情報として抽出する。図３においては、例え
ば、「図２は、１９９６年の円相場の変動を示してい
る」等を画像検索情報として抽出する。また、グラフ中
の「図２ 円相場の変動」等の文字列についても画像検
索情報として抽出することができる。

【００１８】データベース・ビルド・コンポーネント２
０４は、自然言語処理モジュール２００で生成したドキ
ュメント・セット２０３を入力し、サブドキュメント中
の各名詞句について、サブドキュメント中の出現頻度，
文書ＤＢ１０１全体における分布等の統計情報を求め、
求めた名詞句毎の統計情報を用いてサブドキュメントを
ベクター表現に変換する。この処理をドキュメント・セ
ット２０３中の全てのサブドキュメントについて行い、
変換したサブドキュメントのベクター表現に基づいて、
文書のベクター表現を生成し、転置ファイル１０２に登
録する。

【００１９】また、画像検索情報中の各名詞句につい
て、画像検索情報中の出現頻度，文書ＤＢ１０１全体に
おける分布等の統計情報を求め、求めた名詞句毎の統計
情報を用いて画像検索情報をベクター表現に変換し、属
性情報である画像の位置情報および画像検索情報である
ことを示す情報を付加して転置ファイル１０２に登録す
る。なお、画像検索情報のベクター表現は、対応する文
書のベクター表現と共に管理される。

【００２０】このようにして、文書ＤＢ１０１中の各文
書がベクター表現に変換されて転置ファイル１０２に登
録される。これにより、ベクトル空間法を用いて文書中
の画像の検索および文書の検索を行うことができるよう
になる。

【００２１】（２）ベクトル空間法による検索処理 ベクトル空間法による検索処理は、図２に示す自然言語
処理モジュール２００，クエリー・ビルド・コンポーネ
ント２０７および検索エンジン２０９によって行われ
る。以下、文書の検索処理，文書中の画像の検索処
理の順でベクトル空間法による検索処理を説明する。

【００２２】文書の検索処理 自然言語処理モジュール２００は、クライアント１００
から検索条件２０６を入力し、入力した検索条件２０６
について、品詞情報を格納した辞書２０１および各単語
の係り受け等を解析するための文法辞書２０２を用いて
形態素解析，構文解析等の解析処理を行い、検索条件２
０６から名詞句を抽出して、抽出した名詞句のリストか
らなるドキュメント・セット２０３を生成する。

【００２３】クエリー・ビルド・コンポーネント２０７
は、自然言語処理モジュール２００から検索条件２０６
のドキュメント・セット２０３を入力し、入力したドキ
ュメント・セット２０３中の各名詞句について、ドキュ
メント・セット２０３中の出現頻度，転置ファイル１０
２全体における分布等の統計情報を求め、求めた統計情
報を用いてドキュメント・セット２０３をベクター表現
に変換したクエリー・ドキュメント２０８（検索条件２
０６のベクター表現）を生成する。

【００２４】検索エンジン（例えば、ＣＬＡＲＩＴＥＣ
Ｈ社のＣＬＡＲＩＴ）２０９は、クエリー・ビルド・コ
ンポーネント２０７で生成したクエリー・ドキュメント
２０８と転置ファイル１０２中の文書のベクター表現と
の類似度を求め、各文書にクエリー・ドキュメント２０
８との類似度に応じたスコアリングを行い、判定閾値を
超えるスコアの文書を検索結果として出力する。

【００２５】文書中の画像の検索処理 続いて、文書中の画像の検索処理について説明する。自
然言語処理モジュール２００は、クライアント１００か
ら検索条件２０６を入力し、入力した検索条件２０６に
ついて、品詞情報を格納した辞書２０１および各単語の
係り受け等を解析するための文法辞書２０２を用いて形
態素解析，構文解析等の解析処理を行う。解析処理を行
った結果、入力した検索条件２０６中に文書中の画像を
検索することを指定した制約条件が含まれている場合
は、検索条件２０６から名詞句を抽出して、抽出した名
詞句のリストからなるドキュメント・セット２０３を生
成し、生成したドキュメント・セット２０３に文書中の
画像を検索することを指定した画像検索指定情報を付加
する。

【００２６】クエリー・ビルド・コンポーネント２０７
は、上述したように、自然言語処理モジュール２００か
ら入力したキュメント・セット２０３をベクター表現に
変換したクエリー・ドキュメント２０８（検索条件２０
６のベクター表現）を生成する。

【００２７】検索エンジン２０９は、自然言語処理モジ
ュール２００によって付加された画像検索指定情報に基
づいて、画像検索情報であることを示す情報が付加され
ている画像検索情報のベクター表現を検索対象として検
索処理を行う。すなわち、クエリー・ビルド・コンポー
ネント２０７で生成したクエリー・ドキュメント２０８
と転置ファイル１０２中の画像検索情報のベクター表現
との類似度を求め、各画像検索情報にクエリー・ドキュ
メント２０８との類似度に応じたスコアリングを行い、
判定閾値を超えるスコアの画像検索情報に対応する画像
の位置情報を検索結果として出力する。

【００２８】以上の構成において、本実施の形態の画像
検索装置の概略動作を図４のフローチャートを用いて説
明する。

【００２９】クライアント１００は、検索サーバ１０３
に対して検索条件２０６を入力する。ここで、文書中の
画像を検索したい場合には、例えば、「円相場の変動を
示すグラフ」と入力する。この「円相場の変動を示すグ
ラフ」中の「グラフ」が文書中の画像の検索を指定する
制約条件となる。その他、表の場合は「・・・の表」，
写真の場合は「・・・の写真」等と入力することによ
り、文書中の画像の検索を指定する制約条件を入力する
ことができる。一方、文書を検索したい場合には、例え
ば「円相場の変動」と入力する。

【００３０】検索サーバ１０３は、クライアント１００
から検索条件２０６を入力すると（Ｓ４０１）、自然言
語処理モジュール２００において、入力した検索条件２
０６の解析処理を行う（Ｓ４０２）。

【００３１】ステップＳ４０２の解析処理の結果に基づ
いて、検索条件２０６中に文書中の画像の検索を指定し
た制約条件が含まれているか否かを判定する（Ｓ４０
３）。ステップＳ４０３において、検索条件２０６が
「円相場の変動を示すグラフ」である場合には、「グラ
フ」という記述に基づいて、文書中の画像の検索を指定
した制約条件が含まれていると判定し、ステップＳ４０
４に進む。一方、検索条件２０６が「円相場の変動」で
ある場合には、文書中の画像の検索を指定した制約条件
が含まれていないと判定し、ステップＳ４０８に進む。

【００３２】ステップＳ４０３において、文書中の画像
の検索を指定した制約条件が含まれていると判定した場
合、検索条件２０６から名詞句を抽出して、抽出した名
詞句のリストからなるドキュメント・セット２０３を生
成すると共に、生成したドキュメント・セット２０３に
文書中の画像を検索することを指定する画像検索指定情
報を付加する（Ｓ４０４）。

【００３３】そして、生成したドキュメント・セット２
０３に基づいて、検索条件２０６をベクター表現に変換
したキュメント・セット２０３を生成する（Ｓ４０
５）。

【００３４】続いて、ステップＳ４０４で付加した画像
検索指定情報に基づいて、ステップＳ４０５で生成した
クエリー・ドキュメント２０８と転置ファイル１０２中
の画像検索情報のベクター表現との類似度を求め、各画
像検索情報にクエリー・ドキュメント２０８との類似度
に応じたスコアリングを行い（Ｓ４０６）、判定閾値を
超えるスコアの画像検索情報に対応する画像の位置情報
を検索結果として出力する（Ｓ４０７）。すなわち、ベ
クトル空間法による検索処理が行われる。なお、判定閾
値に代え、上位ｎ番目のスコアの画像検索情報に対応す
る画像の位置情報を検索結果として出力することにして
も良い。

【００３５】クライアント１００は、検索サーバ１００
から検索結果を入力し、検索結果である文書中の画像の
一覧を画面表示すると共に、所望の画像が選択される
と、位置情報に基づいて、該当する文書中の画像を画面
表示する。なお、検索結果である文書中の画像の一覧を
表示する際には、ステップＳ４０６の検索時に検索条件
２０６と画像検索情報との類似度が判定されているた
め、検索条件２０６との関連性の高い画像から順に一覧
表示することができる。

【００３６】一方、ステップＳ４０３において、文書中
の画像の検索を指定した制約条件が含まれていないと判
定した場合、検索条件２０６から名詞句を抽出して、抽
出した名詞句のリストからなるドキュメント・セット２
０３を生成する（Ｓ４０８）。

【００３７】そして、生成したドキュメント・セット２
０３に基づいて、検索条件２０６をベクター表現に変換
したクエリー・ドキュメント２０８（検索条件２０６の
ベクター表現）を生成する（Ｓ４０９）。

【００３８】続いて、ステップＳ４０９で生成したクエ
リー・ドキュメント２０８と転置ファイル１０２中の文
書のベクター表現との類似度を求め、各文書にクエリー
・ドキュメント２０８との類似度に応じたスコアリング
を行い（Ｓ４１０）、判定閾値を超えるスコアの文書を
検索結果として出力する（Ｓ４０７）。すなわち、ベク
トル空間法による検索処理が行われる。なお、判定閾値
に代え、上位ｎ番目のスコアの文書を検索結果として出
力することにしても良い。

【００３９】クライアント１００は、検索サーバ１００
から検索結果を入力し、検索結果である文書の一覧を画
面表示すると共に、所望の文書が選択されると、該当す
る文書を画面表示する。なお、検索結果である文書の一
覧を表示する際には、ステップＳ４０６の検索時に検索
条件２０６と文書との類似度が判定されているため、検
索条件２０６との関連性の高い文書から順に一覧表示す
ることができる。

【００４０】なお、図４に示したフローチャートにおい
ては、文書中の画像を対象とした検索および文書を対象
とした検索を別々に行うことにして説明したが、例え
ば、検索条件２０６が「円相場の変動を示すグラフ」で
ある場合に、「円相場の変動」に関する文書と「円相場
の変動を示すグラフ」とを同時に検索することにしても
良い。また、図４に示したステップＳ４０３において、
検索条件２０６中に制約条件が含まれているか否かで文
書中の画像を対象とした検索または文書を対象とした検
索のいずれを行うかを決定することにしたが、両方を検
索対象として検索を行い、検索結果を出力する際に制約
条件で絞り込みを行うという処理にしても良い。

【００４１】このように、本実施の形態の画像検索装置
によれば、文書中の画像に関する記述を抽出し、この記
述を検索対象とするため、文書中の図や表等の画像を検
索対象とした検索を行うことができる。

【００４２】なお、本実施の形態において、ベクトル空
間法に基づいて検索処理を説明したが、ベクトル空間法
による検索処理に代えて、ブーリアン検索による検索処
理を用いることにしても良い。

【００４３】また、本実施の形態で説明した画像検索装
置は、予め用意されたプログラムをパーソナルコンピュ
ータやワークステーション等のコンピュータで実行する
ことによって実現される。このプログラムは、ハードデ
ィスク，フロッピーディスク，ＣＤ−ＲＯＭ，ＭＯ，Ｄ
ＶＤ等のコンピュータで読み取り可能な記録媒体に記録
され、コンピュータによって記録媒体から読み出される
ことによって実行される。また、このプログラムは、上
記記録媒体を介して、またはネットワークを介して配布
することができる。

【００４４】

【発明の効果】以上説明したように、本発明の画像検索
装置（請求項１）によれば、予め用意された文書に含ま
れた図や表等の画像を検索する画像検索装置であって、
文書に含まれた画像の位置情報を抽出すると共に、画像
に関する記述を文書中の画像を検索するための画像検索
情報として抽出して格納する画像情報格納手段と、検索
条件を入力する入力手段と、入力手段を介して入力した
検索条件に基づいて、画像情報格納手段から該当する画
像検索情報を検索し、検索した画像検索情報に対応する
画像の位置情報を検索結果として出力する検索手段と、
を備えたため、文書中の図や表等の画像を検索対象とし
た検索を行うことができる。

【００４５】また、本発明の画像検索装置（請求項２）
によれば、請求項１に記載の画像検索装置において、画
像検索情報は、文書中の画像に関する記述および文書中
に存在する画像中の文字列を含むため、文書中の画像を
検索するための画像検索情報として多くの情報を用いる
ことができ、文書中の図や表等の画像を検索対象とした
検索の精度の向上を図ることができる。

【００４６】また、本発明の画像検索装置（請求項３）
によれば、請求項１または２に記載の画像検索装置にお
いて、画像情報格納手段が、画像検索情報をベクター表
現に変換して格納し、検索手段は、入力手段を介して入
力した検索条件をベクター表現に変換し、検索条件のベ
クター表現と画像検索情報のベクター表現との類似度を
求め、求めた類似度が所定の閾値を超える画像検索情報
に対応する画像の位置情報を検索結果として出力するた
め、検索条件に最も関連のある文書中の画像から順に検
索結果を表示することができる。

【００４７】さらに、本発明のコンピュータ読み取り可
能な記録媒体（請求項４）によれば、請求項１〜３のい
ずれか１つに記載の画像検索装置の各手段としてコンピ
ュータを機能させるためのプログラムを記録したため、
文書中の図や表等の画像を検索対象とした検索を行うこ
とができる画像検索装置を実現することができる。

【図面の簡単な説明】

【図１】本実施の形態の画像検索装置のシステム構成図
である。

【図２】本実施の形態の画像検索装置において、検索サ
ーバの処理を示す概略ブロック図である。

【図３】本実施の形態の画像検索装置において、自然言
語処理モジュールの処理を説明するための説明図であ
る。

【図４】本実施の形態の画像検索装置において、画像検
索処理を示すフローチャートである。

【符号の説明】

１００ クライアント １０１ 文書ＤＢ １０２ 転置ファイル １０３ 検索サーバ １０４ ネットワーク ２００ 自然言語処理モジュール ２０１ 辞書 ２０２ 文法辞書 ２０３ ドキュメント・セット ２０４ データベース・ビルド・コンポーネント ２０６ 検索条件 ２０７ クエリー・ビルド・コンポーネント ２０８ クエリー・ドキュメント ２０９ 検索エンジン

Claims (4)

【特許請求の範囲】
1. 【請求項１】 予め用意された文書に含まれた図や表等
   の画像を検索する画像検索装置であって、 前記文書に含まれた画像の位置情報を抽出すると共に、
   前記画像に関する記述を文書中の画像を検索するための
   画像検索情報として抽出して格納する画像情報格納手段
   と、 検索条件を入力する入力手段と、 前記入力手段を介して入力した検索条件に基づいて、前
   記画像情報格納手段から該当する画像検索情報を検索
   し、検索した画像検索情報に対応する前記画像の位置情
   報を検索結果として出力する検索手段と、 を備えたことを特徴とする画像検索装置。
2. 【請求項２】 前記画像検索情報は、前記文書中の画像
   に関する記述および前記文書中に存在する画像中の文字
   列を含むことを特徴とする請求項１に記載の画像検索装
   置。
3. 【請求項３】 前記画像情報格納手段は、前記画像検索
   情報をベクター表現に変換して格納し、 前記検索手段は、前記入力手段を介して入力した検索条
   件をベクター表現に変換し、前記検索条件のベクター表
   現と前記画像検索情報のベクター表現との類似度を求
   め、求めた類似度が所定の閾値を超える画像検索情報に
   対応する前記画像の位置情報を検索結果として出力する
   ことを特徴とする請求項１または２に記載の画像検索装
   置。
4. 【請求項４】 前記請求項１〜３のいずれか１つに記載
   の画像検索装置の各手段としてコンピュータを機能させ
   るためのプログラムを記録したことを特徴とするコンピ
   ュータ読み取り可能な記録媒体。