JPH1125113A - 画像検索装置，画像検索用キーテキストの生成方法，並びにその装置としてコンピュータを機能させるためのプログラムおよびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 文書中の文字列を検索用のテキストとして用
いることにより、格納した文書中の画像を容易に検索で
きるようにすること。 【解決手段】 図，表，写真等の画像および文字列が混
在した文書を入力し、入力した文書から画像を含む画像
領域および文字列を含む文字領域を認識して抽出する領
域識別・分割処理部２０２と、文字領域の文字列から画
像領域の画像に関連づけするキーテキストと定義した文
字列を抽出するキーテキスト抽出部２０５と、画像領域
の画像およびキーテキストを関連づけて格納する画像Ｄ
Ｂ１０２およびテキストＤＢ１０３と、検索語を入力す
るための入力装置２１１と、入力装置２１１を介して入
力した検索語に基づいて、該当するキーテキストを検索
する検索要求・結果出力部２１３および検索実行部２１
４と、検索結果を入力し、入力した検索結果を画面表示
する出力装置２１２と、を少なくとも備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、図，表，写真等の
画像および文字列が混在した文書中の画像を検索するも
のであって、文書中の画像およびその画像について記述
した文字列を抽出し、かつ、それらを関連づけして格納
し、任意の検索語に基づいて、格納した文字列を検索し
て、該当する文字列に関連づけられた画像を出力する画
像検索装置，画像検索用キーテキストの生成方法，並び
にその装置としてコンピュータを機能させるためのプロ
グラムおよびその方法をコンピュータに実行させるため
のプログラムを記録したコンピュータ読み取り可能な記
録媒体に関する。

【０００２】

【従来の技術】コンピュータの急速な普及に伴って、従
来は紙をファイリングすることによって保存していた文
書を、電子化された情報として保存することが一般的と
なってきている。その結果、電子化された情報として保
存した文書を有効に活用するために、保存した大量の情
報の中から必要な情報を検索する技術が重要となってき
ている。

【０００３】ところで、電子化された情報の中には、文
字情報だけではなく、図，表，写真等の画像情報も含ま
れる。文字情報を検索する際には、検索語を入力し、入
力した検索語と文字情報とのマッチング処理等を行うこ
とにより、検索語に該当する文字情報を見つけ出すこと
ができる。ところが、画像情報自身は、検索語とマッチ
ング処理するための情報を有していないため、以下の第
１から第３の例として説明するような方法で検索対象と
なる情報を生成して各画像に付与し、付与した情報を用
いて、所望の画像を検索できるようにしている。

【０００４】第１の例は、図，表，写真等の画像および
文字列が混在した文書中の画像を検索する方法に関する
ものであって、文書から抽出した画像中に存在する文字
列をさらに抽出し、抽出した文字列を文字認識して画像
検索用のキーワードとしたものである（特開平１−１９
６５６０号公報『文書検索方法及び文書検索装置』）。
すなわち、この方法は、画像自身に含まれた文字列を抽
出してその画像のキーワードとし、このキーワードを検
索することにより、該当する画像を出力することができ
るようにしたものである。

【０００５】また、第２の例は、画像を保存する際に、
人手により各画像にキーワードを付与し、付与したキー
ワードを検索することにより、該当する画像を出力する
ことができるようにしたものである（電子情報通信学会
論文誌，Ｄ−ＩＩ，Ｖｏｌ．Ｊ７３−Ｄ−ＩＩ，Ｎｏ．
４，ｐｐ．５２６−５３４，１９９０年４月）。

【０００６】さらに、第３の例は、画像そのものを解析
し、画像の色や構造等の特徴を抽出してデータベース化
し、画像を検索する際に、データベース化した画像の特
徴を指定することにより、該当する画像を出力すること
ができるようにしたものである（Ｑｕｅｒｙ ｂｙ Ｉ
ｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｃｏｎｔｅｎｔ：Ｔｈ
ｅ ＱＢＩＣ Ｓｙｓｔｅｍ，Ｃｏｍｐｕｔｅｒ，Ｓｅ
ｐｔｅｍｂｅｒ １９９５）。

【０００７】

【発明が解決しようとする課題】しかしながら、上記第
１の例によれば、画像中の文字列をキーワードとして用
いるため、文字列を含まない画像からはキーワードを得
ることができないという問題点があった。加えて、キー
ワードを得ることができたとしても、得たキーワードは
画像中の文字列であるため、画像検索の対象として十分
な情報ではない場合があるという問題点があった。

【０００８】また、上記第２の例によれば、人手により
画像にキーワードを付与する処理が必要となるため、大
量の画像を検索することができるようにするためには莫
大な労力が必要であるという問題点があった。

【０００９】また、上記第３の例によれば、保存する画
像の色や構造等の特徴を抽出し、抽出した画像の特徴を
画像検索用の情報とするため、色等を指定した極めて低
い次元の検索しか行うことができず、「画像検索の構成
を示した図」等の検索語を用いた高次元の検索を行うこ
とができないという問題点があった。

【００１０】また、上記第１〜第３の例によれば、画像
中の文字列を用いたキーワード，人手により付与したキ
ーワードおよび画像の特徴のみを用いて単に画像を検索
するものであるため、検索に関する知識の少ないユーザ
が、ノイズのない検索処理や、漏れのない検索処理を選
択的に行うことは非常に困難であるという問題点があっ
た。

【００１１】さらに、上記第１〜第３の例によれば、画
像中の文字列を用いたキーワード，人手により付与した
キーワードおよび画像の特徴のみを用いて画像を検索
し、検索結果を表示するのみであるため、大量の画像が
検索結果としてヒットした場合等においては、ユーザが
所望の画像を容易に選択することが困難であるという問
題点があった。

【００１２】本発明は上記に鑑みてなされたものであっ
て、図，表，写真等の画像および文字列が混在した文書
中の画像を検索対象として格納し、文書中の文字列を検
索用のテキストとして用いて、格納した画像を容易に検
索できるようにすることを目的とする。

【００１３】また、本発明は上記に鑑みてなされたもの
であって、図，表，写真等の画像および文字列が混在し
た文書中の画像を検索するための画像検索用のテキスト
として、文書中から画像について記述した文字列を自動
的に抽出することができるようにすることを目的とす
る。

【００１４】また、本発明は上記に鑑みてなされたもの
であって、入力した検索語に対する漏れのない検索や、
ノイズの少ない検索をユーザの要求に応じて容易に行う
ことができるようにすることを目的とする。

【００１５】さらに、本発明は上記に鑑みてなされたも
のであって、検索結果を表示する際に、所望の画像を容
易に選択することができるようにすることを目的とす
る。

【００１６】

【課題を解決するための手段】上記目的を達成するた
め、請求項１の画像検索装置は、画像の検索に用いる任
意の文字列をキーテキストと定義し、前記キーテキスト
を検索対象となる画像毎に用意すると共に、用意したキ
ーテキストおよび対応する前記画像をそれぞれ関連づけ
て格納しておき、任意の検索語に基づいて前記キーテキ
ストを検索し、該当するキーテキストに関連づけられた
画像を出力する画像検索装置であって、図，表，写真等
の画像および文字列が混在した文書を入力する文書入力
手段と、前記文書入力手段を介して入力した文書から前
記画像を含む画像領域および文字列を含む文字領域を認
識して抽出する領域抽出手段と、前記領域抽出手段で抽
出した文字領域の文字列から前記画像領域の画像に関連
づけする前記キーテキストを抽出するキーテキスト抽出
手段と、前記領域抽出手段で抽出した画像領域の画像お
よび前記キーテキスト抽出手段で抽出したキーテキスト
を関連づけて格納する格納手段と、前記検索語を入力す
るための入力手段と、前記入力手段を介して入力した検
索語に基づいて、該当するキーテキストを検索する検索
手段と、前記検索手段から検索結果を入力し、入力した
検索結果を画面表示する表示手段と、を備えたものであ
る。

【００１７】また、請求項２の画像検索装置は、請求項
１に記載の画像検索装置において、前記文書が、前記文
字列および画像が記録された紙文書であり、前記文書入
力手段が、前記紙文書を光学的に読み取って電子化した
文書を得るための読取手段であり、さらに、前記領域抽
出手段で抽出した文字領域中の文字列の文字認識を行う
文字認識手段を備えたものである。

【００１８】また、請求項３の画像検索装置は、請求項
１または２に記載の画像検索装置において、さらに、前
記文書入力手段を介して入力した文書がフルカラーの文
書である場合に、前記入力した文書を２値化処理する２
値化処理手段を備えたものである。

【００１９】また、請求項４の画像検索装置は、請求項
１〜３のいずれか１つに記載の画像検索装置において、
前記画像のキャプションを構成する文字列をキーキャプ
ションと定義し、前記キーテキスト抽出手段が、前記画
像に関連づけするキーテキストとして、前記領域抽出手
段で抽出した文字領域の文字列から前記キーキャプショ
ンを抽出するものである。

【００２０】また、請求項５の画像検索装置は、請求項
１〜３のいずれか１つに記載の画像検索装置において、
前記画像について記述したセンテンスを構成する文字列
をキーセンテンスと定義し、前記キーテキスト抽出手段
が、前記画像に関連づけするキーテキストとして、前記
領域抽出手段で抽出した文字領域の文字列から前記キー
センテンスを抽出するものである。

【００２１】また、請求項６の画像検索装置は、請求項
１〜３のいずれか１つに記載の画像検索装置において、
前記画像について記述したパラグラフを構成する文字列
をキーパラグラフと定義し、前記キーテキスト抽出手段
が、前記画像に関連づけするキーテキストとして、前記
領域抽出手段で抽出した文字領域の文字列から前記キー
パラグラフを抽出するものである。

【００２２】また、請求項７の画像検索装置は、請求項
１〜３のいずれか１つに記載の画像検索装置において、
前記画像について記述したページを構成する文字列をキ
ーページと定義し、前記キーテキスト抽出手段が、前記
画像に関連づけするキーテキストとして、前記領域抽出
手段で抽出した文字領域の文字列から前記キーページを
抽出するものである。

【００２３】また、請求項８の画像検索装置は、請求項
１〜３のいずれか１つに記載の画像検索装置において、
前記画像のキャプション並びに前記画像について記述し
たセンテンス，パラグラフおよびページを構成する文字
列をそれぞれキーキャプション，キーセンテンス，キー
パラグラフおよびキーページと定義し、前記キーテキス
ト抽出手段が、前記画像に関連づけするキーテキストと
して、前記領域抽出手段で抽出した文字領域の文字列か
ら前記キーキャプション，キーセンテンス，キーパラグ
ラフおよびキーページをそれぞれ抽出するものである。

【００２４】また、請求項９の画像検索装置は、請求項
１〜８のいずれか１つに記載の画像検索装置において、
前記キーテキスト抽出手段が、前記領域抽出手段で抽出
した画像領域と前記画像領域の近傍に位置する文字領域
との間の距離に基づいて、特定の文字領域の文字列から
前記画像領域の画像に関連づけする前記キーテキストを
抽出するものである。

【００２５】また、請求項１０の画像検索装置は、請求
項９に記載の画像検索装置において、前記画像領域と前
記画像領域の近傍に位置する文字領域との間の距離が、
互いに対向する前記画像領域の辺と前記文字領域の辺と
の間の距離であって、画素を単位とするものである。

【００２６】また、請求項１１の画像検索装置は、請求
項９または１０に記載の画像検索装置において、前記文
字領域が、前記画像のキャプションを構成する文字列が
属するキャプション領域と、前記キャプションを構成す
る文字列以外の文字列が属する本文領域とからなり、前
記キーテキスト抽出手段が、前記画像領域から最も近い
距離に位置する前記キャプション領域を特定し、前記特
定したキャプション領域の文字列を前記画像領域の画像
に関連づけする前記キーキャプションとして抽出するも
のである。

【００２７】また、請求項１２の画像検索装置は、請求
項１１に記載の画像検索装置において、前記キーテキス
ト抽出手段が、前記キーキャプションを構成する文字列
から前記画像に付与された番号を特定する番号語を抽出
し、前記本文領域の文字列から前記抽出した番号語を検
索して、該当する番号語を含むセンテンス単位の文字列
を前記画像領域の画像に関連づけする前記キーセンテン
スとして抽出するものである。

【００２８】また、請求項１３の画像検索装置は、請求
項９または１０に記載の画像検索装置において、前記キ
ーテキスト抽出手段が、前記文字領域の文字列から画像
が存在する方向または位置を指し示す指示語を検索し、
該当する指示語を含むセンテンス単位の文字列を、前記
指示語で示された方向または位置に存在し、前記指示語
を含む文字領域と最も近い画像領域の画像に関連づけす
る前記キーセンテンスとして抽出するものである。

【００２９】また、請求項１４の画像検索装置は、請求
項１２または１３に記載の画像検索装置において、前記
キーテキスト抽出手段が、前記キーセンテンスを含むパ
ラグラフ単位の文字列を前記画像領域の画像に関連づけ
する前記キーパラグラフとして抽出するものである。

【００３０】また、請求項１５の画像検索装置は、請求
項９または１０に記載の画像検索装置において、前記キ
ーテキスト抽出手段が、前記画像領域から最も近い距離
に位置する文字領域を特定し、前記特定した文字領域が
前記画像領域の上方に位置する場合、前記文字領域中の
最も下方に位置するパラグラフ単位の文字列を前記画像
領域の画像に関連づけするキーパラグラフとして抽出
し、前記特定した文字領域が前記画像領域の下方に位置
する場合、前記文字領域中の最も上方に位置するパラグ
ラフ単位の文字列を前記画像領域の画像に関連づけする
キーパラグラフとして抽出し、前記特定した文字領域が
前記画像領域の左方または右方に位置する場合、前記文
字領域の文字列を前記画像領域の画像に関連づけするキ
ーパラグラフとして抽出するものである。

【００３１】また、請求項１６の画像検索装置は、請求
項１４または１５に記載の画像検索装置において、前記
キーテキスト抽出手段が、前記キーパラグラフが存在す
るページを特定し、特定したページ中の全ての文字領域
の文字列を前記画像領域の画像に関連づけする前記キー
ページとして抽出するものである。

【００３２】また、請求項１７の画像検索装置は、請求
項８または１６に記載の画像検索装置において、さら
に、前記格納手段に格納されたキーキャプション，キー
センテンス，キーパラグラフおよびキーページからなる
キーテキストの１部または全てを検索対象として指定す
るための指定手段を備えたものである。

【００３３】また、請求項１８の画像検索装置は、請求
項８または１６に記載の画像検索装置において、前記表
示手段が、前記キーキャプションのみの検索結果を示し
た第１の検索結果と、前記キーキャプションおよびキー
センテンスの検索結果の論理和を検索結果として示した
第２の検索結果と、前記キーキャプション，キーセンテ
ンスおよびキーパラグラフの検索結果の論理和を検索結
果として示した第３の検索結果と、前記キーキャプショ
ン，キーセンテンス，キーパラグラフおよびキーページ
の検索結果の論理和を検索結果として示した第４の検索
結果と、をそれぞれ画面表示するものである。

【００３４】また、請求項１９の画像検索装置は、請求
項８または１６に記載の画像検索装置において、前記表
示手段が、前記キーキャプションの検索結果を示した第
１の検索結果と、前記第１の検索結果と重複する検索結
果を除いて前記キーセンテンスの検索結果を示した第２
の検索結果と、前記第１および第２の検索結果と重複す
る検索結果を除いて前記キーパラグラフの検索結果を示
した第３の検索結果と、前記第１〜第３の検索結果と重
複する検索結果を除いて前記キーページの検索結果を示
した第４の検索結果と、をそれぞれ画面表示するもので
ある。

【００３５】また、請求項２０の画像検索装置は、請求
項１〜１９のいずれか１つに記載の画像検索装置におい
て、前記格納手段が、前記画像を格納する際に、前記画
像を他の画像から識別するための識別情報を付して格納
し、前記表示手段が、前記検索結果として、該当する画
像の識別情報を表示するものである。

【００３６】また、請求項２１の画像検索装置は、請求
項１〜２０のいずれか１つに記載の画像検索装置におい
て、前記表示手段が、前記検索結果として、該当するキ
ーテキストを表示するものである。

【００３７】また、請求項２２の画像検索装置は、請求
項１〜２１のいずれか１つに記載の画像検索装置におい
て、さらに、前記領域抽出手段で抽出した画像領域の画
像を縮小して、縮小画像を生成する縮小画像生成手段を
備え、前記表示手段が、前記検索結果として、前記縮小
画像生成手段で生成した縮小画像を表示するものであ
る。

【００３８】また、請求項２３の画像検索装置は、請求
項２０〜２２のいずれか１つに記載の画像検索装置にお
いて、さらに、前記表示手段で画面表示した識別情報，
キーテキストまたは／および縮小画像を選択するための
選択手段を備え、前記表示手段が、前記選択手段を介し
て前記識別情報，キーテキストまたは／および縮小画像
が選択された場合に、該当する前記画像または／および
文書入力手段で入力した文書を画面表示するものであ
る。

【００３９】また、請求項２４の画像検索用キーテキス
トの生成方法は、画像の検索に用いる任意の文字列をキ
ーテキストと定義し、前記キーテキストを検索対象とな
る画像毎に用意すると共に、用意したキーテキストを対
応する前記画像にそれぞれ関連づけて格納しておき、任
意の検索語に基づいて前記キーテキストを検索し、該当
するキーテキストに関連づけられた画像を出力する画像
検索装置における画像検索用キーテキストの生成方法で
あって、図，表，写真等の画像および文字列が混在した
文書を入力する文書入力工程と、前記文書入力工程で入
力した文書から前記画像を含む画像領域および文字列を
含む文字領域を認識して抽出する領域抽出工程と、前記
領域抽出工程で抽出した文字領域の文字列から前記画像
のキャプションを構成する文字列を前記画像領域の画像
に関連づけする前記キーテキストとして抽出する第１の
キーテキスト抽出工程と、前記第１のキーテキスト抽出
工程で抽出した前記文字列から前記画像領域の画像に付
与された番号語を抽出し、前記文字領域の文字列から前
記抽出した番号語を検索して、該当する番号語を含むセ
ンテンス単位の文字列を前記画像領域の画像に関連づけ
する前記キーテキストとして抽出する第２のキーテキス
ト抽出工程と、前記第１のキーテキスト抽出工程で前記
文字列を抽出することができない場合に、前記文字領域
の文字列から前記画像領域の画像が存在する方向または
位置を指し示す指示語を検索し、該当する指示語を含む
センテンス単位の文字列を前記画像領域の画像に関連づ
けする前記キーテキストとして抽出する第３のキーテキ
スト抽出工程と、前記第２または第３のキーテキスト抽
出工程で抽出した前記文字列を含むパラグラフ単位の文
字列を前記画像領域の画像に関連づけする前記キーテキ
ストとして抽出する第４のキーテキスト抽出工程と、前
記第３のキーテキスト抽出工程で前記文字列を抽出する
ことができない場合に、前記画像領域の最も近傍に位置
する文字領域の文字列を前記画像領域の画像に関連づけ
する前記キーテキストとして抽出する第５のキーテキス
ト抽出工程と、前記第４または第５のキーテキスト抽出
工程で抽出した前記文字列を含むページを特定し、特定
したページ中の全ての文字領域中の文字列を前記画像領
域の画像に関連づけする前記キーテキストとして抽出す
る第６のキーテキスト抽出工程と、を含むものである。

【００４０】また、請求項２５のコンピュータ読み取り
可能な記録媒体は、前記請求項１〜２３のいずれか１つ
に記載の画像検索装置の各手段としてコンピュータを機
能させるためのプログラムを記録したものである。

【００４１】さらに、請求項２６のコンピュータ読み取
り可能な記録媒体は、前記請求項２４に記載の画像検索
用キーテキストの生成方法の各工程をコンピュータに実
行させるためのプログラムを記録したものである。

【００４２】

【発明の実施の形態】以下、本発明の画像検索装置，画
像検索用キーテキストの生成方法，並びにその装置とし
てコンピュータを機能させるためのプログラムおよびそ
の方法をコンピュータに実行させるためのプログラムを
記録したコンピュータ読み取り可能な記録媒体の実施の
形態について、添付の図面を参照しつつ詳細に説明す
る。

【００４３】〔実施の形態１〕実施の形態１の画像検索
装置は、図や表，写真等の画像および文字列が混在した
文書から画像を抽出して格納すると共に、文書中の文字
列を検索用のテキストとして画像に関連づけし、画像に
関連づけした文字列を検索することにより、該当する画
像を得ることができるようにするものである。なお、上
記画像に関連づけする文書中の文字列のことを、キーテ
キストと定義することにする。

【００４４】図１は、実施の形態１の画像検索装置（画
像検索システム）のブロック構成図である。図１に示す
画像検索装置は、図や表、写真等の画像および文字列が
混在した紙文書を光学的に読み取って、電子化された文
書を得るためのスキャナ１０１を備え、入力した文書中
の画像を画像ＤＢ（データベース）１０２に登録し、か
つ、画像について記述した文字列、即ちキーテキストを
文書から抽出し、抽出したキーテキストを画像ＤＢ１０
２に登録された画像に関連づけしてテキストＤＢ１０３
に登録する登録サーバ１００と、複数の検索クライアン
ト１０５，１０６，１０７からの検索要求に応じて、テ
キストＤＢ１０３に登録されたキーテキストを検索する
ことにより、該当する画像を画像ＤＢ１０２から出力す
る検索サーバ１０４と、上記各部を接続するネットワー
ク１０８と、から構成される。

【００４５】図２は、図１に示す画像検索装置の概念構
成図である。実施の形態１の画像検索装置は、大きく登
録処理部２００および検索処理部２１０から構成され
る。登録処理部２００は、図１に示した登録サーバ１０
０に該当し、検索処理部２１０は、図１に示した画像Ｄ
Ｂ１０２およびテキストＤＢ１０３，並びに検索要求・
結果出力部２１３および検索実行部２１４から構成され
る。なお、検索処理部２１０の検索要求・結果出力部２
１３および検索実行部２１４は、それぞれ検索クライア
ント１０５，１０６，１０７および検索サーバ１０４に
該当する。

【００４６】図２において、登録処理部２００は、スキ
ャナ１０１を用いて、図や表、写真等の画像および文字
列が混在した紙文書をフルカラーで読み取ることによっ
て電子化された文書を入力し、入力した文書の全てのペ
ージについて２値化処理を行う２値化処理部２０１と、
２値化処理部２０１で２値化処理された文書の各ページ
から画像を含む画像領域および文字列を含む文字領域
（後述するキャプション領域および本文領域）を識別し
て分割する領域識別・分割処理部２０２と、領域識別・
分割処理部２０２で分割された画像領域中の画像を画像
ＤＢ１０２に登録する画像ＤＢ登録部２０３と、領域識
別・分割処理部２０２で分割された文字領域中の文字列
について文字認識を行うＯＣＲ部２０４と、ＯＣＲ部２
０４で文字認識された文字列からキーテキストを抽出す
るキーテキスト抽出部２０５と、キーテキスト抽出部２
０５で抽出したキーテキストを画像ＤＢ１０２に登録さ
れた画像に関連づけてテキストＤＢ１０３に登録するテ
キストＤＢ登録部２０６と、を有している。

【００４７】なお、実施の形態１の画像検索装置の説明
においては、スキャナ１０１で読み取った文書を中心に
して説明を行うが、図２に示した登録処理部２００は、
スキャナ１０１で読み取った文書以外に、ワードプロセ
ッサ等のアプリケーションプログラムで作成した文書
や、ＳＧＭＬ，ＨＴＭＬ等の構造化文書等、いかなる形
式の文書についても扱うことができるものである。ただ
し、ワードプロセッサ等のアプリケーションプログラム
で作成した文書等の場合は、スキャナ１０１による読み
取りを行う必要がないため、ＯＣＲ２０４による文字認
識処理は不要となる。

【００４８】また、図２において、領域識別・分割処理
部２０２は、文書中の画像領域と文字領域とを識別して
分割すると共に、識別した文字領域をさらに画像、例え
ば図や表に付与されたキャプションを含むキャプション
領域とキャプション以外の文字列を含む本文領域とを識
別して分割するものである。キャプションとは、図や
表、写真等の説明であって、具体的には「図１ 画像検
索装置のブロック構成図」のような図や表に対して付与
された文字列である。なお、以下の説明において単に
「画像」という場合には、「図，表，写真等」を意味す
るものとし、また、領域識別・分割処理部２０２による
領域識別・分割処理については、後に図を参照しつつ詳
細に説明する。

【００４９】また、キーテキスト抽出部２０５は、ＯＣ
Ｒ部２０４で文字認識された文字列からキーテキストを
自動的に抽出するものである。キーテキストとしては、
文書中の画像の内容を記述した文字列が用いられる。

【００５０】図３は、キーテキストを説明するための説
明図である。ここではキーテキストとして、４種類の文
字列を用意することにする。キーテキストの１つ目は、
文書３００（１ページ分）中の画像３０１に付与された
キャプション、例えば、図３中に示された「図１：シス
テム構成」であり、このキャプションをキーキャプショ
ン３０２と新たに定義することにする。キーキャプショ
ン３０２は、画像３０１に直接対応づけて文書３００中
に記載されたものであるため、キーテキストの関連づけ
の対象となる画像３０１を特定することができる。な
お、キーキャプション３０２は、領域識別・分割処理部
２０２で分割されたキャプション領域から得ることがで
きる。このキャプション領域については、後に詳細に説
明する。

【００５１】キーテキストの２つ目は、画像３０１につ
いて記述したセンテンス（文）であり、このセンテンス
をキーテキスト３０３と新たに定義することにする。キ
ーキャプション３０２には、図３に示すように、画像を
指し示す画像番号語、例えば、図１や表１、写真１等が
含まれている。この画像番号語を含むキーキャプション
３０２以外の本文中の文字列は、画像番号語で特定され
る画像について記述したものであると考えることができ
る。したがって、この画像番号語を本文領域の文字列か
ら見つけ出し、画像番号語を含む文字列をキーセンテン
ス３０３として抽出する。

【００５２】キーテキストの３つ目は、画像３０１につ
いて記述したパラグラフ（段落）であり、このパラグラ
フをキーパラグラフ３０４と新たに定義することにす
る。キーパラグラフ３０４は、キーセンテンス３０３を
含んだパラグラフ単位の文字列であって、キーセンテン
ス３０３を取得することによって抽出することができ
る。

【００５３】キーテキストの４つ目は、画像３０１につ
いて記述したページ全体の文字列であり、このページ全
体の文字列をキーページ３０５と新たに定義することに
する。キーページ３０５は、キーパラグラフ３０４（キ
ーセンテンス３０３）を含んだページ単位の文字列であ
って、キーパラグラフ３０４（キーセンテンス３０３）
を取得することにより抽出することができる。

【００５４】このように、画像検索のためのキーテキス
トを４つ用意したのは、それぞれに大きな特徴があるか
らである。すなわち、キーキャプション３０２は、画像
３０１を極めて端的に説明した文字列であるため、キー
キャプション３０２を用いて画像を検索した場合には、
検索語に直接対応する画像がヒットし易く、その反面、
関連する画像がヒットすることはほとんどあり得ないと
いう特徴がある（ノイズが少ない）。一方、キーページ
３０５は、複数のトピックを含んでいる可能性があるた
め、キーページ３０５を用いて画像を検索した場合に
は、検索語に直接対応する画像のみならず、関連する図
も同時に検索することが可能となるが、その反面、ノイ
ズが多くなるという特徴がある。さらに、キーセンテン
ス３０３およびキーパラグラフ３０４は、上記キーキャ
プション３０２およびキーページ３０５の中間的な特徴
を有するものである。したがって、漏れのない画像検索
をしたい場合や、漏れがあっても良いが検索語に最も関
連のある画像を検索したい場合等の要求に応じて上記キ
ーテキストを使い分けることにより、所望の検索結果を
得ることができる。

【００５５】また、図３に示すように、テキストＤＢ登
録部２０６は、キーテキスト抽出部２０５で抽出したキ
ーテキストを該当する画像３０１、即ち、画像ＤＢ登録
部２０３で画像ＤＢ１０２に登録する画像３０１に関連
づけ、テキストＤＢ１０３に登録する。

【００５６】次に、図２に戻って、検索処理部２１０に
ついて説明する。検索要求・結果出力部２１３は、検索
語等を入力するキーボード等からなる入力装置２１１
と、検索実行部２１４から検索結果を入力して出力する
ＣＲＴ等の出力装置２１２とを備えている。また、検索
実行部２１４は、検索要求・結果出力部２１３から検索
語を入力し、入力した検索語に基づいて、テキストＤＢ
１０３から該当するキーテキストを検索し、検索したキ
ーテキストに関連づけられた画像を画像ＤＢ１０２から
取得して検索要求・結果出力部２１３に出力する。な
お、画像検索処理については、後に詳細に説明する。

【００５７】続いて、上述した構成を備えた画像検索装
置の動作について、（１）キーテキスト・画像登録処理
（画像検索用キーテキストの生成方法），（２）画像検
索処理の順で詳細に説明する。

【００５８】（１）キーテキスト・画像登録処理（画像
検索用キーテキストの生成方法） 図４は、キーテキスト・画像登録処理を示すフローチャ
ートである。スキャナ１０１は、用意されたフルカラー
の紙文書を読み取り、電子化された文書３００を得る
（Ｓ４０１）。なお、電子化された文書３００を得た後
に、孤立点ノイズの除去処理や、傾き補正処理等を行う
ことができる。

【００５９】２値化処理部２０１は、スキャナ１０１で
読み取ったフルカラーの文書３００を入力し、入力した
フルカラーの文書３００の２値化処理を行う（Ｓ４０
２）。２値化処理を行うに当たっては、スキャナ１０１
で得たＲＧＢのフルカラーデータを一旦ＨＳＩ（色相，
彩度，明度）データに変換した後、明度に基づいて特定
の閾値で分離して２値化する。２値化処理部２０１にお
いて、フルカラーの文書３００が２値化されるため、後
の領域識別処理や文字認識処理の高速化を図ることがで
きる。

【００６０】領域識別・分割処理部２０２は、２値化処
理部２０１で２値化した文書３００を入力し、文書３０
０の各ページ毎に、画像領域，キャプション領域および
本文領域を認識し、分割する処理を行う（Ｓ４０３）。
また、領域識別・分割処理部２０２は、分割した画像領
域，キャプション領域および本文領域の位置情報を取得
する。

【００６１】具体的に、領域識別・分割処理部２０２
は、連結する黒点を包含し、矩形のサイズが大きいもの
を画像領域として認識し、画像領域に近接する１〜３行
程度のテキストを包含する小領域をキャプション領域と
して認識し、その他の領域を本文領域として認識する。
なお、キャプション領域５０２を特定するに当たって
は、互いに対向する画像領域５０１の辺とキャプション
領域５０２の辺との間の画素を単位とした距離を基準と
する。

【００６２】図５は、領域識別・分割処理を行った結果
を示す説明図である。図５において、５０１は画像３０
１を含む画像領域を、５０２はキャプション領域を、５
０３は本文領域をそれぞれ示している。キャプション領
域５０２は、上述したキャプション、例えば、図５に示
す「図１：システム構成」等の文字列を含む領域であ
る。

【００６３】図４に戻り、画像ＤＢ登録部２０３は、領
域抽出・分割処理部２０２から領域識別・分割処理の結
果を入力し、スキャナ１０１で読み取ったフルカラーの
文書から、画像領域５０１に該当する領域の画像３０１
を抽出し、抽出した画像３０１にＩＤを付与して画像Ｄ
Ｂ１０２に登録する（Ｓ４０４）。このＩＤは、画像３
０１を他の画像と識別するために用いるものであると共
に、画像検索により画像３０１がヒットした場合に、そ
の検索結果として表示するためのものである。

【００６４】なお、画像ＤＢ１０２に画像を登録する際
には、領域抽出・分割処理部２０２で取得した画像領域
５０１の位置情報も合わせて登録する。これは、画像Ｄ
Ｂ１０２に登録される画像が、画像３０１を単位とする
のではなく、実際には文書を構成する各ページを読み取
ることによって得たページ画像を単位とするものである
からである。すなわち、画像ＤＢ１０２には、ページ画
像として、ページ画像ＩＤおよびページ画像データが登
録されると共に、画像３０１として、画像ＩＤ，画像３
０１が存在するページのページ画像ＩＤおよび画像領域
の位置情報が登録される。

【００６５】また、画像３０１を画像ＤＢ１０２に登録
する際には、登録する画像３０１の縮小画像を生成し、
生成した縮小画像を元の画像３０１に関連づけして登録
することができる。この縮小画像は、検索結果を表示す
る際に、画像３０１に代えて表示するためのものであ
る。さらに、画像ＤＢ１０２には、画像領域５０１を含
む文書のページおよび／または文書全体を画像３０１に
関連づけて登録することができる。その結果、画像３０
１を画面表示する際に、文書全体および／または画像３
０１を含んだページを画面表示することができる。

【００６６】ＯＣＲ部２０４は、領域識別・分割処理部
２０２から領域識別・分割処理の結果を入力し、分割さ
れたキャプション領域５０２および本文領域５０３につ
いて、行切り出しや文字切り出し処理を行って、文字認
識処理を行う（Ｓ４０５）。ＯＣＲ部２０４は、キャプ
ション領域５０２および本文領域５０３の位置情報と共
に、文字認識処理の結果をキーテキスト抽出部２０５に
出力する。

【００６７】キーテキスト抽出部２０５は、ＯＣＲ部２
０４から文字認識結果並びにキャプション領域５０２お
よび本文領域５０３の位置情報を、領域識別・分割処理
部２０２から画像領域５０１の位置情報をそれぞれ入力
し、文字認識された文字列から上述したキーテキストを
抽出する処理を行う（Ｓ４０６）。

【００６８】ここで、ステップＳ４０６におけるキーテ
キストの抽出処理を具体的に説明する。図６は、キーテ
キスト抽出処理を示すフローチャートである。キーテキ
スト抽出部２０５は、領域識別・分割処理部２０２で識
別されたキャプション領域５０２の文字列をキーキャプ
ション３０２として設定する（Ｓ６０１）。なお、領域
識別・分割処理部２０２でキャプション領域５０２を認
識する処理を行わなかった場合には、画像領域５０１に
近接する１〜３行程度のテキストを包含する小領域をキ
ャプション領域５０２として特定することができる。キ
ャプション領域５０２を特定するに当たっては、互いに
対向する画像領域５０１の辺とキャプション領域５０２
の辺との間の画素を単位とした距離を基準とする。

【００６９】続いてキーテキスト抽出部２０５は、設定
したキーキャプション３０２から画像番号語、例えば、
図１，表１，写真１等を抽出する（Ｓ６０２）。キーテ
キスト抽出部２０５には、予め図１，図−１，図
（１），図１．２，図１．１２，図１．ａ等の図や，
表，写真，Ｆｉｇｕｒｅ，Ｆｉｇ．等の画像番号語が登
録されており、これら登録された画像番号語とキーキャ
プション３０２を構成する文字列との照合を行うことに
よって、キーキャプション３０２から画像番号語を抽出
する。ここではキーキャプション３０２の「図１：シス
テムの構成」から「図１」が抽出される（図３および図
５参照）。キーキャプション３０２から画像番号語「図
１」を抽出することにより、画像領域５０１の画像３０
１を直接指し示す語を得ることができる。

【００７０】その後、キーテキスト抽出部２０５は、ス
テップＳ６０２で抽出した画像番号語「図１」を含む文
字列を文書３００全ての本文領域５０３から見つけ出す
（Ｓ６０３）。

【００７１】そして、画像番号語「図１」を本文領域５
０３から見つけた場合には、画像番号語「図１」を含む
文字列をセンテンス（文）単位で抽出し、キーセンテン
ス３０３とする（Ｓ６０４）。

【００７２】続いて、キーセンテンス３０３を含む文字
列をパラグラフ単位で抽出し、キーパラグラフ３０４と
する（Ｓ６０５）。

【００７３】さらに、キーパラグラフ３０４（キーセン
テンス３０３）を含む文字列をページ単位で抽出し、キ
ーページ３０５とする（Ｓ６０６）。

【００７４】再び図４に戻り、キーテキスト登録部２０
６は、キーテキスト抽出部２０５で抽出したキーキャプ
ション３０２，キーセンテンス３０３，キーパラグラフ
３０４およびキーページ３０５からなるキーテキストを
入力すると共に、画像ＤＢ登録部２０３から該当する画
像に付与した画像ＩＤを入力し、入力したキーテキスト
を画像ＩＤと共にテキストＤＢ１０３に登録する（Ｓ４
０７）。キーテキストを画像ＩＤと共にテキストＤＢ１
０３に登録することにより、キーテキストと画像３０１
との関連づけを行うことができる。

【００７５】なお、上述したキーテキスト抽出処理は、
文書３００中に存在する各画像それぞれについて行われ
る。

【００７６】（２）画像検索処理 続いて、テキストＤＢ１０３に登録されたキーテキスト
を用いて、画像ＤＢ１０２に登録された画像を検索する
処理について説明する。

【００７７】図７は、画像検索処理の概略を示すフロー
チャートである。検索要求・結果出力部２１３は、入力
装置２１１からキーテキスト、即ちキーキャプション３
０２，キーセンテンス３０３，キーパラグラフ３０４お
よびキーページ３０５のいずれを対象として画像を検索
するかの指定を入力する（Ｓ７０１）。なお、キーテキ
ストを指定する際には、キーキャプション３０２等を１
つ指定するのみならず、キーテキストのいずれかを組み
合わせて複数指定したり、キーテキストの全てを指定す
ることができる。

【００７８】ここで、キーテキストを指定することがで
きるようにすることにより、漏れがあっても良いが、検
索語に直接関連した画像を検索したい場合（ノイズの少
ない検索）にはキーキャプションを指定し、漏れのない
広範囲の検索を行いたい場合にはキーページを指定する
等、ユーザの検索要求に応じた検索方法の指定を行うこ
とができる。したがって、検索の目的に応じて、どのよ
うな検索語を入力したら良いかを考える必要をなくすこ
とができる。

【００７９】そして、検索要求・結果出力部２１３は、
入力装置２１１から検索語を入力し、入力した検索語と
ステップＳ７０１で入力したキーテキストの指定（検索
対象の指定）とを検索実行部２１４に出力する（Ｓ７０
２）。なお、キーテキストの指定と検索語の入力につい
ては、いずれを先に行っても良い。

【００８０】検索実行部２１４は、検索要求・結果出力
部２１３から検索語およびキーテキストの指定を入力
し、入力した検索語に基づいて、テキストＤＢ１０３中
の該当するキーテキストをそれぞれ検索する（パターン
マッチ検索：Ｓ７０３）。

【００８１】その後、検索実行部２１４は、ステップＳ
７０３で検索した結果を検索要求・結果出力部２１３に
出力し、検索要求・結果出力部２１３は入力した検索結
果を出力装置２１２に出力する（Ｓ７０４）。

【００８２】図８は、画像検索結果の表示例を示す説明
図である。この図８は、検索語を「検索」とし、検索対
象のキーテキストとしてキーキャプション３０２を指定
した場合の検索結果を示したものである。図８において
は、検索結果として画像ＩＤと、画像に関連づけされた
キーテキストの全てが一覧表示されている。もちろん、
検索結果として画像ＩＤのみを表示しても良いし、キー
テキストの全てではなく、該当するキーキャプション３
０２のみを表示しても良い。ユーザは、一覧表示された
キーテキストの内容を確認することにより、所望の画像
を選択することができる。

【００８３】また、図８において、画像表示ボタン８０
０を選択すると、図９に示すように、一覧表示された画
像ＩＤに該当する画像の縮小画像が一覧表示される。こ
の縮小画像は、画像ＤＢ登録部２０３によって生成・登
録されたものである（図４のステップＳ４０４参照）。
キーテキストのみでは所望の画像であるかを判断するこ
とができない場合に、縮小画像を一覧表示することがで
きるようにすることによって、所望の画像を容易に選択
することができる。また、縮小画像であるため、データ
量が少なく、高速に表示することが可能となる。なお、
図８に示した検索結果に、図９に示した縮小画像を合わ
せて表示することにしても良い。

【００８４】そして、図８に示す画像ＩＤ，キーテキス
トまたは図９に示す縮小画像を選択することにより、該
当する画像３０１や、必要に応じて、この画像３０１を
含む文書全体，画像３０１が存在するページが表示され
る。なお、画像３０１を画像ＤＢ１０２に登録する際
に、同一文書中の他の画像と関連づけしておくことによ
り、１つの画像から同一文書中の他の画像を辿って表示
することができる。また、文書中のページについても、
同一文書中の他のページと関連づけしておくことによ
り、表示したページに基づいて他のページを表示するこ
とができる。

【００８５】また、上記では、キーテキストの一部また
は全てを検索対象として指定して検索し、その検索の結
果を表示することにしたが、次のような検索対象の指定
および検索結果の表示を行うこともできる。すなわち、 ａ キーキャプション３０２を検索対象として検索し、
検索結果を表示し、 ｂ キーキャプションおよびキーセンテンスを検索対象
として検索し、それぞれの検索結果のＯＲ（論理和）を
検索結果として表示し、 ｃ キーキャプション，キーセンテンスおよびキーパラ
グラフを検索対象として検索し、それぞれの検索結果の
ＯＲを検索結果として表示し、 ｄ キーキャプション，キーセンテンス，キーパラグラ
フおよびキーページを検索対象として検索し、それぞれ
の検索結果のＯＲを検索結果として表示する、というよ
うに、検索対象に包含関係を作り、４つの検索結果のリ
ストを表示するというものである。

【００８６】このようにすることにより、ユーザの検索
要求に応じた検索結果であって、かつ、ユーザが画像を
選択しやすい検索結果を得ることができる。すなわち、
ａの場合は、画像を極めて端的に説明した文字列である
キーキャプション３０２が検索対象となっているため、
検索語に最も関連のある画像を得ることができる。一
方、ｂ〜ｄ、特にｄの場合は、ａの場合で得た画像に関
連する画像も同時に得ることができる。なお、ａ〜ｄに
示す全ての方法で同時に検索・結果表示を行わなければ
ならないのではなく、いずれか一つまたは複数を選択す
ることができるようにしても良い。

【００８７】さらに、次のような検索対象の指定および
検索結果の表示を行うこともできる。すなわち、 ａ 最初にキーキャプションを検索対象として検索し、
検索結果を一覧表示し、 ｂ 次にキーセンテンスを検索対象として検索し、既に
一覧表示された結果を除いた検索結果を一覧表示し、 ｃ 次にキーパラグラフを検索対象として検索し、既に
一覧表示された結果を除いた検索結果を一覧表示し、さ
らに、 ｄ 最後にキーページを検索対象として検索し、既に一
覧表示された結果を除いた検索結果を一覧表示する、と
いうものである。

【００８８】このような検索および表示を行うことによ
り、検索語に関連のある順序で検索結果が一覧表示され
るため、ユーザは上から順にキーテキストを参照するこ
とで容易に所望の画像を得ることができる。すなわち、
ａの場合の検索結果から、検索語に最も関連のある画像
を得ることができ、また、ｂ〜ｄの検索結果に向かうに
従って、関連の深い画像から浅い画像へと段階的な検索
結果を得ることができる。

【００８９】なお、図１においては、サーバやクライア
ントにそれぞれの検索や登録という役割を持たせ、ネッ
トワーク１０８を介して画像検索システムを構成した例
を示したが、１つのコンピュータに全ての機能を持た
せ、スタンドアローンという形態で本実施の形態の画像
検索装置を構成することもできる。また、図１において
は、画像ＤＢ１０２およびテキストＤＢ１０３がそれぞ
れ独立して存在するように示したが、これらを検索サー
バ１０４の管理下に置くように構成することもできる。

【００９０】このように、実施の形態１の画像検索装置
によれば、文字列および図，表，写真等の画像が混在し
た文書から抽出した画像を検索対象とする場合に、検索
対象の画像について記述した文書中の文字列を画像検索
用のキーテキストとして用いることにしたため、文書中
に記述された画像の説明を用いて所望の画像を検索する
ことができ、画像検索処理の利便性の向上を図ることが
できる。

【００９１】また、キーテキストとして、画像に直接関
連のあるキャプションを構成する文字列，キャプション
に基づいて抽出したセンテンス，パラグラフおよびペー
ジを構成する文字列を用いることにしたため、画像検索
用のキーテキストとして、適切な文字列を抽出すること
ができる。すなわち、上述した画像番号語を含むキーキ
ャプション３０２，キーセンテンス３０３，キーパラグ
ラフ３０４およびキーセンテンス３０５は、画像番号語
によって特定される画像について記述していると考えら
れるため、画像番号語によって特定される画像を検索す
るためのキーテキストとして適切なものとなる。

【００９２】さらに、キーテキストとして、画像に直接
関連のあるキャプションを構成する文字列，キャプショ
ンに基づいて抽出したセンテンス，パラグラフおよびペ
ージを構成する文字列を用いることにしたため、キーテ
キストを使い分けることにより、ノイズの少ない検索や
漏れのない検索等、ユーザの要求に応じた検索を容易に
行うことができる。したがって、検索に関する知識が少
ないユーザであっても、いかなる検索語を入力するかを
悩むことなく、所望の方法で検索を行うことができる。

【００９３】〔実施の形態２〕次に、本発明の画像検索
装置の実施の形態２について説明する。上述した実施の
形態１においては、キーキャプション３０２を抽出する
と共に、キーキャプション３０２中の画像番号語を用い
て、キーセンテンス３０３，キーパラグラフ３０４およ
びキーセンテンス３０５を抽出し、これらをキーテキス
トとするという方法について説明したが、実施の形態２
の画像検索装置では、本文領域５０３から画像３０１の
方向または位置を指し示す語（以下、「画像指示語」と
記述する）を抽出し、抽出した画像指示語に基づいて、
キーテキストを抽出するというものである。

【００９４】なお、実施の形態２の画像検索装置の構成
については、実施の形態１で説明したものと同様である
ため、ここでは詳細な説明を省略する。また、キーテキ
スト・画像登録処理および画像検索処理において、キー
テキストの抽出処理以外については実施の形態１で説明
した通りであるため、これらについても説明を省略す
る。

【００９５】図１０はキーテキスト抽出処理を示すフロ
ーチャートであり、図１１はキーテキスト抽出処理によ
って抽出されるキーテキストを説明するための説明図で
ある。キーテキスト抽出部２０５には、予め、上（の）
図，下（の）図，右（の）図，左（の）図，前（の）ペ
ージの図，次（の）ページの図，上（の）表，下（の）
表，右（の）表，左（の）表，前（の）ページの表，次
（の）ページの表，上（の）写真，下（の）写真，右
（の）写真，左（の）写真，前（の）ページの写真，次
（の）ページの写真等の画像指示語が登録されている。
これらの画像指示語は、上の図や下の図等の画像３０１
が存在する方向を指し示す語と、前のページや次のペー
ジ等の画像３０１が存在する位置を指し示す語とがあ
る。キーテキスト抽出部２０５は、登録された画像指示
語と本文領域５０３の文字列との照合を行うことによっ
て、本文領域５０３に存在する画像指示語を検索する
（Ｓ１００１）。

【００９６】図１１において、画像領域５０１に対し、
本文領域５０３から画像指示語、例えば「左の図」を見
つけ出したとする。キーテキスト抽出部２０５は、画像
指示語「左の図」を含む文字列をセンテンス単位で抽出
してキーセンテンス３０３を取得する（Ｓ１００２）。
換言すれば、本文領域５０３の文字列から画像３０１が
存在する方向または位置を指し示す画像指示語を検索
し、該当する指示語を含むセンテンス単位の文字列を、
画像指示語で示された方向または位置に存在し、画像指
示語を含む本文領域５０３と最も近い画像領域５０１の
画像３０１に関連づけするキーセンテンス３０３として
抽出することになる。

【００９７】続いて、ステップＳ１００２で抽出したキ
ーセンテンス３０３を含む文字列をパラグラフ単位で抽
出し、キーパラグラフ３０４を取得する（Ｓ１００
３）。

【００９８】さらに、ステップＳ１００３で抽出したキ
ーパラグラフ３０４（キーセンテンス３０３）を含む文
字列をページ単位で抽出し、キーページ３０５を取得す
る（Ｓ１００４）。

【００９９】その後、キーテキスト登録部２０６は、キ
ーテキスト抽出部２０５で抽出したキーセンテンス３０
３，キーパラグラフ３０４およびキーページ３０５から
なるキーテキストを入力すると共に、画像ＤＢ登録部２
０３から該当する画像に付与した画像ＩＤを入力し、入
力したキーテキストを画像ＩＤと共にテキストＤＢ１０
３に登録する（図４のＳ４０７参照）。キーテキストを
画像ＩＤと共にテキストＤＢ１０３に登録することによ
り、キーテキストと画像３０１との関連づけを行うこと
ができる。

【０１００】なお、上述したキーテキスト抽出処理は、
文書３００中に存在する各画像毎にそれぞれ行われ、抽
出されたキーテキストは、実施の形態１で説明したよう
に、画像を検索するための検索対象とされる。

【０１０１】このように、実施の形態２の画像検索装置
によれば、画像検索用のキーテキストとして、画像が存
在する方向または位置を特定する画像指示語を含むセン
テンス，パラグラフおよびページを構成する文字列を用
いることにしたため、画像検索用のキーテキストとし
て、適切な文字列を抽出することができる。すなわち、
画像指示語を含むセンテンス等は、画像指示語によって
指し示された画像について記述していると考えられるた
め、画像指示語によって指し示された画像の検索のため
のキーテキストとして適切なものとなる。

【０１０２】〔実施の形態３〕続いて、本発明の画像検
索装置の実施の形態３について説明する。実施の形態３
の画像検索装置は、実施の形態１で説明した画像番号語
や実施の形態２で説明した画像指示語を用いることなし
に、キーテキストを抽出することができるようにするも
のである。すなわち、実施の形態３の画像検索装置は、
文書３００中の画像領域５０１に対して最も近傍に位置
する本文領域５０３からキーテキストを抽出するもので
ある。

【０１０３】なお、実施の形態３の画像検索装置の構成
については、実施の形態１で説明したものと同様である
ため、ここでは詳細な説明を省略する。また、キーテキ
スト・画像登録処理および画像検索処理において、キー
テキストの抽出処理以外については実施の形態１で説明
した通りであるため、これらについても説明を省略す
る。

【０１０４】図１２はキーテキスト抽出処理を示すフロ
ーチャートであり、図１３はキーテキスト抽出処理によ
って抽出されるキーテキストを説明するための説明図で
ある。キーテキスト抽出部２０５は、ＯＣＲ部２０４か
ら文字認識処理の結果および本文領域の位置情報を入力
すると共に、領域識別・分割処理部２０２から画像領域
の位置情報を入力する。そして、キーテキスト抽出部２
０５は、画像領域５０１と隣接する本文領域５０３との
間の距離を演算して求める（Ｓ１２０１）。図１３にお
いては、画像領域５０１および本文領域５０３ａの間の
距離ａと、画像領域５０１および本文領域５０３ｂの間
の距離ｂを求めることになる。

【０１０５】ここで、画像領域５０１と本文領域５０３
ａのように、画像領域５０１に対して本文領域５０３が
左右いずれかに存在するような場合は、両方の領域の垂
直の辺同士の距離（距離ａ）を画素単位で演算する。一
方、画像領域５０１と本文領域５０３ｂのように、画像
領域５０１に対して本文領域５０３が上下いずれかに存
在するような場合は、両方の領域の水平の辺同士の距離
（距離ｂ）を画素単位で演算する。なお、文書が２段組
等で構成されているような場合であって、段と段との間
にセパレータが設けられているような場合には、その間
の距離を論理的に遠くなるような演算を行うことができ
る。

【０１０６】その後、キーテキスト抽出部２０５は、ス
テップＳ１２０１における演算結果に基づいて、画像領
域５０１に対して最も近傍に位置する本文領域５０３中
の文字列をパラグラフ単位で抽出し、抽出した文字列を
キーパラグラフ３０４とする（Ｓ１２０２）。図１３に
おいては、距離ｂが距離ａに比べて短いため、本文領域
５０３ｂが画像領域５０１に対して最も近傍に位置して
いることになる。そこで、本文領域５０３ｂにおいて、
画像領域５０１に最も近い文字列をパラグラフ単位で抽
出して、キーパラグラフ３０４とする。

【０１０７】そして、キーテキスト抽出部２０５は、キ
ーパラグラフ３０４を含む文字列をページ単位で抽出
し、キーページ３０５を取得する（Ｓ１２０３）。

【０１０８】その後、キーテキスト登録部２０６は、キ
ーテキスト抽出部２０５で抽出したキーパラグラフ３０
４およびキーページ３０５からなるキーテキストを入力
すると共に、画像ＤＢ登録部２０３から該当する画像に
付与した画像ＩＤを入力し、入力したキーテキストを画
像ＩＤと共にテキストＤＢ１０３に登録する（図４のＳ
４０７参照）。キーテキストを画像ＩＤと共にテキスト
ＤＢ１０３に登録することにより、キーテキストと画像
３０１との関連づけを行うことができる。

【０１０９】上述したキーテキスト抽出処理は、文書３
００中に存在する各画像毎にそれぞれ行われ、抽出され
たキーテキストは、実施の形態１で説明したように、画
像を検索するための検索対象とされる。

【０１１０】なお、図１４に示すように、画像領域５０
１を挟んで本文領域５０３ａ，５０３ｂが上下に存在す
る場合には、画像領域５０１と本文領域５０３ａおよび
本文領域５０３ｂとにおける水平の辺同士の距離を演算
し、最も近傍に位置する本文領域を選択する。画像領域
５０１に対して上に位置する本文領域５０３ａが本文領
域５０３ｂより画像領域５０１に近接している場合に
は、画像領域５０３ａ内の最も下（画像領域５０１に最
も近い）のパラグラフをキーパラグラフ３０４として抽
出する。一方、画像領域５０１に対して下に位置する本
文領域５０３ｂが本文領域５０３ａより画像領域５０１
に近接している場合には、画像領域５０３ｂ内の最も上
（画像領域５０１に最も近い）のパラグラフをキーパラ
グラフ３０４として抽出する。もし、画像領域５０１と
本文領域５０３ａおよび本文領域５０３ｂとの間の距離
がそれぞれ等しい場合には、両方からキーパラグラフ３
０４を抽出することにしても良い。

【０１１１】また、図１５に示すように、画像領域５０
１を挟んで本文領域５０３ａ，５０３ｂが左右に存在す
る場合には、画像領域５０１と本文領域５０３ａおよび
本文領域５０３ｂとにおける垂直の辺同士の距離を演算
し、最も近傍に位置する本文領域を選択する。画像領域
５０１を挟んで本文領域５０３ａ，５０３ｂが左右に存
在する場合は、図１４に示す上下の場合と異なり、画像
領域５０１に最も近接する本文領域の全ての文字列をキ
ーパラグラフとして抽出する。もし、画像領域５０１と
本文領域５０３ａおよび本文領域５０３ｂとの間の距離
がそれぞれ等しい場合には、本文領域５０３ａ，５０３
ｂの全ての文字列をキーパラグラフ３０４として抽出す
ることにしても良い。

【０１１２】このように、実施の形態３の画像検索装置
によれば、画像検索用のキーテキストとして、画像領域
５０１に対して最も近傍に位置する本文領域５０３中の
文字列およびその文字列を含むページ単位の文字列を用
いることにしたため、画像検索用のキーテキストとし
て、適切な文字列を抽出することができる。すなわち、
画像の最も近傍に位置する本文領域の文字列は、該当す
る画像について記述したものあると考えられるため、画
像検索用のキーテキストとして適切なものとなる。

【０１１３】〔実施の形態４〕さらに、本発明の画像検
索装置の実施の形態４について説明する。実施の形態４
の画像検索装置は、実施の形態１〜３で説明したキーテ
キスト抽出処理を組み合わせて、あらゆる種類の文書か
らキーテキストを抽出することができるようにしたもの
である。

【０１１４】なお、実施の形態４の画像検索装置の構成
については、実施の形態１で説明したものと同様である
ため、ここでは詳細な説明を省略する。また、キーテキ
スト・画像登録処理および画像検索処理において、キー
テキストの抽出処理以外については実施の形態１で説明
した通りであるため、これらについても説明を省略す
る。

【０１１５】図１６はキーテキスト抽出処理を示すフロ
ーチャートである。キーテキスト抽出部２０５は、ＯＣ
Ｒ部２０４から文字認識処理の結果および本文領域の位
置情報を入力すると共に、領域識別・分割処理部２０２
から画像領域の位置情報を入力する。そして、キーテキ
スト抽出部２０５は、実施の形態１で説明したキーキャ
プション３０２を抽出する処理を行う（Ｓ１６０１）。

【０１１６】ステップＳ１６０１において、キーキャプ
ション３０２を抽出することができた場合には、キーキ
ャプションから画像番号語を抽出する処理を行う（Ｓ１
６０２）。

【０１１７】そして、ステップＳ１６０２において、キ
ーキャプションから画像番号語を抽出することができた
場合には、実施の形態１で説明したように、画像番号語
に基づいて、キーセンテンス３０３，キーキャプション
３０４およびキーページ３０５を抽出する（Ｓ１６０
３）。

【０１１８】一方、ステップＳ１６０１においてキャプ
ションがない場合や、ステップＳ１６０２において画像
番号語を抽出することができなかった場合には、ステッ
プＳ１６０４に進み、実施の形態２で説明したように、
本文領域５０３に存在する画像指示語を検索する（Ｓ１
６０４）。

【０１１９】ステップＳ１６０４において、本文領域５
０３から画像指示語を見つけ出すことができた場合に
は、実施の形態２で説明したように、画像指示語に基づ
いて、キーセンテンス３０３，キーパラグラフ３０４お
よびキーページ３０５を抽出する（Ｓ１６０５）。

【０１２０】また、ステップ１６０４において、本文領
域５０３から画像指示語を見つけ出すことができなかっ
た場合には、実施の形態３で説明したように、画像領域
５０１と画像領域５０１に隣接する本文領域５０３との
間の距離を演算する（Ｓ１６０６）。

【０１２１】続いて、ステップＳ１６０６における演算
結果に基づいて、画像領域５０１に対して最も近傍に位
置する本文領域５０３を特定し、特定した本文領域５０
３に基づいて、キーパラグラフ３０４およびキーページ
３０５を抽出する。

【０１２２】その後、キーテキスト登録部２０６は、キ
ーテキスト抽出部２０５で抽出したキーテキストを入力
すると共に、画像ＤＢ登録部２０３から該当する画像に
付与した画像ＩＤを入力し、入力したキーテキストを画
像ＩＤと共にテキストＤＢ１０３に登録する（図４のＳ
４０７参照）。キーテキストを画像ＩＤと共にテキスト
ＤＢ１０３に登録することにより、キーテキストと画像
３０１との関連づけを行うことができる。

【０１２３】上述したキーテキスト抽出処理は、文書３
００中に存在する各画像毎にそれぞれ行われ、抽出され
たキーテキストは、実施の形態１で説明したように、画
像を検索するための検索対象とされる。

【０１２４】このように、実施の形態４の画像検索装置
によれば、実施の形態１〜３で説明した画像検索用キー
テキストの生成方法を組み合わせることにより、あらゆ
る種類の文書から検索対象となる画像について記述した
文字列をキーテキストとして抽出することができる。

【０１２５】なお、上述した実施の形態１〜４の画像検
索装置においては、キーテキストとしてキーキャプショ
ン３０２，キーセンテンス３０３，キーパラグラフ３０
４およびキーページ３０５を用いることにしたが、これ
らに加えて、画像の種類（ブロック図，フローチャー
ト，棒グラフ，折れ線グラフ等），画像のサイズ，画像
の色等の画像の属性情報や、画像中の文字列等をキーテ
キストとして用いることにしても良い。

【０１２６】また、文書において、画像に関連のある
章，節等のタイトルや、章，節を構成する文字列、ヘッ
ダ，フッダ等をキーテキストとして用いることにしても
良い。この場合は、キーテキストを抽出する際に、文書
のレイアウトを詳細に解析する必要がある。

【０１２７】また、実施の形態１〜４においては、キー
テキストを用いて画像を検索することについて説明した
が、最初に画像を表示してブラウジングすることができ
るようにし、画像から関連のあるキーテキストを表示す
ることができるようにしても良い。

【０１２８】また、画像を画像ＤＢ１０２に登録する際
に、特定の種類のグループにグルーピングしておき、画
像から画像を検索することができるようにすることもで
きる。グルーピングは、画像の種類や、文書の種類等、
任意の条件に基づいて行うことができる。

【０１２９】また、文書の種類に応じたキーテキスト抽
出ルールを予め作成しておき、キーテキストを抽出する
際に、文書の種類を自動的に認識しまたはユーザが指定
することにより、作成したルールに従って、キーテキス
トを抽出することができるようにしても良い。

【０１３０】また、キーセンテンス３０３等は、同一の
画像に対して複数得られることがあるため、複数得られ
た場合は、画像との距離に基づいて重み付けを行い、同
一画像に対する複数のキーセンテンス３０３等を表示す
る際の順位付けを行うこともできる。

【０１３１】また、ＯＣＲによる文字認識処理において
は、「写真」を「写具」と認識してしまうような誤認識
が起こることがある。このような誤認識が画像番号語や
画像指示語に発生したような場合には、キーテキストを
正確に抽出することが困難となってしまう。そこで、予
め誤認識の起こりやすい語、例えば上記「写真」等にお
いては、誤認識した結果である「写具」についても正し
い「写真」と同様に扱うことができるようにすることが
できる。なお、誤認識した語を検出した場合について
は、正しい語に変換する処理を行うことにしても良い。

【０１３２】また、図３等に示した文書ではなく、本文
と画像とが別々のページに配置されているような文書
（例えば特許明細書）であっても、画像番号語等を抽出
することにより、容易にキーテキストを抽出することが
できる。

【０１３３】さらに、上述した画像検索装置としてコン
ピュータを機能させるプログラムや、画像検索用キーテ
キストの生成方法をコンピュータに実行させるためのプ
ログラムを作成し、これらをハードディスク，フロッピ
ーディスク，ＣＤ−ＲＯＭ，ＭＯ，ＤＶＤ等のコンピュ
ータ読み取り可能な記録媒体に記録して、記録媒体を介
してプログラムを配布することができる。そして、記録
媒体に記録されたプログラムをコンピュータで読み出し
て実行することにより、上述した画像検索装置や画像検
索用キーテキストの生成方法を実現することできる。

【０１３４】

【発明の効果】以上説明したように、本発明の画像検索
装置（請求項１）によれば、画像の検索に用いる任意の
文字列をキーテキストと定義し、キーテキストを検索対
象となる画像毎に用意すると共に、用意したキーテキス
トおよび対応する画像をそれぞれ関連づけて格納してお
き、任意の検索語に基づいてキーテキストを検索し、該
当するキーテキストに関連づけられた画像を出力する画
像検索装置であって、図，表，写真等の画像および文字
列が混在した文書を入力する文書入力手段と、文書入力
手段を介して入力した文書から画像を含む画像領域およ
び文字列を含む文字領域を認識して抽出する領域抽出手
段と、領域抽出手段で抽出した文字領域の文字列から画
像領域の画像に関連づけするキーテキストを抽出するキ
ーテキスト抽出手段と、領域抽出手段で抽出した画像領
域の画像およびキーテキスト抽出手段で抽出したキーテ
キストを関連づけて格納する格納手段と、検索語を入力
するための入力手段と、入力手段を介して入力した検索
語に基づいて、該当するキーテキストを検索する検索手
段と、検索手段から検索結果を入力し、入力した検索結
果を画面表示する表示手段と、を備えたため、文書中の
文字列からキーテキストを自動的に抽出することがで
き、格納した画像を容易に検索できるようにすることが
できる。

【０１３５】また、本発明の画像検索装置（請求項２）
によれば、請求項１に記載の画像検索装置において、文
書は、文字列および画像が記録された紙文書であり、文
書入力手段は、紙文書を光学的に読み取って電子化した
文書を得るための読取手段であり、さらに、領域抽出手
段で抽出した文字領域中の文字列の文字認識を行う文字
認識手段を備えたため、紙文書であっても、文書中の画
像に関連づけするキーテキストを自動的に抽出すること
ができる。

【０１３６】また、本発明の画像検索装置（請求項３）
によれば、請求項１または２に記載の画像検索装置にお
いて、さらに、文書入力手段を介して入力した文書がフ
ルカラーの文書である場合に、入力した文書を２値化処
理する２値化処理手段を備えたため、後の領域識別処理
や文字認識処理の高速化を図ることができる。また、入
力した文書について２値化処理を行うことにしても、文
書はフルカラーで入力されているため、検索結果として
表示される画像等はフルカラーのままで表示することが
可能となる。

【０１３７】また、本発明の画像検索装置（請求項４）
によれば、請求項１〜３のいずれか１つに記載の画像検
索装置において、画像のキャプションを構成する文字列
をキーキャプションと定義し、キーテキスト抽出手段
は、画像に関連づけするキーテキストとして、領域抽出
手段で抽出した文字領域の文字列からキーキャプション
を抽出するため、画像に関連のある適切な文字列をキー
テキストとして用いることができ、画像検索精度の向上
を図ることができる。また、キーキャプションは、関連
づけされた画像を最も端的に示す文字列であるため、キ
ーキャプションをキーテキストとして画像検索を行うこ
とにより、検索語に最も関連のある画像を得ることがで
きる。すなわち、キーキャプションを検索対象として用
いることにより、検索結果に漏れがあっても良いが、最
も検索語に関連のある画像を検索することが可能とな
る。

【０１３８】また、本発明の画像検索装置（請求項５）
によれば、請求項１〜３のいずれか１つに記載の画像検
索装置において、画像について記述したセンテンスを構
成する文字列をキーセンテンスと定義し、キーテキスト
抽出手段は、画像に関連づけするキーテキストとして、
領域抽出手段で抽出した文字領域の文字列からキーセン
テンスを抽出するため、画像に関連のある適切な文字列
をキーテキストとして用いることができ、画像検索精度
の向上を図ることができる。

【０１３９】また、本発明の画像検索装置（請求項６）
によれば、請求項１〜３のいずれか１つに記載の画像検
索装置において、画像について記述したパラグラフを構
成する文字列をキーパラグラフと定義し、キーテキスト
抽出手段は、画像に関連づけするキーテキストとして、
領域抽出手段で抽出した文字領域の文字列からキーパラ
グラフを抽出するため、画像に関連のある適切な文字列
をキーテキストとして用いることができ、画像検索精度
の向上を図ることができる。

【０１４０】また、本発明の画像検索装置（請求項７）
によれば、請求項１〜３のいずれか１つに記載の画像検
索装置において、画像について記述したページを構成す
る文字列をキーページと定義し、キーテキスト抽出手段
は、画像に関連づけするキーテキストとして、領域抽出
手段で抽出した文字領域の文字列からキーページを抽出
するため、画像に関連のある適切な文字列をキーテキス
トとして用いることができ、画像検索精度の向上を図る
ことができる。また、キーページは、様々なトピックを
含み、他の画像に関連づけられることがあることから、
キーページをキーテキストとして画像検索を行うことに
より、互いに関連のある画像まで検索対象を広げること
ができる。すなわち、キーページを検索対象として用い
ることにより、検索結果に漏れのない画像検索を行うこ
とが可能となる。

【０１４１】また、本発明の画像検索装置（請求項８）
によれば、請求項１〜３のいずれか１つに記載の画像検
索装置において、画像のキャプション並びに画像につい
て記述したセンテンス，パラグラフおよびページを構成
する文字列をそれぞれキーキャプション，キーセンテン
ス，キーパラグラフおよびキーページと定義し、キーテ
キスト抽出手段は、画像に関連づけするキーテキストと
して、領域抽出手段で抽出した文字領域の文字列からキ
ーキャプション，キーセンテンス，キーパラグラフおよ
びキーページをそれぞれ抽出するため、画像に関連のあ
る適切な文字列をキーテキストとして用いることがで
き、画像検索精度の向上を図ることができる。また、キ
ーキャプション，キーセンテンス，キーパラグラフおよ
びキーページのすべてを検索対象として用いることによ
り、検索結果に漏れがあっても良いが、最も検索語に関
連のある画像を検索したいという要求と、検索結果に漏
れのない画像検索を行いたいという要求を同時に満たす
ことができる。

【０１４２】また、本発明の画像検索装置（請求項９）
によれば、請求項１〜８のいずれか１つに記載の画像検
索装置において、キーテキスト抽出手段は、領域抽出手
段で抽出した画像領域と画像領域の近傍に位置する文字
領域との間の距離に基づいて、特定の文字領域の文字列
から画像領域の画像に関連づけするキーテキストを抽出
するため、画像について記述した文字列は画像の近くに
存在するということが多いということを利用して、画像
に関連のある適切な文字列をキーテキストとして抽出す
ることができる。

【０１４３】また、本発明の画像検索装置（請求項１
０）によれば、請求項９に記載の画像検索装置におい
て、画像領域と画像領域の近傍に位置する文字領域との
間の距離は、互いに対向する画像領域の辺と文字領域の
辺との間の距離であって、画素を単位とするため、画像
領域に対して最も近傍に位置する文字領域を容易に特定
することができる。

【０１４４】また、本発明の画像検索装置（請求項１
１）によれば、請求項９または１０に記載の画像検索装
置において、文字領域は、画像のキャプションを構成す
る文字列が属するキャプション領域と、キャプションを
構成する文字列以外の文字列が属する本文領域とからな
り、キーテキスト抽出手段は、画像領域から最も近い距
離に位置するキャプション領域を特定し、前記特定した
キャプション領域の文字列を画像領域の画像に関連づけ
するキーキャプションとして抽出するため、画像に関連
のあるキーキャプションを極めて容易に抽出することが
できる。その結果、適切なキーテキストを得ることがで
きる。

【０１４５】また、本発明の画像検索装置（請求項１
２）によれば、請求項１１に記載の画像検索装置におい
て、キーテキスト抽出手段は、キーキャプションを構成
する文字列から画像に付与された番号を特定する番号語
を抽出し、本文領域の文字列から抽出した番号語を検索
して、該当する番号語を含むセンテンス単位の文字列を
画像領域の画像に関連づけするキーセンテンスとして抽
出するため、画像に関連のあるキーセンテンスを極めて
容易に抽出することができる。その結果、適切なキーテ
キストを得ることができる。

【０１４６】また、本発明の画像検索装置（請求項１
３）によれば、請求項９または１０に記載の画像検索装
置において、キーテキスト抽出手段は、文字領域の文字
列から画像が存在する方向または位置を指し示す指示語
を検索し、該当する指示語を含むセンテンス単位の文字
列を、指示語で示された方向または位置に存在し、指示
語を含む文字領域と最も近い画像領域の画像に関連づけ
するキーセンテンスとして抽出するため、画像に関連の
あるキーセンテンスを極めて容易に抽出することができ
る。その結果、適切なキーテキストを得ることができ
る。

【０１４７】また、本発明の画像検索装置（請求項１
４）によれば、請求項１２または１３に記載の画像検索
装置において、キーテキスト抽出手段は、キーセンテン
スを含むパラグラフ単位の文字列を画像領域の画像に関
連づけするキーパラグラフとして抽出するため、画像に
関連のあるキーパラグラフを極めて容易に抽出すること
ができる。その結果、適切なキーテキストを得ることが
できる。

【０１４８】また、本発明の画像検索装置（請求項１
５）によれば、請求項９または１０に記載の画像検索装
置において、キーテキスト抽出手段は、画像領域から最
も近い距離に位置する文字領域を特定し、特定した文字
領域が画像領域の上方に位置する場合、文字領域中の最
も下方に位置するパラグラフ単位の文字列を画像領域の
画像に関連づけするキーパラグラフとして抽出し、特定
した文字領域が画像領域の下方に位置する場合、文字領
域中の最も上方に位置するパラグラフ単位の文字列を画
像領域の画像に関連づけするキーパラグラフとして抽出
し、特定した文字領域が画像領域の左方または右方に位
置する場合、文字領域の文字列を画像領域の画像に関連
づけするキーパラグラフとして抽出するため、画像に関
連のあるキーパラグラフを極めて容易に抽出することが
できる。その結果、適切なキーテキストを得ることがで
きる。

【０１４９】また、本発明の画像検索装置（請求項１
６）によれば、請求項１４または１５に記載の画像検索
装置において、キーテキスト抽出手段は、キーパラグラ
フが存在するページを特定し、特定したページ中の全て
の文字領域の文字列を画像領域の画像に関連づけするキ
ーページとして抽出するため、画像に関連のあるキーペ
ージを極めて容易に抽出することができる。その結果、
適切なキーテキストを得ることができる。

【０１５０】また、本発明の画像検索装置（請求項１
７）によれば、請求項８または１６に記載の画像検索装
置において、さらに、格納手段に格納されたキーキャプ
ション，キーセンテンス，キーパラグラフおよびキーペ
ージからなるキーテキストの１部または全てを検索対象
として指定するための指定手段を備えたため、ユーザの
要求に応じて、入力した検索語に対して漏れのない検索
や、ノイズの少ない検索を選択的に行うことができる。

【０１５１】また、本発明の画像検索装置（請求項１
８）によれば、請求項８または１６に記載の画像検索装
置において、表示手段は、キーキャプションのみの検索
結果を示した第１の検索結果と、キーキャプションおよ
びキーセンテンスの検索結果の論理和を検索結果として
示した第２の検索結果と、キーキャプション，キーセン
テンスおよびキーパラグラフの検索結果の論理和を検索
結果として示した第３の検索結果と、キーキャプショ
ン，キーセンテンス，キーパラグラフおよびキーページ
の検索結果の論理和を検索結果として示した第４の検索
結果と、をそれぞれ画面表示するため、ユーザが所望の
画像を容易に選択することができる。すなわち、入力し
た検索語に対してノイズの少ない検索結果から入力した
検索語に対して漏れのない検索結果へ段階的に検索結果
を表示することができるため、所望の画像を容易に選択
することができる。

【０１５２】また、本発明の画像検索装置（請求項１
９）によれば、請求項８または１６に記載の画像検索装
置において、表示手段は、キーキャプションの検索結果
を示した第１の検索結果と、第１の検索結果と重複する
検索結果を除いてキーセンテンスの検索結果を示した第
２の検索結果と、第１および第２の検索結果と重複する
検索結果を除いてキーパラグラフの検索結果を示した第
３の検索結果と、第１〜第３の検索結果と重複する検索
結果を除いてキーページの検索結果を示した第４の検索
結果と、をそれぞれ画面表示するため、ユーザが所望の
画像を容易に選択することができる。すなわち、入力し
た検索語に最も関連が深い画像についての検索結果から
関連の浅い検索結果へ段階的に検索結果を表示すること
ができるため、所望の画像を容易に選択することができ
る。

【０１５３】また、本発明の画像検索装置（請求項２
０）によれば、請求項１〜１９のいずれか１つに記載の
画像検索装置において、格納手段は、画像を格納する際
に、画像を他の画像から識別するための識別情報を付し
て格納し、表示手段は、検索結果として、該当する画像
の識別情報を表示するため、最終的な検索結果である画
像自体を表示する場合に比べて、高速に検索結果を表示
することができる。

【０１５４】また、本発明の画像検索装置（請求項２
１）によれば、請求項１〜２０のいずれか１つに記載の
画像検索装置において、表示手段は、検索結果として、
該当するキーテキストを表示するため、検索によってヒ
ットした画像の内容を容易に理解することができる。ま
た、表示されたキーテキストを用いて、絞り込み用の検
索語をユーザに与えることが可能となる。

【０１５５】また、本発明の画像検索装置（請求項２
２）によれば、請求項１〜２１のいずれか１つに記載の
画像検索装置において、さらに、領域抽出手段で抽出し
た画像領域の画像を縮小して、縮小画像を生成する縮小
画像生成手段を備え、表示手段は、検索結果として、縮
小画像生成手段で生成した縮小画像を表示するため、検
索結果からユーザが所望する画像を容易に選択すること
ができる。

【０１５６】また、本発明の画像検索装置（請求項２
３）によれば、請求項２０〜２２のいずれか１つに記載
の画像検索装置において、さらに、表示手段で画面表示
した識別情報，キーテキストまたは／および縮小画像を
選択するための選択手段を備え、表示手段は、選択手段
を介して識別情報，キーテキストまたは／および縮小画
像が選択された場合に、該当する画像または／および文
書入力手段で入力した文書を画面表示するため、ユーザ
が所望する画像を検索結果から選択する際の操作性の向
上を図ることができる。

【０１５７】また、本発明の画像検索装置（請求項２
４）によれば、画像の検索に用いる任意の文字列をキー
テキストと定義し、キーテキストを検索対象となる画像
毎に用意すると共に、用意したキーテキストを対応する
画像にそれぞれ関連づけて格納しておき、任意の検索語
に基づいてキーテキストを検索し、該当するキーテキス
トに関連づけられた画像を出力する画像検索装置におけ
る画像検索用キーテキストの生成方法であって、図，
表，写真等の画像および文字列が混在した文書を入力す
る文書入力工程と、文書入力工程で入力した文書から画
像を含む画像領域および文字列を含む文字領域を認識し
て抽出する領域抽出工程と、領域抽出工程で抽出した文
字領域の文字列から画像のキャプションを構成する文字
列を画像領域の画像に関連づけするキーテキストとして
抽出する第１のキーテキスト抽出工程と、第１のキーテ
キスト抽出工程で抽出した文字列から画像領域の画像に
付与された番号語を抽出し、文字領域の文字列から抽出
した番号語を検索して、該当する番号語を含むセンテン
ス単位の文字列を画像領域の画像に関連づけするキーテ
キストとして抽出する第２のキーテキスト抽出工程と、
第１のキーテキスト抽出工程で文字列を抽出することが
できない場合に、文字領域の文字列から画像領域の画像
が存在する方向または位置を指し示す指示語を検索し、
該当する指示語を含むセンテンス単位の文字列を画像領
域の画像に関連づけするキーテキストとして抽出する第
３のキーテキスト抽出工程と、第２または第３のキーテ
キスト抽出工程で抽出した文字列を含むパラグラフ単位
の文字列を画像領域の画像に関連づけするキーテキスト
として抽出する第４のキーテキスト抽出工程と、第３の
キーテキスト抽出工程で文字列を抽出することができな
い場合に、画像領域の最も近傍に位置する文字領域の文
字列を画像領域の画像に関連づけするキーテキストとし
て抽出する第５のキーテキスト抽出工程と、第４または
第５のキーテキスト抽出工程で抽出した文字列を含むペ
ージを特定し、特定したページ中の全ての文字領域中の
文字列を画像領域の画像に関連づけするキーテキストと
して抽出する第６のキーテキスト抽出工程と、を含むた
め、いかなる種類の文書であっても、適切なキーテキス
トを自動的に抽出することができる。

【０１５８】また、本発明のコンピュータ読み取り可能
な記録媒体（請求項２５）によれば、請求項１〜２３の
いずれか１つに記載の画像検索装置の各手段としてコン
ピュータを機能させるためのプログラムを記録したた
め、記録したプログラムをコンピュータに実行させるこ
とにより、文書中の文字列からキーテキストを自動的に
抽出することができ、格納した画像を容易に検索できる
ようにすることができる画像検索装置を実現することが
できる。

【０１５９】さらに、本発明のコンピュータ読み取り可
能な記録媒体（請求項２６）によれば、請求項２４に記
載の画像検索用キーテキストの生成方法の各工程をコン
ピュータに実行させるためのプログラムを記録したた
め、記録したプログラムをコンピュータに実行させるこ
とにより、いかなる種類の文書であっても、適切なキー
テキストを自動的に抽出することができる画像検索用キ
ーテキストの生成方法を実現することができる。

【図面の簡単な説明】

【図１】実施の形態１の画像検索装置のブロック構成図
である。

【図２】図１に示す画像検索装置の概念構成図である。

【図３】実施の形態１の画像検索装置において、キーテ
キストを説明するための説明図である。

【図４】実施の形態１の画像検索装置において、キーテ
キスト・画像登録処理を示すフローチャートである。

【図５】実施の形態１の画像検索装置において、領域識
別・分割処理を行った結果を示す説明図である。

【図６】実施の形態１の画像検索装置において、キーテ
キスト抽出処理を示すフローチャートである。

【図７】実施の形態１の画像検索装置において、画像検
索処理の概略を示すフローチャートである。

【図８】実施の形態１の画像検索装置において、画像検
索結果の表示例を示す説明図である。

【図９】実施の形態１の画像検索装置において、画像検
索結果の表示例を示す説明図である。

【図１０】実施の形態２の画像検索装置におけるキーテ
キスト抽出処理を示すフローチャートである。

【図１１】実施の形態２の画像検索装置において、キー
テキスト抽出処理によって抽出されるキーテキストを説
明するための説明図である。

【図１２】実施の形態３の画像検索装置におけるキーテ
キスト抽出処理を示すフローチャートである。

【図１３】実施の形態３の画像検索装置において、キー
テキスト抽出処理によって抽出されるキーテキストを説
明するための説明図である。

【図１４】実施の形態３の画像検索装置において、画像
領域を挟んで本文領域が上下に存在する場合の抽出処理
を説明する説明図である。

【図１５】実施の形態３の画像検索装置において、画像
領域を挟んで本文領域が左右に存在する場合のキーテキ
スト抽出処理を説明する説明図である。

【図１６】実施の形態４の画像検索装置におけるキーテ
キスト抽出処理を示すフローチャートである。

【符号の説明】

１００ 登録サーバ １０１ スキャナ １０２ 画像ＤＢ １０３ テキストＤＢ １０４ 検索サーバ １０５，１０６，１０７ 検索クライアント １０８ ネットワーク ２００ 登録処理部 ２０１ ２値化処理部 ２０２ 領域識別・分割処理部 ２０３ 画像ＤＢ登録部 ２０４ ＯＣＲ部 ２０５ キーテキスト抽出部 ２０６ テキストＤＢ登録部 ２１０ 検索処理部 ２１１ 入力装置 ２１２ 出力装置 ２１３ 検索要求・結果出力部 ２１４ 検索実行部 ３００ 文書（１ページ分） ３０１ 画像 ３０２ キーキャプション ３０３ キーテキスト ３０４ キーパラグラフ ３０５ キーページ ５０１ 画像領域 ５０２ キャプション領域 ５０３，５０３ａ，５０３ｂ 本文領域 ８００ 画像表示ボタン

───────────────────────────────────────────────────── フロントページの続き (54)【発明の名称】 画像検索装置，画像検索用キーテキストの生成方法，並びにその装置としてコンピュータを機能 させるためのプログラムおよびその方法をコンピュータに実行させるためのプログラムを記録し たコンピュータ読み取り可能な記録媒体

Claims (26)

【特許請求の範囲】
1. 【請求項１】 画像の検索に用いる任意の文字列をキー
   テキストと定義し、前記キーテキストを検索対象となる
   画像毎に用意すると共に、用意したキーテキストおよび
   対応する前記画像をそれぞれ関連づけて格納しておき、
   任意の検索語に基づいて前記キーテキストを検索し、該
   当するキーテキストに関連づけられた画像を出力する画
   像検索装置であって、 図，表，写真等の画像および文字列が混在した文書を入
   力する文書入力手段と、 前記文書入力手段を介して入力した文書から前記画像を
   含む画像領域および文字列を含む文字領域を認識して抽
   出する領域抽出手段と、 前記領域抽出手段で抽出した文字領域の文字列から前記
   画像領域の画像に関連づけする前記キーテキストを抽出
   するキーテキスト抽出手段と、 前記領域抽出手段で抽出した画像領域の画像および前記
   キーテキスト抽出手段で抽出したキーテキストを関連づ
   けて格納する格納手段と、 前記検索語を入力するための入力手段と、 前記入力手段を介して入力した検索語に基づいて、該当
   するキーテキストを検索する検索手段と、 前記検索手段から検索結果を入力し、入力した検索結果
   を画面表示する表示手段と、 を備えたことを特徴とする画像検索装置。
2. 【請求項２】 前記文書は、前記文字列および画像が記
   録された紙文書であり、 前記文書入力手段は、前記紙文書を光学的に読み取って
   電子化した文書を得るための読取手段であり、 さらに、前記領域抽出手段で抽出した文字領域中の文字
   列の文字認識を行う文字認識手段を備えたことを特徴と
   する請求項１に記載の画像検索装置。
3. 【請求項３】 さらに、前記文書入力手段を介して入力
   した文書がフルカラーの文書である場合に、前記入力し
   た文書を２値化処理する２値化処理手段を備えたことを
   特徴とする請求項１または２に記載の画像検索装置。
4. 【請求項４】 前記画像のキャプションを構成する文字
   列をキーキャプションと定義し、 前記キーテキスト抽出手段は、前記画像に関連づけする
   キーテキストとして、前記領域抽出手段で抽出した文字
   領域の文字列から前記キーキャプションを抽出すること
   を特徴とする請求項１〜３のいずれか１つに記載の画像
   検索装置。
5. 【請求項５】 前記画像について記述したセンテンスを
   構成する文字列をキーセンテンスと定義し、 前記キーテキスト抽出手段は、前記画像に関連づけする
   キーテキストとして、前記領域抽出手段で抽出した文字
   領域の文字列から前記キーセンテンスを抽出することを
   特徴とする請求項１〜３のいずれか１つに記載の画像検
   索装置。
6. 【請求項６】 前記画像について記述したパラグラフを
   構成する文字列をキーパラグラフと定義し、 前記キーテキスト抽出手段は、前記画像に関連づけする
   キーテキストとして、前記領域抽出手段で抽出した文字
   領域の文字列から前記キーパラグラフを抽出することを
   特徴とする請求項１〜３のいずれか１つに記載の画像検
   索装置。
7. 【請求項７】 前記画像について記述したページを構成
   する文字列をキーページと定義し、 前記キーテキスト抽出手段は、前記画像に関連づけする
   キーテキストとして、前記領域抽出手段で抽出した文字
   領域の文字列から前記キーページを抽出することを特徴
   とする請求項１〜３のいずれか１つに記載の画像検索装
   置。
8. 【請求項８】 前記画像のキャプション並びに前記画像
   について記述したセンテンス，パラグラフおよびページ
   を構成する文字列をそれぞれキーキャプション，キーセ
   ンテンス，キーパラグラフおよびキーページと定義し、 前記キーテキスト抽出手段は、前記画像に関連づけする
   キーテキストとして、前記領域抽出手段で抽出した文字
   領域の文字列から前記キーキャプション，キーセンテン
   ス，キーパラグラフおよびキーページをそれぞれ抽出す
   ることを特徴とする請求項１〜３のいずれか１つに記載
   の画像検索装置。
9. 【請求項９】 前記キーテキスト抽出手段は、前記領域
   抽出手段で抽出した画像領域と前記画像領域の近傍に位
   置する文字領域との間の距離に基づいて、特定の文字領
   域の文字列から前記画像領域の画像に関連づけする前記
   キーテキストを抽出することを特徴とする請求項１〜８
   のいずれか１つに記載の画像検索装置。
10. 【請求項１０】 前記画像領域と前記画像領域の近傍に
    位置する文字領域との間の距離は、互いに対向する前記
    画像領域の辺と前記文字領域の辺との間の距離であっ
    て、画素を単位とすることを特徴とする請求項９に記載
    の画像検索装置。
11. 【請求項１１】 前記文字領域は、前記画像のキャプシ
    ョンを構成する文字列が属するキャプション領域と、前
    記キャプションを構成する文字列以外の文字列が属する
    本文領域とからなり、 前記キーテキスト抽出手段は、前記画像領域から最も近
    い距離に位置する前記キャプション領域を特定し、前記
    特定したキャプション領域の文字列を前記画像領域の画
    像に関連づけする前記キーキャプションとして抽出する
    ことを特徴とする請求項９または１０に記載の画像検索
    装置。
12. 【請求項１２】 前記キーテキスト抽出手段は、前記キ
    ーキャプションを構成する文字列から前記画像に付与さ
    れた番号を特定する番号語を抽出し、前記本文領域の文
    字列から前記抽出した番号語を検索して、該当する番号
    語を含むセンテンス単位の文字列を前記画像領域の画像
    に関連づけする前記キーセンテンスとして抽出すること
    を特徴とする請求項１１に記載の画像検索装置。
13. 【請求項１３】 前記キーテキスト抽出手段は、前記文
    字領域の文字列から画像が存在する方向または位置を指
    し示す指示語を検索し、該当する指示語を含むセンテン
    ス単位の文字列を、前記指示語で示された方向または位
    置に存在し、前記指示語を含む文字領域と最も近い画像
    領域の画像に関連づけする前記キーセンテンスとして抽
    出することを特徴とする請求項９または１０に記載の画
    像検索装置。
14. 【請求項１４】 前記キーテキスト抽出手段は、前記キ
    ーセンテンスを含むパラグラフ単位の文字列を前記画像
    領域の画像に関連づけする前記キーパラグラフとして抽
    出することを特徴とする請求項１２または１３に記載の
    画像検索装置。
15. 【請求項１５】 前記キーテキスト抽出手段は、前記画
    像領域から最も近い距離に位置する文字領域を特定し、
    前記特定した文字領域が前記画像領域の上方に位置する
    場合、前記文字領域中の最も下方に位置するパラグラフ
    単位の文字列を前記画像領域の画像に関連づけするキー
    パラグラフとして抽出し、前記特定した文字領域が前記
    画像領域の下方に位置する場合、前記文字領域中の最も
    上方に位置するパラグラフ単位の文字列を前記画像領域
    の画像に関連づけするキーパラグラフとして抽出し、前
    記特定した文字領域が前記画像領域の左方または右方に
    位置する場合、前記文字領域の文字列を前記画像領域の
    画像に関連づけするキーパラグラフとして抽出すること
    を特徴とする請求項９または１０に記載の画像検索装
    置。
16. 【請求項１６】 前記キーテキスト抽出手段は、前記キ
    ーパラグラフが存在するページを特定し、特定したペー
    ジ中の全ての文字領域の文字列を前記画像領域の画像に
    関連づけする前記キーページとして抽出することを特徴
    とする請求項１４または１５に記載の画像検索装置。
17. 【請求項１７】 さらに、前記格納手段に格納されたキ
    ーキャプション，キーセンテンス，キーパラグラフおよ
    びキーページからなるキーテキストの１部または全てを
    検索対象として指定するための指定手段を備えたことを
    特徴とする請求項８または１６に記載の画像検索装置。
18. 【請求項１８】 前記表示手段は、前記キーキャプショ
    ンのみの検索結果を示した第１の検索結果と、前記キー
    キャプションおよびキーセンテンスの検索結果の論理和
    を検索結果として示した第２の検索結果と、前記キーキ
    ャプション，キーセンテンスおよびキーパラグラフの検
    索結果の論理和を検索結果として示した第３の検索結果
    と、前記キーキャプション，キーセンテンス，キーパラ
    グラフおよびキーページの検索結果の論理和を検索結果
    として示した第４の検索結果と、をそれぞれ画面表示す
    ることを特徴とする請求項８または１６に記載の画像検
    索装置。
19. 【請求項１９】 前記表示手段は、前記キーキャプショ
    ンの検索結果を示した第１の検索結果と、前記第１の検
    索結果と重複する検索結果を除いて前記キーセンテンス
    の検索結果を示した第２の検索結果と、前記第１および
    第２の検索結果と重複する検索結果を除いて前記キーパ
    ラグラフの検索結果を示した第３の検索結果と、前記第
    １〜第３の検索結果と重複する検索結果を除いて前記キ
    ーページの検索結果を示した第４の検索結果と、をそれ
    ぞれ画面表示することを特徴とする請求項８または１６
    に記載の画像検索装置。
20. 【請求項２０】 前記格納手段は、前記画像を格納する
    際に、前記画像を他の画像から識別するための識別情報
    を付して格納し、 前記表示手段は、前記検索結果として、該当する画像の
    識別情報を表示することを特徴とする請求項１〜１９の
    いずれか１つに記載の画像検索装置。
21. 【請求項２１】 前記表示手段は、前記検索結果とし
    て、該当するキーテキストを表示することを特徴とする
    請求項１〜２０のいずれか１つに記載の画像検索装置。
22. 【請求項２２】 さらに、前記領域抽出手段で抽出した
    画像領域の画像を縮小して、縮小画像を生成する縮小画
    像生成手段を備え、 前記表示手段は、前記検索結果として、前記縮小画像生
    成手段で生成した縮小画像を表示することを特徴とする
    請求項１〜２１のいずれか１つに記載の画像検索装置。
23. 【請求項２３】 さらに、前記表示手段で画面表示した
    識別情報，キーテキストまたは／および縮小画像を選択
    するための選択手段を備え、 前記表示手段は、前記選択手段を介して前記識別情報，
    キーテキストまたは／および縮小画像が選択された場合
    に、該当する前記画像または／および文書入力手段で入
    力した文書を画面表示することを特徴とする請求項２０
    〜２２のいずれか１つに記載の画像検索装置。
24. 【請求項２４】 画像の検索に用いる任意の文字列をキ
    ーテキストと定義し、前記キーテキストを検索対象とな
    る画像毎に用意すると共に、用意したキーテキストを対
    応する前記画像にそれぞれ関連づけて格納しておき、任
    意の検索語に基づいて前記キーテキストを検索し、該当
    するキーテキストに関連づけられた画像を出力する画像
    検索装置における画像検索用キーテキストの生成方法で
    あって、 図，表，写真等の画像および文字列が混在した文書を入
    力する文書入力工程と、 前記文書入力工程で入力した文書から前記画像を含む画
    像領域および文字列を含む文字領域を認識して抽出する
    領域抽出工程と、 前記領域抽出工程で抽出した文字領域の文字列から前記
    画像のキャプションを構成する文字列を前記画像領域の
    画像に関連づけする前記キーテキストとして抽出する第
    １のキーテキスト抽出工程と、 前記第１のキーテキスト抽出工程で抽出した前記文字列
    から前記画像領域の画像に付与された番号語を抽出し、
    前記文字領域の文字列から前記抽出した番号語を検索し
    て、該当する番号語を含むセンテンス単位の文字列を前
    記画像領域の画像に関連づけする前記キーテキストとし
    て抽出する第２のキーテキスト抽出工程と、 前記第１のキーテキスト抽出工程で前記文字列を抽出す
    ることができない場合に、前記文字領域の文字列から前
    記画像領域の画像が存在する方向または位置を指し示す
    指示語を検索し、該当する指示語を含むセンテンス単位
    の文字列を前記画像領域の画像に関連づけする前記キー
    テキストとして抽出する第３のキーテキスト抽出工程
    と、 前記第２または第３のキーテキスト抽出工程で抽出した
    前記文字列を含むパラグラフ単位の文字列を前記画像領
    域の画像に関連づけする前記キーテキストとして抽出す
    る第４のキーテキスト抽出工程と、 前記第３のキーテキスト抽出工程で前記文字列を抽出す
    ることができない場合に、前記画像領域の最も近傍に位
    置する文字領域の文字列を前記画像領域の画像に関連づ
    けする前記キーテキストとして抽出する第５のキーテキ
    スト抽出工程と、 前記第４または第５のキーテキスト抽出工程で抽出した
    前記文字列を含むページを特定し、特定したページ中の
    全ての文字領域中の文字列を前記画像領域の画像に関連
    づけする前記キーテキストとして抽出する第６のキーテ
    キスト抽出工程と、 を含むことを特徴とする画像検索用キーテキストの生成
    方法。
25. 【請求項２５】 前記請求項１〜２３のいずれか１つに
    記載の画像検索装置の各手段としてコンピュータを機能
    させるためのプログラムを記録したことを特徴とするコ
    ンピュータ読み取り可能な記録媒体。
26. 【請求項２６】 前記請求項２４に記載の画像検索用キ
    ーテキストの生成方法の各工程をコンピュータに実行さ
    せるためのプログラムを記録したことを特徴とするコン
    ピュータ読み取り可能な記録媒体。