JP3694149B2 - 画像検索装置、画像検索用キーテキストの生成方法、並びにその装置としてコンピュータを機能させるためのプログラムおよびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
画像検索装置、画像検索用キーテキストの生成方法、並びにその装置としてコンピュータを機能させるためのプログラムおよびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP3694149B2 JP3694149B2 JP18161097A JP18161097A JP3694149B2 JP 3694149 B2 JP3694149 B2 JP 3694149B2 JP 18161097 A JP18161097 A JP 18161097A JP 18161097 A JP18161097 A JP 18161097A JP 3694149 B2 JP3694149 B2 JP 3694149B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- key
- extracted
- text
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 50
- 238000000605 extraction Methods 0.000 claims description 141
- 239000000284 extract Substances 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 30
- 230000000694 effects Effects 0.000 description 6
- 210000000746 body region Anatomy 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
Landscapes
- Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、図、表、写真等の画像および文字列が混在した文書中の画像を検索するものであって、文書中の画像およびその画像について記述した文字列を抽出し、かつ、それらを関連づけして格納し、任意の検索語に基づいて、格納した文字列を検索して、該当する文字列に関連づけられた画像を出力する画像検索装置、画像検索用キーテキストの生成方法、並びにその装置としてコンピュータを機能させるためのプログラムおよびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
コンピュータの急速な普及に伴って、従来は紙をファイリングすることによって保存していた文書を、電子化された情報として保存することが一般的となってきている。その結果、電子化された情報として保存した文書を有効に活用するために、保存した大量の情報の中から必要な情報を検索する技術が重要となってきている。
【０００３】
ところで、電子化された情報の中には、文字情報だけではなく、図、表、写真等の画像情報も含まれる。文字情報を検索する際には、検索語を入力し、入力した検索語と文字情報とのマッチング処理等を行うことにより、検索語に該当する文字情報を見つけ出すことができる。ところが、画像情報自身は、検索語とマッチング処理するための情報を有していないため、以下の第１から第３の例として説明するような方法で検索対象となる情報を生成して各画像に付与し、付与した情報を用いて、所望の画像を検索できるようにしている。
【０００４】
第１の例は、図、表、写真等の画像および文字列が混在した文書中の画像を検索する方法に関するものであって、文書から抽出した画像中に存在する文字列をさらに抽出し、抽出した文字列を文字認識して画像検索用のキーワードとしたものである（特開平３−６２１６９号公報『文書検索方法及び文書検索装置』）。すなわち、この方法は、画像自身に含まれた文字列を抽出してその画像のキーワードとし、このキーワードを検索することにより、該当する画像を出力することができるようにしたものである。
【０００５】
また、第２の例は、画像を保存する際に、人手により各画像にキーワードを付与し、付与したキーワードを検索することにより、該当する画像を出力することができるようにしたものである（電子情報通信学会論文誌、Ｄ−ＩＩ、Ｖｏｌ．Ｊ７３−Ｄ−ＩＩ、Ｎｏ．４、ｐｐ．５２６−５３４、１９９０年４月）。
【０００６】
さらに、第３の例は、画像そのものを解析し、画像の色や構造等の特徴を抽出してデータベース化し、画像を検索する際に、データベース化した画像の特徴を指定することにより、該当する画像を出力することができるようにしたものである（Ｑｕｅｒｙ ｂｙ Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｃｏｎｔｅｎｔ：Ｔｈｅ ＱＢＩＣ Ｓｙｓｔｅｍ、Ｃｏｍｐｕｔｅｒ、Ｓｅｐｔｅｍｂｅｒ １９９５）。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記第１の例によれば、画像中の文字列をキーワードとして用いるため、文字列を含まない画像からはキーワードを得ることができないという問題点があった。加えて、キーワードを得ることができたとしても、得たキーワードは画像中の文字列であるため、画像検索の対象として十分な情報ではない場合があるという問題点があった。
【０００８】
また、上記第２の例によれば、人手により画像にキーワードを付与する処理が必要となるため、大量の画像を検索することができるようにするためには莫大な労力が必要であるという問題点があった。
【０００９】
また、上記第３の例によれば、保存する画像の色や構造等の特徴を抽出し、抽出した画像の特徴を画像検索用の情報とするため、色等を指定した極めて低い次元の検索しか行うことができず、「画像検索の構成を示した図」等の検索語を用いた高次元の検索を行うことができないという問題点があった。
【００１０】
また、上記第１〜第３の例によれば、画像中の文字列を用いたキーワード、人手により付与したキーワードおよび画像の特徴のみを用いて単に画像を検索するものであるため、検索に関する知識の少ないユーザが、ノイズのない検索処理や、漏れのない検索処理を選択的に行うことは非常に困難であるという問題点があった。
【００１１】
さらに、上記第１〜第３の例によれば、画像中の文字列を用いたキーワード、人手により付与したキーワードおよび画像の特徴のみを用いて画像を検索し、検索結果を表示するのみであるため、大量の画像が検索結果としてヒットした場合等においては、ユーザが所望の画像を容易に選択することが困難であるという問題点があった。
【００１２】
本発明は上記に鑑みてなされたものであって、図、表、写真等の画像および文字列が混在した文書中の画像を検索対象として格納し、文書中の文字列を検索用のテキストとして用いて、格納した画像を容易に検索できるようにすることを目的とする。
【００１３】
また、本発明は上記に鑑みてなされたものであって、図、表、写真等の画像および文字列が混在した文書中の画像を検索するための画像検索用のテキストとして、文書中から画像について記述した文字列を自動的に抽出することができるようにすることを目的とする。
【００１４】
また、本発明は上記に鑑みてなされたものであって、入力した検索語に対する漏れのない検索や、ノイズの少ない検索をユーザの要求に応じて容易に行うことができるようにすることを目的とする。
【００１５】
さらに、本発明は上記に鑑みてなされたものであって、検索結果を表示する際に、所望の画像を容易に選択することができるようにすることを目的とする。
【００１６】
【課題を解決するための手段】
上記目的を達成するため、請求項１の画像検索装置は、画像の検索に用いる文字列をキーテキストと定義し、前記キーテキストを検索対象となる画像毎に用意すると共に、用意したキーテキストおよび対応する前記画像をそれぞれ関連づけて格納しておき、任意の検索語と前記キーテキストとを比較して検索し、検索されたキーテキストに関連づけられた画像を出力する画像検索装置であって、図、表、写真等の画像および文字列が混在した文書を入力する文書入力手段と、前記文書入力手段を介して入力した文書から前記画像を含む画像領域および文字列を含む文字領域を認識して抽出する領域抽出手段と、前記領域抽出手段で抽出した文字領域の文字列から、前記画像領域の画像に関連づけする前記キーテキストを抽出するに際して、前記画像に関連づけする前記キーテキストとして、前記画像のキャプションを構成する文字列であるキーキャプション、前記画像について記述したセンテンスを構成する文字列であるキーセンテンス、前記画像について記述したパラグラフを構成する文字列であるキーパラグラフ、および、前記画像について記述したページを構成する文字列であるキーページのうちの少なくともいずれかを抽出するキーテキスト抽出手段と、前記領域抽出手段で抽出した画像領域の画像および前記キーテキスト抽出手段で抽出したキーテキストを関連づけて格納する格納手段と、前記検索語の入力を受け付ける入力手段と、前記入力手段を介して入力された検索語に基づいて、該当するキーテキストおよび画像を検索する検索手段と、前記検索手段から検索結果を入力し、入力した検索結果を画面表示する表示手段と、を備え、前記キーテキスト抽出手段は、前記キーキャプションを構成する文字列から前記画像に付与された番号を特定する画像番号語をキーテキストとして抽出し、前記格納手段は、前記キーテキスト抽出手段によって抽出された画像番号語と前記領域抽出手段によって抽出された画像領域とを関連づけて格納するものであり、前記キーテキスト抽出手段は、前記文字領域の文字列から画像が存在する方向または位置を指し示す画像指示語を検索して前記画像指示語を含む文字列をキーテキストとして抽 出し、前記格納手段は、前記キーテキスト抽出手段によって抽出された前記画像指示語を含む文字列と、前記画像指示語を含む文字列中に前記画像指示語で示された方向または位置にあって前記画像指示語を含む文字列に最も近い画像領域の画像とを、関連づけて格納するものであり、前記キーテキスト抽出手段は、前記領域抽出手段が抽出した画像領域と文字領域との距離を算出して最も距離が小なる文字領域をキーテキストとして抽出し、前記格納手段は、前記キーテキスト抽出手段によって抽出された前記最も拒理が小なる文字領域と、前記画像領域の画像とを関連づけて格納するものであり、前記キーテキスト抽出手段は、前記キーキャプションを抽出できなかった場合、および前記キーキャプションを構成する文字列から前記画像に付与された番号を特定する画像番号語を抽出できなかった場合の少なくともいずれかの場合は、前記画像指示語を検索するものであり、前記キーテキスト抽出手段は、さらに前記画像指示語を検索できなかった場合は、前記最も距離が小なる文字領域から前記文字領域をキーテキストとして抽出するものであることを特徴とする。
【００１７】
また、請求項２の画像検索用キーテキストの生成方法は、図、表、写真等の画像および文字列が混在した文書情報中の前記画像に関連付けられる前記画像の検索に用いる文字列をキーテキスト抽出手段によりキーテキストとして選択し、選択された前記キーテキストおよび検索対象となる前記画像を登録手段によってそれぞれ関連づけてメモリに格納しておき、入力手段から任意の検索語の入力を受け付けた場合、受け付けられた前記検索語と前記メモリに格納された前記キーテキストとを検索実行手段によって比較し、比較により照合した前記キーテキストに、前記登録手段により関連づけられた前記画像を検索し、前記検索実行手段により照合された前記キーテキストおよび検索された前記画像を出力手段により表示手段に出力する画像検索装置における画像検索用キーテキストの生成方法であって、文書入力手段によって前記文書情報の入力を受け付ける文書入力工程と、画像情報および文字列情報の特徴に基づいて画像を含む画像領域および文字列を含む文字領域を抽出する領域抽出手段によって、前記文書入力工程で入力された前記文書情報から、前記画像領域および文字領域を抽出する領域抽出工程と、前記領域抽出工程で抽出した文字領域の文字列から、前記画像領域の画像に関連づけられる前記キーテキストを、前記キーテキスト抽出手段によって抽出するに際して、前記キーテキスト抽出手段によって前記画像のキャプションを構成する文字列であるキーキャプションが抽出でき且つ前記キーキャプション中に含まれる画像の番号を表す画像番号語が抽出できた場合は、前記画像番号語を含むセンテンス単位の文字列であるキーセンテンス、前記前記キーセンテンスを含みパラグラフ単位の文字列であるキーパラグラフ、および、前記キーパラグラフを含むページ単位の文字列であるキーページのうち少なくともいずれかを、前記キーテキスト抽出手段によって前記キーテキストとして抽出し、前記領域抽出工程で抽出した文字領域の文字列から、前記キーテキストを前記キーテキスト抽出手段によって抽出するに際して、前記キーキャプションおよび前記キーキャプション中に含まれる画像番号語のいずれをも前記キーテキスト抽出手段によって抽出できない場合、前記文字領域の文字列から画像が存在する方向または位置を指し示す画像指示語を抽出して前記画像指示語が抽出できた場合は、前記画像指示語に基づいて指定されるセンテンス単位の文字列であるキーセンテンス、前記画像指示語により指定されたキーセンテンスを含むパラグラフ単位の文字列であるキーパラグラフ、および前記キーパラグラフを含むページ単位の文字列であるキーページのうちの少なくともいずれかを、前記キーテキスト抽出手段によって前記キーテキストとして抽出し、前記領域抽出工程で抽出した文字領域の文字列から、前記キーテキストを前記キーテキスト抽出手段によって抽出するに際して、前記画像指示語が前記キーテキスト抽出手段によって抽出できなかった場合は、前記画像領域と文字領域との距離を算出し、最も距離が小なるパラグラフ単位のキーパラグラフ、および前記最も距離が小なるキーパラグラフを含むページ単位のキーページのうち少なくともいずれかを、前記キーテキスト抽出手段によって前記キーテキストとして抽出するキーテキスト抽出工程と、を含むことを特徴とする。
【００１８】
また、請求項３のコンピュータ読み取り可能な記録媒体は、前記請求項１に記載の画像検索装置の各手段としてコンピュータを機能させるためのプログラムを記録したことを特 徴とする。
【００１９】
また、請求項４のコンピュータ読み取り可能な記録媒体は、図、表、写真等の画像および文字列が混在した文書情報中の前記画像に関連付けられる前記画像の検索に用いる文字列をキーテキスト抽出手段によりキーテキストとして選択し、選択された前記キーテキストおよび検索対象となる前記画像を登録手段によってそれぞれ関連づけてメモリに格納しておき、入力手段から任意の検索語の入力を受け付けた場合、受け付けられた前記検索語と前記メモリに格納された前記キーテキストとを検索実行手段によって比較し、比較により照合した前記キーテキストに、前記登録手段により関連づけられた前記画像を検索し、前記検索実行手段により照合された前記キーテキストおよび検索された前記画像を出力手段により表示手段に出力する画像検索装置における画像検索用キーテキストの生成方法の各工程を、コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、文書入力手段によって前記文書情報の入力を受け付ける文書入力工程と、画像情報および文字列情報の特徴に基づいて画像を含む画像領域および文字列を含む文字領域を抽出する領域抽出手段によって、前記文書入力工程で入力された前記文書情報から、前記画像領域および文字領域を抽出する領域抽出工程と、前記領域抽出工程で抽出した文字領域の文字列から、前記画像領域の画像に関連づけられる前記キーテキストを、前記キーテキスト抽出手段によって抽出するに際して、前記キーテキスト抽出手段によって前記画像のキャプションを構成する文字列であるキーキャプションが抽出でき且つ前記キーキャプション中に含まれる画像の番号を表す画像番号語が抽出できた場合は、前記画像番号語を含むセンテンス単位の文字列であるキーセンテンス、前記前記キーセンテンスを含みパラグラフ単位の文字列であるキーパラグラフ、および、前記キーパラグラフを含むページ単位の文字列であるキーページのうち少なくともいずれかを、前記キーテキスト抽出手段によって前記キーテキストとして抽出し、前記領域抽出工程で抽出した文字領域の文字列から、前記キーテキストを前記キーテキスト抽出手段によって抽出するに際して、前記キーキャプションおよび前記キーキャプション中に含まれる画像番号語のいずれをも前記キーテキスト抽出手段によって抽出できない場合、前記文字領域の文字列から画像が存在する方向または位置を指し示す画像指示語を抽出して前記画像指示語が抽出できた場合は、前記画像指示語に基づいて指定されるセンテンス単位の文字列であるキーセンテンス、前記画像指示語により指定されたキーセンテンスを含むパラグラフ単位の文字列であるキーパラグラフ、および前記キーパラグラフを含むページ単位の文字列であるキーページのうちの少なくともいずれかを、前記キーテキスト抽出手段によって前記キーテキストとして抽出し、前記領域抽出工程で抽出した文字領域の文字列から、前記キーテキストを前記キーテキスト抽出手段によって抽出するに際して、前記画像指示語が前記キーテキスト抽出手段によって抽出できなかった場合は、前記画像領域と文字領域との距離を算出し、最も距離が小なるパラグラフ単位のキーパラグラフ、および前記最も距離が小なるキーパラグラフを含むページ単位のキーページのうち少なくともいずれかを、前記キーテキスト抽出手段によって前記キーテキストとして抽出するキーテキスト抽出工程と、をコンピュータに実行させるためのプログラムを記録したことを特徴とする。
【００２０】
【発明の実施の形態】
以下、本発明の画像検索装置、画像検索用キーテキストの生成方法、並びにその装置としてコンピュータを機能させるためのプログラムおよびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体の実施の形態について、添付の図面を参照しつつ詳細に説明する。
【００２１】
〔実施の形態１〕
実施の形態１の画像検索装置は、図や表、写真等の画像および文字列が混在した文書から画像を抽出して格納すると共に、文書中の文字列を検索用のテキストとして画像に関連づけし、画像に関連づけした文字列を検索することにより、該当する画像を得ることができるようにするものである。なお、上記画像に関連づけする文書中の文字列のことを、キーテキストと定義することにする。
【００２２】
図１は、実施の形態１の画像検索装置（画像検索システム）のブロック構成図である。図１に示す画像検索装置は、図や表、写真等の画像および文字列が混在した紙文書を光学的に読み取って、電子化された文書を得るためのスキャナ１０１を備え、入力した文書中の画像を画像ＤＢ（データベース）１０２に登録し、かつ、画像について記述した文字列、即ちキーテキストを文書から抽出し、抽出したキーテキストを画像ＤＢ１０２に登録された画像に関連づけしてテキストＤＢ１０３に登録する登録サーバ１００と、複数の検索クライアント１０５、１０６、１０７からの検索要求に応じて、テキストＤＢ１０３に登録されたキーテキストを検索することにより、該当する画像を画像ＤＢ１０２から出力する検索サーバ１０４と、上記各部を接続するネットワーク１０８と、から構成される。
【００２３】
図２は、図１に示す画像検索装置の概念構成図である。実施の形態１の画像検索装置は、大きく登録処理部２００および検索処理部２１０から構成される。登録処理部２００は、図１に示した登録サーバ１００に該当し、検索処理部２１０は、図１に示した画像ＤＢ１０２およびテキストＤＢ１０３、並びに検索要求・結果出力部２１３および検索実行部２１４から構成される。なお、検索処理部２１０の検索要求・結果出力部２１３および検索実行部２１４は、それぞれ検索クライアント１０５、１０６、１０７および検索サーバ１０４に該当する。
【００２４】
図２において、登録処理部２００は、スキャナ１０１を用いて、図や表、写真等の画像および文字列が混在した紙文書をフルカラーで読み取ることによって電子化された文書を入力し、入力した文書の全てのページについて２値化処理を行う２値化処理部２０１と、２値化処理部２０１で２値化処理された文書の各ページから画像を含む画像領域および文字列を含む文字領域（後述するキャプション領域および本文領域）を識別して分割する領域識別・分割処理部２０２と、領域識別・分割処理部２０２で分割された画像領域中の画像を画像ＤＢ１０２に登録する画像ＤＢ登録部２０３と、領域識別・分割処理部２０２で分割された文字領域中の文字列について文字認識を行うＯＣＲ部２０４と、ＯＣＲ部２０４で文字認識された文字列からキーテキストを抽出するキーテキスト抽出部２０５と、キーテキスト抽出部２０５で抽出したキーテキストを画像ＤＢ１０２に登録された画像に関連づけてテキストＤＢ１０３に登録するテキストＤＢ登録部２０６と、を有している。
【００２５】
なお、実施の形態１の画像検索装置の説明においては、スキャナ１０１で読み取った文書を中心にして説明を行うが、図２に示した登録処理部２００は、スキャナ１０１で読み取った文書以外に、ワードプロセッサ等のアプリケーションプログラムで作成した文書や、ＳＧＭＬ、ＨＴＭＬ等の構造化文書等、いかなる形式の文書についても扱うことができるものである。ただし、ワードプロセッサ等のアプリケーションプログラムで作成した文書等の場合は、スキャナ１０１による読み取りを行う必要がないため、ＯＣＲ２０４による文字認識処理は不要となる。
【００２６】
また、図２において、領域識別・分割処理部２０２は、文書中の画像領域と文字領域とを識別して分割すると共に、識別した文字領域をさらに画像、例えば図や表に付与されたキャプションを含むキャプション領域とキャプション以外の文字列を含む本文領域とを識別して分割するものである。キャプションとは、図や表、写真等の説明であって、具体的には「図１ 画像検索装置のブロック構成図」のような図や表に対して付与された文字列である。なお、以下の説明において単に「画像」という場合には、「図、表、写真等」を意味するものとし、また、領域識別・分割処理部２０２による領域識別・分割処理については、後に図を参照しつつ詳細に説明する。
【００２７】
また、キーテキスト抽出部２０５は、ＯＣＲ部２０４で文字認識された文字列からキーテキストを自動的に抽出するものである。キーテキストとしては、文書中の画像の内容を記述した文字列が用いられる。
【００２８】
図３は、キーテキストを説明するための説明図である。ここではキーテキストとして、４種類の文字列を用意することにする。キーテキストの１つ目は、文書３００（１ページ分）中の画像３０１に付与されたキャプション、例えば、図３中に示された「図１：システム構成」であり、このキャプションをキーキャプション３０２と新たに定義することにする。キーキャプション３０２は、画像３０１に直接対応づけて文書３００中に記載されたものであるため、キーテキストの関連づけの対象となる画像３０１を特定することができる。なお、キーキャプション３０２は、領域識別・分割処理部２０２で分割されたキャプション領域から得ることができる。このキャプション領域については、後に詳細に説明する。
【００２９】
キーテキストの２つ目は、画像３０１について記述したセンテンス（文）であり、このセンテンスをキーテキスト３０３と新たに定義することにする。キーキャプション３０２には、図３に示すように、画像を指し示す画像番号語、例えば、図１や表１、写真１等が含まれている。この画像番号語を含むキーキャプション３０２以外の本文中の文字列は、画像番号語で特定される画像について記述したものであると考えることができる。したがって、この画像番号語を本文領域の文字列から見つけ出し、画像番号語を含む文字列をキーセンテンス３０３として抽出する。
【００３０】
キーテキストの３つ目は、画像３０１について記述したパラグラフ（段落）であり、このパラグラフをキーパラグラフ３０４と新たに定義することにする。キーパラグラフ３０４は、キーセンテンス３０３を含んだパラグラフ単位の文字列であって、キーセンテンス３０３を取得することによって抽出することができる。
【００３１】
キーテキストの４つ目は、画像３０１について記述したページ全体の文字列であり、このページ全体の文字列をキーページ３０５と新たに定義することにする。キーページ３０５は、キーパラグラフ３０４（キーセンテンス３０３）を含んだページ単位の文字列であって、キーパラグラフ３０４（キーセンテンス３０３）を取得することにより抽出することができる。
【００３２】
このように、画像検索のためのキーテキストを４つ用意したのは、それぞれに大きな特徴があるからである。すなわち、キーキャプション３０２は、画像３０１を極めて端的に説明した文字列であるため、キーキャプション３０２を用いて画像を検索した場合には、検索語に直接対応する画像がヒットし易く、その反面、関連する画像がヒットすることはほとんどあり得ないという特徴がある（ノイズが少ない）。一方、キーページ３０５は、複数のトピックを含んでいる可能性があるため、キーページ３０５を用いて画像を検索した場合には、検索語に直接対応する画像のみならず、関連する図も同時に検索することが可能となるが、その反面、ノイズが多くなるという特徴がある。さらに、キーセンテンス３０３およびキーパラグラフ３０４は、上記キーキャプション３０２およびキーページ３０５の中間的な特徴を有するものである。したがって、漏れのない画像検索をしたい場合や、漏れがあっても良いが検索語に最も関連のある画像を検索したい場合等の要求に応じて上記キーテキストを使い分けることにより、所望の検索結果を得ることができる。
【００３３】
また、図３に示すように、テキストＤＢ登録部２０６は、キーテキスト抽出部２０５で抽出したキーテキストを該当する画像３０１、即ち、画像ＤＢ登録部２０３で画像ＤＢ１０２に登録する画像３０１に関連づけ、テキストＤＢ１０３に登録する。
【００３４】
次に、図２に戻って、検索処理部２１０について説明する。検索要求・結果出力部２１３は、検索語等を入力するキーボード等からなる入力装置２１１と、検索実行部２１４から検索結果を入力して出力するＣＲＴ等の出力装置２１２とを備えている。また、検索実行部２１４は、検索要求・結果出力部２１３から検索語を入力し、入力した検索語に基づいて、テキストＤＢ１０３から該当するキーテキストを検索し、検索したキーテキストに関連づけられた画像を画像ＤＢ１０２から取得して検索要求・結果出力部２１３に出力する。なお、画像検索処理については、後に詳細に説明する。
【００３５】
続いて、上述した構成を備えた画像検索装置の動作について、（１）キーテキスト・画像登録処理（画像検索用キーテキストの生成方法）、（２）画像検索処理の順で詳細に説明する。
【００３６】
（１）キーテキスト・画像登録処理（画像検索用キーテキストの生成方法）
図４は、キーテキスト・画像登録処理を示すフローチャートである。スキャナ１０１は、用意されたフルカラーの紙文書を読み取り、電子化された文書３００を得る（Ｓ４０１）。なお、電子化された文書３００を得た後に、孤立点ノイズの除去処理や、傾き補正処理等を行うことができる。
【００３７】
２値化処理部２０１は、スキャナ１０１で読み取ったフルカラーの文書３００を入力し、入力したフルカラーの文書３００の２値化処理を行う（Ｓ４０２）。２値化処理を行うに当たっては、スキャナ１０１で得たＲＧＢのフルカラーデータを一旦ＨＳＩ（色相、彩度、明度）データに変換した後、明度に基づいて特定の閾値で分離して２値化する。２値化処理部２０１において、フルカラーの文書３００が２値化されるため、後の領域識別処理や文字認識処理の高速化を図ることができる。
【００３８】
領域識別・分割処理部２０２は、２値化処理部２０１で２値化した文書３００を入力し、文書３００の各ページ毎に、画像領域、キャプション領域および本文領域を認識し、分割する処理を行う（Ｓ４０３）。また、領域識別・分割処理部２０２は、分割した画像領域、キャプション領域および本文領域の位置情報を取得する。
【００３９】
具体的に、領域識別・分割処理部２０２は、連結する黒点を包含し、矩形のサイズが大きいものを画像領域として認識し、画像領域に近接する１〜３行程度のテキストを包含する小領域をキャプション領域として認識し、その他の領域を本文領域として認識する。なお、キャプション領域５０２を特定するに当たっては、互いに対向する画像領域５０１の辺とキャプション領域５０２の辺との間の画素を単位とした距離を基準とする。
【００４０】
図５は、領域識別・分割処理を行った結果を示す説明図である。図５において、５０１は画像３０１を含む画像領域を、５０２はキャプション領域を、５０３は本文領域をそれぞれ示している。キャプション領域５０２は、上述したキャプション、例えば、図５に示す「図１：システム構成」等の文字列を含む領域である。
【００４１】
図４に戻り、画像ＤＢ登録部２０３は、領域抽出・分割処理部２０２から領域識別・分割処理の結果を入力し、スキャナ１０１で読み取ったフルカラーの文書から、画像領域５０１に該当する領域の画像３０１を抽出し、抽出した画像３０１にＩＤを付与して画像ＤＢ１０２に登録する（Ｓ４０４）。このＩＤは、画像３０１を他の画像と識別するために用いるものであると共に、画像検索により画像３０１がヒットした場合に、その検索結果として表示するためのものである。
【００４２】
なお、画像ＤＢ１０２に画像を登録する際には、領域抽出・分割処理部２０２で取得した画像領域５０１の位置情報も合わせて登録する。これは、画像ＤＢ１０２に登録される画像が、画像３０１を単位とするのではなく、実際には文書を構成する各ページを読み取ることによって得たページ画像を単位とするものであるからである。すなわち、画像ＤＢ１０２には、ページ画像として、ページ画像ＩＤおよびページ画像データが登録されると共に、画像３０１として、画像ＩＤ、画像３０１が存在するページのページ画像ＩＤおよび画像領域の位置情報が登録される。
【００４３】
また、画像３０１を画像ＤＢ１０２に登録する際には、登録する画像３０１の縮小画像を生成し、生成した縮小画像を元の画像３０１に関連づけして登録することができる。この縮小画像は、検索結果を表示する際に、画像３０１に代えて表示するためのものである。さらに、画像ＤＢ１０２には、画像領域５０１を含む文書のページおよび／または文書全体を画像３０１に関連づけて登録することができる。その結果、画像３０１を画面表示する際に、文書全体および／または画像３０１を含んだページを画面表示することができる。
【００４４】
ＯＣＲ部２０４は、領域識別・分割処理部２０２から領域識別・分割処理の結果を入力し、分割されたキャプション領域５０２および本文領域５０３について、行切り出しや文字切り出し処理を行って、文字認識処理を行う（Ｓ４０５）。ＯＣＲ部２０４は、キャプション領域５０２および本文領域５０３の位置情報と共に、文字認識処理の結果をキーテキスト抽出部２０５に出力する。
【００４５】
キーテキスト抽出部２０５は、ＯＣＲ部２０４から文字認識結果並びにキャプション領域５０２および本文領域５０３の位置情報を、領域識別・分割処理部２０２から画像領域５０１の位置情報をそれぞれ入力し、文字認識された文字列から上述したキーテキストを抽出する処理を行う（Ｓ４０６）。
【００４６】
ここで、ステップＳ４０６におけるキーテキストの抽出処理を具体的に説明する。図６は、キーテキスト抽出処理を示すフローチャートである。キーテキスト抽出部２０５は、領域識別・分割処理部２０２で識別されたキャプション領域５０２の文字列をキーキャプション３０２として設定する（Ｓ６０１）。なお、領域識別・分割処理部２０２でキャプション領域５０２を認識する処理を行わなかった場合には、画像領域５０１に近接する１〜３行程度のテキストを包含する小領域をキャプション領域５０２として特定することができる。キャプション領域５０２を特定するに当たっては、互いに対向する画像領域５０１の辺とキャプション領域５０２の辺との間の画素を単位とした距離を基準とする。
【００４７】
続いてキーテキスト抽出部２０５は、設定したキーキャプション３０２から画像番号語、例えば、図１、表１、写真１等を抽出する（Ｓ６０２）。キーテキスト抽出部２０５には、予め図１、図−１、図（１）、図１．２、図１．１２、図１．ａ等の図や、表、写真、Ｆｉｇｕｒｅ、Ｆｉｇ．等の画像番号語が登録されており、これら登録された画像番号語とキーキャプション３０２を構成する文字列との照合を行うことによって、キーキャプション３０２から画像番号語を抽出する。ここではキーキャプション３０２の「図１：システムの構成」から「図１」が抽出される（図３および図５参照）。キーキャプション３０２から画像番号語「図１」を抽出することにより、画像領域５０１の画像３０１を直接指し示す語を得ることができる。
【００４８】
その後、キーテキスト抽出部２０５は、ステップＳ６０２で抽出した画像番号語「図１」を含む文字列を文書３００全ての本文領域５０３から見つけ出す（Ｓ６０３）。
【００４９】
そして、画像番号語「図１」を本文領域５０３から見つけた場合には、画像番号語「図１」を含む文字列をセンテンス（文）単位で抽出し、キーセンテンス３０３とする（Ｓ６０４）。
【００５０】
続いて、キーセンテンス３０３を含む文字列をパラグラフ単位で抽出し、キーパラグラフ３０４とする（Ｓ６０５）。
【００５１】
さらに、キーパラグラフ３０４（キーセンテンス３０３）を含む文字列をページ単位で抽出し、キーページ３０５とする（Ｓ６０６）。
【００５２】
再び図４に戻り、キーテキスト登録部２０６は、キーテキスト抽出部２０５で抽出したキーキャプション３０２、キーセンテンス３０３、キーパラグラフ３０４およびキーページ３０５からなるキーテキストを入力すると共に、画像ＤＢ登録部２０３から該当する画像に付与した画像ＩＤを入力し、入力したキーテキストを画像ＩＤと共にテキストＤＢ１０３に登録する（Ｓ４０７）。キーテキストを画像ＩＤと共にテキストＤＢ１０３に登録することにより、キーテキストと画像３０１との関連づけを行うことができる。
【００５３】
なお、上述したキーテキスト抽出処理は、文書３００中に存在する各画像それぞれについて行われる。
【００５４】
（２）画像検索処理
続いて、テキストＤＢ１０３に登録されたキーテキストを用いて、画像ＤＢ１０２に登録された画像を検索する処理について説明する。
【００５５】
図７は、画像検索処理の概略を示すフローチャートである。検索要求・結果出力部２１３は、入力装置２１１からキーテキスト、即ちキーキャプション３０２、キーセンテンス３０３、キーパラグラフ３０４およびキーページ３０５のいずれを対象として画像を検索するかの指定を入力する（Ｓ７０１）。なお、キーテキストを指定する際には、キーキャプション３０２等を１つ指定するのみならず、キーテキストのいずれかを組み合わせて複数指定したり、キーテキストの全てを指定することができる。
【００５６】
ここで、キーテキストを指定することができるようにすることにより、漏れがあっても良いが、検索語に直接関連した画像を検索したい場合（ノイズの少ない検索）にはキーキャプションを指定し、漏れのない広範囲の検索を行いたい場合にはキーページを指定する等、ユーザの検索要求に応じた検索方法の指定を行うことができる。したがって、検索の目的に応じて、どのような検索語を入力したら良いかを考える必要をなくすことができる。
【００５７】
そして、検索要求・結果出力部２１３は、入力装置２１１から検索語を入力し、入力した検索語とステップＳ７０１で入力したキーテキストの指定（検索対象の指定）とを検索実行部２１４に出力する（Ｓ７０２）。なお、キーテキストの指定と検索語の入力については、いずれを先に行っても良い。
【００５８】
検索実行部２１４は、検索要求・結果出力部２１３から検索語およびキーテキストの指定を入力し、入力した検索語に基づいて、テキストＤＢ１０３中の該当するキーテキストをそれぞれ検索する（パターンマッチ検索：Ｓ７０３）。
【００５９】
その後、検索実行部２１４は、ステップＳ７０３で検索した結果を検索要求・結果出力部２１３に出力し、検索要求・結果出力部２１３は入力した検索結果を出力装置２１２に出力する（Ｓ７０４）。
【００６０】
図８は、画像検索結果の表示例を示す説明図である。この図８は、検索語を「検索」とし、検索対象のキーテキストとしてキーキャプション３０２を指定した場合の検索結果を示したものである。図８においては、検索結果として画像ＩＤと、画像に関連づけされたキーテキストの全てが一覧表示されている。もちろん、検索結果として画像ＩＤのみを表示しても良いし、キーテキストの全てではなく、該当するキーキャプション３０２のみを表示しても良い。ユーザは、一覧表示されたキーテキストの内容を確認することにより、所望の画像を選択することができる。
【００６１】
また、図８において、画像表示ボタン８００を選択すると、図９に示すように、一覧表示された画像ＩＤに該当する画像の縮小画像が一覧表示される。この縮小画像は、画像ＤＢ登録部２０３によって生成・登録されたものである（図４のステップＳ４０４参照）。キーテキストのみでは所望の画像であるかを判断することができない場合に、縮小画像を一覧表示することができるようにすることによって、所望の画像を容易に選択することができる。また、縮小画像であるため、データ量が少なく、高速に表示することが可能となる。なお、図８に示した検索結果に、図９に示した縮小画像を合わせて表示することにしても良い。
【００６２】
そして、図８に示す画像ＩＤ、キーテキストまたは図９に示す縮小画像を選択することにより、該当する画像３０１や、必要に応じて、この画像３０１を含む文書全体、画像３０１が存在するページが表示される。なお、画像３０１を画像ＤＢ１０２に登録する際に、同一文書中の他の画像と関連づけしておくことにより、１つの画像から同一文書中の他の画像を辿って表示することができる。また、文書中のページについても、同一文書中の他のページと関連づけしておくことにより、表示したページに基づいて他のページを表示することができる。
【００６３】
また、上記では、キーテキストの一部または全てを検索対象として指定して検索し、その検索の結果を表示することにしたが、次のような検索対象の指定および検索結果の表示を行うこともできる。すなわち、
ａ キーキャプション３０２を検索対象として検索し、検索結果を表示し、
ｂ キーキャプションおよびキーセンテンスを検索対象として検索し、それぞれの検索結果のＯＲ（論理和）を検索結果として表示し、
ｃ キーキャプション、キーセンテンスおよびキーパラグラフを検索対象として検索し、それぞれの検索結果のＯＲを検索結果として表示し、
ｄ キーキャプション、キーセンテンス、キーパラグラフおよびキーページを検索対象として検索し、それぞれの検索結果のＯＲを検索結果として表示する、というように、検索対象に包含関係を作り、４つの検索結果のリストを表示するというものである。
【００６４】
このようにすることにより、ユーザの検索要求に応じた検索結果であって、かつ、ユーザが画像を選択しやすい検索結果を得ることができる。すなわち、ａの場合は、画像を極めて端的に説明した文字列であるキーキャプション３０２が検索対象となっているため、検索語に最も関連のある画像を得ることができる。一方、ｂ〜ｄ、特にｄの場合は、ａの場合で得た画像に関連する画像も同時に得ることができる。なお、ａ〜ｄに示す全ての方法で同時に検索・結果表示を行わなければならないのではなく、いずれか一つまたは複数を選択することができるようにしても良い。
【００６５】
さらに、次のような検索対象の指定および検索結果の表示を行うこともできる。すなわち、
ａ 最初にキーキャプションを検索対象として検索し、検索結果を一覧表示し、
ｂ 次にキーセンテンスを検索対象として検索し、既に一覧表示された結果を除いた検索結果を一覧表示し、
ｃ 次にキーパラグラフを検索対象として検索し、既に一覧表示された結果を除いた検索結果を一覧表示し、さらに、
ｄ 最後にキーページを検索対象として検索し、既に一覧表示された結果を除いた検索結果を一覧表示する、
というものである。
【００６６】
このような検索および表示を行うことにより、検索語に関連のある順序で検索結果が一覧表示されるため、ユーザは上から順にキーテキストを参照することで容易に所望の画像を得ることができる。すなわち、ａの場合の検索結果から、検索語に最も関連のある画像を得ることができ、また、ｂ〜ｄの検索結果に向かうに従って、関連の深い画像から浅い画像へと段階的な検索結果を得ることができる。
【００６７】
なお、図１においては、サーバやクライアントにそれぞれの検索や登録という役割を持たせ、ネットワーク１０８を介して画像検索システムを構成した例を示したが、１つのコンピュータに全ての機能を持たせ、スタンドアローンという形態で本実施の形態の画像検索装置を構成することもできる。また、図１においては、画像ＤＢ１０２およびテキストＤＢ１０３がそれぞれ独立して存在するように示したが、これらを検索サーバ１０４の管理下に置くように構成することもできる。
【００６８】
このように、実施の形態１の画像検索装置によれば、文字列および図、表、写真等の画像が混在した文書から抽出した画像を検索対象とする場合に、検索対象の画像について記述した文書中の文字列を画像検索用のキーテキストとして用いることにしたため、文書中に記述された画像の説明を用いて所望の画像を検索することができ、画像検索処理の利便性の向上を図ることができる。
【００６９】
また、キーテキストとして、画像に直接関連のあるキャプションを構成する文字列、キャプションに基づいて抽出したセンテンス、パラグラフおよびページを構成する文字列を用いることにしたため、画像検索用のキーテキストとして、適切な文字列を抽出することができる。すなわち、上述した画像番号語を含むキーキャプション３０２、キーセンテンス３０３、キーパラグラフ３０４およびキーセンテンス３０５は、画像番号語によって特定される画像について記述していると考えられるため、画像番号語によって特定される画像を検索するためのキーテキストとして適切なものとなる。
【００７０】
さらに、キーテキストとして、画像に直接関連のあるキャプションを構成する文字列、キャプションに基づいて抽出したセンテンス、パラグラフおよびページを構成する文字列を用いることにしたため、キーテキストを使い分けることにより、ノイズの少ない検索や漏れのない検索等、ユーザの要求に応じた検索を容易に行うことができる。したがって、検索に関する知識が少ないユーザであっても、いかなる検索語を入力するかを悩むことなく、所望の方法で検索を行うことができる。
【００７１】
〔実施の形態２〕
次に、本発明の画像検索装置の実施の形態２について説明する。上述した実施の形態１においては、キーキャプション３０２を抽出すると共に、キーキャプション３０２中の画像番号語を用いて、キーセンテンス３０３、キーパラグラフ３０４およびキーセンテンス３０５を抽出し、これらをキーテキストとするという方法について説明したが、実施の形態２の画像検索装置では、本文領域５０３から画像３０１の方向または位置を指し示す語（以下、「画像指示語」と記述する）を抽出し、抽出した画像指示語に基づいて、キーテキストを抽出するというものである。
【００７２】
なお、実施の形態２の画像検索装置の構成については、実施の形態１で説明したものと同様であるため、ここでは詳細な説明を省略する。また、キーテキスト・画像登録処理および画像検索処理において、キーテキストの抽出処理以外については実施の形態１で説明した通りであるため、これらについても説明を省略する。
【００７３】
図１０はキーテキスト抽出処理を示すフローチャートであり、図１１はキーテキスト抽出処理によって抽出されるキーテキストを説明するための説明図である。キーテキスト抽出部２０５には、予め、上（の）図、下（の）図、右（の）図、左（の）図、前（の）ページの図、次（の）ページの図、上（の）表、下（の）表、右（の）表、左（の）表、前（の）ページの表、次（の）ページの表、上（の）写真、下（の）写真、右（の）写真、左（の）写真、前（の）ページの写真、次（の）ページの写真等の画像指示語が登録されている。これらの画像指示語は、上の図や下の図等の画像３０１が存在する方向を指し示す語と、前のページや次のページ等の画像３０１が存在する位置を指し示す語とがある。キーテキスト抽出部２０５は、登録された画像指示語と本文領域５０３の文字列との照合を行うことによって、本文領域５０３に存在する画像指示語を検索する（Ｓ１００１）。
【００７４】
図１１において、画像領域５０１に対し、本文領域５０３から画像指示語、例えば「左の図」を見つけ出したとする。キーテキスト抽出部２０５は、画像指示語「左の図」を含む文字列をセンテンス単位で抽出してキーセンテンス３０３を取得する（Ｓ１００２）。換言すれば、本文領域５０３の文字列から画像３０１が存在する方向または位置を指し示す画像指示語を検索し、該当する指示語を含むセンテンス単位の文字列を、画像指示語で示された方向または位置に存在し、画像指示語を含む本文領域５０３と最も近い画像領域５０１の画像３０１に関連づけするキーセンテンス３０３として抽出することになる。
【００７５】
続いて、ステップＳ１００２で抽出したキーセンテンス３０３を含む文字列をパラグラフ単位で抽出し、キーパラグラフ３０４を取得する（Ｓ１００３）。
【００７６】
さらに、ステップＳ１００３で抽出したキーパラグラフ３０４（キーセンテンス３０３）を含む文字列をページ単位で抽出し、キーページ３０５を取得する（Ｓ１００４）。
【００７７】
その後、キーテキスト登録部２０６は、キーテキスト抽出部２０５で抽出したキーセンテンス３０３、キーパラグラフ３０４およびキーページ３０５からなるキーテキストを入力すると共に、画像ＤＢ登録部２０３から該当する画像に付与した画像ＩＤを入力し、入力したキーテキストを画像ＩＤと共にテキストＤＢ１０３に登録する（図４のＳ４０７参照）。キーテキストを画像ＩＤと共にテキストＤＢ１０３に登録することにより、キーテキストと画像３０１との関連づけを行うことができる。
【００７８】
なお、上述したキーテキスト抽出処理は、文書３００中に存在する各画像毎にそれぞれ行われ、抽出されたキーテキストは、実施の形態１で説明したように、画像を検索するための検索対象とされる。
【００７９】
このように、実施の形態２の画像検索装置によれば、画像検索用のキーテキストとして、画像が存在する方向または位置を特定する画像指示語を含むセンテンス、パラグラフおよびページを構成する文字列を用いることにしたため、画像検索用のキーテキストとして、適切な文字列を抽出することができる。すなわち、画像指示語を含むセンテンス等は、画像指示語によって指し示された画像について記述していると考えられるため、画像指示語によって指し示された画像の検索のためのキーテキストとして適切なものとなる。
【００８０】
〔実施の形態３〕
続いて、本発明の画像検索装置の実施の形態３について説明する。実施の形態３の画像検索装置は、実施の形態１で説明した画像番号語や実施の形態２で説明した画像指示語を用いることなしに、キーテキストを抽出することができるようにするものである。すなわち、実施の形態３の画像検索装置は、文書３００中の画像領域５０１に対して最も近傍に位置する本文領域５０３からキーテキストを抽出するものである。
【００８１】
なお、実施の形態３の画像検索装置の構成については、実施の形態１で説明したものと同様であるため、ここでは詳細な説明を省略する。また、キーテキスト・画像登録処理および画像検索処理において、キーテキストの抽出処理以外については実施の形態１で説明した通りであるため、これらについても説明を省略する。
【００８２】
図１２はキーテキスト抽出処理を示すフローチャートであり、図１３はキーテキスト抽出処理によって抽出されるキーテキストを説明するための説明図である。キーテキスト抽出部２０５は、ＯＣＲ部２０４から文字認識処理の結果および本文領域の位置情報を入力すると共に、領域識別・分割処理部２０２から画像領域の位置情報を入力する。そして、キーテキスト抽出部２０５は、画像領域５０１と隣接する本文領域５０３との間の距離を演算して求める（Ｓ１２０１）。図１３においては、画像領域５０１および本文領域５０３ａの間の距離ａと、画像領域５０１および本文領域５０３ｂの間の距離ｂを求めることになる。
【００８３】
ここで、画像領域５０１と本文領域５０３ａのように、画像領域５０１に対して本文領域５０３が左右いずれかに存在するような場合は、両方の領域の垂直の辺同士の距離（距離ａ）を画素単位で演算する。一方、画像領域５０１と本文領域５０３ｂのように、画像領域５０１に対して本文領域５０３が上下いずれかに存在するような場合は、両方の領域の水平の辺同士の距離（距離ｂ）を画素単位で演算する。なお、文書が２段組等で構成されているような場合であって、段と段との間にセパレータが設けられているような場合には、その間の距離を論理的に遠くなるような演算を行うことができる。
【００８４】
その後、キーテキスト抽出部２０５は、ステップＳ１２０１における演算結果に基づいて、画像領域５０１に対して最も近傍に位置する本文領域５０３中の文字列をパラグラフ単位で抽出し、抽出した文字列をキーパラグラフ３０４とする（Ｓ１２０２）。図１３においては、距離ｂが距離ａに比べて短いため、本文領域５０３ｂが画像領域５０１に対して最も近傍に位置していることになる。そこで、本文領域５０３ｂにおいて、画像領域５０１に最も近い文字列をパラグラフ単位で抽出して、キーパラグラフ３０４とする。
【００８５】
そして、キーテキスト抽出部２０５は、キーパラグラフ３０４を含む文字列をページ単位で抽出し、キーページ３０５を取得する（Ｓ１２０３）。
【００８６】
その後、キーテキスト登録部２０６は、キーテキスト抽出部２０５で抽出したキーパラグラフ３０４およびキーページ３０５からなるキーテキストを入力すると共に、画像ＤＢ登録部２０３から該当する画像に付与した画像ＩＤを入力し、入力したキーテキストを画像ＩＤと共にテキストＤＢ１０３に登録する（図４のＳ４０７参照）。キーテキストを画像ＩＤと共にテキストＤＢ１０３に登録することにより、キーテキストと画像３０１との関連づけを行うことができる。
【００８７】
上述したキーテキスト抽出処理は、文書３００中に存在する各画像毎にそれぞれ行われ、抽出されたキーテキストは、実施の形態１で説明したように、画像を検索するための検索対象とされる。
【００８８】
なお、図１４に示すように、画像領域５０１を挟んで本文領域５０３ａ、５０３ｂが上下に存在する場合には、画像領域５０１と本文領域５０３ａおよび本文領域５０３ｂとにおける水平の辺同士の距離を演算し、最も近傍に位置する本文領域を選択する。画像領域５０１に対して上に位置する本文領域５０３ａが本文領域５０３ｂより画像領域５０１に近接している場合には、画像領域５０３ａ内の最も下（画像領域５０１に最も近い）のパラグラフをキーパラグラフ３０４として抽出する。一方、画像領域５０１に対して下に位置する本文領域５０３ｂが本文領域５０３ａより画像領域５０１に近接している場合には、画像領域５０３ｂ内の最も上（画像領域５０１に最も近い）のパラグラフをキーパラグラフ３０４として抽出する。もし、画像領域５０１と本文領域５０３ａおよび本文領域５０３ｂとの間の距離がそれぞれ等しい場合には、両方からキーパラグラフ３０４を抽出することにしても良い。
【００８９】
また、図１５に示すように、画像領域５０１を挟んで本文領域５０３ａ、５０３ｂが左右に存在する場合には、画像領域５０１と本文領域５０３ａおよび本文領域５０３ｂとにおける垂直の辺同士の距離を演算し、最も近傍に位置する本文領域を選択する。画像領域５０１を挟んで本文領域５０３ａ、５０３ｂが左右に存在する場合は、図１４に示す上下の場合と異なり、画像領域５０１に最も近接する本文領域の全ての文字列をキーパラグラフとして抽出する。もし、画像領域５０１と本文領域５０３ａおよび本文領域５０３ｂとの間の距離がそれぞれ等しい場合には、本文領域５０３ａ、５０３ｂの全ての文字列をキーパラグラフ３０４として抽出することにしても良い。
【００９０】
このように、実施の形態３の画像検索装置によれば、画像検索用のキーテキストとして、画像領域５０１に対して最も近傍に位置する本文領域５０３中の文字列およびその文字列を含むページ単位の文字列を用いることにしたため、画像検索用のキーテキストとして、適切な文字列を抽出することができる。すなわち、画像の最も近傍に位置する本文領域の文字列は、該当する画像について記述したものあると考えられるため、画像検索用のキーテキストとして適切なものとなる。
【００９１】
〔実施の形態４〕
さらに、本発明の画像検索装置の実施の形態４について説明する。実施の形態４の画像検索装置は、実施の形態１〜３で説明したキーテキスト抽出処理を組み合わせて、あらゆる種類の文書からキーテキストを抽出することができるようにしたものである。
【００９２】
なお、実施の形態４の画像検索装置の構成については、実施の形態１で説明したものと同様であるため、ここでは詳細な説明を省略する。また、キーテキスト・画像登録処理および画像検索処理において、キーテキストの抽出処理以外については実施の形態１で説明した通りであるため、これらについても説明を省略する。
【００９３】
図１６はキーテキスト抽出処理を示すフローチャートである。キーテキスト抽出部２０５は、ＯＣＲ部２０４から文字認識処理の結果および本文領域の位置情報を入力すると共に、領域識別・分割処理部２０２から画像領域の位置情報を入力する。そして、キーテキスト抽出部２０５は、実施の形態１で説明したキーキャプション３０２を抽出する処理を行う（Ｓ１６０１）。
【００９４】
ステップＳ１６０１において、キーキャプション３０２を抽出することができた場合には、キーキャプションから画像番号語を抽出する処理を行う（Ｓ１６０２）。
【００９５】
そして、ステップＳ１６０２において、キーキャプションから画像番号語を抽出することができた場合には、実施の形態１で説明したように、画像番号語に基づいて、キーセンテンス３０３、キーキャプション３０４およびキーページ３０５を抽出する（Ｓ１６０３）。
【００９６】
一方、ステップＳ１６０１においてキャプションがない場合や、ステップＳ１６０２において画像番号語を抽出することができなかった場合には、ステップＳ１６０４に進み、実施の形態２で説明したように、本文領域５０３に存在する画像指示語を検索する（Ｓ１６０４）。
【００９７】
ステップＳ１６０４において、本文領域５０３から画像指示語を見つけ出すことができた場合には、実施の形態２で説明したように、画像指示語に基づいて、キーセンテンス３０３、キーパラグラフ３０４およびキーページ３０５を抽出する（Ｓ１６０５）。
【００９８】
また、ステップ１６０４において、本文領域５０３から画像指示語を見つけ出すことができなかった場合には、実施の形態３で説明したように、画像領域５０１と画像領域５０１に隣接する本文領域５０３との間の距離を演算する（Ｓ１６０６）。
【００９９】
続いて、ステップＳ１６０６における演算結果に基づいて、画像領域５０１に対して最も近傍に位置する本文領域５０３を特定し、特定した本文領域５０３に基づいて、キーパラグラフ３０４およびキーページ３０５を抽出する。
【０１００】
その後、キーテキスト登録部２０６は、キーテキスト抽出部２０５で抽出したキーテキストを入力すると共に、画像ＤＢ登録部２０３から該当する画像に付与した画像ＩＤを入力し、入力したキーテキストを画像ＩＤと共にテキストＤＢ１０３に登録する（図４のＳ４０７参照）。キーテキストを画像ＩＤと共にテキストＤＢ１０３に登録することにより、キーテキストと画像３０１との関連づけを行うことができる。
【０１０１】
上述したキーテキスト抽出処理は、文書３００中に存在する各画像毎にそれぞれ行われ、抽出されたキーテキストは、実施の形態１で説明したように、画像を検索するための検索対象とされる。
【０１０２】
このように、実施の形態４の画像検索装置によれば、実施の形態１〜３で説明した画像検索用キーテキストの生成方法を組み合わせることにより、あらゆる種類の文書から検索対象となる画像について記述した文字列をキーテキストとして抽出することができる。
【０１０３】
なお、上述した実施の形態１〜４の画像検索装置においては、キーテキストとしてキーキャプション３０２、キーセンテンス３０３、キーパラグラフ３０４およびキーページ３０５を用いることにしたが、これらに加えて、画像の種類（ブロック図、フローチャート、棒グラフ、折れ線グラフ等）、画像のサイズ、画像の色等の画像の属性情報や、画像中の文字列等をキーテキストとして用いることにしても良い。
【０１０４】
また、文書において、画像に関連のある章、節等のタイトルや、章、節を構成する文字列、ヘッダ、フッダ等をキーテキストとして用いることにしても良い。この場合は、キーテキストを抽出する際に、文書のレイアウトを詳細に解析する必要がある。
【０１０５】
また、実施の形態１〜４においては、キーテキストを用いて画像を検索することについて説明したが、最初に画像を表示してブラウジングすることができるようにし、画像から関連のあるキーテキストを表示することができるようにしても良い。
【０１０６】
また、画像を画像ＤＢ１０２に登録する際に、特定の種類のグループにグルーピングしておき、画像から画像を検索することができるようにすることもできる。グルーピングは、画像の種類や、文書の種類等、任意の条件に基づいて行うことができる。
【０１０７】
また、文書の種類に応じたキーテキスト抽出ルールを予め作成しておき、キーテキストを抽出する際に、文書の種類を自動的に認識しまたはユーザが指定することにより、作成したルールに従って、キーテキストを抽出することができるようにしても良い。
【０１０８】
また、キーセンテンス３０３等は、同一の画像に対して複数得られることがあるため、複数得られた場合は、画像との距離に基づいて重み付けを行い、同一画像に対する複数のキーセンテンス３０３等を表示する際の順位付けを行うこともできる。
【０１０９】
また、ＯＣＲによる文字認識処理においては、「写真」を「写具」と認識してしまうような誤認識が起こることがある。このような誤認識が画像番号語や画像指示語に発生したような場合には、キーテキストを正確に抽出することが困難となってしまう。そこで、予め誤認識の起こりやすい語、例えば上記「写真」等においては、誤認識した結果である「写具」についても正しい「写真」と同様に扱うことができるようにすることができる。なお、誤認識した語を検出した場合については、正しい語に変換する処理を行うことにしても良い。
【０１１０】
また、図３等に示した文書ではなく、本文と画像とが別々のページに配置されているような文書（例えば特許明細書）であっても、画像番号語等を抽出することにより、容易にキーテキストを抽出することができる。
【０１１１】
さらに、上述した画像検索装置としてコンピュータを機能させるプログラムや、画像検索用キーテキストの生成方法をコンピュータに実行させるためのプログラムを作成し、これらをハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータ読み取り可能な記録媒体に記録して、記録媒体を介してプログラムを配布することができる。そして、記録媒体に記録されたプログラムをコンピュータで読み出して実行することにより、上述した画像検索装置や画像検索用キーテキストの生成方法を実現することできる。
【０１１２】
【発明の効果】
以上説明したように、請求項１の画像検索装置によれば、文書入力手段が、図、表、写真等の画像および文字列が混在した文書を入力し、領域抽出手段が、文書入力手段を介して入力した文書から画像を含む画像領域および文字列を含む文字領域を認識して抽出し、キーテキスト抽出手段が、領域抽出手段で抽出した文字領域の文字列から、画像領域の画像に関連づけするキーテキストを抽出するに際して、画像に関連づけするキーテキストとして、画像のキャプションを構成する文字列であるキーキャプション、画像について記述したセンテンスを構成する文字列であるキーセンテンス、画像について記述したパラグラフを構成する文字列であるキーパラグラフ、および、画像について記述したページを構成する文字列であるキーページのうちの少なくともいずれかを抽出し、格納手段が、領域抽 出手段で抽出した画像領域の画像およびキーテキスト抽出手段で抽出したキーテキストを関連づけて格納し、入力手段が、検索語の入力を受け付け、検索手段が入力手段を介して入力された検索語に基づいて、該当するキーテキストおよび画像を検索し、表示手段が検索手段から検索結果を入力し、入力した検索結果を画面表示する画像検索装置であって、キーテキスト抽出手段は、キーキャプションを構成する文字列から画像に付与された番号を特定する画像番号語をキーテキストとして抽出し、格納手段は、キーテキスト抽出手段によって抽出された画像番号語と領域抽出手段によって抽出された画像領域とを関連づけて格納するものであり、また、キーテキスト抽出手段は、文字領域の文字列から画像が存在する方向または位置を指し示す画像指示語を検索して画像指示語を含む文字列をキーテキストとして抽出し、格納手段は、キーテキスト抽出手段によって抽出された画像指示語を含む文字列と、画像指示語を含む文字列中に画像指示語で示された方向または位置にあって画像指示語を含む文字列に最も近い画像領域の画像とを、関連づけて格納するものであり、また、キーテキスト抽出手段は、領域抽出手段が抽出した画像領域と文字領域との距離を算出して最も距離が小なる文字領域をキーテキストとして抽出し、格納手段は、キーテキスト抽出手段によって抽出された最も拒理が小なる文字領域と、画像領域の画像とを関連づけて格納するものである。ここで、キーテキスト抽出手段は、キーキャプションを抽出できなかった場合、およびキーキャプションを構成する文字列から画像に付与された番号を特定する画像番号語を抽出できなかった場合の少なくともいずれかの場合は、画像指示語を検索するものであり、また、キーテキスト抽出手段は、さらに画像指示語を検索できなかった場合は、最も距離が小なる文字領域から文字領域をキーテキストとして抽出する。この構成によって、画像に関連づけたキーテキストを抽出して格納する際に、キーテキストとして最も画像との関連性が高く文章量が短く検索上のノイズが少ないキーキャプションに始まって、キーセンテンス、キーパラグラフ、およびキーページというように文章量と比較して画像との関連性は低く検索上のノイズが多いのであるが文章量が多いことにより検索時の検索漏れが少ないキーページに至るまでの検索特性の異なる複数種類のキーテキストを抽出して格納することによって、画像検索がなされた場合には検索語とキーテキストとが対応付けられて、ノイズが少なく関連度の高いキーテキストによる画像検索から、ノイズが高くても検索語のヒット率が高いキーテキストを介した検索漏れの少ない画像検索ができるので、ノイズが少なく、かつ漏れが少ない検索という相反的なニーズを満たす画像検索が可能になるという効果を奏する。
【０１１３】
また、画像との関連性が高いキーキャプションまたは画像番号語を抽出できなかった場合は、画像指示語を検索してキーテキストを抽出し、さらに画像指示語を検索できなかった場合は、画像領域と文字領域との距離を算出してキーテキストを抽出し、抽出されたキーテキストを画像と関連付けて格納しておくことによって、画像検索を行う場合には、画像との関連性が高くノイズの少ない検索が優先的になされて、それができない場合に関連性が低くノイズが高かったとしてもヒット率の高い検索がなされるので、ノイズが少なく、かつ漏れが少ない検索という相反的なニーズを満たす画像検索が可能になるという効果を奏する。
【０１１４】
また、請求項２の画像検索用キーテキストの生成方法によれば、図、表、写真等の画像および文字列が混在した文書情報中の画像に関連付けられる画像の検索に用いる文字列をキーテキスト抽出手段によりキーテキストとして選択し、選択されたキーテキストおよび検索対象となる画像を登録手段によってそれぞれ関連づけてメモリに格納しておき、入力手段から任意の検索語の入力を受け付けた場合、受け付けられた検索語とメモリに格納されたキーテキストとを検索実行手段によって比較し、比較により照合したキーテキストに、登録手段により関連づけられた画像を検索し、検索実行手段により照合されたキーテキストおよび検索された画像を出力手段により表示手段に出力する画像検索装置における画像検索用キーテキストの生成方法であって、文書入力工程は、文書入力手段によって文書情報の入力を受け付け、領域抽出工程は、画像情報および文字列情報の特徴に基づいて画像を含む画像領域および文字列を含む文字領域を抽出する領域抽出手段によって、文書入力工程で入力された文書情報から、画像領域および文字領域を抽出し、キーテキスト抽出工程は、（１）領域抽出工程で抽出した文字領域の文字列から、画像領域の画像に関連づけられるキーテキストを、キーテキスト抽出手段によって抽出するに際して、キーテキスト抽出手段によって画像のキャプションを構成する文字列であるキーキャプションが抽出でき且つキーキャプション中に含まれる画像の番号を表す画像番号語が抽出できた場合は、画像番号語を含むセンテンス単位の文字列であるキーセンテンス、キーセンテンスを含みパラグラフ単位の文字列であるキーパラグラフ、および、キーパラグラフを含むページ単位の文字列であるキーページのうち少なくともいずれかを、キーテキスト抽出手段によってキーテキストとして抽出し、（２）領域抽出工程で抽出した文字領域の文字列から、キーテキストをキーテキスト抽出手段によって抽出するに際して、キーキャプションおよびキーキャプション中に含まれる画像番号語のいずれをもキーテキスト抽出手段によって抽出できない場合、文字領域の文字列から画像が存在する方向または位置を指し示す画像指示語を抽出して画像指示語が抽出できた場合は、画像指示語に基づいて指定されるセンテンス単位の文字列であるキーセンテンス、画像指示語により指定されたキーセンテンスを含むパラグラフ単位の文字列であるキーパラグラフ、およびキーパラグラフを含むページ単位の文字列であるキーページのうちの少なくともいずれかを、キーテキスト抽出手段によってキーテキストとして抽出し、（３）領域抽出工程で抽出した文字領域の文字列から、キーテキストをキーテキスト抽出手段によって抽出するに際して、画像指示語がキーテキスト抽出手段によって抽出できなかった場合は、画像領域と文字領域との距離を算出し、最も距離が小なるパラグラフ単位のキーパラグラフ、および最も距離が小なるキーパラグラフを含むページ単位のキーページのうち少なくともいずれかを、キーテキスト抽出手段によってキーテキストとして抽出する。この構成によって、画像に関連づけたキーテキストを抽出して格納する際に、キーテキストとして最も画像との関連性が高く文章量が短く検索上のノイズが少ないキーキャプションに始まって、キーセンテンス、キーパラグラフ、およびキーページというように文章量と比較して画像との関連性は低く検索上のノイズが多いのであるが文章量が多いことにより検索時の検索漏れが少ないキーページに至るまでの検索特性の異なる複数種類のキーテキストを抽出して格納することによって、画像検索がなされた場合には検索語とキーテキストとが対応付けられて、ノイズが少なく関連度の高いキーテキストによる画像検索から、ノイズが高くても検索語のヒット率が高いキーテキストを介した検索漏れの少ない画像検索ができるので、ノイズが少なく、かつ漏れが少ない検索という相反的なニーズを満たす画像検索が可能になるという効果を奏する。
【０１１５】
また、画像との関連性が高いキーキャプションまたは画像番号語を抽出できなかった場合は、画像指示語を検索してキーテキストを抽出し、さらに画像指示語を検索できなかった場合は、画像領域と文字領域との距離を算出してキーテキストを抽出し、抽出されたキーテキストを画像と関連付けて格納しておくことによって、画像検索を行う場合には、画像との関連性が高くノイズの少ない検索が優先的になされて、それができない場合に関連性が低くノイズが高かったとしてもヒット率の高い検索がなされるので、ノイズが少なく、かつ漏れが少ない検索という相反的なニーズを満たす画像検索が可能になるという効果を奏する。
【０１１６】
また、請求項３のコンピュータ読み取り可能な記録媒体によれば、請求項１に記載の画像検索装置の各手段としてコンピュータを機能させるためのプログラムを提供できるという効果を奏する。
【０１１７】
また、請求項４のコンピュータ読み取り可能な記録媒体によれば、図、表、写真等の画像および文字列が混在した文書情報中の画像に関連付けられる画像の検索に用いる文字列をキーテキスト抽出手段によりキーテキストとして選択し、選択されたキーテキストおよび検索対象となる画像を登録手段によってそれぞれ関連づけてメモリに格納しておき、入力手段から任意の検索語の入力を受け付けた場合、受け付けられた検索語とメモリに格納されたキーテキストとを検索実行手段によって比較し、比較により照合したキーテキストに、登録手段により関連づけられた画像を検索し、検索実行手段により照合されたキーテキストおよび検索された画像を出力手段により表示手段に出力する画像検索装置における画像検索用キーテキストの生成方法の各工程を、コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、文書入力工程は、文書入力手段によって文書情報の入力を受け付け、領域抽出工程は画像情報および文字列情報の特徴に基づいて画像を含む画像領域および文字列を含む文字領域を抽出し、領域抽出手段によって、文書入力工程で入力された文書情報から、画像領域および文字領域を抽出し、（１）領域抽出工程で抽出した文字領域の文字列から、画像領域の画像に関連づけられるキーテキストを、キーテキスト抽出手段によって抽出するに際して、キーテキスト抽出手段によって画像のキャプションを構成する文字列であるキーキャプションが抽出でき且つキーキャプション中に含まれる画像の番号を表す画像番号語が抽出できた場合は、画像番号語を含むセンテンス単位の文字列であるキーセンテンス、キーセンテンスを含みパラグラフ単位の文字列であるキーパラグラフ、および、キーパラグラフを含むページ単位の文字列であるキーページのうち少なくともいずれかを、キーテキスト抽出手段によってキーテキストとして抽出し、（２）領域抽出工程で抽出した文字領域の文字列から、キーテキストをキーテキスト抽出手段によって抽出するに際して、キーキャプションおよびキーキャプション中に含まれる画像番号語のいずれをもキーテキスト抽出手段によって抽出できない場合、文字領域の文字列から画像が存在する方向または位置を指し示す画像指示語を抽出して画像指示語が抽出できた場合は、画像指示語に基づいて指定されるセンテンス単位の文字列であるキーセンテンス、画像指示語により指定されたキーセンテンスを含むパラグラフ単位の文字列であるキーパラグラフ、およびキーパラグラフを含むページ単位の文字列であるキーページのうちの少なくともいずれかを、キーテキスト抽出手段によってキーテキストとして抽出し、（３）領域抽出工程で抽出した文字領域の文字列から、キーテキストをキーテキスト抽出手段によって抽出するに際して、画像指示語がキーテキスト抽出手段によって抽出できなかった場合は、画像領域と文字領域との距離を算出し、最も距離が小なるパラグラフ単位のキーパラグラフ、および最も距離が小なるキーパラグラフを含むページ単位のキーページのうち少なくともいずれかを、キーテキスト抽出手段によってキーテキストとして抽出する各工程をコンピュータに実行させるためのプログラムをコンピュータに読み取らせることができるという効果を奏する。
【図面の簡単な説明】
【図１】 実施の形態１の画像検索装置のブロック構成図である。
【図２】 図１に示す画像検索装置の概念構成図である。
【図３】 実施の形態１の画像検索装置において、キーテキストを説明するための説明図である。
【図４】 実施の形態１の画像検索装置において、キーテキスト・画像登録処理を示すフローチャートである。
【図５】 実施の形態１の画像検索装置において、領域識別・分割処理を行った結果を示す説明図である。
【図６】 実施の形態１の画像検索装置において、キーテキスト抽出処理を示すフローチャートである。
【図７】 実施の形態１の画像検索装置において、画像検索処理の概略を示すフローチャートである。
【図８】 実施の形態１の画像検索装置において、画像検索結果の表示例を示す説明図である。
【図９】 実施の形態１の画像検索装置において、画像検索結果の表示例を示す説明図である。
【図１０】 実施の形態２の画像検索装置におけるキーテキスト抽出処理を示すフローチャートである。
【図１１】 実施の形態２の画像検索装置において、キーテキスト抽出処理によって抽出されるキーテキストを説明するための説明図である。
【図１２】 実施の形態３の画像検索装置におけるキーテキスト抽出処理を示すフローチャートである。
【図１３】 実施の形態３の画像検索装置において、キーテキスト抽出処理によって抽出されるキーテキストを説明するための説明図である。
【図１４】 実施の形態３の画像検索装置において、画像領域を挟んで本文領域が上下に存在する場合の抽出処理を説明する説明図である。
【図１５】 実施の形態３の画像検索装置において、画像領域を挟んで本文領域が左右に存在する場合のキーテキスト抽出処理を説明する説明図である。
【図１６】 実施の形態４の画像検索装置におけるキーテキスト抽出処理を示すフローチャートである。
【符号の説明】
１００ 登録サーバ
１０１ スキャナ
１０２ 画像ＤＢ
１０３ テキストＤＢ
１０４ 検索サーバ
１０５、１０６、１０７ 検索クライアント
１０８ ネットワーク
２００ 登録処理部
２０１ ２値化処理部
２０２ 領域識別・分割処理部
２０３ 画像ＤＢ登録部
２０４ ＯＣＲ部
２０５ キーテキスト抽出部
２０６ テキストＤＢ登録部
２１０ 検索処理部
２１１ 入力装置
２１２ 出力装置
２１３ 検索要求・結果出力部
２１４ 検索実行部
３００ 文書（１ページ分）
３０１ 画像
３０２ キーキャプション
３０３ キーテキスト
３０４ キーパラグラフ
３０５ キーページ
５０１ 画像領域
５０２ キャプション領域
５０３、５０３ａ、５０３ｂ 本文領域
８００ 画像表示ボタン
【発明の属する技術分野】
本発明は、図、表、写真等の画像および文字列が混在した文書中の画像を検索するものであって、文書中の画像およびその画像について記述した文字列を抽出し、かつ、それらを関連づけして格納し、任意の検索語に基づいて、格納した文字列を検索して、該当する文字列に関連づけられた画像を出力する画像検索装置、画像検索用キーテキストの生成方法、並びにその装置としてコンピュータを機能させるためのプログラムおよびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
コンピュータの急速な普及に伴って、従来は紙をファイリングすることによって保存していた文書を、電子化された情報として保存することが一般的となってきている。その結果、電子化された情報として保存した文書を有効に活用するために、保存した大量の情報の中から必要な情報を検索する技術が重要となってきている。
【０００３】
ところで、電子化された情報の中には、文字情報だけではなく、図、表、写真等の画像情報も含まれる。文字情報を検索する際には、検索語を入力し、入力した検索語と文字情報とのマッチング処理等を行うことにより、検索語に該当する文字情報を見つけ出すことができる。ところが、画像情報自身は、検索語とマッチング処理するための情報を有していないため、以下の第１から第３の例として説明するような方法で検索対象となる情報を生成して各画像に付与し、付与した情報を用いて、所望の画像を検索できるようにしている。
【０００４】
第１の例は、図、表、写真等の画像および文字列が混在した文書中の画像を検索する方法に関するものであって、文書から抽出した画像中に存在する文字列をさらに抽出し、抽出した文字列を文字認識して画像検索用のキーワードとしたものである（特開平３−６２１６９号公報『文書検索方法及び文書検索装置』）。すなわち、この方法は、画像自身に含まれた文字列を抽出してその画像のキーワードとし、このキーワードを検索することにより、該当する画像を出力することができるようにしたものである。
【０００５】
また、第２の例は、画像を保存する際に、人手により各画像にキーワードを付与し、付与したキーワードを検索することにより、該当する画像を出力することができるようにしたものである（電子情報通信学会論文誌、Ｄ−ＩＩ、Ｖｏｌ．Ｊ７３−Ｄ−ＩＩ、Ｎｏ．４、ｐｐ．５２６−５３４、１９９０年４月）。
【０００６】
さらに、第３の例は、画像そのものを解析し、画像の色や構造等の特徴を抽出してデータベース化し、画像を検索する際に、データベース化した画像の特徴を指定することにより、該当する画像を出力することができるようにしたものである（Ｑｕｅｒｙ ｂｙ Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｃｏｎｔｅｎｔ：Ｔｈｅ ＱＢＩＣ Ｓｙｓｔｅｍ、Ｃｏｍｐｕｔｅｒ、Ｓｅｐｔｅｍｂｅｒ １９９５）。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記第１の例によれば、画像中の文字列をキーワードとして用いるため、文字列を含まない画像からはキーワードを得ることができないという問題点があった。加えて、キーワードを得ることができたとしても、得たキーワードは画像中の文字列であるため、画像検索の対象として十分な情報ではない場合があるという問題点があった。
【０００８】
また、上記第２の例によれば、人手により画像にキーワードを付与する処理が必要となるため、大量の画像を検索することができるようにするためには莫大な労力が必要であるという問題点があった。
【０００９】
また、上記第３の例によれば、保存する画像の色や構造等の特徴を抽出し、抽出した画像の特徴を画像検索用の情報とするため、色等を指定した極めて低い次元の検索しか行うことができず、「画像検索の構成を示した図」等の検索語を用いた高次元の検索を行うことができないという問題点があった。
【００１０】
また、上記第１〜第３の例によれば、画像中の文字列を用いたキーワード、人手により付与したキーワードおよび画像の特徴のみを用いて単に画像を検索するものであるため、検索に関する知識の少ないユーザが、ノイズのない検索処理や、漏れのない検索処理を選択的に行うことは非常に困難であるという問題点があった。
【００１１】
さらに、上記第１〜第３の例によれば、画像中の文字列を用いたキーワード、人手により付与したキーワードおよび画像の特徴のみを用いて画像を検索し、検索結果を表示するのみであるため、大量の画像が検索結果としてヒットした場合等においては、ユーザが所望の画像を容易に選択することが困難であるという問題点があった。
【００１２】
本発明は上記に鑑みてなされたものであって、図、表、写真等の画像および文字列が混在した文書中の画像を検索対象として格納し、文書中の文字列を検索用のテキストとして用いて、格納した画像を容易に検索できるようにすることを目的とする。
【００１３】
また、本発明は上記に鑑みてなされたものであって、図、表、写真等の画像および文字列が混在した文書中の画像を検索するための画像検索用のテキストとして、文書中から画像について記述した文字列を自動的に抽出することができるようにすることを目的とする。
【００１４】
また、本発明は上記に鑑みてなされたものであって、入力した検索語に対する漏れのない検索や、ノイズの少ない検索をユーザの要求に応じて容易に行うことができるようにすることを目的とする。
【００１５】
さらに、本発明は上記に鑑みてなされたものであって、検索結果を表示する際に、所望の画像を容易に選択することができるようにすることを目的とする。
【００１６】
【課題を解決するための手段】
上記目的を達成するため、請求項１の画像検索装置は、画像の検索に用いる文字列をキーテキストと定義し、前記キーテキストを検索対象となる画像毎に用意すると共に、用意したキーテキストおよび対応する前記画像をそれぞれ関連づけて格納しておき、任意の検索語と前記キーテキストとを比較して検索し、検索されたキーテキストに関連づけられた画像を出力する画像検索装置であって、図、表、写真等の画像および文字列が混在した文書を入力する文書入力手段と、前記文書入力手段を介して入力した文書から前記画像を含む画像領域および文字列を含む文字領域を認識して抽出する領域抽出手段と、前記領域抽出手段で抽出した文字領域の文字列から、前記画像領域の画像に関連づけする前記キーテキストを抽出するに際して、前記画像に関連づけする前記キーテキストとして、前記画像のキャプションを構成する文字列であるキーキャプション、前記画像について記述したセンテンスを構成する文字列であるキーセンテンス、前記画像について記述したパラグラフを構成する文字列であるキーパラグラフ、および、前記画像について記述したページを構成する文字列であるキーページのうちの少なくともいずれかを抽出するキーテキスト抽出手段と、前記領域抽出手段で抽出した画像領域の画像および前記キーテキスト抽出手段で抽出したキーテキストを関連づけて格納する格納手段と、前記検索語の入力を受け付ける入力手段と、前記入力手段を介して入力された検索語に基づいて、該当するキーテキストおよび画像を検索する検索手段と、前記検索手段から検索結果を入力し、入力した検索結果を画面表示する表示手段と、を備え、前記キーテキスト抽出手段は、前記キーキャプションを構成する文字列から前記画像に付与された番号を特定する画像番号語をキーテキストとして抽出し、前記格納手段は、前記キーテキスト抽出手段によって抽出された画像番号語と前記領域抽出手段によって抽出された画像領域とを関連づけて格納するものであり、前記キーテキスト抽出手段は、前記文字領域の文字列から画像が存在する方向または位置を指し示す画像指示語を検索して前記画像指示語を含む文字列をキーテキストとして抽 出し、前記格納手段は、前記キーテキスト抽出手段によって抽出された前記画像指示語を含む文字列と、前記画像指示語を含む文字列中に前記画像指示語で示された方向または位置にあって前記画像指示語を含む文字列に最も近い画像領域の画像とを、関連づけて格納するものであり、前記キーテキスト抽出手段は、前記領域抽出手段が抽出した画像領域と文字領域との距離を算出して最も距離が小なる文字領域をキーテキストとして抽出し、前記格納手段は、前記キーテキスト抽出手段によって抽出された前記最も拒理が小なる文字領域と、前記画像領域の画像とを関連づけて格納するものであり、前記キーテキスト抽出手段は、前記キーキャプションを抽出できなかった場合、および前記キーキャプションを構成する文字列から前記画像に付与された番号を特定する画像番号語を抽出できなかった場合の少なくともいずれかの場合は、前記画像指示語を検索するものであり、前記キーテキスト抽出手段は、さらに前記画像指示語を検索できなかった場合は、前記最も距離が小なる文字領域から前記文字領域をキーテキストとして抽出するものであることを特徴とする。
【００１７】
また、請求項２の画像検索用キーテキストの生成方法は、図、表、写真等の画像および文字列が混在した文書情報中の前記画像に関連付けられる前記画像の検索に用いる文字列をキーテキスト抽出手段によりキーテキストとして選択し、選択された前記キーテキストおよび検索対象となる前記画像を登録手段によってそれぞれ関連づけてメモリに格納しておき、入力手段から任意の検索語の入力を受け付けた場合、受け付けられた前記検索語と前記メモリに格納された前記キーテキストとを検索実行手段によって比較し、比較により照合した前記キーテキストに、前記登録手段により関連づけられた前記画像を検索し、前記検索実行手段により照合された前記キーテキストおよび検索された前記画像を出力手段により表示手段に出力する画像検索装置における画像検索用キーテキストの生成方法であって、文書入力手段によって前記文書情報の入力を受け付ける文書入力工程と、画像情報および文字列情報の特徴に基づいて画像を含む画像領域および文字列を含む文字領域を抽出する領域抽出手段によって、前記文書入力工程で入力された前記文書情報から、前記画像領域および文字領域を抽出する領域抽出工程と、前記領域抽出工程で抽出した文字領域の文字列から、前記画像領域の画像に関連づけられる前記キーテキストを、前記キーテキスト抽出手段によって抽出するに際して、前記キーテキスト抽出手段によって前記画像のキャプションを構成する文字列であるキーキャプションが抽出でき且つ前記キーキャプション中に含まれる画像の番号を表す画像番号語が抽出できた場合は、前記画像番号語を含むセンテンス単位の文字列であるキーセンテンス、前記前記キーセンテンスを含みパラグラフ単位の文字列であるキーパラグラフ、および、前記キーパラグラフを含むページ単位の文字列であるキーページのうち少なくともいずれかを、前記キーテキスト抽出手段によって前記キーテキストとして抽出し、前記領域抽出工程で抽出した文字領域の文字列から、前記キーテキストを前記キーテキスト抽出手段によって抽出するに際して、前記キーキャプションおよび前記キーキャプション中に含まれる画像番号語のいずれをも前記キーテキスト抽出手段によって抽出できない場合、前記文字領域の文字列から画像が存在する方向または位置を指し示す画像指示語を抽出して前記画像指示語が抽出できた場合は、前記画像指示語に基づいて指定されるセンテンス単位の文字列であるキーセンテンス、前記画像指示語により指定されたキーセンテンスを含むパラグラフ単位の文字列であるキーパラグラフ、および前記キーパラグラフを含むページ単位の文字列であるキーページのうちの少なくともいずれかを、前記キーテキスト抽出手段によって前記キーテキストとして抽出し、前記領域抽出工程で抽出した文字領域の文字列から、前記キーテキストを前記キーテキスト抽出手段によって抽出するに際して、前記画像指示語が前記キーテキスト抽出手段によって抽出できなかった場合は、前記画像領域と文字領域との距離を算出し、最も距離が小なるパラグラフ単位のキーパラグラフ、および前記最も距離が小なるキーパラグラフを含むページ単位のキーページのうち少なくともいずれかを、前記キーテキスト抽出手段によって前記キーテキストとして抽出するキーテキスト抽出工程と、を含むことを特徴とする。
【００１８】
また、請求項３のコンピュータ読み取り可能な記録媒体は、前記請求項１に記載の画像検索装置の各手段としてコンピュータを機能させるためのプログラムを記録したことを特 徴とする。
【００１９】
また、請求項４のコンピュータ読み取り可能な記録媒体は、図、表、写真等の画像および文字列が混在した文書情報中の前記画像に関連付けられる前記画像の検索に用いる文字列をキーテキスト抽出手段によりキーテキストとして選択し、選択された前記キーテキストおよび検索対象となる前記画像を登録手段によってそれぞれ関連づけてメモリに格納しておき、入力手段から任意の検索語の入力を受け付けた場合、受け付けられた前記検索語と前記メモリに格納された前記キーテキストとを検索実行手段によって比較し、比較により照合した前記キーテキストに、前記登録手段により関連づけられた前記画像を検索し、前記検索実行手段により照合された前記キーテキストおよび検索された前記画像を出力手段により表示手段に出力する画像検索装置における画像検索用キーテキストの生成方法の各工程を、コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、文書入力手段によって前記文書情報の入力を受け付ける文書入力工程と、画像情報および文字列情報の特徴に基づいて画像を含む画像領域および文字列を含む文字領域を抽出する領域抽出手段によって、前記文書入力工程で入力された前記文書情報から、前記画像領域および文字領域を抽出する領域抽出工程と、前記領域抽出工程で抽出した文字領域の文字列から、前記画像領域の画像に関連づけられる前記キーテキストを、前記キーテキスト抽出手段によって抽出するに際して、前記キーテキスト抽出手段によって前記画像のキャプションを構成する文字列であるキーキャプションが抽出でき且つ前記キーキャプション中に含まれる画像の番号を表す画像番号語が抽出できた場合は、前記画像番号語を含むセンテンス単位の文字列であるキーセンテンス、前記前記キーセンテンスを含みパラグラフ単位の文字列であるキーパラグラフ、および、前記キーパラグラフを含むページ単位の文字列であるキーページのうち少なくともいずれかを、前記キーテキスト抽出手段によって前記キーテキストとして抽出し、前記領域抽出工程で抽出した文字領域の文字列から、前記キーテキストを前記キーテキスト抽出手段によって抽出するに際して、前記キーキャプションおよび前記キーキャプション中に含まれる画像番号語のいずれをも前記キーテキスト抽出手段によって抽出できない場合、前記文字領域の文字列から画像が存在する方向または位置を指し示す画像指示語を抽出して前記画像指示語が抽出できた場合は、前記画像指示語に基づいて指定されるセンテンス単位の文字列であるキーセンテンス、前記画像指示語により指定されたキーセンテンスを含むパラグラフ単位の文字列であるキーパラグラフ、および前記キーパラグラフを含むページ単位の文字列であるキーページのうちの少なくともいずれかを、前記キーテキスト抽出手段によって前記キーテキストとして抽出し、前記領域抽出工程で抽出した文字領域の文字列から、前記キーテキストを前記キーテキスト抽出手段によって抽出するに際して、前記画像指示語が前記キーテキスト抽出手段によって抽出できなかった場合は、前記画像領域と文字領域との距離を算出し、最も距離が小なるパラグラフ単位のキーパラグラフ、および前記最も距離が小なるキーパラグラフを含むページ単位のキーページのうち少なくともいずれかを、前記キーテキスト抽出手段によって前記キーテキストとして抽出するキーテキスト抽出工程と、をコンピュータに実行させるためのプログラムを記録したことを特徴とする。
【００２０】
【発明の実施の形態】
以下、本発明の画像検索装置、画像検索用キーテキストの生成方法、並びにその装置としてコンピュータを機能させるためのプログラムおよびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体の実施の形態について、添付の図面を参照しつつ詳細に説明する。
【００２１】
〔実施の形態１〕
実施の形態１の画像検索装置は、図や表、写真等の画像および文字列が混在した文書から画像を抽出して格納すると共に、文書中の文字列を検索用のテキストとして画像に関連づけし、画像に関連づけした文字列を検索することにより、該当する画像を得ることができるようにするものである。なお、上記画像に関連づけする文書中の文字列のことを、キーテキストと定義することにする。
【００２２】
図１は、実施の形態１の画像検索装置（画像検索システム）のブロック構成図である。図１に示す画像検索装置は、図や表、写真等の画像および文字列が混在した紙文書を光学的に読み取って、電子化された文書を得るためのスキャナ１０１を備え、入力した文書中の画像を画像ＤＢ（データベース）１０２に登録し、かつ、画像について記述した文字列、即ちキーテキストを文書から抽出し、抽出したキーテキストを画像ＤＢ１０２に登録された画像に関連づけしてテキストＤＢ１０３に登録する登録サーバ１００と、複数の検索クライアント１０５、１０６、１０７からの検索要求に応じて、テキストＤＢ１０３に登録されたキーテキストを検索することにより、該当する画像を画像ＤＢ１０２から出力する検索サーバ１０４と、上記各部を接続するネットワーク１０８と、から構成される。
【００２３】
図２は、図１に示す画像検索装置の概念構成図である。実施の形態１の画像検索装置は、大きく登録処理部２００および検索処理部２１０から構成される。登録処理部２００は、図１に示した登録サーバ１００に該当し、検索処理部２１０は、図１に示した画像ＤＢ１０２およびテキストＤＢ１０３、並びに検索要求・結果出力部２１３および検索実行部２１４から構成される。なお、検索処理部２１０の検索要求・結果出力部２１３および検索実行部２１４は、それぞれ検索クライアント１０５、１０６、１０７および検索サーバ１０４に該当する。
【００２４】
図２において、登録処理部２００は、スキャナ１０１を用いて、図や表、写真等の画像および文字列が混在した紙文書をフルカラーで読み取ることによって電子化された文書を入力し、入力した文書の全てのページについて２値化処理を行う２値化処理部２０１と、２値化処理部２０１で２値化処理された文書の各ページから画像を含む画像領域および文字列を含む文字領域（後述するキャプション領域および本文領域）を識別して分割する領域識別・分割処理部２０２と、領域識別・分割処理部２０２で分割された画像領域中の画像を画像ＤＢ１０２に登録する画像ＤＢ登録部２０３と、領域識別・分割処理部２０２で分割された文字領域中の文字列について文字認識を行うＯＣＲ部２０４と、ＯＣＲ部２０４で文字認識された文字列からキーテキストを抽出するキーテキスト抽出部２０５と、キーテキスト抽出部２０５で抽出したキーテキストを画像ＤＢ１０２に登録された画像に関連づけてテキストＤＢ１０３に登録するテキストＤＢ登録部２０６と、を有している。
【００２５】
なお、実施の形態１の画像検索装置の説明においては、スキャナ１０１で読み取った文書を中心にして説明を行うが、図２に示した登録処理部２００は、スキャナ１０１で読み取った文書以外に、ワードプロセッサ等のアプリケーションプログラムで作成した文書や、ＳＧＭＬ、ＨＴＭＬ等の構造化文書等、いかなる形式の文書についても扱うことができるものである。ただし、ワードプロセッサ等のアプリケーションプログラムで作成した文書等の場合は、スキャナ１０１による読み取りを行う必要がないため、ＯＣＲ２０４による文字認識処理は不要となる。
【００２６】
また、図２において、領域識別・分割処理部２０２は、文書中の画像領域と文字領域とを識別して分割すると共に、識別した文字領域をさらに画像、例えば図や表に付与されたキャプションを含むキャプション領域とキャプション以外の文字列を含む本文領域とを識別して分割するものである。キャプションとは、図や表、写真等の説明であって、具体的には「図１ 画像検索装置のブロック構成図」のような図や表に対して付与された文字列である。なお、以下の説明において単に「画像」という場合には、「図、表、写真等」を意味するものとし、また、領域識別・分割処理部２０２による領域識別・分割処理については、後に図を参照しつつ詳細に説明する。
【００２７】
また、キーテキスト抽出部２０５は、ＯＣＲ部２０４で文字認識された文字列からキーテキストを自動的に抽出するものである。キーテキストとしては、文書中の画像の内容を記述した文字列が用いられる。
【００２８】
図３は、キーテキストを説明するための説明図である。ここではキーテキストとして、４種類の文字列を用意することにする。キーテキストの１つ目は、文書３００（１ページ分）中の画像３０１に付与されたキャプション、例えば、図３中に示された「図１：システム構成」であり、このキャプションをキーキャプション３０２と新たに定義することにする。キーキャプション３０２は、画像３０１に直接対応づけて文書３００中に記載されたものであるため、キーテキストの関連づけの対象となる画像３０１を特定することができる。なお、キーキャプション３０２は、領域識別・分割処理部２０２で分割されたキャプション領域から得ることができる。このキャプション領域については、後に詳細に説明する。
【００２９】
キーテキストの２つ目は、画像３０１について記述したセンテンス（文）であり、このセンテンスをキーテキスト３０３と新たに定義することにする。キーキャプション３０２には、図３に示すように、画像を指し示す画像番号語、例えば、図１や表１、写真１等が含まれている。この画像番号語を含むキーキャプション３０２以外の本文中の文字列は、画像番号語で特定される画像について記述したものであると考えることができる。したがって、この画像番号語を本文領域の文字列から見つけ出し、画像番号語を含む文字列をキーセンテンス３０３として抽出する。
【００３０】
キーテキストの３つ目は、画像３０１について記述したパラグラフ（段落）であり、このパラグラフをキーパラグラフ３０４と新たに定義することにする。キーパラグラフ３０４は、キーセンテンス３０３を含んだパラグラフ単位の文字列であって、キーセンテンス３０３を取得することによって抽出することができる。
【００３１】
キーテキストの４つ目は、画像３０１について記述したページ全体の文字列であり、このページ全体の文字列をキーページ３０５と新たに定義することにする。キーページ３０５は、キーパラグラフ３０４（キーセンテンス３０３）を含んだページ単位の文字列であって、キーパラグラフ３０４（キーセンテンス３０３）を取得することにより抽出することができる。
【００３２】
このように、画像検索のためのキーテキストを４つ用意したのは、それぞれに大きな特徴があるからである。すなわち、キーキャプション３０２は、画像３０１を極めて端的に説明した文字列であるため、キーキャプション３０２を用いて画像を検索した場合には、検索語に直接対応する画像がヒットし易く、その反面、関連する画像がヒットすることはほとんどあり得ないという特徴がある（ノイズが少ない）。一方、キーページ３０５は、複数のトピックを含んでいる可能性があるため、キーページ３０５を用いて画像を検索した場合には、検索語に直接対応する画像のみならず、関連する図も同時に検索することが可能となるが、その反面、ノイズが多くなるという特徴がある。さらに、キーセンテンス３０３およびキーパラグラフ３０４は、上記キーキャプション３０２およびキーページ３０５の中間的な特徴を有するものである。したがって、漏れのない画像検索をしたい場合や、漏れがあっても良いが検索語に最も関連のある画像を検索したい場合等の要求に応じて上記キーテキストを使い分けることにより、所望の検索結果を得ることができる。
【００３３】
また、図３に示すように、テキストＤＢ登録部２０６は、キーテキスト抽出部２０５で抽出したキーテキストを該当する画像３０１、即ち、画像ＤＢ登録部２０３で画像ＤＢ１０２に登録する画像３０１に関連づけ、テキストＤＢ１０３に登録する。
【００３４】
次に、図２に戻って、検索処理部２１０について説明する。検索要求・結果出力部２１３は、検索語等を入力するキーボード等からなる入力装置２１１と、検索実行部２１４から検索結果を入力して出力するＣＲＴ等の出力装置２１２とを備えている。また、検索実行部２１４は、検索要求・結果出力部２１３から検索語を入力し、入力した検索語に基づいて、テキストＤＢ１０３から該当するキーテキストを検索し、検索したキーテキストに関連づけられた画像を画像ＤＢ１０２から取得して検索要求・結果出力部２１３に出力する。なお、画像検索処理については、後に詳細に説明する。
【００３５】
続いて、上述した構成を備えた画像検索装置の動作について、（１）キーテキスト・画像登録処理（画像検索用キーテキストの生成方法）、（２）画像検索処理の順で詳細に説明する。
【００３６】
（１）キーテキスト・画像登録処理（画像検索用キーテキストの生成方法）
図４は、キーテキスト・画像登録処理を示すフローチャートである。スキャナ１０１は、用意されたフルカラーの紙文書を読み取り、電子化された文書３００を得る（Ｓ４０１）。なお、電子化された文書３００を得た後に、孤立点ノイズの除去処理や、傾き補正処理等を行うことができる。
【００３７】
２値化処理部２０１は、スキャナ１０１で読み取ったフルカラーの文書３００を入力し、入力したフルカラーの文書３００の２値化処理を行う（Ｓ４０２）。２値化処理を行うに当たっては、スキャナ１０１で得たＲＧＢのフルカラーデータを一旦ＨＳＩ（色相、彩度、明度）データに変換した後、明度に基づいて特定の閾値で分離して２値化する。２値化処理部２０１において、フルカラーの文書３００が２値化されるため、後の領域識別処理や文字認識処理の高速化を図ることができる。
【００３８】
領域識別・分割処理部２０２は、２値化処理部２０１で２値化した文書３００を入力し、文書３００の各ページ毎に、画像領域、キャプション領域および本文領域を認識し、分割する処理を行う（Ｓ４０３）。また、領域識別・分割処理部２０２は、分割した画像領域、キャプション領域および本文領域の位置情報を取得する。
【００３９】
具体的に、領域識別・分割処理部２０２は、連結する黒点を包含し、矩形のサイズが大きいものを画像領域として認識し、画像領域に近接する１〜３行程度のテキストを包含する小領域をキャプション領域として認識し、その他の領域を本文領域として認識する。なお、キャプション領域５０２を特定するに当たっては、互いに対向する画像領域５０１の辺とキャプション領域５０２の辺との間の画素を単位とした距離を基準とする。
【００４０】
図５は、領域識別・分割処理を行った結果を示す説明図である。図５において、５０１は画像３０１を含む画像領域を、５０２はキャプション領域を、５０３は本文領域をそれぞれ示している。キャプション領域５０２は、上述したキャプション、例えば、図５に示す「図１：システム構成」等の文字列を含む領域である。
【００４１】
図４に戻り、画像ＤＢ登録部２０３は、領域抽出・分割処理部２０２から領域識別・分割処理の結果を入力し、スキャナ１０１で読み取ったフルカラーの文書から、画像領域５０１に該当する領域の画像３０１を抽出し、抽出した画像３０１にＩＤを付与して画像ＤＢ１０２に登録する（Ｓ４０４）。このＩＤは、画像３０１を他の画像と識別するために用いるものであると共に、画像検索により画像３０１がヒットした場合に、その検索結果として表示するためのものである。
【００４２】
なお、画像ＤＢ１０２に画像を登録する際には、領域抽出・分割処理部２０２で取得した画像領域５０１の位置情報も合わせて登録する。これは、画像ＤＢ１０２に登録される画像が、画像３０１を単位とするのではなく、実際には文書を構成する各ページを読み取ることによって得たページ画像を単位とするものであるからである。すなわち、画像ＤＢ１０２には、ページ画像として、ページ画像ＩＤおよびページ画像データが登録されると共に、画像３０１として、画像ＩＤ、画像３０１が存在するページのページ画像ＩＤおよび画像領域の位置情報が登録される。
【００４３】
また、画像３０１を画像ＤＢ１０２に登録する際には、登録する画像３０１の縮小画像を生成し、生成した縮小画像を元の画像３０１に関連づけして登録することができる。この縮小画像は、検索結果を表示する際に、画像３０１に代えて表示するためのものである。さらに、画像ＤＢ１０２には、画像領域５０１を含む文書のページおよび／または文書全体を画像３０１に関連づけて登録することができる。その結果、画像３０１を画面表示する際に、文書全体および／または画像３０１を含んだページを画面表示することができる。
【００４４】
ＯＣＲ部２０４は、領域識別・分割処理部２０２から領域識別・分割処理の結果を入力し、分割されたキャプション領域５０２および本文領域５０３について、行切り出しや文字切り出し処理を行って、文字認識処理を行う（Ｓ４０５）。ＯＣＲ部２０４は、キャプション領域５０２および本文領域５０３の位置情報と共に、文字認識処理の結果をキーテキスト抽出部２０５に出力する。
【００４５】
キーテキスト抽出部２０５は、ＯＣＲ部２０４から文字認識結果並びにキャプション領域５０２および本文領域５０３の位置情報を、領域識別・分割処理部２０２から画像領域５０１の位置情報をそれぞれ入力し、文字認識された文字列から上述したキーテキストを抽出する処理を行う（Ｓ４０６）。
【００４６】
ここで、ステップＳ４０６におけるキーテキストの抽出処理を具体的に説明する。図６は、キーテキスト抽出処理を示すフローチャートである。キーテキスト抽出部２０５は、領域識別・分割処理部２０２で識別されたキャプション領域５０２の文字列をキーキャプション３０２として設定する（Ｓ６０１）。なお、領域識別・分割処理部２０２でキャプション領域５０２を認識する処理を行わなかった場合には、画像領域５０１に近接する１〜３行程度のテキストを包含する小領域をキャプション領域５０２として特定することができる。キャプション領域５０２を特定するに当たっては、互いに対向する画像領域５０１の辺とキャプション領域５０２の辺との間の画素を単位とした距離を基準とする。
【００４７】
続いてキーテキスト抽出部２０５は、設定したキーキャプション３０２から画像番号語、例えば、図１、表１、写真１等を抽出する（Ｓ６０２）。キーテキスト抽出部２０５には、予め図１、図−１、図（１）、図１．２、図１．１２、図１．ａ等の図や、表、写真、Ｆｉｇｕｒｅ、Ｆｉｇ．等の画像番号語が登録されており、これら登録された画像番号語とキーキャプション３０２を構成する文字列との照合を行うことによって、キーキャプション３０２から画像番号語を抽出する。ここではキーキャプション３０２の「図１：システムの構成」から「図１」が抽出される（図３および図５参照）。キーキャプション３０２から画像番号語「図１」を抽出することにより、画像領域５０１の画像３０１を直接指し示す語を得ることができる。
【００４８】
その後、キーテキスト抽出部２０５は、ステップＳ６０２で抽出した画像番号語「図１」を含む文字列を文書３００全ての本文領域５０３から見つけ出す（Ｓ６０３）。
【００４９】
そして、画像番号語「図１」を本文領域５０３から見つけた場合には、画像番号語「図１」を含む文字列をセンテンス（文）単位で抽出し、キーセンテンス３０３とする（Ｓ６０４）。
【００５０】
続いて、キーセンテンス３０３を含む文字列をパラグラフ単位で抽出し、キーパラグラフ３０４とする（Ｓ６０５）。
【００５１】
さらに、キーパラグラフ３０４（キーセンテンス３０３）を含む文字列をページ単位で抽出し、キーページ３０５とする（Ｓ６０６）。
【００５２】
再び図４に戻り、キーテキスト登録部２０６は、キーテキスト抽出部２０５で抽出したキーキャプション３０２、キーセンテンス３０３、キーパラグラフ３０４およびキーページ３０５からなるキーテキストを入力すると共に、画像ＤＢ登録部２０３から該当する画像に付与した画像ＩＤを入力し、入力したキーテキストを画像ＩＤと共にテキストＤＢ１０３に登録する（Ｓ４０７）。キーテキストを画像ＩＤと共にテキストＤＢ１０３に登録することにより、キーテキストと画像３０１との関連づけを行うことができる。
【００５３】
なお、上述したキーテキスト抽出処理は、文書３００中に存在する各画像それぞれについて行われる。
【００５４】
（２）画像検索処理
続いて、テキストＤＢ１０３に登録されたキーテキストを用いて、画像ＤＢ１０２に登録された画像を検索する処理について説明する。
【００５５】
図７は、画像検索処理の概略を示すフローチャートである。検索要求・結果出力部２１３は、入力装置２１１からキーテキスト、即ちキーキャプション３０２、キーセンテンス３０３、キーパラグラフ３０４およびキーページ３０５のいずれを対象として画像を検索するかの指定を入力する（Ｓ７０１）。なお、キーテキストを指定する際には、キーキャプション３０２等を１つ指定するのみならず、キーテキストのいずれかを組み合わせて複数指定したり、キーテキストの全てを指定することができる。
【００５６】
ここで、キーテキストを指定することができるようにすることにより、漏れがあっても良いが、検索語に直接関連した画像を検索したい場合（ノイズの少ない検索）にはキーキャプションを指定し、漏れのない広範囲の検索を行いたい場合にはキーページを指定する等、ユーザの検索要求に応じた検索方法の指定を行うことができる。したがって、検索の目的に応じて、どのような検索語を入力したら良いかを考える必要をなくすことができる。
【００５７】
そして、検索要求・結果出力部２１３は、入力装置２１１から検索語を入力し、入力した検索語とステップＳ７０１で入力したキーテキストの指定（検索対象の指定）とを検索実行部２１４に出力する（Ｓ７０２）。なお、キーテキストの指定と検索語の入力については、いずれを先に行っても良い。
【００５８】
検索実行部２１４は、検索要求・結果出力部２１３から検索語およびキーテキストの指定を入力し、入力した検索語に基づいて、テキストＤＢ１０３中の該当するキーテキストをそれぞれ検索する（パターンマッチ検索：Ｓ７０３）。
【００５９】
その後、検索実行部２１４は、ステップＳ７０３で検索した結果を検索要求・結果出力部２１３に出力し、検索要求・結果出力部２１３は入力した検索結果を出力装置２１２に出力する（Ｓ７０４）。
【００６０】
図８は、画像検索結果の表示例を示す説明図である。この図８は、検索語を「検索」とし、検索対象のキーテキストとしてキーキャプション３０２を指定した場合の検索結果を示したものである。図８においては、検索結果として画像ＩＤと、画像に関連づけされたキーテキストの全てが一覧表示されている。もちろん、検索結果として画像ＩＤのみを表示しても良いし、キーテキストの全てではなく、該当するキーキャプション３０２のみを表示しても良い。ユーザは、一覧表示されたキーテキストの内容を確認することにより、所望の画像を選択することができる。
【００６１】
また、図８において、画像表示ボタン８００を選択すると、図９に示すように、一覧表示された画像ＩＤに該当する画像の縮小画像が一覧表示される。この縮小画像は、画像ＤＢ登録部２０３によって生成・登録されたものである（図４のステップＳ４０４参照）。キーテキストのみでは所望の画像であるかを判断することができない場合に、縮小画像を一覧表示することができるようにすることによって、所望の画像を容易に選択することができる。また、縮小画像であるため、データ量が少なく、高速に表示することが可能となる。なお、図８に示した検索結果に、図９に示した縮小画像を合わせて表示することにしても良い。
【００６２】
そして、図８に示す画像ＩＤ、キーテキストまたは図９に示す縮小画像を選択することにより、該当する画像３０１や、必要に応じて、この画像３０１を含む文書全体、画像３０１が存在するページが表示される。なお、画像３０１を画像ＤＢ１０２に登録する際に、同一文書中の他の画像と関連づけしておくことにより、１つの画像から同一文書中の他の画像を辿って表示することができる。また、文書中のページについても、同一文書中の他のページと関連づけしておくことにより、表示したページに基づいて他のページを表示することができる。
【００６３】
また、上記では、キーテキストの一部または全てを検索対象として指定して検索し、その検索の結果を表示することにしたが、次のような検索対象の指定および検索結果の表示を行うこともできる。すなわち、
ａ キーキャプション３０２を検索対象として検索し、検索結果を表示し、
ｂ キーキャプションおよびキーセンテンスを検索対象として検索し、それぞれの検索結果のＯＲ（論理和）を検索結果として表示し、
ｃ キーキャプション、キーセンテンスおよびキーパラグラフを検索対象として検索し、それぞれの検索結果のＯＲを検索結果として表示し、
ｄ キーキャプション、キーセンテンス、キーパラグラフおよびキーページを検索対象として検索し、それぞれの検索結果のＯＲを検索結果として表示する、というように、検索対象に包含関係を作り、４つの検索結果のリストを表示するというものである。
【００６４】
このようにすることにより、ユーザの検索要求に応じた検索結果であって、かつ、ユーザが画像を選択しやすい検索結果を得ることができる。すなわち、ａの場合は、画像を極めて端的に説明した文字列であるキーキャプション３０２が検索対象となっているため、検索語に最も関連のある画像を得ることができる。一方、ｂ〜ｄ、特にｄの場合は、ａの場合で得た画像に関連する画像も同時に得ることができる。なお、ａ〜ｄに示す全ての方法で同時に検索・結果表示を行わなければならないのではなく、いずれか一つまたは複数を選択することができるようにしても良い。
【００６５】
さらに、次のような検索対象の指定および検索結果の表示を行うこともできる。すなわち、
ａ 最初にキーキャプションを検索対象として検索し、検索結果を一覧表示し、
ｂ 次にキーセンテンスを検索対象として検索し、既に一覧表示された結果を除いた検索結果を一覧表示し、
ｃ 次にキーパラグラフを検索対象として検索し、既に一覧表示された結果を除いた検索結果を一覧表示し、さらに、
ｄ 最後にキーページを検索対象として検索し、既に一覧表示された結果を除いた検索結果を一覧表示する、
というものである。
【００６６】
このような検索および表示を行うことにより、検索語に関連のある順序で検索結果が一覧表示されるため、ユーザは上から順にキーテキストを参照することで容易に所望の画像を得ることができる。すなわち、ａの場合の検索結果から、検索語に最も関連のある画像を得ることができ、また、ｂ〜ｄの検索結果に向かうに従って、関連の深い画像から浅い画像へと段階的な検索結果を得ることができる。
【００６７】
なお、図１においては、サーバやクライアントにそれぞれの検索や登録という役割を持たせ、ネットワーク１０８を介して画像検索システムを構成した例を示したが、１つのコンピュータに全ての機能を持たせ、スタンドアローンという形態で本実施の形態の画像検索装置を構成することもできる。また、図１においては、画像ＤＢ１０２およびテキストＤＢ１０３がそれぞれ独立して存在するように示したが、これらを検索サーバ１０４の管理下に置くように構成することもできる。
【００６８】
このように、実施の形態１の画像検索装置によれば、文字列および図、表、写真等の画像が混在した文書から抽出した画像を検索対象とする場合に、検索対象の画像について記述した文書中の文字列を画像検索用のキーテキストとして用いることにしたため、文書中に記述された画像の説明を用いて所望の画像を検索することができ、画像検索処理の利便性の向上を図ることができる。
【００６９】
また、キーテキストとして、画像に直接関連のあるキャプションを構成する文字列、キャプションに基づいて抽出したセンテンス、パラグラフおよびページを構成する文字列を用いることにしたため、画像検索用のキーテキストとして、適切な文字列を抽出することができる。すなわち、上述した画像番号語を含むキーキャプション３０２、キーセンテンス３０３、キーパラグラフ３０４およびキーセンテンス３０５は、画像番号語によって特定される画像について記述していると考えられるため、画像番号語によって特定される画像を検索するためのキーテキストとして適切なものとなる。
【００７０】
さらに、キーテキストとして、画像に直接関連のあるキャプションを構成する文字列、キャプションに基づいて抽出したセンテンス、パラグラフおよびページを構成する文字列を用いることにしたため、キーテキストを使い分けることにより、ノイズの少ない検索や漏れのない検索等、ユーザの要求に応じた検索を容易に行うことができる。したがって、検索に関する知識が少ないユーザであっても、いかなる検索語を入力するかを悩むことなく、所望の方法で検索を行うことができる。
【００７１】
〔実施の形態２〕
次に、本発明の画像検索装置の実施の形態２について説明する。上述した実施の形態１においては、キーキャプション３０２を抽出すると共に、キーキャプション３０２中の画像番号語を用いて、キーセンテンス３０３、キーパラグラフ３０４およびキーセンテンス３０５を抽出し、これらをキーテキストとするという方法について説明したが、実施の形態２の画像検索装置では、本文領域５０３から画像３０１の方向または位置を指し示す語（以下、「画像指示語」と記述する）を抽出し、抽出した画像指示語に基づいて、キーテキストを抽出するというものである。
【００７２】
なお、実施の形態２の画像検索装置の構成については、実施の形態１で説明したものと同様であるため、ここでは詳細な説明を省略する。また、キーテキスト・画像登録処理および画像検索処理において、キーテキストの抽出処理以外については実施の形態１で説明した通りであるため、これらについても説明を省略する。
【００７３】
図１０はキーテキスト抽出処理を示すフローチャートであり、図１１はキーテキスト抽出処理によって抽出されるキーテキストを説明するための説明図である。キーテキスト抽出部２０５には、予め、上（の）図、下（の）図、右（の）図、左（の）図、前（の）ページの図、次（の）ページの図、上（の）表、下（の）表、右（の）表、左（の）表、前（の）ページの表、次（の）ページの表、上（の）写真、下（の）写真、右（の）写真、左（の）写真、前（の）ページの写真、次（の）ページの写真等の画像指示語が登録されている。これらの画像指示語は、上の図や下の図等の画像３０１が存在する方向を指し示す語と、前のページや次のページ等の画像３０１が存在する位置を指し示す語とがある。キーテキスト抽出部２０５は、登録された画像指示語と本文領域５０３の文字列との照合を行うことによって、本文領域５０３に存在する画像指示語を検索する（Ｓ１００１）。
【００７４】
図１１において、画像領域５０１に対し、本文領域５０３から画像指示語、例えば「左の図」を見つけ出したとする。キーテキスト抽出部２０５は、画像指示語「左の図」を含む文字列をセンテンス単位で抽出してキーセンテンス３０３を取得する（Ｓ１００２）。換言すれば、本文領域５０３の文字列から画像３０１が存在する方向または位置を指し示す画像指示語を検索し、該当する指示語を含むセンテンス単位の文字列を、画像指示語で示された方向または位置に存在し、画像指示語を含む本文領域５０３と最も近い画像領域５０１の画像３０１に関連づけするキーセンテンス３０３として抽出することになる。
【００７５】
続いて、ステップＳ１００２で抽出したキーセンテンス３０３を含む文字列をパラグラフ単位で抽出し、キーパラグラフ３０４を取得する（Ｓ１００３）。
【００７６】
さらに、ステップＳ１００３で抽出したキーパラグラフ３０４（キーセンテンス３０３）を含む文字列をページ単位で抽出し、キーページ３０５を取得する（Ｓ１００４）。
【００７７】
その後、キーテキスト登録部２０６は、キーテキスト抽出部２０５で抽出したキーセンテンス３０３、キーパラグラフ３０４およびキーページ３０５からなるキーテキストを入力すると共に、画像ＤＢ登録部２０３から該当する画像に付与した画像ＩＤを入力し、入力したキーテキストを画像ＩＤと共にテキストＤＢ１０３に登録する（図４のＳ４０７参照）。キーテキストを画像ＩＤと共にテキストＤＢ１０３に登録することにより、キーテキストと画像３０１との関連づけを行うことができる。
【００７８】
なお、上述したキーテキスト抽出処理は、文書３００中に存在する各画像毎にそれぞれ行われ、抽出されたキーテキストは、実施の形態１で説明したように、画像を検索するための検索対象とされる。
【００７９】
このように、実施の形態２の画像検索装置によれば、画像検索用のキーテキストとして、画像が存在する方向または位置を特定する画像指示語を含むセンテンス、パラグラフおよびページを構成する文字列を用いることにしたため、画像検索用のキーテキストとして、適切な文字列を抽出することができる。すなわち、画像指示語を含むセンテンス等は、画像指示語によって指し示された画像について記述していると考えられるため、画像指示語によって指し示された画像の検索のためのキーテキストとして適切なものとなる。
【００８０】
〔実施の形態３〕
続いて、本発明の画像検索装置の実施の形態３について説明する。実施の形態３の画像検索装置は、実施の形態１で説明した画像番号語や実施の形態２で説明した画像指示語を用いることなしに、キーテキストを抽出することができるようにするものである。すなわち、実施の形態３の画像検索装置は、文書３００中の画像領域５０１に対して最も近傍に位置する本文領域５０３からキーテキストを抽出するものである。
【００８１】
なお、実施の形態３の画像検索装置の構成については、実施の形態１で説明したものと同様であるため、ここでは詳細な説明を省略する。また、キーテキスト・画像登録処理および画像検索処理において、キーテキストの抽出処理以外については実施の形態１で説明した通りであるため、これらについても説明を省略する。
【００８２】
図１２はキーテキスト抽出処理を示すフローチャートであり、図１３はキーテキスト抽出処理によって抽出されるキーテキストを説明するための説明図である。キーテキスト抽出部２０５は、ＯＣＲ部２０４から文字認識処理の結果および本文領域の位置情報を入力すると共に、領域識別・分割処理部２０２から画像領域の位置情報を入力する。そして、キーテキスト抽出部２０５は、画像領域５０１と隣接する本文領域５０３との間の距離を演算して求める（Ｓ１２０１）。図１３においては、画像領域５０１および本文領域５０３ａの間の距離ａと、画像領域５０１および本文領域５０３ｂの間の距離ｂを求めることになる。
【００８３】
ここで、画像領域５０１と本文領域５０３ａのように、画像領域５０１に対して本文領域５０３が左右いずれかに存在するような場合は、両方の領域の垂直の辺同士の距離（距離ａ）を画素単位で演算する。一方、画像領域５０１と本文領域５０３ｂのように、画像領域５０１に対して本文領域５０３が上下いずれかに存在するような場合は、両方の領域の水平の辺同士の距離（距離ｂ）を画素単位で演算する。なお、文書が２段組等で構成されているような場合であって、段と段との間にセパレータが設けられているような場合には、その間の距離を論理的に遠くなるような演算を行うことができる。
【００８４】
その後、キーテキスト抽出部２０５は、ステップＳ１２０１における演算結果に基づいて、画像領域５０１に対して最も近傍に位置する本文領域５０３中の文字列をパラグラフ単位で抽出し、抽出した文字列をキーパラグラフ３０４とする（Ｓ１２０２）。図１３においては、距離ｂが距離ａに比べて短いため、本文領域５０３ｂが画像領域５０１に対して最も近傍に位置していることになる。そこで、本文領域５０３ｂにおいて、画像領域５０１に最も近い文字列をパラグラフ単位で抽出して、キーパラグラフ３０４とする。
【００８５】
そして、キーテキスト抽出部２０５は、キーパラグラフ３０４を含む文字列をページ単位で抽出し、キーページ３０５を取得する（Ｓ１２０３）。
【００８６】
その後、キーテキスト登録部２０６は、キーテキスト抽出部２０５で抽出したキーパラグラフ３０４およびキーページ３０５からなるキーテキストを入力すると共に、画像ＤＢ登録部２０３から該当する画像に付与した画像ＩＤを入力し、入力したキーテキストを画像ＩＤと共にテキストＤＢ１０３に登録する（図４のＳ４０７参照）。キーテキストを画像ＩＤと共にテキストＤＢ１０３に登録することにより、キーテキストと画像３０１との関連づけを行うことができる。
【００８７】
上述したキーテキスト抽出処理は、文書３００中に存在する各画像毎にそれぞれ行われ、抽出されたキーテキストは、実施の形態１で説明したように、画像を検索するための検索対象とされる。
【００８８】
なお、図１４に示すように、画像領域５０１を挟んで本文領域５０３ａ、５０３ｂが上下に存在する場合には、画像領域５０１と本文領域５０３ａおよび本文領域５０３ｂとにおける水平の辺同士の距離を演算し、最も近傍に位置する本文領域を選択する。画像領域５０１に対して上に位置する本文領域５０３ａが本文領域５０３ｂより画像領域５０１に近接している場合には、画像領域５０３ａ内の最も下（画像領域５０１に最も近い）のパラグラフをキーパラグラフ３０４として抽出する。一方、画像領域５０１に対して下に位置する本文領域５０３ｂが本文領域５０３ａより画像領域５０１に近接している場合には、画像領域５０３ｂ内の最も上（画像領域５０１に最も近い）のパラグラフをキーパラグラフ３０４として抽出する。もし、画像領域５０１と本文領域５０３ａおよび本文領域５０３ｂとの間の距離がそれぞれ等しい場合には、両方からキーパラグラフ３０４を抽出することにしても良い。
【００８９】
また、図１５に示すように、画像領域５０１を挟んで本文領域５０３ａ、５０３ｂが左右に存在する場合には、画像領域５０１と本文領域５０３ａおよび本文領域５０３ｂとにおける垂直の辺同士の距離を演算し、最も近傍に位置する本文領域を選択する。画像領域５０１を挟んで本文領域５０３ａ、５０３ｂが左右に存在する場合は、図１４に示す上下の場合と異なり、画像領域５０１に最も近接する本文領域の全ての文字列をキーパラグラフとして抽出する。もし、画像領域５０１と本文領域５０３ａおよび本文領域５０３ｂとの間の距離がそれぞれ等しい場合には、本文領域５０３ａ、５０３ｂの全ての文字列をキーパラグラフ３０４として抽出することにしても良い。
【００９０】
このように、実施の形態３の画像検索装置によれば、画像検索用のキーテキストとして、画像領域５０１に対して最も近傍に位置する本文領域５０３中の文字列およびその文字列を含むページ単位の文字列を用いることにしたため、画像検索用のキーテキストとして、適切な文字列を抽出することができる。すなわち、画像の最も近傍に位置する本文領域の文字列は、該当する画像について記述したものあると考えられるため、画像検索用のキーテキストとして適切なものとなる。
【００９１】
〔実施の形態４〕
さらに、本発明の画像検索装置の実施の形態４について説明する。実施の形態４の画像検索装置は、実施の形態１〜３で説明したキーテキスト抽出処理を組み合わせて、あらゆる種類の文書からキーテキストを抽出することができるようにしたものである。
【００９２】
なお、実施の形態４の画像検索装置の構成については、実施の形態１で説明したものと同様であるため、ここでは詳細な説明を省略する。また、キーテキスト・画像登録処理および画像検索処理において、キーテキストの抽出処理以外については実施の形態１で説明した通りであるため、これらについても説明を省略する。
【００９３】
図１６はキーテキスト抽出処理を示すフローチャートである。キーテキスト抽出部２０５は、ＯＣＲ部２０４から文字認識処理の結果および本文領域の位置情報を入力すると共に、領域識別・分割処理部２０２から画像領域の位置情報を入力する。そして、キーテキスト抽出部２０５は、実施の形態１で説明したキーキャプション３０２を抽出する処理を行う（Ｓ１６０１）。
【００９４】
ステップＳ１６０１において、キーキャプション３０２を抽出することができた場合には、キーキャプションから画像番号語を抽出する処理を行う（Ｓ１６０２）。
【００９５】
そして、ステップＳ１６０２において、キーキャプションから画像番号語を抽出することができた場合には、実施の形態１で説明したように、画像番号語に基づいて、キーセンテンス３０３、キーキャプション３０４およびキーページ３０５を抽出する（Ｓ１６０３）。
【００９６】
一方、ステップＳ１６０１においてキャプションがない場合や、ステップＳ１６０２において画像番号語を抽出することができなかった場合には、ステップＳ１６０４に進み、実施の形態２で説明したように、本文領域５０３に存在する画像指示語を検索する（Ｓ１６０４）。
【００９７】
ステップＳ１６０４において、本文領域５０３から画像指示語を見つけ出すことができた場合には、実施の形態２で説明したように、画像指示語に基づいて、キーセンテンス３０３、キーパラグラフ３０４およびキーページ３０５を抽出する（Ｓ１６０５）。
【００９８】
また、ステップ１６０４において、本文領域５０３から画像指示語を見つけ出すことができなかった場合には、実施の形態３で説明したように、画像領域５０１と画像領域５０１に隣接する本文領域５０３との間の距離を演算する（Ｓ１６０６）。
【００９９】
続いて、ステップＳ１６０６における演算結果に基づいて、画像領域５０１に対して最も近傍に位置する本文領域５０３を特定し、特定した本文領域５０３に基づいて、キーパラグラフ３０４およびキーページ３０５を抽出する。
【０１００】
その後、キーテキスト登録部２０６は、キーテキスト抽出部２０５で抽出したキーテキストを入力すると共に、画像ＤＢ登録部２０３から該当する画像に付与した画像ＩＤを入力し、入力したキーテキストを画像ＩＤと共にテキストＤＢ１０３に登録する（図４のＳ４０７参照）。キーテキストを画像ＩＤと共にテキストＤＢ１０３に登録することにより、キーテキストと画像３０１との関連づけを行うことができる。
【０１０１】
上述したキーテキスト抽出処理は、文書３００中に存在する各画像毎にそれぞれ行われ、抽出されたキーテキストは、実施の形態１で説明したように、画像を検索するための検索対象とされる。
【０１０２】
このように、実施の形態４の画像検索装置によれば、実施の形態１〜３で説明した画像検索用キーテキストの生成方法を組み合わせることにより、あらゆる種類の文書から検索対象となる画像について記述した文字列をキーテキストとして抽出することができる。
【０１０３】
なお、上述した実施の形態１〜４の画像検索装置においては、キーテキストとしてキーキャプション３０２、キーセンテンス３０３、キーパラグラフ３０４およびキーページ３０５を用いることにしたが、これらに加えて、画像の種類（ブロック図、フローチャート、棒グラフ、折れ線グラフ等）、画像のサイズ、画像の色等の画像の属性情報や、画像中の文字列等をキーテキストとして用いることにしても良い。
【０１０４】
また、文書において、画像に関連のある章、節等のタイトルや、章、節を構成する文字列、ヘッダ、フッダ等をキーテキストとして用いることにしても良い。この場合は、キーテキストを抽出する際に、文書のレイアウトを詳細に解析する必要がある。
【０１０５】
また、実施の形態１〜４においては、キーテキストを用いて画像を検索することについて説明したが、最初に画像を表示してブラウジングすることができるようにし、画像から関連のあるキーテキストを表示することができるようにしても良い。
【０１０６】
また、画像を画像ＤＢ１０２に登録する際に、特定の種類のグループにグルーピングしておき、画像から画像を検索することができるようにすることもできる。グルーピングは、画像の種類や、文書の種類等、任意の条件に基づいて行うことができる。
【０１０７】
また、文書の種類に応じたキーテキスト抽出ルールを予め作成しておき、キーテキストを抽出する際に、文書の種類を自動的に認識しまたはユーザが指定することにより、作成したルールに従って、キーテキストを抽出することができるようにしても良い。
【０１０８】
また、キーセンテンス３０３等は、同一の画像に対して複数得られることがあるため、複数得られた場合は、画像との距離に基づいて重み付けを行い、同一画像に対する複数のキーセンテンス３０３等を表示する際の順位付けを行うこともできる。
【０１０９】
また、ＯＣＲによる文字認識処理においては、「写真」を「写具」と認識してしまうような誤認識が起こることがある。このような誤認識が画像番号語や画像指示語に発生したような場合には、キーテキストを正確に抽出することが困難となってしまう。そこで、予め誤認識の起こりやすい語、例えば上記「写真」等においては、誤認識した結果である「写具」についても正しい「写真」と同様に扱うことができるようにすることができる。なお、誤認識した語を検出した場合については、正しい語に変換する処理を行うことにしても良い。
【０１１０】
また、図３等に示した文書ではなく、本文と画像とが別々のページに配置されているような文書（例えば特許明細書）であっても、画像番号語等を抽出することにより、容易にキーテキストを抽出することができる。
【０１１１】
さらに、上述した画像検索装置としてコンピュータを機能させるプログラムや、画像検索用キーテキストの生成方法をコンピュータに実行させるためのプログラムを作成し、これらをハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータ読み取り可能な記録媒体に記録して、記録媒体を介してプログラムを配布することができる。そして、記録媒体に記録されたプログラムをコンピュータで読み出して実行することにより、上述した画像検索装置や画像検索用キーテキストの生成方法を実現することできる。
【０１１２】
【発明の効果】
以上説明したように、請求項１の画像検索装置によれば、文書入力手段が、図、表、写真等の画像および文字列が混在した文書を入力し、領域抽出手段が、文書入力手段を介して入力した文書から画像を含む画像領域および文字列を含む文字領域を認識して抽出し、キーテキスト抽出手段が、領域抽出手段で抽出した文字領域の文字列から、画像領域の画像に関連づけするキーテキストを抽出するに際して、画像に関連づけするキーテキストとして、画像のキャプションを構成する文字列であるキーキャプション、画像について記述したセンテンスを構成する文字列であるキーセンテンス、画像について記述したパラグラフを構成する文字列であるキーパラグラフ、および、画像について記述したページを構成する文字列であるキーページのうちの少なくともいずれかを抽出し、格納手段が、領域抽 出手段で抽出した画像領域の画像およびキーテキスト抽出手段で抽出したキーテキストを関連づけて格納し、入力手段が、検索語の入力を受け付け、検索手段が入力手段を介して入力された検索語に基づいて、該当するキーテキストおよび画像を検索し、表示手段が検索手段から検索結果を入力し、入力した検索結果を画面表示する画像検索装置であって、キーテキスト抽出手段は、キーキャプションを構成する文字列から画像に付与された番号を特定する画像番号語をキーテキストとして抽出し、格納手段は、キーテキスト抽出手段によって抽出された画像番号語と領域抽出手段によって抽出された画像領域とを関連づけて格納するものであり、また、キーテキスト抽出手段は、文字領域の文字列から画像が存在する方向または位置を指し示す画像指示語を検索して画像指示語を含む文字列をキーテキストとして抽出し、格納手段は、キーテキスト抽出手段によって抽出された画像指示語を含む文字列と、画像指示語を含む文字列中に画像指示語で示された方向または位置にあって画像指示語を含む文字列に最も近い画像領域の画像とを、関連づけて格納するものであり、また、キーテキスト抽出手段は、領域抽出手段が抽出した画像領域と文字領域との距離を算出して最も距離が小なる文字領域をキーテキストとして抽出し、格納手段は、キーテキスト抽出手段によって抽出された最も拒理が小なる文字領域と、画像領域の画像とを関連づけて格納するものである。ここで、キーテキスト抽出手段は、キーキャプションを抽出できなかった場合、およびキーキャプションを構成する文字列から画像に付与された番号を特定する画像番号語を抽出できなかった場合の少なくともいずれかの場合は、画像指示語を検索するものであり、また、キーテキスト抽出手段は、さらに画像指示語を検索できなかった場合は、最も距離が小なる文字領域から文字領域をキーテキストとして抽出する。この構成によって、画像に関連づけたキーテキストを抽出して格納する際に、キーテキストとして最も画像との関連性が高く文章量が短く検索上のノイズが少ないキーキャプションに始まって、キーセンテンス、キーパラグラフ、およびキーページというように文章量と比較して画像との関連性は低く検索上のノイズが多いのであるが文章量が多いことにより検索時の検索漏れが少ないキーページに至るまでの検索特性の異なる複数種類のキーテキストを抽出して格納することによって、画像検索がなされた場合には検索語とキーテキストとが対応付けられて、ノイズが少なく関連度の高いキーテキストによる画像検索から、ノイズが高くても検索語のヒット率が高いキーテキストを介した検索漏れの少ない画像検索ができるので、ノイズが少なく、かつ漏れが少ない検索という相反的なニーズを満たす画像検索が可能になるという効果を奏する。
【０１１３】
また、画像との関連性が高いキーキャプションまたは画像番号語を抽出できなかった場合は、画像指示語を検索してキーテキストを抽出し、さらに画像指示語を検索できなかった場合は、画像領域と文字領域との距離を算出してキーテキストを抽出し、抽出されたキーテキストを画像と関連付けて格納しておくことによって、画像検索を行う場合には、画像との関連性が高くノイズの少ない検索が優先的になされて、それができない場合に関連性が低くノイズが高かったとしてもヒット率の高い検索がなされるので、ノイズが少なく、かつ漏れが少ない検索という相反的なニーズを満たす画像検索が可能になるという効果を奏する。
【０１１４】
また、請求項２の画像検索用キーテキストの生成方法によれば、図、表、写真等の画像および文字列が混在した文書情報中の画像に関連付けられる画像の検索に用いる文字列をキーテキスト抽出手段によりキーテキストとして選択し、選択されたキーテキストおよび検索対象となる画像を登録手段によってそれぞれ関連づけてメモリに格納しておき、入力手段から任意の検索語の入力を受け付けた場合、受け付けられた検索語とメモリに格納されたキーテキストとを検索実行手段によって比較し、比較により照合したキーテキストに、登録手段により関連づけられた画像を検索し、検索実行手段により照合されたキーテキストおよび検索された画像を出力手段により表示手段に出力する画像検索装置における画像検索用キーテキストの生成方法であって、文書入力工程は、文書入力手段によって文書情報の入力を受け付け、領域抽出工程は、画像情報および文字列情報の特徴に基づいて画像を含む画像領域および文字列を含む文字領域を抽出する領域抽出手段によって、文書入力工程で入力された文書情報から、画像領域および文字領域を抽出し、キーテキスト抽出工程は、（１）領域抽出工程で抽出した文字領域の文字列から、画像領域の画像に関連づけられるキーテキストを、キーテキスト抽出手段によって抽出するに際して、キーテキスト抽出手段によって画像のキャプションを構成する文字列であるキーキャプションが抽出でき且つキーキャプション中に含まれる画像の番号を表す画像番号語が抽出できた場合は、画像番号語を含むセンテンス単位の文字列であるキーセンテンス、キーセンテンスを含みパラグラフ単位の文字列であるキーパラグラフ、および、キーパラグラフを含むページ単位の文字列であるキーページのうち少なくともいずれかを、キーテキスト抽出手段によってキーテキストとして抽出し、（２）領域抽出工程で抽出した文字領域の文字列から、キーテキストをキーテキスト抽出手段によって抽出するに際して、キーキャプションおよびキーキャプション中に含まれる画像番号語のいずれをもキーテキスト抽出手段によって抽出できない場合、文字領域の文字列から画像が存在する方向または位置を指し示す画像指示語を抽出して画像指示語が抽出できた場合は、画像指示語に基づいて指定されるセンテンス単位の文字列であるキーセンテンス、画像指示語により指定されたキーセンテンスを含むパラグラフ単位の文字列であるキーパラグラフ、およびキーパラグラフを含むページ単位の文字列であるキーページのうちの少なくともいずれかを、キーテキスト抽出手段によってキーテキストとして抽出し、（３）領域抽出工程で抽出した文字領域の文字列から、キーテキストをキーテキスト抽出手段によって抽出するに際して、画像指示語がキーテキスト抽出手段によって抽出できなかった場合は、画像領域と文字領域との距離を算出し、最も距離が小なるパラグラフ単位のキーパラグラフ、および最も距離が小なるキーパラグラフを含むページ単位のキーページのうち少なくともいずれかを、キーテキスト抽出手段によってキーテキストとして抽出する。この構成によって、画像に関連づけたキーテキストを抽出して格納する際に、キーテキストとして最も画像との関連性が高く文章量が短く検索上のノイズが少ないキーキャプションに始まって、キーセンテンス、キーパラグラフ、およびキーページというように文章量と比較して画像との関連性は低く検索上のノイズが多いのであるが文章量が多いことにより検索時の検索漏れが少ないキーページに至るまでの検索特性の異なる複数種類のキーテキストを抽出して格納することによって、画像検索がなされた場合には検索語とキーテキストとが対応付けられて、ノイズが少なく関連度の高いキーテキストによる画像検索から、ノイズが高くても検索語のヒット率が高いキーテキストを介した検索漏れの少ない画像検索ができるので、ノイズが少なく、かつ漏れが少ない検索という相反的なニーズを満たす画像検索が可能になるという効果を奏する。
【０１１５】
また、画像との関連性が高いキーキャプションまたは画像番号語を抽出できなかった場合は、画像指示語を検索してキーテキストを抽出し、さらに画像指示語を検索できなかった場合は、画像領域と文字領域との距離を算出してキーテキストを抽出し、抽出されたキーテキストを画像と関連付けて格納しておくことによって、画像検索を行う場合には、画像との関連性が高くノイズの少ない検索が優先的になされて、それができない場合に関連性が低くノイズが高かったとしてもヒット率の高い検索がなされるので、ノイズが少なく、かつ漏れが少ない検索という相反的なニーズを満たす画像検索が可能になるという効果を奏する。
【０１１６】
また、請求項３のコンピュータ読み取り可能な記録媒体によれば、請求項１に記載の画像検索装置の各手段としてコンピュータを機能させるためのプログラムを提供できるという効果を奏する。
【０１１７】
また、請求項４のコンピュータ読み取り可能な記録媒体によれば、図、表、写真等の画像および文字列が混在した文書情報中の画像に関連付けられる画像の検索に用いる文字列をキーテキスト抽出手段によりキーテキストとして選択し、選択されたキーテキストおよび検索対象となる画像を登録手段によってそれぞれ関連づけてメモリに格納しておき、入力手段から任意の検索語の入力を受け付けた場合、受け付けられた検索語とメモリに格納されたキーテキストとを検索実行手段によって比較し、比較により照合したキーテキストに、登録手段により関連づけられた画像を検索し、検索実行手段により照合されたキーテキストおよび検索された画像を出力手段により表示手段に出力する画像検索装置における画像検索用キーテキストの生成方法の各工程を、コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、文書入力工程は、文書入力手段によって文書情報の入力を受け付け、領域抽出工程は画像情報および文字列情報の特徴に基づいて画像を含む画像領域および文字列を含む文字領域を抽出し、領域抽出手段によって、文書入力工程で入力された文書情報から、画像領域および文字領域を抽出し、（１）領域抽出工程で抽出した文字領域の文字列から、画像領域の画像に関連づけられるキーテキストを、キーテキスト抽出手段によって抽出するに際して、キーテキスト抽出手段によって画像のキャプションを構成する文字列であるキーキャプションが抽出でき且つキーキャプション中に含まれる画像の番号を表す画像番号語が抽出できた場合は、画像番号語を含むセンテンス単位の文字列であるキーセンテンス、キーセンテンスを含みパラグラフ単位の文字列であるキーパラグラフ、および、キーパラグラフを含むページ単位の文字列であるキーページのうち少なくともいずれかを、キーテキスト抽出手段によってキーテキストとして抽出し、（２）領域抽出工程で抽出した文字領域の文字列から、キーテキストをキーテキスト抽出手段によって抽出するに際して、キーキャプションおよびキーキャプション中に含まれる画像番号語のいずれをもキーテキスト抽出手段によって抽出できない場合、文字領域の文字列から画像が存在する方向または位置を指し示す画像指示語を抽出して画像指示語が抽出できた場合は、画像指示語に基づいて指定されるセンテンス単位の文字列であるキーセンテンス、画像指示語により指定されたキーセンテンスを含むパラグラフ単位の文字列であるキーパラグラフ、およびキーパラグラフを含むページ単位の文字列であるキーページのうちの少なくともいずれかを、キーテキスト抽出手段によってキーテキストとして抽出し、（３）領域抽出工程で抽出した文字領域の文字列から、キーテキストをキーテキスト抽出手段によって抽出するに際して、画像指示語がキーテキスト抽出手段によって抽出できなかった場合は、画像領域と文字領域との距離を算出し、最も距離が小なるパラグラフ単位のキーパラグラフ、および最も距離が小なるキーパラグラフを含むページ単位のキーページのうち少なくともいずれかを、キーテキスト抽出手段によってキーテキストとして抽出する各工程をコンピュータに実行させるためのプログラムをコンピュータに読み取らせることができるという効果を奏する。
【図面の簡単な説明】
【図１】 実施の形態１の画像検索装置のブロック構成図である。
【図２】 図１に示す画像検索装置の概念構成図である。
【図３】 実施の形態１の画像検索装置において、キーテキストを説明するための説明図である。
【図４】 実施の形態１の画像検索装置において、キーテキスト・画像登録処理を示すフローチャートである。
【図５】 実施の形態１の画像検索装置において、領域識別・分割処理を行った結果を示す説明図である。
【図６】 実施の形態１の画像検索装置において、キーテキスト抽出処理を示すフローチャートである。
【図７】 実施の形態１の画像検索装置において、画像検索処理の概略を示すフローチャートである。
【図８】 実施の形態１の画像検索装置において、画像検索結果の表示例を示す説明図である。
【図９】 実施の形態１の画像検索装置において、画像検索結果の表示例を示す説明図である。
【図１０】 実施の形態２の画像検索装置におけるキーテキスト抽出処理を示すフローチャートである。
【図１１】 実施の形態２の画像検索装置において、キーテキスト抽出処理によって抽出されるキーテキストを説明するための説明図である。
【図１２】 実施の形態３の画像検索装置におけるキーテキスト抽出処理を示すフローチャートである。
【図１３】 実施の形態３の画像検索装置において、キーテキスト抽出処理によって抽出されるキーテキストを説明するための説明図である。
【図１４】 実施の形態３の画像検索装置において、画像領域を挟んで本文領域が上下に存在する場合の抽出処理を説明する説明図である。
【図１５】 実施の形態３の画像検索装置において、画像領域を挟んで本文領域が左右に存在する場合のキーテキスト抽出処理を説明する説明図である。
【図１６】 実施の形態４の画像検索装置におけるキーテキスト抽出処理を示すフローチャートである。
【符号の説明】
１００ 登録サーバ
１０１ スキャナ
１０２ 画像ＤＢ
１０３ テキストＤＢ
１０４ 検索サーバ
１０５、１０６、１０７ 検索クライアント
１０８ ネットワーク
２００ 登録処理部
２０１ ２値化処理部
２０２ 領域識別・分割処理部
２０３ 画像ＤＢ登録部
２０４ ＯＣＲ部
２０５ キーテキスト抽出部
２０６ テキストＤＢ登録部
２１０ 検索処理部
２１１ 入力装置
２１２ 出力装置
２１３ 検索要求・結果出力部
２１４ 検索実行部
３００ 文書（１ページ分）
３０１ 画像
３０２ キーキャプション
３０３ キーテキスト
３０４ キーパラグラフ
３０５ キーページ
５０１ 画像領域
５０２ キャプション領域
５０３、５０３ａ、５０３ｂ 本文領域
８００ 画像表示ボタン
Claims (4)
- 画像の検索に用いる文字列をキーテキストと定義し、前記キーテキストを検索対象となる画像毎に用意すると共に、用意したキーテキストおよび対応する前記画像をそれぞれ関連づけて格納しておき、任意の検索語と前記キーテキストとを比較して検索し、検索されたキーテキストに関連づけられた画像を出力する画像検索装置であって、
図、表、写真等の画像および文字列が混在した文書を入力する文書入力手段と、
前記文書入力手段を介して入力した文書から前記画像を含む画像領域および文字列を含む文字領域を認識して抽出する領域抽出手段と、
前記領域抽出手段で抽出した文字領域の文字列から、前記画像領域の画像に関連づけする前記キーテキストを抽出するに際して、前記画像に関連づけする前記キーテキストとして、前記画像のキャプションを構成する文字列であるキーキャプション、前記画像について記述したセンテンスを構成する文字列であるキーセンテンス、前記画像について記述したパラグラフを構成する文字列であるキーパラグラフ、および、前記画像について記述したページを構成する文字列であるキーページのうちの少なくともいずれかを抽出するキーテキスト抽出手段と、
前記領域抽出手段で抽出した画像領域の画像および前記キーテキスト抽出手段で抽出したキーテキストを関連づけて格納する格納手段と、
前記検索語の入力を受け付ける入力手段と、
前記入力手段を介して入力された検索語に基づいて、該当するキーテキストおよび画像を検索する検索手段と、
前記検索手段から検索結果を入力し、入力した検索結果を画面表示する表示手段と、
を備え、
前記キーテキスト抽出手段は、前記キーキャプションを構成する文字列から前記画像に付与された番号を特定する画像番号語をキーテキストとして抽出し、前記格納手段は、前記キーテキスト抽出手段によって抽出された画像番号語と前記領域抽出手段によって抽出された画像領域とを関連づけて格納するものであり、
前記キーテキスト抽出手段は、前記文字領域の文字列から画像が存在する方向または位置を指し示す画像指示語を検索して前記画像指示語を含む文字列をキーテキストとして抽出し、前記格納手段は、前記キーテキスト抽出手段によって抽出された前記画像指示語を含む文字列と、前記画像指示語を含む文字列中に前記画像指示語で示された方向または位置にあって前記画像指示語を含む文字列に最も近い画像領域の画像とを、関連づけて格納するものであり、
前記キーテキスト抽出手段は、前記領域抽出手段が抽出した画像領域と文字領域との距離を算出して最も距離が小なる文字領域をキーテキストとして抽出し、前記格納手段は、前記キーテキスト抽出手段によって抽出された前記最も拒理が小なる文字領域と、前記画像領域の画像とを関連づけて格納するものであり、
前記キーテキスト抽出手段は、前記キーキャプションを抽出できなかった場合、および前記キーキャプションを構成する文字列から前記画像に付与された番号を特定する画像番号語を抽出できなかった場合の少なくともいずれかの場合は、前記画像指示語を検索するものであり、
前記キーテキスト抽出手段は、さらに前記画像指示語を検索できなかった場合は、前記最も距離が小なる文字領域から前記文字領域をキーテキストとして抽出するものであることを特徴とする画像検索装置。 - 図、表、写真等の画像および文字列が混在した文書情報中の前記画像に関連付けられる前記画像の検索に用いる文字列をキーテキスト抽出手段によりキーテキストとして選択し、選択された前記キーテキストおよび検索対象となる前記画像を登録手段によってそれぞれ関連づけてメモリに格納しておき、入力手段から任意の検索語の入力を受け付けた場合、受け付けられた前記検索語と前記メモリに格納された前記キーテキストとを検索実行手段によって比較し、比較により照合した前記キーテキストに、前記登録手段により関連づけられた前記画像を検索し、前記検索実行手段により照合された前記キーテキストおよび検索された前記画像を出力手段により表示手段に出力する画像検索装置における画像検索用キーテキストの生成方法であって、
文書入力手段によって前記文書情報の入力を受け付ける文書入力工程と、
画像情報および文字列情報の特徴に基づいて画像を含む画像領域および文字列を含む文字領域を抽出する領域抽出手段によって、前記文書入力工程で入力された前記文書情報から、前記画像領域および文字領域を抽出する領域抽出工程と、
前記領域抽出工程で抽出した文字領域の文字列から、前記画像領域の画像に関連づけられる前記キーテキストを、前記キーテキスト抽出手段によって抽出するに際して、前記キーテキスト抽出手段によって前記画像のキャプションを構成する文字列であるキーキャプションが抽出でき且つ前記キーキャプション中に含まれる画像の番号を表す画像番号語が抽出できた場合は、前記画像番号語を含むセンテンス単位の文字列であるキーセンテンス、前記前記キーセンテンスを含みパラグラフ単位の文字列であるキーパラグラフ、および、前記キーパラグラフを含むページ単位の文字列であるキーページのうち少なくともいずれかを、前記キーテキスト抽出手段によって前記キーテキストとして抽出し、
前記領域抽出工程で抽出した文字領域の文字列から、前記キーテキストを前記キーテキスト抽出手段によって抽出するに際して、前記キーキャプションおよび前記キーキャプション中に含まれる画像番号語のいずれをも前記キーテキスト抽出手段によって抽出できない場合、前記文字領域の文字列から画像が存在する方向または位置を指し示す画像指示語を抽出して前記画像指示語が抽出できた場合は、前記画像指示語に基づいて指定されるセンテンス単位の文字列であるキーセンテンス、前記画像指示語により指定されたキーセンテンスを含むパラグラフ単位の文字列であるキーパラグラフ、および前記キーパラグラフを含むページ単位の文字列であるキーページのうちの少なくともいずれかを、前記キーテキスト抽出手段によって前記キーテキストとして抽出し、
前記領域抽出工程で抽出した文字領域の文字列から、前記キーテキストを前記キーテキスト抽出手段によって抽出するに際して、前記画像指示語が前記キーテキスト抽出手段によって抽出できなかった場合は、前記画像領域と文字領域との距離を算出し、最も距離が小なるパラグラフ単位のキーパラグラフ、および前記最も距離が小なるキーパラグラフを含むページ単位のキーページのうち少なくともいずれかを、前記キーテキスト抽出手段によって前記キーテキストとして抽出するキーテキスト抽出工程と、
を含むことを特徴とする画像検索用キーテキストの生成方法。 - 前記請求項１に記載の画像検索装置の各手段としてコンピュータを機能させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
- 図、表、写真等の画像および文字列が混在した文書情報中の前記画像に関連付けられる前記画像の検索に用いる文字列をキーテキスト抽出手段によりキーテキストとして選択し、選択された前記キーテキストおよび検索対象となる前記画像を登録手段によってそれぞれ関連づけてメモリに格納しておき、入力手段から任意の検索語の入力を受け付けた場合、受け付けられた前記検索語と前記メモリに格納された前記キーテキストとを検索実行手段によって比較し、比較により照合した前記キーテキストに、前記登録手段により関連づけられた前記画像を検索し、前記検索実行手段により照合された前記キーテキストおよび検索された前記画像を出力手段により表示手段に出力する画像検索装置における画像検索用キーテキストの生成方法の各工程を、コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
文書入力手段によって前記文書情報の入力を受け付ける文書入力工程と、
画像情報および文字列情報の特徴に基づいて画像を含む画像領域および文字列を含む文字領域を抽出する領域抽出手段によって、前記文書入力工程で入力された前記文書情報から、前記画像領域および文字領域を抽出する領域抽出工程と、
前記領域抽出工程で抽出した文字領域の文字列から、前記画像領域の画像に関連づけられる前記キーテキストを、前記キーテキスト抽出手段によって抽出するに際して、前記キーテキスト抽出手段によって前記画像のキャプションを構成する文字列であるキーキャプションが抽出でき且つ前記キーキャプション中に含まれる画像の番号を表す画像番号語が抽出できた場合は、前記画像番号語を含むセンテンス単位の文字列であるキーセンテンス、前記前記キーセンテンスを含みパラグラフ単位の文字列であるキーパラグラフ、および、前記キーパラグラフを含むページ単位の文字列であるキーページのうち少なくともいずれかを、前記キーテキスト抽出手段によって前記キーテキストとして抽出し、
前記領域抽出工程で抽出した文字領域の文字列から、前記キーテキストを前記キーテキスト抽出手段によって抽出するに際して、前記キーキャプションおよび前記キーキャプション中に含まれる画像番号語のいずれをも前記キーテキスト抽出手段によって抽出できない場合、前記文字領域の文字列から画像が存在する方向または位置を指し示す画像指示語を抽出して前記画像指示語が抽出できた場合は、前記画像指示語に基づいて指定されるセンテンス単位の文字列であるキーセンテンス、前記画像指示語により指定されたキーセンテンスを含むパラグラフ単位の文字列であるキーパラグラフ、および前記キーパラグラフを含むページ単位の文字列であるキーページのうちの少なくともいずれかを、前記キーテキスト抽出手段によって前記キーテキストとして抽出し、
前記領域抽出工程で抽出した文字領域の文字列から、前記キーテキストを前記キーテキスト抽出手段によって抽出するに際して、前記画像指示語が前記キーテキスト抽出手段によって抽出できなかった場合は、前記画像領域と文字領域との距離を算出し、最も距離が小なるパラグラフ単位のキーパラグラフ、および前記最も距離が小なるキーパラグラフを含むページ単位のキーページのうち少なくともいずれかを、前記キーテキスト抽出手段によって前記キーテキストとして抽出するキーテキスト抽出工程と、
をコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18161097A JP3694149B2 (ja) | 1997-07-07 | 1997-07-07 | 画像検索装置、画像検索用キーテキストの生成方法、並びにその装置としてコンピュータを機能させるためのプログラムおよびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US09/111,458 US6169998B1 (en) | 1997-07-07 | 1998-07-07 | Method of and a system for generating multiple-degreed database for images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18161097A JP3694149B2 (ja) | 1997-07-07 | 1997-07-07 | 画像検索装置、画像検索用キーテキストの生成方法、並びにその装置としてコンピュータを機能させるためのプログラムおよびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1125113A JPH1125113A (ja) | 1999-01-29 |
| JP3694149B2 true JP3694149B2 (ja) | 2005-09-14 |
Family
ID=16103822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18161097A Expired - Fee Related JP3694149B2 (ja) | 1997-07-07 | 1997-07-07 | 画像検索装置、画像検索用キーテキストの生成方法、並びにその装置としてコンピュータを機能させるためのプログラムおよびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6169998B1 (ja) |
| JP (1) | JP3694149B2 (ja) |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100350789B1 (ko) * | 1999-03-04 | 2002-08-28 | 엘지전자 주식회사 | 이미지 검색시스템의 분위기 칼라 자동추출 및 원래 칼라 조정방법 |
| US6708309B1 (en) * | 1999-03-11 | 2004-03-16 | Roxio, Inc. | Method and system for viewing scalable documents |
| US6813395B1 (en) * | 1999-07-14 | 2004-11-02 | Fuji Photo Film Co., Ltd. | Image searching method and image processing method |
| US6356908B1 (en) * | 1999-07-30 | 2002-03-12 | International Business Machines Corporation | Automatic web page thumbnail generation |
| US7620622B1 (en) | 2001-03-08 | 2009-11-17 | Yahoo! Inc. | Method and system for indexing information and providing results for a search including objects having predetermined attributes |
| US7137064B2 (en) * | 2002-02-02 | 2006-11-14 | International Business Machines Corporation | System and method for facilitating document imaging requests |
| US7050630B2 (en) * | 2002-05-29 | 2006-05-23 | Hewlett-Packard Development Company, L.P. | System and method of locating a non-textual region of an electronic document or image that matches a user-defined description of the region |
| JP2004062804A (ja) * | 2002-07-31 | 2004-02-26 | Ricoh Co Ltd | 画像の分類方法、画像特徴量空間表示方法、プログラムおよび記録媒体 |
| US20040095377A1 (en) * | 2002-11-18 | 2004-05-20 | Iris Technologies, Inc. | Video information analyzer |
| US20040101156A1 (en) * | 2002-11-22 | 2004-05-27 | Dhiraj Kacker | Image ranking for imaging products and services |
| US8775436B1 (en) | 2004-03-19 | 2014-07-08 | Google Inc. | Image selection for news search |
| US7293007B2 (en) * | 2004-04-29 | 2007-11-06 | Microsoft Corporation | Method and system for identifying image relatedness using link and page layout analysis |
| JP4700452B2 (ja) * | 2005-09-16 | 2011-06-15 | 株式会社リコー | 情報管理装置、情報管理方法、情報管理プログラムおよび記録媒体 |
| JP4626509B2 (ja) * | 2005-12-19 | 2011-02-09 | セイコーエプソン株式会社 | 画像一覧表示におけるユーザの利便性向上 |
| US8504932B2 (en) | 2006-04-13 | 2013-08-06 | Shutterfly, Inc. | Image collage builder |
| US7467222B2 (en) * | 2006-05-12 | 2008-12-16 | Shutterfly, Inc. | Image ranking for imaging products and services |
| US20080002225A1 (en) * | 2006-06-27 | 2008-01-03 | Masajiro Iwasaki | Printing control method, printing control device, printing sytem, terminal device, program, and recording medium |
| JP2008040753A (ja) * | 2006-08-04 | 2008-02-21 | Ricoh Co Ltd | 画像処理装置、方法、プログラムおよび記録媒体 |
| JP2008134954A (ja) * | 2006-11-29 | 2008-06-12 | Canon Inc | 情報処理装置、その制御方法、及びプログラム |
| JP4865526B2 (ja) * | 2006-12-18 | 2012-02-01 | 株式会社日立製作所 | データマイニングシステム、データマイニング方法及びデータ検索システム |
| US8140525B2 (en) * | 2007-07-12 | 2012-03-20 | Ricoh Company, Ltd. | Information processing apparatus, information processing method and computer readable information recording medium |
| JP5006764B2 (ja) * | 2007-11-08 | 2012-08-22 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、および記憶媒体 |
| JP5167821B2 (ja) * | 2008-01-11 | 2013-03-21 | 株式会社リコー | 文書検索装置、文書検索方法及び文書検索プログラム |
| JP5239423B2 (ja) | 2008-03-17 | 2013-07-17 | 株式会社リコー | 情報処理装置，情報処理方法，プログラム，および記録媒体 |
| JP5063465B2 (ja) | 2008-04-24 | 2012-10-31 | 株式会社リコー | 文書管理装置、文書管理方法、情報処理プログラム及び記録媒体 |
| JP5188260B2 (ja) | 2008-05-08 | 2013-04-24 | キヤノン株式会社 | 画像処理装置、画像処理方法ならびにそのプログラムおよび記憶媒体 |
| JP5132416B2 (ja) * | 2008-05-08 | 2013-01-30 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
| JP2009301335A (ja) | 2008-06-13 | 2009-12-24 | Ricoh Co Ltd | 画像処理装置、画像処理方法及びコンピュータプログラム |
| JP5736638B2 (ja) | 2008-10-20 | 2015-06-17 | 株式会社リコー | 画像処理装置 |
| JP5274305B2 (ja) * | 2009-02-27 | 2013-08-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム |
| JP2010205060A (ja) * | 2009-03-04 | 2010-09-16 | Nomura Research Institute Ltd | 文書内画像検索方法および文書内画像検索システム |
| US8363888B2 (en) * | 2009-03-18 | 2013-01-29 | Shutterfly, Inc. | Proactive creation of photobooks |
| US8437575B2 (en) * | 2009-03-18 | 2013-05-07 | Shutterfly, Inc. | Proactive creation of image-based products |
| JP5366647B2 (ja) * | 2009-05-13 | 2013-12-11 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
| US20130024208A1 (en) * | 2009-11-25 | 2013-01-24 | The Board Of Regents Of The University Of Texas System | Advanced Multimedia Structured Reporting |
| JP5511450B2 (ja) * | 2010-03-16 | 2014-06-04 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5249387B2 (ja) | 2010-07-06 | 2013-07-31 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US8655893B2 (en) | 2010-07-16 | 2014-02-18 | Shutterfly, Inc. | Organizing images captured by multiple image capture devices |
| JP5652299B2 (ja) * | 2011-03-31 | 2015-01-14 | 大日本印刷株式会社 | 書籍情報検索装置、書籍情報検索システム、書籍情報検索方法およびプログラム |
| JP2013068981A (ja) * | 2011-09-20 | 2013-04-18 | Fujitsu Ltd | 電子計算機及び画像検索方法 |
| GB2513431B (en) * | 2013-04-25 | 2018-12-05 | Testplant Europe Ltd | Method for creating a label |
| US20140351678A1 (en) * | 2013-05-22 | 2014-11-27 | European Molecular Biology Organisation | Method and System for Associating Data with Figures |
| JP6998162B2 (ja) * | 2017-09-12 | 2022-01-18 | ヤフー株式会社 | 抽出装置、抽出方法、及び抽出プログラム |
| US11238215B2 (en) | 2018-12-04 | 2022-02-01 | Issuu, Inc. | Systems and methods for generating social assets from electronic publications |
| CN110413814A (zh) * | 2019-07-12 | 2019-11-05 | 智慧芽信息科技(苏州)有限公司 | 图像数据库建立方法、搜索方法、电子设备和存储介质 |
| JP7439435B2 (ja) * | 2019-09-30 | 2024-02-28 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
| JP7380653B2 (ja) * | 2021-05-31 | 2023-11-15 | 株式会社リコー | 情報処理装置、情報処理方法、情報処理プログラム、情報処理システム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63245556A (ja) * | 1987-03-31 | 1988-10-12 | Toshiba Corp | 図表データ割付け方法 |
| JPH0362169A (ja) | 1989-07-31 | 1991-03-18 | Agency Of Ind Science & Technol | 文書検索方法及び文書検索装置 |
| US5191525A (en) * | 1990-01-16 | 1993-03-02 | Digital Image Systems, Corporation | System and method for extraction of data from documents for subsequent processing |
| US5325297A (en) * | 1992-06-25 | 1994-06-28 | System Of Multiple-Colored Images For Internationally Listed Estates, Inc. | Computer implemented method and system for storing and retrieving textual data and compressed image data |
| JPH06208654A (ja) * | 1993-01-08 | 1994-07-26 | Hitachi Software Eng Co Ltd | ペン入力図形編集システム |
| US5845288A (en) * | 1995-12-11 | 1998-12-01 | Xerox Corporation | Automated system for indexing graphical documents having associated text labels |
-
1997
- 1997-07-07 JP JP18161097A patent/JP3694149B2/ja not_active Expired - Fee Related
-
1998
- 1998-07-07 US US09/111,458 patent/US6169998B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6169998B1 (en) | 2001-01-02 |
| JPH1125113A (ja) | 1999-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3694149B2 (ja) | 画像検索装置、画像検索用キーテキストの生成方法、並びにその装置としてコンピュータを機能させるためのプログラムおよびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US6353840B2 (en) | User-defined search template for extracting information from documents | |
| US7647303B2 (en) | Document processing apparatus for searching documents, control method therefor, program for implementing the method, and storage medium storing the program | |
| US8107727B2 (en) | Document processing apparatus, document processing method, and computer program product | |
| US5821929A (en) | Image processing method and apparatus | |
| US6178417B1 (en) | Method and means of matching documents based on text genre | |
| US6621941B1 (en) | System of indexing a two dimensional pattern in a document drawing | |
| JP2004334334A (ja) | 文書検索装置、文書検索方法及び記憶媒体 | |
| US6061478A (en) | Content-based filing and retrieval system for name cards and hankos | |
| JP2004348706A (ja) | 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム | |
| JP4785655B2 (ja) | 文書処理装置及び文書処理方法 | |
| JPH11250071A (ja) | 画像データベースの構築方法および画像データベース装置並びに画像情報記憶媒体 | |
| JP2004234228A (ja) | 画像検索装置、画像検索装置におけるキーワード付与方法、及びプログラム | |
| JP2004334339A (ja) | 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム | |
| KR20070009338A (ko) | 이미지 상호간의 유사도를 고려한 이미지 검색 방법 및장치 | |
| Shin et al. | Document Image Retrieval Based on Layout Structural Similarity. | |
| JPH0314184A (ja) | 文書画像再配置ファイリング装置 | |
| JP2005151127A5 (ja) | ||
| CN113806472B (zh) | 一种对文字图片和图像型扫描件实现全文检索的方法及设备 | |
| JPH1166196A (ja) | 文書画像認識装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2004151882A (ja) | 情報出力制御方法、情報出力処理システム、プログラム | |
| Diem et al. | Semi-automated document image clustering and retrieval | |
| JPH0744573A (ja) | 電子ファイリング装置 | |
| JPS62106574A (ja) | 文書画像フアイル登録検索方式 | |
| US20140156593A1 (en) | Information processing apparatus, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050325 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050623 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080701 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090701 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100701 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110701 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120701 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120701 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130701 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |