JPH103483A

JPH103483A - 情報検索装置

Info

Publication number: JPH103483A
Application number: JP8177282A
Authority: JP
Inventors: Katsuhiko Itonori; 勝彦糸乘
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1996-06-18
Filing date: 1996-06-18
Publication date: 1998-01-06
Anticipated expiration: 2016-06-18
Also published as: JP3711636B2

Abstract

(57)【要約】【課題】文書画像上の領域を直接指定することにより、
指定した領域に関連する領域の情報を簡便に検索、表示
する装置を実現する。【解決手段】画像入力部により入力した文書画像を文
書領域解析部により文書を構成する領域、例えば文字領
域、図形領域、けい線領域、脚注領域、注釈領域などを
求める。領域指定部により画像中の一部領域を検索用パ
ターンとして指定する。書式指定部により、検索対象の
領域を、文書領域解析部の解析の結果得られた領域の中
から指定する。記号検出部は、領域指定部により指定さ
れた検索用パターンと一致する画像パターンを、書式指
定部によって指定された領域から検出する。領域切り出
し部は、記号検出部により検出された画像パターンに関
連付けられている領域を切り出す。画像表示部は領域指
定部により指定した一部領域の近傍に領域切り出し部に
より抽出された領域の画像を表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データベースに登
録されている情報や同一文書内に記載されている関連あ
る情報を検索する装置に関する。本発明は、具体的に
は、紙面上に印刷された文書を画像として読み込み、簡
便な方法で指定した項目に関連した情報を検索、あるい
は検索・表示する情報検索装置に関する。

【０００２】

【従来の技術】従来、データベースの検索は適当なキー
ワードを機械に指定することにより行われている。ま
た、関連ある情報間にリンクを張り、必要な部分を指定
すると自動的に詳細な情報、あるいは関連性の強い情報
を提示する仕組みが提案されている。これらの従来技術
は、あらかじめ用意されたコード情報（キーワードであ
ればテキスト、情報間のリンクであればリンク先のアド
レス等）を解析することによって実現されている。

【０００３】このような仕組みは、テキストのようなコ
ードデータを対象として提案され、画像データに付いて
も同様な仕組みを提供するためにいくつかの方法が提案
されている。その１つとして、画像データを登録する時
に、画像データと共にその画像の内容を表すテキストデ
ータを同時に登録し、検索時にはこのテキストデータを
使用するものである。この画像が文書であれば、画像の
内容を解析して、文字認識を行い、その認識結果を登録
し、全文検索を行うことになる（特開平７−８５０７４
号公報、特開平６−２８２５８２号公報）。また、この
テキストデータを利用することにより、同一文書中の単
語の検索が容易となるので、文書中の特定の単語を検索
して、関連する情報が記載されている部分を容易に得る
ことができる。

【０００４】また、このように画像全体の内容をテキス
トデータとして変換するのではなく、利用者が適当な部
分を選択し、その選択した一部分のみを文字認識し、そ
の結果を用いて必要なデータをデータベース中から検索
するという方法も提案されている（特開平７−２１０５
７６号公報）。

【０００５】

【発明が解決しようとする課題】しかしながら、データ
ベースなど大量に蓄積されている情報は、コード化され
ているものばかりではなく、画像として蓄積されている
ものも多く、また、利用者が出版物など個人的に登録す
るような場合も、画像で入力することの方がコード化し
て登録する（文書入力装置で入力し直す、あるいは文字
認識装置で入力する）よりは簡単に作業をすることがで
きる。

【０００６】もともと文書は１文書中にいろいろな方法
で関連情報を記載している。例えば、論文などでは参考
文献として、関連する情報を詳細に掲載している文献を
紹介し、しかも本文中には関連性のある適当な部分で参
照すべき参考文献の番号を載せている。読者はこの番号
を頼りに巻末に記載されている参考文献集より、適当な
文献を捜すことができる。

【０００７】また、関連情報として、書中の注釈や図／
表番号などは、本文中に記載されている内容の詳細を知
らせる重要な情報である。例えば、『図ＸＸに示してい
るように、〜は〜』のような記述では、図を見ながら読
みすすめると理解が深まる。また、注釈においても関連
性のある内容を数字（１、２、・・・・）あるいは記号
（＄、§、‡、・・・・）で表し、頁の下部にけい線で
区切った脚注欄に記載したり、章末／巻末に記載したり
といった方法が採られている。

【０００８】このような文書中しかも画像中の関連情報
をたどるには、画像を解析して文字認識を行い、コード
情報に置き換えた上で従来技術を用いて、検索を行うと
いった手段があるが、この方法では画像とコード情報と
の関連性が失われるため、画像上を直接指定して必要な
情報を検索することができず、あらたにキーワードを入
力して情報を検索する必要があった。

【０００９】本発明は、文書画像上の領域を直接指定す
ることにより、指定した領域に関連する領域を情報を簡
便に検索、表示する装置を実現することを課題とする。
また、本発明は、文書画像上の領域を直接指定すること
により、関連情報を求め、この関連情報から検索用情報
を得て、その検索用情報によりデータベース等の検索を
行う情報検索装置を実現することを課題とする。

【００１０】

【課題を解決するための手段】本発明（請求項１）の情
報検索装置は、文書画像を入力する画像入力手段（図１
の１０、図１５の１５０）と、文書画像を表示するため
の画像表示手段（１１、１５１）と、入力された文書画
像内の一部領域を検索用パターンとして指定する指定手
段（１４、１５２）と、前記指定手段によって指定され
た検索用パターンにより前記入力された文書画像内を検
索し、前記指定された検索用パターンと一致する画像パ
ターンが検出されたとき、その画像パターンに関連付け
られた領域を抽出する検索手段（１５と１６、１５３）
とを備えたことを特徴とする。その作用においは、画像
入力手段により入力した画像中の一部領域を、検索用パ
ターンとして指定手段により指定する。検索手段によ
り、その指定した検索用パターンと一致する画像パター
ンを、文書画像中から検出し、その検出した画像パター
ンに関連付けられた領域を切り出す。これにより、本発
明では文書画像上の領域を直接指定して、その領域の情
報に関連する画像情報の領域を簡単に得ることができ
る。

【００１１】また、本発明（請求項２）の情報検索装置
は、文書画像を入力する画像入力手段（１０）と、文書
画像を表示するための画像表示手段（１１）と、入力さ
れた文書画像を解析し、文書画像を構成する領域を求め
る文書領域解析手段（１２）と、入力された画像内の一
部領域を検索用パターンとして指定する第１の指定手段
（１６）と、前記文書領域解析手段により求めた領域の
中から検索の対象となる領域を指定する第２の指定手段
（１３）と、前記第１の指定手段によって指定された検
索用パターンと一致する画像パターンが前記第２の指定
手段により指定された検索対象領域領域内にあるか否か
を検出する検出手段（１５）と、前記指定された検索用
パターンと一致する画像パターンが前記指定された検索
対象領域から検出されたとき、その画像パターンに関連
付けられた領域を切り出す領域切り出し手段（１６）と
を備えたことを特徴とする。上記構成による本発明の作
用においては、画像入力手段により入力した文書画像を
文書領域解析手段により文書を構成する領域、例えば文
字領域、図形領域、けい線領域、脚注領域、注釈領域な
どを抽出する。第１の指定手段により画像中の一部領域
を検索用パターンとして指定する。第２の指定手段によ
り、検索対象の領域を、文書領域解析手段により解析さ
れた結果の領域の中から指定する。第１の指定手段によ
り指定された検索用パターンと一致する画像パターン
を、第２の指定手段によって指定された領域から検出手
段により検出する。領域切り出し手段は検出手段により
検出された画像パターンに関連する領域を切り出す。こ
れにより、本発明では文書画像上の領域を直接指定し
て、その領域の情報に関連する画像情報の領域を簡単に
得ることができる。また、文書領域解析手段により文書
を構成する各種領域を求め、得られた各種領域の中から
検索すべき領域を第２の指定手段により指定できるの
で、検索用パターンに整合する画像パターンをより迅速
に得ることができると共に、確かな関連情報を得ること
ができる。

【００１２】また、上記の情報検索装置の一態様（請求
項３）においては、第１の指定手段は、画像表示手段に
表示された入力画像の表示画面上で前記一部領域を指定
するユーザインタフェースを持ち、画像表示手段は、前
記領域切り出し手段により切り出された領域を、前記表
示画面上で前記一部領域の近傍に表示するよう構成す
る。この構成によれば、関連情報をユーザに一層分かり
易く提示することができる。

【００１３】また、本発明（請求項４）の情報検索装置
は、文書画像を入力する画像入力手段（１５０）と、文
書画像を表示するための画像表示手段（１５１）と、入
力された文書画像内の一部領域を検索用パターンとして
指定する指定手段（１５２）と、前記指定手段によって
指定された検索用パターンにより前記入力された文書画
像内を検索し、前記指定された検索用パターンと一致す
る画像パターンが検出されたとき、その画像パターンに
関連付けられた領域を抽出する関連領域検索手段（１５
３）と、その検索手段により抽出された領域に対する文
字認識を行い、検索用情報を得る文字認識手段（１５
４）と、複数のテキストあるいは画像を蓄積し、検索用
情報を用いて検索する情報蓄積検索手段（１５５）を備
えたことを特徴とする。この情報検索装置の作用におい
ては、画像入力手段により入力した画像中の一部領域
を、検索用パターンとして指定手段により指定する。関
連領域検索手段により、その指定した検索用パターンと
一致する画像パターンを、文書画像中から検出し、その
検出した画像パターンに関連付けられた領域を抽出す
る。文字認識手段は、その抽出された領域に対して文字
認識を行い、認識結果の文字列から検索用情報（例え
ば、認識結果の文字列をキーワードとする検索式）を生
成し、情報蓄積検索手段の検索に用いる。本発明によれ
ば、キーワードなどの検索用情報の入力などの操作を省
略することができ、操作性のよい情報検索装置を実現で
きる。また、本発明によれば、検索した結果が画像情報
であろうとテキストデータであろうと、その操作方法は
同じなので、検索結果の情報の形態を意識することのな
い、操作性のよい情報検索装置を提供できる。

【００１４】以上に説明した各情報検索装置において、
複数の画像を１つの情報単位として処理を行うよう構成
した本発明の態様（請求項５）によれば、実際の紙の文
書を読むのに近い感覚で扱うことができ、操作性のよい
情報検索装置を実現できる。

【００１５】

【発明の実施の形態１】本発明の一実施の形態の情報検
索装置について説明する。図１は、その情報検索装置の
基本構成図である。この装置は、２値画像、特に文書画
像を入力する画像入力部１０と、入力した文書画像を表
示する画像表示部１１と、入力した文書画像を構成する
領域を解析する文書領域解析部１２と、入力した文書画
像の書式を指定する書式指定部１３と、入力した文書画
像の一部領域を指定する領域指定部１４と、指定した領
域内の記号と同一の記号を文書中の別の領域、あるいは
書式指定部１３によって指定された領域から検出する記
号検出部１５と、前記記号検出部１５で検出された記号
を含む領域を、入力した文書画像から切り出す文書領域
切り出し部１６と、画像入力部１０、画像表示部１１、
文書領域解析部１２、書式指定部１３、領域指定部１
４、記号検出部１５、及び文書領域切り出し部１６の動
作を制御する中央制御装置１７、その中央制御装置１７
が各部を制御するためのプログラムなどを格納する記憶
装置１８を備えている。

【００１６】以下、図１を用いて各部の詳しい説明を行
う。まず、画像入力部１０により画像を入力する。これ
は、紙面に印刷された画像をディジタルデータとして入
力するために用いるイメージスキャナのような装置であ
っても、外部のデータベースに登録されている画像を入
力する構成であってもよい。

【００１７】入力された画像は、画像表示部１１に表示
される。利用者は、この画像表示部１１を通して入力さ
れた画像や、作業の状況を知ることができる。

【００１８】また、文書領域解析部１２により、入力さ
れた文書画像を構成する複数の領域を抽出する。例え
ば、図２に示すように、検出される領域は文字領域２
１、図形領域２２、けい線領域２３などである。この文
書領域解析部１２においては、まず画像中の画素連結成
分を抽出することから解析が始まる。

【００１９】画素連結成分は、一般にラベル付け処理
（例えば、通産省工業技術院監修、協同システム開発
（株）発行“画像処理サブルーチン・パッケージＳＰＩ
ＤＥＲＵＳＥＲ’ＳＭＡＮＵＡＬ”，ＰＰＩＩＩ−３
４〜ＩＩＩ−３５参照）として知られる処理によって抽
出することができる。ラベル付け処理は、画素値が１で
ある画素（黒画素）について、図３に示すように画像中
の注目点（ｉ、ｊ）の画素の周辺（ｉ−１、ｊ−１）、
（ｉ、ｊ−１）、（ｉ＋１、ｊ−１）、（ｉ−１、ｊ）
の画素の画素値及びラベル値を調べ、周辺の画素に１以
上のラベル値が与えられていれば、画素（ｉ、ｊ）にそ
のラベル値と同じラベル値を与え、周辺の画素の画素値
がすべて０（白画素）であれば、新しいラベル値を画素
（ｉ、ｊ）に与える処理である。もし、周辺の画素に複
数のラベル値が与えられている時は、その中の最小値を
ラベル値として画素（ｉ、ｊ）に与えて、周辺画素に与
えられているすべてのラベルが同一のラベルであること
を画素連結テーブル４１に記録しておく。例えば、周辺
の画素にラベル値２とラベル値３のラベルがあったとき
には、注目画素のラベルをラベル値２に設定し、ラベル
値２とラベル値３が連結した画素のラベルであることを
画素連結テーブル４１に記録する。最後にこの画素連結
テーブル４１を参照して、すべてのラベルを調整し直し
て、連結している領域ごとに異なるラベルを与える。ラ
ベル付けの様子を図４（ａ）及び（ｂ）、図５に示す。
図４（ａ）では、画像の走査によりラベルを各画素に与
えた結果を示し、同図（ｂ）はその過程で生成される画
素連結テーブル４１を示す。図４（ｂ）の画素連結テー
ブル４１によると、ラベル値２とラベル値３を持つ画素
は連結していることが分かる。したがって、この情報を
元に画素値を更新して図５のように、ラベル値３を持つ
画素をすべてラベル値２に更新する。

【００２０】このように生成されたラベル画像に対し
て、各ラベル毎にその外接矩形６１、６２を求めて、こ
の外接矩形によって画素連結成分を表す。その結果、図
６（ａ）に示す文書画像は図６（ｂ）のように外接矩形
６１、６２によって表現される。次に、この外接矩形の
面積、縦横比によって各外接矩形の属する領域を判定す
る。例えば、文書画像の大半を占める文字の外接矩形６
１より図形を表現する画像の外接矩形６２の方が面積が
大きい。また、けい線は細長い線分なので、外接矩形の
幅を高さで割った値は極端に大きな値を取る。このよう
な処理は適当な閾値を設けることで簡単に行うことがで
きる。図形領域として判定するための閾値Ｇ（面積）
は、本文中で用いられている最大文字サイズが２４ポイ
ント、最小文字サイズが６ポイントであれば、Ｇ＝７
０．５（平方ｍｍ）、またけい線は３文字以上の長さを
持つと仮定すると、けい線領域を判定する閾値Ｒ（縦横
比）はＲ＝１２と設定することができる。したがって、
閾値Ｇより大きい面積を持つ外接矩形を図形領域、閾値
Ｒより大きい縦横比を持つ外接矩形をけい線領域とす
る。

【００２１】更に、ここで求めた図形領域とけい線領域
に対して処理を行う。図形領域に関しては、図を説明す
るキャプション部分も図形領域に含まれるように領域を
拡張する。図形領域の拡張は、閾値Ｈを設定して図形領
域に近い文字矩形を含むように図形領域を拡張する。こ
の閾値Ｈは、文書中で使用される最大文字サイズを２４
ポイントとすると、その１／３の値Ｈ＝２．８ｍｍとし
て設定することができる。したがって、文書画像中のす
べての外接矩形と図形領域の間の距離を計算して、閾値
Ｈより近接している矩形を図形領域として統合する。こ
の処理により、図形領域内に、そのキャプションを取り
込むことができる。

【００２２】次に、けい線領域に関しては、けい線の下
側には脚注が存在すると判断して、けい線領域２３より
下側にある外接矩形をすべて統合して脚注領域７１（図
７）とする。ただし、けい線領域は文書画像中のあらゆ
る部分（文書の最上部、本文中など）に記入されている
と考えられるので、ここでは脚注として可能性の高い、
文書画像の下側１／２に含まれるけい線領域を対象とし
て、その下側に存在する外接矩形を統合して１つの領域
７１として生成する（図７）。

【００２３】図２では、これらの外接矩形をさらに統合
を進めて、文字だけの領域２１を検出しているが、本発
明では文書全体に対するこれ以上の統合処理は必要ない
ので、外接矩形の統合処理は文書領域解析部１２では行
わない。文書領域解析部１２で得られたすべての外接矩
形の位置と大きさ、それとけい線領域、脚注領域と図形
領域の位置を記憶装置１８に記憶する。

【００２４】次に、書式指定部１３によって入力した文
書画像の注釈位置を指定する。注釈の書かれている場所
としては、脚注あるいは節末／章末があるので、入力さ
れた文書画像ではどちらに書かれているかを、利用者に
指定してもらう。このとき、脚注が指定されると、記憶
装置１８に記憶されている脚注領域を注釈領域として記
憶し直しておく。

【００２５】また、節末／章末が指定された時は、さら
に注釈領域を利用者に指定をしてもらう。例えば、図８
のようにマウスカーソル８１を用いて注釈の開始位置８
２と終了位置８３を指定することができる。まず、マウ
スカーソル８１を注釈の開始位置８２に移動してから、
マウスボタンを押し下げることで注釈の開始位置を指定
し、次にマウスカーソル８１を注釈の終了位置８３に移
動して、同様にマウスボタンを押し下げることで注釈の
終了位置を指定する。ここで指定された注釈開始位置８
２と注釈終了位置８３の間に存在する、文書領域解析部
１２で抽出した外接矩形を統合し、注釈領域として記憶
装置１８に記憶する。

【００２６】以上のようにして記憶装置１８に記憶され
ている入力画像の解析結果を用いて、文書画像内の注釈
番号あるいは図番号と関連する画像を検索して表示を行
う。以下に、注釈番号あるいは図番号を指定して、関連
する画像を表示するまでの手順を説明する。

【００２７】まず、利用者が領域指定部１４により画像
表示部１１上に表示されている画像の一部領域９１を指
定する。指定の方法は、例えば図９に示すようにマウス
カーソル８１を使用して、画像上の一部分を囲むように
する。更に詳しくは、指定したい領域の左上の角にマウ
スカーソル８１を移動してマウスボタンを押し下げ、そ
のまま指定したい領域の右下までマウスカーソル８１を
移動しマウスボタンを離すことで領域９１を指定するこ
とができる。

【００２８】領域指定部１４により指定された領域内の
画像は切り出され、記憶装置１８に記憶される。記号検
出部１５では、領域指定部１４で指定された領域内の画
像パターンの表す記号に一致する記号を領域解析部１２
で抽出された図形領域内の画像と注釈領域内の画像から
検出する。このとき、領域指定部１４で指定された領域
内に、参照を示す記号が存在する保証はないので、領域
指定部１４では、簡単な文字認識を行い、参照を示す記
号以外であれば警告して利用者に適当な領域を指定する
ように促すことも可能である。ここで、簡単な文字認識
とは、参照を表す記号が数種類の文字（数字、”
図”、”表”、”＊”、”＄”、等の文字）に限定され
るため、これらの文字だけを対象とした小さな認識辞書
による文字認識である。

【００２９】具体的に記号の検出は、記憶装置１８に記
憶された領域指定部１４により指定された領域の画像
を、検索対象となっている文書領域解析部１２によって
抽出された図形領域又は注釈領域の指定の領域内の画像
に重ね合わせ、画素値が一致する画素数をカウントす
る。記憶装置１８に記憶されている記号画像の全画素数
に対する画素値が一致した画素数の割合を画像の一致度
として、図形領域あるいは注釈領域全体に対して順次重
ね合わせて、一致度の最も高い部分を検出することで記
憶装置１８に記憶された記号と同一の記号を検出する。
また、文書領域解析部１２で抽出した画素連結成分を利
用して、図形領域あるいは注釈領域内の画素連結成分ご
とに前記の検出方法を行うことで同様に記号位置を検出
することもできる。このとき、図形領域内の図形として
判断される大きさ（面積）を持つ画素連結成分の外接矩
形を、検索対象から除外することで処理時間を短縮する
ことができる。

【００３０】しかし、領域指定部１４で指定された領域
内の文字サイズと、検索対象となる図形領域あるいは注
釈領域内の文字サイズが異なる場合には、上記の記号検
出部１５ではうまく記号を検出できない場合がある。そ
のため、記憶装置１８に記憶された図形領域あるいは注
釈領域内の画素連結成分の外接矩形のサイズと一致する
ように、記憶装置１８に記憶された指定領域の画像を変
形することで、この問題を解決することができる。

【００３１】上記のようにして検出された記号は、その
位置と検出された位置を含む領域を記憶装置１８に記憶
する。文書領域切り出し部１６では、記憶装置１８に記
憶された、記号検出部１５で検出された記号位置を含む
図形領域あるいは注釈領域を文書画像２０から切り出
し、さらに記号検出位置に記号検出位置マーク１０１を
付加した参照位置画像１０２を生成する。この文書領域
切り出し部１６で生成した参照位置画像１０２を指定領
域の近傍に、画像表示部１１によって表示を行う。この
様子を図１０では図番号が指定された場合、図１１では
注釈記号が指定された場合を示す。

【００３２】以上の操作により、入力した文書画像中に
記載されている関連情報を取り出し、表示することがで
きる。また、表示される関連情報は画像なので、関連情
報内にさらに参照する情報が存在すれば、同様の処理に
より表示することも可能である。

【００３３】本実施形態では、簡単に説明するためにあ
たかも１画像について操作しているように説明している
が、実際には複数の画像で１つの文書を構成している場
合が多い。そのため、複数の画像を１つの情報の単位と
して扱う仕組みが必要である。このような仕組みに関し
ては、１つの画像ファイルの先頭に幾つの画像が格納さ
れているかの情報を記述して、１つのファイルに複数の
画像を格納する方法がある。

【００３４】また、図１２のように１つの文書がどの画
像から構成されているかを示すために、文書名、頁数、
画像ＩＤ等を有する文書画像インデックス情報１２１を
作成し、この文書画像インデックス情報１２１によって
画像の表示、検索を行うこともできる。なお、この方法
によれば、注釈の記載されている頁番号を文書画像イン
デックス情報１２１に登録することで、書式指定部１３
を省略することができる。

【００３５】このように複数の画像を１つの文書として
扱い可能とすることで、指定した図番号あるいは注釈記
号の参照場所が、別の頁に存在していても、必要な参照
情報を即座に表示することが可能となる。図１３、図１
４に別頁に記載されている参照情報を表示している例を
示す。図１３は図番号の領域９１を指定し、別頁の対応
する図面の画像１０２を表示している様子を示してい
る。図１４は注釈の領域９１を指定し、別頁の対応する
注釈の画像１０２を表示している様子を示している。以
上の操作により、複数画像によって構成され、同一画像
中にない関連情報を取り出し、表示することができる。

【００３６】以上に説明した本発明の第１の実施の形態
によれば、画像中の一部を指定して、指定した領域に記
述されている記号に関連する情報を記述している領域を
切り出して、指定した領域の近傍に表示するようにした
ので、テキストデータと同様の操作性で文書中の情報を
検索することができると共に、関連情報を分かり易い位
置に自動的に表示できる操作性のよい情報検索装置を提
供できる。

【００３７】更に、本発明の第１の実施の形態によれ
ば、複数の画像を１つの情報単位として扱うことができ
るようにしたので、実際の紙の文書を読むのに近い感覚
で扱うことのできる操作性のよい情報検索装置を提供で
きる。

【００３８】

【発明の実施の形態２】図１５は、本発明の第二の実施
の形態による情報検索装置の基本構成図である。この情
報検索装置は、２値画像を入力する画像入力部１５０
と、入力した画像を表示する画像表示部１５１と、入力
した画像の一部領域を指定する領域指定部１５２と、指
定した領域内の記号と同一の記号を画像中のほかの部分
から検出し、検出した記号に対応する関連領域を求める
関連領域検索部１５３と、検出した記号に対応する関連
領域内の文字を認識する文字認識部１５４と、文字認識
の結果をキーワードとして情報を検索する情報蓄積検索
部１５５と、画像入力部１５０、画像表示部１５１、領
域指定部１５２、関連領域検索部１５３、文字認識部１
５４、及び情報蓄積検索部１５５等の動作を制御する中
央制御装置１５６と、中央制御装置１５６が各部を制御
するためのプログラム等を格納する記憶装置１５７を備
えた構成を有している。

【００３９】なお、本実施形態では論文を対象としてそ
の参考文献を検索するように記述されているが、論文ば
かりではなく一般の文書で、記号を使って他文書の情報
との対応を取って関連づけているものについても同様の
方法で他文書の情報の検索が可能である。

【００４０】以下、図１５を用いて各部の詳しい説明を
行う。まず、画像入力部１５０により画像を入力する。
これは、紙面に印刷された画像をディジタルデータとし
て入力するために用いるイメージスキャナのような装置
であっても、情報蓄積検索部１５５のように予め蓄積さ
れている画像データを入力する装置であってもよい。

【００４１】入力された画像は、画像表示部１５１に表
示される。利用者は、この画像表示装置を通して入力さ
れた画像や、作業の状況を知ることができる。

【００４２】次に、領域指定部１５２により画像表示部
１５１上に表示されている画像の一部領域１６２（図１
６）を指定する。指定の方法は、例えば図１６に示すよ
うにマウスカーソル１６１を使用して、画像上の一部分
を囲むようにする。さらに詳しくは、指定したい領域の
左上の角にマウスカーソルを移動してマウスボタンを押
し下げ、そのまま指定したい領域の右下までマウスカー
ソルを移動しマウスボタンを離すことで領域１６２を指
定することができる。

【００４３】領域指定部１５２により指定された領域内
の画像は検索用画像パターンとして切り出され、記憶装
置１５７に一時的に記憶される。その検索用画像パター
ンの内容は例えば参照を示す記号（数字（１），（２）
や記号＄，§…など）である。関連領域検索部１５３で
は、領域指定部１５２で指定された検索用画像パターン
（記号画像）に対応する項目を文書中の別の部分から検
出し、記号が示す参照の参照先が記述してある部分を抽
出する。一般に、このような参照を示す記号に対応する
項目は、この記号が記述された部分より文書の後ろ側に
出現することが多い。したがって、関連領域検索部１５
３は、入力画像の後ろ側から切り出した記号画像とのマ
ッチングを行い、一致した部分を検出する。この場合、
利用者により指定される領域内に適当な記号が存在する
保証はないので、指定領域内の記号を文字認識部１５４
により文字認識を行い、記号のコード以外である場合に
は警告をして利用者に適当な領域を指定するように促す
こともできる。また、記号に対応する項目は、図１７の
ように記号を文頭に置き、対応する項目が記号に続いて
書かれるため、画像の左端を優先的に検索して選択した
記号にマッチングする項目を捜して、検出の時間を短縮
することもできる。

【００４４】具体的に記号の検出は、記憶装置１５７に
記憶された検索用画像パターンを検索対象となっている
文書画像に重ね合わせ、画素値が一致する画素数をカウ
ントする。検索用画像パターンの全画素数に対する画素
値が一致した画素数の割合を画像の一致度として、検索
対象画像全体に対して記号画像を順次重ね合わせて、一
致度の最も高い部分を検出することで検索用画像パター
ンの表す記号と同一の記号を表す画像部分を検出する。
また、検索対象画像の黒画素で構成される連結領域を抽
出して、この連結領域毎に検索用画像パターンとの一致
度を調べることにより検出することもできる。

【００４５】しかし、領域指定部１５２で指定された領
域内の記号が肩文字などの本文の文字サイズ（参考文献
を記述している文字サイズ）と異なるサイズで記述され
ている場合には、上記の関連領域検索部１５３ではうま
く記号を検出できない場合がある。そのため、記憶装置
１５７に記憶されている画像の大きさを本文文字のサイ
ズと一致するように変形させることで、この問題を解決
する。具体的には、まず、検索対象の画像全体の画素の
横方向への周辺分布を作成する。この周辺分布におい
て、画素の存在しない部分に挟まれる領域が文字行に相
当するので、この領域の高さに合わせるように、記憶装
置１５７に記憶されている画像の大きさを変形すること
で、関連領域検索部１５３の精度を向上させることがで
きる。

【００４６】次に、関連領域検索部１５３は先に検出し
た項目の周辺を解析して、記号に対応する文字列を切り
出す。この文字列の切り出し方法は、検出された項目の
周辺において、画像の横方向への周辺分布１７２を作成
し、画素の存在しない部分に挟まれる領域が文字行に相
当するので、記号検出位置に対応する文字行の部分１８
１を切り出す。なお、関連領域検索部１５３で、記憶装
置１５７に記憶されている画像を周辺分布を用いて変形
している場合には、関連領域検索部１５３で用いた周辺
分布をそのまま使用することができる。

【００４７】この切り出された文字行の部分１８１（図
１８）には、例えば論文であれば参考文献の著者名、タ
イトル等が書かれている。この切り出した文字行の部分
を文字認識部１５４により認識し、著者名、タイトル、
所属等を表すコード情報を得る。ただし、文献の記載が
１行で終わる保証はなく、記号が検出された部分の周辺
を解析して、文頭のインデントなどの情報によって、参
考文献の記載が複数行にわたっているか調べる必要があ
る。

【００４８】例えば、記号に対応する項目が記述されて
いる行を切り出した後、この行の先頭位置（Ｘ座標）Ｒ
１を測定して記憶装置１５７に記憶する。次に今検出し
た行の次の行を周辺分布の情報から切り出し、その行の
先頭位置を測定してＲ２とする。今、切り出した２つの
行が同じ位置から始まっていれば、次の行は別の項目を
示していると判断できるが、下側の行の方が右側（Ｒ１
＜Ｒ２）から始まっているなら、下側の行は前の行の続
きであると判断できる。したがって、Ｒ１＜Ｒ２である
場合、記号に対応する項目が記述されている行とその次
の行を切り出す。また、２行以上であっても同様に行の
連結性を検査することができるので、３行以上に渡って
行が連結している場合でも、同様に切り出すことができ
る（図１８参照）。

【００４９】関連領域検索部１５３で切り出した領域
は、文字認識部１５４で認識され文字コードに変換され
る。文字認識の方法は、一般的な方法でよく、特別な手
法は必要でない。具体的には、予め文字種類全てに対し
て、画像的な特徴量を計算しておき辞書を作成してお
く。入力となる文字についても同じ特徴量を計算して、
求めた特徴量と辞書に記憶された特徴量とを比較して、
最も近い文字を出力する。

【００５０】このようにして求めた文字コードには、数
％程度の認識誤りが含まれている。この誤りをそのまま
にしておくと、情報が検索できない場合があるので、認
識誤りを補う必要がある。最近の文字認識手法では、認
識結果の正しさの程度を数値で表せるので、この情報を
用いて正しさが低い文字については、その文字をワイル
ドカード（どの文字を当てはめてもよい特別な記号）を
表す記号と置き換えて、情報蓄積検索部１５５に渡し
て、検索を行うことで、文字認識の認識誤りを補うこと
ができる。例えば、文字認識の結果『あした』という文
字列を得て、このうち『し』の文字の認識の正しさが低
いとする。ここで、ワイルドカードを表す記号が『＊』
であるとすると、この文字列は『あ＊た』という文字列
に置き換えられることになる。この置き換えにより、こ
の文字列と一致する文字列は『あした』のほかに『あな
た』、『あきた』などがある。この方法は、数文字程度
の単語では一致する単語が複数出現するので検索には有
効な方法ではないが、論文のタイトルなど、ある程度長
い文字列に対しては、一致する文字列が少なくなるの
で、簡単で有効な手段となる。

【００５１】文字認識部１５４によって得られた文字列
は、著者名、タイトルなどの属性の異なる情報が盛り込
まれているので、これらを分離してから情報蓄積検索部
１５５に入力する必要がある。そのため、それぞれの属
性を分離している『：』や『、』『；』など
の文字で分割して、それぞれの文字をＡＮＤ条件で情報
蓄積検索部１５５の入力とする。例えば、文字認識部１
５４の結果、図１９に示すように、『山田太郎：ＸＸに
基づく検索装置：Ｋ学会』の文字列１９１が得られたと
すると、『：』や『、』のセパレータで区切っ
て、『”山田太郎”ＡＮＤ”ＸＸに基づく検索装置”Ａ
ＮＤ”Ｋ学会”』という検索式１９５に変換する。

【００５２】また、書誌情報の並びは各文書によって一
意に決定できる。例えば、ある文書では『タイトル：著
者名：所属』の並びで記載されてることもあるし、別の
文献では『著者名：タイトル：出版社』の並びで記載さ
れている。この情報は、一文書内では変わることがない
ので、事前にこの情報を知ることができれば、より正確
な検索を情報蓄積検索部１５５において実施することが
できる。例えば、図１９で例示している文字列１９１の
場合、その書誌情報は『著者名：タイトル：出版社』の
順番で記載されているので、著者名として山田太郎、文
献のタイトルとして”ＸＸに基づく検索装置”、出版社
としてＫ学会を指定して、その検索式は『（著者名：”
山田太郎”）ＡＮＤ（タイトル：”ＸＸに基づく検
索装置”）ＡＮＤ（出版社：”Ｋ学会”）』とすること
ができる。このような書誌情報は、画像を入力した時点
で、利用者が指定することもできるし、情報蓄積検索部
１５５に既に蓄積されている画像であれば、その画像情
報（画像の幅や高さや生成された日付などの情報）に追
加しておくことも可能である。

【００５３】この検索式を用いて情報蓄積検索部１５５
に蓄積されている情報を検索し、必要な情報を出力す
る。ここで、情報蓄積検索部１５５はシステム内に存在
する必要はなく、ネットワークで接続されて遠隔地に存
在する利用可能なデータベースを利用してもよい。

【００５４】以上の操作により、入力した文書画像中に
存在する関連情報項目を取り出し、それにより関連情報
を検索して表示することができる。また、検索した結果
がテキストデータであっても、画像データであっても同
じ操作手順により、さらに情報の検索を行うことができ
る。すなわち、検索した結果が画像情報であれば、上記
の方法でさらに検索を進めることができる。検索した結
果がテキストデータであれば、参考文献番号をマウスで
指定して、テキスト内から一致する文字を検索する。こ
れは、一般的な文書作成装置などで用いられている文字
探索方法を使用することができる。また、テキストデー
タであれば検索した行の文字列を取り出し、文字認識を
する必要もなく検索式を作ることができる。

【００５５】また、文書を表すようなデータは、ほとん
どが複数ページにわたって記述されているのが普通であ
る。本実施形態では、簡単に説明するためにあたかも１
画像について操作しているように記述しているが、実際
には複数の画像を１つの文書として扱い、複数の画像を
１つの情報の単位として扱う仕組みが必要である。この
ような仕組みに関しては、１つの画像ファイルの先頭に
幾つの画像が格納されているかの情報を記述して、１つ
のファイルに複数の画像を格納する方法がある。したが
って、本実施例の関連領域検索部１５３は、最終頁を表
す画像からマッチングを始めることになる。

【００５６】また、第１の実施の形態において図１２に
より説明したのと同様に、１つの文書がどの画像から構
成されているかを示す文書画像インデックス情報１２１
を作成し、この文書画像インデックス情報１２１によっ
て画像の表示、検索を行うこともできる。なお、この方
法によれば、参考文献集の記載されている頁番号を文書
画像インデックス情報１２１に登録することで、関連領
域検索部１５３は指定されている画像についてのみ処理
を行えばいいので、処理時間を短縮することができる。

【００５７】以上説明したように、本発明の上記実施の
形態によれば、画像中の一部を指定して、指定した領域
に記述されている内容に関連する項目を検出し、検出さ
れた項目に対してのみ文字認識を行い、文字認識した結
果から検索式を生成して情報を検索するようにしたの
で、キーワードの入力などの操作を省略でき、操作性の
よい情報検索装置を実現できる。

【００５８】また、本実施の形態によれば、検索した結
果が画像情報であろうとテキストデータであろうと、そ
の操作方法は同じなので、検索結果の情報の形態を意識
することのない、操作性のよい情報検索装置を提供でき
る。

【００５９】さらに、本実施の形態によれば、複数の画
像を１つの情報単位として扱うことができるようにした
ので、実際の紙の文書を読むのに近い感覚で扱うことの
できる操作性のよい情報検索装置を提供できる。

【００６０】

【発明の効果】本発明（請求項１）によれば、文書画像
上の領域を直接指定して、その領域の情報に関連する画
像情報の領域を簡単に得ることができる。

【００６２】また、本発明（請求項２）によれば、請求
項１の発明と同様に、文書画像上の領域を直接指定し
て、その領域の情報に関連する画像情報の領域を簡単に
得ることができる。また、文書領域解析手段により文書
を構成する各種領域を求め、得られた各種領域の中から
検索すべき領域を第２の指定手段により指定できるの
で、検索用パターンに整合する画像パターンをより迅速
に得ることができると共に、確かな関連情報を得ること
ができる。

【００６３】また、本発明（請求項３）によれば、表示
画面上で指定した検索用パターン領域の近傍に、関連画
像を表示するようしたので、関連情報をユーザに一層分
かり易く提示することができる。

【００６４】本発明（請求項４）によれば、検索用情報
の入力のための操作を省略することができ、操作性のよ
い情報検索装置を実現できる。また、本発明によれば、
検索した結果が画像情報であろうとテキストデータであ
ろうと、その操作方法は同じなので、検索結果の情報の
形態を意識することのない、操作性のよい情報検索装置
を提供することができる。

【００６５】以上に説明した情報検索装置において、複
数の画像を１つの情報単位として処理を行うよう構成し
た本発明の態様（請求項５）によれば、どの画像を検索
対象とすればよいかが特定できるので、処理時間を短縮
することができ、また、実際の紙の文書を読むのに近い
感覚で扱うことができ、操作性のよい情報検索装置を実
現できる。

【図面の簡単な説明】

【図１】本発明の実施の形態１の基本構成図

【図２】文書を構成する領域を説明するための図

【図３】画像のラベル付けのための走査方法を説明する
ための図

【図４】（ａ）及び（ｂ）は画像のラベル付けを説明す
るための図

【図５】画像のラベル付けを説明するための図

【図６】（ａ）及び（ｂ）はラベルの外接矩形によって
表した画像を説明するための図

【図７】文書領域解析部によって抽出される領域を説明
するための図

【図８】節末／章末における注釈領域の指定方法を説明
するための図

【図９】領域指定部による領域指定を説明するための図

【図１０】図番号を指定した場合の参照位置画像の表示
を説明するための図

【図１１】注釈記号を指定した場合の参照位置画像の表
示を説明するための図

【図１２】複数の画像によって構成される文書の管理方
法を説明するための図

【図１３】複数画像の文書において図番号を指定した場
合の参照位置画像の表示を説明するための図

【図１４】複数画像の文書において注釈記号を指定した
場合の参照位置画像の表示を説明するための図

【図１５】本発明の実施の形態２の基本構成図

【図１６】領域指定部による領域指定を説明するための
図

【図１７】指定された記号に対応する項目及び記号検出
位置周辺における周辺分布を示す図

【図１８】複数行で記載されている文献項目を切り出す
方法を説明するための図

【図１９】認識結果を検索式に変換する方法を説明する
ための図

【符号の説明】

１０…画像入力部、１１…画像表示部、１３…書式指定
部、１４…領域指定部、１５…記号検出部、１６…文書
領域切り出し部、１７…中央制御装置、１８…記憶装
置、２０…文書画像、２１…文字領域、２２…図形領
域、２３…けい線領域、４１…画素連結テーブル、６１
…外接矩形、７１…脚注領域、８１…マウスカーソル、
８２…注釈開始位置指定マーク、８３…注釈終了位置指
定マーク、９１…指定領域、１０１…記号検出位置マー
ク、１２１…文書画像インデックス情報、１５０…画像
入力部、１５１…画像表示部、１５２…領域指定部、１
５３…関連領域検索部、１５４…文字認識部、１５５…
情報蓄積検索部、１５６…中央制御装置、１５７…記憶
装置、１６０…画像、１６１…マウスカーソル、１６２
…指定領域、１７１…記号検出位置、１８１…１つの文
献を記載した領域、１９１…文字認識部１４による認識
結果、１９２…著者名に対応する文字列、１９３…文献
名に対応する文字列、１９４…出版社に対応する文字
列、１９５…１９２、１９３、１９４の文字列を組合せ
た検索式。

Claims

【特許請求の範囲】

【請求項１】文書画像を入力する画像入力手段と、文書画像を表示するための画像表示手段と、入力された文書画像内の一部領域を検索用パターンとし
て指定する指定手段と、前記指定手段によって指定された検索用パターンによ
り、前記入力された文書画像内を検索し、前記指定され
た検索用パターンと一致する画像パターンが検出された
とき、その画像パターンに関連付けられた領域を抽出す
る検索手段とを備えたことを特徴とする情報検索装置。
【請求項２】文書画像を入力する画像入力手段と、文書画像を表示するための画像表示手段と、入力された文書画像を解析し、文書画像を構成する領域
を求める文書領域解析手段と、入力された画像内の一部領域を検索用パターンとして指
定する第１の指定手段と、前記文書領域解析手段により求めた領域の中から検索の
対象となる領域を指定する第２の指定手段と、前記第１の指定手段によって指定された検索用パターン
と一致する画像パターンが前記第２の指定手段により
指定された検索対象領域領域内にあるか否かを検出する
検出手段と、前記指定された検索用パターンと一致する画像パターン
が前記指定された検索対象領域から検出されたとき、そ
の画像パターンに関連付けられた領域を切り出す領域切
り出し手段とを備えたことを特徴とする情報検索装置。
【請求項３】第１の指定手段は、画像表示手段に表示
された入力画像の表示画面上で前記一部領域を指定する
ユーザインタフェースを持ち、画像表示手段は、前記領域切り出し手段により切り出さ
れた領域を、前記表示画面上で前記一部領域の近傍に表
示することを特徴とする請求項１記載の情報検索装置。
【請求項４】文書画像を入力する画像入力手段と、文書画像を表示するための画像表示手段と、入力された文書画像内の一部領域を検索用パターンとし
て指定する指定手段と、前記指定手段によって指定された検索用パターンにより
前記入力された文書画像内を検索し、前記指定された検
索用パターンと一致する画像パターンが検出されたと
き、その画像パターンに関連付けられた領域を抽出する
関連領域検索手段と、その関連領域検索手段により抽出された領域に対する文
字認識を行い、検索用情報を得る文字認識手段と、複数のテキストあるいは画像を蓄積し、検索用情報を用
いて蓄積情報を検索する情報蓄積検索手段とを備えたこ
とを特徴とする情報検索装置。
【請求項５】請求項１ないし４のいずれか１項記載の
情報検索装置において、複数の画像を１つの情報単位と
して処理を行うことを特徴とするもの。