JP3912463B2 - 論理構造抽出装置及び論理構造抽出方法 - Google Patents
論理構造抽出装置及び論理構造抽出方法 Download PDFInfo
- Publication number
- JP3912463B2 JP3912463B2 JP27498598A JP27498598A JP3912463B2 JP 3912463 B2 JP3912463 B2 JP 3912463B2 JP 27498598 A JP27498598 A JP 27498598A JP 27498598 A JP27498598 A JP 27498598A JP 3912463 B2 JP3912463 B2 JP 3912463B2
- Authority
- JP
- Japan
- Prior art keywords
- logical structure
- area
- region
- logical
- division
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、文書画像から論理構造を抽出する論理構造抽出装置および論理構造抽出方法に関するものである。
【０００２】
【従来の技術】
近年、紙等に印刷された文書を画像読取装置等で電子化し、活用しようとする試みが盛んに行われている。電子化された文書を利用する際に用いられる技術の一つとして文字認識がある。文字認識は、電子化された文書画像からテキスト情報を抽出する技術である。抽出したテキスト情報は、例えば他の文書に再利用したり、全文検索などに利用されている。
【０００３】
文字認識には、前処理として、文書画像をテキスト領域、図形領域などに正確に分離する領域分割と呼ばれる処理が必要であり、従来、文書画像の様々な特徴量を用いた領域分割手法が提案されてきた。例えば、秋山ほか，「周辺分布、線密度、外接矩形特徴量を併用した文書画像の領域分割」，電子通信学会論文誌（Ｄ−ＩＩ），Ｖｏｌ．Ｊ８６−Ｄ，Ｎｏ．８，ｐｐ．１１８７−１１９６，１９８６、田中ほか，「文書画像の書式解析」，電子通信学会研究報告ＰＲＵ８６−１１５，ｐｐ．３３−４０，１９９６、特開平５−２６６２４９号公報、特開平５−２７７４７２号公報、特開平５−２９０２１１号公報、特開平７−７３２７１号公報など、多数の文献に各種の手法が提案されている。
【０００４】
しかしながら、文書には様々なレイアウトのものがあり、あらゆる文書に対応できる領域分割手法はこれまでに開発されていない。また、学術論文などのように同じようなレイアウトの文書であっても、文字サイズ、文字間隔、行間隔などが微妙に異なっている。そのため、レイアウトがほとんど同じ文書に対して同一の領域分割手法を適用しても、領域分割結果は異なってしまう。
【０００５】
一方、文書画像の各領域の幾何学的特徴や文字認識結果などを利用して文書の論理構造を抽出し、より高度な文書処理を行おうとする試みがある。例えば、山田，「文書画像のＯＤＡ論理構造化文書への変換方式」，電子通信学会論文誌（Ｄ−ＩＩ），Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ，Ｎｏ．１１，ｐｐ．２２７４−２２８４，１９９３には、文書画像から抽出した各領域の幾何学的特徴と、予め登録してある文書クラスの幾何学的特徴とのマッチング処理によって論理構造を生成する方法が記載されている。また、例えば特開平８−６９４５号公報には、文書画像中の各行単位で辞書パターンとのマッチング処理を行い、その結果を用いて文書の論理構造を解析する方法が記載されている。
【０００６】
しかし、これらの手法を含め、これまでに提案されている論理構造抽出手法では、実際に論理構造抽出手段において論理構造を抽出する前に、その論理構造抽出手段が想定している幾何学的構造に文書画像が領域分割されている必要があった。
【０００７】
しかしながら、上述のように、単一の領域分割手法あるいは領域分割パラメータでは、様々な文書に対して所望の領域分割結果を得ることは不可能に近い。そのため、例えば特開平９−１１４９２３号公報では、このような領域分割の困難さを指摘し、同一の文書画像を２つ以上のパラメータあるいは方法で領域分割し、複数の領域分割結果をユーザに提示し、ユーザに選択させる領域分割装置を提案している。しかし、この文献に記載されている領域分割装置では、領域分割結果の選択をユーザが行わなければならないため、最終的な目的である文字認識あるいは論理構造抽出までを自動的に行うことができず、ユーザの負担が重くなるという欠点がある。また、２つ以上の領域分割結果をコンピュータのメモリ上に記憶する必要があり、占有する記憶容量の増大を招き、システム全体の処理速度が低下する恐れがあるという問題もある。
【０００８】
【発明が解決しようとする課題】
本発明は、上述した事情に鑑みてなされたもので、ユーザやシステム全体に負担をかけることなく、様々な体裁の文書に対して、高精度に論理構造を抽出することができる論理構造抽出装置および論理構造抽出方法を提供することを目的とするものである。
【０００９】
【課題を解決するための手段】
本発明は、文書画像から論理構造を抽出する論理構造抽出装置および論理構造抽出方法において、設定されているパラメータに従って文書画像の領域分割を領域分割手段が行い、論理構造指定手段によって指定された構造を論理構造抽出手段で抽出する。この論理構造抽出手段における論理構造の抽出前に、領域分割手段による領域分割の結果が、論理構造抽出手段が想定する論理構造であるか否かを領域構造判定手段で判定し、領域分割の結果が論理構造抽出手段が想定する論理構造でないと判定されたとき、領域分割手段において領域分割の際に用いるパラメータを可変設定し、領域分割をやり直す。このような処理を繰り返すことによって、指定された構造を自動的に、しかも高精度に抽出することができる。
【００１０】
パラメータの可変設定の際に、論理構造指定手段で指定された論理構造の要素が存在しない場合には、論理構造指定手段で指定された論理構造の幾何学的制約条件から、指定された論理構造が得られる確率が高くなるようにパラメータを設定することができる。
【００１１】
また本発明は、文書画像から論理構造を抽出する論理構造抽出装置において、さらに、それぞれ異なる論理構造を抽出する複数の論理構造抽出手段を有し、領域分割手段による領域分割の結果が複数の前記論理構造抽出手段のうちのいずれが想定する論理構造であるかを判定して複数の前記論理構造抽出手段から１つを選択するように構成することもできる。この場合には、複数の論理構造抽出手段を選択的に用いることによって、論理構造を抽出する精度をさらに向上させることができる。同様に文書画像から論理構造を抽出する論理構造抽出方法において、文書画像の領域分割を行い、領域分割の結果が想定されている複数の論理構造のいずれであるかを判定し、その判定結果に従って指定された論理構造を抽出するように構成することができる。
【００１２】
この場合にも、領域分割手段による領域分割の結果が複数の前記論理構造抽出手段のいずれの想定する論理構造でもない場合に、領域分割手段において文書画像の領域分割を行う際に用いるパラメータを可変設定し、領域分割をやり直すように構成している。
【００１３】
【発明の実施の形態】
図１は、本発明の論理構造抽出装置の第１の実施の形態を示すブロック図である。図中、１は画像入力部、２は文書画像管理部、３はパラメータ設定部、４は領域分割部、５は領域構造判定部、６は文字認識部、７は論理構造抽出部、８は構造化文書処理部、９は論理構造指定部である。
【００１４】
画像入力部１は、例えば紙等の被記録媒体に印刷された文書を画像として電子化する。例えばスキャナやカメラなどの装置で構成することができる。なお、この画像入力部１を設けず、例えばネットワークや外部記憶装置などを介して文書画像が入力されてもよい。文書画像管理部２は、電子化された文書画像を格納、管理する。この文書画像管理部２に格納されている文書画像は、必要なときに取り出すことができる。
【００１５】
パラメータ設定部３は、領域分割部４において文書画像を領域分割する際に用いる各種のパラメータを設定する。これらのパラメータを変化させることによって、同一文書画像に対して異なる領域分割の結果を領域分割部４から得ることができる。領域分割部４は、パラメータ設定部３で設定されたパラメータに従って、領域分割アルゴリズムに基づき、文書画像内のテキスト、図表などを個別の領域に分割する。
【００１６】
領域構造判定部５は、領域分割部４による領域分割の結果が論理構造抽出部７が想定する論理構造になっているか否かを判断する。文字認識部６は、分割された各領域中のテキスト部分を探索して特定し、文字コードに変換するものである。
【００１７】
論理構造抽出部７は、分割された各領域の幾何学的特徴とその領域中に含まれる文字コードなどの情報をもとに、各領域を必要に応じて分割・統合して、論理要素に対応させ、論理要素間の関係を決定し、論理構造を抽出する。
【００１８】
構造化文書処理部８は、論理構造抽出部７の出力として得られた構造化文書を、ユーザの様々な要求に応じて文書処理を行う。例えば、論理構造を利用した検索のためのインデクスを作成したり、ある特定の論理要素を抽出してリストを作成するなどの処理を行うことができる。
【００１９】
論理構造指定部９は、ユーザが予めどのような構造を抽出したいのかを指定する入力を受け付ける。この指定は、所定の文法に従って記述されているファイルを指定することによって行われる。
【００２０】
図２は、本発明の論理構造抽出装置の第１の実施の形態における動作の一例を示すフローチャートである。ここでは予め画像入力部１から文書画像が入力されて、文書画像管理部２に格納、管理されているものとする。Ｓ１１において、ユーザは論理構造指定部９から抽出すべき論理構造を指定する。また、Ｓ１２において、パラメータ設定部３は領域分割部４に対して領域分割のためのパラメータの初期値をセットする。
【００２１】
Ｓ１３において、領域分割部４はパラメータ設定部３によって設定されたパラメータに従って、文書画像管理部２に格納されている文書画像の領域分割を行う。次にＳ１４において、領域構造判定部５が必要とする領域（例えば１行のテキスト領域）のみ文字認識部６で文字認識を行い、Ｓ１５において、領域構造判定部５によって論理構造抽出部７が想定する論理構造、すなわちＳ１１でユーザが指定した抽出すべき論理構造か否かを判定する。
【００２２】
領域構造判定部５による判定の結果、論理構造抽出部７が想定する論理構造でない場合には、Ｓ１６においてパラメータ設定部３で領域分割のパラメータを変更し、Ｓ１３へ戻って再度領域分割を行う。論理構造抽出部７が想定する論理構造であった場合には、Ｓ１７において文字認識部６によりすべての領域の文字認識を行い、Ｓ１８において論理構造抽出部７により各領域の幾何学的特徴と文字認識結果をもとにユーザが指定した論理構造を抽出する。抽出した論理構造は、構造化文書処理部８に送られて、各種の処理に用いられる。
【００２３】
次に、上述の動作の一例を、具体例を用いながらさらに説明する。まず、抽出すべき論理構造の指定について説明する。図３は、論理構造の指定に用いられるファイルの内容の一例の説明図である。上述のように、抽出すべき論理構造の指定は、所定の文法に従って記述されているファイルを指定することによって行われる。例えば指定に用いるファイルの内容は、図３に示すようなテキストで表現することができる。図３に示す例では、「Ｎａｍｅ」、「Ｅｌｅｍｅｎｔｓ」、「Ｃｏｎｓｔｒａｉｎｔｓ」、「Ｐｒｏｄｕｃｔｓ」の４つの部分から構成されている。部分「Ｎａｍｅ」は、出力すべき論理構造の名前を示す。部分「Ｅｌｅｍｅｎｔｓ」では、必要となる要素が指定される。部分「Ｃｏｎｓｔｒａｉｎｔｓ」では、要素間の幾何学的な関係を示す。部分「Ｐｒｏｄｕｃｔｓ」では、結果をどのように出力するかを指定するものである。
【００２４】
図３に示した例は、参考文献リストを想定している。参考文献リストは、“文献”あるいは“参考文献”という文字列からなる１行の見出しと、その直下にある文献情報から構成され、「見出し」要素は、「文献情報」要素に対して「ｃｅｎｔｅｒｅｄ」、もしくは「ｌｅｆｔ−ａｌｉｇｎ」という幾何学的構造を持つことが示されている。「ｃｅｎｔｅｒｅｄ」はセンタリングを示し、「ｌｅｆｔ−ａｌｉｇｎ」は左寄せを示す述語で、予め組み込まれている幾何学的関係判定関数である。「ｃｅｎｔｅｒｅｄ」関数は、２つの要素を引数とし、各要素の外接矩形のｘ座標の中心が、定められたしきい値以下である場合は真を返す。「ｌｅｆｔ−ａｌｉｇｎ」関数は、２つの要素の外接矩形のｘ座標の最小値が、定められたしきい値以下である場合は真を返す。
【００２５】
部分「Ｐｒｏｄｕｃｔｓ」の指定では、「文献情報」要素中の行矩形を順番に調べる手続きが記述されている。図４は、論理構造の指定に用いられるファイルの内容の一例における出力手続の説明図である。Ｌ１〜Ｌ４は行矩形である。まず、最初の行矩形Ｌ１の内容を変数Ｙに格納するとともに、その行矩形Ｌ１の左端のｘ座標を変数Ｘ１にセットする。そして次の行矩形の処理を行うように、変数ｊを２にセットする。
【００２６】
ｊ番目の行矩形である行矩形Ｌｊの有無を判定後、行矩形Ｌｊを変数ｌに格納し、変数Ｙに何も格納されていなければ、文献の１行目として変数Ｙに変数ｌを格納する。変数Ｙに格納されていれば、さらに行矩形Ｌｊの左端が変数Ｘ１からしきい値Ｔ以上のインデントが付けられているか否かを判定し、しきい値Ｔ以上のインデントがある場合には、変数Ｙに変数ｌを追加する。そうでない場合は、変数Ｙを「文献」という要素として結果を出力し、変数Ｙをクリアする。このような処理を「文献情報」要素中のすべての行矩形に対して実行した後、処理を終了する。
【００２７】
このような処理によって、例えば図４に示す例においては、行矩形Ｌ１〜Ｌ３は順に変数Ｙに追加され、ひとまとまりとなって「文献」要素として出力される。その後、新たに行矩形Ｌ４が変数Ｙに格納されて、次の「文献」要素の抽出が行われる。
【００２８】
図３に示したファイルの内容は、このような参考文献リストの論理構造を抽出し、出力することを示している。ユーザは、このようなファイルを指定することによって、抽出すべき論理構造の指定を行うことができる。
【００２９】
次に、パラメータ設定部３が領域分割部４に対して設定する領域分割のためのパラメータについて説明する。パラメータ設定部３は、領域分割部４における領域分割処理の実行時に必要となるパラメータを組にしてパラメータセットとし、そのパラメータセットを複数保持している。図５は、パラメータセットの一例の説明図である。図５に示す例では、パラメータとして、後述する垂直方向セパレータ幅しきい値、水平方向セパレータ長さしきい値を示しているが、このほかにも多数のパラメータを設定しておくことができる。各パラメータの値の集合、すなわち図５に示す各行が、各パラメータセットを示している。各パラメータセットには通し番号が付されており、各パラメータセットが識別される。もちろん、パラメータ設定部３では、このようなパラメータセットを予め設定しておくほか、各パラメータをそれぞれ動的に変更可能に構成してもよい。
【００３０】
ここで、領域分割部４による領域分割結果の変動と、その変動に対する対処方法について、図６〜図９を用いて詳細に説明する。図６は、参考文献が記載された文書画像の具体例の説明図、図７は、３つの領域に、図８は、２つの領域にそれぞれ分割された状態の説明図、図９は、１つの領域とみなされた状態の説明図である。図中、２１，２２は白セパレータ候補領域、２３〜２８は分割領域である。ここでは、領域分割部４において領域分割を行うときには、白セパレータと呼ばれる領域の有無を基準に行う場合を示している。まず、文書画像から白セパレータを求める。白セパレータは、白画素（文字などが印刷されていない部分の画素）が水平方向あるいは垂直方向にある一定の幅だけ連続した領域であり、水平方向に長い水平白セパレータと、垂直方向に長い垂直白セパレータがある。
【００３１】
図６に示した文書画像の例には、水平あるいは垂直の白セパレータの候補がたくさんあるが、ここでは、ハッチングを施して示した白セパレータ候補領域２１，２２を例に説明する。文字「文献」の下部には、白画素が幅ＨｓｐＷ、長さＨｓｐＬで連続する白セパレータ候補領域２１が存在する。この白セパレータ候補領域２１が次の条件
ＨｓｐＷ＞Ｗｈ かつ ＨｓｐＬ＞Ｌｈ …条件（１）
を満たせば、水平白セパレータであるとみなす。しかし、パラメータＷｈあるいはＬｈが大きく設定され、条件（１）を満たさないとこの領域に水平白セパレータはないとみなされる。ここで、Ｗｈは水平方向セパレータ幅しきい値、Ｌｈは水平方向セパレータ長さしきい値を示すパラメータである。
【００３２】
同様に、白セパレータ候補領域２２は、次の条件
ＶｓｐＷ＞Ｗｖ かつ ＶｓｐＬ＞Ｌｖ …条件（２）
を満たせば、垂直白セパレータとみなす。この条件（２）を満たさない場合には、この領域に垂直セパレータはないものとみなされる。ここで、Ｗｖは垂直方向セパレータ幅しきい値、Ｌｖは垂直方向セパレータ長さしきい値を示すパラメータである。上述のパラメータＷｈ，Ｌｈとともに、これらのパラメータはパラメータ設定部３によって設定される。
【００３３】
図７に示した例では、白セパレータ候補領域２１，２２とも、それぞれ条件（１），（２）を満たし、それぞれ水平白セパレータ、垂直白セパレータとみなされた例を示している。文書画像は、図７に示すように分割領域２３〜２５の３つの領域に分割されている。
【００３４】
図８に示した例では、白セパレータ候補領域２１は条件（１）を満たし、水平白セパレータとみなされたが、白セパレータ候補領域２２は条件（２）を満たさなかったため、垂直白セパレータがなくなった場合を示している。この場合には、分割領域２６と、領域２４と領域２５が統合された分割領域２７の２つの領域に分割されている。
【００３５】
図９に示した例では、白セパレータ候補領域２１，２２とも、それぞれ条件（１），（２）を満たさず、水平、垂直白セパレータがない場合を示している。この場合には、分割領域２８にすべて統合されている。
【００３６】
図７〜図９を参照してわかるように、連続する白画素をセパレータとみなすか否かは領域分割のためのパラメータによって変化し、領域分割の結果も変わってくる。また、同じフォーマットを用いた文書であっても、各文書によって文字サイズ、文字間隔、行間隔などが微妙に異なることから、同一のパラメータであっても異なった領域分割結果が得られる。
【００３７】
ところで、論理構造抽出部７は、論理構造指定部９によって指定された論理構造から所定の手順で論理構造の要素を抽出する。例えば、上述の図３に示した内容のファイルがユーザによって指定されたとき、図４を用いて説明したように、図８に示す分割領域が得られることを想定し、各参考文献要素を抽出する処理が記述されている。この場合、まず図３に示した部分「Ｅｌｅｍｅｎｔｓ」で指定されている要素「見出し」にマッチする要素、すなわち“文献”あるいは“参考文献”という単語を含む１行の領域を探索する。図８に示す例では、分割領域２６がマッチする。次に、直下にある分割領域２７を取り出して、指定されている幾何学的構造を満たすか否かの判定を行う。図８に示す例では、図３に示す部分「Ｃｏｎｓｔｒａｉｎｔｓ」に記述されている幾何学的構造のうち、関係「ｃｅｎｔｅｒｅｄ」を満たすので、分割領域２７は指定された要素「文献情報」にマッチする。あとは、指定されたファイル内の部分「Ｐｒｏｄｕｃｔｓ」に記述された手続きに従って「文献」要素が出力される。
【００３８】
以上の手順で図６に示す文書画像から参考文献の要素を抽出する場合、図７に示す分割領域の構造では分割領域２５内の各行がすべて同じ開始位置から始まるので、各参考文献要素の区切りを把握できず、文献要素を抽出することができない。また、図９に示すように一体化した分割領域２８として領域分割された場合、「文献」または「参考文献」という１行のみの分割領域がないため、上述の手順では参考文献の領域を特定できない。
【００３９】
領域構造判定部５では、例えば図８に示したように分割領域の構造が、ユーザが指定した図３に示すファイルの内容で示される論理構造になっているか否かを判定する。例えば図７や図９に示すように領域分割されている場合には、指定された論理構造になっていないものと判定する。この場合、パラメータ設定部３に対してパラメータを変更させ、領域分割をやり直す。もちろん、一度実施したパラメータセットの番号は記憶しておき、二度と実施することはないように制御する。図８に示すような領域分割の結果が得られたら、論理構造抽出部７において、上述のようにして論理構造を抽出する。
【００４０】
このようにして、１回目の領域分割で想定する論理構造が得られなければ、領域分割のためのパラメータを変化させて領域分割を繰り返すことにより、様々な文書画像に対応し、指定された論理構造を抽出することができる。
【００４１】
本発明の論理構造抽出装置の第２の実施の形態について説明する。この第２の実施の形態における構成は、図１と同様である。この第２の実施の形態では、上述の第１の実施の形態においてパラメータセットの変更を行う際に、領域分割の結果が想定する論理構造となる確度の高いパラメータの設定方法を用いた例を示している。
【００４２】
まず、パラメータ設定部３におけるパラメータセットの保持方法について、一部変更する。図１０は、パラメータセットの別の例の説明図である。パラメータセットは、上述したように領域分割部４の処理実行時に必要となるパラメータを組にしたものである。図１０に示したパラメータセットの例では、図５に示したパラメータに加え、垂直方向分離度、水平方向分離度という２つの属性が付与されている。垂直方向分離度は、垂直方向の白セパレータによって、要素を分離する度合いを示すものである。同様に水平方向分離度は、水平方向の白セパレータによって要素を分離する度合いを示すものである。ともに値は整数値を取るものとし、大きくなるほど分離しやすい、すなわち小さなしきい値で白セパレータを採用することを意味する。この値は、単に大小関係がわかれば任意のものでかまわない。
【００４３】
例えば図６に示した文書画像を、図１０に示す通し番号１のパラメータセットを用いて領域分割を行ったとき、上述の図７に示すように３つの分割領域２３〜２５に分割された領域分割結果を得たとする。このとき、「見出し」要素の下にセンタリングされているあるいは左寄せになっている要素が存在しない。このとき、直下の分割領域２５のｘ座標の中心に対して左に、左辺に対して右に「見出し」要素が存在することがわかる。このときの可能性としては、
（１）直下の要素が右側の他の要素と誤統合されている。（センタリング）
（２）直下の要素の左側にある白セパレータで誤分割されている。（センタリング）
（３）直下の要素の左側の他の要素と誤統合されている。（左寄せ）
の３つの可能性がある。
【００４４】
これらの可能性は、幾何学的条件判定関数「ｃｅｎｔｅｒｅｄ」、「ｌｅｆｔ−ａｌｉｇｎｅｄ」を評価する際に、その関数の中で条件を満たさなかった場合に、これらの可能性があるか否かを判定する。（１），（３）の可能性については、白セパレータの存在範囲が推定できるので、推定した白セパレータの存在範囲に白セパレータが存在するか否かを調べる。もし白セパレータが存在したならば、垂直方向のセパレータの幅のしきい値が大きすぎたとして、垂直方向分離度を上げるフラグを立てる。（２）の可能性については、左側の要素の存在範囲を推定して、そこに要素が存在していれば、垂直方向のセパレータの幅のしきい値が小さすぎたとして、垂直方向分離度を下げるフラグを立てる。
【００４５】
図１１、図１２は、本発明の論理構造抽出装置の第２の実施の形態における分離度の変更の具体例の説明図である。図中、３１，３２は白セパレータの探索範囲、３３は要素の探索範囲である。図７に示したように領域分離された場合、まず（１）の可能性については、「見出し」要素である分離領域２３のｘ座標の中心位置を中心として、分離領域２５の左端までの距離と同じ距離となる右側位置付近の所定範囲を図１１に示す探索範囲３１とし、白セパレータが存在しているか否かを調べればよい。また、（３）の可能性については、「見出し」要素である分離領域２３の左端付近の所定範囲を図１１に示す探索範囲３２として、分離領域２５内に白セパレータが存在しているか否かを調べればよい。この例では、図１１に示すように、（１），（３）の可能性はないことがわかる。
【００４６】
一方、（２）の可能性については、図１２に示すように、「見出し」要素である分離領域２３のｘ座標の中心位置を中心として、分離領域２５の右端までのｘ方向の距離を左側に伸ばして探索範囲３３を仮定する。この探索範囲３３に別の要素が含まれているか否かを調べればよい。この例では、図１２に示すように探索範囲３３内に分割領域２４が含まれることが確認できる。
【００４７】
従って、垂直方向分離度を下げるフラグが立つことになる。これによって、前回実施した領域分割の際のパラメータセットより垂直方向分離度の低いパラメータセットをパラメータ設定部３で選択し、再び領域分割部４で領域分割処理を実行する。この領域分割処理を、対象領域だけでなく、文書画像全体に改めて実施するのは、領域の再分割や統合によって、他の論理構造に影響を与える場合が考えられるからである。
【００４８】
上述の第１の実施の形態と同様、この第２の実施の形態においても、水平方向分離度、垂直方向分離度を変化させるフラグが両方とも立っていない場合には、パラメータ設定部３において任意の順にパラメータセットを適用する。また、両方のフラグが立っている場合には、いずれかのフラグを優先したり、あるいは任意の順にパラメータセットを適用することができる。
【００４９】
このようにしてパラメータセットを変更しながら、指示された論理構造が得られるように、領域分割処理を繰り返すことになる。しかしこの第２の実施の形態では、指定された論理構造が得られる確率が高くなるように、パラメータセットの適用を制御するので、領域分割のリトライを減少させ、より高速に精度よく領域分割を行うことができる。
【００５０】
図１３は、本発明の論理構造抽出装置の第３の実施の形態を示すブロック図である。図中、図１と同様の部分には同じ符号を付して説明を省略する。４１〜４３は論理構造抽出部、４４は論理構造抽出方法選択部である。この第３の実施の形態では、複数の論理構造抽出部４１〜４３を有した構成を示している。複数の論理構造抽出部４１〜４３は、それぞれ異なる論理構造抽出方法によって、所定の論理構造を抽出する。なお、この例では論理構造抽出部が３つの場合を示しているが、２つあるいは４つ以上であってももちろんよい。
【００５１】
領域構造判定部５は、領域分割部４による領域分割の結果が論理構造抽出部４１〜４３のいずれが想定する論理構造になっているか、あるいは複数の論理構造抽出部４１〜４３のいずれの想定する論理構造でもないかを判断する。論理構造抽出方法選択部４４は、領域構造判定部５において、領域分割部４による領域分割の結果が論理構造抽出部４１〜４３のいずれで想定する論理構造かの判定結果に従い、論理構造抽出部４１〜４３のいずれかを選択して、抽出された論理構造を構造化文書処理部８に出力する。
【００５２】
図１４は、本発明の論理構造抽出装置の第３の実施の形態における動作の一例を示すフローチャートである。この例においても、予め画像入力部１から文書画像が入力されて、文書画像管理部２に格納、管理されているものとする。また、抽出すべき論理構造は予め設定されており、各論理構造抽出部４１〜４３ではその予め設定された論理構造を抽出するための異なる抽出方法が設定されているものとする。
【００５３】
まずＳ５１において、パラメータ設定部３は領域分割部４に対して領域分割のためのパラメータの初期値をセットする。そしてＳ５２において、領域分割部４はパラメータ設定部３によって設定されたパラメータに従って、文書画像管理部２に格納されている文書画像の領域分割を行う。次にＳ５３において、領域構造判定部５が必要とする領域のみ文字認識部６で文字認識を行い、Ｓ５４において、領域構造判定部５によって論理構造抽出部４１〜４３のいずれかが想定する論理構造であるか否かを判定する。
【００５４】
領域構造判定部５による判定の結果、論理構造抽出部４１〜４３のいずれの想定する論理構造でもない場合には、Ｓ５５においてパラメータ設定部３で領域分割のパラメータを変更し、Ｓ５２へ戻って再度領域分割を行う。論理構造抽出部４１〜４３のいずれかが想定する論理構造であった場合には、Ｓ５６において、論理構造抽出方法選択部４４によって論理構造の抽出が可能な論理構造抽出部を選択する。Ｓ５７において、文字認識部６によりすべての領域の文字認識を行い、Ｓ５８において、Ｓ５６で選択された論理構造抽出部により各領域の幾何学的特徴と文字認識結果をもとに論理構造を抽出する。抽出した論理構造は、論理構造抽出方法選択部４４を介して構造化文書処理部８に送られて、各種の処理に用いられる。
【００５５】
この第３の実施の形態では、上述の第１の実施の形態では対処できない事例に対応することができる。その具体例を図１５〜図１７を用いて詳細に説明する。図１５は、文書画像の別の具体例の説明図、図１６は、４つの領域に分割された状態の説明図、図１７は、１つの領域とみなされた状態の説明図である。図中、６１〜６５は分割領域である。
【００５６】
図１５に示した文書画像の具体例では、２段組の印刷がなされている。そしてその右側の段組内に参考文献の記載が存在する。ここでは、このような文書画像から、参考文献の構造を抽出するものとする。
【００５７】
領域分割部４において、上述の第１の実施の形態で説明したように白セパレータを用いて領域分割処理を行う。水平方向、垂直方向とも白セパレータとみなす空白の幅Ｗを小さくした場合には、図１６に示すように、分割領域６１〜６４の４つの分割領域に分割される。ここで、左段の文章を含む分割領域６１と参考文献番号を含む分割領域６２との間隔と、分割領域６２と参考文献内容を含む分割領域６４との間隔がほぼ等しいとする。
【００５８】
このような文献の場合、垂直方向のセパレータとみなす空白の幅Ｗをある一定以上大きくすると、垂直方向のセパレータが存在しなくなり、図１７に示すように一つの分割領域６５に統合されてしまう。しかしながら、図１７に示すような分割領域の構造では、本来２段組であるのものが１段組とみなされているから、文字認識により左段１行目の後に右段１行目が来るなどといった認識結果となり、意味をなさなくなる。よってこの文書画像の場合には、上述の第１の実施の形態で採用した図８に示す分割領域の構造は採用できず、図７に示した分割領域の構造を採用して右段の分割領域６２〜６４から参考文献の論理構造を抽出する必要がある。
【００５９】
図７に示した分割領域の構造を想定した論理構造の抽出方法としては、例えば、参考文献番号を含む分割領域２４から各文献番号の垂直方向位置を求め、この位置を目安に参考文献内容を含む分割領域２５から各参考文献の要素を抽出する方法が考えられる。このような方法を図１６に示した分割領域６２〜６４に適用し、参考文献の構造を抽出することができる。
【００６０】
上述の第１の実施の形態では、論理構造抽出部７を一つだけ備えているため、例えば図８に示した分割領域の構造がユーザから指定された場合には、図７に示した分割領域の構造から論理構造を抽出することができなかった。しかし、この第３の実施の形態では、複数の論理構造抽出部を備えているので、例えば図７に示した分割領域の構造を想定した論理構造抽出部４１と、図８に示した分割領域の構造を想定した論理構造抽出部４２を備えていれば、そのいずれの構造に領域分割された場合でも、参考文献の論理構造を抽出することができる。
【００６１】
このように、この第２の実施の形態では、複数の論理構造抽出部を備えることによって、領域分割部４によって領域分割された結果が異なっていても、所望の論理構造を抽出することができ、抽出率を向上させることができる。
【００６２】
【発明の効果】
以上の説明から明らかなように、本発明によれば、領域分割手段による領域分割の結果が、論理構造抽出手段で想定する論理構造と異なる場合でも、自動的に領域分割のパラメータを変化させて再度領域分割を行って論理構造抽出手段で想定する論理構造を生成し、論理構造を抽出する。あるいは、異なる論理構造を想定した複数の論理構造抽出手段を設け、そのいずれかで論理構造を抽出する。これによって、様々な文書から高い精度で自動的に論理構造を抽出することができる。
【００６３】
さらに、求める構造が部分的に得られている場合は、その幾何学的な制約条件を用いて、その制約条件を満たす解釈が得られる可能性が高い領域分割のためのパラメータを自動的に選択することにより、さらなる効率化を図ることができるという効果がある。
【図面の簡単な説明】
【図１】 本発明の論理構造抽出装置の第１の実施の形態を示すブロック図である。
【図２】 本発明の論理構造抽出装置の第１の実施の形態における動作の一例を示すフローチャートである。
【図３】 論理構造の指定に用いられるファイルの内容の一例の説明図である。
【図４】 論理構造の指定に用いられるファイルの内容の一例における出力手続の説明図である。
【図５】 パラメータセットの一例の説明図である。
【図６】 参考文献が記載された文書画像の具体例の説明図である。
【図７】 図６に示す文書画像が３つの領域に分割された状態の説明図である。
【図８】 図６に示す文書画像が２つの領域に分割された状態の説明図である。
【図９】 図６に示す文書画像が１つの領域とみなされた状態の説明図である。
【図１０】 パラメータセットの別の例の説明図である。
【図１１】 本発明の論理構造抽出装置の第２の実施の形態における分離度の変更の具体例の説明図である。
【図１２】 本発明の論理構造抽出装置の第２の実施の形態における別の分離度の変更の具体例の説明図である。
【図１３】 本発明の論理構造抽出装置の第３の実施の形態を示すブロック図である。
【図１４】 本発明の論理構造抽出装置の第３の実施の形態における動作の一例を示すフローチャートである。
【図１５】 文書画像の別の具体例の説明図である。
【図１６】 図１５に示す文書画像が４つの領域に分割された状態の説明図である。
【図１７】 図１５に示す文書画像が１つの領域とみなされた状態の説明図である。
【符号の説明】
１…画像入力部、２…文書画像管理部、３…パラメータ設定部、４…領域分割部、５…領域構造判定部、６…文字認識部、７…論理構造抽出部、８…構造化文書処理部、９…論理構造指定部、２１，２２…白セパレータ候補領域、２３〜２８…分割領域、３１，３２…白セパレータの探索範囲、３３…要素の探索範囲、４１〜４３…論理構造抽出部、４４…論理構造抽出方法選択部、６１〜６５…分割領域。
【発明の属する技術分野】
本発明は、文書画像から論理構造を抽出する論理構造抽出装置および論理構造抽出方法に関するものである。
【０００２】
【従来の技術】
近年、紙等に印刷された文書を画像読取装置等で電子化し、活用しようとする試みが盛んに行われている。電子化された文書を利用する際に用いられる技術の一つとして文字認識がある。文字認識は、電子化された文書画像からテキスト情報を抽出する技術である。抽出したテキスト情報は、例えば他の文書に再利用したり、全文検索などに利用されている。
【０００３】
文字認識には、前処理として、文書画像をテキスト領域、図形領域などに正確に分離する領域分割と呼ばれる処理が必要であり、従来、文書画像の様々な特徴量を用いた領域分割手法が提案されてきた。例えば、秋山ほか，「周辺分布、線密度、外接矩形特徴量を併用した文書画像の領域分割」，電子通信学会論文誌（Ｄ−ＩＩ），Ｖｏｌ．Ｊ８６−Ｄ，Ｎｏ．８，ｐｐ．１１８７−１１９６，１９８６、田中ほか，「文書画像の書式解析」，電子通信学会研究報告ＰＲＵ８６−１１５，ｐｐ．３３−４０，１９９６、特開平５−２６６２４９号公報、特開平５−２７７４７２号公報、特開平５−２９０２１１号公報、特開平７−７３２７１号公報など、多数の文献に各種の手法が提案されている。
【０００４】
しかしながら、文書には様々なレイアウトのものがあり、あらゆる文書に対応できる領域分割手法はこれまでに開発されていない。また、学術論文などのように同じようなレイアウトの文書であっても、文字サイズ、文字間隔、行間隔などが微妙に異なっている。そのため、レイアウトがほとんど同じ文書に対して同一の領域分割手法を適用しても、領域分割結果は異なってしまう。
【０００５】
一方、文書画像の各領域の幾何学的特徴や文字認識結果などを利用して文書の論理構造を抽出し、より高度な文書処理を行おうとする試みがある。例えば、山田，「文書画像のＯＤＡ論理構造化文書への変換方式」，電子通信学会論文誌（Ｄ−ＩＩ），Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ，Ｎｏ．１１，ｐｐ．２２７４−２２８４，１９９３には、文書画像から抽出した各領域の幾何学的特徴と、予め登録してある文書クラスの幾何学的特徴とのマッチング処理によって論理構造を生成する方法が記載されている。また、例えば特開平８−６９４５号公報には、文書画像中の各行単位で辞書パターンとのマッチング処理を行い、その結果を用いて文書の論理構造を解析する方法が記載されている。
【０００６】
しかし、これらの手法を含め、これまでに提案されている論理構造抽出手法では、実際に論理構造抽出手段において論理構造を抽出する前に、その論理構造抽出手段が想定している幾何学的構造に文書画像が領域分割されている必要があった。
【０００７】
しかしながら、上述のように、単一の領域分割手法あるいは領域分割パラメータでは、様々な文書に対して所望の領域分割結果を得ることは不可能に近い。そのため、例えば特開平９−１１４９２３号公報では、このような領域分割の困難さを指摘し、同一の文書画像を２つ以上のパラメータあるいは方法で領域分割し、複数の領域分割結果をユーザに提示し、ユーザに選択させる領域分割装置を提案している。しかし、この文献に記載されている領域分割装置では、領域分割結果の選択をユーザが行わなければならないため、最終的な目的である文字認識あるいは論理構造抽出までを自動的に行うことができず、ユーザの負担が重くなるという欠点がある。また、２つ以上の領域分割結果をコンピュータのメモリ上に記憶する必要があり、占有する記憶容量の増大を招き、システム全体の処理速度が低下する恐れがあるという問題もある。
【０００８】
【発明が解決しようとする課題】
本発明は、上述した事情に鑑みてなされたもので、ユーザやシステム全体に負担をかけることなく、様々な体裁の文書に対して、高精度に論理構造を抽出することができる論理構造抽出装置および論理構造抽出方法を提供することを目的とするものである。
【０００９】
【課題を解決するための手段】
本発明は、文書画像から論理構造を抽出する論理構造抽出装置および論理構造抽出方法において、設定されているパラメータに従って文書画像の領域分割を領域分割手段が行い、論理構造指定手段によって指定された構造を論理構造抽出手段で抽出する。この論理構造抽出手段における論理構造の抽出前に、領域分割手段による領域分割の結果が、論理構造抽出手段が想定する論理構造であるか否かを領域構造判定手段で判定し、領域分割の結果が論理構造抽出手段が想定する論理構造でないと判定されたとき、領域分割手段において領域分割の際に用いるパラメータを可変設定し、領域分割をやり直す。このような処理を繰り返すことによって、指定された構造を自動的に、しかも高精度に抽出することができる。
【００１０】
パラメータの可変設定の際に、論理構造指定手段で指定された論理構造の要素が存在しない場合には、論理構造指定手段で指定された論理構造の幾何学的制約条件から、指定された論理構造が得られる確率が高くなるようにパラメータを設定することができる。
【００１１】
また本発明は、文書画像から論理構造を抽出する論理構造抽出装置において、さらに、それぞれ異なる論理構造を抽出する複数の論理構造抽出手段を有し、領域分割手段による領域分割の結果が複数の前記論理構造抽出手段のうちのいずれが想定する論理構造であるかを判定して複数の前記論理構造抽出手段から１つを選択するように構成することもできる。この場合には、複数の論理構造抽出手段を選択的に用いることによって、論理構造を抽出する精度をさらに向上させることができる。同様に文書画像から論理構造を抽出する論理構造抽出方法において、文書画像の領域分割を行い、領域分割の結果が想定されている複数の論理構造のいずれであるかを判定し、その判定結果に従って指定された論理構造を抽出するように構成することができる。
【００１２】
この場合にも、領域分割手段による領域分割の結果が複数の前記論理構造抽出手段のいずれの想定する論理構造でもない場合に、領域分割手段において文書画像の領域分割を行う際に用いるパラメータを可変設定し、領域分割をやり直すように構成している。
【００１３】
【発明の実施の形態】
図１は、本発明の論理構造抽出装置の第１の実施の形態を示すブロック図である。図中、１は画像入力部、２は文書画像管理部、３はパラメータ設定部、４は領域分割部、５は領域構造判定部、６は文字認識部、７は論理構造抽出部、８は構造化文書処理部、９は論理構造指定部である。
【００１４】
画像入力部１は、例えば紙等の被記録媒体に印刷された文書を画像として電子化する。例えばスキャナやカメラなどの装置で構成することができる。なお、この画像入力部１を設けず、例えばネットワークや外部記憶装置などを介して文書画像が入力されてもよい。文書画像管理部２は、電子化された文書画像を格納、管理する。この文書画像管理部２に格納されている文書画像は、必要なときに取り出すことができる。
【００１５】
パラメータ設定部３は、領域分割部４において文書画像を領域分割する際に用いる各種のパラメータを設定する。これらのパラメータを変化させることによって、同一文書画像に対して異なる領域分割の結果を領域分割部４から得ることができる。領域分割部４は、パラメータ設定部３で設定されたパラメータに従って、領域分割アルゴリズムに基づき、文書画像内のテキスト、図表などを個別の領域に分割する。
【００１６】
領域構造判定部５は、領域分割部４による領域分割の結果が論理構造抽出部７が想定する論理構造になっているか否かを判断する。文字認識部６は、分割された各領域中のテキスト部分を探索して特定し、文字コードに変換するものである。
【００１７】
論理構造抽出部７は、分割された各領域の幾何学的特徴とその領域中に含まれる文字コードなどの情報をもとに、各領域を必要に応じて分割・統合して、論理要素に対応させ、論理要素間の関係を決定し、論理構造を抽出する。
【００１８】
構造化文書処理部８は、論理構造抽出部７の出力として得られた構造化文書を、ユーザの様々な要求に応じて文書処理を行う。例えば、論理構造を利用した検索のためのインデクスを作成したり、ある特定の論理要素を抽出してリストを作成するなどの処理を行うことができる。
【００１９】
論理構造指定部９は、ユーザが予めどのような構造を抽出したいのかを指定する入力を受け付ける。この指定は、所定の文法に従って記述されているファイルを指定することによって行われる。
【００２０】
図２は、本発明の論理構造抽出装置の第１の実施の形態における動作の一例を示すフローチャートである。ここでは予め画像入力部１から文書画像が入力されて、文書画像管理部２に格納、管理されているものとする。Ｓ１１において、ユーザは論理構造指定部９から抽出すべき論理構造を指定する。また、Ｓ１２において、パラメータ設定部３は領域分割部４に対して領域分割のためのパラメータの初期値をセットする。
【００２１】
Ｓ１３において、領域分割部４はパラメータ設定部３によって設定されたパラメータに従って、文書画像管理部２に格納されている文書画像の領域分割を行う。次にＳ１４において、領域構造判定部５が必要とする領域（例えば１行のテキスト領域）のみ文字認識部６で文字認識を行い、Ｓ１５において、領域構造判定部５によって論理構造抽出部７が想定する論理構造、すなわちＳ１１でユーザが指定した抽出すべき論理構造か否かを判定する。
【００２２】
領域構造判定部５による判定の結果、論理構造抽出部７が想定する論理構造でない場合には、Ｓ１６においてパラメータ設定部３で領域分割のパラメータを変更し、Ｓ１３へ戻って再度領域分割を行う。論理構造抽出部７が想定する論理構造であった場合には、Ｓ１７において文字認識部６によりすべての領域の文字認識を行い、Ｓ１８において論理構造抽出部７により各領域の幾何学的特徴と文字認識結果をもとにユーザが指定した論理構造を抽出する。抽出した論理構造は、構造化文書処理部８に送られて、各種の処理に用いられる。
【００２３】
次に、上述の動作の一例を、具体例を用いながらさらに説明する。まず、抽出すべき論理構造の指定について説明する。図３は、論理構造の指定に用いられるファイルの内容の一例の説明図である。上述のように、抽出すべき論理構造の指定は、所定の文法に従って記述されているファイルを指定することによって行われる。例えば指定に用いるファイルの内容は、図３に示すようなテキストで表現することができる。図３に示す例では、「Ｎａｍｅ」、「Ｅｌｅｍｅｎｔｓ」、「Ｃｏｎｓｔｒａｉｎｔｓ」、「Ｐｒｏｄｕｃｔｓ」の４つの部分から構成されている。部分「Ｎａｍｅ」は、出力すべき論理構造の名前を示す。部分「Ｅｌｅｍｅｎｔｓ」では、必要となる要素が指定される。部分「Ｃｏｎｓｔｒａｉｎｔｓ」では、要素間の幾何学的な関係を示す。部分「Ｐｒｏｄｕｃｔｓ」では、結果をどのように出力するかを指定するものである。
【００２４】
図３に示した例は、参考文献リストを想定している。参考文献リストは、“文献”あるいは“参考文献”という文字列からなる１行の見出しと、その直下にある文献情報から構成され、「見出し」要素は、「文献情報」要素に対して「ｃｅｎｔｅｒｅｄ」、もしくは「ｌｅｆｔ−ａｌｉｇｎ」という幾何学的構造を持つことが示されている。「ｃｅｎｔｅｒｅｄ」はセンタリングを示し、「ｌｅｆｔ−ａｌｉｇｎ」は左寄せを示す述語で、予め組み込まれている幾何学的関係判定関数である。「ｃｅｎｔｅｒｅｄ」関数は、２つの要素を引数とし、各要素の外接矩形のｘ座標の中心が、定められたしきい値以下である場合は真を返す。「ｌｅｆｔ−ａｌｉｇｎ」関数は、２つの要素の外接矩形のｘ座標の最小値が、定められたしきい値以下である場合は真を返す。
【００２５】
部分「Ｐｒｏｄｕｃｔｓ」の指定では、「文献情報」要素中の行矩形を順番に調べる手続きが記述されている。図４は、論理構造の指定に用いられるファイルの内容の一例における出力手続の説明図である。Ｌ１〜Ｌ４は行矩形である。まず、最初の行矩形Ｌ１の内容を変数Ｙに格納するとともに、その行矩形Ｌ１の左端のｘ座標を変数Ｘ１にセットする。そして次の行矩形の処理を行うように、変数ｊを２にセットする。
【００２６】
ｊ番目の行矩形である行矩形Ｌｊの有無を判定後、行矩形Ｌｊを変数ｌに格納し、変数Ｙに何も格納されていなければ、文献の１行目として変数Ｙに変数ｌを格納する。変数Ｙに格納されていれば、さらに行矩形Ｌｊの左端が変数Ｘ１からしきい値Ｔ以上のインデントが付けられているか否かを判定し、しきい値Ｔ以上のインデントがある場合には、変数Ｙに変数ｌを追加する。そうでない場合は、変数Ｙを「文献」という要素として結果を出力し、変数Ｙをクリアする。このような処理を「文献情報」要素中のすべての行矩形に対して実行した後、処理を終了する。
【００２７】
このような処理によって、例えば図４に示す例においては、行矩形Ｌ１〜Ｌ３は順に変数Ｙに追加され、ひとまとまりとなって「文献」要素として出力される。その後、新たに行矩形Ｌ４が変数Ｙに格納されて、次の「文献」要素の抽出が行われる。
【００２８】
図３に示したファイルの内容は、このような参考文献リストの論理構造を抽出し、出力することを示している。ユーザは、このようなファイルを指定することによって、抽出すべき論理構造の指定を行うことができる。
【００２９】
次に、パラメータ設定部３が領域分割部４に対して設定する領域分割のためのパラメータについて説明する。パラメータ設定部３は、領域分割部４における領域分割処理の実行時に必要となるパラメータを組にしてパラメータセットとし、そのパラメータセットを複数保持している。図５は、パラメータセットの一例の説明図である。図５に示す例では、パラメータとして、後述する垂直方向セパレータ幅しきい値、水平方向セパレータ長さしきい値を示しているが、このほかにも多数のパラメータを設定しておくことができる。各パラメータの値の集合、すなわち図５に示す各行が、各パラメータセットを示している。各パラメータセットには通し番号が付されており、各パラメータセットが識別される。もちろん、パラメータ設定部３では、このようなパラメータセットを予め設定しておくほか、各パラメータをそれぞれ動的に変更可能に構成してもよい。
【００３０】
ここで、領域分割部４による領域分割結果の変動と、その変動に対する対処方法について、図６〜図９を用いて詳細に説明する。図６は、参考文献が記載された文書画像の具体例の説明図、図７は、３つの領域に、図８は、２つの領域にそれぞれ分割された状態の説明図、図９は、１つの領域とみなされた状態の説明図である。図中、２１，２２は白セパレータ候補領域、２３〜２８は分割領域である。ここでは、領域分割部４において領域分割を行うときには、白セパレータと呼ばれる領域の有無を基準に行う場合を示している。まず、文書画像から白セパレータを求める。白セパレータは、白画素（文字などが印刷されていない部分の画素）が水平方向あるいは垂直方向にある一定の幅だけ連続した領域であり、水平方向に長い水平白セパレータと、垂直方向に長い垂直白セパレータがある。
【００３１】
図６に示した文書画像の例には、水平あるいは垂直の白セパレータの候補がたくさんあるが、ここでは、ハッチングを施して示した白セパレータ候補領域２１，２２を例に説明する。文字「文献」の下部には、白画素が幅ＨｓｐＷ、長さＨｓｐＬで連続する白セパレータ候補領域２１が存在する。この白セパレータ候補領域２１が次の条件
ＨｓｐＷ＞Ｗｈ かつ ＨｓｐＬ＞Ｌｈ …条件（１）
を満たせば、水平白セパレータであるとみなす。しかし、パラメータＷｈあるいはＬｈが大きく設定され、条件（１）を満たさないとこの領域に水平白セパレータはないとみなされる。ここで、Ｗｈは水平方向セパレータ幅しきい値、Ｌｈは水平方向セパレータ長さしきい値を示すパラメータである。
【００３２】
同様に、白セパレータ候補領域２２は、次の条件
ＶｓｐＷ＞Ｗｖ かつ ＶｓｐＬ＞Ｌｖ …条件（２）
を満たせば、垂直白セパレータとみなす。この条件（２）を満たさない場合には、この領域に垂直セパレータはないものとみなされる。ここで、Ｗｖは垂直方向セパレータ幅しきい値、Ｌｖは垂直方向セパレータ長さしきい値を示すパラメータである。上述のパラメータＷｈ，Ｌｈとともに、これらのパラメータはパラメータ設定部３によって設定される。
【００３３】
図７に示した例では、白セパレータ候補領域２１，２２とも、それぞれ条件（１），（２）を満たし、それぞれ水平白セパレータ、垂直白セパレータとみなされた例を示している。文書画像は、図７に示すように分割領域２３〜２５の３つの領域に分割されている。
【００３４】
図８に示した例では、白セパレータ候補領域２１は条件（１）を満たし、水平白セパレータとみなされたが、白セパレータ候補領域２２は条件（２）を満たさなかったため、垂直白セパレータがなくなった場合を示している。この場合には、分割領域２６と、領域２４と領域２５が統合された分割領域２７の２つの領域に分割されている。
【００３５】
図９に示した例では、白セパレータ候補領域２１，２２とも、それぞれ条件（１），（２）を満たさず、水平、垂直白セパレータがない場合を示している。この場合には、分割領域２８にすべて統合されている。
【００３６】
図７〜図９を参照してわかるように、連続する白画素をセパレータとみなすか否かは領域分割のためのパラメータによって変化し、領域分割の結果も変わってくる。また、同じフォーマットを用いた文書であっても、各文書によって文字サイズ、文字間隔、行間隔などが微妙に異なることから、同一のパラメータであっても異なった領域分割結果が得られる。
【００３７】
ところで、論理構造抽出部７は、論理構造指定部９によって指定された論理構造から所定の手順で論理構造の要素を抽出する。例えば、上述の図３に示した内容のファイルがユーザによって指定されたとき、図４を用いて説明したように、図８に示す分割領域が得られることを想定し、各参考文献要素を抽出する処理が記述されている。この場合、まず図３に示した部分「Ｅｌｅｍｅｎｔｓ」で指定されている要素「見出し」にマッチする要素、すなわち“文献”あるいは“参考文献”という単語を含む１行の領域を探索する。図８に示す例では、分割領域２６がマッチする。次に、直下にある分割領域２７を取り出して、指定されている幾何学的構造を満たすか否かの判定を行う。図８に示す例では、図３に示す部分「Ｃｏｎｓｔｒａｉｎｔｓ」に記述されている幾何学的構造のうち、関係「ｃｅｎｔｅｒｅｄ」を満たすので、分割領域２７は指定された要素「文献情報」にマッチする。あとは、指定されたファイル内の部分「Ｐｒｏｄｕｃｔｓ」に記述された手続きに従って「文献」要素が出力される。
【００３８】
以上の手順で図６に示す文書画像から参考文献の要素を抽出する場合、図７に示す分割領域の構造では分割領域２５内の各行がすべて同じ開始位置から始まるので、各参考文献要素の区切りを把握できず、文献要素を抽出することができない。また、図９に示すように一体化した分割領域２８として領域分割された場合、「文献」または「参考文献」という１行のみの分割領域がないため、上述の手順では参考文献の領域を特定できない。
【００３９】
領域構造判定部５では、例えば図８に示したように分割領域の構造が、ユーザが指定した図３に示すファイルの内容で示される論理構造になっているか否かを判定する。例えば図７や図９に示すように領域分割されている場合には、指定された論理構造になっていないものと判定する。この場合、パラメータ設定部３に対してパラメータを変更させ、領域分割をやり直す。もちろん、一度実施したパラメータセットの番号は記憶しておき、二度と実施することはないように制御する。図８に示すような領域分割の結果が得られたら、論理構造抽出部７において、上述のようにして論理構造を抽出する。
【００４０】
このようにして、１回目の領域分割で想定する論理構造が得られなければ、領域分割のためのパラメータを変化させて領域分割を繰り返すことにより、様々な文書画像に対応し、指定された論理構造を抽出することができる。
【００４１】
本発明の論理構造抽出装置の第２の実施の形態について説明する。この第２の実施の形態における構成は、図１と同様である。この第２の実施の形態では、上述の第１の実施の形態においてパラメータセットの変更を行う際に、領域分割の結果が想定する論理構造となる確度の高いパラメータの設定方法を用いた例を示している。
【００４２】
まず、パラメータ設定部３におけるパラメータセットの保持方法について、一部変更する。図１０は、パラメータセットの別の例の説明図である。パラメータセットは、上述したように領域分割部４の処理実行時に必要となるパラメータを組にしたものである。図１０に示したパラメータセットの例では、図５に示したパラメータに加え、垂直方向分離度、水平方向分離度という２つの属性が付与されている。垂直方向分離度は、垂直方向の白セパレータによって、要素を分離する度合いを示すものである。同様に水平方向分離度は、水平方向の白セパレータによって要素を分離する度合いを示すものである。ともに値は整数値を取るものとし、大きくなるほど分離しやすい、すなわち小さなしきい値で白セパレータを採用することを意味する。この値は、単に大小関係がわかれば任意のものでかまわない。
【００４３】
例えば図６に示した文書画像を、図１０に示す通し番号１のパラメータセットを用いて領域分割を行ったとき、上述の図７に示すように３つの分割領域２３〜２５に分割された領域分割結果を得たとする。このとき、「見出し」要素の下にセンタリングされているあるいは左寄せになっている要素が存在しない。このとき、直下の分割領域２５のｘ座標の中心に対して左に、左辺に対して右に「見出し」要素が存在することがわかる。このときの可能性としては、
（１）直下の要素が右側の他の要素と誤統合されている。（センタリング）
（２）直下の要素の左側にある白セパレータで誤分割されている。（センタリング）
（３）直下の要素の左側の他の要素と誤統合されている。（左寄せ）
の３つの可能性がある。
【００４４】
これらの可能性は、幾何学的条件判定関数「ｃｅｎｔｅｒｅｄ」、「ｌｅｆｔ−ａｌｉｇｎｅｄ」を評価する際に、その関数の中で条件を満たさなかった場合に、これらの可能性があるか否かを判定する。（１），（３）の可能性については、白セパレータの存在範囲が推定できるので、推定した白セパレータの存在範囲に白セパレータが存在するか否かを調べる。もし白セパレータが存在したならば、垂直方向のセパレータの幅のしきい値が大きすぎたとして、垂直方向分離度を上げるフラグを立てる。（２）の可能性については、左側の要素の存在範囲を推定して、そこに要素が存在していれば、垂直方向のセパレータの幅のしきい値が小さすぎたとして、垂直方向分離度を下げるフラグを立てる。
【００４５】
図１１、図１２は、本発明の論理構造抽出装置の第２の実施の形態における分離度の変更の具体例の説明図である。図中、３１，３２は白セパレータの探索範囲、３３は要素の探索範囲である。図７に示したように領域分離された場合、まず（１）の可能性については、「見出し」要素である分離領域２３のｘ座標の中心位置を中心として、分離領域２５の左端までの距離と同じ距離となる右側位置付近の所定範囲を図１１に示す探索範囲３１とし、白セパレータが存在しているか否かを調べればよい。また、（３）の可能性については、「見出し」要素である分離領域２３の左端付近の所定範囲を図１１に示す探索範囲３２として、分離領域２５内に白セパレータが存在しているか否かを調べればよい。この例では、図１１に示すように、（１），（３）の可能性はないことがわかる。
【００４６】
一方、（２）の可能性については、図１２に示すように、「見出し」要素である分離領域２３のｘ座標の中心位置を中心として、分離領域２５の右端までのｘ方向の距離を左側に伸ばして探索範囲３３を仮定する。この探索範囲３３に別の要素が含まれているか否かを調べればよい。この例では、図１２に示すように探索範囲３３内に分割領域２４が含まれることが確認できる。
【００４７】
従って、垂直方向分離度を下げるフラグが立つことになる。これによって、前回実施した領域分割の際のパラメータセットより垂直方向分離度の低いパラメータセットをパラメータ設定部３で選択し、再び領域分割部４で領域分割処理を実行する。この領域分割処理を、対象領域だけでなく、文書画像全体に改めて実施するのは、領域の再分割や統合によって、他の論理構造に影響を与える場合が考えられるからである。
【００４８】
上述の第１の実施の形態と同様、この第２の実施の形態においても、水平方向分離度、垂直方向分離度を変化させるフラグが両方とも立っていない場合には、パラメータ設定部３において任意の順にパラメータセットを適用する。また、両方のフラグが立っている場合には、いずれかのフラグを優先したり、あるいは任意の順にパラメータセットを適用することができる。
【００４９】
このようにしてパラメータセットを変更しながら、指示された論理構造が得られるように、領域分割処理を繰り返すことになる。しかしこの第２の実施の形態では、指定された論理構造が得られる確率が高くなるように、パラメータセットの適用を制御するので、領域分割のリトライを減少させ、より高速に精度よく領域分割を行うことができる。
【００５０】
図１３は、本発明の論理構造抽出装置の第３の実施の形態を示すブロック図である。図中、図１と同様の部分には同じ符号を付して説明を省略する。４１〜４３は論理構造抽出部、４４は論理構造抽出方法選択部である。この第３の実施の形態では、複数の論理構造抽出部４１〜４３を有した構成を示している。複数の論理構造抽出部４１〜４３は、それぞれ異なる論理構造抽出方法によって、所定の論理構造を抽出する。なお、この例では論理構造抽出部が３つの場合を示しているが、２つあるいは４つ以上であってももちろんよい。
【００５１】
領域構造判定部５は、領域分割部４による領域分割の結果が論理構造抽出部４１〜４３のいずれが想定する論理構造になっているか、あるいは複数の論理構造抽出部４１〜４３のいずれの想定する論理構造でもないかを判断する。論理構造抽出方法選択部４４は、領域構造判定部５において、領域分割部４による領域分割の結果が論理構造抽出部４１〜４３のいずれで想定する論理構造かの判定結果に従い、論理構造抽出部４１〜４３のいずれかを選択して、抽出された論理構造を構造化文書処理部８に出力する。
【００５２】
図１４は、本発明の論理構造抽出装置の第３の実施の形態における動作の一例を示すフローチャートである。この例においても、予め画像入力部１から文書画像が入力されて、文書画像管理部２に格納、管理されているものとする。また、抽出すべき論理構造は予め設定されており、各論理構造抽出部４１〜４３ではその予め設定された論理構造を抽出するための異なる抽出方法が設定されているものとする。
【００５３】
まずＳ５１において、パラメータ設定部３は領域分割部４に対して領域分割のためのパラメータの初期値をセットする。そしてＳ５２において、領域分割部４はパラメータ設定部３によって設定されたパラメータに従って、文書画像管理部２に格納されている文書画像の領域分割を行う。次にＳ５３において、領域構造判定部５が必要とする領域のみ文字認識部６で文字認識を行い、Ｓ５４において、領域構造判定部５によって論理構造抽出部４１〜４３のいずれかが想定する論理構造であるか否かを判定する。
【００５４】
領域構造判定部５による判定の結果、論理構造抽出部４１〜４３のいずれの想定する論理構造でもない場合には、Ｓ５５においてパラメータ設定部３で領域分割のパラメータを変更し、Ｓ５２へ戻って再度領域分割を行う。論理構造抽出部４１〜４３のいずれかが想定する論理構造であった場合には、Ｓ５６において、論理構造抽出方法選択部４４によって論理構造の抽出が可能な論理構造抽出部を選択する。Ｓ５７において、文字認識部６によりすべての領域の文字認識を行い、Ｓ５８において、Ｓ５６で選択された論理構造抽出部により各領域の幾何学的特徴と文字認識結果をもとに論理構造を抽出する。抽出した論理構造は、論理構造抽出方法選択部４４を介して構造化文書処理部８に送られて、各種の処理に用いられる。
【００５５】
この第３の実施の形態では、上述の第１の実施の形態では対処できない事例に対応することができる。その具体例を図１５〜図１７を用いて詳細に説明する。図１５は、文書画像の別の具体例の説明図、図１６は、４つの領域に分割された状態の説明図、図１７は、１つの領域とみなされた状態の説明図である。図中、６１〜６５は分割領域である。
【００５６】
図１５に示した文書画像の具体例では、２段組の印刷がなされている。そしてその右側の段組内に参考文献の記載が存在する。ここでは、このような文書画像から、参考文献の構造を抽出するものとする。
【００５７】
領域分割部４において、上述の第１の実施の形態で説明したように白セパレータを用いて領域分割処理を行う。水平方向、垂直方向とも白セパレータとみなす空白の幅Ｗを小さくした場合には、図１６に示すように、分割領域６１〜６４の４つの分割領域に分割される。ここで、左段の文章を含む分割領域６１と参考文献番号を含む分割領域６２との間隔と、分割領域６２と参考文献内容を含む分割領域６４との間隔がほぼ等しいとする。
【００５８】
このような文献の場合、垂直方向のセパレータとみなす空白の幅Ｗをある一定以上大きくすると、垂直方向のセパレータが存在しなくなり、図１７に示すように一つの分割領域６５に統合されてしまう。しかしながら、図１７に示すような分割領域の構造では、本来２段組であるのものが１段組とみなされているから、文字認識により左段１行目の後に右段１行目が来るなどといった認識結果となり、意味をなさなくなる。よってこの文書画像の場合には、上述の第１の実施の形態で採用した図８に示す分割領域の構造は採用できず、図７に示した分割領域の構造を採用して右段の分割領域６２〜６４から参考文献の論理構造を抽出する必要がある。
【００５９】
図７に示した分割領域の構造を想定した論理構造の抽出方法としては、例えば、参考文献番号を含む分割領域２４から各文献番号の垂直方向位置を求め、この位置を目安に参考文献内容を含む分割領域２５から各参考文献の要素を抽出する方法が考えられる。このような方法を図１６に示した分割領域６２〜６４に適用し、参考文献の構造を抽出することができる。
【００６０】
上述の第１の実施の形態では、論理構造抽出部７を一つだけ備えているため、例えば図８に示した分割領域の構造がユーザから指定された場合には、図７に示した分割領域の構造から論理構造を抽出することができなかった。しかし、この第３の実施の形態では、複数の論理構造抽出部を備えているので、例えば図７に示した分割領域の構造を想定した論理構造抽出部４１と、図８に示した分割領域の構造を想定した論理構造抽出部４２を備えていれば、そのいずれの構造に領域分割された場合でも、参考文献の論理構造を抽出することができる。
【００６１】
このように、この第２の実施の形態では、複数の論理構造抽出部を備えることによって、領域分割部４によって領域分割された結果が異なっていても、所望の論理構造を抽出することができ、抽出率を向上させることができる。
【００６２】
【発明の効果】
以上の説明から明らかなように、本発明によれば、領域分割手段による領域分割の結果が、論理構造抽出手段で想定する論理構造と異なる場合でも、自動的に領域分割のパラメータを変化させて再度領域分割を行って論理構造抽出手段で想定する論理構造を生成し、論理構造を抽出する。あるいは、異なる論理構造を想定した複数の論理構造抽出手段を設け、そのいずれかで論理構造を抽出する。これによって、様々な文書から高い精度で自動的に論理構造を抽出することができる。
【００６３】
さらに、求める構造が部分的に得られている場合は、その幾何学的な制約条件を用いて、その制約条件を満たす解釈が得られる可能性が高い領域分割のためのパラメータを自動的に選択することにより、さらなる効率化を図ることができるという効果がある。
【図面の簡単な説明】
【図１】 本発明の論理構造抽出装置の第１の実施の形態を示すブロック図である。
【図２】 本発明の論理構造抽出装置の第１の実施の形態における動作の一例を示すフローチャートである。
【図３】 論理構造の指定に用いられるファイルの内容の一例の説明図である。
【図４】 論理構造の指定に用いられるファイルの内容の一例における出力手続の説明図である。
【図５】 パラメータセットの一例の説明図である。
【図６】 参考文献が記載された文書画像の具体例の説明図である。
【図７】 図６に示す文書画像が３つの領域に分割された状態の説明図である。
【図８】 図６に示す文書画像が２つの領域に分割された状態の説明図である。
【図９】 図６に示す文書画像が１つの領域とみなされた状態の説明図である。
【図１０】 パラメータセットの別の例の説明図である。
【図１１】 本発明の論理構造抽出装置の第２の実施の形態における分離度の変更の具体例の説明図である。
【図１２】 本発明の論理構造抽出装置の第２の実施の形態における別の分離度の変更の具体例の説明図である。
【図１３】 本発明の論理構造抽出装置の第３の実施の形態を示すブロック図である。
【図１４】 本発明の論理構造抽出装置の第３の実施の形態における動作の一例を示すフローチャートである。
【図１５】 文書画像の別の具体例の説明図である。
【図１６】 図１５に示す文書画像が４つの領域に分割された状態の説明図である。
【図１７】 図１５に示す文書画像が１つの領域とみなされた状態の説明図である。
【符号の説明】
１…画像入力部、２…文書画像管理部、３…パラメータ設定部、４…領域分割部、５…領域構造判定部、６…文字認識部、７…論理構造抽出部、８…構造化文書処理部、９…論理構造指定部、２１，２２…白セパレータ候補領域、２３〜２８…分割領域、３１，３２…白セパレータの探索範囲、３３…要素の探索範囲、４１〜４３…論理構造抽出部、４４…論理構造抽出方法選択部、６１〜６５…分割領域。
Claims (6)
- 文書画像から論理構造を抽出する論理構造抽出装置において、設定されているパラメータに従って文書画像の領域分割を行う領域分割手段と、必要となる論理構造を指定する論理構造指定手段と、前記論理構造指定手段によって指定された構造を抽出する論理構造抽出手段と、前記領域分割手段による領域分割の結果が前記論理構造抽出手段が想定する論理構造であるか否かを判定する領域構造判定手段と、前記領域分割手段で文書画像を領域分割する際に用いる前記パラメータを可変設定するパラメータ設定手段を有し、前記領域構造判定手段において前記領域分割の結果が前記論理構造抽出手段が想定する論理構造でないと判定されたとき、前記パラメータ設定手段で前記パラメータを変更し、変更されたパラメータを用いて前記領域分割手段が領域分割をやり直すことを特徴とする論理構造抽出装置。
- 前記パラメータ設定手段は、領域構造判定手段において前記論理構造指定手段で指定された論理構造の要素が存在しない場合に、前記論理構造指定手段で指定された論理構造の幾何学的制約条件から指定された論理構造が得られる確率が高くなるように前記パラメータを設定することを特徴とする請求項１に記載の論理構造抽出装置。
- 文書画像から論理構造を抽出する論理構造抽出装置において、文書画像の領域分割を行う領域分割手段と、それぞれ異なる論理構造を抽出する複数の論理構造抽出手段と、前記領域分割手段による領域分割の結果が複数の前記論理構造抽出手段のうちのいずれが想定する論理構造であるかを判定する領域構造判定手段と、前記領域構造判定手段による判定結果に従って複数の前記論理構造抽出手段から１つを選択する論理構造抽出方法選択手段と、前記領域分割手段において文書画像の領域分割を行う際に用いるパラメータを可変設定するパラメータ設定手段を有し、前記領域構造判定手段において前記領域分割手段による領域分割の結果が複数の前記論理構造抽出手段のいずれの想定する論理構造でもないと判定されたとき、前記パラメータ設定手段で前記パラメータを変更し、変更されたパラメータを用いて前記領域分割手段が領域分割をやり直すことを特徴とする論理構造抽出装置。
- 文書画像から論理構造を抽出する論理構造抽出方法において、設定されているパラメータに従って領域分割手段が文書画像の領域分割を行い、領域分割の結果が論理構造指定手段で指定された論理構造であるか否かを領域構造判定手段が判定し、前記領域分割の結果が想定されている論理構造でないと判定されたときパラメータ設定手段が領域分割のための前記パラメータを変更して再度領域分割を行い、前記領域分割の結果が想定されている論理構造であるとき指定された論理構造を論理構造抽出手段が抽出することを特徴とする論理構造抽出方法。
- 領域分割の結果が想定されている論理構造か否かを領域構造判定手段が判定するときに前記指定された抽出すべき論理構造の要素が存在しないと判定される場合には、パラメータ設定手段が前記パラメータを変更する際に、前記指定された抽出すべき論理構造の幾何学的制約条件から前記指定された抽出すべき論理構造が得られる確率が高くなるように前記パラメータを設定することを特徴とする請求項４に記載の論理構造抽出方法。
- 文書画像から論理構造を抽出する論理構造抽出方法において、設定されているパラメータに従って領域分割手段が文書画像の領域分割を行い、前記領域分割の結果が複数の論理構造抽出手段が想定する複数の論理構造のいずれであるかを複数の前記論理構造抽出手段がそれぞれ判定し、該判定結果に従って論理構造の１つを論理構造抽出方法選択手段が選択して論理構造を抽出し、前記領域分割の結果が複数の前記論理構造から想定されている論理構造のいずれでもないと判定されたとき、前記文書画像の領域分割を行う際に用いるパラメータをパラメータ設定手段が変更し、再度領域分割を行うことを特徴とする論理構造抽出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27498598A JP3912463B2 (ja) | 1998-09-29 | 1998-09-29 | 論理構造抽出装置及び論理構造抽出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27498598A JP3912463B2 (ja) | 1998-09-29 | 1998-09-29 | 論理構造抽出装置及び論理構造抽出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000105836A JP2000105836A (ja) | 2000-04-11 |
| JP3912463B2 true JP3912463B2 (ja) | 2007-05-09 |
Family
ID=17549313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27498598A Expired - Fee Related JP3912463B2 (ja) | 1998-09-29 | 1998-09-29 | 論理構造抽出装置及び論理構造抽出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3912463B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2380009A (en) * | 2001-09-21 | 2003-03-26 | Hewlett Packard Co | Apparatus and automated method of contract drafting |
| JP4480421B2 (ja) * | 2004-03-04 | 2010-06-16 | 富士通株式会社 | 文書画像レイアウト解析プログラム |
| JP4443443B2 (ja) | 2005-03-04 | 2010-03-31 | 富士通株式会社 | 文書画像レイアウト解析プログラム、文書画像レイアウト解析装置、および文書画像レイアウト解析方法 |
| JP4825243B2 (ja) * | 2008-06-20 | 2011-11-30 | 富士通フロンテック株式会社 | 帳票認識装置、方法、データベース作成装置、方法、及びプログラム |
| EP2807604A1 (en) | 2012-01-23 | 2014-12-03 | Microsoft Corporation | Vector graphics classification engine |
| EP2807608B1 (en) | 2012-01-23 | 2024-04-10 | Microsoft Technology Licensing, LLC | Borderless table detection engine |
| US9953008B2 (en) | 2013-01-18 | 2018-04-24 | Microsoft Technology Licensing, Llc | Grouping fixed format document elements to preserve graphical data semantics after reflow by manipulating a bounding box vertically and horizontally |
| JP2019105957A (ja) * | 2017-12-12 | 2019-06-27 | コニカミノルタ株式会社 | 文書構成解析システム、文書構成解析方法、プログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0775029B2 (ja) * | 1987-07-28 | 1995-08-09 | 工業技術院長 | 文書解析方式 |
| JPH0676105A (ja) * | 1992-08-27 | 1994-03-18 | Pentel Kk | 文書認識システム |
| JP3484446B2 (ja) * | 1996-11-15 | 2004-01-06 | シャープ株式会社 | 光学文字認識装置 |
-
1998
- 1998-09-29 JP JP27498598A patent/JP3912463B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000105836A (ja) | 2000-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4311552B2 (ja) | ドキュメントの自動分離 | |
| EP0854433B1 (en) | Caption and photo extraction from scanned document images | |
| JP4208918B2 (ja) | 文書画像からテキストを抽出する方法及び装置並びにコンピュータプログラム及びその記憶媒体 | |
| US6353840B2 (en) | User-defined search template for extracting information from documents | |
| EP0854434B1 (en) | Ruled line extracting apparatus for extracting ruled line from normal document image and method thereof | |
| US6351559B1 (en) | User-enclosed region extraction from scanned document images | |
| JPH0713995A (ja) | 自動テキスト特徴決定装置 | |
| JPWO2021084702A1 (ja) | 文書画像解析装置、文書画像解析方法およびプログラム | |
| JP3912463B2 (ja) | 論理構造抽出装置及び論理構造抽出方法 | |
| US6327382B1 (en) | Image processing method and apparatus and storage medium therefor | |
| JP5412903B2 (ja) | 文書画像処理装置、文書画像処理方法および文書画像処理プログラム | |
| JP5412916B2 (ja) | 文書画像処理装置、文書画像処理方法および文書画像処理プログラム | |
| JPH11328306A (ja) | 文書画像の論理要素抽出方法、装置および記録媒体 | |
| JP2000090194A (ja) | 画像処理方法および画像処理装置 | |
| JP2000137728A (ja) | 文書解析装置及びプログラム記録媒体 | |
| JP2000090117A (ja) | 文書画像の論理要素抽出方法、装置および記録媒体 | |
| JP2002297638A (ja) | 文書画像からのタイトル抽出方法 | |
| JP3565310B2 (ja) | 一般の文書画像から罫線を抽出する罫線抽出装置および方法 | |
| JP2576350B2 (ja) | 文字列抽出装置 | |
| JPH0757040A (ja) | Ｏｃｒ付きファイリング装置 | |
| JPH0743718B2 (ja) | マルチメディア文書構造化方式 | |
| JPH04241074A (ja) | 自動文書清書装置 | |
| JPH06259597A (ja) | ドキュメントイメージ処理方法並びに文字認識システムおよびドキュメントイメージ処理装置 | |
| JP2003030585A (ja) | 画像処理装置、方法、プログラム及び記憶媒体 | |
| JP3647070B2 (ja) | 画像処理方法及びその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060703 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060712 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060905 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070123 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140209 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |