JPH0259880A - 文書読取装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本願発明は、８箱等の文書画像内の任意の文字読取領域
を抽出し、文字読取りを行う文書読取装置ｔこ係わり、
特に、利用者の負担を軽減するようＥこした文書読取装
置に係わる。

（従来の技術） 一般書籍等の既存文書画像内の所望の読取り領域を文字
ル３識装置を用いて自動的に読み取ることは、既存文書
画像の効率的な蓄積および伝送を実現する上で重要であ
る。このような既存文書を読み取る場合、読み取りを行
うべき領域は、文書全体やアブストラフ等の文書の一部
分のように、利用状況（こよって−意に定まらないとい
う問題点が生じる。また、既存文書画像には、段組、更
には図ｆ表が含まれることもある。

従来、このような既存文書画像から読取るべき領域を決
定する最も一般的な方法は、文書画像上の２点を指定す
ることによって読取領域を矩形領域で求める第一の方式
が知られている。

また、例えば特願昭６１−２８１３７７号「画像理解方
式」に示されているように、文書画像を複数個の矩形領
域の集合として定義された文法に従って抽出すべき領域
を求める第２の方式が知られている。

一方、２段組や図９表等が含まれる一般文書画像を文字
行−図・表等の基本要素に分割し、所望領域を自動抽出
する方式として、例えば、本願発明者と同一人による「
スプリット検出法ｆこ基づく頁画像の構造解析」（電子
通信学会技術報告パターン認識と学習ＰＲＬ８５−１７
　、１９８５−６゜６３ページ〜７０ページ）なる技術
論文ｌこ記載されている第３の方式が知られている。

また、文書画像を文字行・図・表等の基本要素１こ分割
後、文書画像を構成する要素及び要素間の配置関係を階
層的に表現した木構造として構造化する第４の方式が、
例えば、本願発明者と同一人による特願６２−１７２１
９９号「文書画像解析方式」に記載され、知られている
。

（発明が解決しようとする課題） 上記「従来の技術」の欄で述べた第１の方式では、常に
文書画像を見ながら所望の読取り領域を矩形領域で表わ
すための最低２点を指定する必要があり、更にデイスプ
レィ画面上の画像表示精度が劣化する場合も考慮すると
、利用者の負担が犬きくなるという欠点があった。更に
、２段組等の文書画像では、数回に分けて指定する必要
があった。

上記「従来の技術」の欄で述べた第２の方式では、矩形
領域の位置・サイズを絶対又は相対座標をベースにすべ
て定義することは、労力を必要とし、また、座標による
矩形領域の定義は、行数の変化や図等の混在によって、
更に利用者の負担が大きくなる。

上記「従来の技術」の欄で述べた本願発明者と同一人に
よる第３の方式では、既存文書画像から所望の領域を自
動抽出できる一方、読取り領域を画定的に決定されてい
るために、利用形態が固定されるという欠点があった。

また、上記「従来の技術」の欄で述べた本願発明者と同
一人による第４の方式では、文書画像を構成する要素及
び要素間の配置関係を木構造として構造化する方式が述
べられているが、具体的に利用者が選択する読取り領域
を決定し、文字読取りを行う方法について示されていな
い。

このようζこ、文書画像から読取るべき領域を決定する
従来の方式には、上述の４つの方式のいずれにも解決す
べき課題がある。

そこで、本願発明の目的は、従来の上ｇピ課題を解決す
るために、入力画像から文書を構成する要素及び要素間
の配置関係を木構造として構造化した後、その木構造を
用いて文書画像のレイアウト構造を抽出し、レイアウト
表示された要素領域上を１点で指定することによって、
利用者の負担を軽減するようにした文書読取装置を提供
することにある。

また、本願発明の他の目的は、既存文書画像から程々な
レベルで要求される所望の読取り領域を１点でしかも指
定位置を緩和した状態で指定できるようにして、利用者
の負担を容易ｌこ軽減するようにした文書読取装置を提
供することにある。

（課題を解決するための手段） 前述の課題を解決するために本願の第一の発明が提供す
る文書読取装置は、文書画像を文字行。

図等の基本ＪＭ素ブロックに分解する領域分割手段と、
前記複数個の基本要素ブロックから順次に構造化し、文
書画像を構成する要素ブロック及び各要素ブロック間の
配置関係を階層的に表現した木構造として構造化する文
書構造化手段と、所定のレベルを持つ前記文書画像のレ
イアウト構造を前記木構造を用いて抽出し、表示するレ
イアウト抽出手段と、レイアウトａ示された１つ又は複
数個の要素ブロックｆこ従って読取領域を１点で指定し
て決定する領域決定手段と、前記読取領域内の文字行の
みを順次に前記木構造を縦型探索した順序で読出す行続
出し手段と読出された文字行を１文字率位に切出し、認
識辞書と照合して文字読取り結果を順次出力する文字認
識手段とから成る。

また、前述の課題を解決するために本願の第２の発明が
提供する文書読取装置は、文書画像を文字行１図等の基
本要素ブロックに分解する領域分割手段と、前記複数個
の基本要素ブロックから順次に構造化し、文書画像を構
成する要素ブロック及び各要素ブロック間の配置関係を
階層的に表現した木構造として構造化する文書構造化手
段と、所定レベル又は後記再表示領域選択手段によって
選択された要素ブロックのレイアウト構造を前記木構造
を用いて抽出し、表示するレイアウト抽出手段と、レイ
アウト表示された１つ又は複数個の要素ブロックから詳
細なレイアウト情報を表示すべき要素ブロックを選択す
る再表示領域選択手段と、レイアウト表示された１つ又
は複数個の要素ブロックから読取領域を１点で指定して
決定する領域決定手段と、前記読取領域内の文字行のみ
を順次に前記木構造を縦型探索し九順序で読出す行読出
し手段と、読出された文字行を１文字率位に切出し、認
識辞書と照合して文字読取り結果を順次１こ出力する文
字認識手段とから成る。

（実施例） 以下に本願発明の実施例について図面を参照しながら説
明する。

第１図は、横書きで記載された文書画像を基本要素に分
割した後、文書を構成する要素に構造化する方法を説明
するために示した一例である。また、第２図は、第１図
で示した文書画像から基本要素の分割及び構造化によっ
て、文書画像を構成する要素及び要素間の配置構造を木
構造として生成された結果を示した一例である。

第１図において、斜線を入れた丸は文字を示している。

文書画像を基本要素（図中、記号Ｓｔ（ｔ；１１２　＊
・・・２０）で示す文字行ブロック）に分割する方法は
、例えば、前述した本願発明と同一人による「スプリッ
ト検出法に基づく頁画像の構造解析」（電子通信学会技
術研究報告パターン認識と学習ＰＲＬ８５−１７．１９
８５−６）によって実現することができる。尚、上記従
来技術等を用いることによって、例えば、図１等が混在
していてもめるいは、縦書きであっても基本要素に分割
できることは言うまでもない。次に、基本要素から順次
に構造化を行い、文書画像を構成する要素及び要素間の
配置構造を木構造として生成する処理ｌこついて述べる
。

まず、文書画像を構成する重要な要素として文章ブロッ
クがある。ここで、文章ブロックを同一文字の並び方向
を持つ文字行が所定の行間ピッチ以下で並んでいる文字
行の集合と定義すると、以下で述べる文章ブロックは、
通常の文書に於けるパラグラフ単位ｉこ構造化された領
域と見なしても良い。

例えば、第１図の文字行Ｓｓ、Ｓａ、Ｓｓは、文章ブロ
ックＴ２に上記定義に従って構造化されることになる。

また、以下の説明では、文章ブロックや文字行０図９表
、写真等の基本要素ブロックの組合せ領域を仮想ブロッ
クと呼ぶことにする。例えば、第１図の文字行ブロック
Ｓ６と文章ブロックＴ３の合成領域Ｍ３は仮想ブロック
となる。次に、文書画像を構成する要素ブロック間の配
置関係として、上下関係、左右関係、包含関係を導入す
る。例えば、図１こおいて、文字行ブロックＳ１゜Ｓｔ
は、上下関係にあり、仮想ブロックＭ３と文章ブロック
Ｔ４は左右関係にある。また、２段組領域を意味する仮
想ブロックＭ２と仮想ブロックＭ３とは包含関係となる
。

以上に説明したような配置関係も含めて領域の構造化を
行うと、第１図で示し恋文書画像に対して第２図で示す
ような木構造が生成できる。第２図において、図中丸印
で示したノードは、各要素ブロックを示し、ノード内の
記号は、それぞれ第１図の要素ブロック（但し、記号Ｐ
は１頁領域とする）を示している。また、図中矢印↓及
→は、それぞれ上下関係及び左右関係の配置関係を意味
する。例えば、図２から１頁領域Ｐは、左右関係にある
２つの仮想ブロックを含んでいることが容易にわかる。

尚、各要素ブロックの情報として、位置、大きさ、要素
名、配置関係を示すポインター等を持っているとする。

いま、１頁領域Ｐから始めて第２図の木構造を通常の縦
型探索を行い、文字行ブロック５ｊ（ｉ＝１・・・２０
）を順次取り出す場合を考えると、最初ｌこ文字行Ｓ１
が見つかり、欠番こ文字行Ｓ２が見つかり、最後に文字
行Ｓ３が見つかることになる。即ち、上下関係を満足す
る場合には、上から下へ順次文字行が読み出せ、左右関
係を満足する場合には、第１図の横書きの例では、左か
ら右へ順次文字行を読み出すことができるため、文章の
読みべき順序で文字行が検出できる。

尚、第２図で示したような文書画像の各要素の配置関係
も含んだ構造化方法については、例えば前述したような
本願と同一人（こよる特願６２−１７２１９９号「文書
画像解析方式」に記載された方式を利用することによっ
て実現できる。

第３図は、第２図の木構造を縦型探索し、文章ブロック
又は基本要素ブロックを抽出し、それらの位置・サイズ
情報ｌこ従ってレイアウト表示した一例である。そこで
、第３図を用いて本願の第１の発明の文書読取装置の領
域指定方法について説明する。

尚、第３図で示したレイアウト表示について、各要素ブ
ロックは、色情報や図形バタン等を用いて要素名毎に識
別しても良い。更ｔこ、例えば、縮少した文書画像を第
３図のレイアウト表示に対応付けて表示することも容易
ｔこ実現できる。図中矢印で示した記号ａ、ｂ、ｃｅｄ
はそれぞれ、表示画面上の利用者の指定位置の一例を示
している。

尚、表示画面のポインティングデバイスとしては、マウ
ス等の公知の装置が利用できるが、これに限定されるも
のではない。

いま、図中矢印ａで示すような文章ブロックＴ２内の任
意の１点が読取領域として指定されると、第２図で示し
た文章ブロックＴ２内Ｅこ含まれる文字行ブロックＳｓ
、Ｓ４．Ｓｇを順次に読み出し、次ｌこ、各文字行ブロ
ック内の１文字が順次切り出され、認識される。これに
より、文章ブロックＴ！の各文字イメージが文章として
文字コード列に変換される。尚、上記文字切出し及び文
字認識には、従来の公知の技術が利用できる。

同様に、矢印すで示すような文章ブロックＴ３内の任意
の１点を読取り領域として指定することにより、文章ブ
ロックＴ３の各文字イメージを順次に文字コード列に変
換することが容易にできる。

次に、第１図１こ示した２段組を表わす仮想ブロック間
２内の文章全体、即ち、文字行５ｋ（ｋ＝６・・・２０
）を１回の指定で文字コード列に変換する場合について
述べる。第３図で示し九要素ブロックの表示レベルの場
合においては、例えば、矢印Ｃの位置を読取り領域とし
て指定すると、矢印Ｃの位置は、第２図の仮想ブロック
Ｍ！ｌこ含まれ、その背下の仮想ブロックＭ１及び文章
ブロックＴ４には含まれないために、矢印Ｃの指定によ
り仮想ブロックＭ２を決定することができる。即ち、第
２図の木構造を探索し、最後に検出された指定された位
置を含む要素ブロックとして求めることができる。

同様に矢印ｄの位置を指定すると、文書画像全体、即ち
、文書画像内の文字行がすべて第２図で木構造で縦型探
索した順序で文字コード列に変換されることｌこなる。

上に述べたように、本願の第一の発明によって、従来の
矩形領域を求めるために必要な２点の指定から１点の指
定でしかも指定位置がかなり緩和されることにより利用
者の負担が著しく軽減することができる。しかしながら
、第３図で示した矢印Ｃの指定の場合には、指定位置が
矢印す等の場合に比べて少し制限されることになる。尚
、１点による読取り領域指定を数回に分けて行っても良
いことは言うまでもない。

第４図は、本願の第２の発明の文書読取装置の領域指定
方法について説明するために示した一例である。本願の
第１の発明では、第３図の矢印Ｃで示しｆｃ読取り領域
指定のように、表示された各要素ブロックの位置に基づ
いて表示されない要素ブロックの１点による読取り領域
指定を行う手法を提供した。一方、本願の第２の発明で
は、表示レベルを順次変更して表示することにより、所
望の要素ブロックの１点による領域指定を行う手法を提
供する。これにより、再表示指定による数回の表示を行
う必要があるが、１点の指定位置の制限がかなり緩和さ
れる。

第４図（ａ）は、第２図の１頁領域Ｐのレイアウト表示
を示したもので８９、矢印ｅの位置で再表示指定として
ボインティングを行うと、第４図（ｂ）で示したように
、第２図における１頁領域Ｐの背下の仮想ブロックＭｌ
、Ｍ２が表示される。一方、矢印ｅの位置で第３図で説
明したように読取り領域として指定すると、文書内の各
文字行が順次文字コード列に変換される。同様に、第４
図６）で、矢印ｆの位置で再表示指定としてボインティ
ングを行うと、第２図における仮想ブロックＭ２の背下
の仮想ブロックＭ３及び文章ブロックＴ４が第４図（Ｃ
）で示すように表示される。

尚、第４図で示した表示では、表示倍率を変更して表示
しても良い。更に、第３図と同様に、レイアウト表示と
共に、縮少した文書画像を対応付けて表示しても良い。

第５図は、本ｉ第一の発明の一実施例を示す機能ブロッ
ク図である。

図において、１は、文書画像をｔ子化された画像情報と
して記憶する画像メモリである。２は、領域分割部であ
る。領域分割部２は、画像メモリ１に記憶された文書画
像を文字行１図９表等の基本要素ブロックに分割する機
能を有しており、その結果を構造化データ記憶部４に格
納する。文書構造化部３は、構造化データ記憶部４の内
容を順次読み取り、更新するととｌこよって、第２図で
説明したよう１こ、文書画像を構成する要素ブロック及
び各要素ブロック間の配置関係を木構造として生成し、
構造化データ記憶部４に格納する。表示レベル記憶部６
は、予め定められた表示レベル情報（例えば、文章ブロ
ック及び基本要素、あるいは、１頁領域など）を格納す
る。レイアウト抽出部５は表示レベル記憶部６の内容ｌ
こ従って、構造化データ記憶部４に格納された前記木構
造を探索し、表示されるべき各要素ブロック情報を表示
部１２に転送する。表示部１２は、転送され念各要素ブ
ロック情報に基づいて、第３図で示したように、表示画
面（図中省略）上にレイアウト表示を行う。尚、表示部
１２は、画像メモリ１より文書画像を読み出し、画像縮
少を行った後、画面上にレイアウト表示と対応付けて表
示する機能も持うているとする。次に、利用者が画面上
のレイアウト光示を参照しながら第３図で説明したよう
に、マウス等のポインティングデバイスを用いて読取り
領域指定を行うと、領域指定部７からボインティング入
力位置情報が領域決定部８に転送される。

領域決定部８は、ボインティング入力位置情報に従って
、読取るべき要素ブロックを構造化データ記憶部４に格
納された木構造から探索し、行読取し部９へ転送する。

行読取し部９は、読取るべき要素ブロック内に含まれる
文字行のみを構造化データ記憶部４に格納された木構造
を縦型探索して順序で順次、読み出し、文字切出し部１
０へ転送する。文字切出し部１０は、順次転送される文
字ブロック情報に従って、１文字車位のイメージを画像
メモリ１に記憶された文書画像から順次に切り出し、認
識部１１へ転送する。認識部１１は、認識辞書１３と順
次入力された文字イメージと照合し、文字コードに変換
し、認識結果記憶部１４に順次記憶される。

第６図は、本願の第２の発明の一実施例を示す論理ブロ
ック図である。

図において、画像メモリ１．領域分割部２２文書構造化
部３．構造化データ記憶部４１表示部１２、領域決定部
８１行続出し部９９文字切出し部１０．認識部１１．認
織辞書１３．認識結果記憶部１４は、第５図で説明した
機能を有する。ここで、第６図で示す本願の第２の発明
の実施例では、前述したごうに、表示レベルを順次変更
しながら所望の要素ブロックの領域指定を行うために、
例えば第４図（ａ）の矢印ｅの領域指定の説明の際に述
べたように、ポインティングデバイスで指定された入力
位置情報と共に、その入力位置情報が再表示指定を意味
するのかあるいはそうでない（即ち読取り領域指定を表
わす）かを示す再表示情報も同時に領域指定部７から出
力され、再表示選択部工５を転送される。再表示選択部
工５では、入力位置情報が再表示領域であれば、その入
力位置情報をレイアウト抽出部５へ転送し、そうでなけ
れば入力位置情報を領域決定部８へ転送する。レイアウ
ト抽出部５において、第５図で述べたようＥこ、構造化
データ記憶部４に格納された前記木構造を探索し、表示
されるべき各要素ブロック情報を表示部１２に転送する
機能は、本願の第一の発明の実施例と同等な機能である
が、表示されるべき各要素ブロックの探索処理が異なる
。即ち、再表示選択部１５から転送された入力位置情報
を含む要素ブロックをまず、表示部１２へ転送して、表
示した各要素ブロックから再表示要素ブロックとして検
出し、次に構造化データ記憶部４に格納された木構造を
探索し、再表示要素ブロックの一つ背下にある複数個の
要素ブロックを表示されるべき要素ブロックとして取り
出し、表示部１２に転送することになる。

尚、レイアウト抽出部５は、表示部１２へ転送する初期
要素ブロック情報として１頁領域が転送されるものとす
る。

（発明の効果） 以上に説明したようｌこ、本願発明の文書読取装置ｆこ
よれば、入力画像から文書を構成する要素及び要素間の
配置関係を木構造として構造化し、その木構造に従って
レイアウト表示された要素領域上を１点でしかも指定位
置を緩和した状態で指定することによって、利用者の負
担を著しく軽減し、しかも既存文書画像から所望の領域
の文字読取りを容易に行うことができる。

【図面の簡単な説明】

第１図は、文書画像を基本要素に分割した後、文書を構
成する要素に構造化する方法を説明する図である。 第２図は、第１図の文書画像に対して得られる文書の配
置構造を木構造として生成された結果の一例を示す図で
ある。 第３図は、第１図の文書画像に対して適用する本願の第
１の発明の文書読取装置における領域指定法を説明する
図である。 第４図は、第１図の文書画像に対して適用する本願の第
２の発明の文書読取装置における領域指定法を説明する
図である。 第５図は、本願の第１の発明の実施例を示す機能ブロッ
ク図である。 第６図は、本願の第２の発明の実施例を示す機能ブロッ
ク図である。 図において、１は画像メモリ、２は領域分割部、３は文
書構造化部、４は構造化データ記憶部、５はレイアウト
抽出部、６は表示レベル記憶部、７は領域指定部、８は
領域決定部、９は行読取し部、１０は文字切出し部、１
１は認識部、１２は表示部、１３は認識辞書、１４に認
識結果記憶部、１５は再表示選択部である。 代理人　弁理士　　　本　庄　伸　介 男１ｇ Ｍ３／Ｚｌ （ａノ 勇４Ｎ （ｂ） （Ｃ） 勇５ｇ

Claims (1)

1. 【特許請求の範囲】 １、文書画像を文字行、図等の基本要素ブロックに分解
   する領域分割手段と、前記複数個の基本要素ブロックか
   ら順次に構造化し、文書画像を構成する要素ブロック及
   び各要素ブロック間の配置関係を階層的に表現した木構
   造として構造化する文書構造化手段と、所定のレベルを
   持つ前記文書画像のレイアウト構造を前記木構造を用い
   て抽出し、表示するレイアウト抽出手段と、レイアウト
   表示された１つ又は複数個の要素ブロックに従って、読
   取領域を１点で指定して決定する領域決定手段と、前記
   読取領域内の文字行のみを順次に前記木構造を縦型探索
   した順序で読出す行読出し手段と、読出された文字行を
   １文字単位に切出し、認識辞書と照合して文字読取り結
   果を順次に出力する文字認識手段とを有することを特徴
   とする文書読取装置。 ２、文書画像を文字行、図等の基本要素ブロックに分解
   する領域分割手段と、前記複数個の基本要素ブロックか
   ら順次に構造化し、文書画像を構成する要素ブロック及
   び各要素ブロック間の配置関係を階層的に表現した木構
   造として構造化する文書構造化手段と、所定レベル又は
   、後記再表示領域選択手段によって選択された要素ブロ
   ックのレイアウト構造を前記木構造を用いて抽出し、表
   示するレイアウト抽出手段と、レイアウト表示された１
   つ又は複数個の要素ブロックから詳細なレイアウト情報
   を表示すべき要素ブロックを選択する再表示領域選択手
   段と、レイアウト表示された１つ又は複数個の要素ブロ
   ックから読取領域を１点で指定して決定する領域決定手
   段と、前記読取領域内の文字行のみを順次に前記木構造
   を縦型探索した順序で読出す行読出し手段と、読出され
   た文字行を１文字単位に切出し、認識辞書と照合して文
   字読取り結果を順次に出力する文字認識手段とを有する
   ことを特徴とする文書読取装置。