JPS62119690A - 文書画像領域分割装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の属する技術分野〕 本発明は文書中の文字や図表を自動的に読み取る文書自
動読取装置において書式を前もって知ることの出来ない
文書の書式を自動的に理解し、文書に含まれる見出し２
本文１図表、写真等の領域全自動的に抽出する文書画像
領域分割装置に関するものである。

〔従来の技術〕

これまで、文書中の文字音読み取るものとして光学的文
字読取装置ｔ　（ＯＯＲ）が実用化されているが、これ
らのものはＯＯＲシートと呼ばれる書式の固定した特殊
な用紙に誉かれたシ印刷されたシしているものしか扱え
ないものが殆どであシ、また特殊な用紙を用いるもので
なくても書式の制限が厳しく汎用性がなかった。これま
で書式を予め知ることの出来ない文書の領域全分割する
ものとして、ランレングスを用い、黒画素の連続が短い
ものが多く存在する部分を文字領域として抽出したシ、
白画素の連続が長いものに囲まれる領域を抽出し、その
形状、大きさによって文字領域９図表領域を分離するも
のがあるが、処理に使用するパラメータが文書の種類に
依存してしまうという欠点があった。また、文書中の図
形の輪郭を追跡することによって図形の外接枠を求め、
その位置。

大きさを用いて領域を抽出していくものが提案されてい
るが、局所的な特徴を用いるため、処理効率が悪いとい
う欠点があった。領域内の画素濃度を用い統計的な手法
によって領域を分割する手法も提案されているが、これ
は大局的な特徴を用いるため、精度が低下するといった
欠点があった。

また、フーリエ変換を用いるもの、文書に関する細かい
ルールを記述した上で知識処理を用いるものが提案され
ているが処理に時間がかがシ、効率が悪いといった欠点
があった。

〔発明の目的〕

本発明はこれらの欠点を解決し曹弐を予め知ることの出
来ない文ｆ’ｋ、その種類に依存せずに効率良く、しか
も高精度に領域分割することを目的とする。

〔発明の特徴〕

本発明は、周辺分布特徴、線密度特徴、外接矩形特徴と
いう極めて簡単な特徴を併用し、文書の大局的な性質と
局所的な性質を効率的に組み合わせることによって書式
にとられれることなく文書の領域を分割することも最も
主要な特徴としており、以下、図面に従って説明する。

〔実施例〕

本発明の一実施例を第１図に示す。

光電変換部／ではファクシミリ、ドラムスキャナ等、既
存の入力装置を用いて文書を光電変換した上でアナログ
／ディジタル変換によって量子化し、信号線コによって
文書の蒼子化データ金画像データ記憶部３に格納すると
同時にデータの入力終了後、信号線クラ用いて文書方向
判別回路ｊに画像入力終了信号を送る。

特徴抽出部乙は周辺分布特徴計算回路７と線密度特徴計
算回路ｒと外接矩形特徴計算回路りとから構成される。

周辺分布特徴計算回路７は画像データ記憶部３に格納さ
れた文書画像中の指定された領域内の周辺分布特徴を計
算する。周辺分布特徴は領域内に含まれる図形の概略的
な位置、大きさ全示すもので、水平方向周辺分布ｐｐｈ
と垂直方向周辺分布ｐｐｖがある。水平方向周辺分布は
指定された領域内を水平方向に、また垂直方向周辺分布
は指定された領域内を垂直方向に走査し各画素の濃度値
を加えることによって求めることが出来る。第２図は周
辺分布特徴計算回路７について説明したもので、指定領
域内に数字”、５″が白画素Ｏ１黒画素ｌの濃度値を持
つ１０ｘりの画素に分割されて画像データ記憶部３に格
納されている状態を示している。周辺分布特徴計算回路
７は信号線ＩＯを用いて指定領域内の画素の濃度値を読
みだし周辺分布特徴を計算する。指定領域内の画素の座
標ｔ＝Ｌｊ、その画素の濃度値をＦ（ｉ、ｊ）とした時
、周辺分布ｐｐｈ、　ｐｐｖ　　は式 ％式％） を用いて求めることが出来る。ここで、ｉは画素の垂直
方向の座標、」は画素の水平方向の座標である。第２図
は領域／／ヲ水平方向／、２、垂直方向１３に走査し、
各走査毎に濃度値を累計した値がレジスターク、及びレ
ジスターｊに格納されている状態を示している。この場
合には濃度値の累計は黒画素の数と等しくなる。レジス
ター≠及び−６＝ レジスタ７．１の内容は信号線／ｉ＜とパス／ＡＡを通
じて第１図に示した前処理部１７又は論理処理部ｌざに
送られる。

線密度特徴計算回路ｒは画像データ記憶部３に格納され
た文書画像中の指定された領域内の線密度特徴を計算す
る。線密度は領域内の図形の複雑さを示すもので、水平
方向線密度８Ｄ１１と垂直方向線密度８Ｄｖがある。水
平方向線密度は指定された領域内を水平方向に、また垂
直方向線密度は指定された領域内を垂直方向に走査し各
画素の濃度値が一定値０．２満から０７以上に変化する
場所を計数することによって求めることが出来る。第３
図は線密度特徴計算回路ｒについて説明したもので、第
２図と同様、指定領域内に数字Ｉ　Ｊ、　Ｉが白画素Ｏ
１黒画素ｌの濃度値金持っ１０×りの画素に分割されて
画像データ記憶部３に格納されている状態を示している
。細密度特徴計重回路ｒけ信号線１９を用いて指定領域
内の画素の濃度値を読みだし線密度特徴を計算する。指
定領域内の画素の座標をＩＩＪ％その画素の濃度値をＦ
Ｃｔ、ｊ）とし、さらに濃度値Ｆ（ｉ、ｊ）は白または
黒の値、すなわちＯまたはｌの値しか取らないものとし
た時、線密度８Ｄｈ　、　ＳＤｖは式 ％式％）） を用いて計算することが出来る。ここで、ｌは画素の垂
直方向の座標、ｊは画素の水平方向の座標である。第３
図中の領域２Ｏｆ水平方向２１・垂直方向コλに走査し
、各走査毎に線密度を計算した値がレジスタ２３、及び
レジスタコ≠に格納されている。レジスタ２３及びレジ
スタ、２≠の内容は信号線２３とバス／ＡＡ’に通じて
第１図に示した前処理部１７又は論理処理部／とに送ら
れる。

外接矩形特徴計算回路７は画像データ記憶部３に格納さ
れた文書画像中の指定された領域内の図形の外接矩形特
徴を計算する。外接矩形特徴は図形の位置、大きさを正
確に求めるために用いる。

文書画像上の図形は一般に互いに入り組んでいることが
多いため、外接矩形特徴は画像メモリ内の図形を投影し
て求めるのではなく、輪郭線を追跡することによって値
を求める必要がある。画素の濃度が多値の場合には画素
濃度が一定値０．２を越える画素の輪郭を追跡すれば良
い。第４図は外接矩形特徴計算回路りについて説明した
もので、第２図、第３図と同様、指定領域内に数字１１
が白画素Ｏ１黒画素ｌの濃度値を持つｌｏ×りの画素に
分割されて画像データ記憶部３に格納されている状態を
示している。外接矩形特徴計算回路りは信号線２６を用
いて指定領域内の画素の濃度値全貌みだし外接矩形特徴
全計算する。領域２７にある図形、２１ｒ’ｉ時計方向
λり又は反時計方向３゜に輪郭追跡することによって求
めた図形の垂直方向の存在範囲がレジスタ３／、水平方
向の存在範囲がレジスタ３コに格納されている。レジス
タ３１及びレジスタ３２の内容は１Ｆ！号ＩＶｉ１３３
とバス１６人を通じて第１図に示し九前処理部／７又は
論理処理部ｌ♂に送られる。

前処理部１７は文書方向判別回路ｊと文書傾き補正回路
３≠から構成される。文書方向判別回路は入力された文
書が縦書きの文書か、横書きの文書か全判別する回路で
光電変換部ｌからの入力終了信号を信号線４ｔを経由し
て受は取った後、動作する。文書方向回路ｊについては
例えば信号線３ｊから読み込まれる周辺分布特徴計算回
路７の結果と特願昭１．０−／Ｉタタに示した文字列方
向判別装置を用いることによって実現可能である。

文書傾き補正回路３≠は文書方向判別回路ｊからの結果
全信号線３６を用いて読み込み、文書の傾きを補正する
回路である。文書傾き補正回路について例えば信号線３
７から読み込まれる周辺分布特徴計算回路７の結果と特
願昭３３−／４１３コ３♂、特願昭、３−１．−１７１
０１１コに示した文書傾き補正装置を用いることによっ
て実現可能である。文書傾き補正回路で傾きを検出して
補正を行った後、信号線３７，３Ｋを用いて傾きを補正
した文書画像データを画像データ記憶部３に格納する。

論理処理部ｌ♂はフィールドセパレータ領域抽出回路３
り、本文領域抽出回路≠０、見出し領域抽出回路ｌＡ／
、付属領域抽出回路≠２と、これらの各回路全制御する
だめの領域分割制御装置≠３とからなる。

フィールドセパレータ抽出回路３りは文書の領域を分割
するために用いられでいるフィールドセパレータを抽出
するもので文語傾き補正回路からの終了信号ｆ、信号線
４ｔ≠から受は取った後作動する。フィールドセパレー
タは通常直線状の細長い形をしておｐ、実直線がその典
型的なものである。

実直線の抽出は例えば信号線＜ｚ、ｔから読み込まれる
外接矩形％微計算回路りの結果を用い、縦と横の比が一
定値０３以上の図形を抽出することによって実現可能で
ある。ここで抽出されたフィールドセパレータの位置、
大きさを示す領域情報は信号線≠６を用いて領域分割制
御装置４１３に送られる。領域分割制御装置μ３はフィ
ールドセパレータ領域抽出回路３り、本文領域抽出回路
≠Ｏ１見出し領域抽出回路≠ｌ、付属領域抽出回路≠２
から得られる各領域の位蓋、大きさ全蓄積すると同時に
、その情報をもとに文書画像の領域分割の制御を行う装
置である。領域分割制御装置≠３はフィールドセパレー
タ領域抽出回路３りから得られるフィールドセパレータ
の領域情報音もとに領域分割を行う。第ｊ崗は複数個の
文字列から構成される３個の文字ブロック４Ｌ７．≠♂
、≠りとフィールドセパレータｊＯから構成される横書
きの文書の例を示したものである。領域分割制御装置≠
３はフィールドセパレータの情報をもとに第５図に示し
た文書の領域全体（第を図−ｊ／　）”ｆ：フィールド
セパレータを挾む二つの領域（第６図−！λ、ｊ３）に
分割する。２個以上のフィールドセパレータが抽出され
ている場合には領域を分割する操作全反復して行う。

本文領域抽出回路≠Ｏは周辺分布特徴計算回路７から得
られる周辺分布特徴と、線密度特徴計算回路ざから得ら
れる線密度特徴を信号線ｊ４ｔを用いて入力し、周期的
に並んだ複数個の文字列から構成される本文ブロックを
概略的に抽出する。さらに外接矩形特徴計算回路りで計
算された外接矩形特徴を用いて個々の文字列全正確に抽
出する。

外接矩形特徴は他の二特徴と同様、信号線よμを用いて
入力する０本文文字列の抽出結果は信号線よ！ヲ用いて
領域分割制御装置ｆ１ｔ１１．３に出力される。

第７図は本文ブロック概略抽出の原理について説明した
ものである。第７図ｋｌ横方向のｊ個の文字列によって
構成される本文ブロックが２個存在する状態を示してい
る。まず、水平方向の周辺分布（ｐｐｈ　）と垂直方向
の周辺分布（ｐｐ、）、ｊｉ　、ｔ７を求める。次に最
大の幅を持つ谷を周辺分布の中から抽出する。第７図に
おいては谷、ａ／＋　ｓ２＋ａＪ＋ｂ／の中でｂ／の幅
が最大である。そこで、ここの位置を領域分割の丸めの
候補位置とする。

なお、本文領域抽出回路≠Ｏにおける領域分割はフィー
ルドセパレータによって分割された個々の領域に対して
行う。この領域分割処理によって本文ブロックを抽出す
る場合には第７図に示される状況と、第ｒ図に示される
状況を区別する必要がある。第ｇ図は見出し等の大きな
文字が領域に含まれている場合全示している。第７図に
示される状況のときには左右を分割して２個の本文プロ
ツりとすべきであシ、第ｒ図に示される状況のときには
領域を分割すべきでない。第ｇ図における水平方向の周
辺分布（ｐｐｈ　）と垂直方向の周辺分布（ｐｐｖ　）
・３Ｆ、ｊりの中で最大の幅を持つ谷はｂＪであり、こ
の場所が領域分割の候補位置となる。第ｒ図に示される
状況の時の分割を防ぐため、線密度特徴計算回路どによ
って計算される線密度特徴を用いる。すなわち、領域内
に多くの文字が含まれる場合には第７図６０に示される
ように線密度の値は犬きくなシ、領域内に少しの文字し
か含まれない場合には第ｒ図６１に示されるように線密
度の値が小さくなる性質を利用する。従って、領域内の
線密度の値が大きい場合のみ領域を分割することによっ
て、本文ブロックを概略的に抽出することが出来る。周
辺分布特徴と線密度特徴を利用した領域分割によって既
にフィールドセパレータによって分割されていた第６図
！コの領域は２個の領域１，２．６３に分割される。本
文領域抽出回路はさらに概略的に抽出された本文ブロッ
クケ用いて個々の文字列を正確に抽出する。文字列の抽
出には外接矩形％徴計′脚回路りによって計算される外
接矩形特徴を用いる。第り図は文字ブロック内の図形が
外接矩形％徴を用いて文字列に統合されていく様子を示
している。第７図（ａ）は本文ブロックに含まれる図形
の例を示しており、各図形の外接矩形特徴全第り図（ｂ
）に示した。本文領域抽出回路は各外接矩形特徴全文字
列方向に統合し、個々の文字列第７図（ｅ）　’（Ｉ：
得る。さらに、文字列が周期性金持って並んでいる部分
を抽出し本文ブロックとする。このように、本文領域抽
出回路では周辺分布特徴、線密度％徴、外接矩形特徴を
併用することにより効果的、かつ効率的に本文文字列の
抽出を行う。

見出し領域抽出回路弘／では文書中の見出し領域全抽出
する。見出し領域全構成する文字列は、信号線Ａ４ｔを
通じて読み込む線密度特徴と外接矩形特徴を利用して抽
出出来る。通常、本文は文書中で大半の領域を占めてお
り、見出し文字はこれらの本文領域を構成する文字より
も大きい、そこでまず、外接矩形物ｇＩＩ１１′算回路
りを用いて文書中の図形の外接矩形特徴を求め本文領域
の文字図形よシも大きい図形要素を見出し文字の候補矩
形とする。本文文字の大きさは本文領域の文字が文書中
の図形要素の大半を占めていることを利用し、文書中の
全図形の大きさを平均して近似的に求める。候補図形の
中には図９表、写真など付属領域に含まれるものも本文
領域の文字よりも大きな図形を持つものとして抽出され
ている。そこでこれらの付属領域に含まれる図９表、写
真等は線密度特徴によって分離する。すなわち、抽出さ
れた図形要素が単一の文字であれば、その線密度は一定
値０≠を越えないことを利用し、本文領域の文字を構成
する図形要素よりも大きい図形要素の中で線密度が一定
値ＣＩＡ以下のものを見出し文字に含まれる図形として
抽出する。さらに見出し文字に含まれる図形として抽出
したこれらの図形の領域を統合して見出し領域とする。

抽出された見出し領域は信号線を夕を用いて領域分割制
御装置≠３に送られる。また、線密度特徴が一定値０弘
を越えるものについては、付属領域の候補図形とじて信
号線６６を経由して付属領域抽出回路μλに出力する。

付属領域抽出回路４１２は図１表、写真等を含む付属領
域を抽出するものである。付属領域抽出回路では信号線
６６を経て入力される付属領域の候補図形と、図９表、
写真のタイトル文字等、フィールドセパレータ領域にも
、本文領域にも、見出し領域にも含まれない図形要素を
統会し、付属領域として抽出する。抽出した結果は信号
線６７を経由して領域分割制御装置≠３に出力する。フ
ィールドセパレータ、見出し９本文のいずれに４含まな
い図形要素は信号線３１．４１ｒを経由して得られる画
像データからフィールドセパレータ領域抽出回路３り、
本文領域抽出回路４ｔＯ１見出し領域抽出回路ｌＡｌか
ら得られる領域を取シ除くことによって抽出される。

領域分割制御装置≠３は論理処理部ｉｔ内の各回路で抽
出された各領域の位置、大きさを蓄積すると同時に各回
路の動作の制御を行う。各領域の抽出結果は信号線６り
を経由して外部に出力され＝　　　１７　　　＝ る。

〔発明の効果〕 以上説明したように、本発明では周辺分布％徴、線密度
特徴、外接矩形特徴という極めて簡単な特徴を併用し、
文書の大局的な性質と局所的な性質全効果的に組み合わ
せることにより、あらかじめ書式を知ることの出来ない
文１１’ｔ−フィールドセパレータ領域、見出し領域、
本文領域、付属領域など互いに性質の異なる領域に効率
的に分割し、文書全構成する文字列等の構成要素を抽出
することが出来る。本発明によシ、書式が固定したもの
、あるいは書式が制限されたものしか扱うことが出来な
かったこれまでのＯＯＲと異なり、書式をあらかじめ知
ることの出来ない任意の文４１読み取る００Ｒが実現出
来る。

【図面の簡単な説明】

第１図は本発明の一実施例。第２図は周辺分布特徴計算
回路の動作原理を示す図。第３図は線密度特徴計算回路
の動作原理を示す図。第μ図は外接矩形特徴計算回路の
動作原理を示す図。第５図は文書の一例を示す図、第を
図は領域分割の過程を示す図。第７図、第ｒ図は本文領
域抽出の原理を示す図。第９図は文字列抽出の原理を示
す図。 ｌ・・・光電変換部、コ・・・−駄子化画像データを転
送するだめの信号線、３・・・量子化画像データ記憶部
、≠・・・データ入力終了信号を転送するための信号線
、！・・・文書方向判別回路、６・・・特徴抽出部、７
・・・周辺分布特徴計算回路、ｒ・・・線密度特徴計算
回路、り・・・外接矩形特徴計算回路、ｉｏ・・・周辺
分布特徴計算回路に画像データを読み込むための信号線
、ｉｉ・・・周辺分布特徴を求める領域、１２・・・水
平方向周辺分布を求める方向、１３・・・垂直方向周辺
分布を求める方向、１ｌＩ−・・・水平方向周辺分布の
値を格納するレジスタ、ｌｊ・・・垂直方向周辺分布の
値を格納スるレジスタ、／ｚ・・・レジスタの値を出力
する信号線、１６人・・・特徴抽出部、画像データ記憶
部と前処理部、論理処理部間のデータの入出力を行うた
めのバス、／７・・・前処理部、ｌｌｒ・・・論理処理
部、ｌり・・・線密度特徴計算回路に画像データを読み
込むための信号線１．２０・・・線密度特徴を求める領
域、２１・・・水平方向線密度を求める方向２．２．２
・・・垂直方向線密度を求める方向、２３・・・水平方
向線密度の値全格納するレジスタ、２≠・・・垂直方向
線密度の値を格納するレジスタ、２よ・・・レジスタの
値全出力する信号線、２乙・・・外接矩形特徴計算回路
に画像データを読み込むための信号線、２７・・・外接
矩形特徴を求める領域１．２ｆ・・・外接矩形特徴を求
める図形、２７・・・輪郭線を追跡する方向（時計方向
）、３０・・・輪郭線を追跡する方向（反時計方向）、
３１・・・水平方向の図形存在範囲を示す値を格納する
レジスタ、３２・・・垂直方向の図形存在範囲を示す値
を格納するレジスタ、３３・・・レジスタの値を出力す
る信号線、３４ｔ・・・文書傾き補正回路、３ｊ・・・
文書方向判別回路にデータを読み込むだめの信号線、３
ｚ・・・文書方向の判別結果全出力する信号線、３７・
・・文書傾き補正回路にデータを読み込むだめの信号線
、３ｇ・・・画像データ記憶部の内容を前処理部、論理
処理部に出力するための信号線、３り・・・フィールド
セパレータ領域抽出回路、ｌＡＯ・・・本文領域抽出回
路、≠ｌ・・・見出し領域抽出回路、４ｔ、２・・・付
属領域抽出回路、≠３・・・領域分割制御装置、Ｖμ・
・・文書傾き補正の終了Ｍ号を出力する信号線、ｔよ・
・・フィールドセパレータ領域抽出回路にデータ’（ｒ
　Ｗｅみ込むための信号線、ｉｔ・・・抽出したフィー
ルドセパレータを出力するための信号線、ＩＡ７．μｇ
、ｌ１１．り・・・本文ブロックの例、３ｏ・・・フィ
ールドセパレータの例、！ｌ・・・分割される領域の例
、ｊ、！、！３・・・分割された領域の例、！ｉ≠・・
・本文領域抽出回路にデータを読み込むだめの信号線、
ｊＪ′・・・分割する領域を読み込み、分割した結果を
出力するだめの信号線、！ｔ・・・水平方向周辺分布、
！７・・・垂直方向周辺分布、！ざ・・・水平方向周辺
分布、ｊり・・・垂直方向周辺分布、ｔｏ、ｔｉ・・・
垂直方向線密度、６コ、６３・・・分割された領域の例
、ｔｉ・・・見出し領域抽出回路にデータを読み込むた
めの信号線、ｉｔ・・・抽出した見出し領域を出力する
ための信号線、６６・・・付属領域の候補を出力する信
号線、６７・・・抽出した付属領域を出力するための信
号線、６ｒ・・・付属−！ｌ　　　− 領域抽出回路にデータを読み込むだめの信号線、ｔり・
・・領域分割結果を出力するだめの信号線、ａ／＋　ａ
、２＋　ａ３＋　ａ４’＋　ｂ／ｌ　ｂ、２−・−領域
分割候補位置。

Claims (1)

1. 【特許請求の範囲】 光電変換装置によって蓄積された文字，図，表，写真等
   、が混在する文書画像データの領域分割を行う文書画像
   領域分割装置において、 （ａ）前述の文書画像を光電変換した上でアナログ／デ
   ィジタル変換を行い量子化信号を出力する光電変換部と
   、 （ｂ）該光電変換部から出力された量子化画像データを
   蓄積する画像データ記憶部と、 （ｃ）該画像データ記憶部に格納された文書画像が縦書
   きか、横書きかを判別する文書方向判別回路、文書の傾
   きを補正する文書傾き補正回路から構成される前処理部
   と、 （ｄ）傾きが補正され画像データ記憶部に格納された文
   書画像の周辺分布特徴を計算する周辺分布特徴計算回路
   、線密度特徴を計算する線密度特徴計算回路、外接矩形
   特徴を計算する外接矩形特徴計算回路から構成される特
   徴抽出部と、（ｅ）該特徴抽出部から得られる各特徴を
   併用して文書画像の領域を分割し、フィールドセパレー
   タ領域，本文領域，図表，写真等が含まれる付属領域の
   各領域を抽出するフィールドセパレータ領域抽出回路，
   本文領域抽出回路，見出し領域抽出回路，付属領域抽出
   回路から構成される論理処理部、 とを備えたことを特徴とする文書画像領域分割装置。