JPS63293687A - 文書画像の領域分割及び識別方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 且翌公互 本発明は、文書画像の領域の分割と認識に関する。

従】０月１ 文書画像を“理解する″（「その文書画像に関する構造
上・意味上の、いかなる質問にも答えられるだけの情報
を獲得する」）ためには、その文書の構造（「本文、標
題、図、表などの構成」）を理解することがまず第一歩
である。また、本出願人が提案した文書画像理解システ
ムにおいては、抽象化された。いわゆる上位レベルでの
画像処理操作を定義して、より高度な画像処理操作の表
現を可能とすることが要求される。これらの観点から、
領域分割（識別）操作は非常に重要な画像処理操作の一
つであるといえる。

以下、従来の領域分割についてまとめると（ただし、書
式定義との照合方式のシステムは除く）、前出、松浦、
南部（三菱）：“手書き文書の構造解析″電子通信学会
総合全国大会（昭和６１年）１．５１７では、横長の小
矩形領域の濃度特徴を用いて、文字行、ブロックを合成
している。樋野、幅用、田畑（日立）：“マルチメディ
ア処理によるオフィスワークスティジョン（その２）−
文書構造の分離抽出方式−″情報処理学会全国大会（昭
和６１年前期）３に−２，及び、岩城、本田。

荒川（ＮＴＴ）：　“機能分散形文書認識システム″Ｐ
ＲＵ８６−３２では、黒連結成分の外接矩形の隣接状態
から文字行を抽出してゆく。また、罫線と空白部分を利
用しておおよその分割を行い、周辺分布の周期性、線密
度などの特徴を基に領域の識別を行う方式が秋田、蔵出
、増田（ＮＴＴ）：パ書式未知文書の自動読み取りＰＲ
Ｕ８６−３３で示されている。これらの方式では、次の
３つの特徴量が領域のカテゴリーを識別するために用い
られている： （１）周辺分布特徴・・・黒画素の位置的な広がりと周
期性を表す。

（２）線密度特徴・・・・・・図形的な複雑さを表す（
３）外接矩形特徴・・・個々の要素の大きさを表すしか
し、こうした特徴量をどう利用するかという知識は、処
理手続きとしてプログラム中に組み込まれてしまってお
り、処理方式の変更・追加に柔軟に対応出来ないという
欠点がある。

これに対し、ＡＩ技法であるプロダクションルールで処
理手続きを表現したシステムも提案されている岩城、久
保田、遠域、荒川（ＮＴＴ）：“文字・図形分離処理に
おけるプロダクションシステムの導入の一検討”ＰＲＬ
８３−６３．そこでは、一つの特徴量を計算する度に、
一連のルールセットが起動し、その結果がブラックボー
ドに書き込まれていくという方式を採っている。しがし
、このシステムでも分割処理方法、領域識別方法の大枠
が固定されてしまっている。

マルチメディアデータを処理するには、文書画像理解に
よりメディア分離をシステムが自動的に行なわれること
が望ましい、入力した文書画像を領域に分割し、そのカ
テゴリーを識別することは、文書画像の構造を理解する
上で重要である０本出願人は、この領域分割・識別を正
確かつ高速に行な、う方式について提案したが、その方
式は、イメージピラミッドからの°白領域抽出による大
局的構造の把握、分割処理と識別処理とを分離した柔軟
な判定方式、特徴量に対する確信度の導入とその合成方
法の工夫にある。而して、前記確信度の合成方法におい
て、−次多項式（重みつき平均をとる）による方式（方
式１）とＤｅｍｐｓｔｅｒ−Ｓｈａｆｅｒの基本確率の
結合側による方式（方式２）とがあるが、前記方式１に
より確信度を計算した場合、カテゴリーαに対してそれ
ぞれ確信度ｆ（α）が得られる。この時、最終判定結果
として（ｆ（α））（α＝１．・・・・・・ｍ）のうち
で最大値を与えるガテゴリーαを選択するのが普通であ
った。しかし、領域識別の判定に不確定な要素が強い場
合、例えば、文字列と表などのように複数のカテゴリー
に属する画像が１つの領域に混存している時には、領域
分割、識別の精度が悪かった。

目　　　　　的 本発明は、上述のごとき実情に鑑みてなされたもので、
特に、重みつき平均をとる確信度合成方式を用いる文書
画像の領域分割、識別方式において、領域識別の最終判
定結果がどの程度確定的なものであるかを表す尺度を提
供することを目的としてなされたものである。

構　　　成 本発明は、上記目的を達成するために、イメージピラミ
ッドを利用した大域分割を行い、各領域から複数個の特
徴量を抽出し、各特徴量に割当てられた確信度を合成す
ることにより、その領域のカテゴリーを識別する文書画
像の領域分割及び識別方式において、前記各特徴量の値
により対象領域が各カテゴリーに属することの確からし
さを確信度で表わし、その確信度を各特徴量について重
みつき平均をとることにより各カテゴリーに対する確信
度とする場合に、領域識別の最終判定結果がどの程度確
定的なものであるかの確定度を算出し、その算出値があ
る値以下である時に詳細解析を行うことを特徴としたも
のである。以下、本発明の実施例に基づいて説明する。

本発明による文書画像の領域分割及び識別方式は、次の
２つの特徴を持つ： （１）イメージピラミッドを利用した大局的な情報によ
る領域分割。

（２）特徴量の抽出処理と領域識別処理との完全分離。

特に、（２）では、領域のカテゴリーの判定に確信度を
持込み、重み付き平均や、　Ｄｅｍｐｓｔａｒ−３ｈａ
ｆｅｒ理論に基づく計算方式を採用し最終的な判定を下
している。また、確実な判定ができなかったときのバッ
クトラックや重みの変更などの詳細解析手段も持たせる
ことができる。

第１図は、本発明の全体の処理フローを説明するための
図、第２図は、イメージピラミッドを説明するための図
、第３図は、変換ルールを説明するための図で５図中、
１は原画像であり、文字行、表１図、写真などが混在し
た文書画像を対象としている。これをスキャナーから入
力（２）し、スキュー補正などの前処理を行なう（３）
、大功画像は０（白）と１（黒）の２値データの集まり
と表現される。このデータからイメージピラミッドを作
成する（４）、イメージピラミッドとは一種のスケール
変換であり、第２図に示すように、画像を遠くから見る
ことすなわちＰｌからＰ２を見、Ｐ２゜からＰ３を見る
こと（組視化）に対応する。

これにより、１ペ一ジ全体の画像の構造が把握しやすく
なる。第３図は、イメージピラミッドにおけるルール変
換を説明するための図で１図示のように、隣接する４つ
の画素を見て（第３図（ａ））、ある条件を満たす場合
に、４つの画素を黒１に置換し、この４つの黒（又は白
）画素分を新たに一つの黒画素とみなす（第３図（ｂ）
）、本例では、４つのうちどれか１つが黒であれば黒に
変換することにしている。このようなイメージピラミッ
ドを使って原画像から矩形の白領域（空白部分）を抽出
する（５）。上記の作成方法から、上の層で白画素であ
る部分はそれ以下のすべての層で、対応する領域は完全
に白領域である（黒画素を含まない）ことが言える０本
例では、最上層からあるレベルの層までを使い、上の層
から順に白い矩形領域を抽出していく方法をとっている
。白領域が抽出された画像は、いくつかの領域（内部に
黒画素を含んでいる）に分割されるが、この領域の境界
を抽出する（６）、白領域を抽出するために。

どのレベルの層までを使用するかによりイメージピラミ
ッドの層の数と同じ数の領域分割の仕方がある。ある条
件により最初にどの分割された層（以下１分割層と称す
）に対して領域識別（カテゴリーに分類すること）を行
うかを決定する０本例では、ある値以上の大きさをもっ
た領域が一定数以上である分割層のうちで、最も下の層
を使った分割層を最初に解析することとしている。こう
して最初に処理すべき分割層が決定されると、その層内
の各領域に対応する原画像領域を切り出し、切り出され
た各領域に対していくつかの特徴量を計算する（７）０
本例では、下記の１２種類の特徴量を計算している。

特徴量・・・領域（本文、標題、表９図、罫線・外枠。

その他）を識別するために以下に示゛す１２個の画像特
徴を利用する。

１、黒連結成分の外接矩形のサイズ分布：　［サイズ；
矩形の対角線の長さコ ・最大値 ・平均値 ・変異率（％）・・・（標準偏差／平均値）　Ｘ　１０
０・面積比が最大のサイズ・・・矩形のサイズごとに面
積を加算した 結果、最大の面積 割合を持つサイズ 値。

・文字密度（％）・・・あるサイズ（１〜７０に設定し
である）の黒連結を文字と みなしたときの面積比。

２、黒画素の周辺分布 ・文字行間スペースによる周期性の存在・コラムの存在
・・・縦方向または横方向の字揃え ３、直線の存在 ・水平直線の本数 ・垂直直線の本数 ４、フレーム（枠）の存在 ５、平均線密度・・・Ｘ、Ｙ軸の各点から垂線を下した
とき゛のストロークとの交点数 を領域の外接矩形面積Ｓで正規 化（Ｘ１００／Ｓ）　した値。

６．伸張度・・・Ａ／Ｗ”　［Ａ　；多角形領域の面積
］Ｗ；多角形が縮退操作（こ こでは、８連結近傍に白画 素が存在する黒画素を消去 する操作）により完全に消 滅するのに要するステップ 数を２倍した値（２幅）］ 上述のごとき各特徴量に対して、その特徴量の値がどれ
だけであれば、その領域が各カテゴリーに属することの
確からしさく確信度）が与えられており、ステップ８の
確信度の割当てで割り当てる。確信度の割り当て方は、
経験的に例えば下記のようにして決められる。

確信度の設定・・・各特徴量の値ｄｉに対し、各領域カ
テゴリーαへの確信度（０〜１００）を与える関数［ｇ
　ｔ　（ｄ　ｉ　＊α）］をヒ亙−リスティックに表１
−表４ のように定めた。

表１ 表２ 表３ 表４ ただし１区間の端点は、表中に先に出現した方の区間に
含まれるものとする。

黒画素の周辺分布 ＺＩＥＲＯＰＨＲＩＯＤ（ｌａｂｅｌ　ｐｏｌｙ、　ｄ
ｉｒｅｃｔｉｏｎ）−周期性のあるゼロ（白）領域の存
在有無（表５）表５ ｄｉｒｅｃｔｉｏｎ　　本文　標題　表　図　罫線・枠
　その他ｄｉｒｅｃｔｉｏｎニ ー１・・・周辺分布の谷による周期性なし０・・・周辺
分布の谷による周期性があり、かつ。

１〜３以外の場合 １・・・Ｙ方向にゼロ領域による周期性あり２・・・Ｘ
方向にゼロ領域による周期性あり３・・・Ｘ−Ｙ方向に
ゼロ領域による周期性あり。

直線の存在・・・水平・垂直直線の本数（表６）表６ 本数二〇・・・０本、少数・・・１〜４本、多数・・・
５本以上。

フレーム（枠）の存在（表７） 表７ コラムの存在（表８）・・・横書きの場合：縦方向の文
字揃え（コ ラム）の有 無 縦書きの場合：横方向の文 字揃え（コ ラム）の有 無 ＣＯＬＵＭＮ（ｌａｂｅｌ　ｐｏｌｙ、　１ｎｔｅｎｓ
ｉｔｙ）　（表８）表８ ｉｎｔｅｎｓｉｔｙ　　本文　標題　表　図　罫線・枠
　その他１　　　　００８ＱＱ、ＱＯ ｉｎｔｓｎｓｉｔｙ：　Ｏ・・・コラムなし、１〜３・
・・コラムあり。

例えば、横書きの場合、コラムあり１を第４図（ａ）、
コラムあり２を第４図（ｂ）、コラムあり３を第４図（
ｃ）又は（ｄ）に示す。

文字の密度（表９） 表９ 文字密度（％）・・・ある範囲のサイズ（１〜７０）の
黒連結を文字とみなしたときの面 積比。

平均線密度（表１０） 表１０ 伸長度　ＲＥＤＵＣＥ（ｌａｂｅｌ　ｐｏｌｙ、　ａｌ
ｏｎｇａｔｅｄｎａｓｓ）　（表１１）表１１ ｅｌｏｎｇａｔｅｄｎｅｓｓ：Ａ／Ｗ”Ａ・・・多角形
の面積 Ｗ・・・多角形が縮退操作により完全に消滅するのに要
する最少縮退ステッ プ数ｘ２（＝ｒ幅」） カテゴリーについては、本例では本文、標題、表１図、
罫線・枠、その他の６種類を考えているが、写真などの
濃淡画像を考えることも可能である。記号で表現すれば
、特徴量ｉに対して、特徴量ｉの値ｄ、に応じてその領
域がカテゴリーαに属することの確信度ｇ　、（ｄ　、
）　　［０５ｇ、（ｄ、）≦１００、ｉ＝１＋　・＝、
ｎ／ａ＝１ｔ　・・・ｐ　ｍとする］がステップ８で割
り当てられる。この確信度をｎ個全体の特徴量について
合成することにより、その領域がカテゴリーαに属する
ことの確からしさを見積もることができる（ステップ９
）、この合成方法について、次の２つの方式がある。

［方式１］ 重みつき平均による計算方法 ・対象領域がカテゴリーαに属することの確信度ｆ（α
）（０〜１００％）： ｆ（α）＝Ｊ　ａ　；（α）”ｇ＋（ｃｉ　＋、　ａ＞
０≦ａ＋（α）≦１ ０≦ｇ　ｉ（ｄ　Ｌα）≦１００ Σａｉ（α）＝１・・・重み係数 １；特徴量の種類 ｄｉ；特徴量の値 ｎ；特徴量の個数 ｇ　ｉ（ｄ　Ｌα）；特徴量ｉの値がｄｌであるときに
カテゴリーαに属する確信度 このようにして確信度を計算した場合、カテゴリーαに
対してそれぞれｆ（α）が得られ、このとき、最終判定
結果として（ｆ（α））（α＝１．・・・ｍ）のうちで
最大値を与えるカテゴリーαを選択するのが普通である
が１本発明においては、次に示す確定塵Ｈがある閾値以
下であれば、この判定は不確定要素が強いと考え、例え
ば、重みをかえたり、より下位の分割層を使うなどして
詳細解析を行う。

確定塵の定義：Ｈ（０〜１００（％））Ｈ”＝　［ｍａ
ｘ（ｆ（α））　−１００／ｍｌ　Ｘ　１００／（１０
０−１００７Ｉａ）α ただし、　ｗａｘ（ｆ（ｃｚ））は、（ｆ（α））のう
ちの最大値α である。また、〒（α）はｆ（α）を全カテゴリーで正
規化した値ｆ（α）は、 ｆ（α）＝１００ｘｆ（α）／　ｆｆ５ｆα）ｔ’意味
スル。

この確定塵Ｈの意味は第５図から明らかで、もっとも不
確定なときの〒（α）の最大値１００／＋ｏ（ｍ：カテ
ゴリー数）とｆ（α）の最大値の差を、もっとも確定的
なときの１（α）の値と前出の値１００７諺との差で正
規化したものである。〒（α）の最大値が他の値よりど
れだけとびぬけて高いかを表わしたもので、最も不確定
な場合では　兎、７（α）＝１００／＋ｓとなり、Ｈ＝
Ｏであり、最も確定的な場合では、　３α。

ｆ（α）＝１００トなり、Ｈ＝１００である。

［方式２コ ＤｅＩＩ！５ｔｅｒと５ｈａｆｅｒの基　確率の　ムリ
による　−１塾・ この方式では、最終判定結果は、上界確率と下界確率の
値により次の３つ場合に分類される＝［判定結果の分類
］ ｉ）領域は単一のカテゴリーからなり、そのカテゴリー
が特定できる。

ｉｉ）領域は複数のカテゴリーからなり、その候補カテ
ゴリーが特定できる。

■）領域を識別で台なかったが、ある程度の信頼性のあ
る候補カテゴリーを提示できる。

上に述べた３つの場合分けは１次の３つの判定ルールに
それぞれ基づいている。

［判定ルール］ 領域カテゴリーαの上界確率（％）をＰＬ（α）、下界
確率をＣｒ（α）とし、適当なしきい値γいγ２［ただ
し、０くγ、＜ＳＯ＜γ１＜１００（％）］を設定する
。

ｉ　）　ＰＬ（α））　ｙ、ａｎｄ　Ｃｒ（ｃｚ））５
０　（第６図（ａ）参照） なるカテゴリーαが存在すれば、対象領域は単一カテゴ
リーαからなる。

ｉｉ　）　ｍａｘＰｌ（α）≦γ１　（第６図（ｂ）参
照）α ならば、ＰＩ（β）〉γ２を満たすカテゴリー集合（β
）全部が混在している。

ｉｎ　）　ＰＩ（α）＞　ｙ　ｔで、［α；ＰＩのｗａ
ｘを与える］Ｃｒ（ａ）≦５０（第６図（ｃ）参照）な
らば、ＰＬ（β）〉γ２を満たすカテゴリー集合（β）
全部を有力候補カテゴリーとする。

以下、これらのルールについてそれぞれ説明を加えてお
く。

［判定ルールの説明］ ｉ）　Ｃｒ（α）〉５０をみたすカテゴリーｑが存在す
れば、β≠αなる任意のカテゴリーβに対して、ＰＩ（
（り≧Ｃｒ（ａ　）＞５０＞１００−Ｃｒ（ｃｚ　）＝
Ｐ１（−ｒｘ　）≧ＰＩ（β）≧Ｃｒ（β） （’−Ｉ’１（ａ）＞ＰＩ（−ａ＞かつＣｒ（α）＞Ｃ
ｒ（−ａ　））［−α；カテゴリーαであることを否定
する命題］が成立するので、そのようなカテゴリーαは
一意に定まり、ＣｒとＰｌはともにカテゴリーαで（真
）の最大値をとる。なお、ＰＬ（α）＞ＰＬ（−Ｉａ　
）とＣｒ（ａ））Ｃｒ（−α）は、（特に後者は、）対
象領域がカテゴリーαに属していることを肯定する証拠
の方が、否定する証拠よりも有力であることを意味して
いる。

ＰＬ（α）〉γ１なる基準は、ｉｉ）の場合を除外する
ために設けたものであるが、これも同時に成立するとき
はＣｒ（α）　−Ｃｒ（−Ｉａ　）＝　（１００−ＰＩ
（−Ｉａ　））　−（１００−Ｐｌ（α））＝Ｐ１（α
）　−ｐｉ（、α）〉γ１−５０となるから、対象領域
がカテゴリーαに属していることを背定する証拠の強さ
とそれを否定する証拠の強さの間にはγ１−５０よりも
大きな差があることになる。

ｊｉ）　ＰＬ（（Ｅ）＝（１００−Ｃｒ（−Ｉａ）より
、ＰＬがある程度（γ、）以上のカテゴリーが存在しな
いということは、他のカテゴリーを支持する証拠も少な
くはないということを意味している。これは、いくつか
のカテゴリーに属する画像が混在しており、それぞれの
特徴が抽出されたためであると考えられる。

１ｉｉ）この前提条件が成り立っている状態は、情報の
不足を表しており、カテゴリーαに属することを支持す
る証拠が十分増えれば、ｉ）の状態に移行するものと考
えられる。また、Ｐｌの情報だけからカテゴリーを特定
するのは危険であるという考えから、やや緩めの基準［
γ、＝ｉｏ（％）］を用いて実験した（但し、この実験
ではｉｕ）に分類される場合は生じなかった＠）。なお
、もう一つのしきい値は、γ１＝７０（％）と設定しで
ある。

上記２つの方式により各領域がどのカテゴリーに属する
かが判定されるが、判定できない場合（方式１で確信度
がある値より低い場合／方式２でケース■）の場合）か
、方式２で２つ以上のカテゴリーが混在していると判定
された領域に対しては重みのっけかえや一つ下の分割層
を使うなどの詳細解析をほどこす（１１）。さらに、１
２では小領域を隣接する大領域にあるルールに従って結
合する０例えば、６図領域に囲まれている小面積の文字
領域は図中文字と見なし図領域に結合する″などである
。

効　　　果 以上の説明から明らかなように、本発明によると、領域
識別の判定に不確定な要素が強い場合、例えば文字列と
表などのように複数のカテゴリーに属する画像が、一つ
の領域に混在しているときには、それを本発明は確定度
から判断でき、詳細解析を行なう判断が可能となる。し
たがって、領域分割、識別の精度が向上する。

【図面の簡単な説明】

第１図は、本発明の一実施例を説明するための全体フロ
ー図、第２−は、イメージピラミッドの一例を説明する
ための図、第３図は、変換ルールの一例を説明するため
の図、第４図は、横書きの場合のコラムありの場合の例
を説明するための図、第５図は、本発明において使用す
る領域識別の確定度を説明するための図、第６図は、判
定ルールの例を説明するための図である。 特許出願人　　　株式会社　リコー 第１図 １！＆２図 第３図

Claims (1)

【特許請求の範囲】
1. イメージピラミッドを利用した大域分割を行い、各領域
   から複数個の特徴量を抽出し、各特徴量に割当てられた
   確信度を合成することにより、その領域のカテゴリーを
   識別する文書画像の領域分割及び識別方式において、前
   記各特徴量の値により対象領域が各カテゴリーに属する
   ことの確からしさを確信度で表わし、その確信度を各特
   徴量について重みつき平均をとることにより各カテゴリ
   ーに対する確信度とする場合に、領域識別の最終判定結
   果がどの程度確定的なものであるかの確定度を算出し、
   その算出値がある値以下である時に詳細解析を行うこと
   を特徴とする文書画像の領域分割及び識別方式。