JPH06214983A - 文書画像の論理構造化文書への変換方法および装置 - Google Patents

Abstract

(57)【要約】 【目的】 黒白２値画像で表現される複数の文書画像
を、章・節・文章段落・図等に分けられた論理構造を持
つ文書に変換する。 【構成】 複数の文書画像から、互いに近接した領域を
抽出し大まかなレイアウトを解析し、文書画像のヘッダ
／フッタ領域を抽出しページ番号部および共通コンテン
ト部を識別し、各ページのカラム領域の内のブロックの
構築を行い、論理構造を識別するための節番号部解析を
行い、各節内の表示属性の解析を行い文章の段落分けを
行い、カラム／ページ末の文章段落とそれに続くカラム
／ページ先頭の文章段落に注目し表示属性がほぼ等しけ
ればマージを行い文書の論理構造を完成することができ
る。文書画像を、論理構造を持つ文書に変換することに
よって、論理構造をベースとする編集や検索等の処理可
能な形式とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】オフィスにおいては、ワープロ等
を用いた電子化文書の作成が一般化し、文字画像、図形
など複数のメディアを含んだマルチメディア文書の普及
が進んでいる。また、これらの文書を効率的に作成し、
国際的に交換可能とするためのオフィス文書規格とし
て、開放型文書体系ＯＤＡの標準化が進められている。
一方、オフィスにおける膨大な量の紙文書の存在やファ
クシミリ等の画像文書の多用は無視できない事実であ
り、これらの文書画像を計算機処理し適当なマルチメデ
ィア文書へと変換する技術が文書リソースの有効利用、
ユーザインタフェースの向上等の観点から求められてい
る。また、通信の分野においても、このような技術は、
電子図書館、遠隔文書検索といった具体的なアプリケー
ションの構成要素として認識されており、その確立が待
望されている。

【０００２】本発明は、オフィスや通信で利用される文
書画像処理、特に文書画像から論理構造化文書を得る方
式に関するものである。

【０００３】

【従来技術】オフィスにおける膨大な量の紙文書等を有
効利用するために、これらをスキャナと呼ばれる機器を
用いて計算機に入力し、処理可能な形式に変換する方式
がある。本技術は文書画像処理と呼ばれ、従来、文字認
識や図形認識等のメディア変換や文書画像のレイアウト
解析を行う方式がある。文書画像処理では、文書画像に
含まれるカラム、図、表、文字行、文字などの要素を分
離・抽出し、構造化を行うことによって、検索などの処
理が可能となる。文書画像のレイアウト解析の方式とし
ては、黒画素に注目したランレングス平滑法（Ｋ．Ｙ．
Ｗｏｎｇ，Ｒ．Ｇ．Ｃａｓｅｙ ａｎｄ Ｆ．Ｍ．Ｗａ
ｈｌ：“Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ Ｓｙｓ
ｔｅｍ”，ＩＢＭ Ｊ．Ｒｅｓ．＆ Ｄｅｖ．，２６，
６（１９８２））、黒画素の拡大・縮退法（中村，氏
家，岡本，南：“ミックスモード通信のための文字領域
の抽出アルゴリズム”，信学論（Ｄ），Ｊ６７−Ｄ（１
９８４））、黒画素の連結成分の境界追跡により領域抽
出を行う連結法（山田，宮里，蓮池：“マルチメディア
文書構造処理システム”画像電子学会誌，Ｖｏｌ１９，
Ｎｏ５（１９９０））、周辺分布等に基づいて統計処理
を行う領域分割法などの文書要素抽出に関するもの（辻
：“スプリット検出法による文書画像構造解析”，信
学論（Ｄ），Ｊ７４−Ｄ−ＩＩ，４（１９９１））、書
式定義言語を用いるもの（中野，藤沢：“自動ファイリ
ングのための文書理解の一方式”，信学論（Ｄ），Ｊ７
１−Ｄ，１０（１９８８））、モデルベースのアプロー
チ（山下，天野：“モデルに基づいた文書画像のレイア
ウト理解”，信学論（Ｄ），Ｊ７５−Ｄ−ＩＩ，１０
（１９９２））などがある。

【０００４】

【発明が解決しようとする課題】しかしながら、これら
は、文書の要素をレイアウトベース（すなわち、ページ
やカラム、ブロックといった単位）で分離・抽出したも
のであり、人間により近い論理的な文書要素（すなわ
ち、章・節・段落といった単位）の抽出は実現していな
いという問題がある。また近年ＣＣＩＴＴやＩＳＯで標
準化が進められている文書アーキテクチャＯＤＡ（開放
型文書体系）やマークアップ言語標準ＳＧＭＬでは、文
書のレイアウト要素と論理要素を明確に区別し、文書の
編集／作成という観点から、むしろ論理構造に重点をお
いているのが特徴である。このため、これら論理構造化
文書ベースの編集・検索のアプリケーションを想定した
場合、文書画像からの論理構造の抽出・認識技術が必要
である。

【０００５】本発明は、上述した従来技術の問題点を解
決するためになされたものであり、対象となる黒白２値
画像で表現される複数の 文書画像を、章・節・文章段
落・図等に分けられた構造を持つ文書に変換する方法お
よび装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】本発明は、文書画像のカ
ラム抽出やブロック抽出によって実現されるレイアウト
解析に加え、文書画像のヘッダ／フッタ領域を抽出しペ
ージ番号部、共通コンテント部を識別し、各ページのカ
ラム領域の確定を行いカラム内のブロックの構築を行
い、論理構造を識別するための節番号部解析を行い、各
節内の表示属性の解析を行い文章の段落分けを行い、カ
ラム／ページ末の文章段落とそれに続くカラム／ページ
先頭の文章段落に注目し表示属性がほぼ等しければマー
ジを行うことによって、文書の論理構造を完成する。

【０００７】

【実施例】以下、図面により本発明の実施例を詳細に説
明する。図１は本発明による文書画像／論理構造化文書
変換方式の構成図である。

【０００８】図１に示すように、本実施例の構成は、レ
クタングル生成部１、文字認識部２、ヘッダ／フッタ解
析部３、仮ブロック生成部４、カラム確定部５、ブロッ
ク構築部６、節番号解析部７、表示属性解析部８、論理
構造生成部９を有する。スキャナによって入力される複
数ページを持つ文書画像Ｉｉは、同一で有限の大きさを
もつ２次元の白黒２値画像とし、以下に述べるような論
理的特性およびレイアウト的な特性を保持する文書を表
現するものとする。

【０００９】図２はこれを示したもので、各ノード中の
記号は、大文字３文字で構成要素名（タイプ）を表わし
ている。

【００１０】（１）論理特性 １）論理ルート下に唯一存在するパッセージは、パラグ
ラフ、テキスト、ラスタ（図）の組み合わせからなる前
段（タイトル）部と番号付き節の後段部から構成され
る。

【００１１】２）パラグラフは、テキスト、ラスタの他
に、脚注を下位要素として持つことができる。

【００１２】３）番号付き節は、節番号、パラグラフ、
テキスト、ラスタおよび子供の番号付き節を再帰的に下
位要素として持つことができる。

【００１３】４）脚注は、図２に示すようにその子孫と
して、脚注リファレンス、脚注ボディ、脚注番号、脚注
テキストを持つ。

【００１４】５）ページ番号を下位要素として持つ共通
論理部が、独立して（複数個）存在する。

【００１５】６）テキストとラスタが代表的な最下位論
理オブジェクトであり、内容部を持つ。

【００１６】（２）レイアウト特性 １）レイアウトルート下に唯一存在するページセット
は、第１ページ、表ページ、裏ページの組み合わせによ
る５種類のパターンで表現される（例えば、表／裏ペー
ジ見開きの繰返し等）。

【００１７】２）各ページは、領域としては互いに重畳
しないヘッダ、ボディ、フッタフレームを下位要素とし
て持つ。ページは、いわゆるポートレイトタイプ（縦
長）とし、ヘッダがその上部、フッタが下部、ボディ
が、それらの間にレイアウトされるものとする。

【００１８】３）ボディフレームは、打ち抜きカラム用
のフロートフレーム、マルチカラム用のマルチカラムフ
レーム、脚注用の脚注フレームの組み合わせを下位要素
として持つ。ボディフレームは、これらの下位フレーム
によって横方向のみに分割される。脚注フレームがある
場合には、各ボディフレームの最下部にレイアウトされ
る。

【００１９】４）マルチカラムフレームは、下位要素と
して任意の段数のカラムフレームを持つ。但し、１つの
文書中では１種類の段数とする。

【００２０】５）ヘッダおよびフッタフレームは、ペー
ジ番号フレームと共通コンテントフレームの組み合わせ
を下位要素として持つ。また、共通コンテントフレーム
中の共通ブロックが、共通コンテントを保持する。

【００２１】６）各最下位フレーム中には、レイアウト
処理によってブロックが生成され、上から下へとレイア
ウトされる。また、文字ブロックにおいては、横書きの
文字行が上から下へと置かれるものとする。

【００２２】レクタングル生成部１は、文書画像からレ
クタングルと呼ぶ基本矩形（文字行や図に対応）を抽出
し、文字認識部２、ヘッダ／フッタ解析部３、仮ブロッ
ク生成部４にレクタングルデータＲｉを送る。入力され
る文書画像Ｉｉの座標系は、左上を原点とし、左から右
へＸ軸、上から下へＹ軸とし、各ページ毎に以下の処理
を行う。

【００２３】（１）白黒２値で表現された入力文書画像
Ｉｉのすべての黒画素（Ｘｉ，Ｙｉ）に対して公知の画
像処理技術である拡大処理を行う。すなわち、Ｘｉ−ｒ
≦Ｘ≦Ｘｉ＋ｒ，Ｙ＝Ｙｉ（ｒは拡大範囲を示す）を満
たすＩｉ上の画素（Ｘ，Ｙ）を黒画素に変換する。結果
として生成される画像をＩｉ’とする。

【００２４】（２）次にＩｉ’に対して、公知の画像処
理技術を用いて黒画素の各連結成分の境界追跡を行い、
抽出された連結成分を囲む最小矩形をレクタングルデー
タＲｉとする。各レクタングルデータは抽出された画像
データおよびレクタングルの座標値およびレクタングル
の高さに応じて決定した種別（セパレータ、文字列、画
像／図形）を、本段階で保持する。

【００２５】（３）各レクタングルは、左上点のｙ座標
で昇順にソートしリンクリストとする。

【００２６】文字認識部２は、公知の文字認識技術を用
いてレクタングル毎の文字認識を行い、文字コード列Ｃ
ｉをレクタングル生成部１に返してやる。

【００２７】ヘッダ／フッタ解析部３は、レクタングル
生成部１で抽出されたレクタングルデータのうち、各ペ
ージの文字レクタングルのリンクリストのヘッダ部候補
として最初のＮ個、またフッタ部候補として最後のＮ個
を対象レクタングルＲｉ’として、以下処理を行い、ペ
ージ番号部および共通コンテント部の解析結果およびペ
ージセットタイプの認識結果をデータＨＦｉとして出力
する。

【００２８】ここで、ページ番号部は、＜Ｐｒｅｆｉｘ
＞＜Ｐａｇｅ−Ｎｕｍ＞＜Ｓｕｆｆｉｘ＞（但し、＜Ｐ
ｒｅｆｉｘ＞および＜Ｓｕｆｆｉｘ＞はオプショナル）
という形式を持ち、＜Ｐａｇｅ−Ｎｕｍ＞は任意の数字
列、また、＜Ｐｒｅｆｉｘ＞および＜Ｓｕｆｆｉｘ＞に
ついては許されるパターンをあらかじめ登録しておくも
のとする（例：＜Ｐｒｅｆｉｘ＞＝｛Ｐａｇｅ， Ｐ，
ｐａｇｅ， ｐｐ，ｐ， −， ＜， （， ［，
ページ， ー｝）。

【００２９】なお、以下の処理において、マッチング方
法としては、公知の文字マッチング技術であるＤＰ法に
よる可変長文字列マッチング（高橋：“テキスト検索プ
ロセッサ”，電子情報通信学会（１９９１））を用い
る。

【００３０】（１）ページ番号部抽出処理 １）１ページ目から後方ページへ上述したページ番号部
のパターンを内容として含むレクタングルを探し、これ
を始点ｐｎｒａ＝＜ｐｒｅａ＞＜ｓａ＞＜ｓｕｆａ＞
（但し、ｐｎｒａはページｐに属する）とする。

【００３１】２）他のページｑの対象レクタングルのパ
ターンｐｎｒｂに対して、ｐｎｒａをページ変化分だけ
修正したｐｎｒａ’とのマッチング処理を行う。すなわ
ち、数字列ｓａが表す数字ｎａ（整数）に対し、ｐｎｒ
ｂとｐｎｒａが属するページの差分を加えた値ｎａ＋
（ｐ−ｑ）を計算し、その数字を表す数字列ｓａ’を含
むｐｎｒａ’＝＜ｐｒｅａ＞＜ｓａ’＞＜ｓｕｆａ＞と
ｐｎｒｂのマッチングが成功した場合、ｐｎｒｂをｐｎ
ｒａと同一のページ番号部と識別する。本処理はすべて
のページの対象レクタングルに対して行う。

【００３２】３）マッチングが成功したページ番号部の
セットよりページ番号初期値を計算する。

【００３３】（２）共通コンテント部抽出 １）ページ番号部と認識されたレクタングルを除く任意
のレクタングルを始点として、順次他のページのレクタ
ングルが含む文字列に対しマッチング処理を行い、評価
点がある値以上の場合共通コンテント部とみなす。但し
３ページ以下の文書では本処理でヘッダ／フッタ部が識
別できない場合もあるため、この場合、仮ブロック生成
部４で対応する。

【００３４】２）各共通コンテントｃｃｉの文字数を測
定し、すべて一致する場合には多数決によって各文字を
確定する。文字数が一致しない場合は、多数決によって
文字数を決定し、これに合致するｃｃｉのみで多数決に
よる各文字の確定を行う。

【００３５】（３）ページセットタイプの推定 共通コンテント部およびページ番号部の配置よりページ
セットタイプの認識を行う。

【００３６】（４）ヘッダ／フッタ部解析結果ＨＦｉの
作成 ヘッダ／フッタ部と認識されたレクタングルは、上下方
向にマージできるものを集めて、ページセットが含む各
ページのヘッダフレーム、フッタフレーム、ページ番号
フレーム、共通コンテントフレーム、共通ブロック、共
通コンテント、ページ番号として出力する。なお、ヘッ
ダ／フッタフレーム内に存在するレクタングルはリンク
リストから除外する。

【００３７】仮ブロック生成部４は、ヘッダ／フッタ解
析部で処理されたものを除くレクタングルデータＲｉを
対象として、以下のような仮ブロック生成処理をページ
単位で行う。仮ブロックはページを構成するカラムタイ
プを求めるための仮想的な矩形領域であり、属するすべ
てのレクタングルｒｅｃｔを含む最小矩形で表せられ
る。

【００３８】（１）ｉ＝１， ｘ＝１とする。

【００３９】（２）ｒｅｃｔｉは仮ブロックＢｘに属す
るものとし、ブロックｉｄを記録する（処理済みレクタ
ングル）。

【００４０】（３）ｒｅｃｔｉに対して、次の条件を満
たす未処理レクタングルｒｅｃｔｊ（ｊ＞ｉ）を順次探
索し、発見できた場合にはｒｅｃｔｊはｒｅｃｔｉと同
一の仮ブロックに属すると判断し、ｉ＝ｊとして（２）
に戻る。また、このようなｒｅｃｔｊが発見できない場
合は、仮ブロックＢｘは確定仮ブロックとし、（４）へ
進む。

【００４１】［条件１］ ：ｒｅｃｔｉ．ｌｅｆｔ≦
ｒｅｃｔｊ．ｒｉｇｈｔ かつｒｅｃｔｉ．ｒｉｇｈ
ｔ≧ｒｅｃｔｊ．ｌｅｆｔ

【００４２】［条件２］ ：ｒｅｃｔｊ．ｔｏｐ−ｒ
ｅｃｔｉ．ｂｏｔｔｏｍ ≧Ｔｈｓ （Ｔｈｓはセパレーション閾値）

【００４３】［条件３］ ：ｒｅｃｔｊも含めた場合
にできる仮ブロックが既に確定済みの他の仮ブロックと
重畳しない。

【００４４】［条件４］ ：ｒｅｃｔｊも含めた場合
にできる仮ブロックが未処理の他のレクタングルと重畳
しない。

【００４５】ここで、ｌｅｆｔ、ｒｉｇｈｔ、ｔｏｐ、
ｂｏｔｔｏｍは、それぞれ、レクタングルの左辺、右
辺、上辺、下辺の座標を表す。

【００４６】（４）ｘ＝ｘ＋１、ｒｅｃｔｉはリンクリ
スト中の最初の未処理レクタングルとし、（２）へ戻
る。

【００４７】上の処理をすべてのレクタングルを処理す
るまで繰り返す。

【００４８】ヘッダ／フッタ部が確定していない３ペー
ジ以下の文書の場合で、各ページの最上部／最下部にＴ
ｈｎ個以下のレクタングルを含む仮ブロックが存在すれ
ば、それぞれヘッダ／フッタ部（共通コンテントまたは
ページ番号）とみなす処理を行い、データＨＦｉとして
出力する。

【００４９】カラム確定部５は、左上点ｙ座標でソート
された仮ブロックデータＡＢｉに対して、Ｘ−Ｙ軸への
投影手法を用いた処理をページ毎に適用し、カラム種別
の確定を行い、含まれるブロックデータの順序を決定す
るためのカラムデータＣＬｉを、ブロック構築部６に送
る。図３に、カラム確定処理の様子を示す。

【００５０】（１）図３に示すように、各ＡＢｉのＹ軸
上への投影をとり、互いに重なりあうものをマージした
投影をＰｙｊ＝（ｙｓｊ，ｙｅｊ）（ｊ＝１，…，Ｍ）
とする。ここでＡＢｉの投影がＰｙｊに含まれる場合、
ＡＢｉはＰｙｊに属すると呼ぶ。

【００５１】（２）同一のＰｙｊに属するＡＢｉのＸ軸
上の投影をとり、互いに重なりあうものをマージした投
影をＰｘｊｋ＝（ｘｓｊｋ，ｘｅｊｋ）（ｋ＝１，…，
Ｎ）とする。この時、Ｐｘｊｋが次の条件を満たす場
合、それに属するＡＢｉの集合は１つのマルチカラムを
構成するブロックとみなす。

【００５２】［条件１］ Ｎ ≧ ２である。 ［条件２］ 各Ｐｘｊｋの長さがほぼ等しい。 ［条件３］ Ｐｘｊｋの長さの和がページ幅に近い。

【００５３】また、この条件を満たさない場合、それに
属するＢｉの集合は１つのフロートフレーム（シングル
カラム）を構成するブロックとみなす。

【００５４】（３）マルチカラムフレームと認識された
ｊに対して、その領域は、（ｘｓｊ１，ｙｓｊ）と（ｘ
ｅｊＮ，ｙｅｊ）を対角線とする矩形であり、また、各
カラム領域は（ｘｓｊｋ，ｙｓｊ）と（ｘｅｊｋ，ｙｅ
ｊ） （ｋ＝１，…，Ｎ）を対角線とするＮ個の矩形で
ある。

【００５５】また、フロートフレームと認識された場
合、その領域は（ｘｓｊ１，ｙｓｊ）と（ｘｅｊＮ，ｙ
ｅｊ） を対角線とする矩形である。

【００５６】ここで、上記処理で求めたレイアウト情報
から各ページクラス毎にカラム領域の右辺でページ間の
位置合わせを行い、併せて、各ページのカラム領域のＯ
Ｒを取ってカラムフレーム幅を決定する。また、すべて
の仮ブロックを含む最小矩形をボディフレームとする。
これらは、カラムデータＣＬｉとして、ブロック構築部
６の制御データとして使用される。さらにカラムに対す
る各レクタングルの左右オフセットを測定し記録する。

【００５７】ブロック構築部６は、データＡＢｉとＣＬ
ｉに基づいてレイアウト上の単位であるブロックを構築
していく。

【００５８】（１）各仮ブロックデータＡＢｉにおいて
は、レクタングルの種別が変化するところで分割を行
う。

【００５９】（２）セパレータについては、（ａ）ヘッ
ダ／フッタ部とボディ部を区別するもの、（ｂ）脚注部
と本文を区別するもの、（ｃ）本文中で使用されるも
の、等の可能性がある。まず、複数ページ文書で各ペー
ジのヘッダ／フッタ部の直下または直上の同じ位置に生
ずるセパレータは（ａ）とみなす。

【００６０】また、ヘッダ／フッタ部が未発見の場合
で、セパレータ上部／下部にＴｈｎ個以下のレクタング
ルを含むブロックが少数存在する時も（ａ）とみなし、
これらのブロックはヘッダ／フッタ部を構成するものと
する処理を行い、データＨＦｉとして出力する。

【００６１】次に、カラムまたはページの下部に単独で
含まれるセパレータは（ｂ）とみなし、これに続くブロ
ックは脚注部とした。これ以外のセパレータは（ｃ）と
みなし、ラスタとして扱った。

【００６２】（３）１つのカラム内では横方向でのブロ
ックの重複は許されないので、構成レクタングルが文字
でできているもの同士は文字レクタングル間のマージを
行い、また、１つでも図形レクタングルがあるものは全
体を図形レクタングルとしてマージして、ブロックを再
構成する。さらに、ブロック中の各レクタングルもｙ座
標でソートしなおす。

【００６３】（４）ブロックの順序としては、同一カラ
ムフレーム内では上から下へ、また同一マルチカラムフ
レーム内では左から右へ、さらに異なるマルチカラムフ
レームおよびフロートフレーム間では上から下へと順序
づけを行い、全体として１つの流れを構成するブロック
データＢｉとして節番号解析部７へ送る。

【００６４】節番号解析部７は、ブロック構築部６まで
で終了する純粋なレイアウト単位であるブロックの分離
をさらに進めて、論理的側面も考慮したブロックの再分
割を実行し、その結果をブロックデータＢｉ’として、
表示属性解析部８へ送る。節番号解析では各ブロックの
文字レクタングルの先頭の文字列を次のように解析し、
節番号の識別を行い、その直前でブロックを分割した。
また、当該レクタングルは節番号を表わす論理ラベルを
付ける。

【００６５】ここで、節番号部は、 ＜Ｓｅｃ−Ｎｕｍ＞［＜Ｓｅｐａｒａｔｏｒ＞＜Ｓｅｃ
−Ｎｕｍ＞］ （但し、＜Ｓｅｃ−Ｎｕｍ＞は正数、＜Ｓｅｐａｒｅｔ
ｏｒ＞はセパレータ文字を表す。また、［ ］は繰り返
しを表す。なお、典型的には、＜Ｓｅｐａｒａｔｏｒ＞
＝｛．｝とする。）という形式で表されるものとする。
図４に示すように、一般にｍレベルの階層にある節番号
ｓｎｒに対して、次に現われる節番号としてはｍ＋１個
の節番号が考えられ、ここでは、これらをｓｎｒの１次
導出節番号と呼ぶ。また、各１次節番号の次に生じうる
節番号の全体をｓｎｒの２次導出節番号とし、以下、同
様にｎ次導出節番号が定義できる。実際には、文字認識
の誤りなどで節番号の乱れが生じうるが、ここでは、こ
のような乱れは散発的に起きることを想定して処理を行
った。

【００６６】（１）各レクタングル中より節番号開始パ
ターン（例： １．や１）を検出し、解析の始点（ｓｎ
ｒ０）とする。また、これ以前に存在するブロックには
タイトル部であることを示す論理ラベルを付ける。

【００６７】（２）確定済みの最新の節番号部をｓｎｒ
ｉ、次候補をｓｎｒｉ＋１、次々候補をｓｎｒｉ＋２と
する。

【００６８】（３）ｓｎｒｉ＋１が、ｓｎｒｉの１次導
出節番号のいずれかとマッチングが成功する場合、ｓｎ
ｒｉ＋１を最新の節番号とみなして（２）を繰り返す。

【００６９】（４）ｓｎｒｉ＋１が、ｓｎｒｉの１次導
出節番号のいずれともマッチングが成功せず、予測と違
う場合、図５に示すような乱れがあったとして、次の処
理を行う。

【００７０】［ケース１：引用数字等の出現］ ｓｎｒ
ｉ＋２をｓｎｒｉの１次導出節番号と比較し、マッチン
グが成功すればｓｎｒｉ＋２を最新の節番号とみなして
（２）へ。

【００７１】［ケース２：文字抜け］ ｓｎｒｉ＋１を
ｓｎｒｉの２次導出節番号と比較し、マッチングが成功
すればｓｎｒｉ＋１を最新の節番号とみなして（２）
へ。

【００７２】［ケース３：文字化け］ ｓｎｒｉ＋２を
ｓｎｒｉの２次導出節番号と比較し、マッチングが成功
すればｓｎｒｉ＋２を最新の節番号とみなして（２）
へ。このとき、ｓｎｒｉ＋１の訂正も行う。

【００７３】（５）（４）のいずれの処理も失敗のとき
には、ｓｎｒｉ＋１を最新の節番号とみなして（２）の
処理を行ってみるが、再び失敗するような場合には、本
処理全体が失敗したとみなす。

【００７４】以上で、処理でブロックが再分割された結
果を、データＢｉ’として表示属性解析部８へ送る。

【００７５】表示属性解析部８は、各文字ブロックのレ
クタングル属性（位置、大きさ、オフセット値など）お
よびその変化を以下のようにチェックし、各ブロックが
一様な表示属性値を持つように分割し、その値を各ブロ
ックに記録すると共に、最終的なブロックデータＢ
ｉ’’を論理構造生成部９に送る。

【００７６】（１）行間 連続するレクタングル間の距離の変化を検出。

【００７７】（２）文字間隔 含まれる文字の個数とレクタングルの幅より平均的な文
字間隔を算出し、その変化を検出。

【００７８】（３）行の高さ（文字の大きさに対応） レクタングルの高さの変化を検出。

【００７９】（４）そろえ（左そろえ、センタリング、
右そろえ） １）左オフセットの値の変化が誤差範囲内の２つ以上連
続するレクタングルを‘左そろえ’を持つ同一グループ
とみなす。 ２）１）以外のレクタングルで、右オフセットの値の変
化が誤差範囲内の２つ以上連続するレクタングルを‘右
そろえ’を持つ同一グループとみなす。 ３）１）および２）以外のレクタングルで、中心ｘ座標
の値の変化が誤差範囲内の２つ以上連続するレクタング
ルを‘センタリング’を持つ同一グループとみなす。

【００８０】（５）オフセット（左オフセット、右オフ
セット） （１）〜（４）の処理によって再分割されたブロックに
ついて、すべての含まれるレクタングルを囲む最小矩形
として大きさを再計算し、上位フレームからの左右のオ
フセットも再計算する。また、各レクタングルにおい
て、上位ブロックとレクタングルの辺に距離がある場合
（左そろえならば右辺同士）、ハードリターンがあると
みなす。ここで、ハードリターンでブロックを分割する
かどうかは、ユーザの選択によるものとした。なお、節
番号を表す論理ラベルを持つレクタングルに対して、節
番号直後から次のハードリターンまでを節タイトル部と
して分離する。

【００８１】（６）第１行オフセット （１）〜（５）の処理によってそろえ属性が決定しない
ブロックに属する単一のレクタングルで、続くブロック
が左そろえのものがあれば、図６に示す第１行オフセッ
トとして処理し１つのブロックとする。第１行オフセッ
トには、通常のものといわゆるオーバーハングがあり、
後者の場合左オフセットおよびインデントを図のように
設定する。

【００８２】（７）小タイトル ハードリターンを持つレクタングルのうち、以下の条件
のものは小タイトル部とみなし、直前でブロックを分割
する。 １）直前のレクタングルもハードリターンを含む。 ２）’（１）’、’１）’、などの特定のパターンで始
まる。

【００８３】（８）以上のいずれの処理によってもそろ
え属性が決定しないブロックは、第１行オフセット付き
の２行で構成されるものと考えられるため、ハードリタ
ーン情報を基にブロック化を行う。

【００８４】以上の処理によってレイアウトおよび論理
上の特徴によって文書要素が分離される。最終的に得ら
れる論理的な境界も考慮したレイアウト構造を図７に示
す。

【００８５】論理構造生成部９は、最終的なブロック分
割データＢｉ’’から、節・段落等の構造を持つ論理構
造化文書を生成する。

【００８６】まず、論理構造生成処理を記述するため
に、以下の２つの関数を定義する。 （１）オブジェクト生成関数 ： ＣｒｅａｔｅＣ
ｈｉｌｄ 本関数は、指定するオブジェクトｐｏｂｊに対して、指
定する構成要素タイプＣｏｎｓｔｉｔｕｅｎｔＴｙｐｅ
の子オブジェクトを作成し、識別子を返す。既にいくつ
かの子オブジェクトが存在する場合には、最後尾に作成
する。ｏｂｊｉｄ＝ＣｒｅａｔｅＣｈｉｌｄ（ｐｏｂｊ
ｉｄ， ＣｏｎｓｔｉｔｕｅｎｔＴｙｐｅ）

【００８７】（２）上位オブジェクト識別子獲得関数
： ＧｅｔＳｕｐＯｂｊ 本関数は、現在処理中のオブジェクトｃｏｂｊのＮレベ
ル上位のオブジェクトの識別子を返す。 ｏｂｊｉｄ＝ＧｅｔＳｕｐＯｂｊ（ｃｏｂｊｉｄ， Ｎ） （Ｎ≧０） 論理構造生成処理はブロックデータを順次スキャンし、
これに対応させて論理オブジェクトを生成させていく。
以下に手順を示す。

【００８８】（１）タイトル部の生成 論理ラベルとしてタイトルを持つブロックｂｉに対して
は、そのメディアタイプに応じてテキスト（ＴＸＴ）ま
たはラスタ（ＲＡＳ）として、順次構造を作成していく
（図８（ａ） ）。 ＣｒｅａｔｅＣｈｉｌｄ（ｐａｓｉｄ， ＴＸＴ ｜
ＲＡＳ）； 但し、ルートｌｏｒおよびパッセージｐａｓは論理構造
中に作成済とする。

【００８９】（２）最初の節の作成 始めて、節番号であることを表すラベルを持つブロック
に出会った時点で節（ＳＥＣ）を作成する。 ｓｉｄ＝ＣｒｅａｔｅＣｈｉｌｄ（ｐａｓｉｄ， ＳＥ
Ｃ）； また、同時に、節番号（ＳＮＲ）と節タイトルに対応す
るテキスト（ＴＸＴｓｔ）を作成。 ＣｒｅａｔｅＣｈｉｌｄ（ｓｉｄ， ＳＮＲ）； ＣｒｅａｔｅＣｈｉｌｄ（ｓｉｄ， ＴＸＴｓｔ）； さらに、引き続くブロックに対応させて、順次テキスト
またはラスタを生成する（図８（ｂ））。なお、論理ラ
ベルが脚注のブロックを含む場合には、まずパラグラフ
（ＰＡＲ）を作成し、その下位にテキスト、ラスタまた
は脚注（とその下位構造）を順次作成する。 ｐｉｄ＝ＣｒｅａｔｅＣｈｉｌｄ（ｓｉｄ， ＰＡＲ）； ＣｒｅａｔｅＣｈｉｌｄ（ｐｉｄ， ＴＸＴ ｜ ＲＡＳ ｜ ＦＮＴ）； ・ ・ ・ ・ ・ ・ ・ ・

【００９０】（３）後続の節の作成 一般に、Ｍレベルにある節ｓｉまでの処理が終了し、次
にＮレベルにある節ｓｉ＋１が発見された場合、次の様
にｓｉ＋１を生成する（図８（ｃ） ）。但し、 Ｍ＋１≧Ｎ≧１。ｓｉｄ＝ＧｅｔＳｕｐＯｂｊ（ｓｉ，
Ｍ−Ｎ＋１）； ＣｒｅａｔｅＣｈｉｌｄ（ｓｉｄ， ＳＥＣ）； また、下位構造の作成は（２）に準ずる。

【００９１】（４）図とキャプションのマージ （２）および（３）の処理をすべての節に属するブロッ
クに対して行った後、図に近接する少数レクタングルし
か含まないテキストをキャプションとみなしマージを行
う。

【００９２】（５）同一表示属性を持つオブジェクトの
マージ 最後に、カラム／ページ末のテキストと、それに続くカ
ラム／ページ先頭のテキストに注目し、第１行オフセッ
ト以外の表示属性がほぼ等しければマージを行う（図８
（ｄ））。以上の処理によって、論理構造化文書Ｄが完
成し、出力される。

【００９３】最後にヘッダ／フッタ解析部３、仮ブロッ
ク生成部４、ブロック構築部６からのデータＨＦｉと論
理構造生成部９からの論理構造化文書Ｄとが合わされ図
２に示した文章形式となる。

【００９４】

【発明の効果】以上のように、本発明は、文書画像を論
理構造を持つ文書に変換することによって、論理構造を
ベースとする編集や検索等の処理可能な形式とする手段
を提供し、文書作成時の紙面文書の簡易入力、ファクシ
ミリ画像の処理可能なワープロ文書変換、文書画像デー
タベース検索における論理要素単位の検索等に有効であ
る。

【００９５】また、抽出されたヘッダ／フッタ部の共通
コンテントは、文書テンプレートとのマッチングによっ
て、どの文書タイプに属するかの判断材料となり、文書
の自動分類等に有効である。

【図面の簡単な説明】

【図１】本発明の実施例の構成図である。

【図２】対象となる文書形式を表わす構造表現を示す図
である。

【図３】カラム確定処理を示す図である。

【図４】節番号の導出を示す図である。

【図５】節番号識別処理を示す図である。

【図６】第１行オフセットを示す図である。

【図７】解析されたブロックデータおよびレクタングル
データを含むレイアウト構造を示す図である。

【図８】論理構造生成処理を示す図である。

【符号の説明】 １ レクタングル生成部 ２ 文字認識部 ３ ヘッダ／フッタ解析部 ４ 仮ブロック生成部 ５ カラム確定部 ６ ブロック構築部 ７ 節番号解析部 ８ 表示解析部 ９ 論理構造生成部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 黒白２値画像で表現される複数の文書画
   像を、章・節・文章段落・図等に分けられた構造を持つ
   論理構造化文書に変換するシステムにおいて、 文書画像のカラム抽出やブロック抽出によって実現され
   るレイアウト解析に加え、文書画像のヘッダ／フッタ領
   域を抽出しページ番号部、共通コンテント部を識別し、
   各ページのカラム領域の確定を行いカラム内のブロック
   の構築を行い、論理構造を識別するための節番号部解析
   を行い、各節内の表示属性の解析を行い文章の段落分け
   を行い、カラム／ページ末の文章段落とそれに続くカラ
   ム／ページ先頭の文章段落に注目し表示属性がほぼ等し
   ければマージを行うことによって、文書の論理構造を完
   成することを特徴とする文書画像の論理構造化文書への
   変換方法。
2. 【請求項２】 黒白２値画像で表現される複数の文書画
   像を、章・節・文章段落・図等に分けられた構造を持つ
   論理構造化文書に変換するシステムにおいて、 文書画像から互いに近接した領域を抽出するレクタング
   ル生成部と、 文字認識を行う文字認識部と、文書画像のヘッダ／フッ
   タ領域を抽出しページ番号部、共通コンテント部を識別
   するヘッダ／フッタ解析部と、 大まかなレイアウトを解析する仮ブロック生成部と、各
   ページのカラム領域の確定を行うカラム確定部と、 カラム内のブロックの構築を行うブロック構築部と、 論理構造を識別するための節番号部解析を行う節番号解
   析部と、 各節内の表示属性の解析を行い文章の段落分けを行う表
   示属性解析部と、 節構造等を生成し、また、カラム／ページ末の文章段落
   とそれに続くカラム／ページ先頭の文章段落に注目し表
   示属性がほぼ等しければマージを行う論理構造生成部と
   を有し、文書の論理構造を完成することを特徴とする文
   書画像の論理構造化文書への変換装置。