JPH03127169A - マルチメディア文書構造化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は文書処理方式に係り、マルチメディア文書画像
から文書の論理構造（章・節など）を油出し、ファイル
に格納するのに好適なマルチメディア文書構造化方式に
関するものである。

〔従来の技術〕

従来では、文書画像を用いてキーワード検索を行うシス
テムが提案されている。

・田中譲、堀井秀行：「トランスメディア・マシン・ア
ンド・インタ・キーワード・サーチ・オーバー・イメー
ジ・テキスッ」、リアオ′８８゜１９８８年、“Ｔｒａ
ｎｓｍｅｄｉａ　Ｍａｃｈｉｎｅ　ａｎｄ　ＩｔｓＫｅ
ｙｗｏｒｄ　５ｅａｒｃｈ　ｏｖｅｒ　Ｉｍａｇｅ　Ｔ
ｅｘｔｓ”、　ＲＩＡＯ’８８、１９８８ このシステムにおけるキーワード検索の方式は、キーワ
ードの標準画像パターン対文書画像中の文字パターンの
マツチング処理によって実現されている。このため、情
報を既存の文字コードで表現しているワードプロセッサ
等、他のシステムで文書画像の持つ情報を用いることが
できなかった。

また、近年の文書処理においては、文書内容として文字
テキスト情報だけでなく、図や表などの非テキスト情報
も統一的に扱うことが要求されている。この文字テキス
ト情報、非テキスト情報が混在している文書をマルチメ
ディア文書と呼ぶ。

マルチメディア文書には、複数のメディアが存在し、各
メディアＣ文字領域、写真領域１図領域等）間に構造が
存在する。この構造には、ページや字間２行間などの空
間的な割付けを決めるレイアウト構造と章・節などの意
味的な構造を決める論理構造がある。

現在、計算機の世界で文書の論理構造を表現するための
形式には次のようなものがある。

・フォーマツタ（デイ−・イー・クヌス、「ザ・テフブ
ック」、アディソン・ウニスレー１９８４年、　”Ｔｈ
ｅ　ＴＥＸｂｏｏｋ”、　ＡＤＤＩＳＯＮＷＥＳＬＥＹ
、　１９８４） ＴＥＸなとの著名なフォーマツタでは、章・節といった
文書の論理構造を表現するためのコマンドを用意してい
る。このコマンドを用いることによって１章題を強調文
字にしたり、目次の生成を行なうことを可能としている
。

・０ＤＡ１０ＤＩＦ、Ｔ、７３ これらは文書の情報交換を行なうためのデータ形式であ
り、主に規格として存在する。前者の０ＤＡ１０ＤＩ　
Ｆ　（ｒオフィス・ドキュメント・アーキテクチャ（オ
ー・デイ−・ニー）アンド・インターチェンジ・フォー
マットＪ、アイニスオー８６１３．１９８８年、“０ｆ
ｆｉｃｅ　ＤｏｃｕｍｅｎｔＡｒｃｈｉｔｅｃｔｕｒｅ
　　（ＯＤＡ）　ａｎｄ　Ｉｎｔｅｒｃｈａｎｇｅ　Ｆ
ｏｒｍａｔ”ｆ８０８６１３．１９８８）は、ＩＳＯの
Ｏ５Ｉの規格であり、ａ者のＴ、７３（ｒレコメンデー
ション・ティードツト７３・ドキュメント・インターフ
ェース・プロトコル・フォー・ザ・テレマチイック・サ
ービス」、シー・シー・アイ・ティー・ティー１９８４
年、“Ｒｅｃｏｍｅｎｄａｔｉｏｎ　Ｔ、７３　Ｄｏｃ
ｕｍｅｎｔＩｎｔｅｒｆａｃｅ　Ｐｒｏｔｏｃｏｌ　ｆ
ｏｒ　ｔｈｅ　ＴｅｌｅｍａｔｉｃＳｅｒｖｉｃｅｓ”
、　ＣＣＩＴＴ、　１９８４）はＣＣＩＴＴの規格であ
る。なお、０ＤＡ１０ＤＩ　ＦはＴ、７３との互換機能
を含んだ形で開発されている。これらのフォーマットの
特徴は、文書を論理構造と割り付は構造の両者で表現で
きる点にある。

上記で述べたものは、すべて、文書の整形出力を得るた
めに、論理構造が用いられている。すなわち、文書の内
容と文書の論理構造を入力すれば整形された文書が自動
的に得られる。

文書の割付は構造は、紙面の印刷上の配置を表現したも
のであり、「書式」や「レイアウト構造」などと呼ばれ
る場合がある。以下では、「レイアウト構造」は「割付
は構造」と同様な意味を持つ用語とみなし、「割付は構
造」を用いることで統一する。「書式」については、あ
る文書クラスに対する共通な「割付は構造」を示すもの
とみなすこととする。

人間が文書を読む場合、文書の割付は構造を見ながら論
理構造を推測することによって、文書の内容をより正確
に把握することができる。逆に言えば、文書の割付は構
造は、文書の論理をより効果的に判り易くするためにあ
る。また、前項で述べたように、計算機における文書の
論理構造の表現は、文書の整形のために用いられている
。文書の整形とは、割付は構造を文書に加えることに他
ならない。

以上のことから、文書においては、論理構造と割付は構
造が密接な関係にあると考えられる。従って、文書の論
理構造を理解するための手段として、文書の割付は構造
を用いることが有用であると考えられる６ 前述の画像ファイリングシステムにおいて、格納しであ
る文書画像から文書の構造を求める方式がいくつか提案
されている。

・辻本他：　「英文文書のレイアウト理解」、昭和６３
年電気通信情報学会春季全国大会論文集。

Ｄ−４７７，昭和６３年 ・西村他二　「レイアウト構造による紙面識別に関する
検討」、電子通信学会技術報告ＰＲＵ８７−１２０．昭
和６２年 上記の２つの方式は、文字単位に抽出した複数の矩形領
域から、ボトムアップに割り付は構造を生成する方式で
ある。生成した構造を用いることによって、構造の類似
性判断を可能としている。

しかし、意味構造に関する知識を持たないために、抽出
する文書の要素を判定して、書誌事項を抽出することが
できない。

・東野他：　「矩形領域の集合表現に基づく知識表現言
語ＦＤＬと文書画像理解への応用」、電子通信学会技術
報告ＰＲ０８６−３１，昭和６１年 書式定義言語を用いてトップダウンにタイトルや著者名
など書誌事項の抽出を行う方式であるが、テキスト中の
章・節など階層を持った構造を抽出してデータ構造に変
換することはできない。また、入力した文書画像が定義
された書式を満たさない場合には、リジェクトすること
を可能としている。

論文の標題ページにおけるタイトルなど意味的な情報が
常に文書の同じ場所に割り付けられる場合には有効であ
るが、割り付けられる位置や個数が文書によって異なる
章９節の抽出には対応できない。この方式では、文書を
分割しているだけであるため、文書の要素を抽出するこ
とはできるが、各要素間の関連をデータ構造として抽出
することができなかった。

また１文書の意味構造のうち、レイアウト構造の各要素
と対応している一階層しか持たない要素、たとえば書誌
事項や図表などの抽出は可能であったが、上記の章２節
２項など階層的な構造を構成する要素を抽出することは
できなかった。

〔発明が解決しようとする問題点〕

従来技術の問題点を整理すると次のようになる。

従来の技術では、処理対象が文書画像１ページのみであ
り、ページ中の領域の関係を抽出することは可能であっ
たが、複数ページにわたる領域の関係を抽出することは
できなかった。

従来の技術では、文書画像から文字列・写真・図形など
の文書の構造要素を矩形領域として分離抽出する。ここ
で抽出した矩形領域の綺対座標および相対座標から、各
矩形領域の位置関係を調べることによって、ボトムアッ
プもしくはトップダウンに文書の割り付は構造を解析す
る。その結果書誌事項を抽出したり、文書の割り付は構
造を用いた紙面の類似性判断を行うことが可能となる。

しかし、従来の技術では、解析の結果得られた関係情報
をファイルなどの２次記憶装置に出力する手段を持って
いなかったため、検索する度毎に解析を行なわなければ
ならなかった。

〔課題を解決するための手段〕 前記した従来技術における課題を解決するため本発明は
吹下の手段を有することを特徴とする。

まず、文書の論理構造を階層的に表現可能な手続きを定
める。文書の割り付は構造から文書の論理構造を推定す
るための手段を設ける。この手段を設けることによって
、文書画像から文書の論理構造を抽出することが可能と
なる。

次に、文書クラスの論理構造を表現する手段と文書クラ
スに属する一文書の特定な論理構造を設ける。ここでい
う、文書クラスとは、共通な割付は構造・論理構造を持
つ文書の集合を意味する。

また１文書クラスの論理構造を階層的に表現する手段を
設け、かつ、前記の論理構造を推定する手段において推
定された論理構造の要素と前記文書クラスの論理構造の
要素に対応付ける手段を設ける。以上の手段を用いるこ
とによって、入力文書に固有の論理構造を生成すること
が可能となる。

〔作用〕

本発明の方式を用いることによって、共通な文書の割付
は構造、論理構造、その両者の関係を記述しておくこと
で、スキャナ等で入力したマルチメディア文書から文書
に固有な割り付は構造及び論理構造を抽出することがで
きる。例えば、学会論文に関する文書の割付は構造、論
理構造、及び両者の関係には共通のフォーマットがある
０本発明では、この共通な部分を予め記述しておくこと
によって、論文−つ一つの割付は構造と論理構造を抽出
することができる。

抽出した論理構造に関しては、抽出した結果の論理構造
と画像、あるいは、この画像について文字認識を行った
結果の文字テキストを合わせてファイルに構造化して格
納する。格納した構造化マルチメディア文書のデータを
用いることで、論理構造情報を含めた文書の検索が可能
となる。例えば、章題のみを検索したり、目次を参照し
たりすることが可能となる。

〔実施例〕

第１図は、本発明のマルチメディア構造化方式の一実施
例を示すブロック図である。第１図を用いて本発明の方
式について簡単に説明する。

図中の１００で示すカラーマルチメディア文書−とは、
テキス１−、カラー写真９図・表が混在する文書のこと
を言う、このカラーマルチメディア文書を、カラースキ
ャナなどの手段で計算機内の記憶装置に格納する場合、
大きな容量を必要とする。

例えば、Ａ４サイズの文書を８ｄｏｔ／＋ａｍの解像度
、ＲＧＢ　（赤・緑・青）各色２５６階調の色表現で読
み込んだ場合、１頁当たり１２ＭＢの容量が必要である
。

本発明のマルチメディア構造化方式では、まず。

カラー領域抽出部１１０で、入力したマルチメディアカ
ラー文書画像を単一色で表現できる部分とそうでない部
分に分離する。単一色で表現できる部分とはテキスト部
分や単一色で表現された図・裏部分であり、単一色で表
現できない部分はカラー写真である。以下、単一色で表
現できない部分のことをフルカラー領域と呼ぶ。カラー
領域抽出部１１０では、入力マルチメディア文書画像１
００中のフルカラー領域の存在する領域の外接矩形領域
を抽出する。同様に単一色の領域も外接矩形領域として
抽出する。カラー領域抽出部１１０で抽出したフルカラ
ー領域はカラー補正部１１１を経た後、カラー画像圧縮
部１１２でカラー画像の圧縮を行う。

次に、前記のカラー領域抽出部１１０で抽出した単一色
の画像データを用いて、２値化処理１２０を行う。この
処理で、以降処理すべきデータを単一色のデータに絞り
込み、データ量を１７３にする。

前記の２値化処理部１２０を経て得られた画像データは
書誌事項抽出処理部１３０に送られる。

書誌事項は、論文の表題ページ中のタイトル、著者名、
ＵＤＣ分類番号、ページ番号、柱などである。これら書
誌事項は、論文の種類ごとに一定の書式で記載されてい
る。この書式の情報を論文の種類ごとに予め記述してお
き、東野他：　「矩形領域の集合演算に基づく知識表現
言語ＦＤＬと文書画像理解への応用」信学技報ＰＲ１Ｊ
８６−３１゜昭和６１年で述べられている方式を用いる
ことで、書誌事項の抽出が可能となる。

また、図表領域抽出処理部１４０では、図表領域の抽出
が行われる。インデックス情報抽出部１４１では、図表
領域抽出部１４０で抽出した図表領域からキーワードと
なるべき情報を抽出し、線画認識部１４２で画像として
表現されている情報をベクトルデータで表現する。

前記の処理１１０，１３０，１４０で得られたカラー写
真領域、書誌領域２図・表領域を除いた領域が本文の領
域である。処理１５０では本文の領域を抽出し、行単位
に分割する。

処理１５１では処理１３０，１４１，１５０で得られた
書誌事項領域、インデックス情報領域。

本文領域中の文字パターンについて文字認識処理を行な
う。この処理では、文字パターンから文字を表現するた
めの文字コードとフォント情報を得る。処理１５２では
文字認識処理部１５０で抽出した文字を正しく認識した
かどうかを判定するために辞書の照合を行う。

処理１６０では、処理１５０で得られた行領域の座標と
処理１５１で得られた文字コード及びフォント情報を用
いて論理構造の要素の抽出を行なう。

論理構造生成部１７０では、処理１０９で抽出された論
理構造を計算機内で表現するためのデータを生成する。

処理１１２．処理１４２．処理１５２では、それぞれカ
ラー画像、線画１文字が分離・抽出され、各メディアに
適した表現に変換される。これらのばらばらにした文書
内容を、論理構造生成部で生成した構造によって、関係
づける。

以上の処理を経て、マルチメディアカラー文書１０１か
ら、マルチメディア構造化ファイル１８０が得られる。

論理構造抽出部１６０の実施例について述べる前に、論
理構造を抽出するためのｙＸ理について述べる。

文書の構造には論理構造と割り付は構造がある。

論理構造は章・節などの文書の意味的な構造のことであ
り１割り付は構造は、紙面の印刷上の配置を表現したも
のである。本節では１文書画像から文書の割り付は構造
を用いて、文書の論理構造を抽出する方法について述べ
る。

文ｉ＃（文部省大学学術局編、「ドキュメンテーション
ハンドブック）、東京電機大学出版局、第２２頁から第
２５頁、昭和４５年）では、文書（特に論文）の論理構
造は、（ｉ）表題、（ｉｉ）著者名、（市）抄録、（汁
）目次、（Ｖ）使用記号、特殊記号の一覧、　　（ｖｉ
）まえがき、（ｄ）本論、（ｖｊｉｔ）むすび、（玩）
謝辞、（Ｘ）引用文献、（ｘｉ）討論１回答から構成さ
れるべきであると述べられている。

（ｖｉ）の本論については、章・節・段落に細分化され
る。さらに、マルチメディア文書となれば、図や表など
のテキストとは異なったメディアが含まれることになる
。文献では、これらの論理構造が、文書を介したコミュ
ニケーションを円滑に行なうために必要なものとされて
いる。

前述した規格０ＤＡ１０ＤＩＦでは文書の論理構造を記
述する際に、共通論理構造と特定論理構造の２つを用い
ている。共通論理構造は、ある文書クラスにおける共通
な論理構造を表現したものである。ここで言う文書クラ
スとは、実存する文書の上位概念に相当するものであり
、例えば「情報処理学会の論文誌に掲載されている論文
の集合」などが挙げられる。また、特定文書論理構造と
は、ある特定の文書の論理構造を表現したものである。

第２図は、文書クラスとして雑誌 ｒＨＩＴＡＣＨＩ　　ＲＥＶＩＥＷＪを取り上げ、その
中に掲載されている論文の共通論理構造を０ＤＡ１０Ｄ
Ｉ　Ｆで表現したものである。図中の２１０で示すＳＥ
Ｑは順序関係を表わし、下部の構成要素の組に順序関係
があることを意味する。

「論文」２００は、ｒＵＤｃＪ　２１０．ｒ表題」２２
０、ｒ著者名Ｊ２３０．ｒ要約Ｊ　２４０゜「本文Ｊ２
５０．ｒ参考文献リスト」２６０という順番で構成され
る。図中の２１１で示すＲＦＰは繰返し構造を表わし、
下部の構成要素の組が複数存在することを意味する。「
本文」２５０は複数の１章」から構成される。また、図
中の２１２で示すＳＥＬは下部の構成要素のどれか一つ
を任意に選択するという意味を持つ。１図・・表」２５
１３は任意存在する。

上記（７）ｒＨＩＴＡｃＨＩ　　ＲＥＶＩＥＷＪを文書
クラスの例として、その論理構造を抽出するために必要
な書式を説明する。

（１）竜頭２節題の抽出 竜頭１節題の行間は本文中の行間に比べて広い。また、
竜頭・節類で使用されている文字フォントは本文中で使
用されているものとは異なる。

（２）章、ｉの抽出 章題９節題の下に続いている。

（３）段落の抽出 段落の行頭は字下げが存在する。

（４）参考文献リストの抽出 上記（２）の章２節の抽出と同様な考え方で抽出できる
。ただし、参考文献リストを示すヘッダＲＥＦＥＲＥＮ
ＣＥＳ”がセンタリングされている。竜頭１節題は左寄
せである。

（５）各参考文献の抽出 参考文献リストは、章２節の一種として見ることができ
る。すると、各参考文献は段落に相当する。普通の章９
節における段落と異なる点は、各参考文献はハンギング
パラグラフであるということである。すなわち、各参考
文献は先頭の行が左詰めで残りの行は字下げされている
。

前述した文書の論理構造に関する知識をもとに、マルチ
メディア文書から章・節の抽出を行なう。

マルチメディア文書から章・節を抽出するために用いる
方式を次に示す。

（１）マルチメディア文書をテキスト領域と非テキスト
領域に分離する。非テキスト領域には、図や表、写真な
どが存在する。この処理は、マルチメディア文書におけ
る論理構造抽出のための前処理部分に相当する。

（２）まず、割付は構造に着目して、論理構造の構成要
素に分離する。−たとえば、ページ中の本文部分の切り
出し、本文部分がマルチカラムであれば、カラム単位に
分離する。

（３）カラム単位に分離したら、その中の行、単語を要
素として論理構造を抽出する。これは、章・節に関連す
る論理構造は、前項で述べたとおり、行・単語レベルの
書式から得ることができるためである。

本実施例においては、文書の論理構造を抽出するための
手段として、書式定義言語ＦＤＬ（Ｆｏｒｍ　Ｄｅｆｉ
ｎｉｔｉｏｎ　Ｌａｎｇｕａｇｅ）を用いた。書式定義
言語ＦＤＬは、文書の書式を定義し、与えられた文書を
書式の各構成要素に分解する機能を持つ。

第３図は、文書の竜頭・節類に関連する書式を示すため
の図である。第３図では文書の行を矩形で示しである。

３０１はそれぞれ本文を示す行である。３０２は竜頭・
節類を示す行である。３０３．３０４，３０５，３０６
はそれぞれ矩形領域のＹ座標を示している。前記したよ
うに１章題・節類領域３０２は本文領域３０１と比べて
、行間が広イ、コれは、３０３，３０４（７）距離、３
ｏ５．３０６の距離が他の矩形領域よりも広いことを表
現している。

第４図は、書式定義言語ＦＤＬで竜頭・節類に対する書
式を表現した例である。まず、前半の３行では、矩形領
域の間の空間について記述してぃる、４０１の５ＰＡＣ
Ｅは矩形領域間の空白について記述するための述語であ
る。また、？ＹＯ。

？Ｙ１は次に示す条件で得られた空白の位置を示す座標
を記憶するための変数である。４０２では。

空白を調べる際にＹ座標方向の少ない方から調べること
を指定している。４０３では、空白の大きさが２．５ｍ
ｍ以上であることを指定している。この数値は、行間が
行の高さの３倍であるという知識をもとに割り出した数
値である。以上の手続きで、竜頭・節類を表す矩形領域
の上部の空白の座標？ＹＯ１および、？Ｙ１の座標が得
られる。次の４行では、竜頭・節類の矩形領域の下部の
空白を取り出す、最初の３行は、４０１，４０２゜４０
３で説明したものと同じ意味を持つ、４０４で示す部分
で、空白を探索する領域を狭めている。

これは、再び、前の３行で取り出した空白と同じ部分を
取り出さないためである。

第５図は本発明の方式の一実施例であるマルチメディア
文書構造化方式を採用したファイリング装置の機能ブロ
ック図である。装置全体の構成と動作を説明する。

本装置は構造化したい文書をディジタル画像として読み
込むための画像走査部５０１、原画像や構造化した文書
のテキスト・部分画像を表示するためのデイスプレィ５
０２．読み込んだ文書画像をページ単位で記憶するため
頁イメージ記憶部５０３、文書の構造化処理を行なうた
めに必要な書式情報を格納する書式データ格納部５０４
、構造化した文書を蓄積する文書格納部５０５、読み込
んだ文書画像の構造解析をおこなうための文書構造解析
部５０６、文字パターン化されたデジタル画像から文字
を認識するための文字認識部５０７、および、膨張・収
縮・まびきなどの画像処理を行なうための画像処理部５
０８から構成される。

処理の流れの概要を次に説明する。入力すべき文書５１
０を画像走査部５０１にセットする。画像走査部５０１
で書類５１０を光学的に走査して画像データとして入力
し１頁イメージ記憶部５０３に格納する。画像データ１
１０は画像の濃淡画像の濃淡データに対しである閾値を
定めて２値化した２値画像データからなる。次に、頁イ
メージ記憶部５０３に格納された入力画像データを構造
化するため、入４力文書の書式を記述したデータを書式
データ格納部５０４から読み込む。文書構造解析部５０
６は、書式データ記憶部５０４から続出された書式デー
タをもとに、頁イメージ記憶部５０２に格納されている
文書画像データの構造解析を行なう。なお、この文書構
造解析部５０６では、書式データ記憶部５０４に格納さ
れている書式データに応じて、適宜１文字認識部５０７
、および画像処理部５０８を呼び出す。

次に、本発明方式の一部である論理構造抽出方式につい
て説明する。第６図は本発明の方式を用いた場合のＰＡ
Ｄ図（Ｐｒｏｇｒａｍ　Ａｎａｌｙｓｉｓ　Ｄｉａｇｌ
ａｍ）である０本方式におけるマルチメディア文書画像
の構造解析では、まず、文字列領域の抽出６００を行な
う。

次に、ページ番号や柱部分などを除いた文字列領域の抽
出６０１を行なう。文字列領域の抽出では、図・表の非
文字列領域やページ番号・柱部分を除いた領域を、本文
文字列本文領域とする。この文字列本文領域に対して、
カラム単位の領域分離６０２、行単位の領域分１ｉｉ１
６０３．単語単位の領域分離６０４を行なう。これらの
領域分離は、前もって定義しである書式情報をもとにし
て行なう。このときに用いる書式情報はカラム間の空白
領域の大きさ２行間スペース、単語間スペースの値であ
る。

テキスト・非テキストの分離のためのアルゴリズムの処
理について説明する。テキスト・非テキストの分離では
、図や表の領域と比較した場合に文字の領域は行方向に
広がる傾向を持つという知識を用いる。例えば、横書き
の文書であれば、横方向は黒画素が詰まっているが、縦
方向は行間ごとに白画素の領域が表れる。しかし１図や
表は、領域のほぼ全面にわたって画素が分布している。

この知識を利用し、前処理に画像処理の手法を適用する
。

第７図は、論理構造の抽出を詳細に説明したＰＡＤ図で
ある。論理構造の抽出処理は、カラムの領域について行
単位に処理を行なう。まず、処理対象行として一番上の
行を選択する処理７０１を行なう。次に、論理構造の処
理対象とする行の両側の行間を求める処理７０２を行な
う。論理構造の油出処理を行なう前に行単位の外接矩形
領域の座標値を求めておけば、画像処理などの複雑な処
理を行なわずとも効率的に行間を調べることができる。

次に、ステップ７０３で、両側の行間が本文中の行間よ
りも広い場合には、この行は竜頭節類であるとみなす。

次に、章・節の構造化処理を行なう。章・節の構造化処
理とは、本文を章単位、または節単位に分離する処理の
ことである。

第８図は章・節の構造化処理の説明図である。

章・節の構造化処理では、前述の処理７０３で竜頭・部
属であると判定された処理対象行に章・節であることを
示すインデクスを付加する処理８０１を行なう。また、
次に、竜頭・部属の前の行をインデクスが章・節の終わ
りであることを示すインデクスを付加する処′ＲＡ８０
２を行なう。以上の処理を用いることによって、章・節
単位の分離をすることができる。前述の２つの処理８０
１゜８０２で付加したインデクスによって、章・節の領
域を取り出すことができる。この領域についてパラグラ
フの分離処理を行なう。

パラグラフの分離処理では、インデンテーション（字下
げ）の情報を用いる。字下げは、パラグラフに対する一
般的な書式情報である。

第９図は、パラグラフの分離処理を詳細に述べたもので
ある。パラグラフの分離処理では、まず、ステップ９０
１で、処理対象行を章・節として分離した領域の最初の
行とする。処理対象行は、次の一連の処理が終了したら
、次の行に切り替える。

ステップ９０２では１章として抽出した領域に対して、
処理対象行の左側の空間を調べる。この左側の空間が字
下げの情報となる０判定処理９０３では、もし、左側の
空間が章として抽出した領域よりも下がっているかどう
かの判定を行う。もし、ここで次下げが行われているこ
とが確認されれば、判定処理９０４を行う。判定処理９
０４では、この処理対象行が章・節での第１行目であれ
ば、処理対象行を第１パラグラフの先頭行とし、そうで
なければ、処理対象行の前の行までを第１パラグラフと
するインデックスを付加する。第１パラグラフ目の第１
行目は、インデンテーションが行われないことがあるた
めに、この処理を行う必要がある。

上述の処理を上から順番に行ない、１つのカラムに対し
て処理を行なったら、次のカラム（右のカラム）に対し
ても同様な処理を行なう、このとき、章・節を示すため
のインデックスやフラグは、前のカラムの状態のまま保
持する。

このように、カラム単位に処理を行なっていくため、論
文、雑誌など一つの文書が複数ページにまたがっていて
も論理構造の抽出が可能である。

また１行革位の抽出が行われた時点で、処理対象行につ
いて文字認識の処理も行なう、これは、行間といった大
局的な書式情報だけでは竜頭・部属を抽出できない場合
があるためである。このような場合に対処する方法につ
いて第１０図を用いて説明する。第１０図は、行間・字
間といった大局押な書式情報だけでは論理構造を分離抽
出できない文書の例である。第１０図（ａ）に示す矩形
領域１００１はパラグラフの最後行を示す領域、矩形領
域１００２はタイトル行を示す領域、矩形領域１００３
は次の章の最初のパラグラフの先頭行を示す領域、矩形
領域１００４は矩形領域１００３で示した行に続く行を
示す領域である。

第１０図（ｂ）に示す矩形領域１０１２はパラグラフの
最後行を示す領域、矩形領域１０１１は矩形領域１０１
２で示した行の前の行を示す領域、矩形領域１０１３は
矩形領域ｆｏｉｌ、１０１２で示した行と同じ章に含ま
れる次のパラグラフの先頭行を示す領域、矩形領域１０
１４は矩形領域１０１３を示した行に続く行を示す領域
である。

第１０図（ａ）の矩形領域１００１の文字列は竜頭を示
しており、第１０図（ｂ）の矩形領域１００２はパラグ
ラフの最後を示している。しかし、各矩形領域の幾何学
的な位置関係は、図１０（ａ）９図１０（ｂ）ともに同
じである。このため、行間・字間といった幾何学的な情
報を用いて、竜頭・節類を抽出することは難しい。一方
、竜頭・節類に用いる文字フォントは、本文中の文字フ
ォントよりも大きかったり、あるいは、種類が違ってい
たりする。文字のフォント情報を用いて前述の構造解析
処理を行えば、より強力な抽出能力を持たせることが可
能となる。

以上の処理を行うことによって、論理構造の要素である
章や節などの領域を抽出することが可能となる。これを
ファイルに格納するためには、取り出した領域の階層関
係を取り出すことが必要である。この関係を取り出し、
木構造データとしてファイルに格納する処理は論理構造
生成部で行われる。

次に、論理構造生成部の詳細について述べる。

第１１図は典型的な文書の形式を示しており、通常、１
１図（ａ）、（ｂ）のように２ページにまたがっている
。ここで、１１０１は章、１１０２はその章に含まれる
竜頭、同様に、１１０３は章１１０１に含まれるパラグ
ラフを示している。また、１１０４は竜頭、１１０５゜
１１０７．１１０８はパラグラフを示し。

１１０６．１１０９はそれぞれ１図を示している。

従来の技術では、これらの領域を分割するために例えば
公知のＦＤＬという文法手段を用いて、（ｄｅｆｆｏｒ
ｍ章ブロック （ｆｏｒｎ＋章題ブロ竜頭（、、、））（ｆｏｒ＋＋＋
章題ブロッ竜頭、　、　、　））・・・・・・） として、章を竜頭及びパラグラフの包含関係を記述すれ
ば、割付は構造と論理構造の両方の関係を記述したこと
になる。しかし、竜頭１１０４とパラグラフ１１０５，
１１０７，１１０８はページにまたがっているためにＦ
ＤＬでは章として記述することができない。なぜならば
、ＦＤＬでは文書の物理的な配置だけしか記述できない
からである。従って、ページやカラムなどの物理的に離
れた領域にまたがった論理構造の要素を連結する必要が
ある。

論理構造抽出部では、ページ画像を入力し１本文テキス
ト部分９段９章題１章９節という順番に領域を分割して
いく、ここで、論理構造として必要な部分は、章１節で
あり、ページやカラムは割り付は構造の要素である。こ
のときに抽出した領域を＠１１に示す。

第１２図は、文書クラスの論理構造の一例を示したもの
である。この図では、「本文１２０１は章１２０２、参
考文献１２０６から構成される」。

１章１２０２　ハ章１１１２０３．　節１２０４．説明
文付図１２０６から構成される」、さらに「説明文付図
１２０６は図１２０７と説明文１２０８から構成される
」という構造の階層的な上下関係を表している。この構
造の各要素は、文書に固有の概念ではなく、１章」　「
節」など複数の文書に共通な概念を示している０本実施
例では、この共通論理構造を表現する言語を設定し、こ
の言語を用いて共通論理構造関係表への登録を容易にし
た。

例えば、第１２図の共通論理構造は次のように表現でき
る。

（ｄｓｆｌｏｇｉｃ本文 （ｃｏｎｓｉｓｔ−ｏｆ　（章参考文献）））（ｄｅｆ
ｌｏｇｉｃ章 （ｃｏｎｓｉｓｔ−ｏｆ　（竜頭節説明文付図）））（
ｄｅｆ　ｌｏｇｉｃ説明文付図 （ｃｏｎｓｉｓｔ−ｏｆ　（図説明文）））（ｄｅｆｆ
ｏｒｍ章ブｏ７り （ｌｏｇｉｃａ１章） ・・・・・・） （ｄｅｆｆｏｒｍ章の続きブロック （ｌｏｇｉｃａ１章ｃｏｎｔｉｎｕｅｄ）・　・　・　
・　・　・） 文書が複数ページにわたる場合には、分離した論理構造
の要素の関係を取り出すことができなかった・ このようにすることで、領域分割の手続きだけを用いて
論理構造抽出のための手続きを記述する場合よりも簡単
に記述することが可能である。

第１３図は、この関係を共通論理構造表に登録したとこ
ろを示したものである。この共通論理構造表は、共通論
理構造の親子関係を示した表であり、第１２図のリンク
１２１２から１２１７までと第１３図の表の部分１２１
２から１２１７が、それぞれ対応している。例えば、第
１２図の本文と章の関係を示すリンク１２１１は、第１
３図では、「本文が親であり、章が子となる」ことを示
している。

論理構造領域抽出部で得られた結果は、第１４図に示す
特定論理構造関係表１４０１、特定論理構造数カウント
表１４０２、共通・特定論理構造関係表１４０３．オブ
ジェクト管理表１４０４、の各表に登録される。特定論
理構造関係表１４０１には、入力した文書に特定の文書
構造が親と子の関係で格納される。特定論理構造数カウ
ント表１４０２には、共通論理構造とその共通論理構造
に対応する特定論理構造の数を格納する。

この特定論理構造数カウント表１４０２の、カウント数
は特定論理構造の名前を作成するときに用いる。また、
共通・特定論理構造関係表１４０３は、スタックになっ
ており、抽出した特定論理構造の要素名称を対応する共
通論理構造の所に格納する。オブジェクト管理表１４０
４には特定論理構造の要素名称と抽出した画像を識別す
るための名前と矩形領域を表現するために必要な２点の
座標を示している。

論理構造生成部では上述の表１４０１゜１４０２．１４
０３，１４０４を次のステップに従って埋めていく。

（１）まず、共通論理構造の最上位の要素名のインスタ
ンス生成処理を行う、インスタンスの生成処理では、共
通論理構造の要素名に番号付けして、新しい名前を生成
し、共通・特定論理構造関係表に名前を登録することで
ある。

例えば、第１３図の例では、共通論理構造要素名の最上
位が「本体」であることがわかるので、特定論理構造要
素名として「本体＃１」を付加する。次に、共通・特定
論理、構造関係表の親の欄に「本体」を子の欄に生成し
た名前である「本体＃１」を登録する。

ＦＤＬの各フオームを先頭から呼び出し、論理構造の指
定があったフオームに対して、次の処理を行なう。

論理構造の指定は、例えば、次のようにして行なう。

（ｄｅｆｆｏｒｍ章ブロック （ｌｏｇｉｃａ１章） ・・・・・・） （ｄｅｆｆｏｒｍ 章の続きブロック （ｌｏｇｉｃａ１章ｃｏｎｔｉｎｕｅｄ）・　・　・　
・　・　・） （２）ＦＤＬの各フオームで、論理構造の指定があった
場合には、指定した共通論理構造要素名に対応するイン
スタンスを新しく生成する。

次に、指定した共通論理構造要素名を共通論理構造表か
ら、この共通論理構造要素名の親の名前を表引きする。

この親の最新の子供を共通・特定論理構造関係表から探
し、対応する特定論理構造要素と新しく生成したインス
タンスを特定論理構造要素関係表に、それぞれ、親と子
の関係で登録する０例えば、指定された論理構造要素名
が「節」であった場合には、親は「章」であることが共
通論理構造関係表かられかる。第１３図の共通・特定論
理構造関係表１３０１から、この章の最新インスタンス
がｒ章＃ｌ」であることがわかり。

特定論理構造関係表１４０１には、ｒ章＃１」とｒ節＃
２」がそれぞれ、親子関係として登録される。

（３）また、論理構造の指定で論理構造の続きであると
わかった場合には、新しくインスタンスを生成せずに、
抽出した領域を指定した論理構造要素の最新のインスタ
ンスの領域として新しくオブジェクト管理表に登録する
。

以上の処理の結果、共通・特定論理構造関係表１４０１
には、共通論理構造に対応する特定論理構造の要素が登
録され、特定論理構造関係表には、各文書の包含関係が
登録される。また、オブジェクト管理表１４０３には１
分割した領域とそれに対応する特定論理構造要素名工４
０３がそれぞれ登録される。

【図面の簡単な説明】

第１図は本発明の方式の一実施例を示す機能ブロック図
、第２図は本発明の方式で対象とする入力文書の論理構
造を０ＤＡ１０ＤＩ　Ｆで表現した図、第３図は文章の
竜頭・節類に関連する書式を示す図、第４図は書式定義
言語ＦＤＬで竜頭・節類に対する書式を表現した図、第
５図は本発明の方式を用いたシステムを示す機能ブロッ
ク図、第６図は本発明の詳細な説明するためのＰＡＤ図
、第７図は論理構造の抽出を説明するためのＰＡＤ図、
第８図は章・節の構造化処理を説明するためのＰＡＤ図
、第９図はパラグラフの分離処理を説明するためのＰＡ
Ｄ図、第１０図は幾何学的な情報を用いただけでは論理
構造を抽出できない文書を示す図、第１１図は論理構造
生成部で論理構造を生成する文書の一例、第１２図は共
通論理構造の一例を示す図、第１３図は共通論理構造の
親子関係を表形式で示した図、第１４図は特定論理構造
と共通・特定論理構造関係を生成するために必要な表形
式を示す図。 １１０・・・カラー領域抽出部、１１１・・・カラー補
正部、１１２・・・カラー画像圧縮部、１２０・・・２
値化処理部、１３０・・・書誌事項抽出部、１４０・・
・図表領域抽出部、１４１・・・インデックス情報抽出
部。 １４２・・・線画認識部、１５０・・・本文領域抽出部
、１５１・・・文字認識部、１５２・・・単語照合部、
１６０・・・論理構造抽出部、１７０・・・論理構造生
成部。

Claims (1)

1. 【特許請求の範囲】 １、文書に共通する論理構造を階層的に記述する文法に
   よって書かれた表現を記憶する第１の文法表現記憶手段
   を持つことを特徴とするマルチメディア文書構造化方式
   。 ２、特許請求範囲第１項記載のマルチメディア文書構造
   化方式において、抽出した章・節等の論理構造を親子関
   係として抽出し、抽出した情報を表形式でファイルに格
   納することを特徴とするマルチメディア文書構造化方式
   。 ３、特許請求範囲第１項記載のマルチメディア文書構造
   化方式において、文書を複数個の矩形領域の集合として
   記述する文法によって書かれた表現を記憶する第２の文
   法表現記憶手段を持ち、上記文法の中に矩形領域の絶対
   的あるいは相対的な大きさ及び矩形領域間の絶対的ある
   いは相対的な関係を表す数量を変数として含むとともに
   、上記矩形領域の探索方法の記述を含み、上記矩形領域
   の中から上記の文法に従って書かれた表現で指定される
   矩形領域を探索し、探索結果から定まる値を上記表現の
   中の変数に代入し、未解決の同変数の解析する結果から
   領域の分割を行うことを特徴とするマルチメディア文書
   構造化方式。 ４、特許請求範囲第１項記載のマルチメディア文書構造
   化方式において、上記第２の文法の中に上記第１の文法
   表現手段で表現された論理構造の内の要素の一つと上記
   第２の文法表現手段において分割した領域を対応付ける
   手段を持つことを特徴とする一つの論理構造にまとめる
   ための手段を持つことを特徴とするマルチメディア文書
   構造化方式。 ５、文書中のテキスト、画像、図表などの同質なデータ
   に対して、それぞれのデータに適した特徴量抽出手段を
   持ち、上記抽出手段の結果は矩形領域と属性情報として
   抽出することを特徴とするマルチメディア文書構造化方
   式。 ６、特許請求範囲第１項記載のマルチメディア文書構造
   化方式において、上記入力デジタル画像から矩形領域を
   抽出する手段と、上記入力文書の行間・字間・段組み等
   のレイアウト情報を上記矩形領域抽出手段で得られた矩
   形領域の相対座標値もしくは絶対座標値で表現する手段
   と、上記レイアウト情報を用いて、上記入力文書から章
   ・節等の論理構造を推定する手段を有することを特徴と
   するマルチメディア文書構造化方式。 ７、特許請求範囲第１項記載のマルチメディア文書構造
   化方式において、上記入力デジタル画像から、上記論理
   構造推定手段を用いて得られた論理構造を表現する領域
   を矩形領域として抽出する手段を有することを特徴とす
   るマルチメディア文書構造化方式。 ８、特許請求範囲第１項記載のマルチメディア文書構造
   化方式における矩形領域抽出手段において、上記入力デ
   ジタル画像がカラーで表現されている場合には、上記入
   力デジタル画像を単一色の領域と複数色の混在した領域
   とに分離する手段を有することを特徴とするマルチメデ
   ィア文書構造化方式。 ９、特許請求範囲第１項記載のマルチメディア文書構造
   化方式における矩形領域抽出手段において、上記入力デ
   ジタル画像が単一色の濃淡画像で表現されている場合に
   は、上記入力デジタル画像から濃淡の度合いが明確でな
   い領域を矩形領域として抽出する手段を有することを特
   徴とするマルチメディア文書構造化方式。