JPS6255769A - 文書画像の処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の利用分野〕 本発明は画像処理方式に係わり、特に入力画像のレイア
ウトを電子的に変更して画像を出力する装置に好適な画
像理解方式に関する。

〔発明の背景〕

従来の電子的文書画像ファイル装置は単に文書の各ペー
ジを画像として格納するのみであり、検索のための二次
情報は別にキーボードなどの符号変更など編集をしたシ
、文書の内容を連想させるようなインデックス１面塚を
あらかじめ抽出するために、クロスヘヤ・カーソルやマ
ウスなどの座標入力手段によってその画像領域を外部か
ら与える必要があった。しかし、ファイルの入力・編集
作業を省力化するためには文書中に記載されている表題
や著者などを自動的に読み取って二次情報を生成するこ
とが望ましい。さらに検索を高度化するためには図表の
キャプションや章・節表現の自動入力あるいは本文自体
の認識による自動キーワード抽出などが必要となる。ま
た対象文書の画像を表題・著者・要約・本文・図・写真
などの部分に分割すること、文字の部分は認識して符号
化すること、さらに％複数の文書から必要な領域を抽出
して、抄録誌などを作成することは、記憶スペースの削
減や検索単位の多様化のためにも要請されていた。

従来技術ではこのような問題点に対処するため、文書の
中の対象領域を外部から指定し、画像を抽出したシ、文
字認識装置によって文字データに自動的に変換する文法
が提案されている。

Ｏ情報処理学会第２８回合国大会講演論文「画像処理を
応用した文書画像ファイルの一検索方式」（論文集５Ｃ
−１，昭和５９年） ０特許公開公報昭和６０−１７５６５号「画像記憶検索
装置」（昭和６０年１月２９日公開）しかし、この方法
は検索対象領域の指定に人手がかかるという問題点があ
る。

人手指定方式の問題点に対処するため、画像処理ケ行う
ことによって対象領域を自動的に抽出したり、文書の内
容を理解しその理解結果に基づいて文書の処理を行う方
式がある。

０情報処理学会第２９回全国大会講演論文「ドキュメン
ト画像用情報システム用新聞見出し抽出アルゴリズム」
（論文集６Ｍ−９，昭和５９年）０特許公報昭和５９−
３９０６５号「郵便物宛名文字列検出装置」（昭和５９
年９月２０日公告）０情報処理学会第２３回全国大会講
演論文「複雑な構造をもつ文書画像の自動解析」　（論
文集６Ｃ−２、昭和５６年） しかし、これらの文書処理技術は、画像データを単純に
処理する方式（ボトムアップ方式）のため、抽出した領
域に意味を与えることが困難であったシ、あらかじめ領
域に意味を与えてから画像データを処理する方式（トッ
プダウン方式）を採用してはいるが、その処理手順が制
御プログラム中に記述された方式でめるため、処理する
文書の糧類を変更することは容易ではなかった。

すなわち、これらの文書理解技術は新聞や、郵便物の宛
先を対象としたものであるため、論文誌や特許公報のよ
うにある程度定型化されてはいるが、その書式が多種多
様にわたるような文書に対して、検索のため必要な表題
や著者などの二次情報を効率的に抽出する目的には必ず
しも適しない。

また、二次情報抽出を失敗したとき抽出方法を改良して
行く手段は適当なものがない。

画像を出力する方法に関しては、従来文字を主体とした
システム（Ｔｅ、ｌ（）や１図形を主体としたシステム
（ＧＫＳ）などがある。前者は印刷時の活字めｍ択を自
動化することを目的としている。

後者は図形や画像の合成を目的としたものであるため、
文書を画像として理解してからその内容に応じた画１諏
を出力することは考慮されていない。

画像を配置する方法に関しては、上記のシステムでは茨
示装置の分解能と整合をとるため座標系を任意に設定で
きる。また画面上の位置もビューボートなる矩形領域に
よって任意に設定できる。しかし、座標系またはビュー
ボートは階層的に表現することはできない。

さらに、意味情報の付加された画像領域を再配置できる
適切な方式がなかった。

〔発明の目的〕

本発明の目的は、定盤化された一般の文書を対象とし、
その構造に従って部分画賛に分割するとともに、この部
分画賛を再配置することによっである構造の画賛を得る
ことと、必要な′＃ｓ会には文字部や図形部を認識し、
その画賛領域を、あらかじめ登録した画像に変更しうる
画像理解方式を提供することにある。

〔発明の概要〕

かかる目的を達成するために、本発明においては画像の
構造を表現する文法を用い、この文法によって表現され
た記述を構文解析することにより、未知入力画賛の構造
を把握する。そして、出力すべき画像のレイアウト構造
を、上記文法によって表現し、その記述に従って画像を
再配置する。上記の文法では、文書画像を矩形領域の集
合として表現し、上記矩形領域の絶対的あるいは相対的
な大きさ及び矩形領域間の絶対的あるいは相対的な関係
を表す数量を変数として含んでいる。また、矩形領域の
探索方法を指定することができる。さらに、矩形領域を
また矩形領域の集合として表現し、このような階層的な
表現によって、文書の書式を細部に至るまで表現できる
。

各種文−ｖＫ対し、上記の文法に従って表現された文書
の書式があらかじめメモリ内に格納されている。構文解
析部では未知文書が入力されると、文書書式で指定され
た探索方法に従って矩形領域を探索し、探索が成功した
か否かの情報と探索時に定まるパラメータ（矩形領域の
絶対的あるいは相対的な大きさ及び矩形慣域間の絶対的
あるいは相対的な関係）を表す数値を抽出する。構文解
析部は、上記のパラメータの数値を又１１Ｗ式の中の変
数に代入し、次の解析を行うことＫよシ、順次文書の構
造解析を進める。解析が終了し、画賛の内容が理解され
た後、上記の文法に従って画像を再び配置出力する。従
って、出力用の書式が格納されたメモリの内容を変更す
ることによって異なった書式で画像を出力することもで
きる。

以下に本発明の詳細な説明する。第１図、第２図に一定
の書式を有する技術論文の一部の例を示す。以下の説明
では対象として技術論文を例にとるが、他の文書であっ
ても文法の形式が若干異なるのみであり文法の一部を変
更すれば本発明が適用でき、本発明は上記技術論文の一
例に限定されるものではない。４３図は、第１．２図の
内容を理解して表題、著者名、代表図を表形式の構造を
もつレイアウトに変更した出力画像である。

次に、文書の構造を表現する文法（以下文書文法と略す
る）の−例を示す。

（ｄｅｆｆｏｒｍ　　Ｆ （ｆｏｒｍ　Ｆｌ　　（１０９０１０４０））（ｆｏｒ
ｍ　　Ｆ２　　　　　　・・・・・・・・・　　　）（
ｆｏｒｍ　　Ｆ３　　　　　　・・・・・・・・・　　
　））（ｄｅｆｆｏｒｍ　　Ｆｌ （ｆｏｒｍ　Ｆｉｌ　（１０９０１０５０））（ｆｏｒ
ｍ　Ｆ１２　（１０９０６０９０）））（ｄｅｆｍａｃ
　　ＬＩＮＥ−１（％１）（ｐｏｉｎｔ　　？Ｙ１　（
ｍｏｄｅ　ＩＮ　　Ｙ　ＬＥ８Ｓ））（ｐａｉｎｔ　　
？Ｙ２（ｍｏｄｅ　ＯＵＴ　Ｙ　ＬＥ８Ｓ））（ｆｏｒ
ｍ　　％１　　（０？Ｗ　　？Ｙ１　　？Ｙ２）））上
記の文法を第４図の文書画像の例を参照して説明する。

最初のｄｅｆｆｏｒｍ　ｐ・・・・・・は、書式Ｆが第
５図のように％書式Ｆ１の下部に書式Ｆ２及びＦ３が横
に並んだものが付随して構成されることを示す。

第４図では第５図に対応し九Ｆｌ、Ｆ２．Ｆ’３０部分
は破線で囲んで示しである。書式名Ｆ１の次の（）で挾
まれた４個の数値 は書式Ｆに対応する全領域を１００Ｘ１００としたとき
の書式Ｆ１の領域の位置を示す。ここで。

座標系は左上を原点としている。領域を示す数値は、Ｘ
座標の最小値、Ｘ脹標の最大値、Ｙ座標の最小値、ＹＦ
Ｍ標の最大値である。この例のようにパラメータの値が
既知のときは、その値を直接記述すればよい。同様に、
書式Ｆ２、書式Ｆ３も矩形領域で記述する。

次ｆ）　ｄｅｆ　ｆｏｒｍ　Ｆ　１　””は、Ｖ弐Ｆ１
が、さらに’ｌ弐ＦｉｌとＦ１２が縦に並んで構成され
る仁とを示す。すなわち、書式ＦｉｌのＹ方向の領域は
１０から５０であり、書式Ｆ１２のＹ方向の領域は６０
から９０である。１弐Ｆｉｌと、書式Ｆ１２の領域の位
置は、書式Ｆ１の左上を原点とした座標系で記述してい
る。従って、書式Ｆからみれば相対座標系になっている
。

このように、書式を矩形領域で表現し、この領域Ω集合
として階層的に次々と表現する事によって画像を一般化
して表現することができる。もちろん階層的ではなく、
第６図に示すように書式Ｆを基準として絶対座標系で記
述してもよい。この場合、第５図と同様の矩形領域を指
定するためＫは下記のようＫすればよい。

（ｄｅｆｆｏｒｍ　ｐ （ｆｏｒｍ　Ｆｉｌ　（１８８２１３２５））（ｆｏｒ
ｍ　Ｆ１２　（１８８２２８３８））（ｆｏｒｍ　Ｆ２
　　　　　”・’・　　）（ｆｏｒｍ　Ｆ３　　　　　
・・・・・・・・・　　））次めｄｅｆｍａｃ　ＬＩＮ
Ｅ−１（％１）以降は、マクロ定義である。本マクロ定
義の本体である。以下の３行の記述は、矩形領域の上か
ら１行目が書式％１であることを表現したものである。

（ｐｏｉｎｔ　　？Ｙ１　（ｍｏｄｅ　　ＩＮ　　Ｙ　
ＬＥ８８）　）（ｐａｉｎｔ　　？Ｙ２（ｍｏｄｅ　Ｏ
ＵＴ　Ｙ　ＬＥ８８））（ｆ　ｏ　ｒｍ％１　　（０？
Ｗ　？Ｙ１　７Ｙ２））ここで、？Ｗは書式の横方向の
大きさ、？Ｈは書式の縦方向の大きさを表す。？Ｙ１．
？Ｙ２は以下に述べるように探索によ１特定される変数
である。

ｐａｉｎｔはある条件を満足する点を探索し、変数に代
入することを示す。探索条件はｍｏｄｅによって指定す
る。ｌＮ−０ＵＴは探索点が白から黒への変化点か黒か
ら白への変化点かを示し、Ｙは探索軸（ＸまたはＹ）を
示し、ＬＥ８Ｓは探索方向を茨す。なお、この例には存
在しないがｐａｉｎｔに対応するものとして、ａｒｅａ
がある。これは、後述するように探索範囲の領域を示す
。

探索方法をマクロ定義の記述を例に第７図を用いて説明
する。（Ａ）は書式中ＫＴｉｔｌｅ・・・・・・、Ａｕ
ｔｈｏｒ・・・・・・なる行が存在することを示す。こ
れらの行のＹ方向の座標値、すなわち１行目が？Ｙ１か
ら？Ｙ２までに存在し、２行目が？Ｙ３から？Ｙ４まで
に存在していることを記述したのが（Ｂ）と（Ｃ）であ
る。前述したように（Ｂ）は１行目の書式が％１である
ことを定義したマクロ、同様に、（Ｃ）は２行目の書式
が％１であることを定義したマクロである。％付きの変
数は仮の変数であシ、マクロを呼び出した時の引き数に
おき換えられてから実行される。従って、これらマクロ
の呼び出しかたは以下のようにすればよい。

（ＬＩＮＥ−Ｉ　　Ｆｌ） （ＬＩＮＥ−２Ｆ２） すなわち、１行目の書式がＦｌ、２行目の書式がＦ２と
なる。（Ｂ）の２行目のｐａｉｎｔで指定される座標値
？Ｙ１の探索条件は、ＩＮ　Ｙ　ＬＥＳＳである。従っ
て、白から黒への変化点、探索軸はＹ、その方向はＬＥ
ＳＳすなわちＹ座標値の小さいものから探索するという
条件になっている。またＹ座標値の大きいものから探索
する場合はＧＲ，ＥＡＴＥＲとすればよい。これらの条
件を満足するものが１行目の上限の座標値？Ｙ１である
。

（Ｈ）の３行目のｐａｉｎｔで指定される１行目の下限
の座標値？Ｙ２は上記の探索条件において、黒から白へ
の変化点であると記述すればよい。すなわち？Ｙ２の探
索条件は、ＯＵＴ　　Ｙ　　ＬＥＳＳである。

次に、書式中の２行目を定義した（Ｃ）について説明す
る。２行目は１行目の次の行であるから、１行目の下限
？Ｙ２を探索し、？Ｙ３は探索範囲の領域をａｒｅａで
示す。すなわち、探索対象とする矩形領域を、 ０　　？Ｗ　　？Ｙ２　　？Ｈ とすることによって、１行目の下限からＣＢ）と同様の
探索をすることができる。

文書の理解においては、文法に則って書かれた表現を参
照し、その中に記述された矩形傾城が文書に存在するか
否かを順次調べて行く。変数を含んで記述された矩形領
域が探索されると、その変数の数値が得られることとな
り、以後はその数値を変数に代入して用いる。

次に、矩形領域間の演算について説明する。実際の文書
では矩形以外の形状をした領域も出現する。第８図（Ａ
）　、　（Ｂ）は矩形以外の形状をした領域の例である
。また、（Ｃ）は一つの矩形領域が二つの矩形領域に分
離した例を示す。第８図（Ａ）。

（Ｂ）は、それぞれ破線で示すように、二つの矩形領域
の和あるいは差として考えられる。また、（Ｃ）は二つ
の矩形領域がつながって仮想的に一つの矩形領域に［ま
っていると考えれば、表現が単純になる。このような矩
形領域間の演算を可能にするため、次のように領域の仮
想的な転送を定義する。

（ｍａｐ　＆　ｆｏｒｍ　Ｆ （ｓｐａｃｅ　　？Ｗ　？Ｈ） （ｐｏｓｉｔｉｏｎ （（？ＸＯ？ＹＯ） （？Ｘｍ１ｎ　　’ｌＸｍａｘ　　？Ｙｍｉｎ　　？Ｙ
ｍａｘ））（・・・・・・ 第９図はこの定義の意味を示したものである。

５ｐａｃｅは、新しく書式Ｆとして幅？Ｗ、高さ？Ｈの
矩形領域を設定し、この領域中に転送が行われることを
示す。ｐｏｓｉｔｉｏｎは転送先の矩形領域の左上の座
標を表す。４個の値 （７，）（ｍｉｎ　　７）Ｑｎａｘ　？Ｙｍｉｎ　　？
Ｙｍａｘ）で示される転送元の矩形領域を、上記の転送
先に複写する。

この仮想的転送を第１０図によシ具体的に説明する。解
析する対象である実際の書式が（Ａ）のように配置され
てあったとする。これは多段組、もしくはタプルカラム
とよばれているものである。

書式Ｆ１と誉弐Ｆ２は、空間的に横並びとして配置され
ているが、意味的には（Ｂ）のように縦並びになってい
る。このような矩形領域間の演算は（ｍａｐ　＆　ｆｏ
ｒｍ　ｐ （ｓｐａｃｅ　　５０　６０） （ｐｏｓｉｔｉｏｎ　（（１０１０）　（１０４０１０
４０））Ｋよって表現できる。（Ｂ）に示す仮想的な書
式は（Ａ）の５ｐａｃｅによって、幅５０、高さ６０の
矩形領域を設定する。そして（Ａ）と（Ｂ）の関係を。

（ｐｏｓｉｔｉｏｎ（（１０１０）　（１０４０１０４
０））のように表現する。（Ａ）における矩形領域（１
０４０１０４０獄％　ＣＢ）の（１０１０）を原点とす
る領域に転送される。

以上に説明した仮想的転送を組み合わせれば、第８図に
示したような複雑な形状の領域は二つ以上の矩形領域間
の演算によって表現することができる。たとえば、第８
図（Ａ）は大きさの異なる二つの矩形領域を隣接させて
転送したものとして表現できる。

次に、画像を再配置する相合の岐横此の変更に伴う画像
転送方法を説明する。第１１図は、矩形領域の縦横比に
対応して、画像の縮尺を変更して転送する場合を示す。

（１）は入力画像の矩形領域の幅がＷ、高さがＨでその
領域の画像が文字Ａのパターンであるとする。（２）は
転送先の矩形傾城の幅がＷ’、（８）は高さがＨ’　、
（４）は幅がＨ’％高さがＷ′である場合１文字パター
ンが修正・転送されていることがわかる。これらの矩形
領域は前述したように文書文法で記述する。第１２図は
、出力画像の縦横比を変更せずに転送する場合を示す。

（１）の入力画像を、（２）のように転送先の矩形領域
内部をｘｙｚに分割する。（８）はｘ＝０．（４）はｙ
＝０、（５）はｘ＝ｙ、（６）は任意の分割比の場合で
ある。

以上の説明から分るように本発明で提案した文書文法で
は、文書の構造を矩形領域の組み合わせとして把握し、
矩形領域間の関係を文法で表現しているので文書の表現
力が増し、領域内の行数が不定の場合や、矩形領域が出
現するか否かが不定の場合など、従来取シ扱いが困難で
あった対象も記述できる。従って、多棟多様の文書の解
析と再配置が可能となる。

〔発明の実施例〕

以下１本発明の実施例について図面を用いて詳細に説明
する。

第１３図は本発明の一冥施例による画像理解方式を採用
した装置の構成を示すブロック図である。

本実施例においては理解する画像を文書を対象にして述
べるが、一般の画像、す々わち図形や写真など濃淡画像
などが含まれている場合でも応用できる。装置の各部は
バス１に接続され、全体の動作は制御部２によシ制御さ
れる。文書３上の情報（文書画像情報）はスキャナ４に
よシ光電変換・ディジタル化されてディジタル画像とな
り、パス１を介してメモリ６１に格納される。メモリ６
１は後述する６２，６３，６４，６５，６６．６７とと
もにメモリ６の一部をなす。ディジタル画像６１をスキ
ャナ４から得る代わシに、光ディスクなどのディジタル
画像ファイル装置から読みこんでもよい。また、入力部
５から文字コード情報を得てそのコードに対応する画像
パターンをファイル８から読みこんでもよい。以下の説
明では１画素１ビツトに二値化するものとするが、１画
素を多値で表現してもよく、カラースキャナによシ光寛
変換して色情報を付与してもよい。文書画像に対しｈｔ
　Ｍ１部２によシ公知の位置補正処理、傾き補正処理な
どを行って得られる正規化画像がメモリ６２に格納され
る。

前述した文法に従って書かれた対象文書の書式データが
、あらかじめメモリ６４に格納されているものとする。

制御部２は、この書式データを用いて上記の正規化画像
の理解処理を行う。ここで理解処理とは、複数の矩形領
域に分解し、その各領域の分類を行うことをいう。理解
結果として得られる各領域のうち、認識対象領域として
あらかじめ定められた領域について、その部分の画像を
文字・図形認識部７に送って、内部の文字・図形パター
ンを認識させる。一般に元の文書画像は複雑な形状をし
ているが、文書理解結果として得られる＠域は矩形形状
をしているので、公知の手法によυ文字・図形の切シ出
し・認識が容易にできる。文字認識結果として得られる
文字符号列あるいはそれを編集した文字符号列、または
図形認識結果として得られるベクトル・データあるいは
記号列などは、指定された領域の検索情報として使用で
きる。これらの検索情報に対応した画像パターンをファ
イル８から読みだし再配置すべきパターンとして使用で
きる。以上のようにして得られた入力文書の検索情報を
ファイル９に、再配置した文書のディジタル画像をファ
イル８に出力する。

文書のディジタル画像のファイル８への出力に際しては
１分解された複数の矩形領域単位で別々に出力してもよ
い。また、ファイル８とファイル９は同一のものとして
もよい。

さらに、前述した文法に従って書かれた再配置すべき出
力文書の書式データが、あらかじめメモリ６５に格納さ
れているものとする。制御部２は、この書式データを用
いて上記の正規化画像の画像処理を行う。ここで、画像
処理とは、複数の矩形領域を再び合成し、ディジタル画
像６３に格納する。そして画像出力部１０によシ出力画
像を得ることをいう。

以下に文書理解処理の詳細を述べる。第１４図及び第１
５図は１文書理解の処理の流れを説明する図である。処
理の流れは、ＰＡＤ（Ｐ！・ｏｇｒａｍＡｎａｌｙｓｉ
ｓ　］）ｉａｇｒａｍ）形式で省かれている。

１００で文ｔｊｉｘ像の輪郭抽出を行い、メモリ６６に
格納する。輪郭抽出は公知の手法を使用すればよい。輪
郭抽出の代わシにいわゆる連結領域抽出法を使用しても
よい。２００で抽出された各輪郭ｉからそのｘＰ！Ｌｉ
棒及びＹ座標の最大値と最小値Ｘｍ１ｎ（ｉ）　Ｘｍａ
ｘ（ｉ）　　Ｙｍｉｎ（ｉ）　　Ｙｍａｘ（ｉ）を抽出
する。この４個の数値から輪郭ｉの外接長方形が求まる
。３００，４００，５００はそれぞれ構文解析処理の初
期化１本体、終了判定である。

３００ではメそす６４に格納されている書式データを作
業用メモリ６７に複写し、各種テーブルやプログラム内
部変数の初期化を行う。

構文解析処理の本体４００は、４１０〜４６０から構成
される。４１０は、４２０〜４５０の処理を４６０で終
了判定が行われるまで繰シ返し行うように制御する。４
２０では書式データ中のステートメントを取シ出す。処
理未了ステートメントとは、その中に含まれる変数で値
の定まっていないものがあるか、または対応する文書領
域がまだ決定されていないような行を指す。４３０は、
処理未了ステートメントが残っていない場合は４４０の
処理をスキップする判定である。この場合には終了判定
が行われることになる。４２０で取シ出したステートメ
ントが処理未了ステートメントの場合、４４０の処理が
行われる。４４０は、ステートメントの種類を判定して
分岐する部分で、ステートメントの種類に応じて処理の
内容が変化する。第１４．１５図及び以下の説明では、
ｆｏｒｍステートメント、すなわち （ｆｏｒｍ　ＦＯ （？Ｘｍ１ｎ　　？Ｘｍａｘ　　？Ｙｍｉ　ｎ　　？Ｙ
ｍａｘ　）（ｓｈｒｉｎｋ　　？Ｘ　　？Ｙ）） の場合についてのみ述べるが、他のステートメントでも
同様にそのステートメント特有の処理が行われる。

第１５図４４１〜４４８は述語ｆｏｒｍを処理する部分
である。４４１では書式名称ＦＯが登録済みか否かを調
べ、未登球ならば４４２で書式テーブルＫＦＯを登録す
る。４４２では、変数名７）（ｍｉｎ％７）（ｍａｘ、
　？Ｙｍｉｎ、？Ｙｍａｘｔ　？Ｘ％　？Ｙの位置に書
かれた文字列が変数か数値か、変数なら登録済みか否か
を調べ、未登録ンｔらこれらを変数表に登録する。変数
が登録済みならばその値が確定しているか否かを調べ、
確定していなければｆｏｒｍ処理は終了する（この場合
このステートメントは処理未終了となる）。確定してい
れば、ステートメント中の変数名を上記の数値で曹き換
える。

具体例として。

？Ｘｍ１ｎ＝０．７　）（ｍ　ａ　Ｘ　＝　９０　％７
Ｙｍｉｎ、７Ｙｍａｘ　　：未登録 ？Ｘ　　　　＝５．？Ｙ　　　　＝５、のとき、前記の
ステートメントは （ｆｏｒｍ　ＦＯ （０９０？Ｙｍｉｎ　　７Ｙｍａｘ） （ｓｈｒｉｎｋ　　Ｂ　５）） と書き換えられ、変数？Ｙｍｉｎ、７Ｙｍａｘが変数テ
ーブルに登録されて、値未確定となる。

４４３で、ステートメント中の変数名が全て数値に誉き
換えられているか否かによシ分岐し、全て数値に曹き換
えられていたとき、４４４のｆ　ｏ　ｒｍ’ｙ４．行処
理を行う。ｆｏｒｍ実行処理の詳細は４４５〜４４８で
表される。４４５は、２００で抽出された輪郭ｉについ
て以下の処理を繰シ返すことを示す。４４６では、輪郭
ｉのＸ座標及びＹ座標の最小値と最大値 ）（ｍｉｎ（ｉ）　　ｘｍａｘ（ｉ）　　Ｙｍｉｎ（ｉ
）　　Ｙｍａｘ（ｉ）をステートメント中の変数 ７）（ｍｉｎ　　７）（ｍａｘ　　７Ｙｍｉｎ　　？Ｙ
ｍａｘ　　？Ｘ　？Ｙに対応する数値と比較し ７）（ｍｉｎ（）（ｍｉｎ（ｉ）（）（ｍａｘ（ｉ）（
？ＸｍａＸ？Ｙｍｉｎ（Ｙｍｉｎ（ｉ）＜Ｙｍａｘ（ｉ
）＜？Ｙｍａｘ？Ｘ　　　（Ｘｍａｘ（ｉ）　−Ｘｍｉ
ｎ（ｉ）？Ｙ　　　（Ｙｍａｘ（ｉ）　−Ｙｍｉｎ（ｉ
）が成立する輪郭か否かを判定する。４４７では。

上記の条件が成立したとき、その＠郭ｉをＦＯの成分テ
ーブルに登録する。４４８では、上記の条件が成立する
輪郭が存在しないとき、解析失敗のフラグを立てる。

以上説明したように４４１〜４４８の処理により、書式
データ中のステートメントｆｏｒｍに対応する１＃造が
入力画像に存在することを検出できる。

ｆｏｒｍ以外のステートメントについても同様である。

ｆｏｒｍの場合には出力データはないが、ステートメン
トによっては、ステートメント中の変数に解析時に求め
たパラメータを代入するものもあり、その結果が他のス
テートメントで用いられる。

４５０では、解析失敗フラグを調べ、解析が失敗したと
き後戻りして再試行する。この場合、解析済みのステー
トメントに戻ってパラメータを代入した変数をまた以前
の状態に誉き直し、別の可能性を探索するように制御す
る。

４６０では、解析失敗フラグが立っていないか、あるい
は後戻シ再試行の後解析失敗フラグがあるかを検出し、
終了判定を行う。

５００は解析の結果得られたデータを外部に受は渡す部
分である。外部に受は渡すデータとしては、書式名称に
対応して検出した矩形領域の文書上での座標などがある
。

解析失敗フラグを立てる指定のあるステートメントで解
析が失敗したとき、この文書は理解不能であシ、このと
きはりジエクト処理を行う。たとえば文書理解の最終結
果あるいは中間結果をコンソールＩＩＫ表示し、マンマ
シン的に修正する。

次に、ｆｏｒｍ％行処理の内容を第１６図を用いて具体
的に説明する。第１６図（Ａ）は画像中にノイズ成分や
文字１．Ａ、２．Ｂ成分が存在している場合を示す。

（Ｂ）は、ｆｏｒｍステートメントの実行時のパラメー
タが。

（ｆｏｒｍ　　Ｆ（２０８０１０５０）（ｓｂｒｉｎｋ
　　Ｏ０））（Ｃ）は、ｆｏｒｍステートメントの実行
時のパラメータが、 （ｆｏｒｍ　Ｆ（２０８０１０５０）（ｓｈｒｉｎｋ　
　５５））の場合である。図に示すように書式Ｆの成分
テーブルには、（Ｂ）の場合、ノイズ成分と、文字１゜
Ａ成分が登録され、（Ｃ）の場合１文字１．Ａ成分は登
録されるが、ノイズ成分はｓｈｒ　ｉｎｋ指定によつで
登録されず、除去される。また、書式Ｆの矩形領域がｆ
ｏｒｍの実行後、図のように、領域内に含まれる文字成
分によって領域を正規化することができ、画像の内容に
応じて領域の大きさを柔軟に特定することができる。

第１７図に、上記ｆｏｒｍ実行時の輪郭成分の選択方法
を、具体的に説明する。第１７図（Ａ）は。

第１６図（Ａ）に示す輪郭画像を第１４図２００によっ
て処理した結果の外接長方形を示す。すなわち、５はノ
イズ成分、１−８は文字成分、さらに６−８は所謂内輪
郭である。これらの成分の）（ｍｉｎ　、　Ｘｍａｘ　
、　Ｙｍｉｎ　、　’（ｔｎａｘを（Ｂ）に示す。

そして書式Ｆに含まれるか否かは ２０　＜　Ｘｍ　ｉｎ　（ｉ）（Ｘｍａｘ　（ｉ）　＜
　８０１０（Ｙｍｔｎ（ｉ）＜Ｙｍａｘ（ｉ）　＜５０
５（Ｘｍａｘ（ｉ）　−Ｘｍｉｎ（ｉ）５（Ｙｍａｘ（
ｉ）−Ｙｍｉｎ（ｉ） が成立するかどうかをもって判定する。この例では、輪
郭ｉ　＝　ｌと３が成立する。３０文字成分は６の成分
を含んでいるから書式Ｆから除いてもよい。

次に理解処理の終了結果から画像を再配置する処理の詳
細を述べる。第１８図は部分画像を配置する場合の概要
を図示したものである。ＡＢＣＤなる文字コード情報か
ら対応する画像パターンを（２）に示すように配置する
。この例では文字パターンの幅をＷ、高さをＨ１文字の
間隔を８とした。そして（２）に示すように書式２で定
義される書式３に（１）の部分画像を転送する。この縮
尺は前述したように書式の矩形領域の比率によって決め
る。また。

画像を転送する機能として縮小、拡大、回転、アフィン
変換などをふくんでもよい。文字パターンは第１９図（
１）（２）図に示すような輪郭データまたは画素データ
として格納しておく。第２０図は第１９図（１）で表わ
した輪郭データの特徴を記述した図である。（１）社そ
れぞれの折れ曲がり点をフラグと点列で記述している。

フラグは外輪郭か内輪郭かを示すもので、この場合１が
外輪郭２が内輪郭である。さらに点列は（２）に示すよ
うに１号とＸ庫標、Ｙ座標で記述される。本実噸例では
説明の簡単化のため直線要素から構成される輪郭データ
を取り上げて入るが、もちろん２次関数やスプライン関
数などの数学的関数で表現してもよい。輪郭データで画
像を表現することによって縮小、拡大。

回転、アフィン変換などの処理が、画素データで表現す
る場合に比べて容易になる利点がおる。従って、文字パ
ターンのように数多くの大きさをもつフォントや変形し
た字体の作成にも使用できる。

第２１図で矩形領域で記述する書式について説明する。

（１）、伐）は図のような部分画像が、（ｆｏｒｍ　Ｇ
−ＡＢＣ（２０８０１０５０）　（ｆｒｅｅ　Ｙ））（
ｆｏｒｍ　Ｇ−１２３（２０８０５０６０）　（ｆｒｅ
ｅ　Ｘ））によって（３）に示す書式を持った画像をえ
ることができる。ｆｒｅｅは第１２図に説明した画像の
転送時の配置を制御するパラメータである。この例では
（ｆｒｅｅＹ）と指定された場合Ｙ方向の比率がｘ＝ｙ
となるように、また（ｆｒｅｅ）０は前記においてＹ軸
がＸ軸におきかえたものである。図２２図は配置した部
分画像を一つの部分画像とみなして再び配置する様子を
示す、、　　（Ａ）、　ＣＢ）は次の等式（１）（２）
で記述される。

（ｄｅｆｆｏｒｍ　Ｇ−ＡＢＣ−１２３（ｗｉｄｔｈｌ
ｏｏ）（ｈｅｉｇｈｔ　　６０）（ｆｏｒｍ　Ｇ−ＡＢ
Ｃ（２０８０１０５０）（ｆｒｅｅ　Ｙ）） （ｆｏｒｍ　Ｇ−１２３（２０８０５０６０）（ｆｒｅ
ｅ　Ｘ）　） ・・・・・・・・・（１） （ｄｅｆｆｏｒｍ　Ｇ （ｗｉｄｔｈ　　１００）　（ｈｅｉｇｈｔ　　８０）
（ｆｏｒｍ　Ｇ−ＡＢＣ−１２３（０８００６０））（
ｆｏｒｍ　Ｇ−Ａｌ：Ｉｃ−１２３（５０１００５０８
０）））・・・・・・・・・（２） （２）では（１）で定義した書式〇−ＡＢＣ−１２３が
２回縮尺比１−２えて配置されている。書式Ｇ−ＡＢＣ
−１２３はその書式の大きさが１００Ｘ６０（横長さを
ｗｉｄｔｈで、縦長さをｂｅｉｇｈｔで表現している。

）そしてこの書式の（２０８０１０５０）の領域にＧ−
ＡＢＣがあシ％　（２０８０５０６０）の領域にＧ−１
２３が存在することを示す。ここで作成した書式を使っ
て書式Ｇを定義する。（２）では書式°ＧにＧ−ＡＢＣ
−１２３が（０８００６０）と（５０１００５０８０）
の領域に存在することを示す。

以上の処理方式によって画像を任意の書式に従って配置
することができる。第２３図は同一の書式の文書が複数
存在した場合、ページ毎に文書の内容を理解した様子を
示す。そして第２４図に示す書式に従って再び配置する
ことによって第２５図に示すような抄録を作成すること
が可能になる。

この方法を詳細に説明する。第２３図は文書の書式がＦ
、Ｐｉ、Ｆｉｌ、Ｆ１２．Ｆ２．Ｆ３であシ、ｖ式Ｆｉ
ｌに対応したｐａｇｅ毎の文字列が抽出される。第、２
４図は出力用の画像の書式Ｇを表現したものである。タ
イトル、の欄はＧｌ、Ｇ２゜Ｇ３で１４成する。これの
内容はｐａｇｅ毎にＧ１（ｐａｇｅ　　１ＬＧ２　（ｐ
ａｇｅ　　ｉＬ　Ｇ３（ｐａｇｅ　　１）（ｉはｐａｇ
ｅ数を示す）である。第２５図は再び配置する書式毎の
部分画像を示す。これらの部分画像を第２２図に説明し
たような方法で文法に従って配置ｉすればよい。

〔発明の効果〕

以上説明したごとく１本発明によれば入力した対象文書
の解析を自動的に行うことが可能であシ。

任意のレイアウトで出力することが可能になる。

さらに、対象となる文書を記述する文法と、出力する文
書の書式を記述する文法を同一の表現形式にすることが
できるため、多種多様な書式に容易に対応できる。豊た
、対象文書の構造が変化しても書式データを変更すれば
、直ちに対応できるなどの利点がある。

【図面の簡単な説明】

第１．２図は入力文書の一例を示す参考図、第３図は出
力文書の一例を示す参考図、第４，５゜６，７，８，９
，１０，１１．１２図は本発明の詳細な説明するための
説明図、第１３図は本発明の文書処理方式を実施する装
置の構成を示すブロック図、Ｍ１４，１５（１は第１３
図中の制ｆｉｉ１部２における処理を説明するための流
れ図、第１６゜１７．１８，１９，２０，２１．．２２
図は第１０図の処理内容を説明するための説明図、第２
３゜２５図は文書の抄録作成に応用した場合の参考図で
ある。 １・・・パス、２・・・制狙°部、３・・・文薔、４・
・・スキャナ、５・・・入力部、６・・・メモリ、７・
・・文字・図形認識部、８．９・・・ファイル、１０・
・・画像出力部、１１・・・コ篤　１　図　　　　ｆ　
Ｚ　図 ￥：Ｊ　３　図 篤　５　図 ■　ｇ　　凹 （Ａ）　　　　　　　　　　　　ＣＢ）（り い１　　　　　　　　　　も。 カ　−ρ　図 （，４，） （Ｆ３） １シ　　１６　　　図 Ｔ （す Ｌ−−’Ｊ 冨１７図 （Ｂン ￥ｙ　ｎ図 （す ！ ｙ、　ｔｃｔ図 （す Ｈｚρ図 （１ン ￥ＪＺＩ　　　図 Ｖｙ　　２３　　国 ■　２５　図 （１）富民ｑ１ 饅−匿司 （く）１１ン１＼−（ｌｌＴ２ 層む一■ （３）書式〇３ （５）番人６２（Ｐ甲１） ’ｄ２３図書戊７：１２〜ｌ）−口門贅１史１月”ｆｒ
　　ｚｓ　　図 （７）　書１く、６１　（Ｆシ【９６２）ｉ、２　　自
１（ＰＬａＪｔＺ）　　→（ざ）ＬいＺ（ＰｔｔｐＺ） 書氏Ｆ１２（寒２）　→ （９）　書式　Ｅｒ３　　（ＰａｙＺ）書ｌ＼乙Ｆ３１
　（ＰザＺ）　　　。

Claims (1)

1. 【特許請求の範囲】 １、画像を複数個の矩形領域の集合として記述する文法
   に従つて書かれた表現を記憶する手段と、入力画像を光
   電変換することによりディジタル画像に変換する手段と
   、 上記入力ディジタル画像の中から上記の文法に従つて書
   かれた表現で指定される矩形領域を探索する矩形領域探
   索手段と、上記入力ディジタル画像を、出力ディジタル
   画像の中の上記の文法に従つて書かれた表現で指定され
   る矩形領域へ転送するディジタル画像転送手段と、ディ
   ジタル画像を可視変換することにより出力画像に変換す
   る手段と、 上記矩形領域探索手段の結果により、上記入力画像の構
   文を理解する画像構文理解手段とを有することを特徴と
   する画像理解方式。 ２、特許請求範囲第１項記載の画像理解方式において、 上記文法は矩形領域の絶対的な、あるいは相対的な大き
   さを現わす数量を変数として、及び矩形領域間の絶対的
   な、あるいは相対的な関係を現わす数量を変数として含
   むことを特徴とする画像理解方式。 ３、特許請求範囲第２項記載の画像理解方式において、 上記矩形領域探索手段は、該探索結果により矩形領域の
   絶対的な、あるいは相対的な大きさを特定することを特
   徴とする画像理解方式。 ４、特許請求範囲第１項記載の画像理解方式において、 上記文法は、空間的に隔てられた複数の矩形領域から演
   算を行つて生成した仮想的な一つの矩形領域を含むこと
   を特徴とする画像理解方式。 ５、特許請求範囲第３項記載の画像理解方式において、 上記矩形領域探索手段は、上記矩形領域の絶対的な、あ
   るいは相対的な大きさを現わす変数が存在しなくなるま
   で探索を行うことを特徴とする画像理解方式。 ６、特許請求範囲第１項記載の画像理解方式において、 上記記憶手段は、上記複数個の矩形領域に対する属性を
   記憶していることを特徴とする画像理解方式。 ７、特許請求範囲第１項記載の画像理解方式において、 上記画像構文理解手段は、上記矩形領域探索手段により
   求まる矩形領域内の画像パターンを認識することを特徴
   とする画像理解方式。 ８、特許請求範囲第１項記載の画像理解方式において、 上記ディジタル画像転送手段は、入力ディジタル画像中
   の矩形領域を変換処理を伴つて出力ディジタル画像中の
   矩形領域へ転送することを特徴とする画像理解方式。 ９、特許請求範囲第１項記載の画像理解方式において、 符号化された情報からディジタル画像を生成し、該画像
   を出力ディジタル画像に転送することを特徴とする画像
   理解方式。 １０、特許請求範囲第１項記載の画像理解方式において
   、 画像構文理解手段からの結果にもとづいてディジタル画
   像を生成し、該画像を出力ディジタル画像に転送するこ
   とを特徴とする画像理解方式。