JPS6154569A - 文書画像処理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の利用分野〕 本発明は文書画（ｉ（ξの処理方式に係り、特に電子的
文書ファイル装置の入力部として好適な文書画像処理方
式に関する。

〔発明の背景〕

従来の電子的文書ファイル装置は単に文書の各ページを
画像として格納するのみであり、検索のための二次情報
は別に符号入力手段（たとえばキ−ボード）から外部か
ら与えてやる必要があった。

しかし、ファイル入力作業の省力化のためには文書中に
記載されている表題や著者などを自動的に読み取って二
次情報を生成することが望ましい。

さらに検索を高度化するためには図表のキャプションや
章・節表題の自動入力あるいは本文自体のＬ’ｌ　Ｒに
よる自動キーワード抽出などが必要となる。

また対象文書の画像を表題・著者・要約・本文・図・写
真などの部分に分割すること、さらに文字の部分は認識
して符号化することは、記憶スペースの削減や検索単位
の多様化のためにも要請されていた。

従来からこのような問題点に対処するため文書の内容を
理解し、その理解結果に基づいて文書の処理を行う方式
が研究されており、たとえば野口要治、豊田順−両氏に
よる［新聞記事の切り抜きを行うシステムに関する基礎
的研究」　（情報処理学会第２３＠全国大会詔演論文４
１Ｓ　６　Ｃ−１、昭和５６年）に記載しである。しか
し、この文書理解技術は新聞を対象としたものであるた
め任意の書式の文書にたいして適用できるかどうかは明
らかでない。また文字の部分は切り出すのみであって認
識と結合する方法は示されていない。

〔発明の目的〕

本発明の目的は、一般の文書を対象とし、その構造に従
って分割を行うとともに、必要な場合には文字部の認識
を行うことを可能とする文書画（ｅＡ処理方式を提供す
ることにある。

〔発明の概要〕

かかる目的を達成するために、本発明においては文書の
窮迫を表現する文法を用い、この文法によって表現され
た記述（文書の構造）をｔ＋Ｗ文解析することにより、
未知入力文書の構造を把握する。

上記の文法では、文書を部分構造とその間の相対関係と
して表現し、相対関係は演算子として記述される。栂文
丘析において演算子が出現すると、入力画像の中でその
演算子に対応した関係が成立するか否かを検証し、成立
する場合にはさらに部分構造の内部を分解して渭析を進
め、成立しない場合には他の可能性を探索する。その際
、相異なる演算子に対してそれぞれ固有の画像処理を対
応させた画像処理部を上記検証手段として用いる。

〔発明の実施例〕

本発明の詳細な説明する前に本発明の詳細な説明する６
以下の説明では対象として技術論文を例にとるが、他の
文ＷＦであっても文法の形式が若干異なるのみであり文
法の一部を変更すれば本発明で適用でき、本発明は上記
技術論文の一例に限定されるものではない。

第１図に一定の書式を有する技術論文の一部の例を示す
。以下に文書のｔＩｖ造を表現する文法（以下文書文法
と略する）の−例を示す。

（行） １〈文書）　　　　：：＝ｌ（技術論文〉１＜文庫本小
説〉１〜１く特許公報）１２く技術論文＞　　：：＝（
表題頁〉 ３〈技術論文＞　　：：＝（技術論文〉〔＋〈継続頁〉
：〕４〈表題頁＞　　　：：＝＋＜ＵＤＣ：）ηく表題
事項）η〈著者要約〉ηく本文〉η〈表題頁仕切り） ５〈継続頁）　　　：：＝ｌ（柱）η〈本文〉η〈頁仕
切り）６（ＵＤＣ）　　　：：＝＜（ＵＤＣ））ξ（付
点数）〔ξ（（ＣＬ）＞ξく付点数〉〕 ７（柱＞　　　　　：：＝（和文表題）ξく商号〉ξく
数〉８くイ會号）　　　　　　　：：＝（＜ＶＯＬ＞）
ξ　く数〉ξ　（（Ｎｏ＞）ξ　〈数〉９〈表題事項）
　　：：＝（和文表題）ηく英文表題）１０〈和文表題
＞　　：：＝（和文行集合〉１１＜英文表題）　　：：
＝（芙文行集合）１２〈著者要約）　　：：＝（要約〉
ξ〈著者集合〉１３＜要約）　　　　：：＝（芙文行４
（８合〉１４（著青県合〉　８二＝（著者） １５＜著者猿合＞　　：：＝（著者（１（合〉〔η〈著
者〉〕１６〈著者＞　　　　：：＝（和文行）ξ〈英文
行）ξ１７（頁番号＞　　　：：＝（数〉 １８（本文＞　　　　：：＝（半本文〉ξ〈半本文〉１
９〈半木文＞　　　：：＝（節〉（η〈半本文）〕２０
り節＞　　　　　：：＝（な表題〉ηく節表題〉ηく節
本文〉２１＜節＞’　　　　：：＝（節表題〉ηく節本
文〉２２〈節）　　　　　：：：（節本文〉２３＜節）
　　　　　　：：＝（（参考文献〉〉η〈文献リスト〉
２４＜章表題）　　　：：＝（（数字〉〉ξ〈和文行〉
２５＜節表１１）　　　：：＝（付点数字〉ξ〈和文行
）２６〈節本文）　　　：：＝（段落〉〔η〈節本文〉
〕２７＜段落＞　　　　：：＝＜和文行集合）２８く段
落〉８二＝（図表〉 ２９り和文行集合）：：＝（和文行〉η〔く和文行年合
〉〕３０＜和文行）　　　：：＝（（日木字〉〉ξ〔（
和文行〉〕３１＜和文行）　　　：：＝＜（ＥＪ本字〉
〉α〔〈和文行〉〕３２〈和文行）　　　：：＝（（日
本字〉〉β〔く和文行〉〕３３〈英文行集合）：：＝（
英文行〉η〔く英文行４４５合〉〕３４＜英文行＞　　
　：：＝（単語）ξ〈（ＤＬＭ〉）〔英文行美合〉〕３
５（ｊｌｉ語＞　　　　：：＝（（英字〉〉〔ξ（単語
）〕３６〈単語）　　　　：：＝＜（英字〉）〔αく単
語）〕３７〈単語＞　　　　：：＝（（英字〉〉〔β〈
単語〉〕３８〈Ｉ！、藷）　　　　：：＝ｌ（英文人名
）ｌ（英文法人名）１（英文地名）１１（一般英単語）
１ ３９く数）　　　　　　：：＝（＜英字〉）〔ξく数〉
〕４０り付点数）　　　：：＝（政〉 ４１＜付点数＞　　　：：＝（付点数〉ξ〈数〉４２（
付点数＞　　　：：＝（付点数〉ξ（＜Ｐ　Ｒ）＞４３
〈〈数字＞）　　　：：＝ｌＯ１１１〜１９１４４＜（
英字））　　　：：：！ａｌｂｌｃｌｄｌ−ＩＡＩＲＩ
−１０１１１〜１４５＜＜日本字））：：＝ｌあ１い１
〜１ア１イ１−ＩＦＩＩ立１−１ａｌｂｌ〜ｌＡｌＢ１
〜１０１１１〜１ ４６（（ＤＬＭ））　　　：：＝ｌ　　１，１．１〜１
４６＜＜ＣＬ＞＞　　　　　：：＝ｌ：１４７（＜ＰＲ
＞）　　　　　：：＝１．１．１）１４８〈図表〉：：
：ト図Ａηく和文説明〉η〈英文説明〉４９＜図表＞　
　　　：：＝（和文説明〉ηく英文説明〉ηく表〉５０
＜図表＞　　　　：：＝（囲み） ５１り囲み〉：：＝Ｈ枠−１◎〈節〉 ５２〈和文説明＞　　：：＝（（語−図〉〉ξ〈数〉ξ
（和文行〉５３（和文説明＞　　：：＝（（語−表〉〉
ξ〈数〉ξ〈和文行〉５４＜和文説明）　　：：＝（和
文説明〉η〈和文行集合〉５５〈英文説明）　　：：＝
（（Ｆ　Ｔ　Ｇ）＞ξく数〉ξく英文行）５６〈英文説
明）：：＝＜＜ＴＡ［ｌ＞）ξく数〉ξ〈英文行〉５７
〈英文説明＞　　：：＝（英文説明〉η（英文行集合〉
５８（（ＦＩＧ）＞　　：：＝ｌＦｉｇ、１５９（＜Ｔ
ＡＢ）＞　　　：：＝ｌＴ　ａ　　ｂ　　１　　ｅ　１
６０＜＜語−図））　　　：：＝１図１６１＜〈語−表
）＞　　：：＝１表１ ６３＜＜ＶＯＬ＞＞　　：：＝ｌＶＯＬ＋６４＜＜Ｎｏ
＞）　　　：：＝ｌＮｏ、１７３＜（ＵＤ（：、）＞　
　　：：＝ｌ’［Ｊ、　　Ｄ、　　Ｃｌ６６＜表＞　　
　　　：：＝（囲み〉γ〈表〉〔δ〈表〉〕Ｃｌ７表）
　　　　　：：＝（囲み〉δ〈表〉〔γ〈表〉〕６８〈
表）　　　　　：：＝（囲み〉 ６９〈〈参考文献＞　：：＝ｌ参考文文献７０＜文献リ
スト）：：：＝（和文文献〉〔り〈文献リスト〉〕７１
＜文献リスト）：：＝（英文文献）〔ηく文献リスト〉
〕７２＜和文文献）　　：：＝（数〉ξ（＜ＰＲ＞）ξ
〈和文行〉７３り和文文献＞　　：：＝（和文文献〉〔
ηく和文行集合〉〕７４〈英文文献）：：＝（Ｈ数〉ξ
（＜ＰＲ＞＞ξく英文行〉７５＜和文文献＞　　：：＝
（英文文献）〔η〈英文行集合〉〕上記の文書文法は一
般の文書の構造を表現するものであるが、特にその中で
技術論文に関連した部分を抜き出している。第１図の例
を参照しながら上記の文法について説明する。まず使用
する記号について説明する。

く　〉　　　非終端記号（抽象概念） ＜〈〉〉　　　　終端記号（文字列） （）　　　終端記号（辞書中の文字系列）トＨ＃端記号
（画像中の部分栂造） ：：＝　　　　書き換え規則 １　　　　選言（または） 〔〕　　　省略可能を示す ＋、ξ、η、α、β、◎、γ、δ 部分構造間の演算子 上記の文法の第１行は、文書にはいろいろな種類があり
技術論文はその一種であることを示す。

第２行は表題頁（第１図１）のみからなる技術論文があ
ることを示し第３行はある論文の後に任意頁数（０でも
よい）を付加してよいことを表す。

第４行では表題頁はＵＤＣ記号すなわち国際十進分類（
第１図２）の下に表題事項（第１図３）があり、その下
にｒ著者要約」　（第１図４）があり、さらにその下に
本文（第１図７）が続き、最下段には「頁番号」　（第
１図９）がくることを示す。

ここで、「著者要約」とは第１２行にあるように、要約
（第１図５）の右側に著者集合（第１図６）があること
を示す。さらに第１３行に示すように要約は英文行集合
である。第１４行に示すように著者集合は一人の著者か
ら構成されてもよく、第１５行に示すように著者集合の
下に別の著者を（任意の人数だけ）付加して複数の著者
から構成されてもよい。著者は第１６行に示すように和
文行（人名）と英文行（人名）が横に連なったものであ
る。本文（第１図７）はこの例の場合は頁を樅に８分し
ているので、第１８行のように半本文（第１図８）とい
う概念を導入し、半本文が横に連なったとして表現する
。第１９行のように半本文は節の連続である。第２６行
のように節本文は段落からなり、第２７．２８行のよう
に段落は和文行隼合または図表である。和文行とは第３
０−３３行に示すように、日本字が横にξ、α、βの関
係で連なったものであり、ここでξは単縄な横の並び、
αは横の接触、βは横のオーバーラツプであって、その
いずれかが生じ得ることを示す。

日本文字は第４５行に示すように平仮名１芹仮名。

漢字、芙字、数字などを含む。

文書のＩ！Ｉ！ＩＷにおいては、入力文書が技術論文で
あると仮定し、文７）゛文法に記述された構造が存在す
るか否かをＫｔ次調べて行く。そのとき、各演算子に対
して異なる画像処理手続きが適用される。

たとえば、演算子ηは部分第１π造が縦に重なっている
ことを示すので、この演算子ηに対してはｍ　ｊ；３分
ｔｒｌ’Ｂ造の重なりを検出する処理が対応する。この
ような処理の一例として横の白画）：４の連続があるこ
とを検出する処理がある。同様にξに対しては縦の自画
索の連続があることを検出して文字を切り出す処理が、
βに対しては斜めに自画景の連り、′εがあることを検
出して文字を切り出す処理が対応する。

以上の説明から分るように本発明で提案した文書文法で
は、複雑な文書の構造を階層的かつ再帰的に表現してい
るので、行政が不定の場合や出口、が不確定な部分構造
など従来困難であった対象も記述できる。そして部分構
造間の幾何学的関係を演算子で表しており、演算子の表
す関係の存在を画像処理により検証することにより、多
種多様な文書の理解が可能となる。

以下、本発明の実施例について図面を用いて詳細に説明
する。

第２図は本発明の一実施例による文書処理方式を採用し
た％　置の構成を示すブロック図である。

装置の各部はバス１０１に接続され、全体の動作は制御
部１０２により１１；す御される６文書ｌｏａ上の情報
（文ｉ１Ｆ画像）は光電変換装置１０４により走査され
、さらにディジタル化され、バス１０１を介してメモリ
１０５１に格納される。メモリ１０５１は後述する１０
５２．１０５３．１０５４とともニメ−ｔ＝す１０５の
一部をなす。ディジタル化の際、公知の高効率符号化処
理を行ってもに＜、これに上り文書画像を記憶するメモ
リの記憶容量を節約できる。また、以下の説明で゛は】
画素１ビツトに二値化するものとするが、１一画素をイ
Ｉ値で表現してｔＩよく、カラースキャナにより光電変
換して色情報を付与してもよい。文書画像に対し制御部
１０２により公知の位置補正処理、傾き補正処理などを
行ってｔＳられる正規化画像がメモリ１０５２に格納さ
れる。この正規化画像に対し、制御部１０２のプログラ
ム制御により以下に述べるようにして文書の理解を行い
、理Ｍ結果を出力装置１０６に出力する。

第３図は、文書°理ｍの処理の流れをＰＡＤ形式で表し
た流れ図である。まず、３０１でファイル装置（図示せ
ず）より文書文法データをメモリ１０５に読み込む６３
０２は全体の初期化である。

３０３は終了まで以下の処理を繰り返すループである。

３０４で文書の１頁の画像を入力する。

３０５はこの頁を文書文法に従って解釈する制御ループ
である。３０６で文法の１行を取り出し、３０７以下で
晴文解析を行うことによってこの１行が成立するか否か
の判定を行う。３０７では以下の構文解析処理で用いる
スタックの初期化を行う。スタックはメモリ１０５４の
中に置かれる。３０８は３０９から３１３までの処理の
流れを制御する。

３０９は演算子存在の検出を行うものであり、　　　　
　　。

３０９１〜３０９３の各１１ＨＩ　ｎ子に対応する処理
への分岐の集合である。３０９１はξ、３０９２はη、
３０９３はα、等等の演算子に対する画像処理手続きで
ある。この画像処理手続きの詳細については後述する。

３１０では演算子が存在したか否かを検出し、存在しな
いときは３１３で３０８以降のループを脱出し、次の行
の処Ｊ！１（３０７）に移る。存在したときはこの演算
子を３１１でスタックにｆｒｆみ、３１２で部分碍造の
存在を検出する６部分購造の検出は３１２１の終端記号
の識別を行う部分と３１２２の非終端記号の識別を行う
部分とからなる。

３１２２の処理は３０７以降の処理を部分行について再
帰的に行うことでなされる。終端記号の識別はたとえば
数字の識別では文字認識を行って認識結果が数字の集合
に屈するか否かを判定する処理である０以上説明したよ
うにして、部分補遺と演算子の解釈がすべて終了すると
、文書中のこの頁の理解が完了する。文書理解の結果は
スタック（メモリ１０５４）の中の部分購造と、その内
容（文字列など）及び部分％１造間の演算子であり、こ
れらの結果は３１４で所定の符号に変換された後、ファ
イル装置１０６に出力される６文法中のどの行でも解析
ができなかったとき、この文書は理解不能である。理解
不能は全ての行について３１３でループを抜は出した場
合であり、これを３１６で判定し、理解不能のときは３
１７でリジェクト処理を行う。たとえば文岩：理解の最
終結果あるいは中間結果をディスプレイ１０７に表示し
、コンソール１０８を用いてマンマシン的に修正する。

第４図に、第３１９１の３０９２で述べた演算子ηに対
する画像処理手続き、即ち横の白画素の連続があること
を検出する処理の流れをＰＡＤ形式で表した流れ図を示
す。第４図で４０１は本処理への入り口であり、メモリ
１０５２に格納されている正規化画像Ｑが与えられる。

４０２では４０３〜４０９の処理を走査線番号、ｊにつ
いて繰り返すことにより、黒長連積分値Ａ　（ｊ）を得
る。４０３は初期化である。４０４は走査線の中の画素
Ｑ（ｉ、ｊ）が１かＯかを判定し、１の場合には４０６
で黒の連長Ｂをカウントする一Ｑ（ＩＴＪ）が１の場合
にま、４０７の判定によりその前の画素までの連長Ｂが
閾値εより大きいとき、４０８で積分処理を行い、４０
９で連長Ｂをリセットする。ループ終了後４１０で積分
値Ａ　（ｊ）にＢを加えているのは４０４以下のループ
では最終点（ｉ＝ｒ−１）における積分がなされていな
いからである。４０７の判定を加えたことにより、比較
的長い黒の連続があるときのみＡ（ｊ）に積分が行われ
るので雑音の影響を受けにくい。４１１〜４２０はＡ（
ｊ）の中で閾値δ１より小さい領域が、閾値δ２より大
きい領域で挟まれていることを検出する処理である。４
１１はフラグＦｌ、Ｆ２の初期化である。

４１２は４１３〜４１９の処理を走査線番号ｊについて
繰り返す、４１３ではＡ　（ｊ）が初めて閾値δ２を越
えたことを検出し、４１４でフラグＦ１をセットする。

４１５はＦ１＝１の状態でＡ　（ｊ）が初めて閾値δ１
を割ったことを検出し、４１６でフラグＦ２をセットす
るとともにその時のｊを５１として記憶する。４１７は
Ｆ２＝１の状態でＡ　（ｊ）が閾値δ２を越える点を検
出し、４１８でその一つ前のｊを５２として記憶すると
ともに４１２以降のループを脱出する。４２０は出口で
あり、白連続の場所ｊ１＋Ｊ２とフラグＦ２を外部に与
える。Ｆ２＝１は検出成功を示し、Ｆ２＝０は４１２の
ループ内で白連続の条件が発見できなかった場合であり
検出失敗を示す。

次に本発明の第二の実施例について説明する。

本実施例は第一の実施例と同一のブロック図で実現され
るが、使用する文書文法が前記の文法とは若干差異があ
る。すなわち部分購造間の関係を示す演＃子 ξ、η、α、βｔ　Ｏｔγ、δ などに幾何学的な量を示すパラメータを付随させ、たと
えば ξ（１，５）、η（３，１０）、・・・などと表す、こ
こで、η（３，１０）とは縦方向に：３＋ｍ以上・１０
ｍｎ＋以下の間隙があることを示す。

演算子ηを検出する第一の実施例の流れ図（第４図）は
第５図のように変更される。第５図で５０１〜５１９４
：ｌ：ｍ４図（７）４０１〜４１９　ト同様テアル。

５２０では、５１２〜５１９で検出した白連続領域の幅
が３以上１０以下であることを判定する。

５２１は４２０と同じである。第二の実施例は第一の実
施例に比べ使用する文書文法の記述が若干複雑であるが
１文書のｍｓにおいて誤った判定を行う危険が避けやす
い利点があり、書式の変動が比較的に少ない文書の処理
に適する６ 次に本発明の第三の実施例について説明する６本実施例
は第一の実施例と同一のブロック図で実現されるが、制
御の流れが第一の実施例（第３図）とは異なり、第６図
のようになっているう第６図は、第三の実施例における
文書理ｍの処理の流れをＰＡＤ形式で表した流れ回であ
る。まず、６０１でファイル装置（図示せず）より文書
文法データをメモリ５３に読みこみ、ＧＯ２で全体を初
期化する。６０３は終了まで以下の処理を縁り返すルー
プである。６０４で文２）の１頁の画像を入力し、Ｃ１
０５で画像処理ルーチンを起動する。そのとき、画像中
のどの部分について処理するかを指定する。画像処理ル
ーチンはマルチプログラミングあるいはマルチプロセッ
サを用いて下記の文法解釈処理と並列に動作し７、図・
表・文字その他の終端記号を処理対象画体１から直接抽
出し。

メモリ内の特定アドレスに抽出したことを示すデータを
書き込む。なおマルチプロセッサをｍいるの修正は容易
であるのでここでは省略している。

６０６はこの頁を文アト文法に従って解釈する制御ルー
プである。６０７で画像処理結果を調べ抽出された結果
に従って、６０８でその部分構造を記述している行を探
索する。画像処理と並列に動作するので１画（ＦＱ処理
の完了を待つ必要がある。

６０９では以下の処理で用いるスタックの初期化を行う
。６１０はその行に対する処理を行うもので６１１から
６１５までの処理の流れを制御する。

６１０は第３図の３０９と同様である。６１２では演算
子の存在を検出し、存在しないときは６１５で６０９以
降のループを脱出する。存在したときはこの演算子を６
１２でスタックに積み、６１３で部分構造の存在を検出
する６部分構造の検出は画像処理ルーチンで検出した部
分を除いた残りの画像について再帰的に処理するもので
あるが、箔本的には第３図と同様であるので省略する。

６１６（文書理解結果の出力）、６１７は第３図と同様
である。第三の実施例は第一の実施例に比べ制御の流れ
が複雑ではあるが、画（ｑ＋処理結果から文法処理を起
動するので、入力文書と関係のない部分の文法を構文な
析することが少なく高速の文書の処理が可能となる。

〔発明の効果〕

以上説明したごとく１本発明によれば格納すべき対象文
書のｍ析を自動的に行うことが可能であり、キーボード
から二次情報を入力することが不要となるかあるいは大
幅に削減されるので、入力′がきわめて簡崇化される。

また、文書を部分（１η造に分類しているので、４市造
ごとの格納を行うことによりファイルスペースの削減や
検索の高度化が可能となるなどの利点がある６

【図面の簡単な説明】

第１図は文書の一例を示す図、第２図は本発明の実施例
を示す図、第３．４，５．６図は第２図の制御部におけ
る処理を説明するための流れ図である。 １０１・・・バス、１０２・・・制御部、１０３・・・
文書。 １０５・・・メモリ、１０７・・・キーボード、１０８
・・・ディスプレイ。

Claims (1)

1. 【特許請求の範囲】 １、部分構造とその間の相対関係を示す演算子とを用い
   て文書画像を記述する文法に従つて書かれた表現を解析
   する構文解析部と、 入力文書の画像を光電変換してディジタル画像に変換す
   る手段と、 上記構文解析部により指定された特定部分構造または部
   分構造間の関係が上記ディジタル画像中に存在するか否
   かを検出する画像処理部とを有し、 上記の文法に含まれる相異なる演算子は上記画像処理部
   における相異なる画像処理手段に対応することを特徴と
   する文書画像処理方式。 ２、特許請求範囲第１項記載の文書画像処理方式におい
   て、 部分構造が水平あるいは垂直の白画素の連続によつて隔
   てられることを示す演算子に対応する構文解析部及び画
   像処理部とを含むことを特徴とする文書画像処理方式。 ３、特許請求範囲第１項記載の文書画像処理方式におい
   て、 演算子に幾何学的パラメータが付随することを特徴とす
   る文書画像処理方式。 ４、特許請求範囲第１項記載の文書画像処理方式におい
   て、 構文解析部による指定を行わずに画像処理部における画
   像処理手段を起動させ、その処理結果を構文解析部に供
   給するように制御することを特徴とする文書画像処理方
   式。