JPH0619962A - テキスト分割装置 - Google Patents

Abstract

(57)【要約】 【目的】 言語処理に先立って行なわれるテキスト分割
をより正確にし、言語処理の効率を向上させる。 【構成】 テキストに含まれるピリオド、コロンなどの
区切り文字と、テキストのフォーマットとから分割位置
を検出するための分割位置検出部（Ｓ１１〜Ｓ１３、Ｓ
１８〜Ｓ２０）と、検出された分割位置でテキストを区
切って出力するための出力部（Ｓ１４、Ｓ２１）とを含
む。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、機械翻訳、文章要
約、キーワード抽出などの言語処理において用いられる
テキスト分割装置に関し、特に、原文を一括入力した
後、所定の分割単位、たとえば１文ごとに切出して後続
する処理に出力するためのテキスト分割装置に関する。

【０００２】

【従来の技術】機械翻訳等の言語処理においては、原文
テキストをＯＣＲ（光学的文字読取装置）などにより一
括入力した後に所定の処理を行なうことが一般的であ
る。この場合、機械翻訳、文章要約、キーワード抽出な
どの処理はテキストの１文を単位として行なわれる。そ
のため、一括して入力された原文テキストを１文ずつに
分割する処理が必要となる。

【０００３】従来、この１文切出の処理は、ピリオ
ド（．）、コロン（：）、セミコロン（；）などの文の
切れ目を表わす区切り文字を認識することにより、この
区切り文字の部分でテキストを分割して行なっていた。

【０００４】

【発明が解決しようとする課題】このような従来のテキ
スト分割装置では、区切り文字が存在しないとテキスト
をその部分で分割することができない。そのため、テキ
ストのタイトル部分と本文部分とが分割されずひとまと
めとして出力されたり、リストとして数行にわたって挙
げられた多数の項目が、全体で１つの文になってしまっ
て出力されたりするという、誤った処理が行なわれるこ
とがあった。このような誤った１文切出し処理をする
と、後の処理を正しく行なうために、誤った部分を修正
する作業が必要となる。そのため従来のテキスト分割装
置を用いると言語処理全体の効率が悪くなるという問題
点がある。

【０００５】それゆえにこの発明の目的は、従来のテキ
スト分割装置よりもより精度よくテキストの分割を行な
うことができ、その結果後の言語処理を効率よくするこ
とができるテキスト分割装置を提供することである。

【０００６】

【課題を解決するための手段】本発明に係るテキスト分
割装置は、テキストに含まれる区切り文字と、テキスト
のフォーマットとからテキストの分割位置を検出するた
めの分割位置検出手段と、分割位置検出手段により検出
された分割位置で、テキストを区切って出力するための
出力手段とを含む。

【０００７】

【作用】本発明に係るテキスト分割装置では、分割位置
として区切り文字のみでなく、テキストのフォーマット
をも用いて検出処理が行なわれ、このようにして検出さ
れた分割位置でテキストが分割される。

【０００８】

【発明の実施例】以下、この発明の一実施例を図面を参
照して詳細に説明する。なお、本明細書においては、テ
キストの「フォーマット」とは、文の配列を示すレイア
ウトや、文を構成する各文字が用いられている文字種な
ど、文字の配置を表わすすべての情報を示すものとす
る。

【０００９】図１は、本発明の一実施例に係るテキスト
分割装置を用いた機械翻訳装置で行なわれる処理のフロ
ーチャートおよびハードウェアの一部を示す模式図であ
る。まずステップＳ１で、翻訳対象の原文を図示されな
いＯＣＲなどにより入力する。

【００１０】続いてステップＳ２で、本発明に係るテキ
スト分割装置を用いて１文切出し処理が行なわれる。こ
のときの１文切出し処理は、テキストのレイアウト／文
字種などのフォーマット情報を取出し、テキストに含ま
れる区切り文字のみならずこれらフォーマット情報をも
用いて各文ごとに行なう。このとき、抽出されたレイア
ウト情報も図１に示されるように文章に含まれる各文と
対比させて格納する。

【００１１】ステップＳ３では、ステップＳ２で切出さ
れた１文を入力単位として順次翻訳処理を行なう。

【００１２】続いてステップＳ４で、ステップＳ３で得
られた翻訳結果の文に対して、ステップＳ２の処理によ
って一旦格納していたレイアウト／文字種などのフォー
マット情報を適用して訳文のフォーマッティングを行な
う。

【００１３】そしてステップＳ５で、ステップＳ４でフ
ォーマットされた結果の文を出力して終了する。

【００１４】図２は、図１のステップＳ２で行なわれる
１文切出し処理のより詳細な手順を示すフローチャート
である。図３は入力テキストの一例を示す模式図であ
り、図４は図３に対して１文切出し処理を行なった場合
に得られたレイアウト／文字種情報と、切出された文と
の対応関係を示すバッファの模式図である。

【００１５】図２を参照して、１文切出しは次のように
して行なわれる。まずステップＳ１１で、テキストのう
ちの処理対象となっている行を指す行ポインタを、テキ
ストの先頭行にセットする処理が行なわれる。

【００１６】ステップＳ１２で、ポインタの指す行が空
行かどうかを判定する処理が行なわれる。空行とは、何
も文字が含まれていない行を指す。処理対象の行が空行
である場合には処理はステップＳ１５に進み、空行でな
い場合には処理はステップＳ１３に進む。

【００１７】ステップＳ１３では、処理対象の行の先頭
が数字と記号の組合せであるかどうかについての判断が
行なわれる。行頭が数字と記号の組合せである場合には
この行はタイトルである可能性が高い。そのため処理は
ステップＳ１４に進む。行頭が数字と記号の組合せでな
い場合には処理はステップＳ１８に進む。

【００１８】ステップＳ１４では、現在処理中の行を１
文（１つの単位）としてバッファに格納する処理が行な
われる。ステップＳ１４の後処理はステップＳ１５に進
む。

【００１９】ステップＳ１３からステップＳ１８に処理
が進んだ場合、ステップＳ１８では、処理対象の行の行
頭がスペースであるかどうかについての判定が行なわれ
る。行頭がスペースであれば処理はステップＳ１９に進
み、それ以外の場合には処理はステップＳ２１に進む。

【００２０】ステップＳ１９では、スペースの後の最初
の文字が記号であるかどうかについての判断が行なわれ
る。記号である場合には処理はステップＳ２０に、それ
以外の場合には処理はステップＳ２１に進む。

【００２１】ステップＳ２０においては、現在の行の次
の行または現在の行の前の行と現在の行とが同じ形かど
うかについての判断が行なわれる。同じ形かどうかと
は、行頭がスペースであってかつ最初の文字が記号であ
るか、あるいはそうした条件が成立しないかということ
である。次行または前行が現在の行と同じ形の場合には
処理はステップＳ１４に進み、それ以外の場合には処理
はステップＳ２１に進む。ステップＳ１４に処理が進ん
だ場合、行頭が数字と記号の組合せであった場合と同様
に現在の行を１文としてバッファに格納する処理が行な
われ、さらにステップＳ１５以下に処理が進む。

【００２２】一方ステップＳ１８、ステップＳ１９、ス
テップＳ２０の３つの判断のいずれかでＮＯという判断
が行なわれた場合処理はステップＳ２１に進む。ステッ
プＳ２１では、現在の行から、次の空行の前までに対し
て、通常の１文切出し処理を施す。すなわち、テキスト
に含まれるピリオドやコロンなどの区切り文字でテキス
トを分割し、それぞれを１文として処理を行なう。処理
はステップＳ２２に進む。

【００２３】ステップＳ２２では、行ポインタを、まだ
１文切出し処理を行なっていない部分まで進める処理を
行なう。ステップＳ２２の後処理はステップＳ１７に進
む。

【００２４】一方、ステップＳ１５では、レイアウト／
文字種などのテキストのフォーマット情報をバッファに
格納する処理が行なわれる。ここでフォーマット情報と
しては、文頭にスペースがある場合のそのスペースの個
数、使用されている活字の種類（たとえばボールド体、
イタリック体など）、文末に改行があるどうかなどの情
報を含む。この詳細については図３、４を参照して後に
説明する。

【００２５】ステップＳ１５の後処理はステップＳ１６
に進み、行ポインタを１つ進める処理が行なわれる。こ
れにより処理対象の行は１つ先に進むことになる。ステ
ップＳ１６の後処理はステップＳ１７に進む。

【００２６】ステップＳ１７では、ステップＳ１６、ス
テップＳ２２で新たに設定された行ポインタで示される
位置に、処理対象となる行が存在するかどうかについて
の判断が行なわれる。存在する場合には処理は再びステ
ップＳ１２に戻りステップＳ１２以下の処理が繰返して
実行される。行が存在しない場合には処理は終了する。

【００２７】図２に示されるような１文切出し処理を行
なうことにより、次のような結果を得ることができる。
図３は、入力テキストの一例である。図３に示されるテ
キストの場合には、タイトルと、本文とが空白行で分離
されている。また本文はさらに、地の文を表わす部分
と、この地の文によって導入される多数の例示部分とが
含まれ、これら２つの部分は空行で分離されている。

【００２８】図３に示されるテキストの場合には、通常
の区切り文字以外の部分でテキストを分割しなければ、
たとえばタイトルと地の文の部分が相互に接続されてし
まったり、例示の文が相互に複数個接続されてしまった
りし、正しい１文切出し処理が行なわれない。

【００２９】これに対し、本願発明のテキスト分割装置
を用いてこの文を分割すると、その結果は図４に示され
るようになる。図４を参照して、文ナンバー１のタイト
ルと文ナンバー３の地の文とは、文ナンバー２の空行に
よって分離されている。また文ナンバー３と文ナンバー
４とは通常の区切り文字（ピリオド）により分離され、
文ナンバー４と文ナンバー６との間は通常の区切り文字
（コロン）および文ナンバー５の空行によって分離され
ている。また文ナンバー６、７の例示の部分は、文末に
改行が存在することからこのレイアウト情報によって２
つの文に分割される。他の例示の文も同様に分離され
る。また文ナンバー１と文ナンバー３との間では、使用
されている文字種が異なっていることを用いても分割が
可能である。

【００３０】以上のように本発明に係るテキスト分割装
置では、通常の区切り文字以外のフォーマット情報を用
いてテキストの分割が行なわれる。そのための、区切り
文字のみでは表わせないような文の区切りを正しく検出
してテキストを１文ずつに切出す処理が可能である。区
切り文字のみでは分割不能な文も正しく分割することが
できるため、後続する言語処理に先立って１文切出し処
理の結果を修正する必要性は少なく、処理の効率を向上
させることができる。

【００３１】

【発明の効果】以上のように本発明に係るテキスト分割
装置には、通常の区切り文字のみでは表現できないテキ
ストの分割位置を、テキストのフォーマット情報を用い
て検出し、このように検出された分割位置でテキストを
分割することができる。そのため、区切り文字のみを用
いてテキスト分割を行なった場合に比べてテキスト分割
の精度がより向上し、後続する処理に先立ってテキスト
分割の処理結果を訂正する必要性は少なくなる。

【００３２】その結果、テキスト分割の精度をより向上
させることができ、かつ後続する言語処理の効率も高め
ることができるテキスト分割装置を提供できる。

【図面の簡単な説明】

【図１】本発明の一実施例に係るテキスト分割装置を用
いた機械翻訳装置で行なう処理のフローチャートおよび
装置の一部を示す模式図である。

【図２】１文切出処理のフローチャートである。

【図３】入力テキストの一例を示す模式図である。

【図４】図３に示されるテキストを本発明に係るテキス
ト分割装置で分割した場合の処理結果を示すバッファの
模式図である。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 テキストに含まれる区切り文字と、前記
   テキストのフォーマットとから前記テキストの分割位置
   を検出するための分割位置検出手段と、 前記分割位置検出手段により検出された分割位置で前記
   テキストを区切って出力するための出力手段とを含むテ
   キスト分割装置。