JPS6389975A - 言語解析装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 斑棗欠１　　　　　　　　　　　　　　　　　、本発明
は言語、解析装置、とくに、たとえ１＜、、目動−訳装
装置に有用な自然言語を解析する言語解析装置に関する
。

藍工且ま たとえば一語などの外国語の文からそれに対応する一語
の文を作成する場合、入力された英文。

の形態素を解析し、その構文を解析し、その文構造を変
換し、そののち日本語の訳文を生成する。

文の形態素を解析する際、ある単語が単独で用いられて
いるか、他の単語と結合した連語または熟語として用い
られているかは、解析結果を左右する重要な問題である
。従来方式には、単語単独での辞書情報と、熟語ないし
は連語についての辞書情報とを併立して備えた方式と、
たとえば−最長一致法などのように特定の条件に合致し
た熟語ないしは連語を常に優先して選択する方式とがあ
る。

前者の従来方式は、選択の対象となる候補の組合せが非
常に多くなり、それらのすべてについて解析をする必要
がある。したがって、処理に時間を要し、また誤った組
合せも正解としてとらえられる危険性があるなど、無駄
が多い。

また後者の従来方式では、熟語としての用法が常に他に
優先して選択される。したがって、単語相互の結合度の
高くない連語などの場合にも熟語としての用法が常に選
択され、誤った解析結果を導出する危険性が高い。

このように形態素解析において可能のある全候補をすべ
て解としてしまうと、候補の数が多くなり、その後の構
造変換や訳文生成の処理で生する解は莫大な数となって
しまう、このように解の候補の数が多いことは、それ以
降の処理の速度を著しく低下させる結果を招く。

そこで、目動翻訳プロセス全体の効率を向上させるには
、このような無駄な解の数を減らして解析の効率を高く
することが要求される。

目　　　的 本発明はこのような要求に鑑み、形態素解析を効率的に
行なうことのできる言語解析装置を提供することを目的
とする。

構成 本発明は上記の目的を達成させるため、単語、連語およ
び熟語について形態素データを含む辞書データが格納さ
れた辞書手段と、入力された文について辞書手段を参照
して形態素解析を行なう解析手段とを有する言語解析装
置において、辞書手段は、連語および熟語について、連
語または熟語を構成する語の相互の結合度を示す結合度
データを含み、解析手段は、入力された文に含まれるそ
れぞれの語について辞書手段を参照し、１つの語につい
て他の語との組合せで複数の辞書データが索出されたと
きは、結合度データを参照して結合度の高い語の組合せ
を選択する言語解析装置を特徴としたものである。以下
、本発明の一実施例に基づいて具体的に説明する。

第２図を参照すると１本発明による言語解析装置を英日
目動翻訳装置に適用した実施例の全体構成が示されてい
る。なお本発明は、英語を日本語に翻訳する英日目動翻
訳装置のみならず、ある言語を他の言語に翻訳する際お
もに、入力される言語の文を解析する如何なる言語の解
析装置にも効果的に適用されることは、言うまでもない
。

同実施例は入力部ｌＯを有し、日本語に翻訳すべき英文
テキスト１２がこれにより入力される。入力部ｌＯはた
とえば、英数字キーなどの文字キーや機能キーなどを有
するキーボード、紙に記録された英文テキストを読み取
る光学的文字読取装置（ＯＣＲ）　、および（または）
ｍ気ディスクなどの記憶媒体に記録された英文テキスト
を読み込むファイル記憶装置などを含んでよい。

入力部１０により入力された英文テキストは、前ｗＡ東
部１４に読み込まれ、翻訳の前処理が行なわれる。ここ
では、主として文の認定と未知語の処理を行なう、これ
は形態素解析の一部として機能する。

前編集された英文データは、前ｉｍ集で得られた情報と
ともに形態素解析部１６に転送される。形態素解析部１
８では、単語辞書１８を索引して文に分割し、英文の形
態素を解析し、未知語の処理、国有名詞１時の表現、数
の表現などの各種のまとめあげを行ない、付加疑問、同
格の認定などの文全体の処理を行なう、その形態素解析
ルールは解析ルールファイル３Ｂに格納されている。

形態素解析された英文データは、形態素解析で得られた
辞書情報とともに構文解析１部２０に転送される。構文
解析１部２０は、文法ルールを英文データに適用して文
について表層構造の解析を行ない、すべての構文的可能
性を見つけ出す機能部である。

構文解析１部２０で構文解析された英文データは、その
解析情報とともに構文解析ＩＩ部２２に送られる。ここ
では、構文解析Ｉによる表層的な構文解析結果から、構
造記述を適用して解を選択する。これによって英語文の
確からしい解析木を作成し、その構造を作る。これらの
構文解析ルールはやはり、解析ルールファイル３Ｂに格
納されている。

構文解析された英文データは、解析木のデータとして構
造変換部２４に転送される。構造変換ｆｊＢ２４では、
英語文の中間的構造である構文木から対応する日本語文
の構文木を作成し、日本語文を訳出しやすい日本語基底
構造に変換する。

こうして構造変換された日本語の基底構造を示す構文木
データは訳文生成部２Ｂに送出され、後者にて訳文の生
成が行なわれる。これは、日本語の構文木の木構造から
日本語の文を生成する機能部である。

訳文生成された日本語文データ、すなわち訳文データは
、後編集部３０に送られる。後′Ｉａ果部３０では、翻
訳処理に利用した情報を使用し、辞書１８を索引して訳
文データを修正し、より自然な日本語文を完成する。こ
の日本語文データは出力部３２に転送され、翻訳された
日本語文３４として出力部３２から出力される。出力部
３２は、たとえばプリンタ、ディスプレイ、および（ま
たは）磁気ディスクなどのファイル記憶装置を含む。

これらの一連の翻訳処理の流れは、本装置全体の制御を
統括する制御部３８によって制御される。

４１語辞書１８には、本実施例では英語および日本語の
単語についての辞書データが格納され、語檗だけでなく
、係り関係すなわち共起関係や、意味、単複、□品詞な
どの様々な情報が記述されている。

また解析ルールファイル３６には、形態素解析および構
文解析のルールデータが格納されている。

制御部３８には、操作表示部４０が接続されている。操
作表示部４０は、操作者から水装置に様々な指示を与え
る、たとえば翻訳指示キー、カーソルキーなどの操作キ
ーや、入力英語文テキスト、翻訳結果の日本語文、辞書
情報などの中間データ、操作者に対する様々な指示など
を可視表示するディスプレイやインジケータを有する。

なお、それらの操作表示機能の多くは、入力部１０にキ
ーボードを備えている場合はそのキーボードに、また出
力部３２にディスプレイを備えている場合はそのディス
プレイに含まれるように構成してよい。

第１図を参照すると、形態素解析部１Ｂの詳細な構成が
例示されている。形態素解析部１６は、入力部ｌＯのキ
ーボードなどの入力部ｆｉ１００や入力文書ファイル１
０２とのインタフェースをとる入力インタフェース１０
４を有する。入力インタフェース１０４には、これらの
入力部ｆｉ１００や入力文書ファイル１０２からたとえ
ばＡＳＣＩＩなどのコードデータの形で英文文字列デー
タが入力され、その文字列データを一時蓄積する入力文
字列バッファが備えられている。これらの入力文字列は
、前ＩｉＡ集部１４にて前編集を受けたものでよい。

形態素解析部１６は、図示のように処理部１０６．辞書
検索部１０８．矛盾解消ルール処理部１１０および制御
部１１２を有する。処理部１０６は、形態素解析を行な
う解析処理機能部であり、検索済み辞書情報バッファす
なわち辞書情報保存テーブル１２０（第９図）を有する
。形態素解析は、入力文字列の先頭から順に検索キーの
文字列に従って辞書探索を指示し、これに従って辞書検
索部１０Ｂから得た辞書情報を検索済み辞書情報バッフ
ァ１２０に格納し、後述の最優先フラグに応じた優先度
の処理などを実行することによって行なわれる。

辞書検索部１０８は、処理部１０６から指示される検索
キー文字列に基づき、単語辞書１８を検索して辞書情報
を取り出し、これを処理部１０Ｂに転送する機能部であ
る。・ 単語辞書１８には、第３図にそのエントリ情報の例を示
すように、各単語のエントリについて品詞、活用などの
文法情報の他に、最優先フラグが格納されている。この
辞書をここでは優先フラグ付辞書ファイルと称する。「
最優先フラグ」とは、辞書エントリを構成する連語また
は熟語に含まれる単語相互間の結合の強弱を示すフラグ
であり、１０」か弱い結びつきまたは結びつき無しを、
また「１」が強い結びつきを示す。これによって、文に
おいて、連語または熟語のなかで結びつきが強いと判定
したものは熟語としての用法と推定し、そうでない場合
は単語単独での用法の可能性も並列的に考慮する。

第３図に例示するように、単語辞書１８における各エン
トリは、単語単独と連語または熟語とを区別せず、連語
および熟語、ならびにそれらを構成する単語単独のそれ
ぞれについて配列されている。また活用形もそれぞれ１
つのエントリを構成している。活用形が複数ある場合も
それぞれ別のエントリとして登録され、その活用が何で
あるかは活用部に表示される０品詞についても同様であ
り、複数の品詞の登録を許容し、それぞれの品詞情報を
有する。その他の情報としては、たとえば名詞の可算、
不可算の別、自動詞、他動詞の別、訳語などが登録され
ている。

たとえば”ｇｅｔ”は動詞の原形であり、最優先フラグ
は「０」である。熟語”ｇｅｔ　ｕｐ”は、原形動詞句
で、その最優先フラグは「１」である、また、前置詞向
”ｕｐ　ｔｏ”は最優先フラグが「１」であるが、連語
としての名詞句″ｗｈｉｔｅ　ｈｏｕｓｅ”は最優先フ
ラグがｒＯＪであり、後者は単語間の結合度が低いこと
を示している。なお同図において、記号［ｕ　Ｊは空白
文字を示している。

このように辞書検索部１０８で検索された辞書情報には
最優先フラグが含まれている。同じ文字列、または重複
する文字列について最優先フラグにｒｌＪがたっている
ときは、その矛盾を解消しなければならない、この矛盾
解消を行なうのが矛盾解消ルール処理部１１（ｌであり
、これは、解析ルールファイル３６に格納されている最
優先フラグ矛盾解消ルールを参照してその処理を行なう
。

矛盾解消ルールは本実施例では、次の（１）〜（３）の
順序で適用され、これによって優先選択を行なう。

（１）品詞が動詞となる熟語または語、（２）構成字数
の多い連語、熟語または語、（３）文における位置が前
の方にある連語、熟語または語。

こうして選択された語の用法、換言すれば解析単位は、
処理部１０６の検索済み辞書情報バッファ１２０に活性
情報として表示される。活性情報は。

「１」でその解析単位が有効であることを示し、ｒＯＪ
でその可能性を採用しないことを示す。

制御部１１２は、これら形態素解析部１６の各機能部の
動作、処理を統括し、制御する機能部である。これは、
水装置全体の制御を行なう制御部３８に含まれていても
よい。

形態素解析された結果は、出力インタフェース１１．４
を通して構文解析１部２０へ転送される。構文解析工部
２０に直接転送しない場合は、構文解析用入力ファイル
１１６および構文解析用？！？！書情報ファイル１１Ｂ
に一旦格納される。

本実施例では、形態素解析の際、辞書引き単位の切出し
位置から始まる単語、連語または熟語をすべて取り出す
が、最優先フラグに従ってひとまとまりの「ユニット」
と認定された連語ま゛たは熟語については、それを構成
する個々の単語について得られた辞書情報は破棄する。

つまり、形態素解析で得られた辞書情報の最優先フラグ
を参照して、文において、単語相互間の結びつきの強弱
を判定する。連語また。は熟語のなかで結びつきが強い
と判定したものはその文において熟語としての用法であ
ると推定し、そうでない場合は単語単独での用法の可能
性も並列的に考慮する。

このような最優先フラグによる処理は、第４図に示すよ
うなシーケンスにて行なう。入力部１０から入力文字列
データを受け（２００）　、最優先フラグ付き辞書ファ
イル１８を索引するために入力文字列を辞書引き単位に
切り出しく２０１）、これに従って辞書１８を検索しく
２０３）、これを入力文字列データの示す文の最終位置
まで行なうと（２０２）　、最優先フラグの矛盾を解消
しく２０４）　、形態素解析結果を構文解析１部２０へ
出力する　（２０５）。

入力処理２００では、まず入力文書ファイル１０２また
は入力装置１００から入力インタフェース１０４の入力
文字列バッファに読み込む（２１０，第５図）、入力文
字列データは、たとえばＡＳＣＩＩなどのコードで入力
されるが、符号ＥＯＦを読み込むと、処理部１０６は入
力文字列バッファにＨＵＬＬコードを書き込んで最終位
置とする。

次に処理部１０Ｂは入力文字列を整形する（２１１）、
たとえば空白文字などのスペース該当文字種に属する文
字が２個以上連続したときは、それらを単一の空白文字
にまとめる。スペース該当文字種には、空白文字（記号
「ｕ」で表わす、）。

タブ、改行（記号「ｌ」で表わす、）などが含まれる。

また、入力文字列バッファの先頭から最初に現われるス
ペース該当文字種以外の文字までのスペース該当文字は
消去する。

たとえば′ＩＬＪ口！　’　ｗｉｌｌＵｕｇｅｔ　ｕｕ
ｐ／ｌｏＬ１ｇｏ’　ｔｏｖａ　Ｌｌｗｈｉｔｅ　ｕｈ
ｏｕｓｅ　ｕ、、、”なる入力文字列を整形すると、こ
れは、第６図に示すようニ、　　’Ｉ　’ｗｉｌｌ’ｇ
ｅｔ　’ｕｐｕｔｏｕｇｏ’　ｔｏ’ａ　ｕｗｈｉｔｅ
　’　ｈｏｕａｅ　Ｌ−１，、、［ＮＵＬＬ］’に整形
され、符号［ＮＵＬＬ］の位置がバッファの最終位置を
示している。

辞書引き単位の切出し処理２０１で使用される辞書引き
デリミタは、英文字、数字、アポストロフィ、ハイフン
およびピリオド以外の文字、ならびに空白文字に続くア
ポストロフィの位置に置かれる。処理部１０Ｂは、辞書
引きの先頭ポインタを有し、これは、最初はバッファの
先頭にセットされる。

辞書検索部１０８はそこで、先頭ポインタの指示してい
る文字から次のデリミタの直前の文字までの文字列を検
索キー文字列として最優先フラグ付さ辞書ファイル１８
を索引する。辞書エントリと検索キー文字列を比較し１
両者が一致したらその辞書情報を取り込む（２０３）。

辞書エントリの文字列全体が少なくとも検索キー文字列
の先頭から始まる部分と一致し、その部分の直後が辞書
引きデリミタまたはアポストロフィもしくはピリオドで
ある場合に、一致と判定される。たとえば第７図に示す
ように、検索キー文字列”ｇｅｔ’　ｕｐｏｎ’　”　
ｃ７）先頭文字″ｇ”を先頭ポインタが指示していると
、辞書エントリの”ｇｅｔ”と”ｇｅｔ　ｕｐｏｎ”が
これと一致する。

索出された辞書情報は処理部１０６の検索済み辞書情報
バッファ１２０に格納される。この読込みとともに、そ
の一致した文字列の開始位置と終了位置が記憶される。

これは、入力バッファ中の文字位置を先頭から順に特定
するものである。検索済み辞書情報バッファ１２０には
活性情報の蓄積領域が設けられているが、これは、索出
した辞書情報が後の処理に有効なものか否かを指示する
情報であり、この段階ではすべて「ｌ」にしておく。

以降先頭ポインタは、辞書引きのたびに更新され、文字
列を左から右に見て現在の先頭ポインタの次に現われる
デリミタの直後の文字にセットされる。こうして順次辞
書検索が行なわれる。上述の例では、最初に”ドの”■
“を、次に・”ｗ＋１１”の”Ｗ”を、次に”ｇｅｔ’
のｇ“を、という順に辞書引き単位の先頭の文字を指示
する。先頭ポインタがＨＵＬＬコードを通過すると、最
終位置と判定される（２０２）、こうして、前述の英文
人力文字列の例について索出された辞書情報の例を第９
図に示す。

第８Ａ図〜第８Ｉ１図を参照して、矛盾解消ルール処理
部１１０が最優先フラグ矛盾解消ルールファイル３Ｂを
参照して行なう最優先フラグの矛盾解消処理２０４を説
明する。第８Ａ図および第８Ｂ図のフローが最優先フラ
グが立っている語の位置が重なった場合の処理であり、
第８Ｃ図および第８Ｄ図のフローは最優先フラグによっ
て解析単位すなわち要素を消去する処理、すなわち活性
情報を「０」にする処理である。なおこれらのフロー図
において、記号「＜＝」は代入を、「→」は参照を、ま
た「ｐ→Ｘ」はポインタｐのエントリのもつＸの内容を
それぞれ示す。

まず、最優先フラグが「１」であり、かつ文における位
置が重なる語の組を検出する（ステップ２２０〜２２３
）。次に、検出された各組について最優先フラグ解消ル
ールを適用し、それらのうち有効なものを選択する（ス
テップ２２４〜２３５）。

たとえば前述の例では、第９図に示すように、文字列”
ｇｅｔ’　ｕｐ’　ｔｏ”については、開始位置「８」
終了位置「１３」の”ｇｅｔ　ｕｐ”と、開始位置゛「
１２」終了位ｆｉｒ１６Ｊの”ｕｐ　ｔｏ”で最優先フ
ラグにｒｌＪがたち、しかもその文字位置が重複する。

これにまず、前述のルール（１）が適用され、保存用ポ
インタｐｓａｖｅの品詞、およびポインタｐの品詞を参
照してそれらが動詞であるか否かを判定する　（２２４
）。この例では、動詞に該当するので”ｇｅｔ　ｕｐ”
の組合せが選択される。

ルール（１）を満足しないときは、ルール（２）を適用
して（２２８）　、保存用ポインタｐｓａｖｅのエント
リを参照してその文字列の長さ１ｅｎｓとポインタｐの
エントリを参照してその文字列の長さｌｅｎとを比較す
る。さらにルール（２〕を満足しないときは、ルール（
３）を適用して（２２９）　、保存用ポインタｐｓａｖ
ｅの開始位置を参照してその位置５ｔａｒｔｓとポイン
タｐの開始位置を参照してその位置５ｔａｒｔとを比較
する。

こうして矛盾解消ルール（１）〜（３）の順に適用して
そのいずれかが満足されると、満足されなかった、すな
わち有効でないエントリの活性情報を「０」にしく２３
２）　、他の、すなわち有効なエンドすのそれは「１」
のままにしておく：　　（２３１）、このような矛盾解
消ルールの適用を、ポインタｐを歩進させながら（２３
４，２３５）最終位置まで各エントリについて順次実行
し、有効なエントリについてのみ活性情報なｒｌＪとす
る。前述の例についてその状態を第１０図に示す、たと
えば、エントリ”ｕｐｔｏ“についてその活性情報が「
０」とされた。

次に、活性情報および最優先フラグの双方ともｒｌＪで
ある組合せと位置が一部でも重複するものを検出しく２
３６〜２４１）、それらの活性情報を「０」にする（２
４２．２４９）、このような矛盾解消ルールの適用を、
ポインタｐを歩進させながら（２４３，２４８）最終位
置まで各エントリについて順次実行し、有効でないエン
トリの活性情報を「０」とする、これによって、たとえ
ばエントリ”ｇｅｔ、ｎについては”ｇｅｔ”および”
ｕｐ’の活性情報が「０」とされた（第１０図）。なお
エントリ”ｗｈｉｔｅ”　”ｗｈｉｔｅ　ｈｏｕｓｅ”
および”ｈｏｕｓｅ″については、位置の重複があって
も最優先フラグがすべて「０」であるので、それらの活
性情報は「ｌ」に維持されている。

こうして最終位置［ＮＬＩＬＬ］の直前まで処理が行な
われると、入力インタフェース１０４の入力バッファ、
および検索済み辞書情報バッファ１２０の内容を出力イ
ンタフェース１１４から構文解析１部１６へ出力する。

検索済み辞書情報バッファ１２０の内容は、活性情報に
「１」が表示されているエントリのみについて出力が行
なわれる。たとえば、入力バッファの内容は構文解析用
入力ファイルｔｔｅへ書き出し、検索済み辞書情報バッ
ファ１２０の内容は構文解析用辞書情報シアイル１１８
へ書き出すようにしてもよい、このとき、活性情報およ
び最優先フラグもともに出力されるので、構文解析用辞
書情報ファイル１１８は検索済み辞書情報バッファ１２
０と同一の構造となる。なお、活性情報および最優先フ
ラグを出力しないように構成してもよい。

効　　果 本発明によれば、文の形態素解析の際、辞書引き単位の
切出し位置から始まる単語、連語または熟語をすべて取
り出すが、辞書情報に含まれる最優先フラグに従ってひ
とまとまりと認定された連語または熟語については、そ
れを構成する個々の単語について得られた辞書情報を破
棄する。つまり、文において、単語相互間の結びつきの
強弱を判定し、連語または熟語のなかで結びつきが強い
ものはその文において熟語としての用法であると推定し
、そうでない場合は単Ｍ、ｌｌｌ独での用法の可能性も
並列的に考慮する。これによって形態素解析が効率的に
行なわれる。

【図面の簡単な説明】

第１図は、第２図に示す実施例の形態素解析部の詳細な
構成例を示す機能ブロック図、第２図は１本発明による
言語解析装置を英日目動翻訳装置に適用した実施例の全
体構成を示す機能ブロック図、 第３図は、第１図に示す実施例における最優先フラグ性
き辞書ファイルの構成例を示す説明図、 第４図は同実施例における形態素解析処理の例を示すフ
ロー図、 第５図は形態素解析処理における入力処理の例を示すフ
ロー図、 第６図は同実施例における入力文字列の整形の例を示す
説明図、 第７図は同実施例における辞書検索の例を示す説明図。 第８八図ないし第８Ｄ図は、形態素解析における最優先
フラグの矛盾の解消処理の例を示すフロー図、 第９図は辞書引きした検索済み辞書情報バッファの内容
の例を示す説明図、 第１Ｏ図は、最優先フラグの矛盾解消処理を行なった結
果の検索済み辞書情報バッファの内容の例を示す説明図
である。 １Ｂ、、最優先フラグ付き辞書ファイル３Ｂ、、、最優
先フラグ矛盾解消 ルールファイル １０Ｂ、、、処理部 １０８、、、辞書検索部 １１０、、、矛盾解消ルール処理部 １１２、、、制御部

Claims (1)

1. 【特許請求の範囲】 １、単語、連語および熟語について形態素データを含む
   辞書データが格納された辞書手段と、入力された文につ
   いて該辞書手段を参照して形態素解析を行なう解析手段
   とを有する言語解析装置において、 前記辞書手段は、連語および熟語について、該連語また
   は熟語を構成する語の相互の結合度を示す結合度データ
   を含み、 前記解析手段は、入力された文に含まれるそれぞれの語
   について前記辞書手段を参照し、１つの語について他の
   語との組合せで複数の辞書データが索出されたときは、
   結合度データを参照して結合度の高い語の組合せを選択
   することを特徴とする言語解析装置。 ２、特許請求の範囲第１項記載の装置において、前記解
   析手段は、前記辞書手段の検索を行なった語の他の語と
   の複数の組合せについてともに結合度データが高い結合
   度を示すときは、所定の規則にて該複数の組合せのうち
   の１つを優先させる優先データを作成することを特徴と
   する言語解析装置。