JPH05158969A

JPH05158969A - 言語処理システム

Info

Publication number: JPH05158969A
Application number: JP3318076A
Authority: JP
Inventors: Takao Miyabe; 隆夫宮部
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1991-12-02
Filing date: 1991-12-02
Publication date: 1993-06-25

Abstract

(57)【要約】【目的】文生成の対象分野に適した訳語が、人手によ
る選択なしに、自動的に選択できることを目的としてい
る。【構成】生成目標の自然言語で記述されると共に特定
の用途別に分類されたコーパスを管理するコーパス管理
手段１１と、自然言語で記述されたテキストを単語単位
に分類する形態素解析手段１２と、その単語に対して語
のデキスト内での出現度数を算出して格納する単語出現
度登録手段１３および単語出現度格納手段１４と、生成
目標の自然言語文を生成する訳文生成手段１５と、単語
出現度情報を検索し確定する単語出現度検索手段１７お
よび単語出現度確定手段１６とで構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、生成目標言語の語彙選
択のための辞書学習を行う翻訳システム並びに文生成シ
ステム等の言語処理システムに関する。

【０００２】

【従来の技術】翻訳システムなどの文生成機能をもつ言
語処理システムにおいては、入力テキスト内の各語彙に
対して、生成側の言語内でその意味や使用方が最も良く
対応する訳語（語彙）が選択される。但し、文作成者
が、テキストの種類に応じてあまり一般的でない特定の
訳語を要求する場合もある。

【０００３】従来、上記のような特定の訳語を必要とす
る場合は、翻訳前にあらかじめ訳語の辞典を作成してお
くか、翻訳時或いはその後で翻訳者が訳語を指定した後
その情報システムが学習して対応していた。

【０００４】

【発明が解決しようとする課題】上述した従来技術で
は、翻訳の前後に翻訳者自身による辞書作成、或いは語
彙指定の処理が必要であり、多大の人的工数を要する。

【０００５】本発明の目的は、文生成の対象分野に適し
た語彙が、人手による選択なしに、自動的に選択できる
言語処理システムを選択することにある。

【０００６】

【課題を解決するための手段】本発明の言語処理システ
ムは、生成目標の自然言語で記述されると共に特定の用
途別に分類されたコーパスを管理するコーパス管理手段
と、自然言語で記述されたテキストを単語単位に分類す
る形態素解析手段と、単語に対して語のデキスト内での
出現度数を算出し登録する単語出現度登録手段と、単語
に対するその出現頻度をもとめる単語出現度検索手段
と、単語とその出現度数を組みにして記憶する単語出現
度格納手段と、生成目標の自然言語の文を生成する訳文
生成手段と、前記単語出現度格納手段内の単語に対して
その出現度により優先順位を付与する単語出現度確定手
段とを有することを特徴とする。

【０００７】

【作用】用途別に分類されたコーパスから単語の出現度
を算出し、この出現度により単語に対して優先順位を付
与することで、自動的に用途別の辞書学習を行う。

【０００８】

【実施例】次に、本発明の実施例について、図面を参照
して説明する。

【０００９】図１は本発明の一実施例を示す機能的なブ
ロック図である。図においてコーパス管理手段１１は、
翻訳目的言語で記述されたコーパスを用途別に管理して
いる。特許、論文、報告書等、テキストの種別やさらに
その下位分類に従ってテキストを分別し、同種類、用途
のテキスト毎に１個のコーパスとして管理する。例えば
特許に関しては、機械翻訳の特許、データベースの特
許、ＣＡＩの特許等である。形態素解析手段１２では、
この特定用途に分類されたコーパスを入力として、その
コーパスを単語単位に分類する。単語に対しては、活用
処理などの若干の形態的処理を施して標準型（日本語動
詞の終止形、英語動詞の不定型等）に修正する。日本語
で「翻訳し」を「翻訳する」にしたり、英語で「ｔｒａ
ｎｓｌａｔｉｎｇ」を「ｔｒａｎｓｌａｔｅ」にしたり
する。

【００１０】コーパスから抽出した単語のセットに対し
て、単語出現度登録手段１３においては、その各単語に
対して出現度数を算出した後、その綴りとその出現度数
を対にして登録する。新規出現語彙に対しては、その単
語綴りと出現度（＝１）を登録し、既出語に対してはそ
の出現度を（＋１）増加する。（翻訳する、１）や（ｔ
ｒａｎｓｌａｔｅ，５）などのようにする。全テキスト
について上記登録処理を行った後、単語出現度格納手段
１４において当該コーパス名のもとに、出現した全単語
の単語綴りとその出現度数の対情報を記憶する。

【００１１】例えば、日本語の文生成を考えてみる。
「機械翻訳特許」という機械翻訳関連特許のコーパス内
に、「コーパス」という語が１４個含まれており、「形
態素解析」という語が１個、「パーサ」という語が１６
個、「解析器」という語が１１個含まれている場合は、
表１のようになる。

【００１２】

【表１】また、英語の文生成を考えてみると、「ＭＴ−ｐａｔｅ
ｎｔ」という機械翻訳関連英文特許のコーパス内に、
「ｃｏｒｐｕｓ」という語が１４個含まれており、「Ｍ
Ｔ」という語が８個含まれており、「ｍａｃｈｉｎｅ
ｔｒａｎｓｌａｔｉｏｎ」という語が４個、「ｐａｒｓ
ｅｒ」という語が１２個含まれている場合は、表２のよ
うになる。

【００１３】

【表２】訳文生成手段１５は、入力データに対して、目標言語で
その意味を表現する文を生成する。例えば、（日英／英
日）機械翻訳の場合は（英語／日本語）入力言語のテキ
ストを（日本語／英語）出力言語の文章に変換して生成
する。処理前に、訳語候補セットを受けて文中の語彙と
その訳語が一意に確定する場合はそのままその語彙を生
成する。一意に確定しない場合は、その訳語候補を、単
語出現度確定手段１６に送る。単語出現度確定手段１６
では、その候補の各語彙を、単語出現度検索手段１７に
渡す。単語出現度検索手段１７では、前記単語出現度格
納手段内の語彙とその出現度に関する情報を利用し、指
定されたコーパスにおける当該語彙に対する出現度を出
力する。当該語彙が単語出現度格納手段１４中に存在し
ない場合は、頻度「０」を返す。このように、語彙毎に
出現度がもとまった後、単語出現度確定手段１６では、
それを出現度順にソーティングし、その語彙の出現度順
序リストを訳文生成手段１５に返す。訳文生成手段１５
では、その出現度順序に従い、順次訳語候補として生成
を検討する。

【００１４】例として、英日翻訳システムにおける日本
語の語彙選択をとりあげる。機械翻訳分野の英文特許内
のテキストに「ｃｏｒｐｕｓ」という語があり、辞書中
にその訳語として「コーパス」と「例文集」の２者が存
在したとする。その場合は、上記の手順に従い、単語出
現度格納手段内の情報を参照する。上記の表１の例によ
ると、主現頻度はコーパス＝１４、例文集＝０がもとま
る。つまり、機械翻訳分野での既存の日本語の特許例文
ではコーパスという語を使用し、例文集という語は使用
していないことになる。この場合は、頻度順に基づき、
「コーパス」を訳語候補とみなして生成処理をする。こ
れは、よく使用している語「コーパス」を用いる方が訳
語として適切という一般的事実と一致する。次に、「ｐ
ａｒｓｅｒ」という語に対しては、「パーサ」と「解析
器」の２訳語があり、その頻度を、表１に基づいて求め
る。するとパーサ＝１６、解析器＝１１がもとまり、そ
の頻度に従って、「パーサ／解析器」の出現順序リスト
が作られ、その順に生成を検討し、指定する。この場合
も、使用頻度の多い語を訳語として優先する。

【００１５】上記例は、英日翻訳システムの日本語の例
であるが、本発明は生成言語に依存しない。例えば、日
英翻訳システムにおける英語生成を考えると、上記例と
同じく機械翻訳分野の特許で、テキスト中に「機械翻
訳」の語があり、「ｍａｃｈｉｎｅｔｒａｎｓｌａｔ
ｉｏｎ」と「ＭＴ」の２個の対訳語があるとする。この
場合も、上記の手順に従い、単語出現度格納手段内の情
報を参照する。上記の表２の例によると、ＭＴ＝８、ｍ
ａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎ＝４がもとま
る。故に、この場合は、「ＭＴ」を第１訳語候補とみな
して生成処理し、必要に応じて第２候補の「ｍａｃｈｉ
ｎｅｔｒａｎｓｌａｔｉｏｎ」を提示する。同様に、
「パーサ」という語に対して、「ｐａｒｓｅｒ」「ａｎ
ａｌｙｚｅｒ」の２対訳例があり、表２に従って頻度は
ｐａｒｓｅｒ＝１２、ａｎａｌｙｚｅｒ＝０となり、訳
語候補として「ｐａｒｓｅｒ」が選択される。

【００１６】このように、生成目標言語における関連分
野のテキストを用意しておけば、その文中での単語の出
現度を学習することによって、文生成の際、その分野で
通常使用される語彙を選択できることになる。また、こ
こでは特定分野毎のコーパスに順処して語彙設定基準が
変更可能な点も特徴である。例えば、上記例の「ｃｏｒ
ｐｕｓ」の訳語についても、機械翻訳関連の特許では
「コーパス」が最適な訳語であったとしても、論文や他
の分野の特許、あるいは報告書においては、「例文集」
の方が適切な場合は多い。これらの種々の場合をあらか
じめ分別して辞書に記述しておくことは不可能に近い。
また、対象テキストの分野が変わる毎にシステム利用者
が最適訳語を設定しなおすのは冗長であり、本発明のよ
うにコーパスを基にして、訳語選択の分類を設定するの
が有効である。

【００１７】

【発明の効果】以上説明したように本発明は、コーパス
による分類にもとづいて辞書学習を行うことにより、生
成文書の対象分野に適合した訳語が自動的に選択でき
る。これにより、人間がここに訳語を指定する手間が省
けると共に、そのテキスト内での訳語の統一も実現でき
る。

【図面の簡単な説明】

【図１】本発明の一実施例を示す機能的なブロック図で
ある。

【符号の説明】

１１コーパス管理手段１２形態素解析手段１３単語出現度登録手段１４単語出現度格納手段１５訳文生成手段１６単語出現度確定手段１７単語出現度検索手段

Claims

【特許請求の範囲】

【請求項１】生成目標言語の語彙選択のための辞書学
習を行う言語処理システムにおいて、生成目標の自然言語で記述されると共に特定の用途別に
分類されたコーパスを管理するコーパス管理手段と、自然言語で記述されたテキストを単語単位に分類する形
態素解析手段と、単語に対して語のデキスト内での出現度数を算出し登録
する単語出現度登録手段と、単語に対するその出現頻度をもとめる単語出現度検索手
段と、単語とその出現度数を組みにして記憶する単語出現度格
納手段と、生成目標の自然言語の文を生成する訳文生成手段と、前記単語出現度格納手段内の単語に対してその出現度に
より優先順位を付与する単語出現度確定手段とを有する
ことを特徴とする言語処理システム。