JPH07234872A - 言語データベースの形態素列変換装置 - Google Patents

Abstract

(57)【要約】 【目的】 ある言語学的背景に基づいて作成された言語
データベースの形態素列を、他の言語学的背景に基づい
て作成された言語データベースの形態素列を処理する自
然言語処理装置に用いることができる言語データベース
の形態素列変換装置を提供する。 【構成】 形態素列変換規則生成部１は、第１と第２の
言語学的背景に基づく語彙の区切り及び品詞情報を有す
る複数の形態素列を含む訓練用データに基づいて、第１
の言語学的背景に基づく語彙の区切り及び品詞情報を有
する形態素列を、第２の言語学的背景に基づく語彙の区
切り情報及び品詞情報を有する形態素列に変換するため
の条件を記述する形態素変換規則を生成する。次いで、
形態素変換部４は、生成された形態素変換規則に基づい
て、第１の言語学的背景に基づく語彙の区切り及び品詞
情報を有する形態素列を、第２の言語学的背景に基づく
語彙の区切り情報及び品詞情報を有する形態素列に自動
的に変換する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、異なる言語学的背景に
基づいて作成された複数の言語データベースの語彙の区
切り及び品詞情報の差異を変換する言語データベースの
形態素列変換装置、並びに当該形態素列変換装置を備え
た自然言語処理装置に関する。

【０００２】

【従来の技術】近年、言語データベースに基づく自然言
語処理が注目を浴びており、各種のデータベースの中で
も、語彙の区切り及び品詞情報が付与された形態素情報
付きデータベースは、最も基本的かつ重要な資料であ
り、形態素情報付きデータベースを利用した形態素解析
装置、構文解析装置、文脈解析装置、音声認識装置等の
統計的自然言語処理装置が開発されてきている。しかし
ながら、形態素情報付きデータベースの作成、特に日本
語のように単語境界を明確に持たない言語のデータベー
スの作成には、多大な労力が必要であるため、高品質の
統計的自然言語処理装置を作成するのに必要な量の言語
データを収集することは困難である。

【０００３】大量の言語データを収集するための従来の
技法は、形態素情報付きデータベースの作成時に用いる
形態素解析装置の精度を向上させ、形態素情報付きデー
タベースの作成コストを下げるというものであった。し
かしながら、形態素解析装置の精度を向上させるために
は、辞書や文法の整備など多大な労力が必要であるた
め、この技法には限界があると予測されている。

【０００４】大量の言語データを収集するためのもうひ
とつの手段は、既に作成され市場に流通しているデータ
ベースを再利用することである。しかし、形態素情報付
きデータベースは、どのような言語学的背景に基づくか
により、語彙の区切り及び品詞情報には差異が存在す
る。このため、差異を変換する機構無しにはデータベー
スの有効な再利用は不可能である。差異を変換するため
の単純な方法は、データベースに付与された形態素情報
を無視し、改めて形態素解析し直すという方法である
が、この方法には従来技法と同様、限界があると思われ
る。また、既に付与された形態素情報を利用しないの
は、差異変換の精度を悪くしてしまうということが予想
される。

【０００５】

【発明が解決しようとする課題】従って、上述のよう
に、異なる言語学的背景に基づいて作成された言語デー
タベースの情報を、他の言語学的背景に基づいて作成さ
れた言語データベースの情報を処理する、例えば音声認
識装置などの自然言語処理装置に用いることは、従来不
可能であった。

【０００６】本発明の目的は以上の問題点を解決し、異
なる言語学的背景に基づいて作成された言語データベー
スの形態素列の情報を、他の言語学的背景に基づいて作
成された言語データベースの形態素列の情報を処理す
る、例えば音声認識装置などの自然言語処理装置に用い
ることができる言語データベースの形態素列変換装置を
提供することにある。

【０００７】

【課題を解決するための手段】本発明に係る言語データ
ベースの形態素列変換装置は、第１の言語学的背景に基
づく語彙の区切り及び品詞情報を有する複数の形態素列
を含む第１の言語データベースと、第２の言語学的背景
に基づく語彙の区切り及び品詞情報を有する複数の形態
素列を含む第２の言語データベースとを含む訓練用デー
タに基づいて、上記第１の言語学的背景に基づく語彙の
区切り及び品詞情報を有する形態素列を、上記第２の言
語学的背景に基づく語彙の区切り情報及び品詞情報を有
する形態素列に変換するための条件を記述する形態素変
換規則を生成する形態素規則生成部と、上記形態素規則
生成部によって生成された形態素変換規則に基づいて、
上記第１の言語学的背景に基づく語彙の区切り及び品詞
情報を有する形態素列を、上記第２の言語学的背景に基
づく語彙の区切り情報及び品詞情報を有する形態素列に
自動的に変換する形態素変換部とを備えたことを特徴と
する。

【０００８】また、上記形態素変換規則は、好ましく
は、上記訓練用データに出現する形態素列に対応するた
めの、語彙の区切りと品詞の対応関係を示す書き換え規
則と、上記訓練用データに出現しない未知語の形態素列
に対応するための、語彙の区切り内の形態素の文字数と
品詞の対応関係を示す書き換え規則とを含む。さらに、
上記形態素変換部は、好ましくは、さらに、上記形態素
規則生成部によって生成された形態素変換規則に基づい
て、上記第１の言語学的背景に基づく語彙の区切り及び
品詞情報を有する形態素列を、上記第２の言語学的背景
に基づく語彙の区切り情報及び品詞情報を有する形態素
列に自動的に変換する。

【０００９】またさらに、自然言語処理装置は、好まし
くは、上記言語データベースの形態素列変換装置を備え
る。

【００１０】

【作用】以上のように構成された言語データベースの形
態素列変換装置においては、上記形態素列規則生成部
は、第１の言語学的背景に基づく語彙の区切り及び品詞
情報を有する複数の形態素列を含む第１の言語データベ
ースと、第２の言語学的背景に基づく語彙の区切り及び
品詞情報を有する複数の形態素列を含む第２の言語デー
タベースとを含む訓練用データに基づいて、上記第１の
言語学的背景に基づく語彙の区切り及び品詞情報を有す
る形態素列を、上記第２の言語学的背景に基づく語彙の
区切り情報及び品詞情報を有する形態素列に変換するた
めの条件を記述する形態素変換規則を生成する。次い
で、上記形態素変換部は、上記形態素規則生成部によっ
て生成された形態素変換規則に基づいて、上記第１の言
語学的背景に基づく語彙の区切り及び品詞情報を有する
形態素列を、上記第２の言語学的背景に基づく語彙の区
切り情報及び品詞情報を有する形態素列に自動的に変換
する。

【００１１】また、上記形態素変換規則は、好ましく
は、上記訓練用データに出現する形態素列に対応するた
めの、語彙の区切りと品詞の対応関係を示す書き換え規
則と、上記訓練用データに出現しない未知語の形態素列
に対応するための、語彙の区切り内の形態素の文字数と
品詞の対応関係を示す書き換え規則とを含む。さらに、
上記形態素変換部は、好ましくは、さらに、上記形態素
規則生成部によって生成された形態素変換規則に基づい
て、上記第１の言語学的背景に基づく語彙の区切り及び
品詞情報を有する形態素列を、上記第２の言語学的背景
に基づく語彙の区切り情報及び品詞情報を有する形態素
列に自動的に変換する。

【００１２】

【実施例】以下、図面を参照して本発明に係る実施例に
ついて説明する。図１は、本発明の一実施例である言語
データベースの形態素列変換装置のブロック図である。
本実施例の言語データベースの形態素列変換装置は、形
態素変換規則生成部１と形態素変換部４とを備えたこと
を特徴とする。

【００１３】まず、第１の言語学的背景に基づく語彙の
区切り及び品詞情報を有する複数の形態素列を含む言語
データベースＡ１１と、第２の言語学的背景に基づく語
彙の区切り及び品詞情報を有する複数の形態素列を含む
言語データベースＢ１２とから、各データベースにおい
て各同一の文に対する各データベースＡ１１、Ｂ１２に
対する語彙の区切り及び品詞情報（以下、語彙の区切り
及び品詞情報を形態素情報という。）に関するデータ
（以下、訓練データという。）２を訓練データ生成部
（図示せず。）により自動的に、もしくは人間の処理に
より生成される。次いで、形態素列規則生成部１は、上
記生成された訓練用データ２に基づいて、上記第１の言
語学的背景に基づく語彙の区切り及び品詞情報を有する
形態素列を、上記第２の言語学的背景に基づく語彙の区
切り情報及び品詞情報を有する形態素列に変換するため
の条件を記述する形態素変換規則３を生成する。次い
で、形態素変換部４は、形態素規則生成部１によって生
成された形態素変換規則３に基づいて、上記第１の言語
学的背景に基づく語彙の区切り及び品詞情報を有する形
態素列を、上記第２の言語学的背景に基づく語彙の区切
り情報及び品詞情報を有する形態素列に自動的に変換し
て出力する。

【００１４】表１乃至表５は、本実施例の言語データベ
ースの形態素列変換装置の動作の具体例を説明するため
のデータ例である。ここで、表１は、形態素変換規則３
を生成するために必要な訓練用データ２の例であり、各
形態素は（ ）を用いて語彙が区切られてかつ品詞情報
が付与されている。形態素情報Ａは言語データベースＡ
１１の形態素情報であり、形態素情報Ｂは言語データベ
ースＢ１２の形態素情報である。

【００１５】

【表１】 ――――――――――――――――――――――――――――――――――― 文 割引料金はあるんでしょうか ――――――――――――――――――――――――――――――――――― 形態素情報Ａ （割引 普通名詞）（料金 普通名詞）（は 係助詞） （ある 本動詞）（ん 準体助詞）（でしょ 助動詞） （う 助動詞）（か 終助詞） ――――――――――――――――――――――――――――――――――― 形態素情報Ｂ （割引料金 n-com）（は postp-topic） （あ vstem）（る vinfl）（ん fn） （でしょう auxv-polt-aux-nom）（か auxv-sfp-1） ―――――――――――――――――――――――――――――――――――

【００１６】この表１の例では、２つの言語データベー
ス１１、１２で語彙の区切り方や品詞情報の付与の方法
が異なることがわかる。また、言語データベースで漢字
のかなづかいが異なる場合もある。また、表１におい
て、言語データベースＢ１２の品詞情報は以下のように
意味する。 （ａ）「n-com」は、言語データベースＡ１１の体系で
は普通名詞とされているカテゴリーの名称に対応する。 （ｂ）「postp-topic」は、言語データベースＡ１１の
体系では係助詞に対応する。 （ｃ）「vstem」は、言語データベースＡ１１の体系で
は本動詞とされている品詞を活用する部分と活用しない
部分に分割したもののうち、活用する部分に対応する。 （ｄ）「vinfl」は、言語データベースＡ１１の体系で
は本動詞とされている品詞を活用する部分と活用しない
部分に分割したもののうち、活用しない部分に対応す
る。 （ｅ）「fn」は、言語データベースＡ１１の体系では準
体助詞に対応する。 （ｆ）「auxv-polt-aux-nom」は、言語データベースＡ
１１の体系では助動詞のうちの、特に名詞を補語とする
断定の助動詞及び推量の助動詞に対応する。 （ｇ）「auxv-sfp-1」は、言語データベースＡ１１の体
系では終助詞に対応する。

【００１７】表２は、形態素変換規則生成部により生成
された形態素変換規則３のうち訓練用データ２に出現す
る形態素列に対応するための、語彙の区切りと品詞の対
応関係を示す書き換え規則の例であり、表３は、訓練用
データ２に出現しない未知語の形態素列に対応するため
の、語彙の区切り内の形態素の文字数と品詞の対応関係
を示す書き換え規則の例である。

【００１８】

【表２】 ――――――――――――――――――――――――――――――――――― （割引 普通名詞）（料金 普通名詞）＜−−＞（割引料金 n-com） （は 係助詞）＜−−＞（は postp-topic） （ある 本動詞）＜−−＞（あ vstem）（る vinfl） （ん 準体助詞）＜−−＞（ん fn） （でしょ 助動詞）（う 助動詞）＜−−＞（でしょう auxv-polt-aux-nom） （か 終助詞）＜−−＞（か auxv-sfp-1） ―――――――――――――――――――――――――――――――――――

【００１９】

【表３】 ――――――――――――――――――――――――――――――――――― （２ 普通名詞）（２ 普通名詞）＜−−＞（４ n-com） （＊ 係助詞）＜−−＞（＊ postp-topic） （２ 本動詞）＜−−＞（１ vstem）（１ vinfl） （３ 助動詞）（１ 助動詞）＜−−＞（４ auxv-polt-aux-nom） （＊ 終助詞）＜−−＞（＊ auxv-sfp-1） ―――――――――――――――――――――――――――――――――――

【００２０】上記表３に示すように、それぞれ区切られ
た形態素においては、未知語に対応するために、当該形
態素内の文字数と品詞情報とが、異なる言語データベー
ス間での対応関係が示され、すなわち品詞間の対応規則
である。ここで、＊は文字数が同一であって１対１に対
応しているものを示す。

【００２１】単語境界の変化がない未知語に関しては、
単に品詞間の対応規則を用意すればい。このような規則
は、表２に示す書き換え規則の中から、左辺も右辺も一
つの語だけを含む規則を選択し、その規則の品詞を取り
出すことにより機械的に作成することができる。単語境
界の変化を伴う未知語の書き換え規則に関しては、一つ
の未知語をどのように分割するか、逆に未知語を含む複
数の語の単語境界を変化させて別の複数の語に対応させ
るかが問題となる。この問題は、表２に示す書き換え規
則の語の文字列長を利用することにより表３に示す書き
換え規則を用いて解決することができる。

【００２２】これら２つの書き換え規則を含む形態素変
換規則３を用いて形態素列を書き換えることにより、２
つの異なる形態素情報体系を調整することができる。な
お、これらの規則の適用により生じる曖昧性は通常の形
態素解析に用いられる、単語バイグラム、品詞バイグラ
ム、接続テーブル、規則のコスト、単語のマルコフモデ
ルなどの公知の知識源を用いて解消することができる。

【００２３】また、表４は、形態素変換部４の入力とな
る言語データベースＡの形態素列の例であり、表５は、
形態素変換部４の出力である言語データベースＢで使わ
れている言語学的背景に基づく形態素列の例である。

【表４】 ――――――――――――――――――――――――― （字数 普通名詞）（制限 普通名詞）（は 係助詞） （ある 本動詞）（ん 準体助詞）（でしょ 助動詞） （う 助動詞）（か 終助詞） ―――――――――――――――――――――――――

【００２４】

【表５】 ――――――――――――――――――――――――― （字数制限 n-com）（は postp-topic） （あ vstem）（る vinfl）（ん fn） （でしょう auxv-polt-aux-nom）（か auxv-sfp-1） ―――――――――――――――――――――――――

【００２５】次に、図１及び表１乃至表５を参照して、
本実施例の言語データベースの形態素列変換装置の具体
的な動作について説明する。形態素変換規則生成部１を
用いて形態素変換規則３を生成するために、同一の文に
対して、言語データベースＡ１１で言語データベースＢ
１２で使われてい言語学的背景に基づく形態素情報を有
する表１の形式の訓練用データ２を用意する。当該訓練
用データ２は、上述のように、訓練データ生成部により
自動的に、もしくは人間の処理により生成される

【００２６】形態素変換規則生成部１は訓練用データ２
の形態素情報に書かれた語彙の文字列を利用して、形態
素列間の対応関係を発見し、表２のような書き換え規則
を生成するとともに、同時に、訓練用データ２に出現し
ないときに対応するために、語彙の文字列の長さを手掛
かりにして、表３のような書き換え規則も作成する。こ
れらの書き換え規則全体が、形態素変換規則３となる。
当該形態素変換規則３は、双方向に適用可能な書き換え
規則であるため、言語データベースＡ１１から言語デー
タベースＢ１２への書き換えにも、言語データベースＢ
１２から言語データベースＡ１１への書き換えにも利用
できる。以下、言語データベースＡ１１から言語データ
ベースＢ１２への書き換えの例について説明する。

【００２７】形態素変換部４は表４のような形態素列を
入力とし、形態素変換規則３に基づいて、当該入力の形
態素列を書き換える。表４の例では、 「（字数 普通名詞）（制限 普通名詞）」 という部分形態素列は、訓練用データ２には出現しない
形態素列であるため、表３の書き換え規則の中から、２
文字の普通名詞であることを手掛かりに 「（２ 普通名詞）（２ 普通名詞）＜−−＞（４ n-
com）」 という規則を選択し、この規則を適用することにより （字数制限 n-com） という部分形態素列に書き換えられる。一方、残りの部
分形態素列 「（は 係助詞）（ある 本動詞）（ん 準体助詞）
（でしょ 助動詞）（う助動詞）（か 終助詞）」は、
訓練用データ２に出現する形態素列であるため、表２の
書き換え規則をそのまま適用することにより、「（は
postp-topic）（あ vstem）（る vinfl）（ん fn）
（でしょう auxv-polt-aux-nom）（かauxv-sfp-1）」
と書き換れることができる、結果として表５のような言
語データベースＢの言語学的背景に基づく形態素列を得
ることができる。

【００２８】以上のように構成された本実施例の言語デ
ータベースの形態素列変換装置は、上述の従来の問題に
対して、語彙の区切り及び品詞情報の差異を変換するた
めに必要な形態素変換機能と、形態素変換規則の自動生
成機能を提供し、既に付与された形態素情報を有効に利
用しながら、異なる言語学的背景に基づくデータベース
の形態素情報を変換することを可能にする。これによっ
て、同一の言語学的背景に基づく言語データの量を拡大
することができる。例えば、当該言語データベースの形
態素列変換装置を、それぞれ形態素情報付きデータベー
スを利用した形態素解析装置、構文解析装置、文脈解析
装置、マイクロホンを介して入力された音声を認識する
音声認識装置等の統計的自然言語処理装置に適用するこ
とができる。この場合、形態素解析装置、構文解析装
置、文脈解析装置においては、従来技術に比較して大幅
に解析の精度を高くすることができ、音声認識装置にお
いては、音声認識率を従来技術に比較して大幅に高くす
ることができるという特有の効果がある。

【００２９】以上の実施例においては、２つの言語デー
タベースを対象とする場合を想定しているが、本発明は
これに限らず、３つ以上の言語データベース間で形態素
列を変換する場合には、すべての２つの組を対象として
複数回の変換を実行することにより対応可能である。

【００３０】

【発明の効果】以上詳述したように本発明によれば、異
なる言語学的背景に基づいて作成された複数の言語デー
タべース間に語彙の区切り及び品詞情報の差異が存在す
る場合に、形態素変換部が、形態素変換規則生成部によ
って生成された形態素変換規則に基づいて形態素列デー
タを書き換えることにより、同一の言語学的背景に基づ
く形態素列データの量を増大させることができる。これ
によって、同一の言語学的背景に基づく言語データの量
を拡大することができる。例えば、当該言語データベー
スの形態素列変換装置を、それぞれ形態素情報付きデー
タベースを利用した形態素解析装置、構文解析装置、文
脈解析装置、マイクロホンを介して入力された音声を認
識する音声認識装置等の統計的自然言語処理装置に適用
することができる。この場合、形態素解析装置、構文解
析装置、文脈解析装置においては、従来技術に比較して
大幅に解析の精度を高くすることができ、音声認識装置
においては、音声認識率を従来技術に比較して大幅に高
くすることができるという特有の効果がある。

【図面の簡単な説明】

【図１】 本発明に係る一実施例である言語データベー
スの形態素列変換装置のブロック図である。

【符号の説明】

１…形態素変換規則生成部、 ２…訓練用データ、 ３…形態素変換規則、 ４…形態素変換部、 １１…言語データベースＡ、 １２…言語データベースＢ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 浦谷 則好 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール音声翻 訳通信研究所内 (72)発明者 森元 逞 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール音声翻 訳通信研究所内

Claims (4)

【特許請求の範囲】
1. 【請求項１】 第１の言語学的背景に基づく語彙の区切
   り及び品詞情報を有する複数の形態素列を含む第１の言
   語データベースと、第２の言語学的背景に基づく語彙の
   区切り及び品詞情報を有する複数の形態素列を含む第２
   の言語データベースとを含む訓練用データに基づいて、
   上記第１の言語学的背景に基づく語彙の区切り及び品詞
   情報を有する形態素列を、上記第２の言語学的背景に基
   づく語彙の区切り情報及び品詞情報を有する形態素列に
   変換するための条件を記述する形態素変換規則を生成す
   る形態素規則生成部と、 上記形態素規則生成部によって生成された形態素変換規
   則に基づいて、上記第１の言語学的背景に基づく語彙の
   区切り及び品詞情報を有する形態素列を、上記第２の言
   語学的背景に基づく語彙の区切り情報及び品詞情報を有
   する形態素列に自動的に変換する形態素変換部とを備え
   たことを特徴とする言語データベースの形態素列変換装
   置。
2. 【請求項２】 上記形態素変換規則は、上記訓練用デー
   タに出現する形態素列に対応するための、語彙の区切り
   と品詞の対応関係を示す書き換え規則と、上記訓練用デ
   ータに出現しない未知語の形態素列に対応するための、
   語彙の区切り内の形態素の文字数と品詞の対応関係を示
   す書き換え規則とを含むことを特徴とする請求項１記載
   の言語データベースの形態素列変換装置。
3. 【請求項３】 上記形態素変換部はさらに、上記形態素
   規則生成部によって生成された形態素変換規則に基づい
   て、上記第１の言語学的背景に基づく語彙の区切り及び
   品詞情報を有する形態素列を、上記第２の言語学的背景
   に基づく語彙の区切り情報及び品詞情報を有する形態素
   列に自動的に変換することを特徴とする請求項１又は２
   記載の言語データベースの形態素列変換装置。
4. 【請求項４】 請求項１乃至３のうちの１つに記載の言
   語データベースの形態素列変換装置を備えたことを特徴
   とする自然言語処理装置。