JPH03129458A - 自然言語処理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 後血生互 ワードプロセッサやＤＰＳの日本語入力などに用いるか
な漢字変換処理方式および仮名漢字変換処理装置、音声
認識、機械翻訳や校正支援や文字認識等における自然言
語解析装置などの自然言語処理方式に関し、例えば、音
声合成等における仮名漢字変換装置等に適用されるもの
である。

灸来荻先 従来のかな漢字変換処理方式としては、最初の文節と後
続の文節を解析して、２文節の読み長を元に、最初の文
節を決定する２文節最長−教法が良く知られているが、
２文節の読み長だけでは最初の文節候補の尤もらしさを
正しく判断できないという欠点があり、正しい文節候補
が得られない場合があった。また、先の出願である特願
昭６３−２８８３３８号の方式は、１．５文節に尤もら
しさを与えて最初の１文節を決定する方式を提案したが
、この方式では、複数文節間の情報を扱えないという欠
点があった。

且−一姓 本発明は、上述のごとき欠点を解決するためになされた
もので、候補に対して１．５文節の単位または２文節の
単位で尤もらしさを与え、その１．５文節または２文節
候補の尤もらしさを、複数文節間でＮＨ的に合成する手
段を実現し１文節候補の尤もらしさを正しく判断する自
然言語処理を行う自然言語処理方式を提供することを目
的としてなされたものである。

講−−」又 本発明は、上記目的を達成するために、（１）＃語の情
報を保持する単語辞書を用いて仮名文字列を漢字仮名混
じり文字列に変換する仮名漢字変換処理において、最初
の１．５文節と、以降前文節に続く次の１．５文節に尤
もらしさを与え、それぞれの尤もらしさを合成した結果
から、最初の１文節を決定すること、更には、（２）句
読点を一つの自立語としてみなして１．５文節の尤もら
しさを与え、それぞれの尤もらしさを合成した結果から
、最初の１文節を決定すること、更には。

（３）読み文字列を句読点で区切った後、最初の１．５
文節と、以降前文節に続く次の１．５文節に尤もらしさ
を与え、それぞれの尤もらしさを合成した結果から、最
初の１文節を決定すること、更には、（４）読み文字列
から句読点を除いた後、最初の１．５文節と、以降前文
節に続く次の１．５文節に尤もらしさを与え、さらに句
読点までの長さで区切れる候補が尤もらしいという証拠
を与え、それぞれの尤もらしさを合成した結果から、最
初の１文節を決定すること、更には、（５）漢字仮名混
じり文字列に対して、文法解析を行い文飾を判断する日
本語処理において、最初の１．５文節と、以降前文節に
続く次の１．５文節に尤もらしさを与え、それぞれの尤
もらしさを合成した結果から、最初の１文節を決定する
こと、或いは、（６）単語情報を保持する単語辞書を用
いて仮名文字列を漢字仮名混じり文字列に変換する仮名
漢変換処理において、最初の２文節と、以降前文節に続
く次の２文節に尤もらしさを与え、それぞれの尤もらし
さを合成した結果から、最初の１文節を決定すること、
更には、（７）句読点を一つの自立語とみなして２文節
の尤もらしさを与え、それぞれの尤もらしさを合成した
結果から、最初の１文節を決定すること、更には、（８
）読み文字列を句読点で句切った後、最初の２文節と、
以降前文節に続く次の２文節に尤もらしさを与え、それ
ぞれの尤もらしさを合成した結果から、最初の１文節を
決定すること、更には、（９）読み文字列から句読点を
除いた後、最初の２文節と、以降前文節に続く次の２文
節に尤もらしさを与え、さらに句読点までの長さで１文
節が句切れる候補が尤もらしいという証拠を与え、それ
ぞれの尤もらしさを合成した結果から、最初の１文節を
決定すること、更には、（１０）漢字仮名混じり文字列
に対して、文法解析を行い文節を判断する日本語処理に
おいて、最初の２文節と、以降前文節に続く次の２文節
に尤もらしさを与え、それぞれの尤もらしさを合成した
結果から、最初の上文節を決定することを特徴としたも
のである。以下、本発明の実施例に基づいて説明する。

第１図は５本発明による自然言語処理方式の一実施例を
説明するための構成図で、図中、１は入力部、２は解析
処理部、３は候補抽出部、４は辞書検索部、５は辞書、
６は候補評価部、７は合成演算部、８は出力部である。

なお、解析を行う以前に既に確定している直前の文節を
確定文節という、文節と次に続く自立部を合わせて１．
５文節という。

候補抽出部３は１．５文節または２文節単位の候補群を
油出する処理を行う、候補評価部６は抽出した候補に対
して１．５文節または２文節としての尤もらしさを評価
して与える。合成演算部７は、確定文節の尤もらしさと
、最初の１．５文節の尤もらしさと、最初の１文節に続
く次の１．５文節の尤もらしさ、または最初の２文節の
尤もらしさと、最初の１文節に続く次の２文節の尤もら
しさに対して合成演算を行い最尤の候補の最初の１文節
を決定する。

第２図は、請求項１〜５に対する候補抽出部の構成を示
す図で、解析開始位置から、１．５文節の単位で候補群
をすべて蓄積（候補ｌ、候補２、・・・・・、候補ｎ）
する１次にそれぞれの候補の第１文節に続く候補を同様
に１．５文節の単位で蓄積（候補１に対して候補１−１
、候補１−２．・・・・・・候補１−ｍ、候補２に対し
て候補２−４、候補２−２、・・・・・・）する。

候補評価部では、候補抽出部で抽出したすべての１．５
文節候補に対して尤もらしさを、候補ｌに対してＣ１、
候補２に対してＣ２、候補１−１に対してＣ１１、・・
・のように与える。ここで与える尤もらしさは、１．５
文節の読み長でも、１．５文節を構成する単語の頻度の
合計でも、あるいは１．５文節を構成する候補について
読み長・頻度・接続し易さなどを総合的に判断した値で
もよい。

重要なことは、正しい候補を含む１．５文節の尤もらし
さが十分に高くなるように、尤もらしさを与えることで
ある。

第６＠は、請求項６〜１０に対する候補抽出部の構成を
示す回で、解析開始位置から２文節の単位で候補群をす
べて蓄積（候補１．候補２、・・・・・・候補ｎ）する
。次にそれぞれの候補の第１文節に続く候補を同様に２
文節の単位で蓄積（候補１に対して候補１−１、候補１
−２、・・・・・・、候補ニーｍ、候補２に対で候補２
−１、候補２−２．・・・・・・）する。

候補評価部では、候補抽出部で抽出したすべての２文節
候補に対して尤もらしさを、候補１に対してＣ１、候補
２に対してＣ２、候補１−１に対してＣ１ｌ、・・・の
ように与える。ここで与える尤もらしさは、２文節の読
み長でも、２文節を構成する単語の頻度の合計でも、あ
るいは２文節を構成する候補について読み長・頻度・接
続し易さなどを総合的に判断した値でもよい。重要なこ
とは、正しい候補を含む２文節の尤もらしさが十分に高
くなるように、尤もらしさを与えることである６合成演
算部の実施例として、まず１つは、前記候補評価部で与
えた各候補の尤もらしさの総和で判断する方法で、 Ｍａｘ（Σ（ＣＩ、Ｃ１１）、Σ（Ｃ１、Ｃ１２）、−
、Σ（Ｃ２，Ｃ２１）、−、）が、最高値となる場合の
最初の一文節を最尤候補として決定する方法。

又、それぞれの候補の尤もらしさをデンプスターシェー
ファーの確率理論における証拠とみなして、デンプスタ
ーシエーファーの結合規則を適用した合成演算の結果か
ら最初の１文節を最尤候補として決定する方法等が考え
られる。

第３図は１句読点を一つの自立語とみなして、１．５文
節の合成演算を実施した例で、その処理の流れを示す、
以下の５ｔｅｐに従って説明する。

％　；　１　、５文節単位で候補の尤もらしさを解析す
る。候補の尤度＝Σ（第１自立部の尤度、第１付属部の
尤度、第２自立部の尤度）である。

牡旺主；正解候補は、蓄積された候補の中で上位１０候
補の中にあると子側して、上位上０候補のみを蓄積する
。ただし、最尤候補の１．５文節読み長が、読み文字列
の区切り長さ（最初に現われる句読点・記号までの長さ
）と同じ場合は、以下の処理を行なわないので、この時
点での最尤候補を、第１文節として決定する。

ｓｔｅ上」−；蓄積した各候補に対して、次文節を前記
５ｔｅｐ　１の処理と同じ１．５文節単位で解析し、上
位１０候補を蓄積する。

％　；上述の処理によって蓄積した最初の１．５文節に
ついて、それぞれの候補の確からしさを独立の証拠とし
て扱って演算処理を行う。本発明では、現在数に示す演
算処理を行なっている。

候補の尤度＝Σ（第１自立部の尤度、第１付属部の尤度
、第２自立部の尤度、第２付属部の尤度、第３自立部の
尤度） 畦牡互；上述の尤度演算の結果より、尤度が最高値の候
補の第１文節を最初の１文節として決定する。

第４図は、読み文字列を句読点で区切った後。

解析を実施した例で、その処理の流れを示す。

並虹ヨ；ここで、読み文字列を、句読点で区切っている
。

並鉦主；　１　、５文節単位で候補の尤もらしさを解析
する。候補の尤度＝Σ（第１自立部の尤度、第■付属部
の尤度、第２自立部の尤度）である。

並旺立；正解候補は、蓄積された候補の中で上位１０候
補の中にあると子側して、上位１０候補のみを蓄積する
。ただし、最尤候補の１．５文節読み長が、読み文字列
の区切り長さ（最初に呪われる句読点・記号までの長さ
）と同じ場合は、以下の処理を行なわないので、この時
点での最尤候補を、第１文節として決定する。

Σり上４−；蓄積した各候補に対して、次文節を前記５
ｔｅｐ　１の処理と同じ１．５文節単位で解析し、上位
１０候補を蓄積する。

％　；上述の処理によって蓄積した最初の１．５文節に
ついて、それぞれの候補の確からしさを独立の証拠とし
て扱って演算処理を行う。本発明では、現在数に示す演
算処理を行なっている。

候補の尤度＝Σ（第１自立部の尤度、第１付属部の尤度
、第２自立部の尤度、第２付属部の尤度、第３自立部の
尤度） 匹旺且；上述の尤度演算の結果より、尤度が最高値の候
補の第１文節を最初の１文節として決定する。

第５図は、読み文字列から句読点を除いた後、解析を実
施し、合成演算のときに句読点による区切り位置の尤ら
しさを証拠に加えて解析を実施した例で、その処理の流
れを示す。

鮭址土；ここで、読み文字列から句読点を除いている。

鮭弘主；　１　、５文節単位で候補の尤もらしさを解析
する。候補の尤度；Σ（第１自立部の尤度、第１付属部
の尤度、第２自立部の尤度）である。

鮭田王；正解候補は、蓄積された候補の中で上位１０候
補の中にあると子側して、上位上０候補のみを蓄積する
。ただし、最尤候補の１．５文節読み長が、読み文字列
の区切り長さ（最初に現われる句読点・記号までの長さ
）と同じ場合は、以下の処理を行なわないので、この時
点での最尤候補を、第工文節として決定する。

Σり上４−；蓄積した各候補に対して、次文節を前記５
ｔｅｐ　１の処理と同じ１．５文節単位で解析し、上位
１０候補を蓄積する。

Ｌ鵠上上−；上述の処理によって蓄積した最初の１．５
文節について、それぞれの候補の確からしさを独立の証
拠として扱って演算処理を行う１本発明では、現在法に
示す演算処理を行なっている。

候補の尤度＝Σ（第１自立部の尤度、第１付属部の尤度
、第２自立部の尤度、第２付属部の尤度。

第３自立部の尤度、句読点区切りからの尤度）鮭吐旦；
上述の尤度演算の結果より、尤度が最高値の候補の第１
文節を最初の工文節として決定する。

なお、入力が漢字かな混じり文であっても、第３図の５
ｔｅｐ　ｌの処理を漢字かな混じり文に対して実施し、
１．５文節を油出し、尤度を与えることで実現できる。

第７図は、句読点を一つの自立語とみなして、２文節の
合成演算を実施した例で、その処理の流れを示す。以下
の５ｔｅｐに従って説明する。

杜弘工；２文節単位で候補の尤もらしさを解析する。候
補の尤度＝Σ（第１自立部の尤度、第１付属部の尤度、
第２自立部の尤度、第２付属部の尤度〉である。

鮭旺主；正解候補は、蓄積された候補の中で上位１０候
補の中にあると子側して、上位１０候補のみを蓄積する
。ただし、最尤候補の２文節読み長が、読み文字列の区
切り長さ（最初に現われる句読点・記号までの長さ）と
同じ場合は、以下の処理を行なわないので、この時点で
の最尤候補を、第１文節として決定する。

Ｍ；蓄積した各候補に対して、次文節を前記５ｔｅｐ　
１の処理と同じ２文節単位で解析し、上位１０候補を蓄
積する。

１！上【−；上述の処理によって蓄積した最初の２文節
について、それぞれの候補の確からしさを独立の証拠と
して扱って演算処理を行う。本発明では、現在法に示す
演算処理を行なっている。候補の尤度＝Σ（第１自立部
の尤度、第１付属部の尤度、第２自立部の尤度、第２付
属部の尤度、第３自立部の尤度、第３付属部の尤度） 牡吐ｉ；上述の尤度演算の結果より、尤度が最高値の候
補の第１文節を最初の上文節として決定する。

第８図は、読み文字列を句読点で区切った後、解析を実
施した例で、その処理の流れを示す。

畦吐ヨ；ここで、読み文字列を、句読点で区切っている
。

７ｉ　２文節単位で候補の尤もらしさを解析する。候補
の尤度＝Σ（第１自立部の尤度、第工付属部の尤度、第
２自立部の尤度、第２付属部の尤度）である。

吐旺立：正解候補は、蓄積された候補の中で上位１０候
補の中にあると子側して、上位１０候補のみを蓄積する
。ただし、最尤候補の２文節読み長が、読み文字列の区
切り長さ（最初に呪われる句読点・記号までの長さ）と
同じ場合は、以下の処理を行なわないので、この時点で
の最尤候補を、第１文節として決定する。

ｓｔｅ上４−；蓄積した各候補に対して、次文節を前記
５ｔｅｐ　１の処理と同じ２文節単位で解析し、上位１
０候補を蓄積する。

ｓｔｅ上ｊ−；上述の処理によって蓄積した最初の２文
節について、それぞれの候補の確からしさを独立の証拠
として扱って演算処理を行う０本発明では、現在法に示
す演算処理を行なっている。候補の尤度＝Σ（第１自立
部の尤度、第■付属部の尤度、第２自立部の尤度、第２
付属部の尤度、第３自立部の尤度、第３付属部の尤度） 旦皿且；上述の尤度演算の結果より、尤度が最高値の候
補の第１文節を最初の１文節として決定する。

第９図は、読み文字列から句読点を除いた後、解析を実
施し、合成演算のときに句読点による区切り位置の尤ら
しさを証拠に加えて解析を実施した例で、その処理の流
れを示す。

社弘よ；ここで、読み文字列から句読点を除いている。

蛙肚１；　２文節単位で候補の尤もらしさを解析する。

候補の尤度＝Σ（第１自立部の尤度、第１付属部の尤度
、第２自立部の尤度、第２付属部の尤度）である。

吐旺主；正解候補は、蓄積された候補の中で上位１０候
補の中にあると子側して、上位１０候補のみを蓄積する
。ただし、最尤候補の２文節読み長が、読み文字列の区
切り長さ（最初に現われる句読点・記号までの長さ）と
同じ場合は、以下の処理を行なわないので、この時点で
の最尤候補を、第１文節として決定する。

射」上４−；蓄積した各候補に対して、次文節を前記５
ｔｅｐ　１の処理と同じ２文節単位で解析し、上位１０
候補を蓄積する。

旦シ」」−；上述の処理によって蓄積した最初の２文節
について、それぞれの候補の確からしぎを独立の証拠と
して扱って演算処理を行う。本発明では、現在法に示す
演算処理を行なっている。候補の尤度＝Σ（第１自立部
の尤度、第１付属部の尤度、第２自立部の尤度、第２付
属部の尤度、第３自立部の尤度、第３付属部の尤度、句
読点区切りからの尤度） 旦牡且；上述の尤度演算の結果より、尤度が最高値の候
補の第１文節を最初の１文節として決定する。

なお、入力が漢字かな混じり文であっても、第７図の５
ｔｅｐ　１の処理を漢字かな混じり文に対して実施し、
２文節を抽出し、尤度を与えることで実現できる。

以上、本発明の実施例では、候補の尤らしさを。

第１自立部の尤度、第１付属部の尤度、第２自立部の尤
度、第２付属部の尤度、第３自立部の尤度。

を用いて判断する例と、更に、第３付属部の尤度をも用
いて判断する例を示したが、最初の１．５文節の尤度と
次の１．５文節の尤度とを総和して判断しても、最初の
２文節の尤度と次の２文節の尤度とを総和して判断して
ももちろんよい。また、この合成演算部がＤ−Ｓ演算の
場合はもちろん、そのほかの演算方法であっても本発明
における技術思想の範囲内である。また、候補抽出部に
おいて最初の２文節に続く１．５文節、または２文節を
抽出して、候補評価部において評価を行って尤らしさを
与え、合成演算部でこれらの尤らしさを合成して最初の
１文節を最尤候補として決定する等、複数文節を対象に
する場合も本発明に含まれる。

劾」 以上の説明から明らかなように１本発明によると、１文
節に続く自立部含んで１．５文節または２文節での尤ら
しさを階層的に合成することにより、最初の文節候補の
尤らしさを正しく判断できるようになった。

【図面の簡単な説明】

第１図は１本発明による自然言語処理方式の一実施例を
説明するための構成図、第２図、第６図は、候補抽出部
の具体例を示す図、第３図は１句読点を一つの自立語と
みなして、１．５文節の合成演算を実施する場合のフロ
ーチャート、第４図は、読み文字列を句読点で区切った
後、解析を実施する場合のフローチャート、第５図は、
読み文字列から句読点を除いた後、解析を実施する場合
のフローチャート、第７図は、句読点を一つの自立語と
みなして、２文節の合成演算を実施する場合のフローチ
ャート、第８図は、読み文字列を句読点で区切った後、
解析を実施する場合のフローチャート、第９図は、読み
文字列から句読点を除いた後、解析を実施する場合のフ
ローチャートである。 ｌ・・・入力部、２・・・解析処理部、３・・・候補抽
出部。 ４・・・辞書検索部、５・・・辞書、６・・・候補評価
部、７・・・合成演算部、８・・・出力部。 第 １ 図 第 図 闘２−１ヒ＝＝＝工＝コ 第 図 第 図 第 ５ 図 第 図 第 ８ 図 第 図

Claims (1)

1. 【特許請求の範囲】 １、単語の情報を保持する単語辞書を用いて仮名文字列
   を漢字仮名混じり文字列に変換する仮名漢字変換処理に
   おいて、最初の１．５文節と、以降前文節に続く次の１
   ．５文節に尤もらしさを与え、それぞれの尤もらしさを
   合成した結果から、最初の１文節を決定することを特徴
   とする自然言語処理方式。 ２、句読点を一つの自立語としてみなして １．５文節の尤もらしさを与え、それぞれの尤もらしさ
   を合成した結果から、最初の１文節を決定することを特
   徴とする請求項１記載の自然言語処理方式。 ３、読み文字列を句読点で区切った後、最初の１．５文
   節と、以降前文節に続く次の１．５文節に尤もらしさを
   与え、それぞれの尤もらしさを合成した結果から、最初
   の１文節を決定することを特徴とする請求項１記載の自
   然言語処理方式。 ４、読み文字列から句読点を除いた後、最初の１．５文
   節と、以降前文節に続く次の１．５文節に尤もらしさを
   与え、さらに句読点までの長さで区切れる候補が尤もら
   しいという証拠を与え、それぞれの尤もらしさを合成し
   た結果から、最初の１文節を決定することを特徴とする
   請求項１記載の自然言語処理方式。 ５、漢字仮名混じり文字列に対して、文法解析を行い文
   節を判断する日本語処理において、最初の１．５文節と
   、以降前文節に続く次の１．５文節に尤もらしさを与え
   、それぞれの尤もらしさを合成した結果から、最初の１
   文節を決定することを特徴とする請求項１記載の自然言
   語処理方式。 ６、単語情報を保持する単語辞書を用いて仮名文字列を
   漢字仮名混じり文字列に変換する仮名漢変換処理におい
   て、最初の２文節と、以降前文節に続く次の２文節に尤
   もらしさを与え、それぞれの尤もらしさを合成した結果
   から、最初の１文節を決定することを特徴とする自然言
   語処理方式。 ７、句読点を一つの自立語とみなして２文節の尤もらし
   さを与え、それぞれの尤もらしさを合成した結果から、
   最初の１文節を決定することを特徴とする請求項６記載
   の自然言語処理方式。 ８、読み文字列を句読点で句切った後、最初の２文節と
   、以降前文節に続く次の２文節に尤もらしさを与え、そ
   れぞれの尤もらしさを合成した結果から、最初の１文節
   を決定することを特徴とする請求項６記載の自然言語処
   理方式。 ９、読み文字列から句読点を除いた後、最初の２文節と
   、以降前文節に続く次の２文節に尤もらしさを与え、さ
   らに句読点までの長さで１文節が句切れる候補が尤もら
   しいという証拠を与え、それぞれの尤もらしさを合成し
   た結果から、最初の１文節を決定することを特徴とする
   請求項６記載の自然言語処理方式。 １０、漢字仮名混じり文字列に対して、文法解析を行い
   文節を判断する日本語処理において、最初の２文節と、
   以降前文節に続く次の２文節に尤もらしさを与え、それ
   ぞれの尤もらしさを合成した結果から、最初の１文節を
   決定することを特徴とする請求項６記載の自然言語処理
   方式。