JPH04242472A - 形態素解析コスト作成支援装置 - Google Patents
形態素解析コスト作成支援装置Info
- Publication number
- JPH04242472A JPH04242472A JP3015830A JP1583091A JPH04242472A JP H04242472 A JPH04242472 A JP H04242472A JP 3015830 A JP3015830 A JP 3015830A JP 1583091 A JP1583091 A JP 1583091A JP H04242472 A JPH04242472 A JP H04242472A
- Authority
- JP
- Japan
- Prior art keywords
- cost
- rule
- constraint data
- morpheme analysis
- given
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000000877 morphologic effect Effects 0.000 claims description 17
- 238000013500 data storage Methods 0.000 abstract description 4
- 238000012937 correction Methods 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 13
- 230000014509 gene expression Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000007728 cost analysis Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【０００１】
【産業上の利用分野】本発明は、形態素解析プログラム
において、複数の解をパックした意味表現から、一つの
解を選ぶことを目的とし、意味表現の一部分（ノード，
アーク）に付与するコストを決定するために用いる形態
解析コスト作成支援方法に関するものである。
において、複数の解をパックした意味表現から、一つの
解を選ぶことを目的とし、意味表現の一部分（ノード，
アーク）に付与するコストを決定するために用いる形態
解析コスト作成支援方法に関するものである。
【０００２】従来、形態素解析プログラムにおいて、解
の候補が複数ある場合に、それぞれの候補のコストを計
算し、最もコストが小さい解を最終的な解とする方法が
コスト最小法形態解析として知られている。
の候補が複数ある場合に、それぞれの候補のコストを計
算し、最もコストが小さい解を最終的な解とする方法が
コスト最小法形態解析として知られている。
【０００３】このとき、意味表現にコストを与えるルー
ルを作成しなければならないが、各ルールの与える具体
的な値は、人間が統計的データや、例文の解析結果を見
ながら経験的に決定するのが一般的であった。
ルを作成しなければならないが、各ルールの与える具体
的な値は、人間が統計的データや、例文の解析結果を見
ながら経験的に決定するのが一般的であった。
【０００４】
【発明が解決しようとする課題】しかしながら、上記従
来の方法では、コストルールが与えるコストの値の決定
に多くの労力を要するばかりではなく、コストルールの
数が増えた場合には、コストの値を決定することが事実
上不可能になるという恐れがあった。
来の方法では、コストルールが与えるコストの値の決定
に多くの労力を要するばかりではなく、コストルールの
数が増えた場合には、コストの値を決定することが事実
上不可能になるという恐れがあった。
【０００５】本発明は上述の点に鑑みてなされたもので
、コスト最小法において、コストルールの与えるコスト
の決定が容易でないという問題点を解決し、大規模な形
態解析素用コストルールの作成を容易にする形態解析コ
スト作成支援方法を提供することを目的とする。
、コスト最小法において、コストルールの与えるコスト
の決定が容易でないという問題点を解決し、大規模な形
態解析素用コストルールの作成を容易にする形態解析コ
スト作成支援方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】上記課題を解決するため
本発明は、文書の形態素であるノード及び該形態素の組
合せであるアークに所定のコストルールでコストを与え
、該ノードコストとアークコストの総和からコスト最小
の形態素系列を決定するコスト最小法形態素解析におい
て、前記ノード及びアークに与えるコストが未定のコス
ト変数であるコストルールと、文書の形態素を所定のル
ールで不等式で表現した制約データを用い、該制約デー
タに前記コストルールからコスト変数を与え、該コスト
変数で置き換えられた不等式で前記コストルールのコス
ト値の決定を支援することを特徴とする。
本発明は、文書の形態素であるノード及び該形態素の組
合せであるアークに所定のコストルールでコストを与え
、該ノードコストとアークコストの総和からコスト最小
の形態素系列を決定するコスト最小法形態素解析におい
て、前記ノード及びアークに与えるコストが未定のコス
ト変数であるコストルールと、文書の形態素を所定のル
ールで不等式で表現した制約データを用い、該制約デー
タに前記コストルールからコスト変数を与え、該コスト
変数で置き換えられた不等式で前記コストルールのコス
ト値の決定を支援することを特徴とする。
【０００７】
【作用】上記のように本発明は、コストルールのコスト
値の決定を制約データを用いて支援するので、複雑なコ
ストルールが迅速且つ容易に作成することができる。
値の決定を制約データを用いて支援するので、複雑なコ
ストルールが迅速且つ容易に作成することができる。
【０００８】
【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は本発明の実施例の形態解析コスト作成支援
装置の構成を示すブロック図である。図１において、１
はコストルールや制約データの入力や結果の修正を行う
ためのインターフェース、２はコストルールを格納する
コストルール格納装置、３は制約データを格納する制約
データ格納装置、４は制約データを満たすようにすべて
の各コストルールの与えるコストを決定するコスト変数
決定装置、５はコストルール及び制約データを修正する
コストルール・制約データ修正装置である。
する。図１は本発明の実施例の形態解析コスト作成支援
装置の構成を示すブロック図である。図１において、１
はコストルールや制約データの入力や結果の修正を行う
ためのインターフェース、２はコストルールを格納する
コストルール格納装置、３は制約データを格納する制約
データ格納装置、４は制約データを満たすようにすべて
の各コストルールの与えるコストを決定するコスト変数
決定装置、５はコストルール及び制約データを修正する
コストルール・制約データ修正装置である。
【０００９】図１に示す形態解析コスト作成支援装置の
動作を図７を基づいて説明する。先ず、コストルール及
び制約データを作成し（人手により作成）（ステップＳ
Ｔ１１）、該コストルール及び制約データをインターフ
ェース１を通して入力し、それぞれコストルール格納装
置２及び制約データ格納装置３に格納する（ステップＳ
Ｔ１２）。続いてコスト変数決定装置４で、コスト決定
処理を行い（ステップＳＴ１３）、続いてコスト決定が
成功したか否かを判断し（ステップＳＴ１４）、コスト
決定が成功したら該決定したコストを出力し（ステップ
ＳＴ１５）、コスト決定が不成功であったら、コストル
ール制約データ修正装置で、コストルール・制約データ
の修正を行い（ステップＳＴ１６）、再びコスト決定処
理を行う。以下、上記動作の詳細を説明する。
動作を図７を基づいて説明する。先ず、コストルール及
び制約データを作成し（人手により作成）（ステップＳ
Ｔ１１）、該コストルール及び制約データをインターフ
ェース１を通して入力し、それぞれコストルール格納装
置２及び制約データ格納装置３に格納する（ステップＳ
Ｔ１２）。続いてコスト変数決定装置４で、コスト決定
処理を行い（ステップＳＴ１３）、続いてコスト決定が
成功したか否かを判断し（ステップＳＴ１４）、コスト
決定が成功したら該決定したコストを出力し（ステップ
ＳＴ１５）、コスト決定が不成功であったら、コストル
ール制約データ修正装置で、コストルール・制約データ
の修正を行い（ステップＳＴ１６）、再びコスト決定処
理を行う。以下、上記動作の詳細を説明する。
【００１０】図２は形態素解析の複数解をパックした意
味表現の例を示す図である。図２において、１１をノー
ド（形態素）、１２をアーク（形態素と形態素の組合せ
）と呼ぶことにする。そして文の先頭と最後にＳＴＡＲ
Ｔ，ＥＮＤと呼ぶダミーのノードを付加する。
味表現の例を示す図である。図２において、１１をノー
ド（形態素）、１２をアーク（形態素と形態素の組合せ
）と呼ぶことにする。そして文の先頭と最後にＳＴＡＲ
Ｔ，ＥＮＤと呼ぶダミーのノードを付加する。
【００１１】図３は図２のような意味表現から最も適当
と思われるパスをコスト最小解として選ぶためのコスト
ルールの例を示す図である。同図のコストルールは、ノ
ード及びアークに対してコストを与える。但しここでは
各コストルールが与えるコストは、全て未定としておき
、非負変数を含んだ項（以下、コスト変数と呼ぶ）で表
現しておく。図３において、Ｃ１〜Ｃ２はノードに対す
るコストルールの変数、Ｃ３〜Ｃ２４はアークに対する
コストルールの変数である。また、Ｃ１〜Ｃ２４は非負
（０又は正の数）である。
と思われるパスをコスト最小解として選ぶためのコスト
ルールの例を示す図である。同図のコストルールは、ノ
ード及びアークに対してコストを与える。但しここでは
各コストルールが与えるコストは、全て未定としておき
、非負変数を含んだ項（以下、コスト変数と呼ぶ）で表
現しておく。図３において、Ｃ１〜Ｃ２はノードに対す
るコストルールの変数、Ｃ３〜Ｃ２４はアークに対する
コストルールの変数である。また、Ｃ１〜Ｃ２４は非負
（０又は正の数）である。
【００１２】図４はコストルールのコストを決定するた
めの制約データの例を示す図である。制約データは誤っ
た意味表現＞正しい表現、又は正しい表現＜誤った表現
（即ち、正しい表現は誤った表現よりコストが小さくに
る）の形式で表示する。ここで不等号は両辺の総てのコ
ストルールを適用した場合のコストの総和の大小を表す
。
めの制約データの例を示す図である。制約データは誤っ
た意味表現＞正しい表現、又は正しい表現＜誤った表現
（即ち、正しい表現は誤った表現よりコストが小さくに
る）の形式で表示する。ここで不等号は両辺の総てのコ
ストルールを適用した場合のコストの総和の大小を表す
。
【００１３】図５は、コスト変数決定装置４の動作過程
を示す図であり、コスト決定は下記の手順で行う。制約
データ（図４）の両辺にコストルール（図３）を適用し
、コスト変数の和に置き換える操作を総ての制約データ
に対して繰返し、図５の（１）の不等式を得る。次に、
図５の（２）に示すように得られた不等式を満たすコス
ト変数Ｃ１，Ｃ２，・・・・・の値を決定する。全ての
解が得られた場合は、コスト変数の値を出力し、終了す
るが、解が得られなかった場合は、コストルール・制約
データ修正装置５により、コストルール又は制約データ
を修正して、解が得られるようにする。
を示す図であり、コスト決定は下記の手順で行う。制約
データ（図４）の両辺にコストルール（図３）を適用し
、コスト変数の和に置き換える操作を総ての制約データ
に対して繰返し、図５の（１）の不等式を得る。次に、
図５の（２）に示すように得られた不等式を満たすコス
ト変数Ｃ１，Ｃ２，・・・・・の値を決定する。全ての
解が得られた場合は、コスト変数の値を出力し、終了す
るが、解が得られなかった場合は、コストルール・制約
データ修正装置５により、コストルール又は制約データ
を修正して、解が得られるようにする。
【００１４】図６はコストルール・制約データの修正過
程の例を示す図である。コストルール・制約データの修
正は下記のようにして行う。
程の例を示す図である。コストルール・制約データの修
正は下記のようにして行う。
【００１５】（１）解のない制約データの組が、制約デ
ータ１，２，・・・・ｎである場合 。 （２）上記制約データ１，２，・・・・ｎの内、
削除したくない制約データ（例えば絶対間違いのないデ
ータ、最優先させるデータ等）に人手によりマーク（○
印）を付ける。そして削りたくないデータがない場合は
何もつけない。 （３）コストルール制約データ修正装置５により、除外
しなければならない制約データの組合せを決定する。 （４）上記（３）の結果で得られた、除外しなければな
らない制約データを見ながら人間が原因を発見し、除外
する制約データが少なくなるようにコストルール又は制
約データを修正して新しい制約データの組、制約データ
１，２，・・・・ｍ（ｍ＜ｎ）得、続いてコスト変数決
定装置４により、コスト決定を行う。コスト決定が成功
した場合は終了し、成功しなかった修正の最初に戻り処
理を繰り返す。
ータ１，２，・・・・ｎである場合 。 （２）上記制約データ１，２，・・・・ｎの内、
削除したくない制約データ（例えば絶対間違いのないデ
ータ、最優先させるデータ等）に人手によりマーク（○
印）を付ける。そして削りたくないデータがない場合は
何もつけない。 （３）コストルール制約データ修正装置５により、除外
しなければならない制約データの組合せを決定する。 （４）上記（３）の結果で得られた、除外しなければな
らない制約データを見ながら人間が原因を発見し、除外
する制約データが少なくなるようにコストルール又は制
約データを修正して新しい制約データの組、制約データ
１，２，・・・・ｍ（ｍ＜ｎ）得、続いてコスト変数決
定装置４により、コスト決定を行う。コスト決定が成功
した場合は終了し、成功しなかった修正の最初に戻り処
理を繰り返す。
【００１６】上記（３）のコストルール制約データ修正
装置により、除外しなければならない制約データの組合
せの決定は、下記のようにして行われる。
装置により、除外しなければならない制約データの組合
せの決定は、下記のようにして行われる。
【００１７】（ａ）制約データ格納装置３内のｎ個の制
約データを除外して、コスト変数決定を行う。除外する
組合せは全ての組合せを試し、コストが求まるような全
ての除外組合せを出力する。ｎは１から順にコスト変数
が決定できるまでインクリメントする。 （ｂ）ここで予めマークがつけられている制約データは
除外の対象にしない。 （ｃ）また、採用の優先順位を付けておくこともできる
。例えば、先に登録した制約データを優先的に採用する
。或いは、各制約データに確信度をつけ、この確信度の
高い制約データを優先的に採用する。
約データを除外して、コスト変数決定を行う。除外する
組合せは全ての組合せを試し、コストが求まるような全
ての除外組合せを出力する。ｎは１から順にコスト変数
が決定できるまでインクリメントする。 （ｂ）ここで予めマークがつけられている制約データは
除外の対象にしない。 （ｃ）また、採用の優先順位を付けておくこともできる
。例えば、先に登録した制約データを優先的に採用する
。或いは、各制約データに確信度をつけ、この確信度の
高い制約データを優先的に採用する。
【００１８】上記のようにして決定されたコスト変数の
値でコストルールの変数を置き換えたコストルールを形
態素解析プログラムに組み込んで使用する。
値でコストルールの変数を置き換えたコストルールを形
態素解析プログラムに組み込んで使用する。
【００１９】
【発明の効果】コスト最小解析法に、本発明の形態解析
コスト作成支援方法を適用することにより、下記のよう
な優れた効果が得られる。 （ａ）複雑なコストルールを迅速且つ容易に作成するこ
とができる。 （ｂ）コスト値を決定した根拠がデータとして残すこと
ができる。
コスト作成支援方法を適用することにより、下記のよう
な優れた効果が得られる。 （ａ）複雑なコストルールを迅速且つ容易に作成するこ
とができる。 （ｂ）コスト値を決定した根拠がデータとして残すこと
ができる。
【図１】本発明の実施例の形態解析コスト作成支援装置
の構成を示すブロック図である。
の構成を示すブロック図である。
【図２】形態素解析の複数解をパックした意味表現の例
を示す図である。
を示す図である。
【図３】図３は図２のような意味表現から最も適当と思
われるパスをコスト最小解として選ぶためのコストルー
ルの例を示す図である。
われるパスをコスト最小解として選ぶためのコストルー
ルの例を示す図である。
【図４】コストルールのコストを決定するための制約デ
ータの例を示す図である。
ータの例を示す図である。
【図５】コスト変数決定装置の動作過程を示す図である
。
。
【図６】コストルール・制約データの修正過程の例を示
す図である。
す図である。
【図７】図１に示す形態解析コスト作成支援装置の動作
の流れを示す図である。
の流れを示す図である。
１ インターフェース
Claims (1)
- 【請求項１】文書の形態素であるノード及び該形態素の
組合せであるアークに所定のコストルールでコストを与
え、該ノードコストとアークコストの総和からコスト最
小の形態素系列を決定するコスト最小法形態素解析にお
いて、前記ノード及びアークに与えるコストが未定のコ
スト変数であるコストルールと、文書の形態素を所定の
ルールで不等式で表現した制約データを用い、該制約デ
ータに前記コストルールからコスト変数を与え、該コス
ト変数で置き換えられた不等式で前記コストルールのコ
スト値の決定を支援することを特徴とする形態解析コス
ト作成支援方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01583091A JP3174886B2 (ja) | 1991-01-16 | 1991-01-16 | 形態素解析コスト作成支援装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01583091A JP3174886B2 (ja) | 1991-01-16 | 1991-01-16 | 形態素解析コスト作成支援装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04242472A true JPH04242472A (ja) | 1992-08-31 |
| JP3174886B2 JP3174886B2 (ja) | 2001-06-11 |
Family
ID=11899769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01583091A Expired - Fee Related JP3174886B2 (ja) | 1991-01-16 | 1991-01-16 | 形態素解析コスト作成支援装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3174886B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013097534A (ja) * | 2011-10-31 | 2013-05-20 | Fujitsu Ltd | 形態素解析装置、方法、プログラム、音声合成装置、方法、プログラム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102134127A (zh) * | 2011-05-06 | 2011-07-27 | 梁锦雄 | 一种生物窠 |
-
1991
- 1991-01-16 JP JP01583091A patent/JP3174886B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013097534A (ja) * | 2011-10-31 | 2013-05-20 | Fujitsu Ltd | 形態素解析装置、方法、プログラム、音声合成装置、方法、プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3174886B2 (ja) | 2001-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8321371B2 (en) | Enhanced artificial intelligence language | |
| CN109766538B (zh) | 一种文本纠错方法、装置、电子设备以及存储介质 | |
| JP6778654B2 (ja) | 単語分割推定モデル学習装置、単語分割装置、方法、及びプログラム | |
| TWI567569B (zh) | Natural language processing systems, natural language processing methods, and natural language processing programs | |
| JPH04242472A (ja) | 形態素解析コスト作成支援装置 | |
| JP2704945B2 (ja) | 重複表現処理装置 | |
| JP2680419B2 (ja) | 文字認識装置 | |
| JPH09325673A (ja) | 翻訳文添削支援装置 | |
| JPH0237429A (ja) | 再翻訳処理の高速化方式 | |
| KR20220154422A (ko) | 음성 인식 방법 및 장치 | |
| Sastre et al. | Efficient parsing using recursive transition networks with output | |
| JP2940394B2 (ja) | 原始プログラム修正装置 | |
| WO2024050636A1 (en) | Tokenization of data for use in ai applications | |
| JPH0424825A (ja) | 文法編集処理装置 | |
| JPH0553815A (ja) | 推論装置における支援方式 | |
| CN113515934A (zh) | 文本纠错方法、装置、存储介质及电子设备 | |
| CN118467683A (zh) | 基于自然语言的合同文本审查方法、系统、装置及介质 | |
| JPH09212511A (ja) | 自然言語処理装置 | |
| JPH05233714A (ja) | 関連語情報作成支援方式 | |
| JPH0414175A (ja) | 自然言語文解析装置 | |
| JPH09185616A (ja) | 文字処理方法 | |
| JPH03127264A (ja) | 括弧付き文の機械翻訳方式 | |
| JPH0433058A (ja) | 機械翻訳装置 | |
| JPH04367073A (ja) | 機械翻訳システムにおける文法作成支援方法 | |
| JPH03242759A (ja) | 日本語文書推敲支援装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |