JP4283898B2 - 文章校正装置 - Google Patents
文章校正装置 Download PDFInfo
- Publication number
- JP4283898B2 JP4283898B2 JP27313895A JP27313895A JP4283898B2 JP 4283898 B2 JP4283898 B2 JP 4283898B2 JP 27313895 A JP27313895 A JP 27313895A JP 27313895 A JP27313895 A JP 27313895A JP 4283898 B2 JP4283898 B2 JP 4283898B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- correct
- unit
- extracted
- correct word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、文章校正装置に係わり、特に、誤って入力された文字列を正しい文字列に校正する文章校正装置に関する。
近年、ワードプロセッサなどの文章処理装置には、誤って入力された文字列を正しい文字列に訂正するいわゆる文章校正機能を有するものがある。このような、文章校正機能には、表記の僅かな違いのある単語群や同義語を自動的に標準化してユーザの行うテキストの校正作業を能率化したり類義語の情報をテキスト・辞書などから自動的に獲得した文章データに対して、誤って入力された文字列を正しい文字列に自動的に訂正することにより文章校正作業の効率を大幅に向上させることが望まれている。
【０００２】
【従来の技術】
図１２に従来の一例のブロック図を示す。従来の文書校正装置は、入力単語の形態素解析を行う形態解析部５１、誤った表記の単語に対して正しい表記の単語を対応させる単語辞書５２、形態素解析部５１で得られた単語をアドレスとして正しい単語に変換する単語変換部５３より構成される。
【０００３】
図１３に従来の一例の動作説明図を示す。
単語辞書５２には、単語の誤った表記のパターンのすべてに正しい単語を対応させて記憶させておき、抽出された単語をアドレスとして入力することにより単語の校正を行っていた。例えば、誤った単語の「シミュレイション」に対して正解単語「シミュレーション」を登録しておき、同様に、誤った単語の「シュミレーション」に対しても同じ正解単語の「シミュレーション」を登録していた。
【０００４】
このように、従来は、誤ると思われる単語をすべて登録しておき、これらの単語それぞれに対して正解単語を登録していた。
【０００５】
【発明が解決しようとする課題】
しかるに、従来の文章校正装置では、正しい単語に対して誤った表記の単語を予め辞書に登録しておくことにより正しい単語の指示を行っていたため、辞書に登録されていない誤った単語に対しては、正しい単語を指示できず、また、誤りやすいすべての単語を登録しておくには辞書の容量を大きくする必要がある等の問題点があった。
【０００６】
また、形態素解析時の未登録語部分を誤りとして誤った単語を検出する方法では、誤りをどのようにして訂正したらよいかの情報がないあるいは、誤り部分が類似する単語とマッチングことにより、誤り部分の全て、又は、一部が登録単語列でカバーされるだけで、正確な誤り部分の抽出が行えない等の問題点があった。
【０００７】
本発明は、上記の点に鑑みてなされたもので、誤った単語の校正を効率よく行える文章校正装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
図１に本発明の原理図を示す。正解単語辞書１は、正解とする単語を登録している。
構成単語抽出部２は、テキスト中の構成単語を抽出する。
【０００９】
類似度算出部３は、正解単語辞書から構成単語抽出部で抽出された部分文字列に応じてマッチング候補として選択された正解単語と、構成単語抽出部で抽出された部分文字列とで互いに対応する文字毎に構成要素の一致数を求める。単語置き換え部４は、類似度算出部３で算出された構成要素の一致数に応じて部分文字列を正解単語に置き換える。
【００１０】
請求項１によれば、テキスト中の部分文字列群を抽出し、抽出した部分文字列とそのマッチング候補とされた正解単語とを互いに対応する文字毎の偏、旁などの構成要素の一致数を求め、テキスト中の部分文字列を正しい単語に置き換えることにより、誤った単語を正しい単語に校正するため、正解単語のみの辞書を持っていれば良くメモリの容量を大幅に削減できる。
【００１１】
請求項２は、類似度算出部により、さらに、正解単語辞書から前記構成単語抽出部で抽出された抽出単語に応じてマッチング候補として選択された正解単語と前記構成単語抽出部で抽出された抽出単語との互いに対応する文字毎に構成要素の配置構成が一致するか否かを求め、単語置き換え部により類似度算出部で算出された構成要素の一致数と文字の構成要素の配置構造が一致するか否か応じて抽出単語を正解単語に置き換えることを特徴とする。
請求項２によれば、さらに、抽出単語と正解単語との対応する文字の構成要素の配置構成の一致を求めることにより、高精度のマッチングが可能となる。
【００１７】
図２に本発明の第１実施例のブロック構成図を示す。本実施例の文章校正装置１０は、請求項１の実施例に相当しており、テキストから部分文字列を抽出する語彙抽出部１１、語彙抽出部１１で抽出された部分文字列の類似単語と正解単語とのペアを生成する類似単語検出部１２、テキスト及び類似単語検出部１２で生成された単語ペアが供給され、テキスト中の類似単語を正解単語に置換する単語置換部１３より構成される 。
【００１８】
図３に本発明の第１実施例の動作説明図を示す。語彙抽出部１１は、入力テキストを形態素解析し、部分文字列を抽出する。例えば、図３（Ａ）に示されるように「シミュレイションを行う。」と言うテキストが入力されると、図３（Ｂ）に示されるように「シミュレイション」、「を」、「行う」、「。」に分解する。語彙抽出部１１で抽出された部分文字列は、類似単語検出部１２に供給される。
【００１９】
類似単語検出部１２は、正解単語を格納した正解単語辞書１４、語彙抽出部１１で抽出された部分文字列と、正解単語辞書１４中の正解単語との類似度を求め互いに類似する部分文字列と正解単語との単語ペアを生成する類似度判定部１５、語彙抽出部１１で抽出された部分文字列に類似する正解単語を単語辞書１４から検索する辞書検索部１６より構成される。正解単語辞書１４には、正しい表記の単語が予め格納されている。
【００２０】
類似度判定部１５には、語彙抽出部１１で抽出された部分文字列及び辞書検索部１６で検索された検索単語が供給され、部分文字列と検索単語との非類似度を算出し、非類似度が最も小さい部分文字列と正解単語との単語ペアを生成する。非類似度は、部分文字列と正解単語との距離に相当する。単語間の距離は、予め与えられたルールにより決定される。ルールは、例えば、図３（Ｃ）に示されるように「レイ」と「レー」、「タ」と「ター」、「フェイ」と「フェー」の距離が「１」、「タ」と「タ」、「イ」と「イ」の距離が「０」となるように測定を行う例えば、図３（Ｂ）に示されるように語彙抽出部１１で部分文字列として「シミュレイション」という単語が抽出されたとすると抽出された部分文字列「シュミレイション」と１文字違い、つまり、非類似度が「１」で互いに類似と判断される予め設定された所定の類似度「４」より小さく、かつ、最も小さい正解単語「シュミレーション」と単語ペアを生成し、単語置換部１３に供給する。
【００２１】
単語置換部１３には、類似度判定部１５より単語ペアが供給されると共にテキストが供給され、類似度判定部１５で生成された単語ペアの部分文字に対応するテキストの単語を単語ペアの正解単語に変換する。図４に本発明の第１実施例の動作説明図を示す。ここでは、図４（Ａ）に示されるように原テキストとして「インターフェイス部の速度性能の向上を図るために新たなＣＰＵを搭載しており、又グラフィック・インターフェイスの採用によって先進のユーザ・インターフェースを手に入れています。」という文書が供給されると、図４（Ｄ）に示されるように「ＣＰＵ」、「インターフェイス」、「インターフェース」などの単語に分解される。分解された単語には出現頻度が付与される。「ＣＰＵ」の出現頻度は「１」、「インターフェイス」の出現頻度は「２」、「インターフェース」の出現頻度は「１」となる。
【００２２】
また、正解単語辞書１４には、図４（Ｂ）に示されるように正解単語として「インタフェース」が登録されていたとすると図４（Ｅ）に示されるように抽出された「インターフェイス」及び「インターフェース」は、距離の小さい正解単語辞書１４の「インタフェイス」を正解単語する。このため、図４（Ａ）に示される文書は図４（Ｆ）に示すように「インタフェース部の速度性能の向上を・・・ユーザ・インタフェースを手に入れています。」のように校正される。
【００２３】
以上、本実施例によれば、単語辞書１４には正解単語のみを記憶すればよいため、単語辞書の容量を減少させることが出来る。また、単語ペアを生成し、部分文字列と、正解単語とを比較できるため、単語の比較検討が行える。図５に本発明の第１実施例の変形例の動作説明図を示す。
【００２４】
本変形例は、請求項２の実施例に相当し、文字単位のマッチングを行う際に文字の完全一致のみでなく文字の構成要素による得点付け（類似度の算出）を行い、付与された得点に応じて正解となる単語を求めるものである。得点付けは、文字の全体構成型（偏旁型等）、「偏」の構成、「旁」の構成等の一致・不一致を比較し、一致なら「１」、不一致なら「０」を得点として付与することで実現される。
【００２５】
例えば、「観光」と「勧光」という文字が入力された場合、「光」が一致しているので、マッチングの候補として上げられる。次に、異なる文字である「観」と「勧」との比較が行われる。文字の比較は、「観」の全体構成の型である偏旁型と、「勧」の全体構成型である偏旁型とを比較することにより行われる。ここでは、同一の型であるため、「１」が付与される。また、「偏」の構成の「かん」が同一であるため、「１」が付与される。さらに、「旁」の構成の「見」と、「力」とは互いに異なるため、「０」が付与される。ここで、付与された得点を加算し、総得点を算出する。
【００２６】
算出された総得点は、予め設定された、類似と判断しうる所定の得点と比較され、算出された総得点が例えば、「２」以上のときには、互いに同一の文字であると判断する。上記、「観」と「勧」では、総得点は「２」であるため、互いに同一であると判断される。したがって、「観光」と「勧光」とが一致するものとして判別される。
【００２７】
図６に本発明の第２実施例のブロック構成図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明は省略する。本実施例は、請求項３、４の実施例に相当し、図２に示す第１実施例とは、類似単語検出部２２の構成が異なる。本実施例の類似単語検出部２２は、語彙抽出部１１で抽出された部分文字列をカテゴリ化するカテゴリ化部２３、カテゴリ化部２３でカテゴリ化された部分文字列群より正解単語を判定する正解単語判定部２４より構成される。
【００２８】
図７に本発明の第２実施例のカテゴリ化部のブロック構成図を示す。カテゴリ化部２３は、語彙抽出部１１で抽出された部分文字列のペアを生成する単語ペア生成部２５、単語ペア生成部２５で生成された単語ペアのうち非類似度が所定の値より高い単語ペアを判定する類似度判定部２６、類似度判定部２６で判定された単語ペアをグループ化するグループ化処理部２７より構成される。
【００２９】
類似度判定部２６は、単語ペア生成部２５で生成された単語ペアの同一文字を非類似度「０」、異なる文字数、及び、同一の文字間の距離に応じて非類似度が増加するように非類似度を設定し、設定された非類似度が所定値より小さい、つまり、類似度が所定値より高いときに単語ペア生成部２５で生成された単語ペアを互いに類似した単語ペアとして判定する。
【００３０】
図８に本発明の第２実施例のカテゴリ化部の動作説明図を示す。語彙抽出部１１で「インターフェース」及び「インタフェイス」が抽出され、単語ペア生成部２５で単語ペアとされた場合、類似度判定部２６では、まず、「インターフェース」と、「インタフェイス」とで、互いに異なる文字である「ー」と、「ー」及び「イ」の２つの相違に相当する「２」を非類似度とする。次に、類似度判定部２６は、求められた非類似度「２」が、予め設定された非類似度より小さいか否かを判断する。非類似度は、互いに類似する単語間の距離を示し、同一の単語であると判断する距離が設定される。ここでは、例えば、非類似度が「４」以下を互いに類似する単語として判別するものとする。
【００３１】
類似度判定部２６は、単語ペア生成部２５で生成された単語ペアの非類似度が「４」以下で、互いに類似する単語として判断すると類似すると判断した単語ペアをグループ化処理部２７に供給する。
グループ化処理部２７は、類似度判定部２６で類似と判断された単語を同一のグループとしてグループ化する。したがって、「インターフェース」と「インタフェイス」とは同一のグループとしてグループ化される。
【００３２】
グループ化処理部２７でグループ化された単語群は正解単語判定部２４に供給される。正解単語部２４ではグループ化処理部２７から供給された単語群から出現頻度の最も多い単語を正解単語とする。正解単語判定部２４で判定された正解単語は正解単語が含まれる単語群とセットで単語置換部１３に供給される。
【００３３】
単語置換部１３にはテキストが供給されると共に、正解単語判定部２４から正解単語が供給され、テキスト中の正解単語と同一の単語群に含まれる単語を正解単語に変換する。
図９に本発明の第２実施例の動作説明図を示す。図９（Ａ）に示すようなテキストが入力され、図９（Ｂ）に示すように単語に分解された場合、図９（Ｃ）に示されるように類似度が所定値以下の「インターフェイス」と「インターフェース」とが同一のカテゴリに分類される。このとき、「インターフェイス」の出現頻度は「２」、「インターフェース」の出現頻度は「１」であるため、出現頻度の高い「インターフェイス」が正解単語とされる。
【００３４】
このため、図４（Ａ）に示されるテキストは、図９（Ｂ）に示されるように「インターフェイス部の速度性能の・・・ユーザ・インターフェイスを手に入れています。」に校正する。以上のように本実施例によれば、テキスト中の互いに類似し、異なる文字列を持つ単語をそのなかで最も多く出現する単語で置換することによりテキストの校正を行うため、単語辞書が不要になる。
【００３５】
図１０に本発明の第２実施例の第１変形例の動作説明図を示す。本変形例は、請求項５の実施例に相当しており、ここでは、図１０（Ａ）に示されるような「ダンプ関数は内部テーブル項目を・・・一部実行されないことがある。」というテキストが供給されるものとする。本実施例では、図１０（Ｂ）に示されるように上記テキストで互いに「主語」、「述語」のようにかかり受けを持つ単語を抽出する。
【００３６】
例えば、「ダンプ関数」、「プログラム」は「書き出す」の「主語」となっている。また、「内部テーブル項目」、「データ」は、「書き出す」の「述語」となっている。したがって、主語と述語とによりカテゴリ化を行えば、図１０（Ｃ）に示すように「ダンプ関数」と「プログラム」とが、「主語」という同一のカテゴリとしてカテゴリ化され、図１０（Ｄ）に示すように「内部テーブル項目」と「データ」とが、「述語」という同一のカテゴリとしてカテゴリ化される。このように、単語同士の統語的関係（例えば、主語と述語）を抽出し、カテゴリ化することにより、異なる表記の単語の校正も可能となり、例えば、図１０（Ａ）に示されるテキストは、図１０（Ｅ）に示されるように校正される。
【００３７】
図１１に本発明の第２実施例の第２変形例の動作説明図を示す。本変形例は、請求項６の実施例に相当する。
本変形例では、単語辞書として訳語辞書を有し、訳語辞書に図１１（Ｂ）に示すように「機械翻訳」に対して「ｍａｃｈｉｎｅ ｔｒａｎｓｌａｔｉｏｎ」、「計算機」に対して「ｃｏｍｐｕｔｅｒ」などのように原語と訳語の関係を記述しておき、訳語が同一のものを同一のカテゴリとする。
【００３８】
例えば、図１１（Ａ）に示すように「機械翻訳という・・・実験を行っている。」というテキストが供給されたとすると、図１１（Ｂ）に示される日英辞書により「計算機」と「コンピュータ」とがともに「ｃｏｍｐｕｔｅｒ」と翻訳されるため同一のカテゴリとされる。ここで、同一のカテゴリの単語「計算機」と「コンピュータ」とをともに同一の単語「計算機」に校正することにより図１１（Ａ）に示されるテキストは図１１（Ｄ）に示されるように校正されたテキストを得ることが出来る。
【００３９】
【発明の効果】
上述の如く、本発明によれば、テキスト中の部分文字列群を抽出し、抽出した部分文字列とそのマッチング候補とされた正解単語とを互いに対応する文字毎に偏、旁などの構成要素の一致数を求め、テキスト中の部分文字列を正しい単語に置き換えることにより、誤った単語を正しい単語に校正するため、正解単語のみの辞書を持っていれば良くメモリの容量を大幅に削減できる等の特長を有する。
【００４０】
また、本発明によれば、前記部分文字列と前記正解単語との全体構成の型の類似度を算出することにより、高精度のマッチングが可能となる等の特長を有する。
【図面の簡単な説明】
【図１】本発明の原理図である。
【図２】本発明の第１実施例のブロック構成図である。
【図３】本発明の第１実施例の語彙抽出部の動作説明図である。
【図４】本発明の第１実施例の動作説明図である。
【図５】本発明の第１実施例の変形例の動作説明図である。
【図６】本発明の第２実施例のブロック構成図である。
【図７】本発明の第２実施例のカテゴリ化部のブロック構成図である。
【図８】本発明の第２実施例のカテゴリ化部の動作説明図である。
【図９】本発明の第２実施例の動作説明図である。
【図１０】本発明の第２実施例の第１変形例の動作説明図である。
【図１１】本発明の第２実施例の第２変形例の動作説明図である。
【図１２】従来の一例のブロック構成図である。
【図１３】従来の一例の動作説明図である。
【符号の説明】
１ 単語群抽出部
２ 単語ペア生成部
３ 単語置換部
１０ 文書校正装置
１１ 語彙抽出部
１２ 類似度検出部
１３ 単語置換部
１４ 正解単語辞書
１５ 類似度判定部
１６ 辞書検索部
【発明の属する技術分野】
本発明は、文章校正装置に係わり、特に、誤って入力された文字列を正しい文字列に校正する文章校正装置に関する。
近年、ワードプロセッサなどの文章処理装置には、誤って入力された文字列を正しい文字列に訂正するいわゆる文章校正機能を有するものがある。このような、文章校正機能には、表記の僅かな違いのある単語群や同義語を自動的に標準化してユーザの行うテキストの校正作業を能率化したり類義語の情報をテキスト・辞書などから自動的に獲得した文章データに対して、誤って入力された文字列を正しい文字列に自動的に訂正することにより文章校正作業の効率を大幅に向上させることが望まれている。
【０００２】
【従来の技術】
図１２に従来の一例のブロック図を示す。従来の文書校正装置は、入力単語の形態素解析を行う形態解析部５１、誤った表記の単語に対して正しい表記の単語を対応させる単語辞書５２、形態素解析部５１で得られた単語をアドレスとして正しい単語に変換する単語変換部５３より構成される。
【０００３】
図１３に従来の一例の動作説明図を示す。
単語辞書５２には、単語の誤った表記のパターンのすべてに正しい単語を対応させて記憶させておき、抽出された単語をアドレスとして入力することにより単語の校正を行っていた。例えば、誤った単語の「シミュレイション」に対して正解単語「シミュレーション」を登録しておき、同様に、誤った単語の「シュミレーション」に対しても同じ正解単語の「シミュレーション」を登録していた。
【０００４】
このように、従来は、誤ると思われる単語をすべて登録しておき、これらの単語それぞれに対して正解単語を登録していた。
【０００５】
【発明が解決しようとする課題】
しかるに、従来の文章校正装置では、正しい単語に対して誤った表記の単語を予め辞書に登録しておくことにより正しい単語の指示を行っていたため、辞書に登録されていない誤った単語に対しては、正しい単語を指示できず、また、誤りやすいすべての単語を登録しておくには辞書の容量を大きくする必要がある等の問題点があった。
【０００６】
また、形態素解析時の未登録語部分を誤りとして誤った単語を検出する方法では、誤りをどのようにして訂正したらよいかの情報がないあるいは、誤り部分が類似する単語とマッチングことにより、誤り部分の全て、又は、一部が登録単語列でカバーされるだけで、正確な誤り部分の抽出が行えない等の問題点があった。
【０００７】
本発明は、上記の点に鑑みてなされたもので、誤った単語の校正を効率よく行える文章校正装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
図１に本発明の原理図を示す。正解単語辞書１は、正解とする単語を登録している。
構成単語抽出部２は、テキスト中の構成単語を抽出する。
【０００９】
類似度算出部３は、正解単語辞書から構成単語抽出部で抽出された部分文字列に応じてマッチング候補として選択された正解単語と、構成単語抽出部で抽出された部分文字列とで互いに対応する文字毎に構成要素の一致数を求める。単語置き換え部４は、類似度算出部３で算出された構成要素の一致数に応じて部分文字列を正解単語に置き換える。
【００１０】
請求項１によれば、テキスト中の部分文字列群を抽出し、抽出した部分文字列とそのマッチング候補とされた正解単語とを互いに対応する文字毎の偏、旁などの構成要素の一致数を求め、テキスト中の部分文字列を正しい単語に置き換えることにより、誤った単語を正しい単語に校正するため、正解単語のみの辞書を持っていれば良くメモリの容量を大幅に削減できる。
【００１１】
請求項２は、類似度算出部により、さらに、正解単語辞書から前記構成単語抽出部で抽出された抽出単語に応じてマッチング候補として選択された正解単語と前記構成単語抽出部で抽出された抽出単語との互いに対応する文字毎に構成要素の配置構成が一致するか否かを求め、単語置き換え部により類似度算出部で算出された構成要素の一致数と文字の構成要素の配置構造が一致するか否か応じて抽出単語を正解単語に置き換えることを特徴とする。
請求項２によれば、さらに、抽出単語と正解単語との対応する文字の構成要素の配置構成の一致を求めることにより、高精度のマッチングが可能となる。
【００１７】
図２に本発明の第１実施例のブロック構成図を示す。本実施例の文章校正装置１０は、請求項１の実施例に相当しており、テキストから部分文字列を抽出する語彙抽出部１１、語彙抽出部１１で抽出された部分文字列の類似単語と正解単語とのペアを生成する類似単語検出部１２、テキスト及び類似単語検出部１２で生成された単語ペアが供給され、テキスト中の類似単語を正解単語に置換する単語置換部１３より構成される 。
【００１８】
図３に本発明の第１実施例の動作説明図を示す。語彙抽出部１１は、入力テキストを形態素解析し、部分文字列を抽出する。例えば、図３（Ａ）に示されるように「シミュレイションを行う。」と言うテキストが入力されると、図３（Ｂ）に示されるように「シミュレイション」、「を」、「行う」、「。」に分解する。語彙抽出部１１で抽出された部分文字列は、類似単語検出部１２に供給される。
【００１９】
類似単語検出部１２は、正解単語を格納した正解単語辞書１４、語彙抽出部１１で抽出された部分文字列と、正解単語辞書１４中の正解単語との類似度を求め互いに類似する部分文字列と正解単語との単語ペアを生成する類似度判定部１５、語彙抽出部１１で抽出された部分文字列に類似する正解単語を単語辞書１４から検索する辞書検索部１６より構成される。正解単語辞書１４には、正しい表記の単語が予め格納されている。
【００２０】
類似度判定部１５には、語彙抽出部１１で抽出された部分文字列及び辞書検索部１６で検索された検索単語が供給され、部分文字列と検索単語との非類似度を算出し、非類似度が最も小さい部分文字列と正解単語との単語ペアを生成する。非類似度は、部分文字列と正解単語との距離に相当する。単語間の距離は、予め与えられたルールにより決定される。ルールは、例えば、図３（Ｃ）に示されるように「レイ」と「レー」、「タ」と「ター」、「フェイ」と「フェー」の距離が「１」、「タ」と「タ」、「イ」と「イ」の距離が「０」となるように測定を行う例えば、図３（Ｂ）に示されるように語彙抽出部１１で部分文字列として「シミュレイション」という単語が抽出されたとすると抽出された部分文字列「シュミレイション」と１文字違い、つまり、非類似度が「１」で互いに類似と判断される予め設定された所定の類似度「４」より小さく、かつ、最も小さい正解単語「シュミレーション」と単語ペアを生成し、単語置換部１３に供給する。
【００２１】
単語置換部１３には、類似度判定部１５より単語ペアが供給されると共にテキストが供給され、類似度判定部１５で生成された単語ペアの部分文字に対応するテキストの単語を単語ペアの正解単語に変換する。図４に本発明の第１実施例の動作説明図を示す。ここでは、図４（Ａ）に示されるように原テキストとして「インターフェイス部の速度性能の向上を図るために新たなＣＰＵを搭載しており、又グラフィック・インターフェイスの採用によって先進のユーザ・インターフェースを手に入れています。」という文書が供給されると、図４（Ｄ）に示されるように「ＣＰＵ」、「インターフェイス」、「インターフェース」などの単語に分解される。分解された単語には出現頻度が付与される。「ＣＰＵ」の出現頻度は「１」、「インターフェイス」の出現頻度は「２」、「インターフェース」の出現頻度は「１」となる。
【００２２】
また、正解単語辞書１４には、図４（Ｂ）に示されるように正解単語として「インタフェース」が登録されていたとすると図４（Ｅ）に示されるように抽出された「インターフェイス」及び「インターフェース」は、距離の小さい正解単語辞書１４の「インタフェイス」を正解単語する。このため、図４（Ａ）に示される文書は図４（Ｆ）に示すように「インタフェース部の速度性能の向上を・・・ユーザ・インタフェースを手に入れています。」のように校正される。
【００２３】
以上、本実施例によれば、単語辞書１４には正解単語のみを記憶すればよいため、単語辞書の容量を減少させることが出来る。また、単語ペアを生成し、部分文字列と、正解単語とを比較できるため、単語の比較検討が行える。図５に本発明の第１実施例の変形例の動作説明図を示す。
【００２４】
本変形例は、請求項２の実施例に相当し、文字単位のマッチングを行う際に文字の完全一致のみでなく文字の構成要素による得点付け（類似度の算出）を行い、付与された得点に応じて正解となる単語を求めるものである。得点付けは、文字の全体構成型（偏旁型等）、「偏」の構成、「旁」の構成等の一致・不一致を比較し、一致なら「１」、不一致なら「０」を得点として付与することで実現される。
【００２５】
例えば、「観光」と「勧光」という文字が入力された場合、「光」が一致しているので、マッチングの候補として上げられる。次に、異なる文字である「観」と「勧」との比較が行われる。文字の比較は、「観」の全体構成の型である偏旁型と、「勧」の全体構成型である偏旁型とを比較することにより行われる。ここでは、同一の型であるため、「１」が付与される。また、「偏」の構成の「かん」が同一であるため、「１」が付与される。さらに、「旁」の構成の「見」と、「力」とは互いに異なるため、「０」が付与される。ここで、付与された得点を加算し、総得点を算出する。
【００２６】
算出された総得点は、予め設定された、類似と判断しうる所定の得点と比較され、算出された総得点が例えば、「２」以上のときには、互いに同一の文字であると判断する。上記、「観」と「勧」では、総得点は「２」であるため、互いに同一であると判断される。したがって、「観光」と「勧光」とが一致するものとして判別される。
【００２７】
図６に本発明の第２実施例のブロック構成図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明は省略する。本実施例は、請求項３、４の実施例に相当し、図２に示す第１実施例とは、類似単語検出部２２の構成が異なる。本実施例の類似単語検出部２２は、語彙抽出部１１で抽出された部分文字列をカテゴリ化するカテゴリ化部２３、カテゴリ化部２３でカテゴリ化された部分文字列群より正解単語を判定する正解単語判定部２４より構成される。
【００２８】
図７に本発明の第２実施例のカテゴリ化部のブロック構成図を示す。カテゴリ化部２３は、語彙抽出部１１で抽出された部分文字列のペアを生成する単語ペア生成部２５、単語ペア生成部２５で生成された単語ペアのうち非類似度が所定の値より高い単語ペアを判定する類似度判定部２６、類似度判定部２６で判定された単語ペアをグループ化するグループ化処理部２７より構成される。
【００２９】
類似度判定部２６は、単語ペア生成部２５で生成された単語ペアの同一文字を非類似度「０」、異なる文字数、及び、同一の文字間の距離に応じて非類似度が増加するように非類似度を設定し、設定された非類似度が所定値より小さい、つまり、類似度が所定値より高いときに単語ペア生成部２５で生成された単語ペアを互いに類似した単語ペアとして判定する。
【００３０】
図８に本発明の第２実施例のカテゴリ化部の動作説明図を示す。語彙抽出部１１で「インターフェース」及び「インタフェイス」が抽出され、単語ペア生成部２５で単語ペアとされた場合、類似度判定部２６では、まず、「インターフェース」と、「インタフェイス」とで、互いに異なる文字である「ー」と、「ー」及び「イ」の２つの相違に相当する「２」を非類似度とする。次に、類似度判定部２６は、求められた非類似度「２」が、予め設定された非類似度より小さいか否かを判断する。非類似度は、互いに類似する単語間の距離を示し、同一の単語であると判断する距離が設定される。ここでは、例えば、非類似度が「４」以下を互いに類似する単語として判別するものとする。
【００３１】
類似度判定部２６は、単語ペア生成部２５で生成された単語ペアの非類似度が「４」以下で、互いに類似する単語として判断すると類似すると判断した単語ペアをグループ化処理部２７に供給する。
グループ化処理部２７は、類似度判定部２６で類似と判断された単語を同一のグループとしてグループ化する。したがって、「インターフェース」と「インタフェイス」とは同一のグループとしてグループ化される。
【００３２】
グループ化処理部２７でグループ化された単語群は正解単語判定部２４に供給される。正解単語部２４ではグループ化処理部２７から供給された単語群から出現頻度の最も多い単語を正解単語とする。正解単語判定部２４で判定された正解単語は正解単語が含まれる単語群とセットで単語置換部１３に供給される。
【００３３】
単語置換部１３にはテキストが供給されると共に、正解単語判定部２４から正解単語が供給され、テキスト中の正解単語と同一の単語群に含まれる単語を正解単語に変換する。
図９に本発明の第２実施例の動作説明図を示す。図９（Ａ）に示すようなテキストが入力され、図９（Ｂ）に示すように単語に分解された場合、図９（Ｃ）に示されるように類似度が所定値以下の「インターフェイス」と「インターフェース」とが同一のカテゴリに分類される。このとき、「インターフェイス」の出現頻度は「２」、「インターフェース」の出現頻度は「１」であるため、出現頻度の高い「インターフェイス」が正解単語とされる。
【００３４】
このため、図４（Ａ）に示されるテキストは、図９（Ｂ）に示されるように「インターフェイス部の速度性能の・・・ユーザ・インターフェイスを手に入れています。」に校正する。以上のように本実施例によれば、テキスト中の互いに類似し、異なる文字列を持つ単語をそのなかで最も多く出現する単語で置換することによりテキストの校正を行うため、単語辞書が不要になる。
【００３５】
図１０に本発明の第２実施例の第１変形例の動作説明図を示す。本変形例は、請求項５の実施例に相当しており、ここでは、図１０（Ａ）に示されるような「ダンプ関数は内部テーブル項目を・・・一部実行されないことがある。」というテキストが供給されるものとする。本実施例では、図１０（Ｂ）に示されるように上記テキストで互いに「主語」、「述語」のようにかかり受けを持つ単語を抽出する。
【００３６】
例えば、「ダンプ関数」、「プログラム」は「書き出す」の「主語」となっている。また、「内部テーブル項目」、「データ」は、「書き出す」の「述語」となっている。したがって、主語と述語とによりカテゴリ化を行えば、図１０（Ｃ）に示すように「ダンプ関数」と「プログラム」とが、「主語」という同一のカテゴリとしてカテゴリ化され、図１０（Ｄ）に示すように「内部テーブル項目」と「データ」とが、「述語」という同一のカテゴリとしてカテゴリ化される。このように、単語同士の統語的関係（例えば、主語と述語）を抽出し、カテゴリ化することにより、異なる表記の単語の校正も可能となり、例えば、図１０（Ａ）に示されるテキストは、図１０（Ｅ）に示されるように校正される。
【００３７】
図１１に本発明の第２実施例の第２変形例の動作説明図を示す。本変形例は、請求項６の実施例に相当する。
本変形例では、単語辞書として訳語辞書を有し、訳語辞書に図１１（Ｂ）に示すように「機械翻訳」に対して「ｍａｃｈｉｎｅ ｔｒａｎｓｌａｔｉｏｎ」、「計算機」に対して「ｃｏｍｐｕｔｅｒ」などのように原語と訳語の関係を記述しておき、訳語が同一のものを同一のカテゴリとする。
【００３８】
例えば、図１１（Ａ）に示すように「機械翻訳という・・・実験を行っている。」というテキストが供給されたとすると、図１１（Ｂ）に示される日英辞書により「計算機」と「コンピュータ」とがともに「ｃｏｍｐｕｔｅｒ」と翻訳されるため同一のカテゴリとされる。ここで、同一のカテゴリの単語「計算機」と「コンピュータ」とをともに同一の単語「計算機」に校正することにより図１１（Ａ）に示されるテキストは図１１（Ｄ）に示されるように校正されたテキストを得ることが出来る。
【００３９】
【発明の効果】
上述の如く、本発明によれば、テキスト中の部分文字列群を抽出し、抽出した部分文字列とそのマッチング候補とされた正解単語とを互いに対応する文字毎に偏、旁などの構成要素の一致数を求め、テキスト中の部分文字列を正しい単語に置き換えることにより、誤った単語を正しい単語に校正するため、正解単語のみの辞書を持っていれば良くメモリの容量を大幅に削減できる等の特長を有する。
【００４０】
また、本発明によれば、前記部分文字列と前記正解単語との全体構成の型の類似度を算出することにより、高精度のマッチングが可能となる等の特長を有する。
【図面の簡単な説明】
【図１】本発明の原理図である。
【図２】本発明の第１実施例のブロック構成図である。
【図３】本発明の第１実施例の語彙抽出部の動作説明図である。
【図４】本発明の第１実施例の動作説明図である。
【図５】本発明の第１実施例の変形例の動作説明図である。
【図６】本発明の第２実施例のブロック構成図である。
【図７】本発明の第２実施例のカテゴリ化部のブロック構成図である。
【図８】本発明の第２実施例のカテゴリ化部の動作説明図である。
【図９】本発明の第２実施例の動作説明図である。
【図１０】本発明の第２実施例の第１変形例の動作説明図である。
【図１１】本発明の第２実施例の第２変形例の動作説明図である。
【図１２】従来の一例のブロック構成図である。
【図１３】従来の一例の動作説明図である。
【符号の説明】
１ 単語群抽出部
２ 単語ペア生成部
３ 単語置換部
１０ 文書校正装置
１１ 語彙抽出部
１２ 類似度検出部
１３ 単語置換部
１４ 正解単語辞書
１５ 類似度判定部
１６ 辞書検索部
Claims (2)
- 正解とする単語を登録した正解単語辞書と、
テキスト中の部分文字列を抽出する構成単語抽出部と、
前記正解単語辞書から前記構成単語抽出部で抽出された部分文字列に応じてマッチング候補として選択された正解単語と、前記構成単語抽出部で抽出された部分文字列とで互いに対応する文字毎に構成要素の一致数を求める類似度算出部と、
前記類似度算出部で算出された構成要素の一致数に応じて前記部分文字列を前記正解単語に置き換える単語置き換え部とを有することを特徴とする文章校正装置。 - 前記類似度算出部は、さらに、前記正解単語辞書から前記構成単語抽出部で抽出された部分文字列に応じてマッチング候補として選択された正解単語と前記構成単語抽出部で抽出された部分文字列との互いに対応する文字毎に構成要素の配置構成が一致するか否かを求め、
前記単語置き換え部は、前記類似度算出部で算出された構成要素の一致数と文字の構成要素の配置構成が一致するか否か応じて前記部分文字列を前記正解単語に置き換えることを特徴とする請求項１記載の文書校正装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27313895A JP4283898B2 (ja) | 1995-10-20 | 1995-10-20 | 文章校正装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27313895A JP4283898B2 (ja) | 1995-10-20 | 1995-10-20 | 文章校正装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004334751A Division JP2005050386A (ja) | 2004-11-18 | 2004-11-18 | 文章校正装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09114831A JPH09114831A (ja) | 1997-05-02 |
| JP4283898B2 true JP4283898B2 (ja) | 2009-06-24 |
Family
ID=17523655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27313895A Expired - Fee Related JP4283898B2 (ja) | 1995-10-20 | 1995-10-20 | 文章校正装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4283898B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3126945B2 (ja) * | 1997-10-30 | 2001-01-22 | 株式会社エイ・ティ・アール音声翻訳通信研究所 | 文字誤り校正装置 |
| TWI391832B (zh) * | 2008-09-09 | 2013-04-01 | Inst Information Industry | 中文文章偵錯裝置、中文文章偵錯方法以及儲存媒體 |
| KR101083455B1 (ko) * | 2009-07-17 | 2011-11-16 | 엔에이치엔(주) | 통계 데이터에 기초한 사용자 질의 교정 시스템 및 방법 |
| JP5348699B2 (ja) * | 2010-11-15 | 2013-11-20 | Ｎｅｃシステムテクノロジー株式会社 | データ分類システム、データ分類方法およびプログラム |
| CN106326484A (zh) | 2016-08-31 | 2017-01-11 | 北京奇艺世纪科技有限公司 | 搜索词纠错方法及装置 |
-
1995
- 1995-10-20 JP JP27313895A patent/JP4283898B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09114831A (ja) | 1997-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8606559B2 (en) | Method and apparatus for detecting errors in machine translation using parallel corpus | |
| Munteanu et al. | Improving machine translation performance by exploiting non-parallel corpora | |
| US20070021956A1 (en) | Method and apparatus for generating ideographic representations of letter based names | |
| Mishra et al. | A survey of spelling error detection and correction techniques | |
| US11537795B2 (en) | Document processing device, document processing method, and document processing program | |
| Loftsson | Correcting a PoS-tagged corpus using three complementary methods | |
| Uthayamoorthy et al. | Ddspell-a data driven spell checker and suggestion generator for the tamil language | |
| Liyanapathirana et al. | Sinspell: A comprehensive spelling checker for sinhala | |
| Madi et al. | Grammatical error checking systems: A review of approaches and emerging directions | |
| Tufiş et al. | DIAC+: A professional diacritics recovering system | |
| Ganfure et al. | Design and implementation of morphology based spell checker | |
| JP4283898B2 (ja) | 文章校正装置 | |
| Yang et al. | Spell Checking for Chinese. | |
| Kumar et al. | Design and implementation of nlp-based spell checker for the tamil language | |
| Aziz et al. | Urdu spell checker: A scarce resource language | |
| Sifat et al. | Synthetic error dataset generation mimicking bengali writing pattern | |
| JP2005050386A (ja) | 文章校正装置 | |
| JP3856515B2 (ja) | 文書校正装置 | |
| Mori et al. | A method of cross language question-answering based on machine translation and transliteration | |
| Hoang et al. | An unsupervised and data-driven approach for spell checking in Vietnamese OCR-scanned texts | |
| Samsuri et al. | A comparison of distributed, pam, and trie data structure dictionaries in automatic spelling correction for indonesian formal text | |
| KR102338949B1 (ko) | 기술문서 번역 지원 시스템 | |
| JP4033089B2 (ja) | 自然言語処理システム及び自然言語処理方法、並びにコンピュータ・プログラム | |
| Liebeskind et al. | Automatic Construction of Aramaic-Hebrew Translation Lexicon | |
| JP3924899B2 (ja) | テキスト検索装置およびテキスト検索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040915 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040921 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050920 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051118 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060523 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060720 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060726 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20061208 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090220 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090323 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140327 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |