JPH0454261B2 - - Google Patents

Description

【発明の詳細な説明】

Ａ 産業上の利用分野 本願で開示する本発明は、広義ではデータ処理
に関し、具体的にはデータ処理の言語アプリケー
シヨンに関する。 Ｂ 従来技術 テキスト処理ワード処理システムは、独立型ア
プリケーシヨン用のものと分散処理アプリケーシ
ヨン用のものが開発されてきた。テキスト処理お
よびワード処理という用語は、本明細書では、書
込みテキストを構成する英数字文字ストリングの
作成、編集、通信または印刷あるいはそれらの組
合せに主として使用されるデータ処理システムを
示すものとして同義的に使用する。ワード・プロ
セツシング用の特定の分散処理システムが、1985
年９月30日に出願された同時係属の米国特許出願
番号第781862号に開示されている。それは、本発
明がその中で適用できる上位システムの例であ
る。 これまでの論文では、特定のミススペル・ワー
ドに対して最もよく適合する候補ワードのリスト
を見つけるために検査する必要のある候補ワード
の数を減らすための手順が記載されている。ある
技術では長さが１文字分以下しか異なつていず、
同じ頭文字をもつワードだけを調べる。別の技術
では、辞書の各ワードにそのワードの文字の混同
性に基づいた大きさの値を割り当てるベクトル取
出し手法を使用し、ミススペル・ワードの特定の
大きさ範囲内のワードだけを検索する。これらの
技術は、標準的オフイス環境で性能を向上させる
ために曖昧な文字または無言の第１文字の２重指
標づけによつて補完されてきた（たとえば、
PHONOGRAPHを“Ｐ”と“Ｆ”の項に登録
し、KNIGHTを“Ｋ”と“Ｎ”の項に登録す
る）。 こうしたスペリング支援技術とは別に、文字ス
トリング間の類似性を決定する統計方法が開発さ
れ、集積回路として実施さえされている。
SOUNDEXシステムなどの方法は類似した音声
特性をもつクラスタ名に使つて候補フアイル・エ
ントリーを作成し、それを後で手でふるい分けし
て検索が行なわれてきた。 Ｃ 発明が解決しようとする問題点 これらの方法は候補ワードのセツトをもたらす
が、それらは言語の形態的および音声的成分を統
合しない。そのため、それらが作成する候補は不
適切で、ありそうもない順序でランク付けされる
ことがある。 本発明の目的は、ワード・ストリングの類似性
をランク付けして入力ワードのスペルの誤りがな
いようにする改良された技術を提供することにあ
る。 Ｄ 問題点を解決するための手段 これらの目的は、本明細書に開示されたワード
の類似性をランク付けする形態的音声的方法によ
つて実現される。同義語生成、言語学的分析、文
書の特徴付けなど多様な辞書アプリケーシヨンに
適用できる、ワード類似性をランク付けするため
のコンピユータによる方法を開示する。この方法
は、入力ワード・ストリングを、文字の重複化、
子音／母音の転位、子音／子音の転位など、入力
ワードのいくつかのタイプの誤りがあつても変化
しないキー・ワードに変形することに基づいてい
る。特定のマツピング技術は、その後のランク付
け手順中に検出できる類似性をもつキーを生成す
る形態的マツピングである。このマツピングは、
入力ワードの独自の子音が元来の順序で並び、そ
の後に入力ワードの独自の母音が同様に元来の順
序で続くように定義される。こうして、生成され
たキーは、子音／母音の転移または文字の重複が
あつても変化しない。キーの子音をアルフアベツ
ト順に並べ、その後にキーの母音をアルフアベツ
ト順に並べると、キーの有用性がさらに改良され
る。こうして生成されたマツピングは、子音／子
音の転位ならびに子音／母音の転位および文字の
重複によつて変わらない。次いで、類似性の複合
測度を利用してキー・ワードをランク付けするラ
ンク付け技術を適用する。まず、入力誘導キー・
ワードを辞書誘導キー・ワードに変換するのに必
要な基本処理の数を測定し（その数が多いほど、
ワードの類似性は低くなる）、次に突き合わされ
る各キー・ワード対の同一文字セグメントの長さ
を測定する（その長さが長いほど、類似性は高く
なる）ことによつて、辞書誘導キー・ワードに対
する入力ワードの類似性をランク付けするスコ
ア・システムが開発されている。このシステムは
入力ワードのミススペルを無視する。 本発明の顕著な特徴は：(1)ストリングの類似性
の織別に特に価値がある形態的キーの選択、(2)ワ
ードの類似性の基準として２つのワードの形態的
キー・セツトと音声的キー・セツト間の最小距離
測定値の使用である。このことは、２つのワード
を類似させる特徴が、こうした特徴が形態的であ
るかそれとも音声的であるかに関係なく考慮され
ることを意味している。 Ｅ 実施例 ミススペル・ストリングまたは音声ストリング
がある場合、辞書から獲得できる最も関連のある
候補は最も低い音声上のまたは形態上の特性をも
つものであることが判明している。２つのストリ
ングの間の近似性の決定は、第１図に示すように
行われる。すなわち、第１図において、比較すべ
き２つのストリングS1、S2が、それぞれステツ
プ１，２で用意される。例えば、S1は、辞書記
憶域内の辞書ワードであり、S2は、入力された
文字ストリングである。２つのストリングS1、
S2は、それぞれステツプ２，４でマツピングさ
れ、ステツプ５，６でのキーワードK1，K2とし
て用意される。こうして用意された２つのキーワ
ードK1，K2は、ステツプ７で類似性のランキン
グ付けをされる。 マツピング マツピングとは、１つのストリングを他の表現
（「キー」と呼ばれる）に変形する過程のことであ
る。本発明では、３つの重要なマツピングの型式
を認める。(1)空マツピングとはあるストリングを
変更することなく複写することである。(2)形態的
マツピングとはあるストリングをその構造上の特
性に基づいて変形するものである。(3)音声的マツ
ピングとは、入力ストリングの成分によつて表わ
される音に基づいて実行するものである。類似性
のランク付け手順は、これら３つのどのマツピン
グによつて作成されたキーにも適用できる。 マツピングの意味 マツピング変形は、本発明で記載する類似性測
定の基礎的原理を変更せずに、文字の表現方法を
変更する可能性がある。英字を表わすのに使用さ
れるコンピユータ・コードはASCII、EBCDICま
たは他の内部コードに応じて異なる。しかし、基
本的に不変なのは、ワードを表わす文字を子音ま
たは母音に区分する方法である。母音は、
“AEIOU”、文字“Ｙ”および、それらの文字に、
多くの欧州言語で使用されている鋭アクセント記
号（´）、抑アクセント記号（｀）、曲アクセント
記号（＾）鼻音化記号（〜）、分音記号（¨）そ
の他の区別記号のついた表記を含む。ノルウエー
語のスラツシユ付きのＯ（φ）や合字“AE”（）
または“OE”（）などの文字も母音と考えられ
る。子音は英語のアルフアベツトの残りの文字、
スペイン語のテイルドつきＮ（n^〜）、フランス語
のセデイーユ（〓）、アイスランド語のソーン文
字（〓）およびスラツシユつきのＤ（〓）を含む。
ギリシヤ文字およびキリル文字のセツトでは、母
音は有声文字に関連するものであり、残り文字は
子音である。 マツピングはある文字列に対する処理のセツト
として指定でき、元のストリングに類似している
または類似していない新しい文字列が得られる。
処理セツトは、（母音など）文字のいくつかのラ
ンク付けの選択およびそれらの再配置に関するも
のも、また文字列を文字、音声コード、コンピユ
ータ・コードなどの他の列へ変形することに関す
るものもある。こうした変形は、特殊または一般
的な「書直し規則」として表現できる。規則
“SS”→“Ｓ”は特定のストリング“SS”が
“Ｓ”で置き換えられられることを示しており、
“＃＃”→“＃”などの規則は隣接するすべての
重複文字を単一文字で置き換えることを示す。 形態的マツピング 形態的マツピングの目的は、入力ストリング中
の、文字の重複などある種の型式の誤りがあつて
も変化しないキーを作成することである。こうし
た各種変形のキーは、ランク付け手順中に検出さ
れる類似声を有する。 例 １ 入力中の固有の子音がその元の順序に並び、そ
の後に固有の母音が同様に元の順序で続くように
マツピングを定義する場合、次に示すキーが作成
される。 入力ストリング キー DETERMINE DTRMNEI DETREMINE DTRMNEI DETERRMINE DTRMNEI DETEMRINE DTMRNEI 生成されたキーから分かるように、このマツピ
ングは子音／母音の転位または文字の重複があつ
ても同じキーを生成するが、子音／子音の転位が
あると異なるキーを作成する。 例 ２ 入力中の固有の子音がアルフアベツト順に並
び、その後に固有の母音が同様にアルフアベツト
順に続くようにマツピングを定義する場合、次に
示すキーが作成される。 入力ストリング キー DETERMINE DMNRTEI DETREMINE DMNRTEI DETERRMINE DMNRTEI DETEMRINE DMNRTEI このマツピングは子音／母音の転位、子音／子
音の転位および文字の重複によつて変わらない。 音声的マツピング 音声的マツピングは類似の音声に対して変化し
ないキーを作成する。音声的キーは、テキスト−
会話規則の適用によつて入力ストリングから構成
できる。さらに、発音の精度を低下することによ
つて、類似の音声を共有するワードのセツトを増
加させることができる。１対多および多対１マツ
ピングの両方とも実行できる（たとえば、“Ｘ”
→“KS”や“PH”→“Ｆ”）。マツピング手順は
様々な方法で実現され、無音文字を検出し除去す
ることができる。 例 ３ “CC”は“KS”を生成し、“Ｘ”は“KS”を
生成し、“CE”は“SE”を生成し、他の文字は
自分自身にマツプされ、すべての重複文字は単一
文字に還元されるようにマツピングを定義する。 入力ストリング キー ACCESS AKSES AXES AKSES EXCESS EKSES ワード“EXCESS”は簡単な置換によつて中
間の“EKSSESS”を生成し、最後に重複文字を
取り除いた後キー“EKSES”となる。 類似性のランク付け ２つのストリングの間の類似性とは、あるスト
リングを別のストリングに変換するのに必要な処
理として測定できる特性である。４種の基本処理
がストリングの変換に使用である。すなわち、置
換、転位、挿入および削除である。ストリング
“ABCD”は２つの異なる置換によつてストリン
グ“ABXX”に、最初の２文字の転位によつて
“BACD”に、１文字の削除によつて“ABD”
に、１文字の挿入によつて“ABXCD”に変換さ
れる。転位は１つの削除と１つの挿入から成るも
のと考えてもよいが、一般には１つの基本処理と
考えられている。 あるストリングを別のストリングに変換するの
に必要な基本処理の数（NBO）は、一方のスト
リングの文字を他方のストリングに対して反復し
て検査することによつて、得ることができる。文
字が異なる場合、同じ文字が見つかるまで走査を
続けることによつて、誤りが置換、挿入、削除ま
たは転位の１つであるかどうかを決定することが
できる。比較される文字が再び同期されるとき、
最短ストリングの終端に到達するまで処理を繰り
返し、長い方のストリングに文字が残つている場
合、それは挿入誤りと考えられる。 ストリングの類似性のもう一つの測度は、それ
らの共通サブストリングの長さである。すなわ
ち、ストリング“PERFORMACE”とワード
“PERFORMANCE”は、長さ８
（“PERFORMA”）の１つの共通サブストリング
と長さ２（“CE”）の他のサブストリングをもつ。
ワード“PERFORMABLE”は、ストリング
“PERFORMACE”と長さ８および長さ１のサブ
ストリングが共通している。加重係数を共通サブ
ストリング長さと関連付け、可能な最大値に対し
て正規化することによつて、不等部分の断片化と
位置を表わすスコア機能を設計できる。これによ
つてストリング“PERFORMANCE”、
“PREFORMANCE”、“PERFROMANCE”な
どの類似性のランク付けができる。 ２つのストリングで発生する共通サブストリン
グに基づく類似性の一つの測度は、次のように構
成できる。X1＋X2…≦最小（L1，L2）となるよ
うに長さX1，X2，…の共通サブストリングを含
む長さL1とL2の２つのストリングがある場合、
それらの類似性の測度（Ｍ）は、サブストリング
長さの２乗を合計し、L1またはL2のどちらか小
さい方の２乗で割り、１からその商を引くこと、
すなわち、Ｍ＝１−（（X1＊X1＋X2＊X2＋
…）／（最小（L1，L2）＊最小（L1，L2）））、
によつて得られる。Ｍは０と１の間の分数値であ
り、ワードはＭが０に近いほど類似している。 Ｍは、それだけでは、ストリング類似性測度と
しては不十分であるが、それはＭが可能な最大の
共通サブストリングに比較した共通サブストリン
グの大きさを表わしているだけだからである。し
かし、NBOとＭの合計が２つのストリングを比
較する均一測度として利用でき、この合計が０に
近くなるほど、ストリングは類似する。 ストリング類似性測度は、入力ストリング（空
マツピング）またはそれから誘導されたキーに対
して適用できる。ワード・マツピングと類似性ラ
ンク付けの合成効果として引き出される類似性
は、あるワードを別のワードに変更するのに必要
な基本変形処理の数をカウントし、それらのワー
ドの共通サブストリングを決定することによつて
示される。以下に示す例は空マツピング、例１の
形態的キーおよび例３の音声的キーに対するもの
である。

【表】

【表】

【表】 例として使つたワードはそれらの表面構造はか
なり異なつているが、マツピングによつて（基本
処理の数が小さいことおよび共通サブストリング
がより長いことによつて表わされる）より良いス
コアをもたらすストリングの形態的または音声的
構造上の類似性が引き出される。実際問題とし
て、スコア機構はいくつかのキーの結果を検討し
て形態または音声上最も近い隣接キーを決定し最
良のスコアをもつ候補を選択することができる。 本発明をマツピング機能とスコア機構の特定の
組合わせに関して説明してきたが、当業者には当
然のことならが、また本発明の範囲を逸脱するこ
となく、本発明の精神を英語以外の言語にも適用
でき、様々なコンピユータ言語で他のマツピング
機能とスコア機構を用いて実現できる。 Ｆ 発明の効果 以上説明したように、本願発明は、音声的及び
形態的な手法に基づき入力ストリングを適切なキ
ーワードに変換して、そのキーワードどうしにつ
いて類似性を比較するようにしたので、入力ワー
ドに幾つかのタイプの誤りがあつても高い精度で
類似性を決定することを可能ならしめる、という
効果を奏する。

【図面の簡単な説明】

図面は、本発明に基づく２つのストリング間の
類似性の決定方法を示す流れ図である。

Claims (1)

1. 【特許請求の範囲】 １ 辞書記憶域内の辞書ワードに対する入力ワー
   ド・ストリング中の入力ワードの類似性をランク
   付けする方法であつて、 (a) 上記入力ワード・ストリングから第１の入力
   ワードを読み取り、該第１の入力ワードの子音
   を第１の記憶域に書き込むとともに、該第１の
   入力ワードの母音を第２の記憶域に書き込む段
   階と、 (b) 上記第１の記憶域にある重複した子音を取り
   除くとともに、上記第２の記憶域にある重複し
   た母音を除去する段階と、 (c) 上記第１の記憶域にある子音をアルフアベツ
   ト順に配列するとともに、上記第２の記憶域に
   ある母音をアルフアベツト順に配列する段階
   と、 (d) 上記第１の記憶域にあるアルフアベツト順の
   子音と、上記第２の記憶域にあるアルフアベツ
   ト順の母音とを連結して入力キーワードを形成
   する段階と、 (e) 上記辞書記憶域内から辞書ワードを読み取
   り、該辞書ワードの子音を第３の記憶域に書き
   込むとともに、該第辞書ワードの母音を第４の
   記憶域に書き込む段階と、 (f) 上記第３の記憶域にある重複した子音を取り
   除くとともに、上記第４の記憶域にある重複し
   た母音を除去する段階と、 (g) 上記第３の記憶域にある子音をアルフアベツ
   ト順に配列するとともに、上記第４の記憶域に
   ある母音をアルフアベツト順に配列する段階
   と、 (h) 上記第３の記憶域にあるアルフアベツト順の
   子音と、上記第４の記憶域にあるアルフアベツ
   ト順の母音とを連結して辞書キーワードを形成
   する段階と、 (i) 上記入力キーワードを上記辞書キーワードと
   比較して、上記入力キーワードを上記辞書キー
   ワードに一致するようにするために必要な上記
   入力キーワード中の変更処理の数をカウントし
   て、該カウント値を第１のスコアとする段階
   と、 (j) 上記入力キーワードを上記辞書キーワードと
   比較して、上記入力キーワード及び上記辞書キ
   ーワードにおける同一文字セグメントの長さを
   測定してその測定値を第２のスコアとする段階
   と、 (k) 上記第１及び第２のスコアを組み合わせて上
   記辞書ワードに対する上記入力ワードの類似性
   のランクをあらわすスコアを生成する段階を有
   する、 辞書記憶域内の辞書ワードに対する入力ワー
   ド・ストリング中の入力ワードの類似性をランク
   付けする方法。 ２ 辞書記憶域内の辞書ワードに対する入力ワー
   ド・ストリング中の入力ワードの類似性のランク
   付けする方法であつて、 (a) 上記入力ワード・ストリングから第１の入力
   ワードを読み取り、該第１の入力ワードの子音
   を第１の記憶域に書き込むとともに、該第１の
   入力ワードの母音を第２の記憶域に書き込む段
   階と、 (b) 上記第１の記憶域にある隣接する重複した子
   音を取り除くとともに、上記第２の記憶域にあ
   る隣接する重複した母音を除去する段階と、 (c) 上記第１の記憶域にある子音と、上記第２の
   記憶域にある母音とを連結して入力キーワード
   を形成する段階と、 (d) 上記辞書記憶域内から辞書ワードを読み取
   り、該辞書ワードの子音を第３の記憶域に書き
   込むとともに、該第辞書ワードの母音を第４の
   記憶域に書き込む段階と、 (e) 上記第３の記憶域にある隣接する重複した子
   音を取り除くとともに、上記第４の記憶域にあ
   る隣接する重複した母音を除去する段階と、 (f) 上記第３の記憶域にある子音と、上記第４の
   記憶域にある母音とを連結して辞書キーワード
   を形成する段階と、 (g) 上記入力キーワードを上記辞書キーワードと
   比較して、上記入力キーワードを上記辞書キー
   ワードに一致するようにするために必要な上記
   入力キーワード中の変更処理の数をカウントし
   て、該カウント値を第１のスコアとする段階
   と、 (h) 上記入力キーワードを上記辞書キーワードと
   比較して、上記入力キーワード及び上記辞書キ
   ーワードにおける同一文字セグメントの長さを
   測定してその測定値を第２のスコアとする段階
   と、 (i) 上記第１及び第２のスコアを組み合わせて上
   記辞書ワードに対する上記入力ワードの類似性
   のランクをあらわすスコアを生成する段階を有
   する、 辞書記憶域内の辞書ワードに対する入力ワー
   ド・ストリング中の入力ワードの類似性をランク
   付けする方法。 ３ 形態的／音声的技法を使用して辞書記憶域内
   の辞書ワードに対する入力ワード・ストリング中
   の入力ワードの類似性をランク付けする方法であ
   つて、 (a) 入力ワード・ストリングから第１のワードを
   読取り、入力キーワードを作成する段階と、 (b) 上記辞書記憶域から辞書ワードを読取り、辞
   書キーワードを作成する段階と、 (c) 上記入力キーワードを上記辞書キーワードに
   一致させるのに必要な変更処理の数である第１
   のスコアと、上記入力キーワード及び上記辞書
   キーワード中の同一文字の数を数えることによ
   つて生成された第２のスコアとを組み合わせる
   ことによつて、形態的スコアを生成する段階
   と、 (d) 上記入力ワードの文字を、一組の書換え規則
   で表現された対応する音声的文字で置き換える
   ことによつて入力音声キーワードを作成する段
   階と、 (e) 上記辞書ワードの文字を、一組の書換え規則
   で表現された対応する音声的文字で置き換える
   ことによつて辞書音声キーワードを作成する段
   階と、 (f) 上記入力音声キーワードを上記辞書音声キー
   ワードに一致させるのに必要な変更である第３
   のスコアと、上記入力音声キーワード及び上記
   辞書音声キーワード中の同一文字の数を数える
   ことによつて生成された第４のスコアとを組み
   合わせることによつて、音声的スコアを生成す
   る段階と、 (g) 上記入力ワードと上記辞書ワードの間の相違
   の程度として、上記形態的スコアと上記音声的
   スコアのうちの小さい方を選択する段階を有す
   る、 辞書記憶域内の辞書ワードに対する入力ワー
   ド・ストリング中の入力ワードの類似性をランク
   付けする方法。