JPH0721798B2 - 言語処理装置 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 近年、盛んに利用されるようになったワードプロセッサ
などで一般的に使われている仮名漢字変換装置において
は、入力されたかな文字を対応する漢字表記にするため
に、その内部に単語見出しを各単語固有の表記情報とと
もに格納し、これを単語見出しに基づき検索する言語処
理装置を蔵している。また機械翻訳装置などでも単語見
出しに基づき単語固有の訳語情報を得るための言語処理
装置を蔵している。本発明はこれらの言語処理装置に関
するものである。

従来の技術 従来の言語処理装置としては、例えば特開昭58−144974
号公報「電子辞書における単語スペル記憶方法」などが
ある。『これは、音節単位で組を作り頻度の高い「tio
n」や「ing」等の音節を一つのコードとして記憶する、
というものである。』たとえば、アルファベットの単語
データをもつ単語集合のなかで「tion」を特殊コードS
1、「ing」を特殊コードS2と表現すると、「inspiratio
n」というデータは「inspira S1」「balling」というデ
ータは「ball S2」という形で表現する。

これにより、可変長単語スペルデータを効率良く記憶出
来るとしている。

発明が解決しようとする問題点 しかしながら、上記のような方法では、圧縮効果のある
のは単語スペル部分だけに限られてしまう。現実にはス
ペル以外にも、単語記憶に際しては高頻度で現われるデ
ータは数多くある。例えば、単語品詞情報は「名詞類」
が圧倒的に多いことが知られているが、従来の方法で
は、これに対応していない。

また、従来の方法では特殊コードを本来の単語スペルと
混在して記憶しているため、単語データの解読、復号の
際は注目しているコードが本来の単語スペルかそれとも
省略のための特殊コードかをすべてのスペル情報に対し
て検査してやる必要がありデータアクセス時間がかかる
という問題点を有していた。本発明はかかる点に鑑み、
単語スペル以外の高頻度で出現する単語情報について
も、圧縮効果があり、データアクセス時間の短い言語処
理装置を提供することを目的とする。

問題点を解決するための手段 本発明は、単語の文法特性を表す単語固有情報と単語見
出しを格納する単語情報記憶部と、前記単語情報記憶部
内の単語の中で予め定めた割合以上の単語に共通する高
頻度単語固有情報に対して、各単語毎に単語固有情報の
代わりに単語固有情報よりもサイズの小さい省略情報を
記憶する高頻度単語情報省略領域と、入力読み列を一時
格納する入力読み列一時記憶部と、前記単語情報記憶部
内に格納された単語見出しを前記入力読み列一時記憶部
内の入力読み列と比較する読み比較部と、前記読み比較
部の比較の結果によりあらかじめ設定された検索条件を
満たす単語見出しを持つ単語を得る単語検索部と、前記
単語検索部から得られた単語の前記省略情報を前記高頻
度単語固有情報に置換することにより単語固有情報を復
号する単語情報復号部を持つことを特徴とする言語処理
装置である。

作用 本発明は前記した構成により、言語処理装置内に記憶し
ている単語のうち殆どの単語に対して、単語固有情報デ
ータが同じものになることが分かっている場合、この単
語固有情報の省略を高頻度単語格納省略領域として示す
ものである。これにより、省略データの検索・復号の処
理にアクセス時間の増大という副作用をおこすことなく
単語情報を効率良く圧縮するものである。

実 施 例 第１図は、本発明の一実施例における言語処理装置の構
成を表わすブロック図である。第１図において、１はカ
ナ入力装置で日本語の仮名の表音文字列をコード入力す
るものである。２は入力読み列一時記憶部で、前記カナ
入力装置１より入力されたカナを入力読み列として一時
格納するものである。３は単語情報記憶部であり、単語
見出し、単語表記、単語品詞を単語見出しによってカナ
の50音順に格納しておくものである。４は読み比較部で
単語情報記憶部３内の単語見出しと入力読み列一時記憶
部２中に格納された入力読み列とを比較し、入力読み列
に対し単語見出しが長さ分だけ一致しているか、また入
力読み列が単語見出しと比べて50音順で後に位置するか
どうかを判定する。さらに読み比較部４は入力読み列と
比較した単語情報記憶部３内の各単語情報の位置情報
（以下アドレスと称する）Ａと次検索単語アドレスＢと
を記憶するものである。５は単語検索部であり、カナ入
力装置１からのキー入力をきっかけに読み比較部４を起
動して検索条件を満たす単語読み列を単語情報記憶部３
内で検索する。また、検索結果として検索条件を満たす
単語読み列が単語情報記憶部３に存在する場合はその旨
の結果信号Reと該当する単語の単語情報記憶部３内アド
レスＡを後述する単語情報復号部に対して出力する。も
し、該当する単語が単語情報記憶部３内に存在しない場
合はその旨の結果信号Raと入力読み列を後述する単語情
報復号部に対して出力する。６は単語情報復号部で単語
検索部５からの単語検索結果信号にもとずき、もしも検
索条件を満たす単語が存在する場合は同時に得られる単
語情報記憶部３内該当単語アドレスＡをもとに単語表記
情報と品詞情報を復号して後述する文法処理部に対して
出力する。もしも該当単語がない場合は同時に入力され
る入力読み列をもとに入力文字列と一文字対応のひらが
な表記を組み立てて後述する文法処理部に対して出力す
る。７は文法処理部で単語情報復号部６から得た品詞及
び表記情報をもとに出力表記を組み立てる。さらに出力
表記が日本語として妥当なものかを判定する。妥当であ
れば出力表記を後述する表記部に対して出力する。そう
でなければ、単語検索部５にたいして再度単語検索を指
示する信号を出力する。この際、単語検索部５から得ら
れた表記がひらがな列である場合は無条件に後述する表
示部に対して出力する。８は表示部であり、単語情報復
号部６から得られた単語表記情報をCRT画面上に出力表
示する。

以上のように構成された本実施例の言語処理装置につい
て、以下とくに単語情報記憶部３内の単語情報記憶の様
子を図を用いて説明する。

第２図（ａ）および（ｂ）は本発明の一実施例における
単語情報記憶部３の単語情報記憶の様子を表わす図であ
る。

第２図（ａ）に記載した単語情報が本実施例の単語情報
記憶部３中で記憶される様子を表わしたのが第２図
（ｂ）である。本実施例では、品詞情報を省略の対象と
しておりこのために単語表記の第１文字目に高頻度単語
情報省略領域として品詞省略ビット領域を設けている。
図中の矢印の部分がこれに対応している。第２図におい
ては省略の対象となっている品詞は「名詞」である。そ
こで、該当する単語11「愛敬」、12「愛情」、13「合
間」、16「愛欲」については品詞省略ビットが１に設定
されている。それ以外の単語については品詞省略ビット
が０に設定されている。

図中でIi（I¹⁰,I¹¹,……）であらわれた記号は各単語ご
との可変長データすなわち単語見出しと単語表記の長さ
情報を表わしている。また、本実施例においては単語情
報記憶部３としては16ビット単位の汎用の半導体メモリ
を使用しており、表記情報は14ビットのコードをもちい
ている。すなわち、品詞省略ビットは残りのビット割り
当てを利用している。

以上のように構成された本実施例の言語処理装置につい
て、以下その動作をフローチャートを用いて、説明す
る。

第３図は本発明の一実施例の動作を説明するためのフロ
ーチャートである。このフローチャートのステップ数を
括弧内の数値で表して説明する （１） 本装置はキー入力待ち状態においてカナ入力装
置からカナが入力されるとその文字はコード化されて入
力読み列一時記憶部２に格納される。同時に単語検索部
５が起動されて前記入力読み列一時記憶部２内の入力読
み列に対しての検索操作を開始する。すなわち検索開始
アドレス情報と入力読み列を初期条件として単語検索部
５を起動する。

（２） 単語検索部５はまず読み比較部４に対して、入
力読み列と単語アドレス情報を出力する。それを受けた
読み比較部４はアドレス情報をもとにして単語情報記憶
部３からアドレスに対応した単語見出し情報を取りだし
てくる。

（３） 読み比較部４は（２）の処理でえられた単語情
報記憶部３の単語見出し情報と単語検索部５から与えら
れた入力読み例を比較する。

（４） （３）の読み比較の結果入力読み列と単語情報
記憶部３内の単語見出し情報が単語見出し長さ分だけ一
致している場合単語アドレス情報Ａと、該当単語が単語
情報記憶部３内にあることを示す結果信号Reとを単語情
報復号部６に対して出力し（８）の処理へ進む。また、
一致しない場合は（５）の処理へ進む。

（５） （３）の読み比較の結果入力読み列が単語情報
記憶部３内の単語見出し情報とくらべてカナの50音順で
後置することがわかった場合、すなわち単語情報記憶部
３内に入力読み列に完全に一致する単語が存在しないこ
とが確定した場合は処理を（６）に移す。それ以外の場
合は単語検索部５は、読み比較部４に記憶されている次
単語アドレスＢを単語情報記憶部３内でつぎに比較すべ
き単語のアドレスとして得てから処理を（２）に移す。

（６） 単語情報復号部６は読み一致単語が単語情報記
憶部３にないことを結果信号Raから判定して同時に与え
られる入力読み列からひらがな表記列を組み立て文法処
理部７にたいして出力する。文法処理部７はその表記を
そのまま表示部８に対して出力する。

（７） 表示部８は単語情報復号部６からの表記情報を
CRT画面上に出力表示して再びキー入力待ち状態にな
る。

（８） 単語情報復号部６は検索条件に合致する単語が
単語情報記憶部３にあることを結果信号Reから判定して
同時に与えられる単語情報アドレス情報Ａから単語情報
記憶部３内の単語表記および品詞情報を獲得して、文法
処理部７に対して出力する。

（９） 文法処理部７は単語情報復号部６から得た品詞
及び表記情報をもとに出力表記を組み立てる。されに出
力表記が日本語として妥当なものかを判定する。妥当で
あれば出力表記を後述する表示部８に対して出力する。
そうでなければ、前記単語検索部５にたいして再度単語
検索を指示する信号を出力する。

（10）表示部８は単語情報復号部６からの表記情報をCR
T画面上に出力表示して再びキー入力待ち状態になる。

以上のように本実施例によれば、単語格納情報として単
語の単語情報記憶部３内のアドレスを利用し、単語情報
復号部６が直接単語情報記憶部３をアクセスできる構成
としたことで転送データが減少する。この高価でデータ
アクセス時間が短縮されている。

また、単語情報記憶部３内において、単語固有情報であ
る品詞を単語表記記憶するさいに生じる余剰領域を利用
することで省略することができる。これにより言語処理
装置のサイズ従来のものよりも小さくすることができ
る。

一般の日本語文章に現われる単語の品詞別出現頻度は以
下の表に示すように、名詞がその約80％近くを占めてお
り、この情報をそっくり省略することで、単語ごとに持
つべき品詞情報をおよそ20％にすることが出来る。言語
処理装置の中の品詞情報の占める割合は、長さ情報を１
〔Ｂ〕、単語見出しを４〔Ｂ〕、単語表記を４〔Ｂ〕、
品詞を1Bとすると約１割となる。すなわち、本発明を言
語処理装置中の品詞情報のみに適応するだけで、言語処
理装置の大きさを従来のものより８％削減することがで
きる。

発明の効果 以上説明したように、本発明によれば、単語データアク
セス時間に関して副作用なしに高頻度データに注目する
ことで言語処理装置内の単語情報記憶部３を圧縮するこ
とができ、その実用的効果は大きい。

【図面の簡単な説明】

第１図は本発明の１実施例の言語処理装置のブロック
図、第２図は同実施例の単語情報記憶部３の単語情報記
憶の様子を表わす説明図、第３図は同実施例の動作を表
わすフローチャートである。 ２……入力読み列一時記憶部、３……単語情報記憶部、
４……読み比較部、５……単語検索部、６……単語情報
復号部。

Claims (1)

【特許請求の範囲】
1. 【請求項１】単語の文法特性を表す単語固有情報と単語
   見出しを格納する単語情報記憶部と、前記単語情報記憶
   部内の単語の中で予め定めた割合以上の単語に共通する
   高頻度単語固有情報に対して、各単語毎に単語固有情報
   の代わりに単語固有情報よりもサイズの小さい省略情報
   を記憶する高頻度単語情報省略領域と、入力読み列を一
   時格納する入力読み列一時記憶部と、前記単語情報記憶
   部内に格納された単語見出しを前記入力読み列一時記憶
   部内の入力読み列と比較する読み比較部と、前記読み比
   較部の比較の結果によりあらかじめ設定された検索条件
   を満たす単語見出しを持つ単語を得る単語検索部と、前
   記単語検索部から得られた単語の前記省略情報を前記高
   頻度単語固有情報に置換することにより単語固有情報を
   復号する単語情報復号部を持つことを特徴とする言語処
   理装置。