JPH0810452B2 - 日本語対象文固有用語抽出処理装置 - Google Patents

Description

【発明の詳細な説明】 （１）発明の属する技術分野 本発明は，日本語文書中から，該文書でのみ使用され
ている製品名，会社名，人名などの固有名詞や単語の組
み合わせであっても新語や該文書においてのみ使用され
ていると考えられる語（対象文固有用語）を自動的に抽
出する日本語対象文固有用語抽出処理装置に関するもの
である。

（２）従来の技術 従来から文作成に当って，日本語文書中から，該文書
でのみ使用されている製品名，会社名，人名などの固有
名詞や，単語の組み合わせであっても新語や，該文書に
おいてのみ使用されていると考えられる語（対象文固有
用語）を抽出することが行われている。このための従来
の装置では，入力日本文をあらかじめ用意した解析辞書
を用いて分かち書きを行い，その結果，うまく分かち書
きできなかった部分を対象文固有用語として抽出する。
また，字種の変化点に着目する装置では，ある字種から
別の字種へ変化する点までを対象文固有用語の候補とし
て抽出し，該候補の中から，あらかじめ用意した解析用
の日本語辞書に登録されていない候補を，対象文固有用
語として抽出するようにしている。

しかし，前者の装置では， 日本語の分かち書き処理は，解析辞書中に単語が登
録されていることを前提としているため，対象文固有用
語についても解析を試み，部分的に解析に成功すると，
その部分を対象文固有用語の対象外となる（例：「○×
会社」は全体で社名を表わす対象文固有用語であるにも
かかわらず，「会社」は一般的な用語であって，解析に
成功するため，「○×」のみが対象文固有用語であると
認定されてしまう）など，正確に対象文固有用語を抽出
することができない。

対象文固有用語が一般的な語によって構成されてい
る場合，該用語は，対象文固有用語として認定されな
い。例を以下に示す。「日本電信電話株式会社」は固有
名詞であり，対象文固有用語であるが，一般的な語のみ
によって構成さているために，「日本／電信／電話／株
式／会社」のように分かち書きに成功する。このため，
対象文固有用語として抽出されるべき「日本電信電話株
式会社」が抽出されない。

また，後者の装置では， 複数の字種にわたる対象文固有用語が抽出しずら
い。

「〜向け」などの送りがな付きの接辞を含む対象文
固有用語が抽出できない。

途中にひらがなを含む対象文固有用語（例：係り受
け解析）を抽出できない。

（３）発明の目的 本発明の目的は，前記の問題点を解決した，日本語文
書中から対象文固有用語を正確に自動抽出する日本語対
象文固有用語抽出処理装置を提供することにある。

（４）発明の構成 （４−１）発明の特徴と従来の技術との差異 本発明は，日本語文書中の文字列を複数種類の字種に
分類したコード列に展開する第１の手段， その文書でのみ使用されている製品名や会社名や人名
を含む固有名詞と単語の組み合わせてあっても新語やそ
の文書でのみ使用されていると考えられる語とを総称す
る日本語対象文固有用語について，前記コード列におけ
る字種の変化点および並び方のみから当該日本語対象文
固有用語の候補を抽出する第２の手段， 日本語の性質から，前記日本語対象文固有用語とはな
らない文字列の条件と当該日本語対象文固有用語になり
やすい文字列の条件とを記憶した言語情報テーブルを用
いて，当該日本語対象文固有用語になりやすい文字列の
条件を満たす候補のみを残す第３の手段， および第３の手段で抽出された候補の中から，日本語
単語の字面や品詞を含む情報が登録されている日本語辞
書に収録されていない語のみを前記日本語対象文固有用
語として出力する第４の手段 を有することを特徴とする。

従来の技術とは， 第２の手段において，字種の変化点だけでなく，並
び方にも着目して候補を抽出するので，ひらがなを含む
日本語対象文固有用語も候補として抽出できる。

第２の手段において，字種の変化点および並び方に
着目して候補を抽出するので，一般的な語のみから成る
語や一部に一般的な語を含む語も日本語対象文固有用語
の候補として抽出できる。

第３の手段において，「漢字５文字以上の列は日本
語対象文固有用語となりやすい」などのヒューリスティ
ックルールや，「該候補中に接辞が含まれている場合に
は，接辞に対する処理を施こす」などの処理情報から成
る言語情報を用いて，日本語対象文固有用語の候補を絞
るので，正確な候補抽出が行える。

第４の手段においては，解析辞書中の単語と完成一
致しない語はべて日本語対象文固有用語として出力する
ため，一般的な語のみからなる日本語対象文固有用語
や，一部に一般的な語を含む日本語対象文固有用語も，
日本語対象文固有用語として抽出できる。

の各点が異なる。

（４−２）実施例 第１図は本発明をハードウェアによって構成した際の
基本構成図である。図中,1は，入力された日本語文書を
例えば10種類の字種（漢字コード，漢数字コード，一般
ひらがなコード，連用形活用語尾ひらがなコード，カタ
カナコード，アラビア数字コード，アルファベットコー
ド，句読点コード，区切りコード，その他のコード）に
分類したコード列に展開するコード列展開部。２は，コ
ード列展開部１において得られたコード列の中から，字
種の変化点および並び方に着目して，日本語対象文固有
用語の候補を抽出する日本語対象文固有用語候補抽出
部。３は，日本語対象文固有用語候補抽出部２において
得られた候補の中の各候補に対して言語情報テーブル９
を検索し，該情報に従って該候補を処理した後，より精
度の高い候補のみから成る候補群を抽出する日本語対象
文固有用語言語処理部。４は，日本語対象文固有用語言
語処理部３において得られた候補群の中の各候補の字面
をキーとして日本語解析辞書10を検索し，日本語解析辞
書10に登録されていない語のみを日本語対象文固有用語
として選択する日本語対象文固有用語選択部。５は，日
本語対象文固有用語選択部４で選択された日本語対象文
固有用語を日本語対象文固有用語ファイル６に登録する
日本語対象文固有用語登録部。６は，最終的に抽出され
た日本語対象文固有用語を登録しておく日本語対象文固
有用語ファイル。７は，候補として抽出すべき字種の並
びを規定した抽出字種列規定テーブル。８は，日本語対
象文固有用語候補抽出部２において抽出する字種列をど
のように分類するかを規定した分類テーブル。９は，日
本語対象文固有用語言語処理部３において，より精度の
高い候補を抽出する際に用いる言語情報や処理方法を記
述した言語情報テーブル。10は，一般的な日本語単語の
字面や品詞などを登録した日本語解析辞書。11は，演算
装置およびメモリから成る日本語対象文固有用語抽出装
置である。

第２図は第２図（Ａ）と（Ｂ）とで一体となって１つ
の図を構成するものであり，日本語対象文固有用語抽出
装置11の動作の概略フローである。

次に，第２図の概略フローに従って，動作の説明を行
う。

日本語対象文固有用語抽出装置11の入力である日本語
文書に対して，コード列展開部１では，該日本語文書の
１文字１文字を10種類の字種（漢字コード，漢数字コー
ド，一般ひらがなコード，連用形活用語尾ひらがなコー
ド，カタカナコード，アラビア数字コード，アルファベ
ットコード，句読点コード，区切りコード，その他のコ
ード）のコードに変換し，該日本語文書に対するコード
列を生成する（第２図ステップ１）。

このとき，各コードには，該コードが該日本語文書の
どの文字から生成されたのかを示す情報が付与される。
コード列展開部１によって生成されたコード列は，日本
語対象文固有用語候補抽出部２に送られる。

日本語対象文固有用語候補抽出部２では，抽出字種列
規定テーブル７に記述されているコード列に対応する文
字列を，日本語文書中から，日本語対象文固有用語の候
補としてすべて抽出し，分類テーブル８に記述されてい
る条件によって該候補を分類する（第２図ステップ
２）。

分類された日本語対象文固有用語の後方は，日本語対
象文固有用語言語処理部３に送られる。第３図に，分類
テーブル８の内容の例を示す。日本語対象文固有用語言
語処理部３では，まず，言語情報テーブル９を検索して
情報を得る（第２図ステップ31）。次に，得られた情報
に従って，日本語対象文固有用語の各候補について処理
する（第２図ステップ32）ことによって，より精度の高
い日本語対象文固有用語の候補を抽出し（第２図ステッ
プ33），日本語対象文固有用語選択部４に該候補を送
る。

日本語対象文固有用語選択部４では，日本語対象文固
有用語言語処理部３により送られてきた日本語対象文固
有用語の候補の字面をキーとして，日本語解析辞書10を
検索する。検索の結果，該候補が日本語解析辞書10に登
録されているときは，該候補は日本語対象文固有用語で
はないとして，候補から落とす（第２図ステップ４）。
逆に，該候補が日本語解析辞書10に登録されていないと
きは，該候補は日本語対象文固有用語であるとして，該
候補を日本語対象文固有用語登録部５に送る（第２ステ
ップ４）。

日本語対象文固有用語登録部５では，日本語対象文固
有用語選択部４より送られてきた日本語対象文固有用語
を日本語対象文固有用語ファイル６に書き込み，登録す
る（第２図ステップ５）。

次に例を用いて動作の概略を説明する。第４図に示す
例文と日本語対象文固有用語抽出装置11の入力となる日
本語文書として説明する。

まず，コード列展開部１では，第４図に示す例文の１
文字１文字を対応するコードに変換し，コード列を生成
する（第５図）。第５図のコード列では，漢字コード
（漢数字を除く全ての漢字）を，漢数字コード（〇，
一，二，三，四，五，六，七，八，九）を，一般ひら
がなコード（連用形活用語尾ひらがなコード以外の全て
のひらがな）を，連用形活用語尾ひらがなコード
（い，き，し，ち，み，り，え，け，せ，て，ね，め，
れ，ぎ，じ，び，げ，ぜ，べ，っ）を，カタカナコー
ド（カタカナすべて）を，アラビア数字コード（0,1,
2,3,4,5,6,7,8,9）を，アルファベットコード（Ａ〜
Z,a〜ｚの大文字，小文字）を，句読点コード（読
点，句点，カンマ，ピリオド，クエスチョンマーク，イ
クスクラメーションマーク）を，区切りコード（カギ
カッコ，丸カッコなどのカッコ類，コーテーションマー
ク，ダブルコーテーションマーク）を，その他のコー
ド（前記のどのコードには入らない文字や記号）をと
略記している。このとき，各コードには，該コードがど
の文字から生成されたかを示す情報（例えば，第５図の
一番最初のは第４図の文字“位”から，次のは文字
“置”からそれぞれ生成されたことを示す情報）を付与
する。この付与の方法には，元の文字列に番号を付け，
その番号をコード列に付与する方法や，元の文字とコー
ドをペアで持つ方法などがあるが，ここでは，この方法
については問わない。

コード列展開部１によって生成されたコード列（第５
図）は，日本語対象文固有用語候補抽出部２に送られ
る。

次に，日本語対象文固有用語候補抽出部２では，第５
図に示したコード列から１つ１つのコードを取り出し，
抽出字種列規定テーブル７中のルールと照合し，入力日
本語文書からすべての候補を抽出する。第６図に抽出字
種列規定テーブル７の内容例をif〜thenルールの形で表
わしたものを示す。例文において，まず，第１文字目の
“位”に対するコードが処理される。このコードは，
抽出字種列規定テーブル７における現在のコード＝の
ルールと一致するので，このコードに対応する文字
“位”が候補文字列バッファに加えられる（第７図
（１）参照）。

次に，第２文字目の“置”に対するコード，第３文
字目の“繰”に対するコードが同様に処理され（第７
図（２），（３）），ここまでの処理で候補文字列バッ
ファには第７図（３）に示す“位置繰”が入っている。
次に第４文字目の“り”に対するコードが処理され
る。このコードは抽出字種列規定テーブル７における現
在のコードのルールと一致する。このルールは次の文
字に対するコードによってさらに処理が分かれている。
次の文字は第５文字目の“返”であり，対応するコード
はである。従って抽出字種列規定テーブル７中の該ル
ールにより，現在のコードに対応する文字“り”が候
補文字列バッファに加えられる（第７図（４））。次に
第５文字目が処理され，候補文字列バッファの内容は第
７図（５）のようになる。同様にして，第８文字目の
“度”までが候補文字列バッファ内に加えられる（第７
図（８））。次に第９文字目の“は”に対するコード
が処理される。このコードは抽出字種列規定テーブル７
における現在のコード＝のルールに一致する。このル
ールにより，今までの処理で候補文字列バッファに入っ
ている文字列「位置繰り返し精度」が候補として抽出さ
れ，候補文字列バッファがクリアされる。以上のような
動作を繰り返し，入力日本語文書の最後まで処理を行
い，すべての候補が抽出される（第８図，第９図参
照）。

さらに，日本語対象文固有用語候補抽出部２では，抽
出した候補を分類テーブル８に従って分類する。この結
果を第10図に示す。分類結果は日本語対象文固有用語言
語処理部３に送られる。

日本語対象文固有用語言語処理部３では，言語情報テ
ーブル９を検索し，得られた情報に従って候補を絞り込
む。言語情報テーブル９の内容の例を第11図に示す。日
本語対象文固有用語言語処理部３では，第10図に示す候
補の分類をキーとして，言語情報テーブル９を検索す
る。第10図の分類１に属する語「上」は，第11図分類１
の項の「無条件に候補から落とす」に一致するため，候
補から落とされる。また，分類23に属する「○・○五ミ
リ」，「毎秒二・二メートル」の２語は，第11図分類23
の項の「漢数字とそれに続く助数詞を持つものは候補か
ら落とす」に一致するため，候補から落とされる。分類
２の「性能」，分類３の「在来機」，分類６の「最大合
成速度」，分類22の「位置繰り返し精度」の４語は候補
として残り，日本語対象文固有用語選択部４に送られ
る。

日本語対象文固有用語選択部４では，日本語解析辞書
10を日本語対象文固有用語の候補の字面で検索し，日本
語解析辞書10に登録されていない語のみを日本語対象文
固有用語として選択する。例文に対しては，上記４語の
候補の各々について，その字面をキーとして日本語解析
辞書10を検索する。検索の結果，日本語解析辞書には，
「性能」のみが一般的な語として登録されているため，
「性能」が候補から落とされる。よって上記の４語から
「性能」を除いた３語が日本語対象文固有用語として日
本語対象文固有用語登録部５に送られる。

日本語対象文固有用語登録部５では，送られてきた３
個の日本語対象文固有用語を日本語対象文固有用語ファ
イル６に書き込み，登録する。日本語対象文固有用語フ
ァイル６に書き込まれた日本語対象文固有用語を第12図
に示す。

このような構造および作用となっていることから，従
来の方法に比べて， 日本語対象文固有用語の候補を抽出する際に，字種
の変化点だけでなく，並び方にも着目しているので，ひ
らがなを含む日本語対象文固有用語も候補として抽出で
きる。

字種の変化点および並び方に着目して候補を抽出す
るので，一般的な語のみから成る語や一部に一般的な語
を含む語も日本語対象文固有用語の候補として抽出でき
る。

字種の変化点および並び方に着目して抽出した候補
に対して，言語情報テーブル中の情報（「漢字５文字以
上の列は日本語対象文固有用語となりやすい」といった
ヒューリスティックルールや，「接辞を含む場合には，
接辞に対する処理を施こす」などの処理情報）を用い
て，候補を絞り込むので，正確な日本語対象文固有用語
の候補抽出が行える。

日本語解析辞書中の単語と完全一致しない語はすべ
て日本語対象文固有用語として抽出するため，一般的な
語のみから成る日本語対象文固有用語や，一部に一般的
な語を含む日本語対象文固有用語も，日本語対象文固有
用語として抽出できる。

の各点で改善があった。

（５）発明の効果 以上，説明したように，本発明によれば，該文書での
み使用されている製品名，会社名，人名などの固有名詞
や単語の組み合わせであっても新語や該文書においての
み使用されていると考えられる語（以上の語をまとめて
日本語対象文固有用語と呼ぶ）の候補を該文書中から，
字種の変化点および並び方の情報によって抽出し，該宝
庫の持つ言語情報を用いて候補を絞った後に，解析辞書
を検索することによって一般的な語を取り除いたものを
日本語対象文固有用語として出力するのであるから，日
本語文書中に存在する日本語対象文固有用語を，正確に
抽出できるという利点がある。

【図面の簡単な説明】

第１図は本発明の基本構成図，第２図は本発明の動作の
概略フロー，第３図は分類テーブルの内容の例，第４図
は動作の説明に用いた例文，第５図は例文に対するコー
ド列，第６図は抽出字種列規定テーブルの内容例，第７
図は候補文字列バッファ内の動作例，第８図は第５図の
コード列から抽出される日本語対象文固有用語の候補の
コード列，第９図は第８図のコード列に対応する元の文
字列，第10図は分類テーブルによる日本語対象文固有用
語の候補の分類，第11図は言語情報テーブルの内容の
例，第12図は最終的に抽出された日本語対象文固有用語
を示す。 １…コード列展開部,2…日本語対象文固有用語候補抽出
部,3…日本語対象文固有用語言語処理部,4…日本語対象
文固有用語選択部,5…日本語対象文固有用語登録部,6…
日本語対象文固有用語ファイル,7…抽出字種列規定テー
ブル,8…分類テーブル,9…言語情報テーブル,10…日本
語解析辞書,11…日本語対象文固有用語抽出装置。

Claims (1)

【特許請求の範囲】
1. 【請求項１】日本語文書中の文字列を複数種類の字種に
   分類したコード列に展開する第１の手段， その文書でのみ使用されている製品名や会社名や人名を
   含む固有名詞と単語の組み合わせであっても新語やその
   文書でのみ使用されていると考えられる語とを総称する
   日本語対象文固有用語について，前記コード列における
   字種の変化点および並び方のみから当該日本語対象文固
   有用語の候補を抽出する第２の手段， 日本語の性質から，前記日本語対象文固有用語とはなら
   ない文字列の条件と当該日本語対象文固有用語になりや
   すい文字列の条件とを記憶した言語情報テーブルを用い
   て，当該日本語対象文固有用語になりやすい文字列の条
   件を満たす候補のみを残す第３の手段， および第３の手段で抽出された候補の中から，日本語単
   語の字面や品詞を含む情報が登録されている日本語辞書
   に収録されていない語のみを前記日本語対象文固有用語
   として出力する第４の手段 を有することを特徴とする日本語対象文固有用語抽出処
   理装置。