JPH0612453A

JPH0612453A - 未知語抽出登録装置

Info

Publication number: JPH0612453A
Application number: JP4168803A
Authority: JP
Inventors: Naotoshi Maruyama; 直利丸山; Ikuo Karashi; 育雄芥子; Hiroyuki Kanza; 浩幸勘座; Takao Inui; 隆夫乾
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1992-06-26
Filing date: 1992-06-26
Publication date: 1994-01-21

Abstract

(57)【要約】【目的】日本語文章の中から未知語を自動的に抽出す
ること、および辞書・データベースへの未知語の登録を
簡便にすることにある。【構成】日本語文章を入力する入力部と、入力された
日本語文章を記憶する文章記憶部と、漢字を含む多数の
単語についてその読み情報を記憶している辞書部と、日
本語文章を言語解析する解析部と、言語解析した結果を
用いて辞書部に存在しない語を未知語として、入力した
日本語文章の中から一括抽出する抽出部と、抽出した語
を保存する保存部とを備えてなることを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は未知語の抽出および辞書
登録を行なう未知語抽出登録装置に関する。本発明は、
特に日本語ワードプロセッサに搭載される基本辞書や固
有名詞辞書などの各種辞書の作成、または新語・現代用
語辞典等、出版物としての各種辞書・辞典の作成を支援
するためのツールとして好適である。

【０００２】

【従来の技術】未知語の抽出装置の従来技術として、日
本語文章校正システムの未登録語抽出機能がある。この
技術は、日本語を言語解析（形態素解析）し、それによ
って分かち書きされた自立語の単語が基準辞書等にある
かどうかを調べ、辞書にない語を未登録語として抽出し
ていたものである。

【０００３】また、未知語の登録装置の従来技術として
は、ワードプロセッサ上での機能するユーザー辞書登録
機能がある。一般的にこの機能は、ワードプロセッサで
かな漢字変換を行ない目的の語に変換されなかった場合
に、この語をユーザー辞書に登録するものである。その
登録時には、最低限必要な情報として、未知語の表記、
読みをそれぞれ入力し、場合によっては、品詞やその他
の情報を入力することもある。

【０００４】登録の機会は、このようにかな漢字変換辞
書に登録されていない語が発見された時点で逐次的に行
なわれる。このように、従来の未知語の登録装置の用途
は、ワープロのかな漢字変換辞書を補うための、小規模
で個人的な辞書作成にとどまっていた。

【０００５】

【発明が解決しようとする課題】従来技術のような基本
辞書との単純比較では、未知語であるのに未知語として
抽出できない場合が多くあった。このような未知語は固
有名詞に多く、一つの固有名詞が形態素解析により複数
個の基準辞書等に登録されている単語に分かち書きされ
る場合には、この固有名詞は未知語として扱われない
（例えば固有名詞「池袋」は「池（名詞）」と「袋（接
尾語）」に分かち書きされる）。また、形態素解析では
解析不可能な文字列が少なからず発生し、従来ではこれ
を解析エラーとして処理していた。しかし、この中には
未知語にふさわしいものが多く含まれていた。

【０００６】さらに、ワードプロセッサ上での辞書にな
い単語の登録における問題点は、かな漢字変換で目的の
語を変換してみないと、辞書に未登録であるかどうかが
分からない点である。このため、登録の機会が逐次的に
行なわれ、一括的な登録作業が行なえない。そしてこの
ような性質上、登録される語数も少なく、用途がワード
プロセッサのユーザー辞書登録に限られ、大規模な辞書
やデータベースの構築には向かなかった。

【０００７】また、単語登録時に入力する表記、読み、
品詞などの入力項目も固定であるため、目的別に使い分
けるなど、柔軟に辞書やデータベースを作成することが
困難であった。さらに登録時の情報に必須である表記の
入力は、従来技術の場合は、直接キーボードから入力す
るか、画面に表示されている目的の表記をキーボード等
を使って範囲を指定し、文中から切り出す必要がある。
このときいずれの場合も、複数回のキーボードの打鍵が
必要となる。

【０００８】また、読みの入力の場合には、キーボード
からひらがな、あるいはカタカナ等で、利用者が直接入
力しなければならなかった。しかも、漢字には同一の表
記でも幾とおりもの読み方があり、固有名詞などでは正
規の読み方以外の変則的な読み方をする場合があるの
で、読みを表記情報より決定することは難しいなどの問
題があった。

【０００９】

【課題を解決するための手段及び作用】本発明の未知語
抽出登録装置には２つの形態がある。第１の発明は、日
本語文章を入力する入力部と、入力された日本語文章を
記憶する文章記憶部と、漢字を含む多数の単語について
読みや品詞情報などを記憶している辞書部と、日本語文
章を言語解析する解析部と、言語解析した結果を用いて
辞書部に存在しない語を未知語として、入力した日本語
文章の中から一括抽出する抽出部と、抽出した語を保存
する保存部とを備えてなることを特徴とする。

【００１０】第１の発明において、形態素解析で未知語
を検出する場合に、その障害となるのが１文字自立語で
ある（例えば「池」、「宿」）。漢字は１文字で何らか
の意味を持つため辞書に多く登録されているが、このた
めに未知語抽出ができなくなる可能性がある（上述した
ように、「池袋」は「池」が辞書に登録されている１文
字自立語であるので「池袋」という１つのまとまった語
として認識できない）。

【００１１】本装置ではこの１文字自立語に着目し、１
文字自立語と、ある種の単語（特に接辞語、数詞、従来
技術で抽出された未登録語など）が前後に結合している
場合を結合ルールとして、この結合ルールより成り立つ
語が基本辞書に登録されていない場合にこれを未知語と
して抽出している。またこの結合ルールにより未知語と
してふさわしくないものまで一部抽出されるので、この
ような不要な語を取り除く処理も施している。

【００１２】第２の発明は、未知語抽出装置より抽出さ
れた未知語を保存する未知語記憶部と、未知語記憶部よ
り読み込まれた未知語をＫＷＩＣ形式で表示する未知語
表示部と、未知語表示部に表示された未知語の中から、
辞書・データベースに登録する語を選択する未知語選択
部と、登録語を選択した際に、選択した登録語の表記、
読み、品詞などの付加情報を生成し、未知語表示部に出
力するとともに、未知語選択部の選択指示を受けて、選
択して登録語と付加情報とを対応させて辞書・データベ
ースに格納する未知語登録部とから構成されることを特
徴とする。

【００１３】第２の発明では、抽出された未知語をＫＷ
ＩＣ形式で画面に全て一覧表示することによって、未知
語の登録を一括的に行なえる。ＫＷＩＣ(Keyword in co
ntext)とは、キーワードだけでなく、そのキーワードを
含む前後の部分を表示する方法、およびそのようにして
表示された索引を示すものである。

【００１４】ここでいう「一括」とは、個々の登録は利
用者が確認して行ないながらも、多数の未知語を一連の
作業で登録することができることを意味する。登録した
い単語の選択は、キーボードやポインティングデバイス
などの操作で行なうことができる。よって表記や読み、
品詞などの入力作業をできる限り簡略化している。

【００１５】表記の入力は、キーボードでの操作を例に
とると、１回の打鍵で行なうことができる。ワードプロ
セッサの単語登録作業で面倒であった読みの入力は、読
みを作成するための辞書を使うことによって読みを自動
的に生成・出力している。希望どおりの読みが生成され
れば入力の手間が省け、間違っていれば、従来どおりキ
ーボード等から修正すればよい。また、これらの作業
は、未知語が登録された辞書あるいはデータベースから
の登録語の削除も同様の操作で行なうことができる。さ
らに、未知語に付加する情報の種類は固定ではなく、任
意に変更することができる。

【００１６】

【実施例】

実施例１図１は第１の発明の装置の構成を示すブロック図であ
る。１は未知語の抽出を行ないたい入力文章を読み込む
入力部である。入力はこのようなファイルではなくて
も、キーボードから直接文書を入力してもかまわない。
２は従来と同じ構成の形態素解析処理部であり、文章を
形態素単位に分かち書きし、品詞やその他の情報を獲得
する。また、未知語の一部はこの形態素解析処理部２に
より従来方法で抽出される。

【００１７】３は未知語抽出処理部である。ここでは７
の基準辞書、８の結合ルールテーブルを参照することに
より、未知語が抽出される。４は表示部であり、抽出さ
れた未知語がＫＷＩＣ形式で表示装置に出力される。５
は未知語登録と削除を行なう未知語登録・削除部であ
り、登録したい未知語に対して、様々な情報を付加す
る。６および９は保存部であり、それぞれ、登録した未
知語を保存する部分、抽出した未知語を保存する部分で
ある。

【００１８】図２は、未知語抽出処理部３での処理の流
れを示している。従来手法では、形態素解析で辞書未登
録語あるいは、いかなる品詞にも解析不能となった語を
未登録語としていた（ステップＮ１→Ｎ２）。本装置で
もステップＮ２で抽出された語を次の段階で抽出された
語と合わせて未知語として扱う。

【００１９】ステップＮ３は結合ルールを形態素解析の
出力情報に適応する段階である。１文字自立語や接辞語
などの結合パターンルールより未知語を抽出する（ステ
ップＮ４）。結合ルールに満足しても一部の限られた表
記を持つ１文字自立語や接辞語などを含んでいれば、未
知語として認められず不要語として削除する（ステップ
Ｎ５）。

【００２０】図３は、結合ルールテーブル８の内容を詳
細に示したものである。線で結ばれた語（品詞）が連続
（結合）していた場合、○印なら未知語として扱い、×
印なら未知語として扱わない。なお、この結合ルールテ
ーブル８の内容は固定ではなく、利用者が結合パターン
を変更したり、他の語（品詞）を追加して結合パターン
を増やすことも可能である。

【００２１】図４は、抽出された未知語を辞書あるいは
データベースに登録する際に、表示される画面例であ
る。以下、この画面例に従って未知語登録を行なう作業
を説明する。従って操作方法、入力する項目などは本来
は任意である。

【００２２】なお、この実施例での操作は全てキーボー
ドから行なうものとする。この図の上半分は、抽出され
た未知語ＫＷＩＣリストの一部分である。ここでは、未
知語は漢字コード順に降順ソートされている。この中か
ら登録したい未知語を選択するには、カーソルで未知語
を指定すれば良い。

【００２３】例えば、通し番号“000012”を選択する
と、図の下半分の未知語登録領域の表記欄（１）に表記
「道頓堀」が現れる。続けて改行キー等で確定すると、
読み欄（２）に自動生成した「どうとんぼり」という読
みが現れる。もしここで自動生成した読みが誤っていれ
ば、キーボードから修正することも可能である。同様の
操作を（３），（４），（５）に対して続けると、未知
語「道頓堀」が辞書やデータベースに登録される。

【００２４】この例では、ＫＷＩＣ表示された未知語
（括弧で囲まれた語）に対しての操作例を示したが、装
置が未知語の文中からの切り出し方を誤って抽出した場
合には、簡単な操作で利用者が訂正することも可能であ
る。例えば通し番号“000007”の「峰」は、前の２文字
も含めた「最高峰」が正しい切り出し方であるので、キ
ーボードからの簡単な操作でこれに訂正することができ
る。さらに、この画面に現れていない任意の語を未知語
として登録することも可能であり、この場合には表記や
読みは直接キーボードから入力する。

【００２５】図５は、未知語登録を行なう作業の流れを
示したものである。ステップＮ１０の未知語抽出保存部
のデータを表示装置に一覧表示する（ステップＮ１
６）。利用者はこれを見ながら、登録したい未知語を前
述したような操作で選択する（ステップＮ１１→Ｎ１
２）。次いで登録に必要な情報を入力し（ステップＮ１
３）、ステップＮ１４では、すでに辞書やデータベース
に登録してある未知語の重複を避けるためにチェックす
る。重複がなければ、新しい未知語として登録する（ス
テップＮ１５）。これら一連の作業を登録したい未知語
の語数について繰り返す。

【００２６】実施例２図６は、第２の発明の装置の構成を示すブロック図であ
る。操作は全てキーボードから行ない、出力装置を全て
ＣＲＴなどのディスプレイ表示すると仮定して、実施例
を以下に記述する。

【００２７】同図において、２１は未知語記憶部２５よ
り読み込まれた未知語をＫＷＩＣ形式で表示装置に出力
する部分である。未知語記憶部２５は、未知語抽出装置
より抽出された未知語が保存されている部分である。２
２は未知語選択部であり、未知語表示部２１に表示され
た未知語より、カーソルキー等で辞書・データベースに
登録する語を選択する部分である。選択後の表示入力欄
に表記が現れる。

【００２８】未知語登録・削除部２３では、表記に続い
て読みや品詞など各項目を入力する。読みは、読み作成
辞書２６より生成されたものが読み入力欄に現れる。期
待した読みが現れない場合は、キーボードより目的の読
みを入力する。項目をひととおり入力すると、未知語が
辞書・データベース２４に登録される。この時、同一の
未知語がすでに辞書・データベース２４に登録されてい
れば、その旨を利用者に知らせる。

【００２９】図７および図８は、未知語を登録する作業
の流れを表したフローチャートである。また、図９は登
録作業の画面例である。図９の上半分１は、抽出された
未知語ＫＷＩＣリストの一部分である。括弧で囲まれた
語が未知語であり、実際の画面では括弧ではなく反転表
示される。ここでは、未知語は漢字コード順に降順ソー
トされている。下半分２は、登録に必要な情報を入力す
る欄である。この例では、表記、読み、言い替え語、品
詞、分類コードが辞書・データベース２４に登録され
る。

【００３０】図７のステップＳ３は、画面上に現れた未
知語の中から、辞書・データベースに登録する語をカー
ソルキーで選択する操作である。これを図９に例をとれ
ば、左端の通し番号“000012”に抽出されている未知語
「道頓堀」を登録したいとき、カーソルキーをこの行へ
移動する。カーソルの桁位置はどこでも構わない。もし
ここで、装置が未知語の文中からの切り出しを誤ってい
れば（ステップＳ４）、後述する方法でそれを修正すれ
ばよい（ステップＳ１６）。この場合は正しく切り出さ
れているとして、この未知語の登録を開始することを改
行キーで決定する（ステップＳ５）。

【００３１】決定後、図９の（１）に示されるように表
記が現れ、特殊な事情で修正の必要がなければ改行キー
で決定する（ステップＳ６）。そうすると読みの入力欄
に未知語の読みが現れる（図９の（２）参照）。装置が
出力した読みが正しければ、改行キーで確定し（ステッ
プＳ８）、誤っていれば（ステップＳ７）キーボードよ
り読みを修正する（ステップＳ１７）。

【００３２】図９の（３）では、表記に常用外漢字を含
んでいる場合（ステップＳ９）、その言い替え（常用外
漢字をひらかなに言い替えるなど）の表記を装置が出力
する。常用外漢字を含んでいない場合や表示された言い
替えの表記が正しければ、図９の（４）において品詞を
入力する（ステップＳ１０）。

【００３３】品詞の入力はこの画面例では、品詞選択用
のウィンドウが現れ、これを用いて品詞を決定する（ス
テップＳ１１，図９の（４）参照）。ここでの入力例
は、図９の（１）〜（５）までの５項目が１つの未知語
を登録するのに必要な入力項目である。入力項目をすべ
て終えると辞書・データベースに登録される（ステップ
Ｓ１４）。

【００３４】もし、未知語が既に登録されていれば、重
複して登録されることはない（ステップ１３）。なお、
ステップＳ３〜Ｓ１１までの操作は、いつでも適当なキ
ーで直前の操作に戻ることができる。つまり、入力を誤
った場合、いつでも修正が可能である。以上の操作を、
登録したい未知語の数だけ繰り返す。

【００３５】また、未知語の切り出し方が誤っていれ
ば、簡単な操作でこれを修正することができる。例えば
ステップＳ４において、通し番号“000007”の「峰」は
切り出し方が誤っている（正しくは前の２文字も含めた
「最高峰」）。これを修正するには、切り出したい文字
列の先頭文字「最」へカーソルを移動し空白キーを押
す。次に、文字列の最後の文字「峰」へカーソルを移動
し空白キーを押す。文字列「最高峰」が反転表示され、
改行キーで決定すると、図９の（１）に示すように、表
記入力欄に切り出した文字列が登録表記として現れる。

【００３６】今までの例では、画面に表示された未知語
ＫＷＩＣリストの中から登録する語を選んだが、表記入
力欄にキーボードから直接任意の文字列を入力すること
により、装置が出力した未知語に限らず、任意の語を登
録することができる。なお、キー操作、表示形態、入力
欄の数・種類、品詞・分類コードの選択項目などはあく
までも一例であり、これらは本来は任意である。

【００３７】図１０は、漢字表記から読みを決定する時
の処理の流れを示したものである。読み作成辞書２６に
は、例えば「寺」という漢字は、文字列の末尾にあると
“じ”と読まれる頻度が高い（寺の名前）が、文字列の
先頭にあると“てら”と読まれる頻度が高い（人名）、
などの情報が登録されている。

【００３８】まず入力された表記を漢字１文字ごとに分
け（ステップＳ２１）、それぞれについて表記文字列中
の位置を求める。（ステップＳ２２）。漢字１文字の表
記とこの位置情報から読み作成辞書２６を検索し、最も
頻度の高い読みを出力する（ステップＳ２３）。利用者
がこの読みに対して修正を加えるかどうかに関わらず、
決定された１文字漢字読みの位置／頻度情報は、読み作
成辞書２６に更新登録される（ステップＳ２５）。

【００３９】

【発明の効果】第１の発明によれば、大量の日本語文書
（漢字かな交じり文）の中から未知語の可能性のある語
を自動的に、また高速に一括して抽出することができ
る。また、抽出ルールの性質上、文章の種類は一切問わ
ない。すなわち新聞記事、論文、小説文などなんでもか
まわない。文章は辞書のような語が羅列したデータでも
抽出することができる。

【００４０】第２の発明によれば、未知語の辞書・デー
タベースへの登録作業が従来技術よりも簡略化され、一
括した登録が行なえるため、大規模な辞書・データベー
スの構築が容易になる。この特性を活かして、日本語ワ
ードプロセッサの基本辞書、ユーザー辞書、固有名詞辞
書などの各種辞書の作成に利用することができ、また新
語辞書や現代用語辞典などの用語集めに役立てることが
可能である。

【図面の簡単な説明】

【図１】第１の発明に係る装置の構成を示すブロック図
である。

【図２】図１の未知語抽出処理部の処理内容を示すフロ
ーチャートである。

【図３】図１の結合ルールテーブルの具体例を示す説明
図である。

【図４】第１の発明に係る未知語登録画面の具体例を示
す説明図である。

【図５】第１の発明に係る未知語登録処理を示すフロー
チャートである。

【図６】第２の発明に係る実施例２の装置の構成を示す
ブロック図である。

【図７】第２の発明に係る未知語登録処理を示すフロー
チャートである。

【図８】第２の発明に係る未知語登録処理を示すフロー
チャートである。

【図９】第２の発明に係る未知語登録画面の具体例を示
す説明図である。

【図１０】第２の発明に係る読み決定処理を示すフロー
チャートである。

【符号の説明】

１入力部２形態素解析処理部３未知語抽出処理部４表示部５未知語登録・削除部６保存部７基準辞書８結合ルール９保存部２１未知語表示部２２未知語選択部２３未知語登録・削除部２４辞書・データベース２５未知語記憶部２６読み作成辞書２７印刷装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者乾隆夫大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内

Claims

【特許請求の範囲】

【請求項１】日本語文章を入力する入力部と、入力さ
れた日本語文章を記憶する文章記憶部と、漢字を含む多
数の単語について読みや品詞情報などを記憶している辞
書部と、日本語文章を言語解析する解析部と、言語解析
した結果を用いて辞書部に存在しない語を未知語とし
て、入力した日本語文章の中から一括抽出する抽出部
と、抽出した語を保存する保存部とを備えてなる未知語
抽出登録装置。
【請求項２】未知語抽出装置より抽出された未知語を
保存する未知語記憶部と、未知語記憶部より読み込まれ
た未知語をＫＷＩＣ形式で表示する未知語表示部と、未
知語表示部に表示された未知語の中から、辞書・データ
ベースに登録する語を選択する未知語選択部と、登録語
を選択した際に、選択した登録語の表記、読み、品詞な
どの付加情報を生成し、未知語表示部に出力するととも
に、未知語選択部の選択指示を受けて、選択して登録語
と付加情報とを対応させて辞書・データベースに格納す
る未知語登録部とから構成される未知語抽出登録装置。