JPH09319746A - 文書解析方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】文節数最小法を用いた形態素解析を精密に行う
ことができるようにする。また、正確な自立語抽出を行
うようことができるようにする。 【解決手段】 日本語テキストを文節数最小法を用いた
形態素解析によって解析する文書解析方法において、品
詞別に分類した語の集合からなる一般語彙の形態素解析
用の辞書のほかに、接辞（接尾辞あるいは接頭辞）の組
合せによって構成される自立語を新たな接辞として定義
する接辞語彙辞書を用意し、形態素解析においては、そ
の接辞語彙辞書にある語を接辞として取り扱って文節を
決定する。また、上記形態素解析の結果を基に自立語の
抽出をする際には、接辞語彙辞書にある語を自立語とし
て抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、日本語テキストの
形態素解析による文書解析方法およびその方法を実施す
るための装置に関する。

【０００２】

【従来の技術】日本語のテキストを単語単位に分割し、
かつ、各単語の品詞情報／活用情報を得る技術のことを
日本語形態素解析（以下、単に形態素解析と記述する）
と呼ぶ。形態素解析は、文書から自動的にキーワード
（文書を代表する語）を抽出する処理や、構文解析等の
より高次な自然言語処理の基礎となる重要な技術であ
る。

【０００３】形態素解析は語彙辞書と接続関係テーブル
を用いることによって実現できる。語彙辞書は、日本語
の単語のリストであって、各単語には品詞情報／活用情
報が付加されている。接続関係テーブルは、語彙辞書中
の単語間の接続の可否を記述した表である。語彙辞書中
に存在する単語を接続テーブルで許可されている接続関
係に従って連接していくことによって、入力された日本
語テキストの文字列と同一の文字列を表現できた場合、
形態素解析が成功したことになる。形態素解析に成功し
た時、連接された単語の並びをその単語が持つ品詞情報
／活用情報と共に出力したものが解析結果となる。

【０００４】通常、接続関係テーブルには１文節内での
単語間の接続関係が記述される。ここで、文節とは、
「１つの自立語単語（名詞、動詞等）に０個以上の付属
語単語（助詞、助動詞）が後続して成立する意味単位」
であり、日本語テキスト（文章）は文節の繰り返しによ
って構成される。したがって、形態素解析時には、文節
間の係り受け関係や意味関係は一切無視され、文節に後
続する単語は、自立語であれば何であっても構わないこ
とになる。

【０００５】上記のように、通常文節間の接続関係には
何ら規定がないため、形態素解析結果として多数の候補
が得られることになる。したがって、それら多数の候補
を１つあるいは少数の候補へと絞り込む必要が生じる。

【０００６】例として日本語の文章「にほんのれきしを
まなぶ」を形態素解析した結果、以下の２種の解析結果
の候補が得られる。記号”／”は文節の切れ目を示
し、”｛”、”｝”で挟まれた文字列は品詞情報／活用
情報を示している。

【０００７】（１）「にほん｛名詞｝／のれ｛動詞，
命令形｝／きし｛名詞｝を｛助詞｝／まなぶ｛動詞，
終止形｝」 （日本／乗れ／岸を／学ぶ）

【０００８】（２）「にほん｛名詞｝の｛助詞｝／れき
し｛名詞｝を｛助詞｝／まなぶ｛動詞， 終止形｝」 （日本の／歴史を／学ぶ）

【０００９】複数の解析結果の候補を絞り込む代表的な
方法（ヒューリスティクス）として、「日高： 自然言
語理解の基礎−形態論， 情報処理， Ｖｏｌ． ３
０，Ｎｏ． １０， ｐｐ． １１６９−１１７５
（１９８９）」において述べられている文節数最小法を
挙げることができる。文節数最小法は、得られた解析結
果の候補のうち文節数が最も少ない候補を最終的な解析
結果とするものである。上記の例では、（１）の文節数
が４、（２）の文節数が３であるため、（２）を最終的
な解析結果とする。文節数が最小の候補が複数存在する
場合には、それらすべてを最終的な解析結果とする。

【００１０】上記文献において述べられているとおり、
文節数最小法による絞り込みは処理速度の点において有
効な手法である。

【００１１】

【発明が解決しようとする課題】日本語では、自立語が
接尾辞あるいは接頭辞を伴って、新たな１つの自立語と
なることが多い。

【００１２】例えば、「栄養素」は、名詞「栄養」が接
尾辞「素」を伴って１つの自立語となっている。「ミカ
ン色」は、名詞「ミカン」が接尾辞「色」を伴って１つ
の自立語となっている。「非現実」は、名詞「現実」が
接頭辞「非」を伴って１つの自立語となっている。

【００１３】また、接尾辞あるいは接頭辞は、複数個連
続する場合がある。例えば、「栄養素等」は、名詞「栄
養」が接尾辞「素」および「等」を伴って１つの自立語
となっている。「ミカン色他」は、名詞「ミカン」が接
尾辞「色」および「他」を伴って１つの自立語となって
いる。「超非現実」は、名詞「現実」が接頭辞「超」お
よび「非」を伴って１つの自立語となっている。

【００１４】すなわち、「０個以上の接頭辞＋自立語＋
０個以上の接尾辞」もまた自立語であるといえる。

【００１５】接頭辞あるいは接尾辞が連続する場合、実
際にどのような組合せがあり得るのかを網羅的に知るこ
とは困難である。したがって、通常接続関係テーブルに
は、全ての接尾辞が任意の個数自立語に後続できるよう
記述がなされ、また、全ての接頭辞が任意の個数続いた
後に自立語が後続できるよう記述がなされている。

【００１６】しかしながら、この場合、文節数最小法を
用いた形態素解析において以下のような問題が生じる。

【００１７】（問題点１）ある文字列Ｓに対して形態素
解析を行い、「自立語＋複数個の接尾辞」（「複数個の
接頭辞＋自立語」）なる解析結果の候補が得られたとす
る。ここで、もし、”複数個の接尾辞”（”複数個の接
頭辞”）が１つの自立語としても成り立つ場合「自立語
＋自立語」という解析結果の候補も得られる。しかしな
がら、文節は１つの自立語に０個以上の付属語が後続し
たものであるので、前者の文節数は１、後者の文節数は
２となる。したがって、このような場合、文節数最小法
では、常に「自立語＋複数個の接尾辞」（または「複数
個の接頭辞＋自立語」）が最終的な解析結果となり、
「自立語＋自立語」は解析結果に含まれなくなってしま
う。

【００１８】例えば、「有害色素」を形態素解析した結
果得られる候補は以下の２つとなる。

【００１９】（１）「有害｛名詞｝色｛接尾辞｝素｛接
尾辞｝」

【００２０】（２）「有害｛名詞｝／色素｛名詞｝」

【００２１】（１）の文節数は１、（２）の文節数は２
であるため、文節数最小法によれば（１）が最終的な解
析結果となる。しかし、この場合実際には（２）が正し
い解析結果であることは明らかである。

【００２２】また、上記（例）において「色素」が語彙
辞書の名詞と接尾辞に属する語として重複して登録され
ている場合、形態素解析した結果得られる候補は以下の
３つである。

【００２３】（１）「有害｛名詞｝色｛接尾辞｝素｛接
尾辞｝」

【００２４】（２）「有害｛名詞｝色素｛接尾辞｝」

【００２５】（３）「有害｛名詞｝／色素｛名詞｝」

【００２６】ここで、（１）および（２）が、文節数が
１であるため、最終的な解析結果となる。この場合の
（２）においても、「色素」は接尾辞として解析される
のみであって、正しい解析結果が得られたとは言えな
い。したがって、例えば文章中から自立語を抽出する際
には問題が残る。すなわち、自立語として抽出される語
は、名詞として解析された「有害」のみであり、「色
素」は抽出されない。仮に、接尾辞も自立語であると仮
定して抽出した場合でも、「色素」は抽出されるが、同
時に「色」や「素」といった単独で意味を成さない語も
抽出されてしまうことになる。

【００２７】つまり、文節数最小法を用いた形態素解析
において以下の問題が生じる。

【００２８】（問題点２）語彙辞書に接尾辞（接頭辞）
と自立語の双方に重複して登録されている語がある場
合、「自立語＋自立語」および「自立語＋接尾辞」
（「接頭辞＋自立語」）が解析結果の候補として得られ
るが、最終的な解析結果には「自立語＋接尾辞」（「接
頭辞＋自立語」）のみが残り、正しい解析結果が得られ
ず、したがって正確な自立語抽出を行うことができな
い。

【００２９】本発明は上記の問題点１および問題点２を
解決するためになされたものである。即ち本発明は、文
節数最小法を用いた形態素解析を正確に行うようにする
ことを課題とする。また本発明は正確な自立語抽出を行
うことを課題とする。

【００３０】

【課題を解決するための手段】本発明の文書解析方法
（請求項１）は、日本語テキストを文節数最小法を用い
た形態素解析によって解析する文書解析方法において、
品詞別に分類した語の集合からなる一般語彙の形態素解
析用の辞書のほかに、接辞（接尾辞あるいは接頭辞）の
組合せによって構成される自立語からなる接辞語彙辞書
を用意し、形態素解析においては、その接辞語彙辞書に
ある語を接辞として取り扱って文節を決定する。また、
本発明（請求項２）は上記形態素解析の結果を基に自立
語の抽出をする際には、接辞語彙辞書にある語を自立語
として抽出することを特徴とする。

【００３１】また、本発明（請求項３）の文書解析装置
は、語の集合を品詞別に分類して格納する一般語彙格納
手段と、一般語彙格納手段に、品詞が接辞として分類さ
れている語の組合せによって構成される語の集合を格納
する接辞語彙格納手段と、接辞語彙格納手段に格納され
ている語を接辞（接尾辞あるいは接頭辞）と同等の接続
関係を持つ品詞であると定義した上で、各品詞間の接続
関係の記述を格納する接続関係格納手段と、前記一般語
彙格納手段、接辞語彙格納手段および接続関係格納手段
の内容を参照し、日本語テキストを文節数最小法によっ
て形態素解析する形態素解析手段とを有することを特徴
とする。また、本発明（請求項４）は、上記文書解析装
置において、形態素解析手段から得られる解析結果か
ら、接辞語彙格納手段中の語彙を自立語とみなした上
で、利用者が所望する語彙を抽出する抽出手段を有す
る。

【００３２】

【作用】本発明（請求項１、請求項３）の文書解析方法
または文書解析装置では、形態素解析を行う際に、接辞
の組合せによって構成される自立語を、新たな接辞と定
義する。これにより、解析対象文章中に接辞が連続し、
かつ、その連続が既存の語彙と一致する場合、あるい
は、語彙辞書中に自立語と接辞の双方に重複して登録さ
れている語がある場合においても、文節数最小法による
絞り込み後に正しい解析結果を残すことが可能となる。
また、本発明（請求項２、請求項４）は、上記の解析結
果から自立語を抽出する際に、上記新たに定義された接
辞も自立語であるとみなして抽出する。これにより、解
析対象文章中に接辞が連続し、かつ、その連続が既存の
語彙と一致する場合、あるいは、語彙辞書中に自立語と
接辞の双方に重複して登録されている語がある場合にお
いても、正しい自立語を抽出することが可能となる。

【００３３】

【発明の実施の形態】本発明の一実施の形態としての形
態素解析装置の構成例を図１に示す。本例は、日本語文
章から自立語を抽出することを目的とし、接尾辞から構
成される名詞単語を対象として説明するものであるが、
接尾辞から構成される名詞以外の単語、あるいは、接頭
辞から構成される単語を対象として同様のシステムを構
築できることは明らかである。以下図１の各構成要素に
ついて説明する。

【００３４】入力手段１は、解析の対象となる日本語文
章を入力することが可能なインタフェースを持つプログ
ラムモジュールである。

【００３５】一般語彙格納手段２は、品詞別（活用語に
関してはさらに活用形別）に分類された日本語の単語の
リストを、品詞名（活用語に関してはさらに活用形名）
と対にして格納する記憶装置である。

【００３６】接尾辞語彙格納手段３は、一般語彙格納手
段２に格納されている単語のうち、接尾辞として分類さ
れている単語の組合せによって構成されている名詞単語
のリストを、品詞名（｛接尾辞名詞｝）と対にして格納
する記憶装置である。

【００３７】接続関係格納手段４は、一般語彙格納手段
２に格納されている単語（品詞、活用形）間の、日本語
文節における接続関係を記述した接続関係テーブルを格
納する記憶装置である。

【００３８】形態素解析手段５は、語彙接続関係検索手
段５１と候補絞り込み手段５２とからなる。

【００３９】語彙接続関係検索手段５１は、入力手段１
に入力された日本語文章を句読点をデリミタとして、複
数の文字列に区切り、各文字列と同一な単語の並びを、
接続関係格納手段４に格納された接続関係情報に従っ
て、一般語彙格納手段２、接辞語彙格納手段３に格納さ
れた単語リストから検索して作成し、解析結果の候補と
して出力するプログラムモジュールである。

【００４０】候補絞り込み手段５２は、語彙接続関係検
索手段５１から得られる解析結果の候補から文節数最小
法によって候補の絞り込みを行うプログラムモジュール
である。

【００４１】自立語抽出手段６は、候補絞り込み手段５
２から得られる形態素解析結果から自立語および品詞名
が｛接尾辞名詞｝の語を抽出するプログラムモジュール
である。

【００４２】出力手段７は、自立語抽出手段６によって
抽出された自立語の集合を表示することが可能なインタ
フェースを持つプログラムモジュールである。

【００４３】図２に、一般語彙格納手段２および接尾辞
語彙格納手段３における単語の格納例を示す。接尾辞語
彙格納手段３に格納されている単語（品詞名｛接尾辞名
詞｝）は、一般語彙格納手段２に品詞名が｛名詞｝とし
て格納されている単語のうち、品詞名が｛接尾辞｝とし
て格納されている単語の組合わせによって構成される単
語を抜き出したものである。

【００４４】図３は、接続関係格納手段４に格納される
接続関係テーブルの例である。”後続する単語”欄に記
載された単語が、”先行する単語”欄に記載された単語
に後続して接続可能な場合を”○”で、接続不可な場合
を”−”で示している。

【００４５】例えば、一般語彙格納手段２に品詞が｛名
詞｝として格納されている各単語の後には、｛名詞｝と
して分類されている単語は接続できないが、｛接尾
辞｝，｛助詞｝として分類されている単語や接尾辞語彙
格納手段３に格納されている単語（品詞名｛接尾辞名
詞｝）は接続可能である。

【００４６】図４に、本実施例の処理手順をフローチャ
ートで示す。入力手段１に入力された（ステップＳ１）
日本語文章を句読点「、」や「。」をデリミタとして分
割し（ステップＳ２）、分割された文字列それぞれに対
して、語彙接続関係検索手段５１が解析を行い（ステッ
プＳ４）、解析結果の候補として品詞名の付加された単
語の並びを候補絞り込み手段５２に渡す（ステップＳ
５）。候補絞り込み手段５２は、文節数最小法により最
終的な解析結果を決定する（ステップＳ６）。自立語抽
出手段６は、得られた解析結果から品詞が自立語（名
詞、動詞等）である単語および品詞名が｛接尾辞名詞｝
である単語を抽出し、抽出結果を表示する（ステップＳ
７）。

【００４７】例えば、入力手段１に「外国勢力等の台頭
と、プロダクト品質の低下」なる文章が入力された場合
（Ｓ１）を考える。まず、句読点をデリミタとして以下
の通り文章を区切る（Ｓ２）。

【００４８】（１）外国勢力等の台頭と

【００４９】（２）プロダクト品質の低下

【００５０】（１）に対する解析結果の候補は、以下の
通りである。

【００５１】（１−ａ） 外国｛名詞｝勢｛接尾辞｝力
｛接尾辞｝等｛接尾辞｝の｛助詞｝／台頭｛名詞｝と
｛接尾辞｝

【００５２】（１−ｂ） 外国｛名詞｝勢力｛接尾辞名
詞｝等｛接尾辞｝の｛助詞｝／台頭｛名詞｝と｛接尾
辞｝

【００５３】（１−ｃ） 外国｛名詞｝／勢力｛名詞｝
等｛接尾辞｝の｛助詞｝／台頭｛名詞｝と｛接尾辞｝

【００５４】（１−ａ）と（１−ｂ）は文節数が２であ
り、（１−ｃ）は３である。したがって、文節数最小法
による絞り込みにより、最終的に得られる解析結果は
（１−ａ）と（１−ｂ）となる。

【００５５】ここで、品詞が自立語である単語および品
詞名が｛接尾辞名詞｝である単語を抽出することによ
り、結果として得られる自立語は「外国」「勢力」「台
頭」となる。

【００５６】（２）に対する解析結果の候補は、以下の
通りである。

【００５７】（２−ａ）プロダクト｛名詞｝品｛接尾
辞｝質｛接尾辞｝の｛助詞｝／低下｛名詞｝

【００５８】（２−ｂ）プロダクト｛名詞｝品質｛接尾
辞名詞｝の｛助詞｝／低下｛名詞｝

【００５９】（２−ｃ）プロダクト｛名詞｝／品質｛名
詞｝の｛助詞｝／低下｛名詞｝

【００６０】（２−ａ）と（２−ｂ）は文節数が２であ
り、（２−ｃ）は３である。したがって、文節数最小法
による絞り込みにより、最終的に得られる解析結果は
（２−ａ）と（２−ｂ）となる。

【００６１】ここで、品詞が自立語である単語および品
詞名が｛接尾辞名詞｝である単語を抽出することによ
り、結果として得られる自立語は「プロダクト」「品
質」「低下」となる。

【００６２】

【発明の効果】以上のように本発明によれば、形態素解
析を行う際に、接辞（接尾辞または接頭辞）を構成要素
とする既存の語彙の集合を、新たな接辞と定義すること
により、解析対象文章中に接辞が連続し、かつ、その連
続が既存の語彙と一致する場合、あるいは、語彙辞書中
に自立語と接辞の双方に登録されている語がある場合に
おいても、文節数最小法による絞り込み後に正しい解析
結果を残すことが可能となり、また、正確な自立語の抽
出を行うことができる。

【図面の簡単な説明】

【図１】本発明の一実施形態の形態素解析装置の概略構
成例を示すブロック図である。

【図２】（ａ）は一般語彙格納手段に格納されたデータ
例、（ｂ）は接尾辞語彙格納手段中のデータ例を示す図
である。

【図３】接続関係格納手段中のデータ例を示す図であ
る。

【図４】実施形態の例の処理手順を示すフローチャート
である。

【符号の説明】

１…入力手段、２…一般語彙格納手段、３…接尾辞語彙
格納手段、４…接続関係格納手段、５…形態素解析手
段、５１…語彙接続関係検索手段、５２…候補絞り込み
手段、６…自立語抽出手段、７…出力手段。

Claims (4)

【特許請求の範囲】
1. 【請求項１】日本語テキストを文節数最小法を用いた形
   態素解析によって解析する文書解析方法において、品詞
   別に分類した語の集合からなる一般語彙の形態素解析用
   の辞書のほかに、接辞（接尾辞あるいは接頭辞）の組合
   せによって構成される自立語からなる接辞語彙辞書を用
   意し、形態素解析においては、その接辞語彙辞書にある
   語を接辞として取り扱って文節を決定することを特徴と
   する文書解析方法。
2. 【請求項２】 自立語の抽出においては接辞語彙辞書に
   ある語を自立語として抽出することを特徴とする請求項
   １記載の文書解析方法。
3. 【請求項３】語の集合を品詞別に分類して格納する一般
   語彙格納手段と、 一般語彙格納手段に、品詞が接辞として分類されている
   語の組合せによって構成される語の集合を格納する接辞
   語彙格納手段と、 接辞語彙格納手段に格納されている語を接辞と同等の接
   続関係を持つ品詞であると定義した上で、各品詞間の接
   続関係の記述を格納する接続関係格納手段と、 前記一般語彙格納手段、接辞語彙格納手段および接続関
   係格納手段の内容を参照し、日本語テキストを文節数最
   小法によって形態素解析する形態素解析手段と、を有す
   ることを特徴とする文書解析装置。
4. 【請求項４】形態素解析手段から得られる解析結果か
   ら、接辞語彙格納手段中の語彙を自立語とみなした上
   で、利用者が所望する語彙を抽出する抽出手段を有する
   ことを特徴とする特許請求の範囲第３項記載の文書解析
   装置。