JP5331023B2 - 重要語抽出装置、重要語抽出方法及び重要語抽出プログラム - Google Patents

Description

本発明は、テキスト中に出現する語の中から特に重要な語を抽出する技術に関する。

テキスト中に出現する語の中から特に重要な語を抽出する従来技術として、非特許文献１が知られている。非特許文献１では、主にテキスト中の語の出現頻度を用いる。例えば、図１のテキストの場合、出現頻度が最も多い「チョコレート」を重要語として取得する。

高村大也、奥村学著、「最大被覆問題とその変種による文書要約モデル」、人工知能学会論文誌、2008、Vol.23,No.6、pp.505-513

しかしながら、従来技術は出現頻度以外に基づき、重要語を適切に取得することができない場合があるという問題がある。

例えば、テキスト作成者（以下「著者」という）が気になっている語を重要語とする場合には、従来技術では、重要語を選択できない場合がある。著者はテキスト中で何度も気になっている語を述べることは少なく、気になっている語をより一般化した語を多用することが多いからである。図１のように、「トリュフ」という種類のチョコレートが好きな著者がテキスト内でこれについて述べる場合、「トリュフ」ではなく「チョコレート」という言葉を多用する。そのため、従来技術では、著者が気になっている「トリュフ」ではなく、「チョコレート」を重要語として選択する。このように語の出現頻度のみでは、テキスト中のトピックを見つけることはできるが、著者が気になっている語を見つけることはできない。

上記の課題を解決するために、本発明に係る重要語抽出技術は、入力テキストから１つ以上の名詞の連語または固有名詞である重要語候補を抽出し、入力テキストから入力テキスト作成者の行動を記述する際に現れる行動表現を特徴語として抽出し、重要語候補が備える性質を表す素性を、各重要語候補に対し１つ以上抽出し、機械学習により予め定められた分類ルールに基づき、素性を用いて重要度スコアを算出し、重要度スコアから重要語を決定する。素性を抽出する際に、行動表現に係る重要語候補であるか否かを表す係り受け構造情報を素性として、その重要語候補に付与する。

本発明は、行動表現に係る語か否かを素性とし、より柔軟に重要語を選択することができるという効果を奏する。

形態素解析前の入力テキスト例を示す図。 重要語抽出装置の構成例を示す図。 重要語抽出装置の処理フローを示す図。 形態素解析済みの入力テキスト例を示す図。 記憶部に記憶される重要語候補及びその素性の例を示す図。 （Ａ）は記憶部に記憶される特徴語の例を、（Ｂ）は記憶部に記憶される行動表現のルール例を示す図。 係り受け構造の例を示す図。 重要語抽出装置のハードウェア構成を例示したブロック図。

本実施例は、行動表現に係る語や、指示語を受ける語は重要語である可能性が高いという日本語の語彙的特徴を利用する。また、重要語を含む文、及び、その前後の文に指示語を含む文に指示語が存在しやすいという日本語の語彙的特徴を利用する。

これらの語彙的特徴を考慮して、機械学習の素性として用いる。
以下、本発明の実施の形態について、詳細に説明する。

＜重要語抽出装置１００＞
図２及び３を用いて実施例１に係る重要語抽出装置１００を説明する。重要語抽出装置１００は、入力部１０１、記憶部１０３、重要語候補抽出部１１０、特徴語抽出部１２０、素性抽出部１３０及び分類器１４０を有する。

重要語抽出装置１００は、形態素解析済みの入力テキストＴを入力とし、重要語Ｊ（ｐ）及びその重要度スコアｓｃｏｒｅ（Ｊ（ｐ））を出力する。但し、ｐ＝１，２，…，Ｐであり、Ｐは選択された重要語の数を表す。
＜入力部１０１及び記憶部１０３＞
重要語抽出装置１００は、入力部１０１を介して形態素解析済み入力テキストが入力される（ｓ１０１）。例えば、「いつも色々なお店で買うけど、今日は銀座によったので、あのＰ社のトリュフを購入。」という文が、形態素解析済みの入力テキストとして、図４の状態で入力される。入力部１０１は、データが入力される入力インターフェース等である。

但し、重要語抽出装置１００は、形態素解析が済んでいない入力テキストＴ’（図１参照）が入力されてもよい。その場合、入力部１０１を介して、図示しない形態素解析部に入力テキストＴ’が入力され、形態素解析部は、入力テキストＴ’に対し、既存の形態素解析手法により単語に区切り、各単語に品詞を付与し、形態素解析済みの入力テキストＴ（図４参照）を求め、重要語候補抽出部１１０と特徴語抽出部１２０に出力する。

記憶部１０３は、入出力される各データや演算過程の各データを、逐一、格納・読み出しする。それにより各演算処理が進められる。但し、必ずしも記憶部１０３に記憶しなければならないわけではなく、各部間で直接データを受け渡してもよい。
＜重要語候補抽出部１１０＞
重要語候補抽出部１１０は、図４のように形態素解析済みの入力テキストＴを入力とし、この入力テキストＴから１つ以上の名詞の連語または固有名詞である重要語候補ｊ（１），…，ｊ（Ｍ）を抽出し（ｓ１１０）、これを素性抽出部１３０や記憶部１０３へ出力する。但し、Ｍは入力テキストＴに含まれる重要語候補の種類数を表す。よって、重要語候補は重複しない。

例えば、重要語候補抽出部１１０は、形態素解析済みテキストＴを入力とし、既存の固有表現抽出手法によって（参考文献１参照）、人名や地名、組織名などの固有物を表す表現を抽出し、重要語候補として出力する。
［参考文献１］今村賢治、斎藤邦子、浅野久子、「テキストからの知識抽出の基盤となる日本語基本解析技術」、ＮＴＴ技術ジャーナル、社団法人電気通信協会、2008.6、pp.20-23
抽出した重要語候補に固有表現の種類（人名、地名、ブランド名等）を付与しても良い。さらに、１つ以上連続する名詞を抽出し、これも重要語候補として出力する。例えば、図４のテキストを入力とした場合、固有表現である「きょう（日付）」、「銀座（地名）」、「Ｐ社（組織）」、「トリュフ（名詞）」及び「お（冠名詞）/店（名詞）」を連続する名詞「お店（名詞）」とし、これらが重要語候補として出力される。但し、( )内は固有表現の種類を表す。例えば、図１の入力テキストを形態素解析した情報を入力とした場合、抽出した重要語候補を図５の１列目のように記憶部１０３に記憶する。

＜特徴語抽出部１２０＞
特徴語抽出部１２０は、形態素解析済みの入力テキストＴから行動表現と指示語を特徴語ｈ（１），…，ｈ（Ｎ）として抽出し（ｓ１２０）、素性抽出部１３０や記憶部１０３に出力する。但し、Ｎは入力テキストＴに含まれる特徴語の数を表す。例えば、図１の入力テキストを形態素解析した情報を入力とした場合、抽出した特徴語を図６（Ａ）のように記憶部１０３に記憶する。なお、行動表現とは、著者の行動を記述する際に現れる語である。行動表現は、主に自発的な動作を表す動詞の過去形、進行形、動作を表す名詞が該当する。書き手の体験の結果、得られたであろう感想を表すような形容詞の過去形等も含まれる。例えば、行動表現は、図６（Ｂ）のようなルールによって表すことができる（参考文献２参照）。
［参考文献２］池田佳代、田邊勝義、奥田英範、「体験表現を手がかりにしたBlogの体験情報の抽出」、電子情報通信学会第18回データ工学ワークショップ(DEWS2007)論文集、2007
例えば、特徴語抽出部１２０は、図示しない指示語抽出部と行動表現抽出部を備える。記憶部１０３は予め全ての指示語（例えば、「これ」、「この」、「あれ」等）を記憶しておき、指示語抽出部は、記憶部１０３を参照しながら、入力テキストＴに含まれる指示語を抽出する。

記憶部１０３は予め全ての行動表現（例えば、「買った」、「使った」等）を記憶しておくか、または、図６（Ｂ）のように行動表現のルールを記憶しておく。

行動表現抽出部は、記憶部１０３に記憶されている行動表現自体を参照しながら、入力テキストＴに含まれる行動表現を抽出するか、または、記憶部１０３に記憶されている行動表現のルール参照し、テキストＴからルールに合致する語を抽出する。
＜素性抽出部１３０＞
素性抽出部１３０は、重要語候補が備える性質を表す素性を、各重要語候補に対し１つ以上抽出する（ｓ１３０）。なお、素性とは、分類器における所定の解析処理のために用いる情報（例えば、種類、頻度、重み、係り受け構造情報、指示語情報、タイトル情報等）の一単位であって、重要語候補が備える性質を意味する。機械学習では、この素性によって現象をモデル化することで、確率的な振る舞いとしてルール間の依存関係を学習することができる。

例えば、素性抽出部１３０は、頻度付与部１３１、重み付与部１３３、係り受け構造情報付与部１３５、指示語情報付与部１３７及びタイトル情報付与部１３９を備える。
（頻度付与部１３１）
頻度付与部１３１は、入力テキストＴと重要語候補ｊ（ｍ）（但し、ｍ＝１,２，…，Ｍ）を入力とし、入力テキストＴから重要語候補ｊ（ｍ）の出現頻度（単語頻度）を数え上げ、出現頻度を素性α１（ｊ（ｍ））として、その重要語候補に付与し（ｓ１３１）、出力する。図１の文書を形態素解析したものを入力テキストとした場合、各重要語候補の単語頻度は図５の２列目のようになる。
（重み付与部１３３）
重み付与部１３３は、重要語候補ｊ（ｍ）に対し予め定められた重みを素性α２（ｊ（ｍ））として、図５の４列目のように、その重要語候補に付与し（ｓ１３３）、出力する。

例えば、記憶部１０３は予め語の重みを記憶しておく。重みとしては、例えば、検索エンジンにおいて検索クエリとして使われた頻度や検索クエリに使われた頻度の多いものから順にランキングした順位等、外部から得られる情報を用いる。また、例えば、ブログ及び新聞等に出現する頻度の多いものから順にランキングした順位等を重みとしてもよい。なお、重みは記憶部１０３に記憶したものでなくともよく、例えば、重要語抽出装置１００が、通信回線等を介して、外部の単語の検索ランキング等が分かるサイトにアクセスできる場合には、サイトにアクセスし、各重要語候補に対するランキングを取得しそれを重みとする構成としてもよい。なお、この場合にも、重みはサイト等で予め定められているものと考えられる。また、重要語候補に対応する語が、記憶部１０３やサイトにない場合には、重みを予め決めておいた値（例えば「０」等）としてもよい。
（係り受け構造情報付与部１３５）
係り受け構造情報付与部１３５は、重要語候補ｊ（ｍ）と特徴語ｈ（ｎ）（但し、ｎ＝１，２，…，Ｎ）と形態素解析済みの入力テキストＴを入力とし、係り受け構造情報を素性α３（ｊ（ｍ））として、その重要語候補に付与し（ｓ１３５）、出力する。なお、係り受け構造情報とは、行動表現に係る重要語候補であるか否か、及び、指示語を受ける重要語候補であるか否かを表す情報である。

例えば、係り受け構造情報付与部１３５は、既存の係り受け解析手法によって（参考文献３参照）、重要語候補を文節にまとめ上げ、各文節間の係り受け構造を抽出する。
［参考文献３］長尾真、「自然言語処理」、岩波講座ソフトウェア科学１５、岩波書店、1996/04
そして、各重要語候補が、
・特徴語抽出部にて抽出した指示語を受ける重要語候補である場合は２
・特徴語抽出部にて抽出した行動表現に係る重要語候補である場合は１
・その他の重要語候補である場合は０
を係り受け構造情報として、図５の３列目のように重要語候補と対応付けて出力する。「行動表現に係る」とは行動表現の主語、目的語、副詞となることを意味し、「指示語を受ける」とは指示語に修飾されることを意味する。なお、上記０〜２の値は、それぞれが識別できるものであれば他の数値や文字列でも良い。

例えば、入力が「きょう（名詞）/は（連用名詞）/銀座（名詞）/に（格助詞）/よ（動詞語幹）/っ（動詞活用語尾）/た（動詞接尾辞）/ので（接続接尾辞）/あの（連体詞）/
Ｐ社（名詞）/の（格助詞）/トリュフ（名詞）/を（格助詞）/購入（名詞）」の場合、図７のような係り受け構造が抽出される。

これは、重要語抽出部で取得できた重要語のうち、特徴語抽出部にて抽出した「買った」「つかった」などの行動表現に係っている重要語候補や指示語を受ける重要語候補を識別する目的がある。例えば、図５の３列目の結果からは、係り受け構造情報が「１（行動表現に係る重要語候補）」である「きょう」「トリュフ」が行動表現に係っている重要語候補であり、係り受け構造情報が「２（指示語を受ける重要語候補）」である「Ｐ社」が指示語を受ける重要語候補であることが分かる。
（指示語情報付与部１３７）
指示語情報付与部１３７は、特徴語に含まれる指示語と重要語候補ｊ（ｍ）と形態素解析済みの入力テキストＴを入力とし、指示語情報を素性α４（ｊ（ｍ））として、図５の５列目のようにその重要語候補に付与し（ｓ１３７）、出力する。なお、指示語情報とは、重要語候補を含む文に指示語が存在するか否か、及び、重要語候補を含む文の前後の文に指示語が存在するか否かを表す情報である。図５では、指示語情報の値は、
・重要語候補を含む文の前後の文に指示語が存在する場合は２
・重要語候補の含む文に指示語が存在する場合は１
・それ以外の場合は０
となっている。なお、この値は、上記３つの状態を識別できるものであれば他の値や文字列でも良い。

また、例えば、重要語を含む文の後の文（または、前の文）に指示語が特に存在しやすい場合に、必ずしも上述のルールに従って、素性の値を設けてなくともよい。つまり、重要語候補を含む文の前の文に指示語が存在する場合、重要語候補を含む文の後ろの文に指示語が存在する場合、重要語候補の含む文に指示語が存在する場合、それ以外の場合の４つに素性の値を設けてもよいし、「重要語候補を含む文の前の文に指示語が存在する場合」を除く３つに対し素性の値を設けてもよい。また、重要語候補を含む文の前後１つの文ではなく、前後２つ以上の文に指示語が存在するか否かを素性の値として設けてもよい。
（タイトル情報付与部１３９）
タイトル情報付与部１３９は、タイトルと重要語候補ｊ（ｍ）を入力とし、タイトル情報を素性α５（ｊ（ｍ））として、図５の６列目のようにその重要語候補に付与し（ｓ１３９）、出力する。なお、タイトル情報とは、重要語候補がタイトルに含まれるか否かを表す情報である。

例えば、タイトル情報付与部１３９は、入力テキストにタイトルがついている場合、
・タイトルに含まれる重要語候補の場合は１
・タイトルに含まれない重要語候補の場合は０
をタイトル情報として付与する。図１のタイトルが「コーヒーのお供」であった場合には、図５の６列目のようになる。なお、入力テキストにタイトルがついていない場合には、タイトル付与部での処理を行わなくてもよいし、タイトルがついていない旨を表すタイトル情報（例えば２）を付与してもよいし、タイトルに含まれない重要語候補の場合と同じタイトル情報（例えば０）を付与してもよい。なお、タイトル情報付与部１３９は必須ではない。
＜分類器１４０＞
分類器１４０は、素性α１（ｊ（ｍ））〜α５（ｊ（ｍ））を入力とし、機械学習により予め定められた分類ルールに基づき（参考文献４参照）、素性を用いて重要度スコアｓｃｏｒｅ（ｊ（ｍ））を算出する。
［参考文献４］甘利俊一、麻生英樹、津田宏治、村田昇、「パターン認識と学習の統計学―新しい概念と手法」、岩波書店、２００３年４月
さらに、重要度スコアｓｃｏｒｅ（ｊ（ｍ））から重要語Ｊ（ｐ）を決定し（ｓ１４０）、重要語Ｊ（ｐ）及び重要度スコアｓｃｏｒｅ（Ｊ（ｐ））を出力する（ｓ１５０）。重要度スコアｓｃｏｒｅ（Ｊ（ｐ））の値が一定値以上の場合に、その重要語候補を重要語としてもよいし、単一文書内において、重要度スコアｓｃｏｒｅ（Ｊ（ｐ））が所定の順位より上の重要語候補を重要語としてもよい。また上位数％の重要語候補を重要語としてもよい。

例えば、分類器１４０は、各重要語候補ｊ（ｍ）の素性α（ｊ（ｍ））＝［α１（ｊ（ｍ）），α２（ｊ（ｍ）），α３（ｊ（ｍ）），α４（ｊ（ｍ）），α５（ｊ（ｍ））］を入力として、予め作成したモデル（分類ルール）ｆ（ ）に基づき、重要度スコアを算出する。

score(j(m))=f(α(j(m)))
全ての重要語候補の重要度スコアを求め、重要度スコアから重要語を決定する。日本語の語彙的特徴を利用して、重要語（例えば、著者の気になっている語）を出力することができる。
＜分類ルールの作成方法＞
分類ルールｆ（ ）は、機械学習により予め学習しておく。すなわち、学習用のテキスト集合に対し、素性抽出部により抽出した重要語候補及び各重要語候補に付与された素性と、予め学習用のテキスト集合中の重要語候補に対して人手で重要語（例えば、著者の気になっている語）を表すラベルを付与したものを、学習データとして利用する。参考文献１等に記載の既知の機械学習により、素性が付与された重要語候補の中から重要語を選択するための分類ルールを学習する。
＜効果＞
行動表現に係る重要語候補か否かを素性とし、機械学習に重要語を選択することにより、出現頻度のみに重要語を選択していた従来技術に比べ、より柔軟に重要語を選択することができる
また、指示語を受ける重要語候補か否かを素性とすることで、さらに柔軟、かつ、適切に重要語を選択することができる。

重要語を含む文、及び、その前後の文に指示語を含む文に指示語が存在しやすいという日本語の語彙的特徴を利用することで、より適切に重要語を選択することができる。

従来技術で用いていた単語の頻度も、重要語を決定する上で、重要な要素となるため、機械学習の素性とすることで、より適切に重要語を選択することができる。但し、従来技術では、出現頻度が高いものが重要語であるという仮定の上で、重要語を決定していたが、本実施例では、単に出現頻度が多いものが重要語であるとは考えず、重要語になりやすい出現頻度があると仮定し、機械学習により学習する。このような構成により、より適切に重要語を選択することができる。

順位等からなる重みも重要語を決定する上で、重要な要素となるため、機械学習の素性とすることで、より適切に重要語を選択することができる。なお、頻度と同様に重みの値が高い（重い）ものが重要語であるとは考えず、重要語になりやすい重みを機械学習により学習する。

タイトルに含まれる重要語候補のほうが、重要語となる可能性が高いと考えられるため、タイトル情報を機械学習の素性とすることで、より適切に重要語を選択することができる。

これらの素性の係わり合いを考慮して重要語を選択することで、従来技術よりも柔軟、かつ、適切に重要語を選択することができる。
＜ハードウェア構成＞
図８に例示するように、この例の重要語抽出装置１００は、それぞれＣＰＵ（Central Processing Unit）１１、入力部１２、出力部１３、補助記憶装置１４、ＲＯＭ（Read Only Memory）１５、ＲＡＭ（Random Access Memory）１６及びバス１７を有している。

この例のＣＰＵ１１は、制御部１１ａ、演算部１１ｂ及びレジスタ１１ｃを有し、レジスタ１１ｃに読み込まれた各種プログラムに従って様々な演算処理を実行する。また、入力部１２は、データが入力される入力インターフェース、キーボード、マウス等であり、出力部１３は、データが出力される出力インターフェース、ディスプレイ、プリンタ等である。補助記憶装置１４は、例えば、ハードディスク、半導体メモリ等であり、重要語抽出装置１００としてコンピュータを機能させるためのプログラムや各種データが格納される。また、ＲＡＭ１６には、上記のプログラムや各種データが展開され、ＣＵＰ１１等から利用される。また、バス１７は、ＣＰＵ１１、入力部１２、出力部１３、補助記憶装置１４、ＲＯＭ１５及びＲＡＭ１６を通信可能に接続する。なお、このようなハードウェアの具体例としては、例えば、パーソナルコンピュータの他、サーバ装置やワークステーション等を例示できる。
＜プログラム構成＞
上述のように、補助記憶装置１４には、本実施例の重要語抽出装置１００の各処理を実行するための各プログラムが格納される。重要語抽出プログラムを構成する各プログラムは、単一のプログラム列として記載されていてもよく、また、少なくとも一部のプログラムが別個のモジュールとしてライブラリに格納されていてもよい。
＜ハードウェアとプログラムとの協働＞
ＣＰＵ１１は、読み込まれたＯＳプログラムに従い、補助記憶装置１４に格納されている上述のプログラムや各種データをＲＡＭ１６に展開する。そして、このプログラムやデータが書き込まれたＲＡＭ１６上のアドレスがＣＰＵ１１のレジスタ１１ｃに格納される。ＣＰＵ１１の制御部１１ａは、レジスタ１１ｃに格納されたこれらのアドレスを順次読み出し、読み出したアドレスが示すＲＡＭ１６上の領域からプログラムやデータを読み出し、そのプログラムが示す演算を演算部１１ｂに順次実行させ、その演算結果をレジスタ１１ｃに格納していく。

図２は、このようにＣＰＵ１１に上述のプログラムが読み込まれて実行されることにより構成される重要語抽出装置１００の機能構成を例示したブロック図である。

ここで、記憶部１０３は、補助記憶装置１４、ＲＡＭ１６、レジスタ１１ｃ、その他のバッファメモリやキャッシュメモリ等の何れか、あるいはこれらを併用した記憶領域に相当する。また、重要語候補抽出部１１０、特徴語抽出部１２０、素性抽出部１３０及び分類器１４０は、ＣＰＵ１１に重要語抽出プログラムを実行させることにより構成されるものである。
＜変形例＞
本実施例では、重要語抽出装置１００は、重要語及び重要度スコアを出力しているが、少なくとも重要語を出力すればよい。

重要語候補抽出部１１０は、抽出した重要語候補に固有表現としての種類（例えば、人名、地名等）を、素性として、付与してもよい。このとき、分類器１４０は、この種類も機械学習の素性とすることができる。このような構成とすることで、例えば、著者が人名よりも地名を重要語としやすい傾向がある場合には、重要語として、地名が選択されやすくなる。

本実施例では、素性抽出部１３０で抽出する素性を頻度、重み、係り受け構造情報、指示語情報、タイトル情報の５つとしているが、少なくとも係り受け構造情報のうち、行動表現に係る重要語か否かを表す情報を素性とすれば、従来技術より柔軟な重要語の選択が可能となる。

本実施例では、係り受け構造情報付与部１３５で付与する係り受け構造情報が、１つの重要語候補に対し、１つの場合について説明しているが、１つの重要語候補に対し、二つの係り受け情報（例えば、１と２）を付与できる場合には、二つの係り受け情報を付与してもよい。また、１つの重要語候補に対し、同じ係り受け情報を２回以上付与できる場合は、１回だけ付与する場合と同様に処理してもよい。指示語情報付与部１３７で付与する指示語情報も同様である。

本発明は、単にテキスト文書の重要語を抽出する以外に、複数のテキスト文書から重要語を抽出し、その重要語から現在注目されているキーワードを求める際に利用できる。また、例えば、非特許文献１のようにテキスト文書から要約を作成する際に利用することなどができる。

１００ 重要語抽出装置
１１０ 重要語候補抽出部
１２０ 特徴語抽出部
１３０ 素性抽出部
１３１ 頻度付与部
１３３ 重み付与部
１３５ 係り受け構造情報付与部
１３７ 指示語情報付与部
１３９ タイトル情報付与部
１４０ 分類器

Claims (10)

1. 入力テキストから１つ以上の名詞の連語または固有名詞である重要語候補を抽出する重要語候補抽出部と、
   前記入力テキストから入力テキスト作成者の行動を記述する際に現れる行動表現を特徴語として抽出する特徴語抽出部と、
   重要語候補が備える性質を表す素性を、各重要語候補に対し１つ以上抽出する素性抽出部と、
   機械学習により予め定められた分類ルールに基づき、前記素性を用いて重要度スコアを算出し、重要度スコアから重要語を決定する分類器と、を有し、
   前記素性抽出部は、
   前記行動表現に係る重要語候補であるか否かを表す係り受け構造情報を素性として、その重要語候補に付与する係り受け構造情報付与部と、を備え、
   前記行動表現は、入力テキスト作成者の自発的な動作を表す動詞の過去形、進行形、動作を表す名詞、体験の結果、得られたであろう感想を表すような形容詞の過去形、自己の試みを表す表現、経験そのものを表す表現、動詞の中でも入力テキスト作成者自身が行動したことを表す表現、動詞（名詞の動作を表す単語を含む）の中でも入力テキスト作成者自身が行為を継続中であることを表す表現、形容詞（名詞の動作を表す単語を含む）の中でも入力テキスト作成者の経験から得たことを表す表現の少なくとも何れか一つを含むものであり、
   前記特徴語抽出部は、予め行動表現自体を記録した記憶部を参照して、前記入力テキストに含まれる行動表現を抽出するか、または、行動表現のルールを記憶した記憶部を参照して、前記入力テキストから行動表現のルールに合致する語を抽出する、
   ことを特徴とする重要語抽出装置。
2. 請求項１記載の重要語抽出装置であって、
   前記特徴語抽出部は、前記行動表現に加え、指示語を特徴語として抽出し、
   前記係り受け構造情報は、前記行動表現に係る重要語候補であるか否かを表すのに加え、前記指示語を受ける重要語候補であるか否かを表し、
   前記係り受け構造情報付与部は、前記係り受け構造情報を素性として、その重要語候補に付与する、
   ことを特徴とする重要語抽出装置。
3. 請求項１または２記載の重要語抽出装置であって、
   前記特徴語抽出部は、前記行動表現に加え、指示語を特徴語として抽出し、
   前記素性抽出部は、さらに、
   重要語候補を含む文に指示語が存在するか否か、及び、重要語候補を含む文の前後の文に指示語が存在するか否かを表す指示語情報を素性として、その重要語候補に付与する指示語情報付与部と、を備える、
   ことを特徴とする重要語抽出装置。
4. 請求項１から３の何れかに記載の重要語抽出装置であって、
   前記素性抽出部は、さらに、
   前記入力テキストから前記重要語候補の出現頻度を求め、素性として、その重要語候補に付与する頻度付与部と、を備える、
   ことを特徴とする重要語抽出装置。
5. 請求項１から４の何れかに記載の重要語抽出装置であって、
   前記素性抽出部は、さらに
   前記重要語候補に対し予め定められた重みを素性として、その重要語候補に付与する重み付与部と、を備える、
   ことを特徴とする重要語抽出装置。
6. 請求項１から５の何れかに記載の重要語抽出装置であって、
   前記素性抽出部は、さらに
   前記入力テキストのタイトルと重要語候補を用いて、重要語候補がタイトルに含まれるか否かを表すタイトル情報を、素性として、その重要語候補に付与するタイトル情報付与部と、を備える、
   ことを特徴とする重要語抽出装置。
7. 請求項１から６の何れかに記載の重要語抽出装置であって、
   前記重要語候補抽出部は、重要語候補を抽出する際に、固有表現としての種類を、その重要語候補に素性として付与する、
   ことを特徴とする重要語抽出装置。
8. 重要語抽出装置が、入力テキストから１つ以上の名詞の連語または固有名詞である重要語候補を抽出する重要語候補抽出ステップと、
   重要語抽出装置が、前記入力テキストから入力テキスト作成者の行動を記述する際に現れる行動表現を特徴語として抽出する特徴語抽出ステップと、
   重要語抽出装置が、重要語候補が備える性質を表す素性を、各重要語候補に対し１つ以上抽出する素性抽出ステップと、
   重要語抽出装置が、機械学習により予め定められた分類ルールに基づき、前記素性を用いて重要度スコアを算出し、重要度スコアから重要語を決定する分類ステップと、を有し、
   前記素性抽出ステップは、
   前記行動表現に係る重要語候補であるか否かを表す係り受け構造情報を素性として、その重要語候補に付与する係り受け構造情報付与ステップと、を備え、
   前記行動表現は、入力テキスト作成者の自発的な動作を表す動詞の過去形、進行形、動作を表す名詞、体験の結果、得られたであろう感想を表すような形容詞の過去形、自己の試みを表す表現、経験そのものを表す表現、動詞の中でも入力テキスト作成者自身が行動したことを表す表現、動詞（名詞の動作を表す単語を含む）の中でも入力テキスト作成者自身が行為を継続中であることを表す表現、形容詞（名詞の動作を表す単語を含む）の中でも入力テキスト作成者の経験から得たことを表す表現の少なくとも何れか一つを含むものであり、
   前記特徴語抽出ステップにおいて、重要語抽出装置は、予め行動表現自体を記録した記憶部を参照して、前記入力テキストに含まれる行動表現を抽出するか、または、行動表現のルールを記憶した記憶部を参照して、前記入力テキストから行動表現のルールに合致する語を抽出する、
   ことを特徴とする重要語抽出方法。
9. 請求項８記載の重要語抽出方法であって、
   前記特徴語抽出ステップは、前記行動表現に加え、指示語を特徴語として抽出し、
   前記係り受け構造情報は、前記行動表現に係る重要語候補であるか否かを表すのに加え、前記指示語を受ける重要語候補であるか否かを表し、
   前記係り受け構造情報付与ステップは、前記係り受け構造情報を素性として、その重要語候補に付与する、
   ことを特徴とする重要語抽出方法。
10. 請求項１から７の何れかに記載の重要語抽出装置として、コンピュータを機能させるためのプログラム。

Images