JP4023371B2 - 固有名認識装置および方法 - Google Patents
固有名認識装置および方法 Download PDFInfo
- Publication number
- JP4023371B2 JP4023371B2 JP2003120579A JP2003120579A JP4023371B2 JP 4023371 B2 JP4023371 B2 JP 4023371B2 JP 2003120579 A JP2003120579 A JP 2003120579A JP 2003120579 A JP2003120579 A JP 2003120579A JP 4023371 B2 JP4023371 B2 JP 4023371B2
- Authority
- JP
- Japan
- Prior art keywords
- proper name
- name
- proper
- morpheme
- itself
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、人名、地名、組織名、日時、価格等、特定の事物を表す表現（固有名、固有表現ともいう）を抽出する技術に関する。
【０００２】
【従来の技術】
膨大な量の文書に含まれる情報についての質問に答えたり、文書を要約したり、データべース化したり、視覚化したりするためには、その文書から、人名や地名や組織名や日時などの固有名を抽出する必要がある。この場合、コンピュータを利用して、予め各固有名を登録した辞書を用意しておき、この辞書を検索することにより、文書からの固有名の抽出を行うことができる。ところで、実際の文書には、予め用意した辞書に含まれない新しい言葉が必ず存在するので、辞書の検索だけでは、正確な抽出結果は得られない。このような問題に対処するために、固有名そのものと、その前後に含まれる単語の並びの出現パターンを規則化して得た多数の規則を予め人手により作成し、その規則に基づきコンピュータ処理して、対象の文書から、固有名を抽出するという技術がある。
【０００３】
しかし、この技術では、規則同士が競合したり相互作用したりするため、それぞれの規則が意図したとおりに動くとは限らないので、作成された規則を、予め用意された訓練データに適用して、その結果に基づき、間違ったところを見つけ出して、規則を修正するという作業を何度も繰り返さなければならない。
【０００４】
また、ある規則を修正した結果、それまで正常に動いていた規則が影響を受けて、間違った答を出すようになることが少なくない。そのため、多数の規則の全てを意図したとおりに動くようにするためには、膨大な時間と労力を要する。
【０００５】
このような固有名を抽出する規則をコンピュータを用いて自動的に生成する技術においても、規則の間の競合や相互作用のため、自動生成された規則同士をどのように組み合わせれば良い成績が得られるかは、組み合わせた規則（ルール）を再度、実際の文書に適用して、その結果を正解と比較して採点し、その結果に基づき、より良い成績が得られるように規則を追加したり削除したりする試行錯誤を繰り返すしかなく、多大な計算時間が必要である。
【０００６】
なお、上記のような規則の良否を訓練用文書を用いて選別することや（特許文献１）、最大エントロピモデルを用いた文章解析において係り受けの確率等を学習させることが提案されている。
【特許文献１】
特開２００１−３１８７９２公報
【特許文献２】
特開２００２−３３４０７６公報
【０００７】
【発明が解決する課題】
この発明は、以上の事情を考慮してなされたものであり、高精度に固有名表現を認識することができる固有名認識技術を提供することを目的としている。
【０００８】
【課題を解決するための手段】
この発明によれば、上述の目的を達成するために、特許請求の範囲に記載のとおりの構成を採用している。
【０００９】
まず、この発明の概要を図１に示す例を参照して模式的に説明しておく。この例においては、例えば、既知の固有名を収集した固有名リストを用い、これに形態素解析を適用して、固有名構成要素候補である左端形態素リスト、中間形態素リスト、右端形態素リストおよび単語自体の形態素のリスト（固有名が単一の形態素からなる場合）を予め取得しておく。固有名は、原則として、その左端（前端）の形態素、右端（後端）の形態素および０個または１つ以上の中間の形態素から構成されている。例外として、固有名が単一の形態素からなる場合もある（形態素が固有名の単語自体の場合）。この後、処理対象のテキストを入力し、形態素解析を行い、形態素解析結果を取得し、さらに形態素に対して、左端形態素リスト、中間形態素リスト、右端形態素リストおよび単語自体の形態素のリストを参照して素性（固有名構成要素候補に関する属性。例えば図６に示す）を付与する。素性が付与された改訂版の形態素解析結果に対して固有名特定規則を適用して固有名を抽出する。抽出された固有名に対しては例えば強調処理、隠蔽処理を行ったのち表示等を行う。なお、図１の例はあくまでも説明目的の事例であり、この発明は図１の例に限定されない。
【００１０】
さらに、この発明を説明する。
【００１１】
この発明の一側面によれば、上述の目的を達成するために、固有名認識装置に：固有名構成要素候補を記憶する固有名構成要素候補記憶手段と；上記固有名構成要素候補との関連で規定された固有名特定規則を記憶する固有名特定規則記憶手段と；文章を形態素解析する形態素解析手段と；上記形態素解析手段から出力される形態素を上記固有名構成要素候補を用いて解析する固有名情報解析手段と；上記構文解析手段の解析結果に、上記固有名構成要素項を用いて解析した結果を反映させて得た文章解析結果に、上記固有名特定規則を適用して上記文章に含まれる固有名を特定する固有名特定手段とを設けるようにしている。
【００１２】
この構成においては、固有名構成要素候補を用いて得た情報を、文法情報等の他の情報とともに用いて、形態素または形態素列を、高精度に固有名表現として認識することができる。
【００１３】
この構成において、上記固有名構成要素候補は、固有名の前端、後端、および、中央部のうちの少なくとも１つであることが好ましいが、これに限定されない。固有名の前端、後端はとくに有効であることが判明したが、これに限定されない。
【００１４】
上記固有名構成要素候補は、固有名それ自体を含んでもよい。
【００１５】
また、上記固有名情報解析手段は、例えば、上記形態素解析手段から出力される形態素が固有名構成要素候補に該当するときに、当該固有名構成要素候補の種類により特定される属性（素性）を当該形態素に割り当てる。
【００１６】
また、上記固有名情報解析手段は、例えば、上記形態素解析手段から出力される形態素の一部が固有名構成要素候補に該当するときに、当該固有名構成要素候補の種類により特定される属性（素性）を当該形態素または当該形態素の一部に割り当てる。
【００１７】
また、上記固有名特定規則は、抽出して固有名の属性も決定することが好ましい。固有名の属性は、人名（姓、名）、組織名、場所、金額、日時、製品名、商品名等であるが、これに限定されない。
【００１８】
また、この発明は例えば日本語の固有名認識に適用されて最適であるが、固有名構成要素候補の形態素に着目して固有名を認識する範囲で他の言語にも、適用可能である。
【００１９】
なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。回路要素等をディスクリートに結合して装置を構成することを妨げない。
【００２０】
また、この発明の上述の側面およびこの発明の他の側面は特許請求の範囲に記載され、以下、実施例を用いて詳細に説明される。
【００２１】
【発明の実施の形態】
以下、この発明の実施例について説明する。
【００２２】
図２は、この発明の実施例の固有名認識装置１００を全体として示しており、この図において、固有名認識装置１００はテキスト入力部１０、形態素解析部１１、形態素解析辞書記憶部１２、固有名情報解析部１３、固有名構成要素候補辞書記憶部１４、固有名特定部１５、固有名特定規則記憶部１６および出力部１７等を含んで構成されている。
【００２３】
この固有名認識装置１００の主たる部分は、例えば、計算機２００上で実行されるコンピュータソフトウェアとして実現できる。コンピュータソフトウェアは例えば記録媒体２０１を用いて計算機２００にインストールされる。計算機２００は、通常どおり、ＣＰＵ、主メモリ、ハードディスク等からなり、例えばパーソナルコンピュータやワークステーションであるが、これに限定されない。
【００２４】
図３は、図２の固有名認識装置１００で行われる処理（ステップＳ１０〜Ｓ１４）を説明している。
【００２５】
図２および図３において、テキスト入力部１０は、日本語テキストを入力する（Ｓ１０）。形態素解析部１１は、形態素解析辞書記憶部１２を参照してテキストを形態素解析する（Ｓ１１）。形態素解析結果は例えば図５に示すようなものである。この例では「米カリフォルニアのオレンジ郡が・・・」を形態素解析している。固有名情報解析部１３は、固有名構成要素候補辞書記憶部１４を参照して形態素解析結果に対して素性（固有名構成要素候補に関する属性）を付与する（Ｓ１２）。固有名構成要素候補辞書記憶部１４は、例えば図４に示すような、形態素と、それが構成する固有名における位置とを関連づけた情報からなる固有名構成要素候補辞書を記憶している。固有名が「日本国」であれば、「日本国」は左端形態素であり、「国」は右端形態素である。「日本国憲法」であれば、「日本国」は左端形態素、「国」は中間形態素、「憲法」は右端形態素である。この場合、「国」は左端形態素でもあるし、中間形態素でもある。
【００２６】
固有名情報解析部１３が形態素に付与する素性は例えば図６に示すようなものである。この例では、固有名自体の属性と、固有名を構成する形態素の位置に関する属性とから素性が決定される。
【００２７】
形態素解析結果の形態素が、図６中に矢印Ａで示した、固有名の「単語」自体、「左端」形態素自体、「中間」形態素自体、「右端」形態素自体である場合には、その形態素にそろぞれの素性を付与する。例えば、「場所」の「右端」形態素であれば（例えば「日本国」の「国」）、「ｐｒｂ」を付与する。
【００２８】
また形態素解析結果の形態素の一部が、固有名の「単語」、「左端」形態素、「中間」形態素、「右端」形態素と一致する場合には、図６中矢印Ｂで示すような素性を付与する。例えば、「・・・韓国軍人・・」を形態素解析して「韓国」、「軍人」の形態素列を得た場合には、形態素「軍人」中の「軍」は「組織」の「右端」形態素でもあり得るから、「左に右端を含む」という位置情報を有し、「ｏｒｂｌ」の素性が「軍人」に割り当てられる。「軍人」中の「軍」のような形態素の一部に個別に素性を割りあてられる記述手法を採用した場合には、形態素の一部にかかる素性を割り当ててもよい。
【００２９】
このようにして、形態素解析結果の形態素またはその一部に関して固有名構成要素候補辞書を参照して解析を行い形態素に素性を割り当てる。
【００３０】
図７は、図４の形態素解析結果に素性を割り当てた例を示す。この例では下線を付した部分が素性として新たに割り当てられている。
【００３１】
固有名特定部１５は、固有名特定規則記憶部１６を参照して規則に合致する形態素列を一まとめにして固有名として特定する（Ｓ１３）。
【００３２】
固有名特定規則記憶部１６の固有特定規則（チャンキングルールともいう）は例えば図８に示すようなものであり、最終的には固有名の属性（姓、名、組織、場所等）が付与される。そして図９に示すように固有名の属性を有する形態素列が固有名として抽出される。図８の例では、「場所」の属性を有するものが、「ｌｏｃａｔｉｏｎ（）」として抽出される。図９中、「＊」はその直前の形態素が０回以上繰り返すことを表し、「＋」はその直前の形態素が０回以上繰り返すことを表す。「？」は任意の形態素を表す。
【００３３】
図１０は、先の「米カリフォルニア州のオレンジ郡が・・・」の形態素解析結果に固有名特定規則を適用して固有名およびその属性を特定した例を示し、図１１はこの結果から固有名を抽出した例を示す。この例では、形態素解析結果の形態素は固有名構成要素候補（左端、中間、右端、単語）自体である。
【００３４】
図１２は、形態素解析結果の形態素の一部が固有名構成要素候補をなす例を示している。この例では、先に述べたように、「・・韓国軍人・・」の形態素解析結果に含まれる「韓国」、「軍人」の形態素列中の「軍人」の左部分が右端形態素になり得るので「軍人」に「組織」の「左に右端を含む」素性である「ｏｒｂｌ」を付与している。
【００３５】
抽出された固有名はテキストにおいて強調や隠蔽されて出力部１７から出力される。出力は、表示、印刷、メール送出、音声出力等種々の形態を用いることができる。後段の各種処理装置へ、固有名情報を付加したテキスト等として出力することもできる。
【００３６】
この実施例の固有名認識装置によれば、既知の固有名から取得した固有名構成要素候補の情報を用い、その候補間の関連に基づいて固有名をチャンキング（構成要素を一塊にして固有名にすること）して認識を行うのできめ細かな高精度の固有名認識が可能になる。
【００３７】
とくに「左端」、「右端」の固有名構成要素候補に着目すると極めて高精度な認識が行えた。
【００３８】
つぎに、固有名構成要素候補辞書を作成する手法について説明する。
【００３９】
図１３は、固有名候補抽出装置１１０を示しており、図１４はその動作例（ステップＳ２０〜Ｓ２１）を示している。これらの図において、固有名候補抽出装置１１０は、固有名入力部２０、形態素解析部２１、形態素解析辞書記憶部２２、固有名構成要素候補記憶部２３を含んで構成され、固有名構成要素候補記憶部２３に記憶された固有名構成要素候補が固有名認識装置１００の固有名構成要素候補辞書記憶部１４（図１）に記憶保持される。
【００４０】
固有名入力部２０により入力される既知の固有名のサンプル郡に対して形態素解析が実行され、左端形態素、中間形態素、右端形態素、単語自体の形態素が取り出され、固有名構成要素候補辞書が作成される。なお、図１４に示される動作は図１４の記載内容から自明であるのでとくに説明は行わない。
【００４１】
この固有名候補抽出装置１１０の主たる部分も、例えば、計算機２００上で実行されるコンピュータソフトウェアとして実現できる。コンピュータソフトウェアは例えば記録媒体２０１を用いて計算機２００にインストールされる。計算機２００は、通常どおり、ＣＰＵ、主メモリ、ハードディスク等からなり、例えばパーソナルコンピュータやワークステーションであるが、これに限定されない。
【００４２】
図１５はこの発明の固有名認識装置を用いたテキスト処理装置の例を示している。この例では、テキスト中の固有名を適宜強調したり隠蔽したりする。
【００４３】
図１５において、テキスト処理装置１３０は、固有名認識装置１００、対象固有名特定部３０、テキスト部分指定部３１、特定固有名処理部３２、出力部３３を含んで構成されている。
【００４４】
このテキスト処理装置１３０の主たる部分も、例えば、計算機２００上で実行されるコンピュータソフトウェアとして実現できる。コンピュータソフトウェアは例えば記録媒体２０１を用いて計算機２００にインストールされる。計算機２００は、通常どおり、ＣＰＵ、主メモリ、ハードディスク等からなり、例えばパーソナルコンピュータやワークステーションであるが、これに限定されない。
【００４５】
テキスト部分指定部３１は、例えば表示されているテキストに対して利用者がポインティングしたときにそのポインティング情報を対象固有名特定部３０に送る。対象固有名特定部３０は、例えば、ポインティングされた部分の文章を判別し、その文章に含まれる固有名を強調したり、隠蔽したりする。シフトキー等の補助キーを操作しながらポインティングしたときに強調が行われ、そうでないときには隠蔽が行われるようにすることもできる。もちろんそれに限定されず種々の対象で強調や隠蔽を指示できる。特定固有名処理部３２は強調や隠蔽に必要な表示属性や文字の置き換えを行い、出力部３３に送出する。出力部３３は表示出力や印刷出力、所定のメールアドレスへの送付等を行う。
【００４６】
図１６は、テキスト処理装置の他の例を示す。図１４のテキスト処理装置１３０は、図１３のテキスト処理装置の構成要素に加えて処理規則記憶部３４を含んでいる。処理規則記憶部３４は、図１７に示すような処理条件、処理内容を特定するユーザインタフェースを用いて入力された処理規則を記憶する。もちろんデフォルトの処理条件や処理規則を用いることもできる。この例では、処理内容（強調、隠蔽、そのまま）や条件をプルダウンメニュー等で指定できる。この例によればテキスト処理を細かに設定できる。図１７の例では、文章を指定することもできるが、文章を指定せずに、テキスト全体を一括で処理するモードしかない場合もあり得る。
【００４７】
なお、この発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。例えば、上述の例では種々の固有名構成要素候補を用いたが、「左端」、「右端」あるいはその一方のみを用いるなど、種々の変更が可能である。また固有名構成要素候補辞書を複数用意して適用場面やテキストの内容に合わせて適合的に辞書選別・統合を行うようにしてもよい。
【００４８】
【発明の効果】
以上説明したように、この発明によれば、固有名構成要素候補に着目して高精度に固有名を認識することができる。
【図面の簡単な説明】
【図１】 この発明の原理的な構成例を模式的に説明する図である。
【図２】 この発明の実施例の固有名認識装置の構成を示すブロック図である。
【図３】 図２の実施例の動作を説明するフローチャートである。
【図４】 図２の実施例の固有名構成要素候補辞書を説明する図である。
【図５】 図２の実施例の形態素解析結果を説明する図である。
【図６】 図２の実施例で用いる素性を説明する図である。
【図７】 図２の実施例で形態素解析結果に素性を反映させた結果を説明する図である。
【図８】 図２の実施例の固有名特定部におけるチャンキング規則を説明する図である。
【図９】 図２の実施例の固有名特定部における抽出規則を説明する図である
【図１０】 図２の実施例のチャンキング規則適用後の解析結果の例を示す図である。
【図１１】 図１０の解析結果に図９の抽出規則を適用した抽出結果の例を示す図である。
【図１２】 図２の実施例のチャンキング規則適用後の解析結果の他の例を示す図である。
【図１３】 この発明の実施例の固有名候補抽出装置を全体として示すブロック図である。
【図１４】 図１３の実施例の動作を説明するフローチャートである。
【図１５】 この発明の実施例のテキスト処理装置を全体として示すブロック図である。
【図１６】 図１５のテキスト処理装置の変形例を説明するブロック図である。
【図１７】 図１６の変形例の動作を説明する図である。
【符号の説明】
１０ テキスト入力部
１１ 形態素解析部
１２ 形態素解析辞書記憶部
１３ 固有名情報解析部
１４ 固有名構成要素候補辞書記憶部
１５ 固有名特定部
１６ 固有名特定規則記憶部
１７ 出力部
２０ 固有名入力部
２１ 形態素解析部
２２ 形態素解析辞書記憶部
２３ 固有名構成要素候補記憶部
３０ 対象固有名特定部
３１ テキスト部分指定部
３２ 特定固有名処理部
３３ 出力部
３４ 処理規則記憶部
１００ 固有名認識装置
１１０ 固有名候補抽出装置
１３０ テキスト処理装置
２００ 計算機
２０１ 記録媒体
【発明の属する技術分野】
この発明は、人名、地名、組織名、日時、価格等、特定の事物を表す表現（固有名、固有表現ともいう）を抽出する技術に関する。
【０００２】
【従来の技術】
膨大な量の文書に含まれる情報についての質問に答えたり、文書を要約したり、データべース化したり、視覚化したりするためには、その文書から、人名や地名や組織名や日時などの固有名を抽出する必要がある。この場合、コンピュータを利用して、予め各固有名を登録した辞書を用意しておき、この辞書を検索することにより、文書からの固有名の抽出を行うことができる。ところで、実際の文書には、予め用意した辞書に含まれない新しい言葉が必ず存在するので、辞書の検索だけでは、正確な抽出結果は得られない。このような問題に対処するために、固有名そのものと、その前後に含まれる単語の並びの出現パターンを規則化して得た多数の規則を予め人手により作成し、その規則に基づきコンピュータ処理して、対象の文書から、固有名を抽出するという技術がある。
【０００３】
しかし、この技術では、規則同士が競合したり相互作用したりするため、それぞれの規則が意図したとおりに動くとは限らないので、作成された規則を、予め用意された訓練データに適用して、その結果に基づき、間違ったところを見つけ出して、規則を修正するという作業を何度も繰り返さなければならない。
【０００４】
また、ある規則を修正した結果、それまで正常に動いていた規則が影響を受けて、間違った答を出すようになることが少なくない。そのため、多数の規則の全てを意図したとおりに動くようにするためには、膨大な時間と労力を要する。
【０００５】
このような固有名を抽出する規則をコンピュータを用いて自動的に生成する技術においても、規則の間の競合や相互作用のため、自動生成された規則同士をどのように組み合わせれば良い成績が得られるかは、組み合わせた規則（ルール）を再度、実際の文書に適用して、その結果を正解と比較して採点し、その結果に基づき、より良い成績が得られるように規則を追加したり削除したりする試行錯誤を繰り返すしかなく、多大な計算時間が必要である。
【０００６】
なお、上記のような規則の良否を訓練用文書を用いて選別することや（特許文献１）、最大エントロピモデルを用いた文章解析において係り受けの確率等を学習させることが提案されている。
【特許文献１】
特開２００１−３１８７９２公報
【特許文献２】
特開２００２−３３４０７６公報
【０００７】
【発明が解決する課題】
この発明は、以上の事情を考慮してなされたものであり、高精度に固有名表現を認識することができる固有名認識技術を提供することを目的としている。
【０００８】
【課題を解決するための手段】
この発明によれば、上述の目的を達成するために、特許請求の範囲に記載のとおりの構成を採用している。
【０００９】
まず、この発明の概要を図１に示す例を参照して模式的に説明しておく。この例においては、例えば、既知の固有名を収集した固有名リストを用い、これに形態素解析を適用して、固有名構成要素候補である左端形態素リスト、中間形態素リスト、右端形態素リストおよび単語自体の形態素のリスト（固有名が単一の形態素からなる場合）を予め取得しておく。固有名は、原則として、その左端（前端）の形態素、右端（後端）の形態素および０個または１つ以上の中間の形態素から構成されている。例外として、固有名が単一の形態素からなる場合もある（形態素が固有名の単語自体の場合）。この後、処理対象のテキストを入力し、形態素解析を行い、形態素解析結果を取得し、さらに形態素に対して、左端形態素リスト、中間形態素リスト、右端形態素リストおよび単語自体の形態素のリストを参照して素性（固有名構成要素候補に関する属性。例えば図６に示す）を付与する。素性が付与された改訂版の形態素解析結果に対して固有名特定規則を適用して固有名を抽出する。抽出された固有名に対しては例えば強調処理、隠蔽処理を行ったのち表示等を行う。なお、図１の例はあくまでも説明目的の事例であり、この発明は図１の例に限定されない。
【００１０】
さらに、この発明を説明する。
【００１１】
この発明の一側面によれば、上述の目的を達成するために、固有名認識装置に：固有名構成要素候補を記憶する固有名構成要素候補記憶手段と；上記固有名構成要素候補との関連で規定された固有名特定規則を記憶する固有名特定規則記憶手段と；文章を形態素解析する形態素解析手段と；上記形態素解析手段から出力される形態素を上記固有名構成要素候補を用いて解析する固有名情報解析手段と；上記構文解析手段の解析結果に、上記固有名構成要素項を用いて解析した結果を反映させて得た文章解析結果に、上記固有名特定規則を適用して上記文章に含まれる固有名を特定する固有名特定手段とを設けるようにしている。
【００１２】
この構成においては、固有名構成要素候補を用いて得た情報を、文法情報等の他の情報とともに用いて、形態素または形態素列を、高精度に固有名表現として認識することができる。
【００１３】
この構成において、上記固有名構成要素候補は、固有名の前端、後端、および、中央部のうちの少なくとも１つであることが好ましいが、これに限定されない。固有名の前端、後端はとくに有効であることが判明したが、これに限定されない。
【００１４】
上記固有名構成要素候補は、固有名それ自体を含んでもよい。
【００１５】
また、上記固有名情報解析手段は、例えば、上記形態素解析手段から出力される形態素が固有名構成要素候補に該当するときに、当該固有名構成要素候補の種類により特定される属性（素性）を当該形態素に割り当てる。
【００１６】
また、上記固有名情報解析手段は、例えば、上記形態素解析手段から出力される形態素の一部が固有名構成要素候補に該当するときに、当該固有名構成要素候補の種類により特定される属性（素性）を当該形態素または当該形態素の一部に割り当てる。
【００１７】
また、上記固有名特定規則は、抽出して固有名の属性も決定することが好ましい。固有名の属性は、人名（姓、名）、組織名、場所、金額、日時、製品名、商品名等であるが、これに限定されない。
【００１８】
また、この発明は例えば日本語の固有名認識に適用されて最適であるが、固有名構成要素候補の形態素に着目して固有名を認識する範囲で他の言語にも、適用可能である。
【００１９】
なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。回路要素等をディスクリートに結合して装置を構成することを妨げない。
【００２０】
また、この発明の上述の側面およびこの発明の他の側面は特許請求の範囲に記載され、以下、実施例を用いて詳細に説明される。
【００２１】
【発明の実施の形態】
以下、この発明の実施例について説明する。
【００２２】
図２は、この発明の実施例の固有名認識装置１００を全体として示しており、この図において、固有名認識装置１００はテキスト入力部１０、形態素解析部１１、形態素解析辞書記憶部１２、固有名情報解析部１３、固有名構成要素候補辞書記憶部１４、固有名特定部１５、固有名特定規則記憶部１６および出力部１７等を含んで構成されている。
【００２３】
この固有名認識装置１００の主たる部分は、例えば、計算機２００上で実行されるコンピュータソフトウェアとして実現できる。コンピュータソフトウェアは例えば記録媒体２０１を用いて計算機２００にインストールされる。計算機２００は、通常どおり、ＣＰＵ、主メモリ、ハードディスク等からなり、例えばパーソナルコンピュータやワークステーションであるが、これに限定されない。
【００２４】
図３は、図２の固有名認識装置１００で行われる処理（ステップＳ１０〜Ｓ１４）を説明している。
【００２５】
図２および図３において、テキスト入力部１０は、日本語テキストを入力する（Ｓ１０）。形態素解析部１１は、形態素解析辞書記憶部１２を参照してテキストを形態素解析する（Ｓ１１）。形態素解析結果は例えば図５に示すようなものである。この例では「米カリフォルニアのオレンジ郡が・・・」を形態素解析している。固有名情報解析部１３は、固有名構成要素候補辞書記憶部１４を参照して形態素解析結果に対して素性（固有名構成要素候補に関する属性）を付与する（Ｓ１２）。固有名構成要素候補辞書記憶部１４は、例えば図４に示すような、形態素と、それが構成する固有名における位置とを関連づけた情報からなる固有名構成要素候補辞書を記憶している。固有名が「日本国」であれば、「日本国」は左端形態素であり、「国」は右端形態素である。「日本国憲法」であれば、「日本国」は左端形態素、「国」は中間形態素、「憲法」は右端形態素である。この場合、「国」は左端形態素でもあるし、中間形態素でもある。
【００２６】
固有名情報解析部１３が形態素に付与する素性は例えば図６に示すようなものである。この例では、固有名自体の属性と、固有名を構成する形態素の位置に関する属性とから素性が決定される。
【００２７】
形態素解析結果の形態素が、図６中に矢印Ａで示した、固有名の「単語」自体、「左端」形態素自体、「中間」形態素自体、「右端」形態素自体である場合には、その形態素にそろぞれの素性を付与する。例えば、「場所」の「右端」形態素であれば（例えば「日本国」の「国」）、「ｐｒｂ」を付与する。
【００２８】
また形態素解析結果の形態素の一部が、固有名の「単語」、「左端」形態素、「中間」形態素、「右端」形態素と一致する場合には、図６中矢印Ｂで示すような素性を付与する。例えば、「・・・韓国軍人・・」を形態素解析して「韓国」、「軍人」の形態素列を得た場合には、形態素「軍人」中の「軍」は「組織」の「右端」形態素でもあり得るから、「左に右端を含む」という位置情報を有し、「ｏｒｂｌ」の素性が「軍人」に割り当てられる。「軍人」中の「軍」のような形態素の一部に個別に素性を割りあてられる記述手法を採用した場合には、形態素の一部にかかる素性を割り当ててもよい。
【００２９】
このようにして、形態素解析結果の形態素またはその一部に関して固有名構成要素候補辞書を参照して解析を行い形態素に素性を割り当てる。
【００３０】
図７は、図４の形態素解析結果に素性を割り当てた例を示す。この例では下線を付した部分が素性として新たに割り当てられている。
【００３１】
固有名特定部１５は、固有名特定規則記憶部１６を参照して規則に合致する形態素列を一まとめにして固有名として特定する（Ｓ１３）。
【００３２】
固有名特定規則記憶部１６の固有特定規則（チャンキングルールともいう）は例えば図８に示すようなものであり、最終的には固有名の属性（姓、名、組織、場所等）が付与される。そして図９に示すように固有名の属性を有する形態素列が固有名として抽出される。図８の例では、「場所」の属性を有するものが、「ｌｏｃａｔｉｏｎ（）」として抽出される。図９中、「＊」はその直前の形態素が０回以上繰り返すことを表し、「＋」はその直前の形態素が０回以上繰り返すことを表す。「？」は任意の形態素を表す。
【００３３】
図１０は、先の「米カリフォルニア州のオレンジ郡が・・・」の形態素解析結果に固有名特定規則を適用して固有名およびその属性を特定した例を示し、図１１はこの結果から固有名を抽出した例を示す。この例では、形態素解析結果の形態素は固有名構成要素候補（左端、中間、右端、単語）自体である。
【００３４】
図１２は、形態素解析結果の形態素の一部が固有名構成要素候補をなす例を示している。この例では、先に述べたように、「・・韓国軍人・・」の形態素解析結果に含まれる「韓国」、「軍人」の形態素列中の「軍人」の左部分が右端形態素になり得るので「軍人」に「組織」の「左に右端を含む」素性である「ｏｒｂｌ」を付与している。
【００３５】
抽出された固有名はテキストにおいて強調や隠蔽されて出力部１７から出力される。出力は、表示、印刷、メール送出、音声出力等種々の形態を用いることができる。後段の各種処理装置へ、固有名情報を付加したテキスト等として出力することもできる。
【００３６】
この実施例の固有名認識装置によれば、既知の固有名から取得した固有名構成要素候補の情報を用い、その候補間の関連に基づいて固有名をチャンキング（構成要素を一塊にして固有名にすること）して認識を行うのできめ細かな高精度の固有名認識が可能になる。
【００３７】
とくに「左端」、「右端」の固有名構成要素候補に着目すると極めて高精度な認識が行えた。
【００３８】
つぎに、固有名構成要素候補辞書を作成する手法について説明する。
【００３９】
図１３は、固有名候補抽出装置１１０を示しており、図１４はその動作例（ステップＳ２０〜Ｓ２１）を示している。これらの図において、固有名候補抽出装置１１０は、固有名入力部２０、形態素解析部２１、形態素解析辞書記憶部２２、固有名構成要素候補記憶部２３を含んで構成され、固有名構成要素候補記憶部２３に記憶された固有名構成要素候補が固有名認識装置１００の固有名構成要素候補辞書記憶部１４（図１）に記憶保持される。
【００４０】
固有名入力部２０により入力される既知の固有名のサンプル郡に対して形態素解析が実行され、左端形態素、中間形態素、右端形態素、単語自体の形態素が取り出され、固有名構成要素候補辞書が作成される。なお、図１４に示される動作は図１４の記載内容から自明であるのでとくに説明は行わない。
【００４１】
この固有名候補抽出装置１１０の主たる部分も、例えば、計算機２００上で実行されるコンピュータソフトウェアとして実現できる。コンピュータソフトウェアは例えば記録媒体２０１を用いて計算機２００にインストールされる。計算機２００は、通常どおり、ＣＰＵ、主メモリ、ハードディスク等からなり、例えばパーソナルコンピュータやワークステーションであるが、これに限定されない。
【００４２】
図１５はこの発明の固有名認識装置を用いたテキスト処理装置の例を示している。この例では、テキスト中の固有名を適宜強調したり隠蔽したりする。
【００４３】
図１５において、テキスト処理装置１３０は、固有名認識装置１００、対象固有名特定部３０、テキスト部分指定部３１、特定固有名処理部３２、出力部３３を含んで構成されている。
【００４４】
このテキスト処理装置１３０の主たる部分も、例えば、計算機２００上で実行されるコンピュータソフトウェアとして実現できる。コンピュータソフトウェアは例えば記録媒体２０１を用いて計算機２００にインストールされる。計算機２００は、通常どおり、ＣＰＵ、主メモリ、ハードディスク等からなり、例えばパーソナルコンピュータやワークステーションであるが、これに限定されない。
【００４５】
テキスト部分指定部３１は、例えば表示されているテキストに対して利用者がポインティングしたときにそのポインティング情報を対象固有名特定部３０に送る。対象固有名特定部３０は、例えば、ポインティングされた部分の文章を判別し、その文章に含まれる固有名を強調したり、隠蔽したりする。シフトキー等の補助キーを操作しながらポインティングしたときに強調が行われ、そうでないときには隠蔽が行われるようにすることもできる。もちろんそれに限定されず種々の対象で強調や隠蔽を指示できる。特定固有名処理部３２は強調や隠蔽に必要な表示属性や文字の置き換えを行い、出力部３３に送出する。出力部３３は表示出力や印刷出力、所定のメールアドレスへの送付等を行う。
【００４６】
図１６は、テキスト処理装置の他の例を示す。図１４のテキスト処理装置１３０は、図１３のテキスト処理装置の構成要素に加えて処理規則記憶部３４を含んでいる。処理規則記憶部３４は、図１７に示すような処理条件、処理内容を特定するユーザインタフェースを用いて入力された処理規則を記憶する。もちろんデフォルトの処理条件や処理規則を用いることもできる。この例では、処理内容（強調、隠蔽、そのまま）や条件をプルダウンメニュー等で指定できる。この例によればテキスト処理を細かに設定できる。図１７の例では、文章を指定することもできるが、文章を指定せずに、テキスト全体を一括で処理するモードしかない場合もあり得る。
【００４７】
なお、この発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。例えば、上述の例では種々の固有名構成要素候補を用いたが、「左端」、「右端」あるいはその一方のみを用いるなど、種々の変更が可能である。また固有名構成要素候補辞書を複数用意して適用場面やテキストの内容に合わせて適合的に辞書選別・統合を行うようにしてもよい。
【００４８】
【発明の効果】
以上説明したように、この発明によれば、固有名構成要素候補に着目して高精度に固有名を認識することができる。
【図面の簡単な説明】
【図１】 この発明の原理的な構成例を模式的に説明する図である。
【図２】 この発明の実施例の固有名認識装置の構成を示すブロック図である。
【図３】 図２の実施例の動作を説明するフローチャートである。
【図４】 図２の実施例の固有名構成要素候補辞書を説明する図である。
【図５】 図２の実施例の形態素解析結果を説明する図である。
【図６】 図２の実施例で用いる素性を説明する図である。
【図７】 図２の実施例で形態素解析結果に素性を反映させた結果を説明する図である。
【図８】 図２の実施例の固有名特定部におけるチャンキング規則を説明する図である。
【図９】 図２の実施例の固有名特定部における抽出規則を説明する図である
【図１０】 図２の実施例のチャンキング規則適用後の解析結果の例を示す図である。
【図１１】 図１０の解析結果に図９の抽出規則を適用した抽出結果の例を示す図である。
【図１２】 図２の実施例のチャンキング規則適用後の解析結果の他の例を示す図である。
【図１３】 この発明の実施例の固有名候補抽出装置を全体として示すブロック図である。
【図１４】 図１３の実施例の動作を説明するフローチャートである。
【図１５】 この発明の実施例のテキスト処理装置を全体として示すブロック図である。
【図１６】 図１５のテキスト処理装置の変形例を説明するブロック図である。
【図１７】 図１６の変形例の動作を説明する図である。
【符号の説明】
１０ テキスト入力部
１１ 形態素解析部
１２ 形態素解析辞書記憶部
１３ 固有名情報解析部
１４ 固有名構成要素候補辞書記憶部
１５ 固有名特定部
１６ 固有名特定規則記憶部
１７ 出力部
２０ 固有名入力部
２１ 形態素解析部
２２ 形態素解析辞書記憶部
２３ 固有名構成要素候補記憶部
３０ 対象固有名特定部
３１ テキスト部分指定部
３２ 特定固有名処理部
３３ 出力部
３４ 処理規則記憶部
１００ 固有名認識装置
１１０ 固有名候補抽出装置
１３０ テキスト処理装置
２００ 計算機
２０１ 記録媒体
Claims (5)
- 固有名自体、固有名の前端、固有名の中央部および固有名の後端のそれぞれの候補をなす固有名構成要素候補を記憶する固有名構成要素候補記憶手段と、
文章を形態素解析する形態素解析手段と、
上記形態素解析手段から出力される形態素に上記固有名構成要素候補を突き合わせて当該形態素が固有名自体、固有名の前端、固有名の中央部および固有名の後端のそれぞれの候補をなすかどうか、および、当該形態素の一部が固有名自体、固有名の前端、固有名の中央部および固有名の後端のそれぞれの候補をなすかどうかを判別して、該当する形態素に対して、当該形態素が固有名自体、固有名の前端、固有名の中央部および固有名の後端のいずれの候補をなすか、あるいは当該形態素の一部が固有名自体、固有名の前端、固有名の中央部および固有名の後端のいずれの候補をなすかを示す、固有名の位置に関する第１の属性を決定し、当該第１の属性と固有名自体の第２の属性との組み合わせにより決定される素性を当該形態素に付与する固有名情報解析手段と、
上記素性の特定の並びに対して固有名を特定する固有名特定規則を記憶する固有名特定規則記憶手段と、
上記固有名情報解析手段が上記素性を付与した、上記構文解析手段の解析結果に上記固有名特定規則を適用して上記文章に含まれる固有名を特定する固有名特定手段とを有することを特徴とする固有名認識装置。 - 上記第２の属性は人名、組織名、場所、金額、日時、製品名、商品名を少なくとも１つを含む請求項１記載の固有名認識装置。
- 上記固有名特定規則は、抽出した固有名の属性をさらに決定する請求項１記載の固有名認識装置。
- 固有名自体、固有名の前端、固有名の中央部および固有名の後端のそれぞれの候補をなす固有名構成要素候補を記憶する固有名構成要素候補記憶手段と、
文章を形態素解析する形態素解析手段と、
上記形態素解析手段から出力される形態素に上記固有名構成要素候補を突き合わせて当該形態素が固有名自体、固有名の前端、固有名の中央部および固有名の後端のそれぞれの候補をなすかどうか、および、当該形態素の一部が固有名自体、固有名の前端、固有名の中央部および固有名の後端のそれぞれの候補をなすかどうかを判別して、該当する形態素に対して、当該形態素が固有名自体、固有名の前端、固有名の中央部および固有名の後端のいずれの候補をなすか、あるいは当該形態素の一部が固有名自体、固有名の前端、固有名の中央部および固有名の後端のいずれの候補をなすかを示す、固有名の位置に関する第１の属性を決定し、当該第１の属性と固有名自体の第２の属性との組み合わせにより決定される素性を当該形態素に付与する固有名情報解析手段と、
上記素性の特定の並びに対して固有名を特定する固有名特定規則を記憶する固有名特定規則記憶手段と、
上記固有名情報解析手段が上記素性を付与した、上記構文解析手段の解析結果に上記固有名特定規則を適用して上記文章に含まれる固有名を特定する固有名特定手段と、
文書中の文章またはその一部を指定する手段とを有し、
上記指定された文書またはその一部に関連する固有名を上記固有名構成要素候補記憶手段、上記形態素解析手段、上記固有名情報解析手段、上記固有名特定規則記憶手段、および上記固有名特定手段を用いて特定し、
さらに、上記特定された固有名の部分を強調または隠蔽する手段を有することを特徴とする文書処理装置。 - コンピュータを、
固有名自体、固有名の前端、固有名の中央部および固有名の後端のそれぞれの候補をなす固有名構成要素候補を記憶する固有名構成要素候補記憶手段と、
文章を形態素解析する形態素解析手段と、
上記形態素解析手段から出力される形態素に上記固有名構成要素候補を突き合わせて当該形態素が固有名自体、固有名の前端、固有名の中央部および固有名の後端のそれぞれの 候補をなすかどうか、および、当該形態素の一部が固有名自体、固有名の前端、固有名の中央部および固有名の後端のそれぞれの候補をなすかどうかを判別して、該当する形態素に対して、当該形態素が固有名自体、固有名の前端、固有名の中央部および固有名の後端のいずれの候補をなすか、あるいは当該形態素の一部が固有名自体、固有名の前端、固有名の中央部および固有名の後端のいずれの候補をなすかを示す、固有名の位置に関する第１の属性を決定し、当該第１の属性と固有名自体の第２の属性との組み合わせにより決定される素性を当該形態素に付与する固有名情報解析手段と、
上記素性の特定の並びに対して固有名を特定する固有名特定規則を記憶する固有名特定規則記憶手段と、
上記固有名情報解析手段が上記素性を付与した、上記構文解析手段の解析結果に上記固有名特定規則を適用して上記文章に含まれる固有名を特定する固有名特定手段として機能させることを特徴とする固有名認識用コンピュータプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003120579A JP4023371B2 (ja) | 2003-04-24 | 2003-04-24 | 固有名認識装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003120579A JP4023371B2 (ja) | 2003-04-24 | 2003-04-24 | 固有名認識装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004326461A JP2004326461A (ja) | 2004-11-18 |
| JP4023371B2 true JP4023371B2 (ja) | 2007-12-19 |
Family
ID=33499443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003120579A Expired - Fee Related JP4023371B2 (ja) | 2003-04-24 | 2003-04-24 | 固有名認識装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4023371B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5412137B2 (ja) * | 2009-02-24 | 2014-02-12 | ヤフー株式会社 | 機械学習装置及び方法 |
| KR102341822B1 (ko) * | 2019-07-12 | 2021-12-22 | 주식회사 테크온힐 | 인공 지능 기반 상품명 그룹핑 방법 및 이를 지원하기 위한 장치 |
| CN115640375A (zh) * | 2022-10-11 | 2023-01-24 | 智慧芽信息科技(苏州)有限公司 | 专利文献中的技术问题抽取方法及相关设备 |
-
2003
- 2003-04-24 JP JP2003120579A patent/JP4023371B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004326461A (ja) | 2004-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3254642B2 (ja) | 索引の表示方法 | |
| US8019769B2 (en) | System and method for determining valid citation patterns in electronic documents | |
| US8812301B2 (en) | Linguistically-adapted structural query annotation | |
| KR100359265B1 (ko) | 텍스트 프로세서 | |
| Juola et al. | A prototype for authorship attribution studies | |
| US20070179932A1 (en) | Method for finding data, research engine and microprocessor therefor | |
| US11520987B2 (en) | Automated document analysis comprising a user interface based on content types | |
| KR20070098252A (ko) | 자동완성 추천어를 정정하여 노출하는 자동완성 추천어제공 방법 및 시스템 | |
| JP3372532B2 (ja) | 感情情報抽出方法および感情情報抽出プログラムの計算機読み取り可能な記録媒体 | |
| KR102188739B1 (ko) | 감정 온톨로지에 기반을 둔 이모티콘 추천 장치 및 방법 | |
| CN113934834A (zh) | 一种问句匹配的方法、装置、设备和存储介质 | |
| JP7040227B2 (ja) | 情報処理プログラム、情報処理方法、および情報処理装置 | |
| Bhatti et al. | Phonetic-based sindhi spellchecker system using a hybrid model | |
| JP2002157241A (ja) | 辞書作成装置 | |
| JP4023371B2 (ja) | 固有名認識装置および方法 | |
| CN107908792B (zh) | 信息推送方法和装置 | |
| JP3398729B2 (ja) | キーワード自動抽出装置およびキーワード自動抽出方法 | |
| JPH11272695A (ja) | 情報抽出装置及びその方法並びに情報記憶媒体 | |
| JP2007058415A (ja) | テキストマイニング装置、テキストマイニング方法、およびテキストマイニング用プログラム | |
| JP3725470B2 (ja) | 統計的言語モデルを作成するためのコーパス処理装置及び方法並びにプログラム | |
| JP2000250913A (ja) | 実例型自然言語翻訳方法、対訳用例集作成方法および装置とそのプログラムを記録した記録媒体 | |
| JP2004094583A (ja) | 文章分類方法 | |
| JP2002366556A (ja) | 情報検索方法 | |
| JP3892806B2 (ja) | 自然言語処理用辞書登録装置、自然言語処理用辞書登録方法及びプログラム | |
| JPH0748217B2 (ja) | 文書要約装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060320 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070417 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070613 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070911 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070924 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101012 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111012 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121012 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121012 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131012 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |