JP4129048B2 - 固有表現抽出装置、方法、及びプログラム - Google Patents

固有表現抽出装置、方法、及びプログラム Download PDF

Info

Publication number
JP4129048B2
JP4129048B2 JP2007521081A JP2007521081A JP4129048B2 JP 4129048 B2 JP4129048 B2 JP 4129048B2 JP 2007521081 A JP2007521081 A JP 2007521081A JP 2007521081 A JP2007521081 A JP 2007521081A JP 4129048 B2 JP4129048 B2 JP 4129048B2
Authority
JP
Japan
Prior art keywords
extraction
specific expression
specific
expression
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007521081A
Other languages
English (en)
Other versions
JPWO2006134682A1 (ja
Inventor
貴史 續木
純幸 沖本
研治 水谷
聰 松浦
剛 井上
洋 九津見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP4129048B2 publication Critical patent/JP4129048B2/ja
Publication of JPWO2006134682A1 publication Critical patent/JPWO2006134682A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295Named entity recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、ユーザに適応した固有表現を抽出することが可能な固有表現抽出装置に関するものである。
従来、複数の異なるタスクに対応するため、1つの入力テキストに対し複数の固有表現抽出モジュールを動作させ、抽出される固有表現をまとめることができる固有表現抽出方法が開示されている(例えば、特許文献1参照)。
ここで、固有表現とは、タスクによって1つの単位として扱われる、固有名詞、会社名、電子メールアドレス、国名、都市名、製品名、組織名、時間、日時、金額表現、割合表現など特定の言語項目を言う。
特開2003−248680号公報
しかしながら、従来の複数の固有表現抽出モジュールを動作させることで異なるタスクに対応することができる固有表現抽出方法は、抽出する固有表現の種類や単位をユーザや表示端末に対して対応付けて記憶することができないため、ユーザや表示端末に適応した固有表現を抽出することができない。このため、特に、固有表現の中に固有表現が存在する固有表現の入れ子構造において、ユーザは抽出された固有表現が表示される場合、ユーザにとって冗長な文字列を含む固有表現や意味を理解するには短すぎる固有表現を読まなければならなかった。例えば、テレビ番組情報において、本題と副題を合わせて番組名とする番組に対し、本題のみで番組を識別できるユーザにとっては、副題は冗長な情報である。逆に本題のみで番組を識別できないユーザにとっては、副題は必要な情報であり、本題と副題を合わせてユーザに提示する必要がある。
そこで、本発明は上記の事情に鑑みてなされたものであり、ユーザの入力履歴や表示端末の表示能力等によって表される抽出条件に適応した固有表現を抽出することができる固有表現抽出装置を提供することを目的とする。
前述の目的を達成するために、この発明にかかわる固有表現抽出装置は、テキストに含まれる固有表現部分の判断基準を示す一つ以上の固有表現パターンを順次用いて、一つ以上の入力テキストから固有表現を抽出する固有表現抽出装置であって、複数のテキストが格納されている情報データベースと、複数のテキストを前記情報データベースから取得するテキスト取得手段と、複数の固有表現パターンを記憶している固有表現パターン記憶手段と、前記固有表現パターン記憶手段に記憶されている一つ以上の固有表現パターンの、固有表現の抽出に使用されるべき順序を複数記憶している抽出順序記憶手段と、前記テキスト取得手段で取得される複数のテキストから、前記抽出順序記憶手段で記憶されている各順序で固有表現パターンを用いて固有表現を抽出し、順序ごとに抽出された固有表現を固有表現セットとする固有表現抽出手段と、前記固有表現抽出手段で得られた固有表現セット毎に、その固有表現セットに含まれる類似する固有表現の数である類似固有表現数を算出し、類似固有表現数が最も少ない固有表現セットを出力する固有表現決定手段とを備える。
この構成によれば、固有表現を抽出する順序を抽出条件に応じて設定することができるので、例えば、入れ子構造が存在する固有表現に対して、文字列長の短い、または長い固有表現から順次抽出する場合は、ユーザにとって区別しにくい類似な固有表現をできるだけ含まない好ましい固有表現を得ることができ、ユーザや表示端末にとって最適な固有表現を抽出することができる。
本発明の固有表現抽出装置は、テキストに含まれる固有表現部分の判断基準を示す一つ以上の固有表現パターンを順次用いて、一つ以上の入力テキストから固有表現を抽出する固有表現抽出装置であって、入力テキストが入力される度に、抽出される固有表現を利用するユーザ、抽出される固有表現を表示する表示端末、入力テキストの属性、入力テキストの数、及び過去に固有表現が抽出された回数のうちの少なくとも一つを用いて表される抽出条件に応じて、固有表現の抽出に使用されるべき固有表現パターンの抽出順序を設定し直す抽出順序設定手段と、前記設定された抽出順序に示される順序で固有表現パターンを用いて、前記一つ以上の入力テキストから固有表現を抽出する固有表現抽出手段とを備える。
また、前記固有表現抽出装置は、さらに、前記抽出される固有表現を表示する表示手段を備えるとしてもよい。
また、前記入力テキストは、電子番組ガイドを構成する、副題と主題とから構成される番組名を含む番組情報を表すとしてもよい。
この構成によれば、前記固有表現抽出装置は、固有表現の抽出に用いる固有表現パターンの順序を抽出条件に応じて設定するので、例えば、抽出される固有表現を利用するユーザ、抽出される固有表現を表示する端末装置、入力テキストの属性、入力テキストの数、及び過去に固有表現が抽出された回数等によって表される抽出条件に応じて、異なる固有表現パターンを用いて異なる抽出結果を得ることができる。
この構成は、例えば、前記入力テキストが電子番組ガイドを構成する番組情報を表す場合に好適である。具体例として、番組情報から番組タイトルを固有表現として抽出する際に、その番組に慣れ親しんだユーザには本題のみからなる比較的短い固有表現を抽出して提示し、そうでないユーザには本題と副題とからなる比較的長い固有表現を抽出して提示すれば、ユーザに応じて最適な内容を反映した長さの番組タイトルを提示することができる。
また、抽出される固有表現を表示する端末装置が、携帯情報端末装置である場合には本題のみを抽出して表示し、家庭用テレビジョン放送受信装置である場合には本題と副題とを抽出して表示すれば、携帯情報端末装置に長い番組タイトルが表示されてしまい、その結果一覧性が損なわれてユーザにとってかえって見づらいといった不便を軽減できる。
また、前記固有表現抽出装置は、さらに、複数の固有表現パターンを記憶している固有表現パターン記憶手段と、複数の抽出条件のそれぞれについて、前記固有表現パターン記憶手段に記憶されている一つ以上の固有表現パターンの固有表現の抽出に使用されるべき順序を記憶している抽出順序記憶手段とを備え、前記抽出順序設定手段は、前記複数の抽出条件の一つが与えられると、与えられた抽出条件について前記抽出順序記憶手段に記憶されている固有表現パターンの順序を、前記抽出順序として定めてもよい。
また、前記固有表現抽出装置は、さらに、複数の固有表現パターンを記憶している固有表現パターン記憶手段と、前記固有表現パターン記憶手段に記憶されている一つ以上の固有表現パターンの固有表現の抽出に使用されるべき順序を記憶している抽出順序記憶手段と、前記抽出順序記憶手段に記憶されている固有表現パターンの順序を、抽出条件に応じて変更する抽出順序変更手段とを備え、前記抽出順序設定手段は、変更後の固有表現パターンの順序を、前記抽出順序として定めてもよい。
この構成によれば、抽出条件に応じて異なる固有表現パターンを用いて異なる抽出結果が得られるという本発明の特徴を、具体的に、複数の抽出順序の中から抽出条件に応じた一つを用いることによって実現するか、または抽出条件に応じて抽出順序を変更することによって実現することができる。
また、前記固有表現抽出装置は、ユーザを識別するユーザ識別子を抽出条件とし、さらに、前記ユーザ識別子を取得するユーザ識別手段を備え、前記抽出順序記憶手段は、複数のユーザ識別子のそれぞれについて、前記固有表現パターン記憶手段に記憶されている一つ以上の固有表現パターンの順序を記憶しており、前記抽出順序設定手段は、取得されたユーザ識別子について前記抽出順序記憶手段に記憶されている固有表現パターンの順序を、前記抽出順序として定めてもよいし、また、前記固有表現抽出装置は、抽出される固有表現を表示する端末装置の端末識別子を抽出条件とし、さらに、前記端末識別子を取得する端末識別子取得手段を備え、前記抽出順序記憶手段は、複数の端末識別子のそれぞれについて、前記固有表現パターン記憶手段に記憶されている一つ以上の固有表現パターンの順序を記憶しており、前記抽出順序設定手段は、取得された端末識別子について前記抽出順序記憶手段に記憶されている固有表現パターンの順序を、前記抽出順序として定めてもよい。
この構成によれば、前述したように、ユーザごと、及び端末装置ごとに、望ましい固有表現を抽出することができる。
また、前記固有表現抽出装置は、入力テキストの属性を抽出条件とし、さらに、前記入力テキストの属性を取得する属性取得手段を備え、前記抽出順序記憶手段は、複数の属性のそれぞれについて、前記固有表現パターン記憶手段に記憶されている一つ以上の固有表現パターンの順序を記憶しており、前記抽出順序設定手段は、取得された属性について前記抽出順序記憶手段に記憶されている固有表現パターンの順序を、前記抽出順序として定めてもよい。
この構成によれば、前記入力テキストの属性に応じて、その入力テキストから固有表現を適切に抽出できる固有表現パターンが異なる場合に、取得された属性に応じて、その属性の入力テキストから適切に固有表現を抽出可能な特有の固有表現パターンを用いることができるので、固有表現の抽出精度の向上に役立つ。
例えば、前述したように、前記入力テキストが電子番組ガイドを構成する番組情報を表す場合に、前記入力テキストの属性としてその番組情報に含まれる番組カテゴリを取得し、取得された番組カテゴリに応じて、その番組カテゴリの番組情報から適切に固有表現を抽出可能な特有の固有表現パターンを用いれば、良好な抽出結果を得ることができる。
また、前記固有表現抽出装置は、入力テキストの数を抽出条件とし、さらに、複数のテキストが格納されている情報データベースと、入力テキストとなる一つ以上のテキストを前記情報データベースから検索するテキスト検索手段とを備え、前記抽出順序記憶手段は、入力テキストの数を示す複数の値のそれぞれについて、前記固有表現パターン記憶手段に記憶されている一つ以上の固有表現パターンの順序を記憶しており、前記抽出順序設定手段は、検索されたテキストの数について前記抽出順序記憶手段に記憶されている固有表現パターンの順序を、前記抽出順序として定め、前記固有表現抽出手段は、前記定められた抽出順序に示される順序で固有表現パターンを用いて、前記検索されたテキストから固有表現を抽出してもよい。
この構成によれば、入力テキストの数に応じた長さの固有表現を抽出することが可能となる。入力テキストが多いほど、抽出される固有表現の区別を容易とするために、より長い固有表現を抽出することが望ましく、この構成によってそのような要請に応えることができる。
例えば、前述したように、前記入力テキストが電子番組ガイドを構成する番組情報を表し、そこから番組タイトルを固有表現として抽出する際に、入力テキストの数が予め定められたしきい値よりも少なければ本題のみからなる固有表現を抽出し、そのしきい値以上であれば本題と副題とからなる固有表現を抽出すれば、入力テキストが多数ある場合に、本題のみからなる多数の同一の固有表現が抽出されてしまい、ユーザはそれらを区別することができないといった不便を軽減できる。
また、前記固有表現抽出装置は、前記入力テキストの数を抽出条件とし、さらに、複数のテキストが格納されている情報データベースと、複数のテキストを前記情報データベースから取得するテキスト取得手段と、テキストを表示する表示手段と、前記テキスト取得手段で取得される複数のテキストから、前記表示手段に表示された際に類似する複数のテキストを前記入力テキストとして取得する類似テキスト取得手段とを備え、前記抽出順序記憶手段は、テキストの数を示す複数の値のそれぞれについて、前記固有表現パターン記憶手段に記憶されている一つ以上の固有表現パターンの順序を記憶しており、前記抽出順序設定手段は、前記類似テキスト取得手段によって取得されたテキストの数について前記抽出順序記憶手段に記憶されている固有表現パターンの順序を、前記抽出順序として定め、前記固有表現抽出手段は、前記定められた抽出順序に示される順序で固有表現パターンを用いて、前記類似テキスト取得手段によって取得されたテキストから固有表現を抽出してもよい。
この構成によれば、入力テキストの中でも特に類似する入力テキストの数に応じた長さの固有表現を抽出することが可能となる。類似する入力テキストが多いほど、抽出される固有表現の区別を容易とするために、より長い固有表現を抽出することが望ましく、この構成によってそのような要請に応えることができる。
また、前記固有表現抽出装置は、過去に固有表現が抽出された回数を抽出条件とし、さらに、前記抽出順序記憶手段に記憶されている固有表現パターンのそれぞれについて、その固有表現パターンを用いて過去に固有表現が抽出された回数を計数する抽出回数計数手段を備え、前記抽出順序変更手段は、前記抽出順序記憶手段に記憶されている固有表現パターンの順序を、前記計数された数に応じて変更してもよい。
この構成によれば、抽出順序を変更することによって、固有表現の抽出に寄与していない固有表現パターンをその後の抽出に用いないようにできるので、固有表現の抽出に要する計算量を減らしつつ、それまでと同様の固有表現の抽出を続けることができる。
また、前記抽出順序は、複数の固有表現パターンを、順次使用された場合に使用ごとにより長い固有表現の抽出が期待される順序で示し、前記固有表現抽出装置は、さらに、予め定められたしきい値を上回る長さの固有表現が抽出された場合、それ以降の固有表現パターンを用いて行われる抽出を打ち切る抽出打ち切り手段を備えてもよい。
この構成によれば、前記しきい値を、ユーザ、端末装置等に応じて必要限度の長さに定めておくことによって、必要以上に長い固有表現の抽出が行われないので、固有表現の抽出に要する計算量を減らしつつ、必要な固有表現を抽出することができる。
また、本発明の固有表現抽出装置は、テキストに含まれる固有表現部分の判断基準を示す一つ以上の固有表現パターンを順次用いて、一つ以上の入力テキストから固有表現を抽出する固有表現抽出装置であって、複数のテキストが格納されている情報データベースと、複数のテキストを前記情報データベースから取得するテキスト取得手段と、複数の固有表現パターンを記憶している固有表現パターン記憶手段と、前記固有表現パターン記憶手段に記憶されている一つ以上の固有表現パターンそれぞれの固有表現パターンが固有表現の抽出に使用されるべき順序を示す抽出順序番号とを対応付けて表すルールセットを複数記憶している抽出順序記憶手段と、前記テキスト取得手段で取得される複数のテキストから、前記抽出順序記憶手段で記憶されているルールセットごとに、ルールセットに含まれる各固有表現パターンによって示される判断基準を満たす一つ以上の部分を、各固有表現パターンに対応する抽出順序番号の順に、固有表現として抽出し、抽出された固有表現を固有表現セットとする固有表現抽出手段と、前記固有表現抽出手段で得られた固有表現セット毎に、その固有表現セットに含まれる固有表現のうち、一定数以上の文字が同じ固有表現の数である類似固有表現数を計数し、類似固有表現数が最も少ない固有表現セットを出力する固有表現決定手段とを備える。
この構成によれば、前記複数の固有表現セットの中で類似固有表現数が最も少ない固有表現セットが出力されるので、ユーザは、区別しにくい類似な固有表現をできるだけ含まない好ましい固有表現を得ることができる。
また、前記固有表現抽出装置は、さらに、テキストを表示する表示手段を備え、前記固有表現決定手段は、固有表現セット毎に類似固有表現数を計数する際に、固有表現から前記表示手段に表示可能な文字数分の部分固有表現を抽出し、抽出した部分固有表現同士が類似する場合に、類似する部分固有表現の数を類似固有表現数としてもよい。
この構成によれば、さらに、表示手段に表示可能な文字数を勘案して、類似な固有表現をできるだけ含まない好ましい固有表現を得ることができる。これにより、例えば、抽出された固有表現の表示に用いられる文字数が異なる表示フォーマットを使い分ける場合などに、表示フォーマットに応じてユーザにとって最も区別しやすいと考えられる好適な固有表現を提示できる。
また、本発明の固有表現抽出装置は、テキストに含まれる固有表現部分の判断基準を示す一つ以上の固有表現パターンを順次用いて、一つ以上の入力テキストから固有表現を抽出する固有表現抽出装置であって、複数の固有表現パターンを記憶している固有表現パターン記憶手段と、前記固有表現パターン記憶手段に記憶されている一つ以上の固有表現パターンそれぞれの固有表現パターンが固有表現の抽出に使用されるべき順序を示す抽出順序番号とを対応付けて表すルールセットを記憶している抽出順序記憶手段と、前記一つ以上の入力テキストから、前記抽出順序記憶手段に記憶されているルールセットに含まれる各固有表現パターンによって示される判断基準を満たす一つ以上の部分を、各固有表現パターンに対応する抽出順序番号の順に、固有表現として抽出する固有表現抽出手段と、前記抽出された固有表現、固有表現が抽出された入力テキスト、及び抽出に用いられた固有表現パターンに対応する抽出順序番号を対応付けて記憶する固有表現記憶手段と、既定の抽出順序番号を指定するか、又は共通の抽出順序番号に対応して抽出された一つ以上の固有表現をユーザ操作に応じて指定する表示条件指定手段と、前記表示条件指示手段から既定の抽出順序番号が指定された場合、前記固有表現記憶手段から前記指定された抽出順序番号に対応して記憶されている全ての固有表現を取得し、また、前記表示条件指示手段から一つ以上の固有表現が指定された場合、前記固有表現記憶手段から、前記指定された各固有表現に対応する入力テキストについて前記共通の抽出順序番号の次の抽出順序番号に対応して記憶されている固有表現を取得する固有表現取得手段と、前記固有表現取得手段で取得された固有表現から重複を削除する重複削除手段と、前記重複削除手段によって重複を削除されて残った固有表現を表示する表示手段とを備える。
この構成によれば、抽出された固有表現を、抽出順序番号毎に、例えば簡略な固有表現から複雑な固有表現へと向かう方向に表示できるので、ユーザが抽出された固有表現を段階的に確認する上で便利である。
また、本発明は、このような固有表現抽出装置として実現できるだけでなく、このような固有表現抽出装置が備える特徴的な手段によって実行される処理をステップとする固有表現抽出方法として実現することも、また、それらのステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体やインターネット等の伝送媒体を介して配信できることはいうまでもない。
(実施の形態1)
以下、本発明の実施形態1による固有表現抽出装置について図面を参照しながら説明する。図1は本発明の実施形態1による固有表現抽出装置の構成図である。この固有表現抽出装置は、抽出条件に応じて、抽出に用いられる一つ以上の固有表現パターンの使用順序を設定し、設定された順序で固有表現パターンを用いて入力テキストから固有表現を抽出する固有表現抽出装置であり、入力部101、抽出順序記憶部102、抽出順序読込部103、固有表現パターン記憶部104、固有表現抽出部105、抽出終了判定部106を含んで構成される。
ここで、抽出順序読込部103が、抽出順序設定手段の一例である。
入力部101は、キーボードやマウス、リモコン等の入力装置で構成され、ユーザが固有表現を含むテキストを入力すると、この入力されるテキストと処理する抽出順序の初期値として値1を出力する。また、入力部101は、テレビ放送番組に関する情報やハードディスクレコーダ等に蓄積されたコンテンツに関する情報、または、インターネット上に存在するコンテンツを記憶するデータベースからユーザに提示するテキストを取得し、この取得するテキストと処理する抽出順序の初期値として値1を出力するようにしてもよい。
抽出順序記憶部102は、固有表現パターン記憶部104に記憶される固有表現パターンを使用する順序である抽出順序と抽出順序に対応する固有表現パターン名とを対応付けて記憶し、さらに抽出順序の総数である抽出順序総数も記憶する。図2は、抽出順序記憶部102に記憶される抽出順序の一例を示すものであり、(抽出順序総数、(抽出順序、使用する固有表現パターン名))として、(3、(1、固有表現Aパターン)、(2、固有表現Bパターン)、(3、固有表現Cパターン)、…)が記憶される。
抽出順序読込部103は、テキストと抽出順序が入力されると、入力される抽出順序に対応した固有表現パターン名と抽出順序総数とを抽出順序記憶部102から読み込み、入力されるテキストと抽出順序と抽出順序記憶部102から読み込んだ抽出順序総数と固有表現パターン名とを出力する。
固有表現パターン記憶部104は、固有表現Aを抽出するために使用する固有表現Aパターン104A、固有表現Bを抽出するために使用する固有表現Bパターン104B、固有表現Cを抽出するために使用する固有表現Cパターン104Cを記憶する。例えば、番組名「松上電器創業記(1) −誕生−」の場合、小タイトルをメインタイトル「松上電器創業記」に相当するテキスト、中タイトルを小タイトルに回数を追加したもの「松上電器創業記(1)」に相当するテキスト、大タイトルを番組名全て「松上電器創業記(1) −誕生−」に相当するテキストとする場合、固有表現Aを小タイトル、固有表現Bを中タイトル、固有表現Cを大タイトルとすると、固有表現Aパターン104Aは小タイトルを抽出するためのルール、固有表現Bパターン104Bは中タイトルを抽出するためのルール、固有表現Cパターン104Cは大タイトルを抽出するためのルールとなる。ここでいうルールとは、抽出する文字列そのものや抽出する文字列とその前後の文字列を対応付けて記憶するものや抽出する文字列とその前後の文字列との連接確率などである。
ルールを用いて行われる抽出の具体的な一例として、テキスト「[解説]続木貴史、松下太郎」から固有表現の1つである人名として「続木貴史」を抽出する場合について説明する。そのような抽出を行う方法としては、図3に示すような人名を記憶する人名テーブルを利用して、人名テーブルに含まれる人名と完全一致する文字列を人名としてテキストから抽出する方法がある。さらには、抽出する文字列とその前後の文字列を対応付けて記憶する一例としては、図4に示すような人名が出現する前後の文字列のパターンを記憶する人名正規表現テーブルを利用して、人名正規表現テーブルに含まれるパターンと一致する文字列を人名としてテキストから抽出する方法がある。さらには、抽出する文字列とその前後の文字列との連接確率の一例としては、図5に示すような人名が出現する前後の文字列と人名との連接確率を記憶する人名確率テーブルを利用して、尤度を計算し(上記テキスト中の人名「続木貴史」の場合は、前の文字列「]」の確率値「0.9」と後ろの文字
列「、」の確率値「0.2」を足し合わせて尤度は「1.1」となる)、尤度が特定の閾値以上になった場合に人名としてテキストから抽出する方法がある。
図6に示すように、固有表現抽出部105は、人名を含むテキスト「[解説]続木貴史、松下太郎」から、図3〜図5に例示した人名抽出用のルール(人名パターン)を前述した方法に従って用いて、固有表現の一例である人名「続木貴史」を抽出する。
また、上記具体例では、文字列を対象として説明したが、形態素や単語、固有表現抽出結果である固有表現ラベルでもよく、さらには、文字列と形態素、単語、固有表現ラベルなどを組み合わせてルールを構築してもよい。また、上記具体例では、前後1文字のみを対象としてルールを構築したが、複数文字を対象にルールを構築してもよい。
なお、固有表現Aパターン104A、固有表現Bパターン104B、固有表現Cパターン104Cを以下、それぞれ固有表現パターンと総称する。
固有表現抽出部105は、抽出順序読込部103からテキストと抽出順序と抽出順序総数と固有表現パターン名が入力されると、入力される固有表現パターン名に対応する固有表現パターンを固有表現パターン記憶部104から読み込み、この読み込んだ固有表現パターンを使用して入力されるテキストから固有表現を抽出する。そして、抽出した固有表現を含むテキストと抽出順序読込部103から入力される抽出順序総数と抽出順序とを出力する。
抽出終了判定部106は、固有表現抽出部105から抽出順序総数と抽出順序とテキストが入力されると、抽出順序が抽出順序総数より小さい場合は、抽出順序の値に数値1を加算し、加算後の抽出順序と固有表現抽出部105から入力されるテキストとを抽出順序読込部103に出力する。また、抽出順序が抽出順序総数以上の場合は、固有表現抽出部105から入力されるテキストを固有表現抽出結果である結果テキストとして出力する。
このように構成された本実施形態による固有表現抽出装置の動作例について図1のブロック図、図7のフローチャート、及び図8の抽出結果の一具体例を示す図を用いて説明する。ユーザが入力部101から固有表現を含むテキストを入力する(ステップS101)。入力部101は、固有表現を含むテキストが入力されると、この入力されるテキストと処理する抽出順序の初期値として値1を抽出順序読込部103に出力する(ステップS102)。具体的な一例として、ユーザが入力部101から番組名であるテキスト「松上電器創業記(1) −誕生−」を入力すると、入力部101は、入力されるテキスト「松上電器創業記(1) −誕生−」と抽出順序の初期値として値1を抽出順序読込部103に出力する。
抽出順序読込部103は、入力部101からテキストと抽出順序が入力されると、入力される抽出順序に対応した固有表現パターン名と抽出順序総数とを抽出順序記憶部102から読み込み(ステップS103)、入力されるテキストと抽出順序と抽出順序記憶部102から読み込んだ抽出順序総数と固有表現パターン名とを出力する。上記の例では、抽出順序読込部103は、入力部101からテキスト「松上電器創業記(1) −誕生−」と抽出順序の値1が入力されると、入力される抽出順序の値1に対応した固有表現パターン名「固有表現Aパターン」と抽出順序総数の値3とを抽出順序記憶部102から読み込み、入力されるテキスト「松上電器創業記(1) −誕生−」と抽出順序の値1と抽出順序総数の値3と固有表現パターン名「固有表現Aパターン」とを固有表現抽出部105に出力する。
固有表現抽出部105は、抽出順序読込部103からテキストと抽出順序と抽出順序総数と固有表現パターン名が入力されると、入力される固有表現パターン名に対応する固有表現パターンを固有表現パターン記憶部104から読み込み(ステップS104)、この読み込んだ固有表現パターンを使用して入力されるテキストから固有表現を抽出する(ステップS105)。そして、抽出した固有表現を含むテキストと抽出順序読込部103から入力される抽出順序総数と抽出順序とを出力する。
上記の例では、固有表現抽出部105は、抽出順序読込部103からテキスト「松上電器創業記(1) −誕生−」と抽出順序の値1と抽出順序総数の値3と固有表現パターン名「固有表現Aパターン」が入力されると、入力される固有表現パターン名「固有表現Aパターン」に対応する固有表現パターン「固有表現Aパターン」を固有表現パターン記憶部104から読み込み、この読み込んだ固有表現パターン「固有表現Aパターン」を使用して入力されるテキスト「松上電器創業記(1) −誕生−」から固有表現を抽出する。
この場合、固有表現パターン「固有表現Aパターン」は小タイトルを抽出するパターンであるので、テキスト「松上電器創業記(1) −誕生−」の一部であるテキスト「松上電器創業記」が「小タイトル」の固有表現として抽出される。一例としてここでは、「<小タイトル>松上電器創業記</小タイトル>(1) −誕生−」のように、抽出される固有表現を「<固有表現の種類>」と「</固有表現の種類>」で囲む。そして、固有表現抽出部105は、抽出した固有表現を含むテキスト「<小タイトル>松上電器創業記</小タイトル>(1) −誕生−」と抽出順序総数の値3と抽出順序の値1とを抽出終了判定部106に出力する(図8の抽出結果(1回目))。
抽出終了判定部106は、固有表現抽出部105から抽出順序総数と抽出順序とテキストが入力されると、抽出順序が抽出順序総数より小さい場合は(ステップS106)、抽出順序の値に数値1を加算し(ステップS107)、加算後の抽出順序と固有表現抽出部105から入力されるテキストとを抽出順序読込部103に出力する。また、抽出順序が抽出順序総数以上の場合は(ステップS106)、固有表現抽出部105から入力されるテキストを固有表現抽出結果である結果テキストとして出力する。
上記の例では、抽出終了判定部106は、固有表現抽出部105から抽出順序総数の値3と抽出順序の値1とテキスト「<小タイトル>松上電器創業記</小タイトル>(1) −誕生−」が入力されると、抽出順序の値1が抽出順序総数の値3よりも小さいので、抽出順序の値1に数値1を加算して値を2にし、抽出順序の値2とテキスト「<小タイトル>松上電器創業記</小タイトル>(1) −誕生−」とを抽出順序読込部103に出力する。
この後、抽出順序読込部103、固有表現抽出部105では、上記と同様の処理が行われ、抽出終了判定部106は、固有表現抽出部105から抽出順序総数の値3と抽出順序の値2とテキスト「<中タイトル><小タイトル>松上電器創業記</小タイトル>(1)</中タイトル> −誕生−」が入力されるが、抽出順序の値2が抽出順序総数の値3よりも小さいので、抽出順序の値2に数値1を加算して値を3にし、抽出順序の値3とテキスト「<中タイトル><小タイトル>松上電器創業記</小タイトル>(1)</中タイトル> −誕生−」とを抽出順序読込部103に出力する(図8の抽出結果(2回目))。
さらにこの後、抽出順序読込部103、固有表現抽出部105では、上記と同様の処理が行われ、抽出終了判定部106は、固有表現抽出部105から抽出順序総数の値3と抽出順序の値3とテキスト「<大タイトル><中タイトル><小タイトル>松上電器創業記</小タイトル>(1)</中タイトル> −誕生−</大タイトル>」が入力され、抽出順序の値3が抽出順序総数の値3以上であるので、テキスト「<大タイトル><中タイトル><小タイトル>松上電器創業記</小タイトル>(1)</中タイトル> −誕生−</大タイトル>」を固有表現抽出結果である結果テキストとして出力する(図8の抽出結果(3回目))。
なお、上記の実施例では、抽出順序記憶部102は、抽出順序総数と抽出順序と抽出順序に対応付けて固有表現パターン名とをセットにして記憶するようにしたが、この抽出順序総数と抽出順序と固有表現パターン名のセットをユーザを識別するユーザ識別子と対応付けて記憶するようにし、抽出順序読込部103は、入力部101からテキストと抽出順序が入力され、さらにユーザ識別子が入力されると、入力されるユーザ識別子に対応する抽出順序総数と抽出順序と固有表現パターン名のセットを対象に入力される抽出順序に対応する固有表現パターン名と抽出順序総数とを抽出順序記憶部102から読み込み、入力されるテキストと抽出順序とユーザ識別子と抽出順序記憶部102から読み込んだ抽出順序総数と固有表現パターン名とを出力するようにしてもよい。
ここでは、入力部101がユーザ識別手段の一例である。
この場合、固有表現抽出部105と抽出終了判定部106は、上記実施例での動作以外にさらに抽出順序読込部103から出力されるユーザ識別子をそのまま出力するようにする。具体的な一例として、抽出順序記憶部102は、(ユーザ識別子、抽出順序総数、(抽出順序、固有表現パターン名))のセットとして、(01、3、(1、固有表現Aパターン)、(2、固有表現Bパターン)、(3、固有表現Cパターン)、…)、(02、2、(1、固有表現Iパターン)、(2、固有表現Jパターン)、(3、固有表現Kパターン)、…)、…、が記憶されるとする。この場合の抽出順序記憶部102の内容は図9のようになる。さらに、抽出順序読込部103は、入力部101からユーザ識別子「01」とテキスト「松上電器創業記(1) −誕生−」と抽出順序の値1が入力されると、入力されるユーザ識別子「01」に対応する(ユーザ識別子、抽出順序総数、(抽出順序、固有表現パターン名))のセットである(01、3、(1、固有表現Aパターン)、(2、固有表現Bパターン)、(3、固有表現Cパターン)、…)を対象に、入力される抽出順序の値1に対応した固有表現パターン名「固有表現Aパターン」と抽出順序総数の値3とを抽出順序記憶部102から読み込み、入力されるテキスト「松上電器創業記(1) −誕生−」と抽出順序の値1とユーザ識別子「01」と抽出順序総数の値3と固有表現パターン名「固有表現Aパターン」とを固有表現抽出部105に出力する。以降の固有表現抽出部105と抽出終了判定部106においては、上記実施例の動作以外にユーザ識別子「01」をさらに出力する。こうすることで、ユーザ毎に固有表現の抽出する順序や抽出する固有表現を変更することができ、ユーザに適応した固有表現を抽出することができる。
次に、抽出順序記憶部102の変形例について、図10を参照して説明する。
抽出順序記憶部102は、抽出順序総数と抽出順序と抽出順序に対応付けて固有表現パターン名とをセットにし、このセットを複数保持し、セット毎に抽出する固有表現の種類に対応するセットIDを付与して管理するようにし、抽出順序読込部103は、入力部101からセットIDとテキストと抽出順序が入力されると、入力されるセットIDに対応する抽出順序総数と抽出順序と固有表現パターン名のセットを対象に入力される抽出順序に対応する固有表現パターン名と抽出順序総数とを抽出順序記憶部102から読み込み、入力されるテキストと抽出順序とセットIDと抽出順序記憶部102から読み込んだ抽出順序総数と固有表現パターン名とを出力するようにしてもよい。
この場合、セットIDが抽出条件を示す情報として機能し、抽出順序読込部103は、前述した読み込み動作によって、セットIDに対応して抽出順序記憶部102に順序付けて記憶されている固有表現パターンを、抽出に用いられる一つ以上の固有表現パターンとその使用順序として設定することになる。そして、固有表現抽出部105と抽出終了判定部106は、上記実施例での動作以外にさらに抽出順序読込部103から出力されるセットIDをそのまま出力するようにする。
具体的な一例として、抽出順序記憶部102は、(セットID、抽出順序総数、(抽出順序、固有表現パターン名))のセットとして、(01、3、(1、固有表現Aパターン)、(2、固有表現Bパターン)、(3、固有表現Cパターン)、…)、(02、2、(1、固有表現Iパターン)、(2、固有表現Jパターン))、…、が記憶されるとする。この場合の抽出順序記憶部102の内容は図10のようになる。さらに、抽出順序読込部103は、入力部101から入力されるセットID「01」に対応する(セットID、抽出順序総数、(抽出順序、固有表現パターン名))のセットである(01、3、(1、固有表現Aパターン)、(2、固有表現Bパターン)、(3、固有表現Cパターン)、…)を対象に、入力される抽出順序の値1に対応した固有表現パターン名「固有表現Aパターン」と抽出順序総数の値3とを抽出順序記憶部102から読み込み、入力されるテキスト「松上電器創業記(1) −誕生−」と抽出順序の値1とセットID「01」と抽出順序総数の値3と固有表現パターン名「固有表現Aパターン」とを固有表現抽出部105に出力する。以降の固有表現抽出部105と抽出終了判定部106においては、上記の実施例の動作以外にセットID「01」をさらに出力する。
こうすることで、ユーザは、上記の実施例ではセットID「01」を指定すると入力テキストから番組名に関連するテキストを抽出でき、さらに一例として、固有表現Iパターンは人名の姓を抽出するためのルール、固有表現Jパターンは人名の名を抽出するためのルール、固有表現Kパターンは人名の姓名を抽出するためのルールとすると、ユーザは、セットID「02」を指定すると入力テキストから人名に関係するテキストを抽出することができる。つまり、ユーザは、抽出したい固有表現を指定することができる。
また、上記セットIDは抽出する固有表現の種類に対応したが、セットIDは、抽出する固有表現を表示する端末を識別する端末識別子とし、さらに、入力部101が固有表現を表示する端末の端末識別子を取得できるようにすることで、端末に応じた固有表現を抽出することができる。この場合には、入力部101が端末識別子取得手段の一例である。
こうすることで、例えば、テレビでは番組名の固有表現は有用だが、CDプレーヤでは番組名の固有表現が不用な場合など、表示端末によって有用な固有表現が異なる場合においても、表示端末毎に抽出する固有表現を設定することができるので、表示端末にとって冗長な情報を表示しなくてもよくなる。
次に、入力テキスト数を抽出条件として用いる例について、図11から図14を参照して説明する。
この場合の固有表現抽出装置は、図11に示すように、入力部101からユーザが入力するテキストを検索キーワードとして、テレビ放送番組に関する情報やハードディスクレコーダ等に蓄積されたコンテンツに関する情報、または、インターネット上に存在するコンテンツに関するテキスト情報を記憶する情報データベース306を検索し、検索されたテキストに対して固有表現抽出を行う装置として構成され、抽出順序記憶部102は、抽出順序と抽出順序に対応する固有表現パターン名とを記憶する利用パターンデータベース301と、入力部101からユーザが入力したテキストの一部を含むテキストが情報データベースに存在する場合のテキスト数と抽出順序総数とを対応付けて記憶する抽出順序データベース302とを含むようにし、また、抽出順序読込部103はさらに、テキスト検索部303と順序総数取得部304と利用パターン取得部305とを備え、テキスト検索部303は、入力部101からテキストと抽出順序の初期値が入力されると、入力テキストの一部を含むテキストを情報データベース306から取得して、検索結果テキストと抽出順序を順序総数取得部304に出力し、順序総数取得部304は、テキスト検索部303から検索結果テキストと抽出順序が入力されると、入力される検索結果テキストのテキスト数に対応する抽出順序総数を抽出順序記憶部102の抽出順序データベース302から取得して、取得する抽出順序総数と検索結果テキストと抽出順序を利用パターン取得部305に出力し、利用パターン取得部305は、順序総数取得部304から検索結果テキストと抽出順序総数と抽出順序が入力されると、入力される抽出順序に対応する固有表現パターン名を抽出順序記憶部102の利用パターンデータベース301から取得して、取得する固有表現パターン名と検索結果テキストと抽出順序総数と抽出順序とを固有表現抽出部105に出力するようにしてもよい。
この場合の抽出順序記憶部102と抽出順序読込部103のブロック図を図11にフローチャートを図12に示し、動作例について説明する。また、図13は、利用パターンデータベース301の内容の一例を示すものであり、(抽出順序、固有表現パターン名)として、((1、固有表現Aパターン)、(2、固有表現Bパターン)、(3、固有表現Cパターン)、…)が記憶される。図14は、抽出順序データベース302の内容の一例を示すものであり、(テキスト数、抽出順序総数)として((1以下、1)、(2以上5以下、2)、(6以上、3))が記憶される。
上記の実施例では、テキスト検索部303は、入力部101からテキスト「松上電器創業記」と抽出順序の初期値1が入力されると(ステップS201)、情報データベースから入力テキストを含むテキスト「松上電器創業記(1) −誕生−」と「松上電器創業記(2) −発展−」とを取得するとし(ステップS202)、この検索結果テキスト「松上電器創業記(1) −誕生−」、「松上電器創業記(2) −発展−」と抽出順序の値1を順序総数取得部304に出力する。順序総数取得部304は、テキスト検索部303から検索結果テキスト「松上電器創業記(1) −誕生−」と「松上電器創業記(2) −発展−」と抽出順序の値1が入力されると、抽出順序記憶部102の抽出順序データベース302から入力される検索結果テキストのテキスト数2に対応する抽出順序総数2を取得し(ステップS203)、この抽出順序総数2と検索結果テキストと抽出順序の値1を利用パターン取得部305に出力する。利用パターン取得部305は、順序総数取得部304から検索結果テキストと抽出順序総数と抽出順序が入力されると、抽出順序記憶部102の利用パターンデータベース301から入力される抽出順序の値1に対応する固有表現パターン名「固有表現Aパターン」を取得し(ステップS204)、この固有表現パターン名「固有表現Aパターン」と検索結果テキストと抽出順序総数2と抽出順序の値1とを固有表現抽出部105に出力する。
上記処理を抽出順序の値が抽出順序総数未満の間、繰り返した結果、結果テキストとしては、「<中タイトル><小タイトル>松上電器創業記</小タイトル>(1)</中タイトル> −誕生−」と「<中タイトル><小タイトル>松上電器創業記</小タイトル>(2)</中タイトル> −発展−」になる。
また、上記実施例では、入力部101から検索されるテキスト「松上電器創業記」を入力したが、情報データベース306に含まれる情報が電子番組表情報や音楽情報などのようにコンテンツ(番組や音楽)に対するタイトル、ジャンル、時間長、出演者などで構成される場合、入力部101からジャンルなどを入力し、テキスト検索部303は入力されるジャンルに対応するタイトルを情報データベース306から検索される検索結果テキストとしてもよい。
次に、利用パターンデータベースが複数存在する場合について、図15から図18を参照して説明する。この場合は、利用パターンデータベースと抽出順序データベースとを対応づけるため、抽出する固有表現の種類に対応する共通のIDで管理すればよい。図15、図16には、共通のIDであるセットIDで対応付けられる利用パターンデータベースと抽出順序データベースとをそれぞれ示す。この場合、入力テキスト数と共にセットIDが抽出条件として用いられ、入力部101からさらにセットIDも入力されるとし、抽出順序読込部103は入力部101から入力されるセットIDに対応する利用パターンデータベースと抽出順序データベースを参照して抽出順序総数と固有表現パターン名を取得するようにする。前述したように、このような取得動作によって、抽出順序読込部103は、セットIDに対応して抽出順序記憶部102に順序付けて記憶されている固有表現パターンを、抽出に用いられる一つ以上の固有表現パターンとその使用順序として設定することになる。
また、上記実施例では、セットIDが入力部101から入力されるとしたが、抽出順序データベース302にセットIDもテキスト数と対応付けられて記憶されるものとし、抽出順序読込部103は、検索結果テキスト数に対応する抽出順序総数とセットIDを抽出順序データベース302から取得し、さらに、セットIDに対応する利用パターンデータベースを参照して固有表現パターン名を取得するようにしてもよい。
このような取得動作によって、抽出順序読込部103は、検索結果テキスト数に対応して抽出順序記憶部102に順序付けて記憶されている固有表現パターンを、抽出に用いられる一つ以上の固有表現パターンとその使用順序として設定することになる。この場合の抽出順序データベース302の一例を図25に示す。
さらに、抽出順序読込部103では、テキスト検索部303で検索される検索結果テキスト数に基づき抽出に用いられる固有表現パターンと使用順序を設定したが、本実施例がさらに表示部を含む場合、テキスト検索部303は、検索される検索結果テキストから表示部で表示できる文字数分のテキストを抽出し、抽出される複数のテキストが類似する検索結果テキストを類似テキスト群として順序総数取得部304に出力することで、表示した際に類似するテキストの数に基づき抽出に用いられる固有表現パターンや使用順序を設定するようにしてもよい。
図26は、そのような変形に係る固有表現抽出装置の構成図である。この固有表現抽出装置は、図11に示される固有表現抽出装置と比べて、類似テキスト取得部308と、表示部309とが追加される。
ここで、具体的な一例として、テキスト検索部303には、入力部101からジャンル「ドキュメンタリー」が入力され、情報データベース306からテキスト「ドキュメンタリー −松上電器の歴史−」、「人間ドキュメント 松下の足跡(1)」、「人間ドキュメント 松下の足跡(2)」を検索するとし、さらに表示部309で一つの固有表現あたり表示できる文字数を8文字とする場合を考える。
その場合、類似テキスト取得部308は、検索されるテキストから先頭8文字のテキスト「ドキュメンタリー」、「人間ドキュメント」、「人間ドキュメント」を抽出して類似判定を行い、同じテキストであると判定される「人間ドキュメント」に対応するテキスト「人間ドキュメント 松下の足跡(1)」、「人間ドキュメント 松下の足跡(2)」を類似テキスト群として順序総数取得部304に出力し、類似しないと判定されるテキスト「ドキュメンタリー」に対応するテキスト「ドキュメンタリー −松上電器の歴史−」は結果テキストとして表示部309へ出力する。
その後、順序総数取得部304は、図25の抽出順序データベース302を参照して抽出順序総数2とセットIDの値02を取得し、利用パターン取得部305は、図15の利用パターンデータベース301を参照することで、抽出順序が1の場合は固有表現Iパターン、抽出順序が2の場合は固有表現Jパターンを取得する。ここで、例えば、固有表現Iパターンを用いると、番組名のテキストから副題に当たる部分が小タイトルとして抽出され、固有表現Jパターンを用いると、番組名のテキストから副題と副題に連続している回数をまとめた部分が中タイトルとして抽出されるものとする。その結果、最終的にテキスト「人間ドキュメント 松下太郎の足跡(1)」、「人間ドキュメント 松下太郎の足跡(2)」から結果テキストとして「松下の足跡(1)」、「松下の足跡(2)」がそれぞれ抽出される。
また、類似テキスト取得部308は類似テキストを判定する際に、同一テキストを類似テキストとするように説明したが、表示文字数の特定の割合の文字数以上同じ文字列であれば、類似テキストと判定するようにしてもよい。例えば、表示文字数が10文字で特定の割合が8割であるとすると、8文字以上の文字列が同じであれば類似テキストであると判定することになる。
こうすることで、類似テキスト取得部308で類似テキスト群以外であると判断された検索結果テキストはそのまま表示部309に表示され、類似テキスト群に関しては、ユーザにとってテキストを識別するために必要となる最少の固有表現を表示部309に表示できるので、表示部に検索結果テキストを表示する際、表示部に表示できる文字数も考慮してユーザにとってテキストを識別するために必要となる最少の固有表現を抽出することができる。
よって、検索結果のテキストに同一の文字列が含まれる場合、ユーザにとってテキストを識別するために必要となる最少の固有表現を抽出することができるので、ユーザにとって冗長な文字列を抽出しないことが可能になる。
また、本発明は固有表現パターンを学習する際に用いたテキストと異なる書式のテキストに対して処理を行うと、固有表現の抽出性能が低下するため、上記セットIDの代わりに書式名やテキストの種類を表すテキスト属性、一例としてテキストがIT関連のテキストである場合の属性は「IT文書」、テキストがテレビ番組情報のテキストである場合の属性は「テレビ番組情報」や「ドラマに関するテキスト」、「番組名」などで管理するようにしても良く、この場合、抽出順序読込部103はユーザが入力するテキスト属性だけでなく、テキストにテキスト属性が付与されている場合は、入力部101がそのテキストに付与されているテキスト属性を取得する属性取得部として機能し、入力部101によって取得されたテキスト属性に対応する固有表現パターン名と抽出順序総数とを抽出順序記憶部102から読み込むようにしてもよい。この場合の入力部101が属性取得手段の一例であり、抽出順序記憶部102の内容は図17のようになる。
このテキスト属性は、「IT文書」、「テレビ番組情報」といった分類を示すだけでなく、「ドラマ」「報道番組」「バライティー」といったテレビ番組のカテゴリを示すものであってもよい。テレビ番組のカテゴリは、電子番組ガイドを構成する番組情報に含まれているので、入力部101は、電子番組ガイドを構成する番組情報からそのカテゴリを取得することができる。
また、テキストにテキスト属性が付与されていない場合でも、テキストに含まれる単語を用いて生成した単語ベクトルとテキスト属性を表現する単語ベクトルとの距離を算出することによりテキスト属性を推定し、そのテキスト属性に対応する固有表現パターン名と抽出順序総数とを抽出順序記憶部102から読み込むようにしてもよい。こうすることで、固有表現抽出の抽出性能を向上させることができ、さらに固有表現抽出の対象テキストにテキスト属性が付与される場合は、ユーザがテキスト属性を指定する必要がなくなる。
また、上記セットIDの変わりに固有表現抽出されたテキストである結果テキストを表示する端末名や端末を識別することができる端末識別子を利用するようにしても良い。この場合の抽出順序記憶部102の内容は図18のようになる。こうすることで、結果テキストを表示する端末毎に抽出する固有表現を設定できる。
次に、過去に固有表現が抽出された回数を抽出条件として用いる例について、図19から図24を参照して説明する。
この場合の固有表現抽出装置は、図19に示すように、抽出終了判定部106に含まれる抽出順序変更部204が抽出条件に応じて抽出順序を変更するように構成され、抽出順序読込部103は抽出終了判定部106から入力される抽出順序に対応する固有表現パターン名が読み込めない場合は、さらに抽出終了フラグとして値1を出力し、固有表現パターン名が読み込める場合は、抽出終了フラグとして値0を出力し、固有表現抽出部105は、入力される抽出終了フラグが値1の場合で、固有表現パターン記憶部104から読み込む固有表現パターンに対応した固有表現が抽出される場合は、さらに抽出フラグとして値1と抽出終了フラグの値1を出力し、固有表現が抽出されない場合は、抽出フラグとして値0と抽出終了フラグの値1を出力するようにし、入力される抽出終了フラグが値0の場合は、何も処理をせずに抽出フラグとして値0と抽出終了フラグの値0を出力するようにし、さらに、抽出終了判定部106は、判定部201と抽出回数記憶部202と抽出回数更新部203と抽出順序変更部204とを備え、判定部201は固有表現抽出部105から抽出終了フラグと抽出順序総数と抽出順序とテキストが入力されると、抽出終了フラグが値0の場合は、抽出順序の値に数値1を加算し、加算後の抽出順序と固有表現抽出部105から入力されるテキストとを抽出順序読込部103に出力し、さらにこの際に、抽出順序が抽出順序総数と等しい場合は、固有表現抽出部105から入力されるテキストを固有表現抽出結果である結果テキストとして出力し、抽出終了フラグが値1の場合は、抽出終了フラグの値1を抽出順序変更部204に出力する。また、抽出回数記憶部202は固有表現が抽出される順序である抽出順序とこの抽出順序で固有表現が抽出される回数である抽出回数とを記憶するものであり、抽出回数更新部203は、固有表現抽出部105から抽出フラグと抽出順序総数と抽出順序が入力されると、入力される抽出フラグが値1の場合、入力される抽出順序に対応する抽出回数記憶部202に記憶される抽出回数を更新するものであり、抽出順序変更部204は、判定部201から抽出終了フラグの値1が入力される場合、抽出回数記憶部202の抽出回数の合計数が一定の値以上である場合、抽出回数記憶部202に記憶される抽出順序に対応する抽出回数に基づいて抽出順序記憶部102の抽出順序を変更するようにしてもよい。
ここで、抽出回数更新部203及び抽出回数記憶部202が、個々の固有表現パターンを用いて過去に固有表現が抽出された回数を計数する抽出回数計数手段の一例である。
ここで、図19に示す抽出終了判定部106の構成図、及び図20に示すフローチャートを参照して、動作例について説明する。上記の実施例では、判定部201は、固有表現抽出部105から抽出順序総数の値3と抽出順序の値1とテキスト「<小タイトル>松上電器創業記</小タイトル>(1) −誕生−」と抽出終了フラグの値0が入力されると(ステップS301)、抽出終了フラグが値0なので(ステップS309)、抽出順序の値1に数値1を加算して値を2にし(ステップS303)、抽出順序の値2とテキスト「<小タイトル>松上電器創業記</小タイトル>(1) −誕生−」とを抽出順序読込部103に出力する(ステップS304)。
さらに、判定部201は、固有表現抽出部105から抽出順序総数の値3と抽出順序の値3とテキスト「<大タイトル><中タイトル><小タイトル>松上電器創業記</小タイトル>(1)</中タイトル> −誕生−</大タイトル>」と抽出終了フラグの値0が入力されると、抽出順序の値3が抽出順序総数の値3と等しいので(ステップS302)、入力テキスト「<大タイトル><中タイトル><小タイトル>松上電器創業記</小タイトル>(1)</中タイトル> −誕生−</大タイトル>」を固有表現抽出結果である結果テキストとして出力し(ステップS310)、抽出終了フラグが値0なので(ステップS309)、抽出順序の値3に数値1を加算して値を4にし(ステップS303)、抽出順序の値4とテキスト「<大タイトル><中タイトル><小タイトル>松上電器創業記</小タイトル>(1)</中タイトル> −誕生−</大タイトル>」とを抽出順序読込部103に出力する(ステップS304)。
また、抽出順序読込部103が抽出終了判定部106から入力される抽出順序の値5の時に、抽出順序の値5に対応する固有表現パターン名が読み込めないとすると、抽出順序読込部103は、抽出終了フラグの値1と抽出順序総数の値3と抽出順序の値5とテキスト「<大タイトル><中タイトル><小タイトル>松上電器創業記</小タイトル>(1)</中タイトル> −誕生−</大タイトル>」を固有表現抽出部105に出力する。この後、判定部201は、固有表現抽出部105から抽出順序総数の値3と抽出順序の値5とテキスト「<大タイトル><中タイトル><小タイトル>松上電器創業記</小タイトル>(1)</中タイトル> −誕生−</大タイトル>」と抽出終了フラグの値1が入力されると(ステップS301)、抽出終了フラグが値1なので(ステップS309)、抽出終了フラグの値1を抽出順序変更部204に出力する(ステップS311)。また、抽出回数記憶部202は固有表現が抽出される順序である抽出順序とこの抽出順序で固有表現が抽出される回数である抽出回数とを記憶する。
図21は、抽出回数記憶部202に記憶される抽出順序と抽出順序に対応する抽出回数の一例を示すものであり、(抽出順序、抽出回数)として((1、9)、(2、6)、(3、3)、(4、1))が記憶される。つまり、小タイトルを9回、中タイトルを6回、大タイトルを3回、全タイトルを1回抽出したことを意味するとする。上記の実施例では、抽出回数更新部203は、固有表現抽出部105からテキストと抽出フラグの値1と抽出順序総数の値3と抽出順序の値1と抽出終了フラグの値0が入力されると(ステップS301)、入力される抽出フラグが値1なので(ステップS305)、抽出順序の値1に対応する抽出回数記憶部202に記憶される抽出回数の値9に1を加算し、値を10にする(ステップS306)。この後の処理で同様に、中タイトル、大タイトルに対しても固有表現が抽出されるので、抽出順序の値2、3に対応する抽出回数記憶部202に記憶されるそれぞれの抽出回数の値6と値3を値7と値4に更新する。
図22は、抽出回数更新部203により更新された後の抽出回数記憶部202の内容を示すものである。抽出順序変更部204は、判定部201から抽出終了フラグの値1が入力されると、抽出回数記憶部202の抽出回数の合計数が特定の値(一例として、値20)以上になるので(ステップS307)、抽出回数記憶部202に記憶される抽出順序に対応する抽出回数が、特定の値(一例として値5)以上に対応している抽出順序の値2を抽出順序記憶部102の抽出順序総数とする(ステップS308)。
図23は、抽出順序変更部204により変更された後の抽出順序記憶部102の内容を示すものである。こうすることで、ユーザの入力テキストから固有表現を抽出した履歴を用いて抽出順序総数を変更し、変更された抽出順序総数を用いて情報データベースから検索される検索結果テキストに対して固有表現を抽出することができ、この結果、検索結果テキストから抽出される固有表現をユーザの入力頻度の高い固有表現と同じ形式に合わせることができるので、ユーザにとって冗長な固有表現を抽出しない、または、ユーザにとってテキストの識別に必要な固有表現のみを抽出することが自動で可能になる。また、上記実施例のように抽出順序記憶部102において、抽出順序総数と抽出順序と抽出順序に対応付けて固有表現パターン名とをセットにし、このセットを複数保持し、セット毎にユーザ識別子やセットIDなどを付与して管理する場合は、抽出回数記憶部202もユーザ識別子やセットID毎に抽出順序と抽出回数をセットで管理することにより、対応可能である。
図24は、ユーザ識別子毎に抽出順序と抽出回数をセットで管理する場合の抽出順序記憶部102の内容を示すものである。
また、抽出終了判定部106は、固有表現抽出処理の続行を抽出順序総数と抽出順序により判定したが、抽出される固有表現の文字数で判定するようにしてもよい。具体的な一例として、固有表現抽出部105は、上記実施例での動作以外にさらに抽出する固有表現の文字数も抽出終了判定部106に出力するようにし、抽出終了判定部106は、固有表現抽出部105から抽出順序と抽出される固有表現の文字数とテキストが入力されると、固有表現の文字数が特定の文字数よりも小さい場合は、抽出順序の値に数値1を加算し、加算後の抽出順序と固有表現抽出部105から入力されるテキストとを抽出順序読込部103に出力するようにし、また、固有表現の文字数が特定の文字数以上の場合は、固有表現抽出部105から入力されるテキストを固有表現抽出結果である結果テキストとして出力する。
ここで、抽出終了判定部106が、予め定められたしきい値を上回る長さの固有表現が抽出された場合、それ以降の固有表現パターンを用いて行われる抽出を打ち切る抽出打ち切り手段の一例である。
上記の実施例では、抽出終了判定部106は、固有表現抽出部105から抽出順序の値1と固有表現が抽出されたテキスト「<小タイトル>松上電器創業記</小タイトル>(1) −誕生−」と抽出される固有表現「松上電器創業記」の文字数7が入力されると、固有表現の文字数7が特定の文字数(ここでは、一例として文字数を8にする)よりも小さいので、抽出順序の値を2にし、抽出順序の値2とテキスト「<小タイトル>松上電器創業記</小タイトル>(1) −誕生−」とを抽出順序読込部103に出力する。この後さらに、抽出終了判定部106は、固有表現抽出部105から抽出順序の値2と固有表現が抽出されたテキスト「<中タイトル><小タイトル>松上電器創業記</小タイトル>(1)</中タイトル> −誕生−」と抽出される固有表現「松上電器創業記(1)」の文字数9が入力されると、固有表現の文字数9が特定の文字数8以上なので、テキスト「<中タイトル><小タイトル>松上電器創業記</小タイトル>(1)</中タイトル> −誕生−」を結果テキストとして出力する。こうすることで、表示部に表示可能な文字数の上限が決まっている場合などでは、表示可能な文字数を抽出終了判定部106の閾値文字数とすることにより、表示できない固有表現を抽出しなくてもよくなり、固有表現抽出の処理量を減少させることができる。
また、上記実施例の固有表現抽出装置は、抽出順序記憶部102に記憶される抽出順序総数や抽出順序、固有表現パターン名をユーザが変更することができる変更部をさらに含むようにしてもよい。こうすることで、ユーザは抽出される固有表現を変更することができる。
以上のように、本実施形態によれば、固有表現を抽出する順序を設定することにより、ユーザやアプリケーション、端末にとって必要な固有表現のみを抽出することができる。また、固有表現抽出装置から抽出される固有表現を音声認識の対象語彙とする音声認識装置においては、音声認識の対象とする固有表現を減少させることができるので、音声認識の認識性能を向上させることができる。また、固有表現抽出装置から抽出される固有表現を検索対象のキーワードとして検索対象データと共に検索対象データベースに格納する検索装置においては、検索対象のキーワードを減少させることができるので、検索の精度を向上させることができる。
(実施の形態2)
次に、本発明に係る実施の形態2の固有表現抽出装置について、図面を参照しながら説明する。
図27は、本発明の実施の形態2の固有表現抽出装置の構成を示す構成図である。ここで、実施の形態1と同一符号の構成要素は同じ動作を行うものとし、それらの詳細な説明は省略する。本実施の形態の固有表現抽出装置は、検索結果のテキストに同一の文字列が含まれる場合、ユーザにとってテキストを識別するために必要な最少の固有表現を抽出するための装置であり、図27に示すように入力部101、抽出順序記憶部102、固有表現パターン記憶部104、固有表現抽出部105、テキスト検索部303、利用パターン取得部305、情報データベース306、利用パターンデータベース401、抽出順序データベース402、順序総数取得部403、抽出終了判定部404、固有表現決定部405を含んで構成される。
利用パターンデータベース401と抽出順序データベース402は、共通のIDであるセットIDで対応付けられ、利用パターンデータベース401は、セットID毎に抽出順序と抽出順序に対応する固有表現パターン名とを記憶するものであり、抽出順序データベース402は、セットID毎に抽出順序総数が記憶されるものである。図15は、利用パターンデータベース401の一例であり、図28は、抽出順序データベース402の内容の一例である。
順序総数取得部403は、テキスト検索部303から検索結果テキストと抽出順序が入力される場合、抽出順序データベース402から最も若いセットIDとそのセットIDに対応する抽出順序総数とセットIDの最大値を取得して、検索結果テキストと抽出順序とセットIDと抽出順序総数とセットIDの最大値を利用パターン取得部305へ出力する。
そして、抽出終了判定部404から抽出順序とセットIDと抽出順序総数とセットIDの最大値が入力される場合、抽出順序を1にセットし直し、入力されるセットIDに1を加算して、加算後のセットIDに対応する抽出順序総数を抽出順序データベースから取得し、検索結果テキストと抽出順序とセットIDと抽出順序総数とセットIDの最大値を利用パターン取得部305に出力する。
抽出終了判定部404は、固有表現抽出部105からテキストと抽出順序とセットIDと抽出順序総数とセットIDの最大値が入力されると、抽出順序に1を加算し、加算後の抽出順序が抽出順序総数より大きい場合においては、固有表現決定部405にセットIDとセットIDの最大値とテキストを出力し、セットIDがセットIDの最大値未満の場合、順序総数取得部403に抽出順序と抽出順序総数とセットIDとセットIDの最大値を出力し、また、加算後の抽出順序が抽出順序総数以下の場合においては、テキストと抽出順序とセットIDと抽出順序総数とセットIDの最大値を利用パターン取得部305に出力する。
固有表現決定部405は、抽出終了判定部404からセットIDとセットIDの最大値とテキストが入力されると、セットIDに対応付けて同時に入力される複数テキストから抽出される固有表現を記憶し、さらに、セットIDがセットIDの最大値と等しい場合、セットID毎に対応付けて記憶される固有表現に対して、類似する固有表現数を算出し、算出される類似固有表現数が最も少ないセットIDに対応する固有表現を結果テキストとして出力する。
このように構成された本実施の形態による固有表現抽出装置において固有表現を抽出する際の動作例について説明する。図29は固有表現を抽出する際の動作例の流れを示すフローチャートである。
情報データベース306に含まれる情報を電子番組情報とし、テキスト検索部303は、入力部101からジャンル「ドキュメンタリー」と抽出順序の初期値1が入力されると(ステップS401)、情報データベース306からジャンル「ドキュメンタリー」に対応する番組名のテキスト「ドキュメンタリー(1) −松上電器の誕生−」、「ドキュメンタリー(2) −松上電器の発展−」、「人間ドキュメント 松下太郎の足跡(1)」、「人間ドキュメント 松下太郎の足跡(2)」を取得し(ステップS402)、この検索結果テキスト「ドキュメンタリー(1) −松上電器の誕生−」、「ドキュメンタリー(2) −松上電器の発展−」、「人間ドキュメント 松下太郎の足跡(1)」、「人間ドキュメント 松下太郎の足跡(2)」と抽出順序1を順序総数取得部403に出力する。
順序総数取得部403は、テキスト検索部303から検索結果テキスト「ドキュメンタリー(1) −松上電器の誕生−」、「ドキュメンタリー(2) −松上電器の発展−」、「人間ドキュメント 松下太郎の足跡(1)」、「人間ドキュメント 松下太郎の足跡(2)」と抽出順序の値1が入力されると、図28に示される抽出順序データベース402から最も若いセットIDの値1とそのセットIDに対応する抽出順序総数の値2とセットIDの最大値2を取得して(ステップS403)、テキスト「ドキュメンタリー(1) −松上電器の誕生−」、「ドキュメンタリー(2) −松上電器の発展−」、「人間ドキュメント 松下太郎の足跡(1)」、「人間ドキュメント 松下太郎の足跡(2)」と抽出順序1とセットIDの値1と抽出順序総数2とセットIDの最大値2を利用パターン取得部305へ出力する。
利用パターン取得部305は、実施の形態1と同様に、順序総数取得部403からテキストと抽出順序総数と抽出順序とセットIDとセットIDの最大値が入力されると、図15の利用パターンデータベース401から入力されるセットIDの値1と抽出順序の値1に対応する固有表現パターン名「固有表現Aパターン」を取得し(ステップS404)、この固有表現パターン名「固有表現Aパターン」と入力テキストと抽出順序総数と抽出順序とセットIDとセットIDの最大値とテキスト「ドキュメンタリー(1) −松上電器の誕生−」、「ドキュメンタリー(2) −松上電器の発展−」、「人間ドキュメント 松下太郎の足跡(1)」、「人間ドキュメント 松下太郎の足跡(2)」を固有表現抽出部105に出力する。
固有表現抽出部105は、実施形態1と同様に、入力される固有表現パターン「固有表現Aパターン」を用いて、テキスト「ドキュメンタリー(1) −松上電器の誕生−」、「ドキュメンタリー(2) −松上電器の発展−」、「人間ドキュメント 松下太郎の足跡(1)」、「人間ドキュメント 松下太郎の足跡(2)」から、小タイトルの固有表現であるテキスト「ドキュメンタリー」、「ドキュメンタリー」、「人間ドキュメント」、「人間ドキュメント」を抽出し(ステップS406)し、固有表現が抽出されたテキスト「<小タイトル>ドキュメンタリー</小タイトル>(1) −松上電器の誕生−」、「<小タイトル>ドキュメンタリー</小タイトル>(2) −松上電器の発展−」、「<小タイトル>人間ドキュメント</小タイトル> 松下太郎の足跡(1)」、「<小タイトル>人間ドキュメント</小タイトル> 松下太郎の足跡(2)」と抽出順序総数と抽出順序とセットIDとセットIDの最大値を抽出終了判定部404に出力する。
抽出終了判定部404は、入力される抽出順序の値に1を加算して値を2とし(ステップS407)、加算後の抽出順序の値2が抽出順序総数2以下であるので(ステップS408)、入力されるテキスト「<小タイトル>ドキュメンタリー</小タイトル>(1) −松上電器の誕生−」、「<小タイトル>ドキュメンタリー</小タイトル>(2) −松上電器の発展−」、「<小タイトル>人間ドキュメント</小タイトル> 松下太郎の足跡(1)」、「<小タイトル>人間ドキュメント</小タイトル> 松下太郎の足跡(2)」と抽出順序総数2と抽出順序2とセットIDの値1とセットIDの最大値2を利用パターン取得部305に出力する。
その後、上記と同様に、利用パターン取得部305では、固有表現パターン名「固有表現Bパターン」を取得し、固有表現抽出部105において固有表現パターン「固有表現Bパターン」を用いてテキストから固有表現を抽出した結果、固有表現抽出部105は、テキスト「<中タイトル><小タイトル>ドキュメンタリー</小タイトル>(1)</中タイトル> −松上電器の誕生−」、「<中タイトル><小タイトル>ドキュメンタリー</小タイトル>(2)</中タイトル> −松上電器の発展−」、「<小タイトル>人間ドキュメント</小タイトル> 松下太郎の足跡(1)」、「<小タイトル>人間ドキュメント</小タイトル> 松下太郎の足跡(2)」と抽出順序総数2と抽出順序の値2とセットIDの値1とセットIDの最大値2を抽出終了判定部404に出力する。
抽出終了判定部404は、入力される抽出順序の値に1を加算して値を3とし(ステップS407)、加算後の抽出順序の値3が抽出順序総数2より大きいので(ステップS408)、固有表現決定部405にセットIDの値1とセットIDの最大値2とテキスト「<中タイトル><小タイトル>ドキュメンタリー</小タイトル>(1)</中タイトル> −松上電器の誕生−」、「<中タイトル><小タイトル>ドキュメンタリー</小タイトル>(2)</中タイトル> −松上電器の発展−」、「<小タイトル>人間ドキュメント</小タイトル> 松下太郎の足跡(1)」、「<小タイトル>人間ドキュメント</小タイトル> 松下太郎の足跡(2)」を出力し(ステップS409)、セットIDの値1がセットIDの最大値2未満であるので(ステップS410)、順序総数取得部403に抽出順序の値3と抽出順序総数2とセットIDの値1とセットIDの最大値2を出力する。
順序総数取得部403は、抽出終了判定部404から抽出順序の値3とセットIDの値1と抽出順序総数2とセットIDの最大値2が入力される場合、抽出順序の値を1にセットし直し、入力されるセットIDの値に1を加算して値を2にし、加算後のセットIDの値2に対応する抽出順序総数2を抽出順序データベース402から取得し、検索結果テキスト「ドキュメンタリー(1) −松上電器の誕生−」、「ドキュメンタリー(2) −松上電器の発展−」、「人間ドキュメント 松下太郎の足跡(1)」、「人間ドキュメント 松下太郎の足跡(2)」と抽出順序の値1とセットIDの値2と抽出順序総数2とセットIDの最大値2を利用パターン取得部305に出力する。
その後、上記と同様に、利用パターン取得部305では、固有表現パターン名「固有表現Iパターン」を取得し、固有表現抽出部105において固有表現パターン「固有表現Iパターン」を用いてテキストから固有表現を抽出した結果(一例として、固有表現Iパターンを用いると、番組名のテキストからは副題に当たる部分が小タイトルとして抽出されるとする)、固有表現抽出部105は、テキスト「ドキュメンタリー(1) −<小タイトル>松上電器の誕生</小タイトル>−」、「ドキュメンタリー(2) −<小タイトル>松上電器の発展</小タイトル>−」、「人間ドキュメント <小タイトル>松下太郎の足跡</小タイトル>(1)」、「人間ドキュメント <小タイトル>松下太郎の足跡</小タイトル>(2)」と抽出順序総数2と抽出順序の値1とセットIDの値2とセットIDの最大値2を抽出終了判定部404に出力し、抽出終了判定部404は、抽出順序の値を2にして、抽出順序の値2と抽出順序総数2とセットIDの値2とセットIDの最大値2を利用パターン取得部305に出力する。
その後もまた同様に、利用パターン取得部305は、固有表現パターン名「固有表現Jパターン」を取得し、固有表現抽出部105において固有表現パターン「固有表現Jパターン」を用いてテキストから固有表現を抽出した結果(一例として、固有表現Jパターンを用いると、番組名のテキストから副題と副題に連続している回数をまとめて中タイトルとして抽出するとする)、固有表現抽出部105は、テキスト「ドキュメンタリー(1) −<小タイトル>松上電器の誕生</小タイトル>−」、「ドキュメンタリー(2) −<小タイトル>松上電器の発展</小タイトル>−」、「人間ドキュメント <中タイトル><小タイトル>松下太郎の足跡</小タイトル>(1)</中タイトル>」、「人間ドキュメント <中タイトル><小タイトル>松下太郎の足跡</小タイトル>(2)</中タイトル>」と抽出順序総数2と抽出順序の値2とセットIDの値2とセットIDの最大値2を抽出終了判定部404に出力する。
抽出終了判定部404は、上記と同じ動作を行った結果、抽出順序の値3が抽出順序総数より大きいので(ステップS408)、固有表現決定部405にセットIDの値2とセットIDの最大値2とテキスト「ドキュメンタリー(1) −<小タイトル>松上電器の誕生</小タイトル>−」、「ドキュメンタリー(2) −<小タイトル>松上電器の発展</小タイトル>−」、「人間ドキュメント <小タイトル>松下太郎の足跡</小タイトル>(1)」、「人間ドキュメント <小タイトル>松下太郎の足跡</小タイトル>(2)」とを固有表現決定部405に出力する。
固有表現決定部405は、抽出終了判定部404からセットIDの値1とセットIDの最大値2とテキスト「<中タイトル><小タイトル>ドキュメンタリー</小タイトル>(1)</中タイトル> −松上電器の誕生−」、「<中タイトル><小タイトル>ドキュメンタリー</小タイトル>(2)</中タイトル> −松上電器の発展−」、「<小タイトル>人間ドキュメント</小タイトル> 松下太郎の足跡(1)」、「<小タイトル>人間ドキュメント</小タイトル> 松下太郎の足跡(2)」が入力されると、セットIDの値1に対応付けて同時に入力される複数テキストから抽出される固有表現「ドキュメンタリー(1)」、「ドキュメンタリー(2)」、「人間ドキュメント」、「人間ドキュメント」を記憶する。
さらに、抽出終了判定部404からセットIDの値2とセットIDの最大値2とテキスト「ドキュメンタリー(1) −<小タイトル>松上電器の誕生</小タイトル>−」、「ドキュメンタリー(2) −<小タイトル>松上電器の発展</小タイトル>−」、「人間ドキュメント <中タイトル><小タイトル>松下太郎の足跡</小タイトル>(1)</中タイトル>」、「人間ドキュメント <中タイトル><小タイトル>松下太郎の足跡</小タイトル>(2)</中タイトル>」が入力されると、セットIDの値2に対応付けて同時に入力される複数テキストから抽出される固有表現「松下電器の誕生」、「松下電器の発展」、「松下太郎の足跡(1)」、「松下太郎の足跡(2)」を記憶する。
この時さらに、固有表現決定部405は、セットIDの値2がセットIDの最大値2と等しいので(ステップS410)、セットIDの値1に対しては、固有表現「人間ドキュメント」、「人間ドキュメント」が同じなので類似固有表現数を2とし(ここでは、同じテキストのみを類似テキストとしたが、一定の文字数以上同じテキストを類似テキストしても良い)、セットIDの値2に対しては、全て固有表現が異なるので、類似固有表現数を0とする。
そして、類似固有表現数が最も少ないセットIDの値2に対応する固有表現「松下電器の誕生」、「松下電器の発展」、「松下太郎の足跡(1)」、「松下太郎の足跡(2)」を結果テキストとして出力する。
また、上記実施例では、固有表現決定部405は、抽出される固有表現をそのまま用いて類似固有表現数を算出したが、テキストが一般に有限の大きさの表示部に表示されることを考慮し、その表示部に一つの固有表現あたり表示できる表示文字数が分かっている場合、固有表現の先頭から表示文字数分のテキストのみを抽出し、抽出されるテキストに対して類似固有表現数を求めるようにしてもよい。
具体的な一例として、固有表現決定部405に、(セットID、固有表現群)として、(1、(松下電器産業の誕生、松下電器産業の発展、松下電器産業の株価推移、松下電器産業の新製品紹介))、(2、(松下ドキュメンタリー、松下ドキュメンタリー、経済ニュース、流行の商品紹介))が入力される場合を考える。
この例は、番組情報に含まれる番組名から抽出された固有表現の一例を示している。これらの固有表現は、一つの固有表現あたりに用いる文字数が異なる詳細な表示フォーマットと一覧性を高めた表示フォーマットとを使い分けて、同じ表示部に表示されることを想定している。
詳細な表示フォーマットにおいて一つの固有表現あたりに用いられる文字数を、例えば12文字とすると、固有表現決定部405は、各固有表現の先頭から最大で12文字分のテキスト(1、(松下電器産業の誕生、松下電器産業の発展、松下電器産業の株価推移、松下電器産業の新製品紹介))、(2、(松下ドキュメンタリー、松下ドキュメンタリー、経済ニュース、流行の商品紹介))を抽出する。この場合には、各固有表現の全ての文字が抽出される。そして、セットIDの値1、2に対して類似固有表現数をそれぞれ、0、2と求め、類似固有表現数が最も少ないセットIDの値1に対応する固有表現「松下電器産業の誕生」、「松下電器産業の発展」、「松下電器産業の株価推移」、「松下電器産業の新製品紹介」を結果テキストとして表示部へ出力する。
図30(A)は、詳細な表示フォーマットの一例であり、この例では、1画面に3チャンネル分の番組情報が、番組名から抽出された最大12文字の固有情報を用いて表示される。このフォーマットは、より詳細に番組情報をウォッチしたいユーザに適する。
また、一覧性を高めた表示フォーマットにおいて一つの固有表現あたり用いられる文字数を、例えば6文字とすると、固有表現決定部405は、各固有表現の先頭から最大で6文字分のテキスト(1、(松下電器産業、松下電器産業、松下電器産業、松下電器産業))、(2、(松下ドキュメ、松下ドキュメ、経済ニュース、流行の商品紹))を抽出する。そして、セットIDの値1、2に対して類似固有表現数をそれぞれ、4、2と求め、類似固有表現数が最も少ないセットIDの値2に対応する固有表現「松下ドキュメ」、「松下ドキュメ」、「経済ニュース」、「流行の商品紹」を結果テキストとして出力する。
図30(B)は、一覧性を高めた表示フォーマットの一例であり、この例では、1画面に6チャンネル分の番組情報が、番組名から抽出された最大6文字の固有情報を用いて表示される。このフォーマットは、より広く番組情報を見渡したいユーザに適する。なお、図示されるように、本来7文字以上ある固有情報については、6文字目を所定の文字(例えば「…」)で置き換えることによって、後続する文字が省略されていることを明示してもよい。
このように、異なる複数の表示フォーマットを使い分ける場合に、図30(A)(B)に示すようにユーザが番組を識別するためにそれぞれ最も有効な固有表現を表示させることができる。
以上のように、本実施形態によれば、同一テキストから固有表現の抽出方法を変更することで抽出される複数組の固有表現から、各組に含まれる固有表現が最も異なる組の固有表現を最終結果とすることにより、ユーザが識別できる固有表現数を増やすことができる。
(実施の形態3)
次に、本発明に係る実施の形態3の固有表現抽出装置について、図面を参照しながら説明する。
図31は、本発明の実施の形態3の固有表現抽出装置の構成を示す構成図である。ここで、実施の形態1と同一符号の構成要素は同じ動作を行うものとし、それらの詳細な説明は省略する。本実施の形態の固有表現抽出装置は、表示される固有表現に同一の固有表現が存在する場合、重複を削除し、さらにユーザが表示される固有表現を指定すると、指定される固有表現を入れ子として含む固有表現を表示することができる装置であり、図31に示すように、入力部101、抽出順序記憶部102、抽出順序読込部103、固有表現パターン記憶部104、固有表現抽出部105、固有表現記憶部501、抽出終了判定部502、表示条件取得部503、固有表現取得部504、重複削除部505、表示部506を含んで構成される。
固有表現記憶部501は、入力テキストと入力テキストから抽出される固有表現と抽出順序とを対応付けて記憶するものである。固有表現記憶部501の内容例を図32に示す。
抽出終了判定部502は、固有表現抽出部105から抽出順序総数と抽出順序とテキストが入力されると、抽出順序とテキストとテキストから抽出された固有表現を対応付けて固有表現記憶部501に記憶し、さらに、抽出順序が抽出順序総数より小さい場合は、抽出順序の値に数値1を加算し、加算後の抽出順序と固有表現抽出部105から入力されるテキストとを抽出順序読込部103に出力する。
表示部506は、固有表現を表示する。表示条件取得部503は、表示部506に表示される固有表現の抽出順序や表示される複数の固有表現からユーザが指定する固有表現を入力する。
固有表現取得部504は、表示条件取得部503から抽出順序のみ入力される場合、固有表現記憶部501から入力される抽出順序に対応する固有表現を取得し、また、表示条件取得部503から抽出順序とユーザが指定する固有表現が入力される場合、固有表現記憶部501に記憶されるテキストから、入力される抽出順序と固有表現に対応するテキストを検索し、検索されるテキストの固有表現において、入力される抽出順序の次の抽出順序に対応する固有表現を取得する。
重複削除部505は、固有表現取得部504で取得される固有表現に対して重複を省いて表示部506に表示する。
このように構成された本実施の形態による固有表現抽出装置において固有表現を抽出し、表示部に表示する際の動作例について説明する。図33は、固有表現を抽出し、表示する際の動作例の流れを示すフローチャートである。
入力部101、抽出順序記憶部102、抽出順序読込部103、固有表現パターン記憶部104、固有表現抽出部105を用いて入力テキストから固有表現を抽出する動作(ステップS101〜ステップS105)は、実施の形態1と同じ動作を行うので説明は省略する。
抽出終了判定部502は、固有表現抽出部105から抽出順序総数3と抽出順序1とテキスト「<小タイトル>ドキュメンタリー</小タイトル>(1) −松上電器の誕生−」、「<小タイトル>ドキュメンタリー</小タイトル>(2) −松上電器の発展−」、「<小タイトル>人間ドキュメント</小タイトル> 松下太郎の足跡(1)」、「<小タイトル>人間ドキュメント</小タイトル> 松下太郎の足跡(2)」が入力されると、抽出順序1とテキスト「ドキュメンタリー(1) −松上電器の誕生−」、「ドキュメンタリー(2) −松上電器の発展−」、「人間ドキュメント 松下太郎の足跡(1)」、「人間ドキュメント 松下太郎の足跡(2)」とテキストから抽出された固有表現「ドキュメンタリー」、「ドキュメンタリー」、「人間ドキュメント」、「人間ドキュメント」を対応付けて固有表現記憶部501に記憶し(ステップS501)、さらに、抽出順序の値1が抽出順序総数3より小さいので(ステップS106)、抽出順序の値に数値1を加算して値を2とし(ステップS107)、加算後の抽出順序の値2と固有表現抽出部105から入力されるテキスト「<小タイトル>ドキュメンタリー</小タイトル>(1) −松上電器の誕生−」、「<小タイトル>ドキュメンタリー</小タイトル>(2) −松上電器の発展−」、「<小タイトル>人間ドキュメント</小タイトル> 松下太郎の足跡(1)」、「<小タイトル>人間ドキュメント</小タイトル> 松下太郎の足跡(2)」を抽出順序読込部103に出力する。
上記動作を抽出順序が抽出順序総数以上になるまで繰り返した後の固有表現記憶部501の内容は図32のようになるとする。
続いて、このようにして得られた内容を用いて、次のような表示動作が行われる。
最初、表示条件取得部503は、ユーザから指定を受け付けることなしに、抽出順序の初期値である値1を固有表現取得部504へ入力する。
固有表現取得部504は、表示条件取得部503から抽出順序の値1のみ入力される場合(ステップS502)、固有表現記憶部501から抽出順序の値1に対応する固有表現「ドキュメンタリー」、「ドキュメンタリー」、「人間ドキュメント」、「人間ドキュメント」を取得する(ステップS503)。
重複削除部505は、固有表現取得部504で取得される固有表現が「ドキュメンタリー」、「ドキュメンタリー」、「人間ドキュメント」、「人間ドキュメント」の場合、これら固有表現に対して重複を削除して(ステップS506)、固有表現「ドキュメンタリー」、「人間ドキュメント」を表示部506に表示する(ステップS507)。この時の表示部506に表示される表示内容例を図34に示す。また、重複削除部505は、各固有表現を表示する際に、各固有表現において重複した数を同時に表示しても良い。この時の表示部506に表示される表示内容例を図35に示す。
ここで表示される各固有表現には、ユーザによる所定の操作、例えばマウスクリック操作等を受け付けるユーザインタフェース機能が付加される。表示条件取得部503は、表示された固有表現の一つへユーザによる所定の操作を受け付けると、その操作がなされた固有表現とその固有表現の抽出順序とを固有表現取得部504へ入力する。
一例として、図34においてユーザが「ドキュメンタリー」をクリックすると、表示条件取得部503から抽出順序の値1とユーザが指定する固有表現「ドキュメンタリー」が入力される。固有表現取得部504は、固有表現記憶部501に記憶されるテキストから、入力される抽出順序の値1と固有表現「ドキュメンタリー」に対応するテキスト「ドキュメンタリー(1) −松上電器の誕生−」、「ドキュメンタリー(2) −松上電器の発展−」を検索し(ステップS504)、検索されるテキストの固有表現において、入力される抽出順序の次の抽出順序の値2に対応する固有表現「ドキュメンタリー(1)」「ドキュメンタリー(2)」を取得する(ステップS505)。
そして、重複削除部505には、固有表現「ドキュメンタリー(1)」「ドキュメンタリー(2)」が入力され、この場合は、固有表現の重複が存在しないため、そのまま表示部506に固有表現が表示される。この時の表示部506に表示される表示内容例を図36に示す。
以上のように、本実施形態によれば、抽出される固有表現の入れ子構造に従い、入力されるテキストを表示するので、入力されるテキストをメニュー階層で表示することができる。また、入力テキストがユーザの蓄積デバイスに記憶されているコンテンツのタイトルなどの場合、固有表現の入れ子に従ってメニュー階層が生成されるので、ユーザは、重複が存在するタイトル一覧から目的のタイトルを探す必要なく、メニュー階層を辿っていくだけで目的のタイトルを発見することができる。
(その他の変形例)
ここまで、入力テキスト及び抽出される固有表現が日本語である例を用いて説明してきたが、入力テキスト及び抽出される固有表現が日本語に限定されないことは言うまでもない。例えば中国語(簡字体)で表された入力テキストから固有表現を抽出することも、もちろん可能である。
図37(A)、(B)は、入力テキストとなるべき、中国語の番組情報に含まれる番組名の一例である。この番組名から、前述と同様にして固有表現を抽出し、ユーザに提示することによって、ユーザの入力履歴や表示端末の表示能力等によって表される抽出条件に適応した固有表現を中国語の入力テキストから抽出することができる固有表現抽出装置が得られる。
本発明は、テキストから固有表現を抽出する際、抽出される固有表現をユーザやアプリケーション、ユーザが利用する端末に適応させることができ、ハードディスクレコーダやDVDレコーダ、TV、オーディオコンポ、インターネットにアクセスして情報検索を行うことができる端末や情報検索サーバ等において有用である。
図1は、実施形態1における固有表現抽出装置の構成図である。 図2は、実施形態1の固有表現抽出装置に用いられる抽出順序記憶部に記憶される抽出順序の一例を示す図である。 図3は、抽出に用いられるルールの一例を示す図である。 図4は、抽出に用いられるルールの他の一例を示す図である。 図5は、抽出に用いられるルールのさらに他の一例を示す図である。 図6は、人名抽出用のルールを用いて行われる抽出の一具体例を示す図である。 図7は、実施形態1における動作を示すフローチャートである。 図8は、実施形態1の固有表現抽出装置による抽出結果の一具体例を示す図である。 図9は、実施形態1の固有表現抽出装置に用いられる抽出順序記憶部に記憶される抽出順序の一例を示す図である。 図10は、実施形態1の固有表現抽出装置に用いられる抽出順序記憶部に記憶される抽出順序の一例を示す図である。 図11は、実施形態1の固有表現抽出装置に用いられる抽出順序読込部の一例を示す構成図である。 図12は、実施形態1における動作例を示すフローチャートである。 図13は、実施形態1の固有表現抽出装置に用いられる利用パターンデータベースの内容の一例を示す図である。 図14は、実施形態1の固有表現抽出装置に用いられる抽出順序データベースの内容の一例を示す図である。 図15は、実施形態1の固有表現抽出装置に用いられる利用パターンデータベースの内容の一例を示す図である。 図16は、実施形態1の固有表現抽出装置に用いられる利用パターンデータベースの内容の一例を示す図である。 図17は、実施形態1の固有表現抽出装置に用いられる抽出順序記憶部に記憶される抽出順序の一例を示す図である。 図18は、実施形態1の固有表現抽出装置に用いられる抽出順序記憶部に記憶される抽出順序の一例を示す図である。 図19は、実施形態1の固有表現抽出装置に用いられる抽出終了判定部の一例を示す構成図である。 図20は、実施形態1における動作例を示すフローチャートである。 図21は、実施形態1の固有表現抽出装置に用いられる抽出回数記憶部に記憶される内容の一例を示す図である。 図22は、実施形態1の固有表現抽出装置に用いられる抽出回数記憶部に記憶される内容の一例を示す図である。 図23は、実施形態1の固有表現抽出装置に用いられる抽出順序記憶部に記憶される内容の一例を示す図である。 図24は、実施形態1の固有表現抽出装置に用いられる抽出順序記憶部に記憶される内容の一例を示す図である。 図25は、実施形態1の固有表現抽出装置に用いられる抽出順序記憶部に記憶される抽出順序の一例を示す図である。 図26は、実施形態1における変形例に係る固有表現抽出装置の構成図である。 図27は、本発明の実施の形態2の固有表現抽出装置の構成を示す構成図である。 図28は、実施形態2の固有表現抽出装置に用いられる抽出順序記憶部に記憶される抽出順序の一例を示す図である。 図29は、実施形態2における動作例を示すフローチャートである。 図30(A)及び(B)は、実施形態2における固有表現表示例を示す図である。 図31は、本発明の実施の形態3の固有表現抽出装置の構成を示す構成図である。 図32は、実施形態3の固有表現抽出装置に用いられる固有表現記憶部に記憶される内容の一例を示す図である。 図33は、実施形態3における動作例を示すフローチャートである。 図34は、実施形態3における固有表現の表示例を示す図である。 図35は、実施形態3における固有表現の表示例を示す図である。 図36は、実施形態3における固有表現の表示例を示す図である。 図37は、変形例における中国語の入力テキストの例を示す図である。
符号の説明
101 入力部
102 抽出順序記憶部
103 抽出順序読込部
104 固有表現パターン記憶部
104A 固有表現Aパターン
104B 固有表現Bパターン
104C 固有表現Cパターン
105 固有表現抽出部
106 抽出終了判定部
201 判定部
202 抽出回数記憶部
203 抽出回数更新部
204 抽出順序変更部
301 利用パターンデータベース
302 抽出順序データベース
303 テキスト検索部
304 順序総数取得部
305 利用パターン取得部
306 情報データベース
308 類似テキスト取得部
309 表示部
401 利用パターンデータベース
402 抽出順序データベース
403 順序総数取得部
404 抽出終了判定部
405 固有表現決定部
501 固有表現記憶部
502 抽出終了判定部
503 表示条件取得部
504 固有表現取得部
505 重複削除部
506 表示部

Claims (7)

  1. テキストに含まれる固有表現部分の判断基準を示す一つ以上の固有表現パターンを順次用いて、一つ以上の入力テキストから固有表現を抽出する固有表現抽出装置であって、
    複数のテキストが格納されている情報データベースと、
    複数のテキストを前記情報データベースから取得するテキスト取得手段と、
    複数の固有表現パターンを記憶している固有表現パターン記憶手段と、
    前記固有表現パターン記憶手段に記憶されている一つ以上の固有表現パターンそれぞれの固有表現パターンが固有表現の抽出に使用されるべき順序を示す抽出順序番号とを対応付けて表すルールセットを複数記憶している抽出順序記憶手段と、
    前記テキスト取得手段で取得される複数のテキストから、前記抽出順序記憶手段で記憶されているルールセットごとに、ルールセットに含まれる各固有表現パターンによって示される判断基準を満たす一つ以上の部分を、各固有表現パターンに対応する抽出順序番号の順に、固有表現として抽出し、抽出された固有表現を固有表現セットとする固有表現抽出手段と、
    前記固有表現抽出手段で得られた固有表現セット毎に、その固有表現セットに含まれる固有表現のうち、一定数以上の文字が同じ固有表現の数である類似固有表現数を計数し、類似固有表現数が最も少ない固有表現セットを出力する固有表現決定手段と
    を備えることを特徴とする固有表現抽出装置。
  2. 前記固有表現抽出装置は、さらに、
    テキストを表示する表示手段を備え、
    前記固有表現決定手段は、固有表現セット毎に類似固有表現数を計数する際に、固有表現から前記表示手段に表示可能な文字数分の部分固有表現を抽出し、抽出した部分固有表現同士が類似する場合に、類似する部分固有表現の数を類似固有表現数とする
    ことを特徴とする請求項1記載の固有表現抽出装置。
  3. テキストに含まれる固有表現部分の判断基準を示す一つ以上の固有表現パターンを順次用いて、一つ以上の入力テキストから固有表現を抽出する固有表現抽出装置であって、
    複数の固有表現パターンを記憶している固有表現パターン記憶手段と、
    前記固有表現パターン記憶手段に記憶されている一つ以上の固有表現パターンそれぞれの固有表現パターンが固有表現の抽出に使用されるべき順序を示す抽出順序番号とを対応付けて表すルールセットを記憶している抽出順序記憶手段と、
    前記一つ以上の入力テキストから、前記抽出順序記憶手段に記憶されているルールセットに含まれる各固有表現パターンによって示される判断基準を満たす一つ以上の部分を、各固有表現パターンに対応する抽出順序番号の順に、固有表現として抽出する固有表現抽出手段と、
    前記抽出された固有表現、固有表現が抽出された入力テキスト、及び抽出に用いられた固有表現パターンに対応する抽出順序番号を対応付けて記憶する固有表現記憶手段と、
    既定の抽出順序番号を指定するか、又は共通の抽出順序番号に対応して抽出された一つ以上の固有表現をユーザ操作に応じて指定する表示条件指定手段と、
    前記表示条件指示手段から既定の抽出順序番号が指定された場合、前記固有表現記憶手段から前記指定された抽出順序番号に対応して記憶されている全ての固有表現を取得し、また、前記表示条件指示手段から一つ以上の固有表現が指定された場合、前記固有表現記憶手段から、前記指定された各固有表現に対応する入力テキストについて前記共通の抽出順序番号の次の抽出順序番号に対応して記憶されている固有表現を取得する固有表現取得手段と、
    前記固有表現取得手段で取得された固有表現から重複を削除する重複削除手段と、
    前記重複削除手段によって重複を削除されて残った固有表現を表示する表示手段と
    を備えることを特徴とする固有表現抽出装置。
  4. テキスト取得手段と、固有表現パターン記憶手段と、抽出順序記憶手段と 、固有表現抽出手段と、固有表現決定手段とを備える固有表現抽出装置によって、一つ以上の入力テキストから固有表現を抽出する固有表現抽出方法であって、
    前記固有表現パターン記憶手段は、テキストに含まれる固有表現部分の判断基準を示す複数の固有表現パターンを記憶しており、
    前記抽出順序記憶手段は、前記固有表現パターン記憶手段に記憶されている一つ以上の固有表現パターンと、それぞれの固有表現パターンが固有表現の抽出に使用されるべき順序を示す抽出順序番号とを対応付けて表すルールセットを複数記憶しており、
    前記テキスト取得手段が、複数のテキストを情報データベースから取得するステップと、
    前記固有表現抽出手段が、前記テキスト取得手段で取得される複数のテキストから、前記抽出順序記憶手段で記憶されているルールセットごとに、ルールセットに含まれる各固有表現パターンによって示される判断基準を満たす一つ以上の部分を、各固有表現に対応する抽出順序番号の順に、固有表現として抽出し、抽出された固有表現を固有表現セットとするステップと、
    前記固有表現決定手段が、前記固有表現抽出手段で得られた固有表現セット毎に、その固有表現セットに含まれる固有表現のうち、一定数以上の文字が同じ固有表現の数である類似固有表現数を計数し、類似固有表現数が最も少ない固有表現セットを出力するステップと
    を含むことを特徴とする固有表現抽出方法。
  5. 固有表現パターン記憶手段と、抽出順序記憶手段と、固有表現抽出手段と、固有表現記憶手段と、表示条件指定手段と、固有表現取得手段と、重複削除手段と、表示手段とを備える固有表現抽出装置によって、一つ以上の入力テキストから固有表現を抽出する固有表現抽出方法であって、
    前記固有表現パターン記憶手段は、テキストに含まれる固有表現部分の判断基準を示す複数の固有表現パターンを記憶しており、
    前記抽出順序記憶手段は、前記固有表現パターン記憶手段に記憶されている一つ以上の固有表現パターンと、それぞれの固有表現パターンが固有表現の抽出に使用されるべき順序を示す抽出順序番号とを対応付けて表すルールセットを記憶しており、
    前記固有表現抽出手段が、前記一つ以上の入力テキストから、前記抽出順序記憶手段に記憶されているルールセットに含まれる各固有表現パターンによって示される判断基準を満たす一つ以上の部分を、各固有表現に対応する抽出順序番号の順に、固有表現として抽出するステップと、
    前記固有表現記憶手段が、前記抽出された固有表現、固有表現が抽出された入力テキスト、及び抽出に用いられた固有表現パターンに対応する抽出順序番号を対応付けて記憶するステップと、
    前記表示条件指定手段が、既定の抽出順序番号を指定するか、又は共通の抽出順序番号に対応して抽出された一つ以上の固有表現をユーザ操作に応じて指定するステップと、
    前記固有表現取得手段が、前記表示条件指示手段から既定の順序番号が指定された場合、前記固有表現記憶手段から前記指定された抽出順序番号に対応して記憶されている全ての固有表現を取得し、また、前記表示条件指示手段から一つ以上の固有表現が指定された場合、前記固有表現記憶手段から、前記指定された各固有表現に対応する入力テキストについて前記共通の抽出順序番号の次の抽出順序番号に対応して記憶されている固有表現を取得するステップと、
    前記重複削除手段が、前記固有表現取得手段で取得された固有表現から重複を削除するステップと、
    前記表示手段が、前記重複削除手段によって重複を削除されて残った固有表現を表示するステップと
    を含むことを特徴とする固有表現抽出方法。
  6. テキストに含まれる固有表現部分の判断基準を示す複数の固有表現パターンを記憶している固有表現パターン記憶手段と、前記固有表現パターン記憶手段に記憶されている一つ以上の固有表現パターンそれぞれの固有表現パターンが固有表現の抽出に使用されるべき順序を示す抽出順序番号とを対応付けて表すルールセットを複数記憶している抽出順序記憶手段とを参照して、一つ以上の入力テキストから固有表現を抽出するためのコンピュータ実行可能なプログラムであって、
    複数のテキストを情報データベースから取得するテキスト取得ステップと、
    前記テキスト取得ステップで取得される複数のテキストから、前記抽出順序記憶手段で記憶されているルールセットごとに、ルールセットに含まれる各固有表現パターンによって示される判断基準を満たす一つ以上の部分を、各固有表現に対応する抽出順序番号の順に、固有表現として抽出し、抽出された固有表現を固有表現セットとする固有表現抽出ステップと、
    前記固有表現抽出ステップで得られた固有表現セット毎に、その固有表現セットに含まれる固有表現のうち、一定数以上の文字が同じ固有表現の数である類似固有表現数を計数し、類似固有表現数が最も少ない固有表現セットを出力する固有表現決定ステップと
    をコンピュータに実行させることを特徴とするプログラム。
  7. テキストに含まれる固有表現部分の判断基準を示す複数の固有表現パターンを記憶している固有表現パターン記憶手段と、前記固有表現パターン記憶手段に記憶されている一つ以上の固有表現パターンそれぞれの固有表現パターンが固有表現の抽出に使用されるべき順序を示す抽出順序番号とを対応付けて表すルールセットを記憶している抽出順序記憶手段とを参照して、一つ以上の入力テキストから固有表現を抽出するためのコンピュータ実行可能なプログラムであって、
    前記一つ以上の入力テキストから、前記抽出順序記憶手段に記憶されているルールセットに含まれる各固有表現パターンによって示される判断基準を満たす一つ以上の部分を、各固有表現に対応する抽出順序番号の順に、固有表現として抽出する固有表現抽出ステップと、
    前記抽出された固有表現、固有表現が抽出された入力テキスト、及び抽出に用いられた固有表現パターンに対応する抽出順序番号を対応付けて記憶する固有表現記憶ステップと、
    既定の抽出順序番号を指定するか、又は共通の抽出順序番号に対応して抽出された一つ以上の固有表現をユーザ操作に応じて指定する表示条件指定ステップと、
    前記表示条件指示ステップで既定の抽出順序番号が指定された場合、前記固有表現記憶ステップで記憶され、かつ前記指定された抽出順序番号に対応する全ての固有表現を取得し、また、前記表示条件指示ステップで一つ以上の固有表現が指定された場合、前記固有表現記憶ステップで記憶され、かつ前記指定された各固有表現に対応する入力テキストについて前記共通の抽出順序番号の次の抽出順序番号に対応する固有表現を取得する固有表現取得ステップと、
    前記固有表現取得ステップで取得された固有表現から重複を削除する重複削除ステップと、
    前記重複削除ステップで重複を削除されて残った固有表現を表示する表示ステップと
    をコンピュータに実行させることを特徴とするプログラム。
JP2007521081A 2005-06-15 2005-12-26 固有表現抽出装置、方法、及びプログラム Expired - Fee Related JP4129048B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005175678 2005-06-15
JP2005175678 2005-06-15
PCT/JP2005/023768 WO2006134682A1 (ja) 2005-06-15 2005-12-26 固有表現抽出装置、方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007318956A Division JP4977589B2 (ja) 2005-06-15 2007-12-10 固有表現抽出装置、固有表現抽出方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP4129048B2 true JP4129048B2 (ja) 2008-07-30
JPWO2006134682A1 JPWO2006134682A1 (ja) 2009-01-08

Family

ID=37532053

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007521081A Expired - Fee Related JP4129048B2 (ja) 2005-06-15 2005-12-26 固有表現抽出装置、方法、及びプログラム
JP2007318956A Expired - Fee Related JP4977589B2 (ja) 2005-06-15 2007-12-10 固有表現抽出装置、固有表現抽出方法、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2007318956A Expired - Fee Related JP4977589B2 (ja) 2005-06-15 2007-12-10 固有表現抽出装置、固有表現抽出方法、及びプログラム

Country Status (4)

Country Link
US (1) US7761437B2 (ja)
JP (2) JP4129048B2 (ja)
CN (1) CN101167075B (ja)
WO (1) WO2006134682A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075228B (zh) * 2006-05-15 2012-05-23 松下电器产业株式会社 识别自然语言中的命名实体的方法和装置
US20080215577A1 (en) * 2007-03-01 2008-09-04 Sony Corporation Information processing apparatus and method, program, and storage medium
US7917489B2 (en) * 2007-03-14 2011-03-29 Yahoo! Inc. Implicit name searching
EP2025523B1 (en) 2007-07-26 2014-10-22 Brother Kogyo Kabushiki Kaisha Sheet processing apparatus
JP2009094658A (ja) * 2007-10-05 2009-04-30 Hitachi Ltd 関連情報提供装置、及び関連情報提供方法
US7987416B2 (en) * 2007-11-14 2011-07-26 Sap Ag Systems and methods for modular information extraction
US9519636B2 (en) * 2008-10-15 2016-12-13 Business Objects S.A. Deduction of analytic context based on text and semantic layer
US20100138402A1 (en) * 2008-12-02 2010-06-03 Chacha Search, Inc. Method and system for improving utilization of human searchers
JP4645731B2 (ja) * 2008-12-10 2011-03-09 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像データ管理方法、およびコンピュータプログラム
JP2010149537A (ja) * 2008-12-23 2010-07-08 Autonetworks Technologies Ltd 制御装置、制御方法及びコンピュータプログラム
JP5540537B2 (ja) * 2009-03-24 2014-07-02 株式会社オートネットワーク技術研究所 制御装置、制御方法及びコンピュータプログラム
US8290968B2 (en) 2010-06-28 2012-10-16 International Business Machines Corporation Hint services for feature/entity extraction and classification
CN102737030A (zh) * 2011-04-06 2012-10-17 上海量明科技发展有限公司 专利文档的数据输出方法、终端及系统
JP2016133861A (ja) * 2015-01-16 2016-07-25 株式会社ぐるなび 情報多言語変換システム
US10776424B2 (en) * 2016-07-29 2020-09-15 Newswhip Media Limited System and method for identifying and ranking trending named entities in digital content objects
US10803057B1 (en) 2019-08-23 2020-10-13 Capital One Services, Llc Utilizing regular expression embeddings for named entity recognition systems
US11586812B2 (en) 2019-10-31 2023-02-21 International Business Machines Corporation Unsupervised generation of rules for an adapter grammar
US10904027B1 (en) * 2020-03-31 2021-01-26 Amazon Technologies, Inc. Usage-based device naming and grouping
CN116737924B (zh) * 2023-04-27 2024-06-25 百洋智能科技集团股份有限公司 一种医疗文本数据处理方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0652221A (ja) 1992-05-08 1994-02-25 Fujitsu Ltd 固有名詞の自動抽出方式
JPH10283355A (ja) 1997-04-02 1998-10-23 Nippon Telegr & Teleph Corp <Ntt> 企業名解析方法及び装置
JP3575242B2 (ja) * 1997-09-10 2004-10-13 日本電信電話株式会社 キーワード抽出装置
JP2000099501A (ja) * 1998-09-17 2000-04-07 Internatl Business Mach Corp <Ibm> 文書データへの情報の埋め込み方法およびシステム
JP2001134600A (ja) 1999-11-08 2001-05-18 Nec Corp 情報抽出システム、情報抽出方法および情報抽出用プログラムを記録した記録媒体
JP2001318792A (ja) * 2000-05-10 2001-11-16 Nippon Telegr & Teleph Corp <Ntt> 固有表現抽出規則生成システムと方法およびその処理プログラムを記録した記録媒体ならびに固有表現抽出装置
US7490092B2 (en) * 2000-07-06 2009-02-10 Streamsage, Inc. Method and system for indexing and searching timed media information based upon relevance intervals
JP2002334076A (ja) * 2001-05-10 2002-11-22 Communication Research Laboratory テキスト処理方法
JP4106889B2 (ja) 2001-09-25 2008-06-25 沖電気工業株式会社 情報検索システム
US7315810B2 (en) 2002-01-07 2008-01-01 Microsoft Corporation Named entity (NE) interface for multiple client application programs
CA2475267C (en) * 2002-02-04 2014-08-05 Cataphora, Inc. A method and apparatus for sociological data mining
JP4005477B2 (ja) * 2002-05-15 2007-11-07 日本電信電話株式会社 固有表現抽出装置及び方法並びに固有表現抽出プログラム
JP4130754B2 (ja) * 2002-08-27 2008-08-06 日本電信電話株式会社 時系列情報からの固有情報抽出装置,並びに時系列情報からの固有情報抽出プログラムおよびそのプログラムを記録した記録媒体
JP2004312627A (ja) * 2003-04-10 2004-11-04 Matsushita Electric Ind Co Ltd テレビジョン受像装置およびその番組情報検索方法

Also Published As

Publication number Publication date
US7761437B2 (en) 2010-07-20
CN101167075A (zh) 2008-04-23
WO2006134682A1 (ja) 2006-12-21
JP4977589B2 (ja) 2012-07-18
JP2008152774A (ja) 2008-07-03
JPWO2006134682A1 (ja) 2009-01-08
US20090119274A1 (en) 2009-05-07
CN101167075B (zh) 2010-05-12

Similar Documents

Publication Publication Date Title
JP4129048B2 (ja) 固有表現抽出装置、方法、及びプログラム
US8312025B2 (en) Information processing device, information processing method, and information processing program
US6219665B1 (en) Retrieval menu creation device, a retrieval menu creation method, and a recording medium that stores a retrieval menu creation program
KR101607468B1 (ko) 콘텐츠에 대한 키워드 태깅 방법 및 시스템
JP7395377B2 (ja) コンテンツ検索方法、装置、機器、および記憶媒体
CN102591897A (zh) 文件检索装置以及文件检索方法
JP2002175330A (ja) 情報検索装置,スコア決定装置,情報検索方法,スコア決定方法及びプログラム記録媒体
JP5302614B2 (ja) 施設関連情報の検索データベース形成方法および施設関連情報検索システム
JP2010061587A (ja) 類似文書判定装置、類似判定方法およびそのプログラム
JP6868576B2 (ja) 事象提示システムおよび事象提示装置
JP5224532B2 (ja) 評判情報分類装置及びプログラム
JP5179564B2 (ja) クエリセグメント位置決定装置
JP2004240488A (ja) 文書管理装置
JP6260678B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2005128872A (ja) 文書検索システム及び文書検索プログラム
JP5415550B2 (ja) 類似コンテンツ検索装置及びプログラム
JP2018156552A (ja) 計算機システム及び文章データの検索方法
JP5364802B2 (ja) 文書検索システム、文書検索方法
JP2008225584A (ja) 物品推薦装置、物品推薦システム、物品推薦方法及び物品推薦プログラム
JPH07302347A (ja) グラフ生成装置
JP2009181524A (ja) 文書検索システム及び文書検索方法
JP2022187527A (ja) 技術調査支援装置、技術調査支援方法、および技術調査支援プログラム
CN115221264A (zh) 一种文本处理方法、装置及可读存储介质
JP2006024071A (ja) 自動回答検索装置
JP2022137568A (ja) 情報管理システム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080422

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080515

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4129048

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130523

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130523

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees