JP5320326B2 - 記号変換装置、記号変換方法、記号変換プログラム - Google Patents

Description

本発明は電子文書に含まれる記号を単語に変換するための技術に関する。

キーボードからの入力を記号に変換する機能を持った入力端末から入力された文書に対し、入力された記号を、記号が表現する単語に変換する技術がある。

例えば、特許文献１に開示された変換技術によると、電子メールの文書を変換対象の文書とし、その電子メールアドレスのドメイン名に応じて、当該文書中の記号を文字列に変換する。記号は、一つの記号に一つの単語を与えた変換テーブルによって変換される。

また、特許文献２に開示された変換技術は、電子メールの文書を変換対象の文書とし、当該文書中に含まれる記号である絵文字に、複数の意味候補から絵文字の意味を表す単語を１つ選択し与えることで、文中の絵文字を文字列に変換する。記号の意味候補は、１つの記号に、記号の意味を示す複数の候補文字列を対応付けた変換用辞書によって与えられる。前記複数の意味候補の中から、対象文において、記号が表す意味を選択する方法として、複数の候補からユーザが選択する方法、複数の候補から置き換えられた頻度が高いものを選択する方法、複数の候補から自動的に１つを選択する方法のいずれかの方法で行われる。

特開２００４−９６４５４号公報 特開２００３−２９６２４６号公報 特開２００７−３１７１３２号公報

しかしながら、特許文献１では、記号を単語に変換する際に、一つの記号に一つの単語を与えた変換テーブルによって変換しているので、記号が意味を持たないような場合や、一つの記号が複数の意味を持ち、一文中において、記号が持つ複数の意味のいずれかを表現しているような場合に、対応できない。

特許文献２では、一つの記号が複数の意味を持っている場合に対応できるものの、複数の候補から単語を自動的に選択する方法については記載されていない。また、記号が意味を持たないような場合については考慮されていない。

また、特許文献１も特許文献２も、変換テーブルや変換用辞書の自動生成については言及しておらず、人手で構築する必要があり、多大なコストを要する。

そこで、本発明は、入力文に含まれる記号に対し記号が表現する文字列を与える際に、１つの記号が、特に意味を持たない場合や、複数の意味候補を持つ場合に、文の特徴量を用いることにより、文中における記号を、記号が表す適切な文字列に変換する。また、記号の役割に対応した語義集合を格納した語義辞書を予め備えることで、記号の文脈に即した語義の集合を効率的に得ることができる。

本発明の記号変換装置の態様としては、入力文に含まれる記号を文字列に変換する記号変換装置であって、入力文中の単語の品詞と入力文中の記号の出現位置とを成分とする特徴ベクトルである当該記号の文特徴量と、任意の文特徴量から記号の役割を特定するための分類器とに基づき、当該記号の役割を特定する役割特定手段と、前記役割特定手段によって特定された当該記号の役割に対応した語義集合を、記号の役割に対応した語義集合を格納した語義辞書から引き出し、この引き出した語義集合のうちで当該記号を語義に置換した当該入力文の文特徴と当該語義との類似度が最も大きい語義を当該記号の変換文字列と決定する変換文字列選択手段と、学習用のテキスト集合に含まれるテキスト文書における記号と共起する語を用いて当該記号の役割に対応した語義の集合を抽出することにより前記語義辞書を生成する語義辞書生成手段と、前記テキスト集合に含まれるテキスト文書中の単語の品詞と当該文書中の記号の出現位置とを成分とする特徴ベクトルである当該記号の文特徴量を算出し、この算出した文特徴量と当該記号の役割との対応関係を学習することにより前記分類器を作成する分類器生成手段とを備え、前記分類器生成手段は前記記号の文特徴の成分として前記語義辞書中の前記テキスト文書における記号の語義と当該テキスト文書中の語との意味的な類似度を加えた特徴量を算出し、この算出した文特徴量と当該記号の他の役割との対応関係を学習することにより、前記役割特定手段に供される他の分類器を作成する。

本発明の記号変換方法の態様としては、入力文に含まれる記号を文字列に変換する記号変換方法であって、役割特定手段が、入力文中の単語の品詞と入力文中の記号の出現位置とを成分とする特徴ベクトルである当該記号の文特徴量と、任意の文特徴量から記号の役割を特定するための分類器とに基づき、当該記号の役割を特定するステップと、変換文字列選択手段が、前記役割特定手段によって特定された当該記号の役割に対応した語義集合を、記号の役割に対応した語義集合を格納した語義辞書から引き出し、この引き出した語義集合のうちで当該記号を語義に置換した当該入力文の文特徴と当該語義との類似度が最も大きい語義を当該記号の変換文字列と決定するステップと、語義辞書生成手段が、学習用のテキスト集合に含まれるテキスト文書における記号と共起する語を用いて当該記号の役割に対応した語義の集合を抽出することにより前記語義辞書を生成するステップと、分類器生成手段が、前記テキスト集合に含まれるテキスト文書中の単語の品詞と当該文書中の記号の出現位置とを成分とする当該記号の文特徴量を算出し、この算出した文特徴量と当該記号の役割との対応関係を学習することにより前記分類器を作成するステップと、前記分類器生成手段が、前記記号の文特徴の成分として前記語義辞書中の前記テキスト文書における記号の語義と当該テキスト文書中の語との意味的な類似度を加えた特徴量を算出し、この算出した文特徴量と当該記号の他の役割と対応関係を学習することにより、前記役割を特定するステップに供される他の分類器を作成するステップとを有する。

上記のように、前記テキスト集合に含まれるテキスト文書中の単語の品詞と当該文書中の記号の出現位置とを成分とする特徴ベクトルである当該記号の文特徴量を算出し、この算出した文特徴量と当該記号の役割との対応関係を学習することにより作成された分類器は、記号の役割として内容語を特定するのに有効である。

また、前記記号の文特徴の成分として前記語義辞書中の前記テキスト文書における記号の語義と当該テキスト文書中の語との意味的な類似度を加えた特徴量を算出し、この算出した文特徴量と当該記号の他の役割との対応関係を学習することにより作成された前記他の分類器は、記号の役割として内容添加、装飾、モダリティのいずれかを特定するに有効である。

尚、本発明は上記の記号変換装置を構成する各手段としてコンピュータを機能させる記号変換プログラムの態様とすることもできる。

以上の発明によれば入力文中の記号について当該入力文の文脈に即した文字列を取得できると共に記号を文字列に変換するための辞書の作成コストの削減が実現する。

発明の実施形態に係る記号変換装置のブロック構成図。 語義辞書生成手段による内容語語義辞書の作成手順を説明したチャート図。 語義辞書生成手段によるモダリティ語義辞書の作成手順を説明したチャート図。 役割分類モデル生成手段の動作例を説明したチャート図。 役割分類モデル生成手段による内容語役割分類モデルの作成手順を説明したチャート図。 役割分類モデル生成手段による内容添加役割分類モデルの作成手順を説明したチャート図。 役割分類モデル生成手段による装飾・モダリティ役割分類モデルの作成手順を説明したチャート図。 役割特定手段の動作例を説明したフローチャート図。 変換文字列選択手段の動作例を説明したフローチャート図。 役割特定手段による内容語語義の特定手順を説明したチャート図。 役割特定手段によるモダリティ語義の特定手順を説明したチャート図。 テキスト集合の一例を説明した図。 記号一覧の一例を説明した図。 内容語語義辞書の一例を説明した図。 モダリティ語義辞書の一例を説明した図。 記号及びこれを含んだ文書の一例を示した図。 発明の実施形態に係る記号変換装置を実装するハードウェア構成図。

以下、本発明の実施の形態について図面を参照しながら説明する。

［概要］
図１に示された発明の実施形態に係る記号変換装置１は入力された電子文書に含まれる一つの記号が特に意味を有しない場合や複数の意味候補を有する場合に当該記号の文特徴量に対応した役割情報に基づき当該記号を適切な文字列に変換する。

本実施形態で扱われる記号は記号一覧１５として定められたものを記号とする。記号は図１３に例示の記号一覧１５のような例えば携帯端末から入力可能な絵文字が挙げられる。

記号の役割については、予め定めたｎ種類の役割に限定するものとする。ここでは、例えば、以下の４つの役割であるとする。
（１）図１６（ａ）に例示された文書のように記号が内容語（名詞、動詞、形容詞の単語）の代わりとして用いられ、文中において内容語としての役割を果たす「内容語」としての役割。
（２）図１６（ｂ）に例示された文書のように記号が文中の内容語の繰り返しとして用いられる「内容添加」としての役割。
（３）図１６（ｃ）に例示された文書のように記号が本文の内容語に関係なく単なる飾りとして用いられる「装飾」としての役割。
（４）図１６（ｄ）に例示された文書のように記号が本文の内容に対して何かしらの感情表現を付加するために用いられる「モダリティ」としての役割。

記号は、役割によって変換の必要の有無があり、内容語、モダリティの役割の場合は、記号が文中において意味を持っているため変換の必要があるが、装飾、内容添加の場合は、記号が文中において意味を持っていないため変換の必要がないとする。

［記号変換装置１の構成］
記号変換装置１は図１７に示されたＣＰＵ５１、ＲＡＭ５２、ＲＯＭ５３、ハードディスクドライブ装置５４、Ｉ／Ｆ（入出力デバイス）５５等のハードウェアリソースを備える。このハードウェアリソースがソフトウェアリソース（ＯＳ、アプリケーション等）と協働することより図１に示された記号変換装置１を構成する語義辞書生成手段１１、役割分類モデル生成手段１２、役割特定手段１３、変換文字列選択手段１４とが実装される。

記号変換装置１を構成する各機能手段１１〜１４について説明する。

語義辞書生成手段１１は、学習用のテキスト集合１６に含まれるテキスト文書における記号一覧１５の記号と共起する語を用いて当該記号の語義の集合を抽出することで語義辞書１７を生成する。語義とは記号が内容語、モダリティの役割をなすときの語義辞書１７にて定義される当該記号の意味をなす語である。テキスト集合１６のテキスト文書には例えば図１２に示したように識別子（ＩＤ）と当該文書に含まれる記号の役割を示す役割情報が付されている。図１２に示された事例では内容語、内容添加、装飾、モダリティの４つの役割が設定されているが、役割の個数や定義はこの事例に限定されることなく変更が可能である。語義辞書１７には図１４，１５にそれぞれ例示された内容語義辞書２５，モダリティ語義辞書３３がある。

役割分類モデル生成手段１２は、テキスト集合１６に含まれるテキスト文書中の記号毎に当該文書中の単語の品詞と当該記号の出現位置とを成分とする特徴ベクトルである文特徴量を学習して、文特徴量から記号の役割を特定するための役割分類モデル１８を作成する。

役割分類モデル１８には図４を参照して説明される後述の内容語役割分類モデル４７、内容添加役割分類モデル４８、装飾・モダリティ役割分類モデル４９がある。

内容語役割分類モデル４７は記号の文特徴量から当該記号の役割として内容語を特定するための分類器である。当該分類器は記号を含む文書内の記号の前後の品詞情報と当該記号の出現位置とを成分とする特徴ベクトルである当該記号の文特徴と記号の役割との対応関係を学習して得られたものである。

内容添加役割分類モデル４８は、記号の文特徴量から当該記号の役割として内容添加の役割としての内容語を特定するための分類器である。当該分類器は、記号を含む文書内の当該記号の前後の品詞情報と当該記号の出現位置と内容語語義辞書２５中の当該記号の語義と当該文書中の内容語との意味的な類似度とを成分とする特徴ベクトルである当該記号の文特徴量と記号の役割との対応関係を学習して得られたものである。

装飾・モダリティ役割分類モデル４９は、記号の文特徴量から当該記号の役割として装飾、モダリティの役割として内容語を特定するための分類器である。当該分類器は、記号を含む文書内の当該記号の前後の品詞情報と当該記号の出現位置とモダリティ語義辞書３３中の当該記号の語義と当該文書中の内容語との意味的な類似度とを成分とする特徴ベクトルである当該記号の文特徴量と記号の役割との対応関係を学習して得られたものである。

役割特定手段１３は、入力文１９中の単語の品詞と入力文１９中の記号の出現位置とまたはさらに語義辞書１７中の当該記号の語義と当該文中の内容語との意味的な類似度を成分とする当該記号の文特徴量と、役割分類モデル１８とに基づき該記号の役割を特定する。

変換文字列選択手段１４は、入力文１９中の記号に対し、役割特定手段１３によって特定された当該記号の役割に基づき、語義辞書１７中の該記号の語義へ該記号を置換したときの該入力文と、該語義との類似度が最も大きい語義を変換文字列２０と決定する。

［記号変換装置１の動作例］
記号変換装置１は、予め作成された語義辞書１７、役割分類モデル１８を用いて、入力文１９に含まれる記号を適切な変換文字列２０に変換する。

［１］語義辞書生成手段１１による語義辞書１７（内容語語義辞書２５，モダリティ語義辞書３３）の作成
記号の表す文字列は、役割によって性質が異なるとする。例えば、内容語の役割のときの図１６（ｅ）に例示された「記号」は｛太陽、夏、朝、晴れ｝などの「内容語」の意味を有するものである。モダリティの役割のときの同「記号」は｛楽しい、嬉しい、美味しい｝などの「モダリティ」の意味を有するものである。そのため、役割によって語義辞書を用意する。ここでは、内容語は内容語語義辞書２５に格納され、モダリティはモダリティ語義辞書３３に格納される。語義辞書生成手段１１は内容語語義辞書２５及びモダリティ語義辞書３３の作成を行う。

図２を参照しながら語義辞書生成手段１１による内容語語義辞書の作成手順（Ｓ２１〜Ｓ２４）について説明する。ここでは図１６（ｂ）に例示された文書のように記号が当該文書中の内容語の繰り返しとして用いられる内容添加の役割の性質から、当該記号と共起する内容語を用いて、記号の内容語としての役割における語義の抽出を行う。

Ｓ２１：学習用のテキスト集合１６に含まれるテキスト文書の中の記号毎に（同一の記号が同一テキスト文書に重複して用いられている場合であっても記号毎に）、当該記号と共起する内容語を抽出する。

Ｓ２２：前記記号毎に、Ｓ２１で抽出された複数の内容語の中でも、類似しているものを集合にするため、クラスタリングを行う。クラスタリングを行うにあたり、特許文献３に開示された概念ベクトル推定方法で生成される概念ベクトル集合を用い、各内容語の概念ベクトルを算出し、ウォード法によってクラスタリングを行う。

Ｓ２３：前記記号毎に、Ｓ２２で抽出された内容語の集合から内容語語義として信頼度が高いものを得るために、特許文献３の手法で生成される当該記号のベクトルと当該集合の重心ベクトルの距離が閾値以内のものを当該記号の語義を表す語集合であるとして抽出する。

Ｓ２４：前記記号毎に、Ｓ２３で抽出された語集合の中から内容語語義として信頼度が高いものを得るために、当該語集合に含まれる各語の当該記号との文中での共起回数の平均が閾値以上のものを、当該記号の語義を表す語集合として抽出する。この抽出された語集合が内容語語義辞書２５である。内容語語義辞書２５は記号変換装置１の記憶部（ハードディスクドライブ装置５４）に保存される。図１４に内容語語義辞書２５の一例を示した。

図３を参照しながら語義辞書生成手段１１によって実行されるモダリティ語義辞書の作成手順Ｓ３１〜Ｓ３２について説明する。ここでは図１６（ｆ）に例示された文書のような、記号と共起する感性語（形容詞）から、記号のモダリティとしての役割における語義の抽出を行う。

Ｓ３１：記号一覧１５の記号毎にテキスト集合１６のテキスト文書の中で当該記号と共起する感性語を抽出する。

Ｓ３２：前記記号毎に、当該記号と文中で一定数以上共起する感性語を、当該記号のモダリティ語義を表す語として抽出する。この抽出された語集合がモダリティ語義辞書３３である。モダリティ語義辞書３３は記号変換装置１の記憶部（ハードディスクドライブ装置５４）に保存される。図１５にモダリティ語義辞書３３の一例を示す。

［２］役割分類モデル生成手段１２による役割分類モデル１８（内容語役割分類モデル４７，内容添加役割分類モデル４８，装飾・モダリティ役割分類モデル４９）の作成
役割分類モデル生成手段１２は、文中の各記号に対し４つの役割のいずれかが付与されたテキスト集合１６のデータを用いて学習を行うことにより、４つの役割（内容語，内容添加，装飾，モダリティ）のそれぞれについて分類を行うための分類器を生成する。この分類器は、４つの役割の一つ一つに対応して生成する。先ず、内容語とそれ以外を識別するもの、次に、内容添加とそれ以外を識別するもの、その次に、装飾とモダリティを識別するものの順に生成する。

学習の際は、各分類において分類を最も適切に行える記号に対する文特徴量を抽出し、学習を行う。分類器の生成の際は、既に分類済みの役割が付与された記号に関する学習データは用いない。本実施形態では学習の手法として、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）の手法が適用される。

図４を参照しながら役割分類モデル生成手段１２による役割分類モデルの作成手順Ｓ４１〜Ｓ４６について説明する。

Ｓ４１：学習のために取得したテキスト集合１６の形態素解析を行う。

Ｓ４２：内容語を分類するための分類器である内容語役割分類モデル４７を生成する。

図５を参照しながらステップＳ４２における内容語役割分類モデル４７を生成する具体的な手順Ｓ５１，Ｓ５２について説明する。

内容語の役割は、例えば図１６（ａ）に示された「文書」のように、文書に含まれる「記号」が内容語（例えばビール）の代わりとして用いられ、当該文書において内容語としての役割を果たすものであるので、当該「記号」の前後の品詞情報に特徴がある。そこで、学習対象の記号に対しては、当該記号を含む文書内の記号の前後の品詞情報と当該記号の出現位置とを成分とする特徴ベクトルで示される当該記号の文特徴を学習することにより内容語役割分類モデル４７を生成する。

（Ｓ５１）ステップＳ４１によるテキスト集合１６の全文書の形態素解析結果から得られた記号毎に、当該記号を含む文書内の当該記号の前後の品詞情報と当該記号の出現位置とを成分とする特徴ベクトルを当該記号の文特徴量として抽出する。

（Ｓ５２）ステップＳ５１で抽出された記号の文特徴量と、記号の役割との対応関係を、ＳＶＭ法によって学習することで、任意の文特徴量から記号が内容語の役割を意味するものかまたはその他の役割を意味するものかを特定するための分類器を生成する。この生成された分類器が内容語役割分類モデル４７である。内容語役割分類モデル４７は記号変換装置１の記憶部（ハードディスクドライブ装置５４）に保存される。

Ｓ４３：ステップＳ４２で内容語役割分類モデル４７が生成されたので、内容語の役割が付与された記号に関する学習データを削除する。

Ｓ４４：内容添加を分類するための分類器である内容添加役割分類モデル４８を生成する。

図６を参照しながらステップＳ４４における内容添加役割分類モデル４８を生成する具体的な手順Ｓ６１，Ｓ６２について説明する。

内容添加の役割は、例えば図１６（ｂ）に示された「文書」のように記号が文中の内容語の繰り返しとして用いられるので、文中の内容語のいずれかと、内容語語義辞書２５中の語義との意味的な類似度が非常に大きくなる。そこで、学習対象の記号に対しては、当該記号を含む文書内の当該記号の前後の品詞情報と当該記号の出現位置と内容語語義辞書２５中の当該記号の語義と当該文書中の内容語との意味的な類似度とを成分とする特徴ベクトルを当該記号の文特徴量として抽出する。この記号の文特徴量を学習することにより内容添加役割分類モデル４８を生成する。

（Ｓ６１）ステップＳ４１によるテキスト集合１６の全文書の形態素解析結果から得られた記号毎に、当該記号を含む文書内の当該記号の前後の品詞情報と当該記号の出現位置とを成分とする特徴ベクトルを当該記号の文特徴量として抽出する。また、内容語語義辞書２５中の当該記号の語義の各々と前記文書の内容語各々との意味的な類似度の最大値を、前記決定された記号の文特徴量の成分として追加する。単語間の意味的な類似度は、特許文献３の手法で生成される概念ベクトル集合を用い、単語それぞれの概念ベクトルの間の内積によって算出できる。

（Ｓ６２）ステップＳ６１で抽出された記号の文特徴量と、記号の役割との対応関係を、ＳＶＭ法によって学習することで、任意の文特徴量から記号が内容添加の役割を意味するものかまたはその他の役割を意味するものかを特定するための分類器を生成する。この生成された分類器が内容添加役割分類モデル４８である。内容添加役割分類モデル４８は記号変換装置１の記憶部（ハードディスクドライブ装置５４）に保存される。

Ｓ４５：ステップＳ４４で内容添加役割分類モデル４８が生成されたので、内容添加の役割が付与された記号に関する学習データを削除する。

Ｓ４６：装飾とモダリティを分類するための分類器である装飾・モダリティ役割分類モデル４９を生成する。

図７を参照しながらステップＳ４６における装飾・モダリティ役割分類モデル４９を生成する具体的な手順Ｓ７１，Ｓ７２について説明する。

装飾の役割は、図１６（ｃ）に例示された「文書」のように記号が本文の内容語に関係なく単なる飾りとして用いられるので、記号が文の両端に来る場合や、冒頭、末尾に来るという特徴がある。また、モダリティの役割は、図１６（ｄ）に例示した「文書」のように、記号が本文の内容に対して何かしらの感情表現を付加するために用いられるので、文中の内容語のいずれかと、モダリティ語義辞書３３中の語義との意味的な類似度が大きくなるという特徴がある。そこで、学習対象の記号については、当該記号を含む文書内の当該記号の前後の品詞情報と、当該記号の出現位置と、当該文書中の同一記号の出現位置と、モダリティ語義辞書３３中の当該記号の語義と当該文書中の内容語との意味的な類似度とを成分とする特徴ベクトルを当該記号の文特徴量として抽出する。そして、この文特徴を学習することにより装飾・モダリティ役割分類モデル４９を生成する。

（Ｓ７１）ステップＳ４１によるテキスト集合１６の全文書の形態素解析結果から得られた記号毎に、当該記号を含む文書内の当該記号の前後の品詞情報と、当該記号の出現位置と、当該文書中の同一記号の出現位置とを成分とする特徴ベクトルを当該記号の文特徴量として抽出する。また、モダリティ語義辞書３３中の当該記号の語義の各々と当該文書中の内容語各々との意味的な類似度の最大値を、前記決定された記号の文特徴量の成分として追加する。単語間の意味的な類似度は、特許文献３の手法で生成される概念ベクトル集合を用い、単語それぞれの概念ベクトルの間の内積によって算出できる。

（Ｓ７２）ステップＳ７１で抽出された記号の文特徴量と、記号の役割との対応関係を、ＳＶＭ法によって学習することで、任意の文特徴量から記号が装飾の役割か、モダリティの役割かを特定するための分類器を生成する。この生成された分類器が装飾・モダリティ役割分類モデル４９である。装飾・モダリティ役割分類モデル４９は記号変換装置１の記憶部（ハードディスクドライブ装置５４）に保存される。

以上のＳ４１〜４６の学習処理は学習対象であるテキスト集合１６の全ての文書に含まれる記号について実行される。

尚、上記の事例では分類モデル４７，４８，４９はそれぞれステップＳ４２，Ｓ４４，Ｓ４６で作成されているが、単一のステップすなわちステップＳ４２で内容語義辞書２５、モデリティ語義辞書３３を用いて内容語・内容添加・装飾・モダリティ役割分類モデルを作成するようにしてもよい。

［３］入力文１９に含まれる記号の変換文字列２０への変換
入力文１９に含まれる記号の文字列への変換の手順は、役割特定手段１３が当該記号の役割を特定する手順と、変換文字列選択手段１４が前記特定された記号の役割と語義辞書１７とに基づき当該記号を変換文字列２０に変換する手順とからなる。

（３−１）記号の役割を特定する手順
図８を参照しながら記号の役割の特定手順Ｓ８１〜Ｓ９０について説明する。

役割特定手段１３は、入力文１９を受けると、役割分類モデル生成手段１２で生成された３つの分類モデルを用いて、入力文１９に含まれる一記号の役割を特定する。具体的には、入力文１９中の一記号の文特徴量を抽出し、内容語役割分類モデル４７、内容添加役割分類モデル４８、装飾・モダリティ役割分類モデル４９の順で各分類モデルを用いて当該文特量に基づき当該記号の役割を特定する。具体的な特定手順を以下に説明する。

Ｓ８１：入力文１９の形態素解析を行う。

Ｓ８２：内容語の分類における文特徴量の抽出を行うため、Ｓ８１の形態素解析によって得られた入力文１９中の一記号の文特徴量を抽出する。文特徴の抽出には前述のステップＳ５１と同様の方法が適用される。

Ｓ８３：ステップＳ８２で抽出された文特徴量に基づき内容語役割分類モデル４７から当該記号の役割を特定する。

Ｓ８４：ステップＳ８３で特定された当該記号の役割が内容語である場合（Ｙｅｓ）、役割を抽出するステップＳ９０に移行し、当該記号の役割を内容語役割分類モデル４７から内容語と特定する。一方、前記特定された記号の役割が内容語でない場合（Ｎｏ）、ステップＳ８５での内容添加の分類における文特徴量の抽出に進む。

Ｓ８５：内容添加の分類における文特徴量の抽出を行うため、当該記号の文特徴量を抽出する。文特徴の抽出には前述のステップＳ６１と同様の方法が適用される。

Ｓ８６：ステップＳ８５で抽出された文特徴量に基づき内容添加役割分類モデル４８から当該記号の役割を特定する。

Ｓ８７：ステップＳ８６で特定された当該記号の役割が内容添加である場合（Ｙｅｓ）、役割を抽出するＳ９０に移行して、当該記号の役割を内容添加役割分類モデル４８から内容添加と特定する。一方、前記特定された記号の役割が内容添加でない場合（Ｎｏ）、装飾・モダリティの分類における文特徴量の抽出に進む。

Ｓ８８：装飾・モダリティの分類における文特徴量の抽出を行うため、当該記号の文特徴量を抽出する。文特徴の抽出には前述のステップＳ７１と同様の方法が適用される。

Ｓ８９：ステップＳ８８で抽出された文特徴量に基づき装飾・モダリティ役割分類モデル４９から当該記号の役割を特定する。その後、役割を抽出するステップＳ９０に移行する。

Ｓ９０：ステップＳ８３，８６，８９のいずれかで特定された当該記号の役割を各々の分類モデル４７，４８，４９から抽出する。すなわち、Ｓ８３で特定された当該記号の役割としての内容語を内容語役割分類モデル４７から引き出す。Ｓ８６で特定された当該記号の役割としての内容添加を内容添加役割分類モデル４８から引き出す。Ｓ８９で特定された当該記号の役割としての装飾・モダリティを装飾・モダリティ役割分類モデル４９から引き出す。

（３−２）記号を変換文字列２０に変換する手順
変換文字列選択手段１４は、入力文１９中の対象としている一記号に対し、役割特定手段１３によって特定された役割に基づき語義辞書１７（内容語義辞書２５，モダリティ語義辞書３３）から変換文字列２０を抽出することで当該記号の文字列への変換を行う。

図９を参照しながら記号の文字列への変換手順Ｓ９１〜Ｓ９６について説明する。

Ｓ９１：入力文１９とこの入力文中の一記号のステップＳ９０で役割特定手段１３によって抽出された役割を取得する。

Ｓ９２：ステップＳ９１で取得した記号の役割が内容語の役割であった場合（Ｙｅｓ）、ステップＳ９３に移行する。一方、内容語の役割でなかった場合（Ｎｏ）、ステップＳ９４に移行する。

Ｓ９３：前記取得された記号の内容語語義の特定を行う。

図１０を参照しながらステップＳ９３における内容語語義を特定する具体的な手順Ｓ１０１，Ｓ１０２について事例に基づき説明する。

（Ｓ１０１）入力文１９の対象としている一記号に対して内容語語義辞書２５中の当該記号の語義のそれぞれを代入した場合の入力文１９の特徴を抽出し、これを文特徴１０４とする。例えば、入力文１９が、図１６（ｇ）に例示された文書であったとする。図１４に示された内容語語義辞書２５から、図１６（ｅ）に示した記号部の語義集合は（語義ａ：太陽，語義ｂ：夏，語義ｃ：朝，…）である。次に、同記号部に当該記号の語義それぞれを代入した場合の、入力文｛文Ａ（語義ａ）：「午後には太陽がでるよ」，文Ｂ（語義ｂ）：「午後には夏がでるよ」，文Ｃ（語義ｃ）：「午後には朝がでるよ」，…｝の特徴である文特徴（文Ａの文特徴＝Ａ’，文Ｂの文特徴＝Ｂ’，文Ｃの文特徴＝Ｃ’，…）を算出する。文特徴は、特許文献３の手法で生成される概念ベクトル集合を用い、入力文１９中の各単語の概念ベクトルを算出し、これらの概念ベクトルの重心を入力文の特徴ベクトルとする。重心の算出は以下の式（１）による演算によって行う。

（Ｓ１０２）当該記号の各語義の概念ベクトルで定義された各語義の特徴（特徴［語義ａ：太陽］，特徴［語義ｂ：夏］，特徴［語義ｃ：楽しい］，…）と、ステップＳ１０１で抽出した該語義それぞれを代入した場合の入力文の文特徴１０３（文Ａの文特徴＝Ａ’，文Ｂの文特徴＝Ｂ’，文Ｃの文特徴＝Ｃ’，…）とを、語義毎に比較し、最も類似度の高い文特徴を持った語義を、変換文字列と決定する。例えば、語義ａについては、語義ａの特徴である概念ベクトルと、語義ａを入力文に代入した文Ａの文特徴Ａ’とを比較する。

Ｓ９４：ステップＳ９１で該記号の役割がモダリティの役割であった場合（Ｙｅｓ）、ステップＳ９５に移行する。モダリティの役割でなかった場合は、当該記号の役割は内容添加、あるいは、装飾であるため、語義は”無し”として特定して、ステップＳ９６に移行する。

Ｓ９５：当該記号のモダリティ語義の特定を行う。

図１１を参照しながらステップＳ９５におけるモリダリティ語義を特定する具体的な手順Ｓ１１１，Ｓ１１２について事例に基づき説明する。モダリティ語義の特定は、内容語語義の特定手順（Ｓ１０１，Ｓ１０２）と同じ方法で行われる。このとき、辞書はモダリティ語義辞書３３を用いる。

（Ｓ１１１）入力文１９の対象としている一記号に対してモダリティ語義辞書３３中の当該記号の語義のそれぞれを代入した場合の入力文１９の特徴を抽出し、これを文特徴１１３とする。

（Ｓ１１２）当該記号の各語義の概念ベクトルで定義された各語義の特徴と、ステップＳ１１１で抽出した該語義をそれぞれ代入した場合の入力文１９の文特徴１１３とを、語義毎に比較し、最も類似度の高い文特徴を持った語義を、変換文字列２０と決定する。

Ｓ９６：当該記号を、ステップＳ９３，Ｓ９４，Ｓ９５のいずれかで特定された語義に変換する。この語義が当該記号の変換文字列２０として出力される。変換文字列２０は記号変換装置１のＩ／Ｆ（入出力デバイス）５５を介して出力表示される。

［本実施形態の効果］
以上の記号変換装置１によれば、テキスト集合において、文中で記号と共起する語を用いるので、文中の記号について、文脈に即した語義の集合を取得できる。

また、記号の役割に対応した語義集合を格納した語義辞書を予め作成することで、記号の文脈に即した語義の集合が得られ、記号を文字列に変換するための辞書の作成コストの削減が実現する。

さらに、記号が出現するテキスト集合から獲得した文特徴量と記号の役割の関係性に基づき生成された記号の役割を特定するための分類器（内容語役割分類モデル４７，内容添加役割分類モデル４８，装飾・モダリティ役割分類モデル４９）に基づき役割の特定を行う。これにより、文中の記号について、文脈に即した役割を特定することができる。例えば、記号の役割として、内容語、内容添加、装飾、モダリティ等を特定できる。

また、記号の役割を特定した後に、変換文字列を決定することで、記号の役割が、変換すべき意味を持つ役割か、そうでない役割かを判別することができる。したがって、文中の記号について、変換すべき役割の記号のみを対応する文字列に変換し、そうでない記号を削除することができる。

［本発明のプログラムとしての態様］
本発明は、専用のハードウェアにより実現されるもの以外に、上述の記号変換装置１を構成する機能手段１１〜１８としてコンピュータを機能させる記号変換プログラムの態様とすることもできる。また、このプログラムを格納したコンピュータ読み取り可能な記録媒体も本発明の一態様となる。記録媒体としては、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭに例示されるような、図１７に示されたＣＰＵ５１が記録媒体読取装置５６を介して読み取り可能な周知の記録媒体５７が挙げられる。または、コンピュータシステムに内蔵されるハードディスクドライブ装置５４等の記憶装置が例示される。さらに、記録媒体としては、通信回線を介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように一定時間プログラムを保持しているものも含まれる。

尚、本発明は、以上の実施の形態に限定されることなく、明細書及び特許請求の範囲内において種々変更・応用が可能である。例えば、記号が用いられている言語の言語処理技術に適用可能である。

１…記号変換装置
１１…語義辞書生成手段
１２…役割分類モデル生成手段（分類器生成手段）
１３…役割特定手段
１４…変換文字列選択手段
１７…語義辞書
１８…役割分類モデル（分類器）

Claims (5)

1. 入力文に含まれる記号を文字列に変換する記号変換装置であって、
   入力文中の単語の品詞と入力文中の記号の出現位置とを成分とする特徴ベクトルである当該記号の文特徴量と、任意の文特徴量から記号の役割を特定するための分類器とに基づき、当該記号の役割を特定する役割特定手段と、
   前記役割特定手段によって特定された当該記号の役割に対応した語義集合を、記号の役割に対応した語義集合を格納した語義辞書から引き出し、この引き出した語義集合のうちで当該記号を語義に置換した当該入力文の文特徴と当該語義との類似度が最も大きい語義を当該記号の変換文字列と決定する変換文字列選択手段と、
   学習用のテキスト集合に含まれるテキスト文書における記号と共起する語を用いて当該記号の役割に対応した語義の集合を抽出することにより前記語義辞書を生成する語義辞書生成手段と、
   前記テキスト集合に含まれるテキスト文書中の単語の品詞と当該文書中の記号の出現位置とを成分とする特徴ベクトルである当該記号の文特徴量を算出し、この算出した文特徴量と当該記号の役割との対応関係を学習することにより前記分類器を作成する分類器生成手段と
   を備え、
   前記分類器生成手段は前記記号の文特徴の成分として前記語義辞書中の前記テキスト文書における記号の語義と当該テキスト文書中の語との意味的な類似度を加えた特徴量を算出し、この算出した文特徴量と当該記号の他の役割との対応関係を学習することにより、前記役割特定手段に供される他の分類器を作成すること
   を特徴とする記号変換装置。
2. 前記役割特定手段は入力文中の記号の文特徴量と前記他の分類器とに基づき当該記号の役割として内容添加、装飾、モダリティのいずれかを特定すること
   を特徴とする請求項１に記載の記号変換装置。
3. 入力文に含まれる記号を文字列に変換する記号変換方法であって、
   役割特定手段が、入力文中の単語の品詞と入力文中の記号の出現位置とを成分とする特徴ベクトルである当該記号の文特徴量と、任意の文特徴量から記号の役割を特定するための分類器とに基づき、当該記号の役割を特定するステップと、
   変換文字列選択手段が、前記役割特定手段によって特定された当該記号の役割に対応した語義集合を、記号の役割に対応した語義集合を格納した語義辞書から引き出し、この引き出した語義集合のうちで当該記号を語義に置換した当該入力文の文特徴と当該語義との類似度が最も大きい語義を当該記号の変換文字列と決定するステップと、
   語義辞書生成手段が、学習用のテキスト集合に含まれるテキスト文書における記号と共起する語を用いて当該記号の役割に対応した語義の集合を抽出することにより前記語義辞書を生成するステップと、
   分類器生成手段が、前記テキスト集合に含まれるテキスト文書中の単語の品詞と当該文書中の記号の出現位置とを成分とする当該記号の文特徴量を算出し、この算出した文特徴量と当該記号の役割との対応関係を学習することにより前記分類器を作成するステップと、
   前記分類器生成手段が、前記記号の文特徴の成分として前記語義辞書中の前記テキスト文書における記号の語義と当該テキスト文書中の語との意味的な類似度を加えた特徴量を算出し、この算出した文特徴量と当該記号の他の役割と対応関係を学習することにより、前記役割を特定するステップに供される他の分類器を作成するステップと
   を有すること
   を特徴とする記号変換方法。
4. 前記役割を特定するステップにおいては、入力文中の記号の文特徴量と前記他の分類器とに基づき当該記号の役割として内容添加、装飾、モダリティのいずれかを特定すること
   を特徴とする請求項３に記載の記号変換方法。
5. 請求項１または２に記載の記号変換装置を構成する各手段としてコンピュータを機能させることを特徴とする記号変換プログラム。

Images