JP6936370B1 - 情報処理システム、及び情報処理プログラム - Google Patents
情報処理システム、及び情報処理プログラム Download PDFInfo
- Publication number
- JP6936370B1 JP6936370B1 JP2020147186A JP2020147186A JP6936370B1 JP 6936370 B1 JP6936370 B1 JP 6936370B1 JP 2020147186 A JP2020147186 A JP 2020147186A JP 2020147186 A JP2020147186 A JP 2020147186A JP 6936370 B1 JP6936370 B1 JP 6936370B1
- Authority
- JP
- Japan
- Prior art keywords
- information
- word
- words
- unknown
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
【課題】処理精度を向上させることが可能となる情報処理システム及び情報処理プログラムを提供すること。【解決手段】１個以上の単語に関する機械学習を行うことにより生成された学習済ＢＥＲＴモデルであって、単語の特徴を示す数値情報を出力する学習済対象モデルについて再度機械学習を行うための情報処理システムであって、学習済ＢＥＲＴモデルにおいて機械学習の対象となっていない未知語を、第１文章情報から取得する取得部２３１と、第２文章情報を用いて、学習済ＢＥＲＴモデルについて、少なくとも取得部２３１が取得した未知語に関する機械学習を行う学習部２３２と、を備え、学習部２３２は、所定の判定基準に基づいて、未知語を機械学習の対象にするか否かを判定し、機械学習の対象にするものと判定した未知語に関する機械学習を学習済対象モデルについて行う。【選択図】図１
Description
本発明は、情報処理システム、及び情報処理プログラムに関する。
従来、自然言語処理を行うための技術が知られていた（例えば、特許文献１）。
ところで、自然言語処理においては、単語について機械学習を行って生成されたモデルを用いて、文章情報に関する様々な処理が行われる場合があった。
しかしながら、このようなモデルを用いて処理を行う場合、処理の対象となる文章情報の分野が機械学習を行った分野とは異なる分野になった場合、処理精度が低下する可能性があり、処理精度向上の観点から改善の余地があった。
本発明は、上記に鑑みてなされたものであって、処理精度を向上させることが可能となる情報処理システム及び情報処理プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、請求項１に記載の情報処理システムは、１個以上の単語に関する機械学習を行うことにより生成された学習済対象モデルであって、単語の特徴を示す数値情報を出力する前記学習済対象モデルについて再度機械学習を行うための情報処理システムであって、前記学習済対象モデルで一意に識別される単語が記録されている単語辞書情報を格納する格納手段と、前記学習済対象モデルにおいて機械学習の対象となっていない未知語であって、少なくとも前記格納手段の前記単語辞書情報に記録されていない単語である前記未知語を、第１文章情報から取得する取得手段と、前記第１文章情報に関連する第２文章情報を用いて、前記学習済対象モデルについて、少なくとも前記取得手段が取得した前記未知語に関する機械学習を行う学習手段と、を備え、前記学習手段は、前記取得手段が取得した前記未知語を前記単語辞書情報に新たに記録する第１処理と、前記第２文章情報に含まれる文章を単語に分割する第２処理と、前記格納手段に格納されている前記単語辞書情報に基づいて、前記第２処理で分割された単語を、各単語を識別するための単語識別情報に変換する第３処理と、前記第３処理で変換された前記単語識別情報に基づいて、前記学習済対象モデルについて機械学習を行う第４処理と、を行う。
請求項２に記載の情報処理システムは、請求項１に記載の情報処理システムにおいて、前記学習手段は、所定の判定基準に基づいて、前記取得手段が取得した前記未知語を機械学習の対象にするか否かを判定し、前記取得手段が取得した前記未知語の内の、機械学習の対象にするものと判定した前記未知語に関する機械学習を前記学習済対象モデルについて行う。
請求項３に記載の情報処理システムは、請求項２に記載の情報処理システムにおいて、前記学習手段は、前記取得手段が取得した前記未知語の品詞に関する基準に基づいて、前記取得手段が取得した前記未知語を機械学習の対象にするか否かを判定する。
請求項４に記載の情報処理システムは、請求項２又は３に記載の演算システムにおいて、前記学習手段は、前記取得手段が取得した前記未知語の、前記第１文章情報又は前記第２文章情報内での出現頻度に関する基準に基づいて、前記取得手段が取得した前記未知語を機械学習の対象にするか否かを判定する。
請求項５に記載の情報処理システムは、請求項１から４の何れか一項に記載の情報処理システムにおいて、前記取得手段は、所定の特定基準に基づいて、前記第１文章情報において重要単語又は重要フレーズを特定し、特定した前記重要単語又は前記重要フレーズに基づいて、前記第１文章情報から前記未知語を取得する。
請求項６に記載の情報処理システムは、請求項１から５の何れか一項に記載の情報処理システムにおいて、前記第１文章情報は、ニュース記事のタイトルに対応する文章を示す情報であり、前記第２文章情報は、ニュース記事の本文に対応する文章を示す情報である。
請求項７に記載の情報処理システムは、請求項１から６の何れか一項に記載の情報処理システムにおいて、前記第３処理において、前記学習手段は、前記第２処理で分割された単語が前記単語辞書情報に記録されている場合に、当該単語を一意に識別するための前記単語識別情報である第１単語識別情報に変換し、前記第２処理で分割された単語が前記単語辞書情報に記録されていない場合に、前記単語辞書情報に記録されていない単語に共通して用いる前記単語識別情報である第２単語識別情報に変換し、前記第４処理において、前記学習手段は、前記第３処理で変換された前記第１単語識別情報及び前記第２単語識別情報に基づいて、前記学習済対象モデルについて機械学習を行う。
請求項７に記載の情報処理システムは、請求項１から６の何れか一項に記載の情報処理システムにおいて、前記第３処理において、前記学習手段は、前記第２処理で分割された単語が前記単語辞書情報に記録されている場合に、当該単語を一意に識別するための前記単語識別情報である第１単語識別情報に変換し、前記第２処理で分割された単語が前記単語辞書情報に記録されていない場合に、前記単語辞書情報に記録されていない単語に共通して用いる前記単語識別情報である第２単語識別情報に変換し、前記第４処理において、前記学習手段は、前記第３処理で変換された前記第１単語識別情報及び前記第２単語識別情報に基づいて、前記学習済対象モデルについて機械学習を行う。
請求項８に記載の情報処理プログラムは、１個以上の単語に関する機械学習を行うことにより生成された学習済対象モデルであって、単語の特徴を示す数値情報を出力する前記学習済対象モデルについて再度機械学習を行うための情報処理プログラムであって、コンピュータを、前記学習済対象モデルにおいて機械学習の対象となっていない未知語であって、少なくとも前記学習済対象モデルで一意に識別される単語が記録されている単語辞書情報を格納する格納手段に格納されている前記単語辞書情報に記録されていない単語である前記未知語を、第１文章情報から取得する取得手段と、前記第１文章情報に関連する第２文章情報を用いて、前記学習済対象モデルについて、少なくとも前記取得手段が取得した前記未知語に関する機械学習を行う学習手段と、として機能させ、前記学習手段は、前記取得手段が取得した前記未知語を前記単語辞書情報に新たに記録する第１処理と、前記第２文章情報に含まれる文章を単語に分割する第２処理と、前記格納手段に格納されている前記単語辞書情報に基づいて、前記第２処理で分割された単語を、各単語を識別するための単語識別情報に変換する第３処理と、前記第３処理で変換された前記単語識別情報に基づいて、前記学習済対象モデルについて機械学習を行う第４処理と、を行う。
請求項１に記載の情報処理システム、及び請求項８に記載の情報処理プログラムによれば、例えば、学習済対象モデルを更新することができるので、当該学習済対象モデルに基づいて行う処理の処理精度を向上させることが可能となる。また、例えば、新たに学習済対象モデルを生成するわけではないので、比較的少ない情報量の第２文章情報を用いて機械学習を行うことができるので、当該機械学習を行う時間を短縮することが可能となる。
請求項２に記載の情報処理システムによれば、取得手段が取得した未知語の内の、機械学習の対象にするものと判定した未知語に関する機械学習を学習済対象モデルについて行うことにより、例えば、未知語を適切に絞ることができるので、機械学習を行う時間を短縮することが可能となる。
請求項３に記載の情報処理システムによれば、品詞に関する基準に基づいて未知語を機械学習の対象にするか否かを判定することにより、例えば、機械学習の対象にするか否かを適切に判定することが可能となる。
請求項４に記載の情報処理システムによれば、出現頻度に関する基準に基づいて未知語を機械学習の対象にするか否かを判定することにより、例えば、機械学習の対象にするか否かを適切に判定することが可能となる。
請求項５に記載の情報処理システムによれば、第１文章情報において特定した重要単語又は重要フレーズに基づいて、第１文章情報から未知語を取得することにより、例えば、有用な未知語を取得することができるので、学習済対象モデルに基づいて行う処理の処理精度を向上させることが可能となる。
請求項６に記載の情報処理システムによれば、第１文章情報はニュース記事のタイトルに対応する文章を示す情報であり、第２文章情報はニュース記事の本文に対応する文章を示す情報であることにより、例えば、未知語に関して適切に機械学習を行うことができるので、学習済対象モデルに基づいて行う処理の処理精度を向上させることが可能となる。
以下、本発明に係る情報処理システム、及び情報処理プログラムの実施の形態について図面を参照しつつ詳細に説明する。ただし、実施の形態によって本発明が限定されるものではない。ここでは、基本的概念、及び用語を説明した後に、具体的な実施の形態について説明する。
（基本的概念）
まず、基本的概念について説明する。本発明に係る情報処理システムは、学習済対象モデルについて再度機械学習（つまり、「再学習」）を行うためのシステムであり、例えば、再度機械学習を行うための専用システム、あるいは、汎用的に用いられるシステム（一例としては、汎用コンピュータ、サーバコンピュータ、あるいは、ネットワーク上に分散配置された複数のコンピュータ（つまり、いわゆるクラウドコンピュータ）等）に対して、情報処理プログラムをインストールして再度機械学習を行うための機能を実装することにより実現されるシステム等を含む概念である。
まず、基本的概念について説明する。本発明に係る情報処理システムは、学習済対象モデルについて再度機械学習（つまり、「再学習」）を行うためのシステムであり、例えば、再度機械学習を行うための専用システム、あるいは、汎用的に用いられるシステム（一例としては、汎用コンピュータ、サーバコンピュータ、あるいは、ネットワーク上に分散配置された複数のコンピュータ（つまり、いわゆるクラウドコンピュータ）等）に対して、情報処理プログラムをインストールして再度機械学習を行うための機能を実装することにより実現されるシステム等を含む概念である。
「学習済対象モデル」とは、１個以上の単語に関する機械学習を行うことにより生成されるモデルであって、単語の特徴を示す数値情報を出力するモデルである。「単語の特徴を示す数値情報」とは、例えば、単語の特徴を示す分散表現に対応する数値情報であり、すなわち、単語の分散表現に対応するベクトル情報を示す数値情報等を含む概念である。「単語の特徴」とは、単語の意味に対応する概念であるものと解釈してもよい。学習済対象モデルは任意であるが、例えば、公知のＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）に対応する自然言語処理のモデル、あるいは、前述の定義に従う他の任意のモデル等を含む概念である。
情報処理システムは、例えば、取得手段、及び学習手段を備え、任意で格納手段を備える。
＝＝＝各手段＝＝＝
「取得手段」とは、学習済対象モデルにおいて機械学習の対象となっていない未知語を、第１文章情報から取得する手段である。また、「取得手段」とは、例えば、所定の特定基準に基づいて、第１文章情報において重要単語又は重要フレーズを特定し、特定した重要単語又は重要フレーズに基づいて、第１文章情報から未知語を取得する手段等を含む概念である。また、「取得手段」とは、例えば、第１文章情報に含まれる単語の内の、単語辞書情報に記録されている単語以外の単語を、未知語として取得する手段等を含む概念である。
「取得手段」とは、学習済対象モデルにおいて機械学習の対象となっていない未知語を、第１文章情報から取得する手段である。また、「取得手段」とは、例えば、所定の特定基準に基づいて、第１文章情報において重要単語又は重要フレーズを特定し、特定した重要単語又は重要フレーズに基づいて、第１文章情報から未知語を取得する手段等を含む概念である。また、「取得手段」とは、例えば、第１文章情報に含まれる単語の内の、単語辞書情報に記録されている単語以外の単語を、未知語として取得する手段等を含む概念である。
「学習手段」とは、第２文章情報を用いて、学習済対象モデルについて、少なくとも取得手段が取得した未知語に関する機械学習を行う手段である。また、「学習手段」とは、例えば、所定の判定基準に基づいて、取得手段が取得した未知語を機械学習の対象にするか否かを判定し、取得手段が取得した未知語の内の、機械学習の対象にするものと判定した未知語に関する機械学習を学習済対象モデルについて行う手段等を含む概念である。
また、「学習手段」とは、例えば、取得手段が取得した未知語の品詞に関する基準に基づいて、取得手段が取得した未知語を機械学習の対象にするか否かを判定する手段等を含む概念である。また、「学習手段」とは、例えば、取得手段が取得した未知語の、第１文章情報又は第２文章情報内での出現頻度に関する基準に基づいて、取得手段が取得した未知語を機械学習の対象にするか否かを判定する手段等を含む概念である。
また、「学習手段」とは、例えば、取得手段が取得した未知語を単語辞書情報に新たに記録し、第２文章情報を用いて、学習済対象モデルについて、少なくとも単語辞書情報に新たに記録した未知語に関する機械学習を行う手段等を含む概念である。
「格納手段」とは、学習済対象モデルで一意に識別される単語が記録されている単語辞書情報を格納する手段である。
＝＝＝各用語＝＝＝
「未知語」とは、学習済対象モデルにおいて機械学習の対象となっていない単語であり、具体的には、学習済対象モデルにおいて一意に識別可能となっていない単語等を含む概念であり、例えば、単語辞書情報に記録されていない単語等を含む概念である。
「未知語」とは、学習済対象モデルにおいて機械学習の対象となっていない単語であり、具体的には、学習済対象モデルにおいて一意に識別可能となっていない単語等を含む概念であり、例えば、単語辞書情報に記録されていない単語等を含む概念である。
「単語辞書情報」とは、例えば、学習済対象モデルで一意に識別される単語が記録されている情報である。例えば、学習済対象モデルを用いて処理を行う場合、この単語辞書情報に記録されている単語については、一意に識別して当該単語の特徴を示す数値情報を出力することが可能となる。
「所定の特定基準」とは、第１文章情報において重要単語又は重要フレーズを特定するための基準である。「単語」とは、例えば、意味又は機能をもった最小単位等を含む概念であるものと解釈してもよく、また、「フレーズ」とは、例えば、複数個分の単語に対応する概念であるものと解釈してもよい。すなわち、例えば、「フレーズ」とは、２語以上の単語に対応する概念であるものと解釈してもよい。
「所定の判定基準」とは、未知語を機械学習の対象にするか否かを判定するための基準である。この判定基準は任意であるが、例えば、未知語の品詞に関する基準、未知語の出現頻度に関する基準、これらの組み合わせ、あるいは、その他の基準等を含む概念である。
「第１文章情報」とは、例えば、少なくとも未知語を取得される対象となる文章（つまり、１個以上の文の集合）を示す情報であり、一例としては、ニュース記事のタイトルに対応する文章を示す情報等を含む概念である。「第２文章情報」とは、例えば、学習済対象モデルについて少なくとも未知語に関する機械学習を行うための情報であり、一例としては、ニュース記事の本文に対応する文章を示す情報等を含む概念である。なお、第１文章情報及び第２文章情報としては、ニュース記事に関する情報以外の任意の情報（例えば、ブログに関する情報、あるいは、公知のコーパス情報等）を用いてもよい。
前述の学習済対象モデル（再学習された学習済対象モデルを含む）の直接的な又は間接的な利用例は任意であり、自然言語処理に関する様々なタスクを実行する処理に利用することができ、例えば、分類、予測、生成等に関する様々なタスクを実行するために学習済対象モデルを利用してもよく、すなわち、学習済対象モデルを利用して、読解、含意、換言、対話、要約、又は翻訳等の任意の処理を行うように構成してもよい。
そして、以下に示す実施の形態では、例えば、ニュース記事をカテゴリに分けるタスク（つまり、分類タスク）に、学習済対象モデルを再学習して利用する場合を例示して説明する。なお、「カテゴリ」とは、ニュース記事の記載内容に基づく分類のグループであり、本実施の形態では、所定個数（例えば、１０個〜２０個等）のカテゴリ（一例としては、「製品紹介」のカテゴリ、「製品比較」のカテゴリ等）が予め定められており、各ニュース記事を何れかのカテゴリに分ける場合を例示して説明する。
（構成）
まず、本実施の形態に係る情報システムについて説明する。図１は、本発明の実施の形態が情報システムのブロック図である。
まず、本実施の形態に係る情報システムについて説明する。図１は、本発明の実施の形態が情報システムのブロック図である。
情報システム１００は、例えば、端末装置１、及びサーバ装置２を備える。なお、端末装置１の個数は任意であり、複数個設けてもよいが、図１に図示されているものに着目して説明する。
（構成−端末装置）
端末装置１は、ユーザによって用いられる装置であり、具体的には、サーバ装置２に対してネットワークを介して通信可能に接続されている装置であり、例えば、パーソナルコンピュータ等を含むコンピュータである。なお、端末装置１の具体的な構成は任意であるが、例えば、公知のパーソナルコンピュータの構成を適用することができる。
端末装置１は、ユーザによって用いられる装置であり、具体的には、サーバ装置２に対してネットワークを介して通信可能に接続されている装置であり、例えば、パーソナルコンピュータ等を含むコンピュータである。なお、端末装置１の具体的な構成は任意であるが、例えば、公知のパーソナルコンピュータの構成を適用することができる。
（構成−サーバ装置）
サーバ装置２は、情報処理システムであり、例えば、通信部２１、記録部２２、及び制御部２３を備える。
サーバ装置２は、情報処理システムであり、例えば、通信部２１、記録部２２、及び制御部２３を備える。
（構成−サーバ装置−通信部）
図１の通信部２１は、外部装置（例えば、端末装置１）との間で通信するための通信手段である。この通信部２１の具体的な種類や構成は任意であるが、例えば、公知の通信回路等を用いて構成することができる。
図１の通信部２１は、外部装置（例えば、端末装置１）との間で通信するための通信手段である。この通信部２１の具体的な種類や構成は任意であるが、例えば、公知の通信回路等を用いて構成することができる。
（構成−サーバ装置−記録部）
図１の記録部２２は、サーバ装置２の動作に必要なプログラム及び各種のデータを記録する記録手段（格納手段）であり、例えば、外部記録装置としてのハードディスク又はフラッシュメモリ（図示省略）を用いて構成されている。ただし、ハードディスク又はフラッシュメモリに代えてあるいはハードディスク又はフラッシュメモリと共に、磁気ディスクの如き磁気的記録媒体、又はＤＶＤやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる。
図１の記録部２２は、サーバ装置２の動作に必要なプログラム及び各種のデータを記録する記録手段（格納手段）であり、例えば、外部記録装置としてのハードディスク又はフラッシュメモリ（図示省略）を用いて構成されている。ただし、ハードディスク又はフラッシュメモリに代えてあるいはハードディスク又はフラッシュメモリと共に、磁気ディスクの如き磁気的記録媒体、又はＤＶＤやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる。
記録部２２には、例えば、図１に示すように、ＢＥＲＴ用単語辞書情報、学習済ＢＥＲＴモデル、タスクモデル、形態素解析用単語辞書情報、再学習用情報、及び分類対象情報が格納されている。
（構成−サーバ装置−記録部−ＢＥＲＴ用単語辞書情報）
図１の「ＢＥＲＴ用単語辞書情報」とは、前述の単語辞書情報であり、学習済ＢＥＲＴモデルで一意に識別される単語が記録されている情報であり、例えば、各単語を、当該各単語を識別するための単語ＩＤに変換するための情報である。
図１の「ＢＥＲＴ用単語辞書情報」とは、前述の単語辞書情報であり、学習済ＢＥＲＴモデルで一意に識別される単語が記録されている情報であり、例えば、各単語を、当該各単語を識別するための単語ＩＤに変換するための情報である。
図２は、ＢＥＲＴ用単語辞書情報を例示した図である。このＢＥＲＴ用単語辞書情報は任意であるが、例えば、学習済ＢＥＲＴモデルで一意に識別される単語等が各行に１個ずつ記録されているテキストファイルであり、一例としては、図２に示すように、１行目〜４行目等に「ＵＮＫ」、「来年」、「第５世代通信」、「と」等が格納されているテキストファイルであることとして説明する。なお、ここでの「ＵＮＫ」については、他の単語（「来年」、「第５世代通信」、「と」等）とは異なる性質の情報であり、ＢＥＲＴ用単語辞書情報に具体的に格納（記録）されている単語以外の単語を、単語ＩＤに変換するための情報である。
なお、ＢＥＲＴ用単語辞書情報を用いて単語ＩＤに変換する具体的な処理は任意であるが、例えば、制御部２３が、図２のＢＥＲＴ用単語辞書情報において、変換の対象となる単語と同じ単語を特定し、当該特定した単語が記録されている図２のＢＥＲＴ用単語辞書情報であるファイル中の行番号（つまり、何行目であるか）に対応する単語ＩＤに変換するものとして、以下説明する。
ここでは、例えば、「来年」については、図２のＢＥＲＴ用単語辞書情報において２行目に記録されているので、当該２行目に対応する単語ＩＤである「ＩＤ２」（便宜上の記載）に変換し、また、同様にして、「第５世代通信」及び「と」については「ＩＤ３」（３行目に対応する単語ＩＤ）及び「ＩＤ４」（４行目に対応する単語ＩＤ）に変換することになる。一方で、「〇〇サービス」、「△△プラン」、及び「××データ」が図２のＢＥＲＴ用単語辞書情報に格納されていない場合、これらの単語は全て図２のＢＥＲＴ用単語辞書情報の「ＵＮＫ」が格納されている１行目に対応する「ＩＤ１」に変換することになる。
そして、このようなＢＥＲＴ用単語辞書情報の具体的な格納手法は任意であるが、例えば、機械学習（つまり、初回の機械学習）を行うことにより学習済ＢＥＲＴモデルを生成する場合に、当該機械学習で学習の対象となる所定個数分（例えば、「ＵＮＫ」を含めて３２０００個分）の単語等が、ＢＥＲＴ用単語辞書情報の初期値として格納される。そして、この後に後述する再学習処理を行うことにより、適宜追加の単語が当該ＢＥＲＴ用単語辞書情報に格納されることになる。
学習済ＢＥＲＴモデルを生成するための機械学習（つまり、初回の機械学習）は公知であるので、概要のみ説明する。具体的には、大量の学習用データとしてニュース記事、又は論文記事等の任意の文章を入力した場合に、制御部２３が、当該入力された情報から任意の手法で、ＢＥＲＴ用単語辞書情報に初期値として格納するべき個数の単語（例えば、「ＵＮＫ」を除く３１９９９個の単語）を取得し、取得した単語をＢＥＲＴ用単語辞書情報に初期値として格納し、当該ＢＥＲＴ用単語辞書情報を用いて前述の入力された文章の各文に含まれる単語の並びを単語ＩＤの並びに変換し、当該変換された単語ＩＤの並びに基づいて機械学習を行うことにより、学習済ＢＥＲＴモデルを生成することとする。このように処理することにより、単語ＩＤの並びが示す前述の入力された文章中の各文における単語の並び（つまり、文脈）を考慮した機械学習が行われることになり、当該機械学習により学習済ＢＥＲＴモデルが生成されることになる。
なお、前述したように、ＢＥＲＴ用単語辞書情報を利用して変換した単語ＩＤを用いて行われる機械学習により、学習済ＢＥＲＴモデルが生成されるので、ＢＥＲＴ用単語辞書情報には、学習済ＢＥＲＴモデルで一意に識別される単語等が格納されることになる。
なお、ＢＥＲＴ用単語辞書情報の初期値については、その他の様々な手法で格納されることとしてもよく、例えば、管理者が決定した情報を任意の手法（例えば、サーバ装置２の不図示の入力手段（キーボード又はマウス等）を用いる手法、あるいは、メモリスティック等の記録媒体を用いる手法等）でサーバ装置２に入力し、当該入力された情報がＢＥＲＴ用単語辞書情報の初期値として記録されることとしてもよい。また、この場合、制御部２３は、当該ＢＥＲＴ用単語辞書情報の初期値（つまり、管理者が決定した情報に対応する情報）に基づいて、前述の入力された文章の各文に含まれる単語の並びを単語ＩＤの並びに変換した上で、学習済ＢＥＲＴモデルを生成することとしてもよい。
また、学習済ＢＥＲＴモデルを生成する装置はサーバ装置２に限らず、他の装置において、ＢＥＲＴ用単語辞書情報を適宜用いて学習済ＢＥＲＴモデルを生成した上で、当該生成した学習済ＢＥＲＴモデルを前述のＢＥＲＴ用単語辞書情報（学習済ＢＥＲＴモデルの生成時に用いられたＢＥＲＴ用単語辞書情報）と共にサーバ装置２に入力して格納してもよい。
（構成−サーバ装置−記録部−学習済ＢＥＲＴモデル）
図３は、サーバ装置に記録されている各モデルの説明図である。図１の「学習済ＢＥＲＴモデル」とは、例えば、図３の「モデル」＝「学習済ＢＥＲＴモデル」の欄に図示されているように、単語ＩＤの並びが入力され、当該入力された単語ＩＤ各々に対応する分散表現数値情報の並びを出力するモデルである。なお、「分散表現数値情報」とは、単語ＩＤが識別する単語の分散表現に対応する数値情報を示す概念である。
図３は、サーバ装置に記録されている各モデルの説明図である。図１の「学習済ＢＥＲＴモデル」とは、例えば、図３の「モデル」＝「学習済ＢＥＲＴモデル」の欄に図示されているように、単語ＩＤの並びが入力され、当該入力された単語ＩＤ各々に対応する分散表現数値情報の並びを出力するモデルである。なお、「分散表現数値情報」とは、単語ＩＤが識別する単語の分散表現に対応する数値情報を示す概念である。
そして、このような学習済ＢＥＲＴモデルの具体的な格納手法は任意であるが、例えば、前述の「初回の機械学習」を行うことにより生成されて格納され、この後、後述する再学習処理（図６）を行うことにより更新されることになり、更にこの後に、タスクモデルを生成する場合に利用される情報（つまり、例えばニュース記事のタイトルの文章）を用いて再度機械学習を行って更新されることになる。そして、本実施の形態では、説明の便宜上、各段階での学習済モデルを区別して説明する必要がある場合、前述の「初回の機械学習」を行って生成された学習済ＢＥＲＴモデルを「事前学習済ＢＥＲＴモデル」と称し、また、後述する再学習処理（図６）を行うことにより更新された学習済ＢＥＲＴモデルを「未知語学習済ＢＥＲＴモデル」と称し、また、タスクモデルを生成する場合に利用される情報（つまり、例えばニュース記事のタイトルの文章）を用いて再度機械学習を行って更新された学習済ＢＥＲＴモデルを「分類学習済ＢＥＲＴモデル」と称する。
また、本実施の形態では、「事前学習済ＢＥＲＴモデル」が「学習済対象モデル」に対応するものと解釈してもよい。なお、この対応関係の解釈に限定せずに、例えば、再学習処理（図６）を実行する対象となる学習済ＢＥＲＴモデルに応じて他の解釈を適用することもできる。
なお、「分類学習済ＢＥＲＴモデル」を更新するために行われる、タスクモデルを生成する場合に利用される情報（つまり、例えばニュース記事のタイトルの文章）を用いて行われる「未知語学習済ＢＥＲＴモデル」に対する機械学習は、前述の「初回の機械学習」（つまり、「事前学習済ＢＥＲＴモデル」を生成するための機械学習）と同様に公知であるので、詳細の説明は省略して概要のみを説明する。すなわち、この機械学習の処理においては、ＢＥＲＴ用単語辞書情報に対する情報の追加等は行わずに、「未知語学習済ＢＥＲＴモデル」を、タスクモデルを生成する場合に利用される情報（例えばニュース記事のタイトルの文章）側に寄せて（つまり、タスクモデルを生成する場合に利用される情報に特化させて）、「分類学習済ＢＥＲＴモデル」に更新することになる。
（構成−サーバ装置−記録部−タスクモデル）
図１の「タスクモデル」とは、タスクを実行するためのモデルであり、具体的には、学習済ＢＥＲＴモデル（詳細には、例えば「分類学習済ＢＥＲＴモデル」）を用いて行わる処理結果を利用してタスクを実行するためのモデルであり、本実施の形態では、ニュース記事をカテゴリに分けるタスクを実行するためのモデルである。このタスクモデルは、例えば、図３の「モデル」＝「タスクモデル」の欄に図示されているように、分散表現数値情報の並びが入力され、当該入力された分散表現数値情報の並びが属するカテゴリを示す情報（つまり、一例としては、ニュース記事が属するカテゴリを示す情報であり、ニュース記事がどのカテゴリに属するかを示す情報）を出力するモデルである。なお、ここで説明したように、タスクモデルについては、例えば「分類学習済ＢＥＲＴモデル」を用いて行われる処理の結果を利用して実行することが好ましいが、例えば、「未知語学習済ＢＥＲＴモデル」を用いて行われる処理の結果を利用して実行してもよい。
図１の「タスクモデル」とは、タスクを実行するためのモデルであり、具体的には、学習済ＢＥＲＴモデル（詳細には、例えば「分類学習済ＢＥＲＴモデル」）を用いて行わる処理結果を利用してタスクを実行するためのモデルであり、本実施の形態では、ニュース記事をカテゴリに分けるタスクを実行するためのモデルである。このタスクモデルは、例えば、図３の「モデル」＝「タスクモデル」の欄に図示されているように、分散表現数値情報の並びが入力され、当該入力された分散表現数値情報の並びが属するカテゴリを示す情報（つまり、一例としては、ニュース記事が属するカテゴリを示す情報であり、ニュース記事がどのカテゴリに属するかを示す情報）を出力するモデルである。なお、ここで説明したように、タスクモデルについては、例えば「分類学習済ＢＥＲＴモデル」を用いて行われる処理の結果を利用して実行することが好ましいが、例えば、「未知語学習済ＢＥＲＴモデル」を用いて行われる処理の結果を利用して実行してもよい。
そして、このようなタスクモデルの具体的な格納手法は任意であるが、例えば、ニュース記事のタイトルの文章と、当該ニュース記事が属するカテゴリを示す情報とを用いて、教師ありの機械学習を行うことによりタスクモデルを生成し、当該生成したタスクモデルが格納されることとしてもよい。なお、このタスクモデルについては、サーバ装置２において生成してもよいし、あるいは、他の装置で生成してもよい。
（構成−サーバ装置−記録部−形態素解析用単語辞書情報）
図１の「形態素解析用単語辞書情報」とは、文を単語に分割するための形態素解析において用いられる情報である。図４は、形態素解析用辞書情報を例示した図である。この形態素解析用単語辞書情報においては、例えば図４に示すように、項目「単語情報」に対応する情報と、項目「品詞情報」に対応する情報と、項目「読み情報」に対応する情報とが相互に関連付けられている。
図１の「形態素解析用単語辞書情報」とは、文を単語に分割するための形態素解析において用いられる情報である。図４は、形態素解析用辞書情報を例示した図である。この形態素解析用単語辞書情報においては、例えば図４に示すように、項目「単語情報」に対応する情報と、項目「品詞情報」に対応する情報と、項目「読み情報」に対応する情報とが相互に関連付けられている。
項目「単語情報」に対応する情報は、単語を示す単語情報である（図４では、「ＡＢフォン」等）。項目「品詞情報」に対応する情報は、単語の品詞を示す品詞情報である（図４では、「名詞」、不図示の「動詞」、「助動詞」等）。項目「読み情報」に対応する情報は、単語の読みを示す読み情報である（図４では、「エービーフォン」等）。
そして、この図４の形態素解析用単語辞書情報の例えば最上段の情報（「ＡＢフォン」、「名詞」、及び「エービーフォン」の組み合わせの情報）については、「ＡＢフォン」という単語の品詞が「名詞」であり、また、当該「ＡＢフォン」の読みが「エービーフォン」であることが示されている。なお、この形態素解析用単語辞書情報の格納手法は任意であるが、例えば、任意の手法でサーバ装置２に情報を入力することにより格納されることとしてもよい（後述する再学習用情報、及び分類対象情報も同様である）。
（構成−サーバ装置−記録部−再学習用情報）
図１の「再学習用情報」とは、学習済ＢＥＲＴモデルの再学習のために用いられる情報であり、例えば、後述する再学習処理（図６）で用いられる情報である。図５は、再学習用情報の説明図である。この再学習用情報としては任意の情報を用いることができるが、例えば、後述する分類対象情報に関連する情報を用いてもよいし、あるいは、関連しない情報を用いてもよいが、本実施の形態では、分類対象情報が通信分野に属するニュース記事であり、再学習用情報としては、この分類対象情報が属する分野と同じ分野である通信分野のニュース記事を用いる場合について説明する。ここでは、例えば、図５に示すように、ニュース記事がタイトルと本文とによって構成されており、「記事番号」＝「１」に対応する記事（つまり、タイトルが「ＡＢフォンＸＲとＢＣフォンを比べた！」であり、本文が「先日リリースされたＡＢフォンＸＲとＢＣフォンのスペックは・・・である。そして、これらを比較すると、・・・・が優位である。」である記事）、「記事番号」＝「２」に対応する記事（つまり、タイトルが「第５世代通信時代をリードするＢＢが登場した。」であり、本文が「第５世代通信時代のサービスが昨年のｘｘ月に開始したが、このサービスが普及すると、・・・となる。」である記事）、及び「記事番号」＝「３」、「４」等に対応する記事を含む複数の通信分野の記事が再学習用情報として格納されている場合について説明する。
図１の「再学習用情報」とは、学習済ＢＥＲＴモデルの再学習のために用いられる情報であり、例えば、後述する再学習処理（図６）で用いられる情報である。図５は、再学習用情報の説明図である。この再学習用情報としては任意の情報を用いることができるが、例えば、後述する分類対象情報に関連する情報を用いてもよいし、あるいは、関連しない情報を用いてもよいが、本実施の形態では、分類対象情報が通信分野に属するニュース記事であり、再学習用情報としては、この分類対象情報が属する分野と同じ分野である通信分野のニュース記事を用いる場合について説明する。ここでは、例えば、図５に示すように、ニュース記事がタイトルと本文とによって構成されており、「記事番号」＝「１」に対応する記事（つまり、タイトルが「ＡＢフォンＸＲとＢＣフォンを比べた！」であり、本文が「先日リリースされたＡＢフォンＸＲとＢＣフォンのスペックは・・・である。そして、これらを比較すると、・・・・が優位である。」である記事）、「記事番号」＝「２」に対応する記事（つまり、タイトルが「第５世代通信時代をリードするＢＢが登場した。」であり、本文が「第５世代通信時代のサービスが昨年のｘｘ月に開始したが、このサービスが普及すると、・・・となる。」である記事）、及び「記事番号」＝「３」、「４」等に対応する記事を含む複数の通信分野の記事が再学習用情報として格納されている場合について説明する。
なお、ここでの「再学習用情報」であるニュース記事のタイトルが「第１文章情報」に対応し、また、当該ニュース記事の本文が「第２文章情報」に対応するものと解釈してもよい。
（構成−サーバ装置−記録部−分類対象情報）
図１の「分類対象情報」とは、学習済ＢＥＲＴモデル（詳細には、例えば「分類学習済ＢＥＲＴモデル」）及びタスクモデルを用いてカテゴリに分けられる対象となる情報である。この分類対象情報としては任意の情報を用いることができるが、例えば、前述したように、通信分野に属するニュース記事であり、図５に例示されている再学習用情報としてのニュース記事と同様な形式の他の情報であり、すなわち、タイトルと本文とによって構成されている他のニュース記事を示す情報を用いることとする。なお、この分類対象情報としてのニュース記事の個数は任意であるが、例えば、数百個〜数千個、あるいは、数万個のニュース記事が格納されていることとしてもよい。
図１の「分類対象情報」とは、学習済ＢＥＲＴモデル（詳細には、例えば「分類学習済ＢＥＲＴモデル」）及びタスクモデルを用いてカテゴリに分けられる対象となる情報である。この分類対象情報としては任意の情報を用いることができるが、例えば、前述したように、通信分野に属するニュース記事であり、図５に例示されている再学習用情報としてのニュース記事と同様な形式の他の情報であり、すなわち、タイトルと本文とによって構成されている他のニュース記事を示す情報を用いることとする。なお、この分類対象情報としてのニュース記事の個数は任意であるが、例えば、数百個〜数千個、あるいは、数万個のニュース記事が格納されていることとしてもよい。
（構成−サーバ装置−制御部）
図１の制御部２３は、サーバ装置２を制御する制御手段であり、具体的には、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを格納するためのＲＡＭの如き内部メモリを備えて構成されるコンピュータである。特に、実施の形態に係るプログラムは、任意の記録媒体又はネットワークを介してサーバ装置２にインストールされることで、制御部２３の各部を実質的に構成する。
図１の制御部２３は、サーバ装置２を制御する制御手段であり、具体的には、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを格納するためのＲＡＭの如き内部メモリを備えて構成されるコンピュータである。特に、実施の形態に係るプログラムは、任意の記録媒体又はネットワークを介してサーバ装置２にインストールされることで、制御部２３の各部を実質的に構成する。
この制御部２３は、機能概念的に、例えば、取得部２３１、及び学習部２３２を備える。取得部２３１は、学習済ＢＥＲＴモデルにおいて機械学習の対象となっていない未知語を、第１文章情報（再学習用情報であるニュース記事のタイトルに対応する文章）から取得する取得手段である。学習部２３２は、第２文章情報（再学習用情報であるニュース記事の本文に対応する文章）を用いて、学習済ＢＥＲＴモデルについて、少なくとも取得部２３１が取得した未知語に関する機械学習を行う学習手段である。なお、このような制御部２３の各部によって行われる処理については、後述する。
（処理）
次に、このように構成される情報システム１００によって行われる処理として、例えば、再学習処理、及び分類処理について説明する。
次に、このように構成される情報システム１００によって行われる処理として、例えば、再学習処理、及び分類処理について説明する。
（処理−再学習処理）
図６は、再学習処理のフローチャートである（以下では、各ステップを「Ｓ」と称する）。再学習処理は、サーバ装置２で行われる処理であり、概略的には、機械学習を行うことにより生成された学習済ＢＥＲＴモデルについて再学習する処理である。この再学習処理を実行するタイミングは任意であるが、例えば、新たな分野の多数のニュース記事が分類対象情報（図１）として入力されて記録され、後述する分類処理（つまり、当該ニュース記事をカテゴリに分ける処理）を行う前の所定のタイミングであって、当該分類対象情報と同じ分野の他の多数のニュース記事が再学習用情報（図１）として入力されて記録された後の、所定のタイミング（例えば、ユーザが端末装置１を介して再学習処理を実行する操作を行ったタイミング等）に、起動することとし、再学習処理が起動したところから説明する。
図６は、再学習処理のフローチャートである（以下では、各ステップを「Ｓ」と称する）。再学習処理は、サーバ装置２で行われる処理であり、概略的には、機械学習を行うことにより生成された学習済ＢＥＲＴモデルについて再学習する処理である。この再学習処理を実行するタイミングは任意であるが、例えば、新たな分野の多数のニュース記事が分類対象情報（図１）として入力されて記録され、後述する分類処理（つまり、当該ニュース記事をカテゴリに分ける処理）を行う前の所定のタイミングであって、当該分類対象情報と同じ分野の他の多数のニュース記事が再学習用情報（図１）として入力されて記録された後の、所定のタイミング（例えば、ユーザが端末装置１を介して再学習処理を実行する操作を行ったタイミング等）に、起動することとし、再学習処理が起動したところから説明する。
ここでは、例えば、前述の図１の記録部２２において、「初回の機械学習」を行うことにより、前述の初期値がＢＥＲＴ用単語辞書情報として記録されており、学習済ＢＥＲＴモデルとして「事前学習済ＢＥＲＴモデル」が記録されている場合を例示して説明する。また、例えば、分類対象情報が通信分野のニュース記事であるので、当該通信分野に関する単語について適切に分散表現数値情報を出力できるように、当該通信分野の他のニュース記事を用いて学習済ＢＥＲＴモデル（詳細には、「事前学習済ＢＥＲＴモデル」）を再学習して「未知語学習済ＢＥＲＴモデル」に更新する場合を例示して説明する。なお、実際には、サーバ装置２では、多数の情報を取り扱うことになるが、以下の説明では、説明の便宜上、一部の情報の取り扱いを例示して説明する。
＝＝＝ＳＡ１＝＝＝
図６のＳＡ１において取得部２３１は、再学習用情報を取得する。具体的には任意であるが、例えば、図１の記録部２２に再学習用情報として記録されているニュース記事のタイトルを取得する。
図６のＳＡ１において取得部２３１は、再学習用情報を取得する。具体的には任意であるが、例えば、図１の記録部２２に再学習用情報として記録されているニュース記事のタイトルを取得する。
ここでは、例えば、図５に例示されている「記事番号」＝「１」〜「４」等のニュース記事のタイトルを取得する。すなわち、「ＡＢフォンＸＲとＢＣフォンを比べた！」、及び「第５世代通信時代をリードするＢＢが登場した。」等の複数の文を含む文章情報を取得する。
＝＝＝ＳＡ２＝＝＝
図６のＳＡ２において取得部２３１は、ＳＡ１で取得した再学習用情報の中から重要単語及び重要フレーズを取得する。具体的には任意であるが、例えば、ＳＡ１で取得したニュース記事のタイトルについて、単語に分割する処理、及び重要単語及び重要フレーズを取得する処理を行う。
図６のＳＡ２において取得部２３１は、ＳＡ１で取得した再学習用情報の中から重要単語及び重要フレーズを取得する。具体的には任意であるが、例えば、ＳＡ１で取得したニュース記事のタイトルについて、単語に分割する処理、及び重要単語及び重要フレーズを取得する処理を行う。
＝単語に分割する処理＝
単語に分割する処理とは、文を単語に分割する処理であり、例えば、形態素解析に基づいて行われる処理である。この処理については例えば、図４の形態素解析用単語辞書情報を参照して、ＳＡ１で取得したニュース記事のタイトルについて、当該形態素解析用単語辞書情報の単語情報が特定する単語と同じ単語を、１個の単語として分割する。
単語に分割する処理とは、文を単語に分割する処理であり、例えば、形態素解析に基づいて行われる処理である。この処理については例えば、図４の形態素解析用単語辞書情報を参照して、ＳＡ１で取得したニュース記事のタイトルについて、当該形態素解析用単語辞書情報の単語情報が特定する単語と同じ単語を、１個の単語として分割する。
ここでは、例えば、ＳＡ１で取得したニュース記事のタイトルにおける「ＡＢフォンＸＲ」という用語は、新製品の名称であり当該ニュース記事では１個の固有名詞として記載されている用語であるものの、図４の形態素解析用単語辞書情報の単語情報としては、「ＡＢフォンＸＲ」自体は格納されていないものとする。また、「第５世代通信時代」についても、「ＡＢフォンＸＲ」と同様であることとする。図８は、処理例を例示した図である。この場合、例えば、ＳＡ１で取得した「ＡＢフォンＸＲとＢＣフォンを比べた！」、及び「第５世代通信時代をリードするＢＢが登場した。」等について、例えば、図８の上段に示すように、「ＡＢフォン，ＸＲ，と，ＢＣフォン，を，比べ，た，！」、及び「第５世代通信，時代，を，リードする，ＢＢ，が，登場，した，。」等に分割する。なお、「，」については、分割された単語間の区切りを示すものとする。
＝重要単語及び重要フレーズを取得する処理＝
重要単語及び重要フレーズを取得する処理とは、「単語に分割する処理」で分割した単語に関して、前述の所定の特定基準に基づいて、重要単語及び重要フレーズを特定して、特定した重要単語及び重要フレーズを取得する処理である。
重要単語及び重要フレーズを取得する処理とは、「単語に分割する処理」で分割した単語に関して、前述の所定の特定基準に基づいて、重要単語及び重要フレーズを特定して、特定した重要単語及び重要フレーズを取得する処理である。
この所定の特定基準としては任意の基準を適用であるが、例えば、「Ｐｏｓｉｔｉｏｎｒａｎｋ」又は「ＴＦ（Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ）−ＩＤＦ（Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）」の概念に基づく基準を適用してもよい。これらの基準としては、公知の概念を適用できるので、概要のみ説明する。
＜Ｐｏｓｉｔｉｏｎｒａｎｋ＞
「Ｐｏｓｉｔｉｏｎｒａｎｋ」に基づく基準とは、例えば、複数の文を含む文章中の単語又はフレーズ（ここでの「フレーズ」は、連続する複数個（一例としては２個）の単語であるものと解釈する）相互間に関連度の高い単語又はフレーズ程重要度が高いものとして、各単語又は各フレーズにおいて、重要度のランキングを付し、当該ランキングの上位のものを重要単語又は重要フレーズとする基準等を含む概念である。なお、各単語又は各フレーズにおける相互間の関連度は公知の手法を含む任意の手法で定めることができるが、例えば、共起幅（つまり、連続する単語の個数（一例としては３個〜５個等））を設定し、共通する共起幅内に含まれる単語同士は、より関連度が高いものとして、一例としては数値を用いて関連度を定めてもよい。
「Ｐｏｓｉｔｉｏｎｒａｎｋ」に基づく基準とは、例えば、複数の文を含む文章中の単語又はフレーズ（ここでの「フレーズ」は、連続する複数個（一例としては２個）の単語であるものと解釈する）相互間に関連度の高い単語又はフレーズ程重要度が高いものとして、各単語又は各フレーズにおいて、重要度のランキングを付し、当該ランキングの上位のものを重要単語又は重要フレーズとする基準等を含む概念である。なお、各単語又は各フレーズにおける相互間の関連度は公知の手法を含む任意の手法で定めることができるが、例えば、共起幅（つまり、連続する単語の個数（一例としては３個〜５個等））を設定し、共通する共起幅内に含まれる単語同士は、より関連度が高いものとして、一例としては数値を用いて関連度を定めてもよい。
＜ＴＦ−ＩＤＦ＞
「ＴＦ−ＩＤＦ」に基づく基準とは、例えば、複数の文を含む文章（例えば、第１文章情報）中の各文中において出現頻度が高い単語又はフレーズ程重要度（重要性の度合い）が高く、また、出現する文の個数が少ない程単語又はフレーズ程重要度が高いものとして、所定の重要度以上の単語又はフレーズを重要単語又は重要フレーズとする基準等を含む概念である。
「ＴＦ−ＩＤＦ」に基づく基準とは、例えば、複数の文を含む文章（例えば、第１文章情報）中の各文中において出現頻度が高い単語又はフレーズ程重要度（重要性の度合い）が高く、また、出現する文の個数が少ない程単語又はフレーズ程重要度が高いものとして、所定の重要度以上の単語又はフレーズを重要単語又は重要フレーズとする基準等を含む概念である。
なお、ここで説明した基準以外の他の基準を用いて、重要単語及び重要フレーズを特定してもよい。そして、ここでは、例えば、「単語に分割する処理」で分割した単語に関して、図８の下段に示すように、重要単語として「ＢＣフォン」及び「ＢＢ」等を特定して取得し、また、重要フレーズとして「ＡＢフォンＸＲ」（つまり、「ＡＢフォン，ＸＲ」に対応するフレーズ）及び「第５世代通信時代」（つまり、「第５世代通信，時代」に対応するフレーズ）等を特定して取得する。
＝＝＝ＳＡ３＝＝＝
図６のＳＡ３において取得部２３１は、ＳＡ１で取得した再学習用情報の中から未知語を取得する。具体的には任意であるが、例えば、ＳＡ１で取得したニュース記事のタイトルについて、単語に分割する処理、及び未知語を取得する処理を行う。
図６のＳＡ３において取得部２３１は、ＳＡ１で取得した再学習用情報の中から未知語を取得する。具体的には任意であるが、例えば、ＳＡ１で取得したニュース記事のタイトルについて、単語に分割する処理、及び未知語を取得する処理を行う。
＝単語に分割する処理＝
ＳＡ２の単語に分割する処理と同様な処理を行う。ここでは、例えば、図８の上段に示すように、「ＡＢフォン，ＸＲ，と，ＢＣフォン，を，比べ，た，！」、及び「第５世代通信，時代，を，リードする，ＢＢ，が，登場，した，。」等に分割する。
ＳＡ２の単語に分割する処理と同様な処理を行う。ここでは、例えば、図８の上段に示すように、「ＡＢフォン，ＸＲ，と，ＢＣフォン，を，比べ，た，！」、及び「第５世代通信，時代，を，リードする，ＢＢ，が，登場，した，。」等に分割する。
＝未知語を取得する処理＝
未知語を取得する処理とは、「単語に分割する処理」で分割した単語の中から、未知語を特定して取得する処理である。この処理については例えば、図１の記録部２２に記録されているＢＥＲＴ用単語辞書情報を参照して、「単語に分割する処理」で分割した単語の内の、当該ＢＥＲＴ用単語辞書情報に記録されていない単語を、未知語として特定した上で取得する。
未知語を取得する処理とは、「単語に分割する処理」で分割した単語の中から、未知語を特定して取得する処理である。この処理については例えば、図１の記録部２２に記録されているＢＥＲＴ用単語辞書情報を参照して、「単語に分割する処理」で分割した単語の内の、当該ＢＥＲＴ用単語辞書情報に記録されていない単語を、未知語として特定した上で取得する。
ここでは、例えば、図１及び図２のＢＥＲＴ用単語辞書情報に、「ＡＢフォン」、「ＸＲ」、「ＢＣフォン」、及び「！」が記録されていない場合について説明する。図９は、処理例を例示した図である。この場合、図９に示すように、「ＡＢフォン」、「ＸＲ」、「ＢＣフォン」、及び「！」を未知語として取得する。
＝＝＝ＳＡ４＝＝＝
図６のＳＡ４において取得部２３１は、重要フレーズを図１の形態素解析用単語辞書情報に追加して格納する。具体的には任意であるが、例えば、ＳＡ２で取得した重要フレーズの内の、ＳＡ３で取得した未知語のみによって構成されている重要フレーズを特定し、特定した重要フレーズを図４の形態素解析用単語辞書情報の単語情報として記録し、また、当該記録した単語情報に関連付けられている品詞情報及び読み情報を格納する。なお、品詞情報及び読み情報の格納手法は任意であり、例えば、任意の手法で品詞及び読みを推定して自動的に格納することとしてもよいし、あるいは、ユーザに対して品詞及び読みに関する情報の入力を促すメッセージを不図示のディスプレイに表示し、この後に、ユーザから入力された情報に基づいて格納することとしてもよい。
図６のＳＡ４において取得部２３１は、重要フレーズを図１の形態素解析用単語辞書情報に追加して格納する。具体的には任意であるが、例えば、ＳＡ２で取得した重要フレーズの内の、ＳＡ３で取得した未知語のみによって構成されている重要フレーズを特定し、特定した重要フレーズを図４の形態素解析用単語辞書情報の単語情報として記録し、また、当該記録した単語情報に関連付けられている品詞情報及び読み情報を格納する。なお、品詞情報及び読み情報の格納手法は任意であり、例えば、任意の手法で品詞及び読みを推定して自動的に格納することとしてもよいし、あるいは、ユーザに対して品詞及び読みに関する情報の入力を促すメッセージを不図示のディスプレイに表示し、この後に、ユーザから入力された情報に基づいて格納することとしてもよい。
図７は、重要フレーズが格納された状態の形態素解析用辞書情報を例示した図である。ここでは、例えば、ＳＡ２で取得した重要フレーズが「ＡＢフォンＸＲ」及び「第５世代通信時代」等であり、また、ＳＡ３で取得した未知語が「ＡＢフォン」、「ＸＲ」、「ＢＣフォン」、及び「！」等である。そして、「ＡＢフォンＸＲ」はＳＡ３で取得した未知語である「ＡＢフォン」及び「ＸＲ」のみによって構成されており、一方、「第５世代通信時代」はＳＡ３で取得した未知語のみによって構成されているわけではないので、「ＡＢフォンＸＲ」を図７の形態素解析用単語辞書情報に追加して格納する。このようにして、図７の最下段の情報である「ＡＢフォンＸＲ」に関する情報が、形態素解析用単語辞書情報に新たに登録されることになる。
＝＝＝ＳＡ５＝＝＝
図６のＳＡ５において取得部２３１は、ＳＡ１で取得した再学習用情報の中から未知語を取得する。具体的には任意であるが、例えば、ＳＡ１で取得したニュース記事のタイトルについて、単語に分割する処理、及び未知語を取得する処理を行う。
図６のＳＡ５において取得部２３１は、ＳＡ１で取得した再学習用情報の中から未知語を取得する。具体的には任意であるが、例えば、ＳＡ１で取得したニュース記事のタイトルについて、単語に分割する処理、及び未知語を取得する処理を行う。
＝単語に分割する処理＝
基本的にはＳＡ２の単語に分割する処理と同様な処理を行うが、特に、ＳＡ４で重要フレーズが追加された図７の形態素解析用単語辞書情報に基づいて処理を行う。
基本的にはＳＡ２の単語に分割する処理と同様な処理を行うが、特に、ＳＡ４で重要フレーズが追加された図７の形態素解析用単語辞書情報に基づいて処理を行う。
図１０は、処理例を例示した図である。ここでは、例えば、ＳＡ１で取得した「ＡＢフォンＸＲとＢＣフォンを比べた！」、及び「第５世代通信時代をリードするＢＢが登場した。」等について、例えば、図１０の上段に示すように、「ＡＢフォンＸＲ，と，ＢＣフォン，を，比べ，た，！」、及び「第５世代通信，時代，を，リードする，ＢＢ，が，登場，した，。」等に分割する。特に、図７の形態素解析用単語辞書情報の単語情報として、「ＡＢフォンＸＲ」が格納されているので、ＳＡ２又はＳＡ３の「単語に分割する処理」の場合とは異なり、当該「ＡＢフォンＸＲ」を１個の単語として分割することになる。
＝未知語を取得する処理＝
ＳＡ３の未知語を取得する処理と同様な処理を行う。ここでは、例えば、未知語を取得する処理とは、「単語に分割する処理」で分割した単語の中から、未知語を特定して取得する処理である。この処理については例えば、図１の記録部２２に記録されているＢＥＲＴ用単語辞書情報を参照して、「単語に分割する処理」で分割した単語の内の、当該ＢＥＲＴ用単語辞書情報に記録されていない単語を、未知語と特定して取得する。図１及び図２のＢＥＲＴ用単語辞書情報に、「ＡＢフォンＸＲ」、「ＢＣフォン」、及び「！」が記録されていない場合について説明する。この場合、図１０の下段に示すように、「ＡＢフォンＸＲ」、「ＢＣフォン」、及び「！」等を未知語として取得する。
ＳＡ３の未知語を取得する処理と同様な処理を行う。ここでは、例えば、未知語を取得する処理とは、「単語に分割する処理」で分割した単語の中から、未知語を特定して取得する処理である。この処理については例えば、図１の記録部２２に記録されているＢＥＲＴ用単語辞書情報を参照して、「単語に分割する処理」で分割した単語の内の、当該ＢＥＲＴ用単語辞書情報に記録されていない単語を、未知語と特定して取得する。図１及び図２のＢＥＲＴ用単語辞書情報に、「ＡＢフォンＸＲ」、「ＢＣフォン」、及び「！」が記録されていない場合について説明する。この場合、図１０の下段に示すように、「ＡＢフォンＸＲ」、「ＢＣフォン」、及び「！」等を未知語として取得する。
＝＝＝ＳＡ６＝＝＝
図６のＳＡ６において取得部２３１は、ＳＡ５で取得した未知語の中から、再学習の候補とする未知語を取得する。すなわち、例えば、ＳＡ５で取得した未知語の中から、学習済ＢＥＲＴモデル（詳細には、例えば「事前学習済ＢＥＲＴモデル」）を、再学習することにより通信分野側に寄せる効果が比較的高いものと推定される未知語を取得する。具体的には任意であるが、例えば、ＳＡ５で取得した未知語の中から、ＳＡ２で取得した重要単語又は重要フレーズに合致する未知語のみを取得する。
図６のＳＡ６において取得部２３１は、ＳＡ５で取得した未知語の中から、再学習の候補とする未知語を取得する。すなわち、例えば、ＳＡ５で取得した未知語の中から、学習済ＢＥＲＴモデル（詳細には、例えば「事前学習済ＢＥＲＴモデル」）を、再学習することにより通信分野側に寄せる効果が比較的高いものと推定される未知語を取得する。具体的には任意であるが、例えば、ＳＡ５で取得した未知語の中から、ＳＡ２で取得した重要単語又は重要フレーズに合致する未知語のみを取得する。
ここでは、例えば、ＳＡ５で取得した未知語が、図１０の下段に示すように、「ＡＢフォンＸＲ」、「ＢＣフォン」、及び「！」等であり、図８の下段に示すように、ＳＡ２で取得した重要単語が「ＢＣフォン」及び「ＢＢ」等であり、また、ＳＡ２で取得した重要フレーズが「ＡＢフォンＸＲ」及び「第５世代通信時代」等であり、一方、「！」は重要単語又は重要フレーズではない。図１１は、処理例を例示した図である。よって、ＳＡ６においては、「ＡＢフォンＸＲ」、「ＢＣフォン」、又は「！」等の内の、図１１に示すように、「ＡＢフォンＸＲ」、及び「ＢＣフォン」等を取得する（つまり、「！」は不要として排除する）。
＝＝＝ＳＡ７＝＝＝
図６のＳＡ７において学習部２３２は、ＳＡ６で取得した未知語の中に、再学習（つまり、再度の機械学習）の対象にする未知語が存在するか否かを判定する。具体的には任意であるが、例えば、前述の所定の判定基準に基づいて、各未知語について機械学習の対象にするか否かを判定し、判定結果に基づいて判定する。
図６のＳＡ７において学習部２３２は、ＳＡ６で取得した未知語の中に、再学習（つまり、再度の機械学習）の対象にする未知語が存在するか否かを判定する。具体的には任意であるが、例えば、前述の所定の判定基準に基づいて、各未知語について機械学習の対象にするか否かを判定し、判定結果に基づいて判定する。
この所定の判定基準としては任意の基準を適用であるが、例えば、前述の未知語の品詞に関する基準、及び未知語の出現頻度に関する基準を適用する場合について説明する。
＝未知語の品詞に関する基準＝
「未知語の品詞に関する基準」とは、未知語が所定に品詞であるか否かに基づいて判定する基準であり、本実施の形態では、所定の品詞が名詞である場合について説明する。
「未知語の品詞に関する基準」とは、未知語が所定に品詞であるか否かに基づいて判定する基準であり、本実施の形態では、所定の品詞が名詞である場合について説明する。
＝未知語の出現頻度に関する基準＝
「未知語の出現頻度に関する基準」とは、未知語が所定回数以上出現するか否かに基づいて判定する基準であり、具体的には、図１の記録部２２に記録されている再学習用情報であるニュース記事のタイトル又は当該ニュース記事の本文中において、未知語が所定回数以上を出現するか否かに基づいて判定する基準であり、本実施の形態では、所定回数が５回である場合について説明する。
「未知語の出現頻度に関する基準」とは、未知語が所定回数以上出現するか否かに基づいて判定する基準であり、具体的には、図１の記録部２２に記録されている再学習用情報であるニュース記事のタイトル又は当該ニュース記事の本文中において、未知語が所定回数以上を出現するか否かに基づいて判定する基準であり、本実施の形態では、所定回数が５回である場合について説明する。
＝各基準のバリエーション＝
なお、これらの基準については、様々なバリエーションが想定され、これらのバリエーションを任意に適用してもよい。「未知語の品詞に関する基準」については、例えば、名詞以外の１個以上の任意の品詞（例えば、動詞、形容詞等）を所定の品詞として用いてもよい。
なお、これらの基準については、様々なバリエーションが想定され、これらのバリエーションを任意に適用してもよい。「未知語の品詞に関する基準」については、例えば、名詞以外の１個以上の任意の品詞（例えば、動詞、形容詞等）を所定の品詞として用いてもよい。
また、「未知語の出現頻度に関する基準」については、例えば、再学習用情報であるニュース記事のタイトルのみにおいて、未知語が所定回数以上を出現するか否かに基づいて判定する基準であることとしてもよいし、再学習用情報であるニュース記事の本文のみにおいて、未知語が所定回数以上を出現するか否かに基づいて判定する基準であることとしてもよいし、再学習用情報であるニュース記事のタイトルのみにおいて、未知語が所定回数以上を出現し、且つ、当該ニュース記事のタイトルのみにおいて、未知語が所定回数以上を出現するか否かに基づいて判定する基準であることとしてもよいし、再学習用情報であるニュース記事のタイトル又は本文において、未知語が合計所定回数以上を出現するか否かに基づいて判定する基準であることとしてもよい。
また、「未知語の出現頻度に関する基準」における所定回数については、前述の「未知語の品詞に関する基準」における所定の品詞に応じて定めてもよい。また、これらの各基準の所定回数又は所定の品詞については、図１の再学習用情報又は分類対象情報が示すニュース記事が所属する分野に応じて定めてもよいし、あるいは、任意の最適化手法（例えば、ベイズ最適化、ネルダーミードに対応する手法）を用いて定めてもよい。
＝本実施の形態で適用する基準＝
そして、本実施の形態では、「未知語の品詞に関する基準」としては、未知語が名詞であるか否かに基づいて判定する基準を用い、また、「未知語の出現頻度に関する基準」については、再学習用情報であるニュース記事のタイトルのみにおいて、未知語が５回以上を出現し、且つ、当該ニュース記事の本文のみにおいて、未知語が５回以上を出現するか否かに基づいて判定する基準を用いる場合について説明する。
そして、本実施の形態では、「未知語の品詞に関する基準」としては、未知語が名詞であるか否かに基づいて判定する基準を用い、また、「未知語の出現頻度に関する基準」については、再学習用情報であるニュース記事のタイトルのみにおいて、未知語が５回以上を出現し、且つ、当該ニュース記事の本文のみにおいて、未知語が５回以上を出現するか否かに基づいて判定する基準を用いる場合について説明する。
＝ＳＡ７の具体的な処理＝
ＳＡ７の処理について具体的には、まず、ＳＡ６で取得した各未知語の品詞を、任意の手法（例えば、図７の形態素解析用単語辞書情報を参照して特定する手法等）を用いて特定し、また、図１の記録部２２に記録されている再学習用情報が示すニュース記事のタイトル及び当該ニュース記事の本文を取得し、ＳＡ６で取得した各未知語について、当該タイトル中での出現頻度、及び当該本文中の出現頻度を特定する。次に、ＳＡ６で取得した各未知語について、前述の特定した品詞が「名詞」であり、且つ、前述の特定したタイトル中での出現頻度が「５回」以上であり、且つ、前述の特定した本文中での出現頻度が「５回」以上である場合、再学習の対象にする未知語（以下、「再学習対象未知語」とも称する）であるものと判定する。一方、ＳＡ６で取得した各未知語について、前述の特定した品詞が「名詞」ではない場合、前述の特定したタイトル中での出現頻度が「５回」未満である場合、又は、前述の特定した本文中での出現頻度が「５回」未満である場合、再学習の対象としない未知語（以下、「非対象未知語」とも称する）であるものと判定する（つまり、再学習の対象とする未知語でないものと判定する）。
ＳＡ７の処理について具体的には、まず、ＳＡ６で取得した各未知語の品詞を、任意の手法（例えば、図７の形態素解析用単語辞書情報を参照して特定する手法等）を用いて特定し、また、図１の記録部２２に記録されている再学習用情報が示すニュース記事のタイトル及び当該ニュース記事の本文を取得し、ＳＡ６で取得した各未知語について、当該タイトル中での出現頻度、及び当該本文中の出現頻度を特定する。次に、ＳＡ６で取得した各未知語について、前述の特定した品詞が「名詞」であり、且つ、前述の特定したタイトル中での出現頻度が「５回」以上であり、且つ、前述の特定した本文中での出現頻度が「５回」以上である場合、再学習の対象にする未知語（以下、「再学習対象未知語」とも称する）であるものと判定する。一方、ＳＡ６で取得した各未知語について、前述の特定した品詞が「名詞」ではない場合、前述の特定したタイトル中での出現頻度が「５回」未満である場合、又は、前述の特定した本文中での出現頻度が「５回」未満である場合、再学習の対象としない未知語（以下、「非対象未知語」とも称する）であるものと判定する（つまり、再学習の対象とする未知語でないものと判定する）。
そして、ＳＡ６で取得した未知語において、「再学習対象未知語」と判定した未知語が存在しない場合（つまり、全ての未知語について「非対象未知語」であるものと判定した場合）、ＳＡ６で取得した未知語の中に、再学習の対象にする未知語が存在しないものと判定し（ＳＡ７のＮＯ）、処理を終了する。一方、ＳＡ６で取得した未知語において、「再学習対象未知語」と判定した未知語が存在する場合、ＳＡ６で取得した未知語の中に、再学習の対象にする未知語が存在するものと判定し（ＳＡ７のＹＥＳ）、ＳＡ８に移行する。
ここでは、例えば、再学習用情報が示すニュース記事のタイトル及び本文の両方において、「ＡＢフォンＸＲ」が多数個（例えば、２０個等）含まれており、「ＢＣフォン」が３個のみ含まれているために、「ＡＢフォンＸＲ」が前述のタイトル及び本文において５回以上ずつ出現し、一方、「ＢＣフォン」が５回未満のみしか出現しない場合について説明する。この場合、ＳＡ６で取得した各未知語である「ＡＢフォンＸＲ」、及び「ＢＣフォン」の品詞を、図７の形態素解析用単語辞書情報の単語情報及び品詞情報を参照して、両方とも「名詞」と特定する。次に、「ＡＢフォンＸＲ」については、再学習用情報が示すニュース記事のタイトル中での出現頻度を「２０回」と特定し、また、当該ニュース記事の本文中の出現頻度も「２０回」と特定した上で、「再学習対象未知語」であるものと判定する。一方、「ＢＣフォン」については、タイトル中及び本文中での出現頻度を「３回」と特定した上で、「非対象未知語」であるものと判定する。そして、少なくとも「ＡＢフォンＸＲ」について「再学習対象未知語」であるものと判定したので、ＳＡ６で取得した未知語の中に、再学習の対象にする未知語が存在するものと判定する（ＳＡ７のＹＥＳ）。
＝＝＝ＳＡ８＝＝＝
図６のＳＡ８において学習部２３２は、未知語の登録等を行う。具体的な処理は任意であるが、例えば、ＳＡ７において「再学習対象未知語」であるものと判定した未知語を特定し、特定した未知語を図１の記録部のＢＥＲＴ用単語辞書情報に追加で記録することにより登録する。
図６のＳＡ８において学習部２３２は、未知語の登録等を行う。具体的な処理は任意であるが、例えば、ＳＡ７において「再学習対象未知語」であるものと判定した未知語を特定し、特定した未知語を図１の記録部のＢＥＲＴ用単語辞書情報に追加で記録することにより登録する。
図１２は、未知語が新たに登録された状態のＢＥＲＴ用単語辞書情報を例示した図である。ここでは、例えば、ＳＡ７において「再学習対象未知語」であるものと判定した「ＡＢフォンＸＲ」を特定し、特定した「ＡＢフォンＸＲ」を、図２の記録部のＢＥＲＴ用単語辞書情報であるテキストファイルの最下段に追加で記録することにより、図１２に示すように登録する。
なお、この場合、レイヤーサイズの変更に対応する処理も行う。「レイヤーサイズの変更に対応する処理」とは、ＢＥＲＴに関連する公知の処理であり、例えば、ＢＥＲＴ用単語辞書情報の内の、ＢＥＲＴに関する処理（再学習又は分類の処理等）で用いられる情報の範囲を変更する処理であり、具体的には、ＳＡ８で新たに登録された「ＡＢフォンＸＲ」についてもＢＥＲＴに関する処理で用いられるように設定を変更する処理である。詳細には、「ＡＢフォンＸＲ」の追加前は、初期値としてＢＥＲＴ用単語辞書情報には、３２０００個分の単語（つまり、３２０００行の情報）が格納されており、当該３２０００個分の単語を利用してＢＥＲＴに関する処理を行う設定となっており、「ＡＢフォンＸＲ」を追加することにより、ＢＥＲＴ用単語辞書情報に当該「ＡＢフォンＸＲ」を含めて３２００１個分の単語（つまり、３２００１行の情報）が格納されることになるので、この追加された「ＡＢフォンＸＲ」も含めて情報を全て利用できるように、当該３２００１個分の単語を利用してＢＥＲＴに関する処理を行うように設定を変更する。
＝＝＝ＳＡ９＝＝＝
図６のＳＡ９において学習部２３２は、学習済ＢＥＲＴモデル再学習処理を実行する。図１３は、学習済ＢＥＲＴモデル再学習処理のフローチャートである。「学習済ＢＥＲＴモデル再学習処理」とは、ＳＡ８で新たに登録した未知語等について、学習済ＢＥＲＴモデル（詳細には、本実施の形態では例えば「事前学習済ＢＥＲＴモデル」）を再学習する処理である。
図６のＳＡ９において学習部２３２は、学習済ＢＥＲＴモデル再学習処理を実行する。図１３は、学習済ＢＥＲＴモデル再学習処理のフローチャートである。「学習済ＢＥＲＴモデル再学習処理」とは、ＳＡ８で新たに登録した未知語等について、学習済ＢＥＲＴモデル（詳細には、本実施の形態では例えば「事前学習済ＢＥＲＴモデル」）を再学習する処理である。
＝＝＝ＳＢ１＝＝＝
図１３のＳＢ１において学習部２３２は、再学習用情報を取得する。具体的には任意であるが、例えば、記録部２２に再学習用情報として記録されているニュース記事の本文を取得する。
図１３のＳＢ１において学習部２３２は、再学習用情報を取得する。具体的には任意であるが、例えば、記録部２２に再学習用情報として記録されているニュース記事の本文を取得する。
ここでは、例えば、図５に例示されている「記事番号」＝「１」〜「４」等のニュース記事の本文を取得する。すなわち、「先日リリースされたＡＢフォンＸＲとＢＣフォンのスペックは・・・である。そして、これらを比較すると、・・・・が優位である。」、及び「第５世代通信時代のサービスが昨年のｘｘ月に開始したが、このサービスが普及すると、・・・となる。」等の複数の文を含む文章情報を取得する。
＝＝＝ＳＢ２＝＝＝
図１３のＳＢ２において学習部２３２は、ＳＢ１で取得したニュース記事の本文について、単語に分割する処理を行う。具体的には任意であるが、例えば、基本的にはＳＡ５の単語に分割する処理と同様な処理を行い、すなわち、図７の形態素解析用単語辞書情報に基づいて処理を行う。
図１３のＳＢ２において学習部２３２は、ＳＢ１で取得したニュース記事の本文について、単語に分割する処理を行う。具体的には任意であるが、例えば、基本的にはＳＡ５の単語に分割する処理と同様な処理を行い、すなわち、図７の形態素解析用単語辞書情報に基づいて処理を行う。
ここでは、例えば、「先日，リリース，さ，れ，た，ＡＢフォンＸＲ，と，ＢＣフォン，の，スペック，は，（以下省略）」等に分割する。なお、「第５世代通信時代のサービスが昨年のｘｘ月に開始したが、このサービスが普及すると、・・・となる。」の説明は省略する。特に、図７に例示されているように、「ＡＢフォンＸＲ」が追加されたので、当該「ＡＢフォンＸＲ」を１個の単語として分割することになる。
＝＝＝ＳＢ３＝＝＝
図１３のＳＢ３において学習部２３２は、ＳＢ２で分割した単語の並びを、単語ＩＤの並びに変換する。具体的には任意であるが、例えば、図１２のＢＥＲＴ用単語辞書情報であるテキストファイルを参照して、ＳＢ２で分割した単語と同じ単語が記録されている行を特定し、当該特定した行に対応する単語ＩＤに変換する。なお、ＳＢ２で分割した単語の中には、図１２のＢＥＲＴ用単語辞書情報に記録されていない単語も存在し得るが、この場合は、前述した「ＵＮＫ」に対応する単語ＩＤである「ＩＤ１」に変換することとする。
図１３のＳＢ３において学習部２３２は、ＳＢ２で分割した単語の並びを、単語ＩＤの並びに変換する。具体的には任意であるが、例えば、図１２のＢＥＲＴ用単語辞書情報であるテキストファイルを参照して、ＳＢ２で分割した単語と同じ単語が記録されている行を特定し、当該特定した行に対応する単語ＩＤに変換する。なお、ＳＢ２で分割した単語の中には、図１２のＢＥＲＴ用単語辞書情報に記録されていない単語も存在し得るが、この場合は、前述した「ＵＮＫ」に対応する単語ＩＤである「ＩＤ１」に変換することとする。
ここでは、例えば、「先日，リリース，さ，れ，た，ＡＢフォンＸＲ，と，ＢＣフォン，の，スペック，は，・・・」の並びを、「ＩＤ（先日），ＩＤ（リリース），ＩＤ（さ），ＩＤ（れ），ＩＤ（た），ＩＤ３２００１，ＩＤ４，ＩＤ１，ＩＤ（の），ＩＤ（スペック），ＩＤ（は），・・・」という単語ＩＤの並びに変換する。なお、ここでの「ＩＤ（先日）」については、図１２のＢＥＲＴ用単語辞書情報における、「先日」という単語が格納されている行に対応する単語ＩＤを示すものとする（他の「（）」を用いた単語ＩＤの表現も同様とする）。
特に、「ＡＢフォンＸＲ」については、前述したように、図１２のＢＥＲＴ用単語辞書情報に登録されたので、当該「ＡＢフォンＸＲ」を一意に識別する単語ＩＤである「ＩＤ３２００１」（図１２のＢＥＲＴ用単語辞書情報のテキストファイルにおける、３２００１行目に対応する単語ＩＤ）に変換されることなる。一方、「ＢＣフォン」については、図６のＳＡ７において「非対象未知語」と判定されて、図１２のＢＥＲＴ用単語辞書情報に登録されていないので、「ＵＮＫ」に対応する単語ＩＤである「ＩＤ１」に変換されることになる。
そして、このＳＢ３においては、ＳＢ１で取得した再学習用情報であるニュース記事の本文全てについて、単語ＩＤの並びに変換する。
＝＝＝ＳＢ４＝＝＝
図１３のＳＢ４において学習部２３２は、ＳＢ３で変換された単語ＩＤの並びを用いて、図１の記録部２２に記録されている学習済ＢＥＲＴモデルについて、再度の機械学習を行うことにより、学習済ＢＥＲＴモデルを更新する（詳細には、本実施の形態では例えば「事前学習済ＢＥＲＴモデル」を「未知語学習済ＢＥＲＴモデル」に更新する）。
図１３のＳＢ４において学習部２３２は、ＳＢ３で変換された単語ＩＤの並びを用いて、図１の記録部２２に記録されている学習済ＢＥＲＴモデルについて、再度の機械学習を行うことにより、学習済ＢＥＲＴモデルを更新する（詳細には、本実施の形態では例えば「事前学習済ＢＥＲＴモデル」を「未知語学習済ＢＥＲＴモデル」に更新する）。
ここでは、例えば、「ＩＤ（先日），ＩＤ（リリース），ＩＤ（さ），ＩＤ（れ），ＩＤ（た），ＩＤ３２００１，ＩＤ４，ＩＤ１，ＩＤ（の），ＩＤ（スペック），ＩＤ（は），・・・」という単語ＩＤの並び等を用いて、図１の記録部２２に記録されている学習済ＢＥＲＴモデルについて、再度の機械学習を行うことにより、学習済ＢＥＲＴモデルを更新して、更新された学習済ＢＥＲＴモデルを記録する（詳細には、本実施の形態では例えば「事前学習済ＢＥＲＴモデル」を「未知語学習済ＢＥＲＴモデル」に更新し、更新された「未知語学習済ＢＥＲＴモデル」を格納する）。
そして、図１３の学習済ＢＥＲＴモデル再学習処理をリターンした後に、図６の再学習処理を終了する。
（処理−分類処理）
図１４は、分類処理のフローチャートである。分類処理は、サーバ装置２で行われる処理であり、概略的には、分類タスクを実行する処理である。この分類処理を実行するタイミングは任意であるが、例えば、前述の再学習処理（図６）が実行された後に、タスクモデルを生成する場合に利用される情報を用いて前述の公知の機械学習を行って、「未知語学習済ＢＥＲＴモデル」が「分類学習済ＢＥＲＴモデル」に更新されて記録され、また、タスクモデルが生成されて記録された後のタイミングであり、一例としては、端末装置１のユーザが、当該端末装置１を介して図１の分類対象情報をサーバ装置２に送信することにより入力して格納した後の、所定のタイミング（例えば、ユーザが端末装置１を介して分類処理を実行する操作を行ったタイミング等）に、起動することとし、分類処理が起動したところから説明する。
図１４は、分類処理のフローチャートである。分類処理は、サーバ装置２で行われる処理であり、概略的には、分類タスクを実行する処理である。この分類処理を実行するタイミングは任意であるが、例えば、前述の再学習処理（図６）が実行された後に、タスクモデルを生成する場合に利用される情報を用いて前述の公知の機械学習を行って、「未知語学習済ＢＥＲＴモデル」が「分類学習済ＢＥＲＴモデル」に更新されて記録され、また、タスクモデルが生成されて記録された後のタイミングであり、一例としては、端末装置１のユーザが、当該端末装置１を介して図１の分類対象情報をサーバ装置２に送信することにより入力して格納した後の、所定のタイミング（例えば、ユーザが端末装置１を介して分類処理を実行する操作を行ったタイミング等）に、起動することとし、分類処理が起動したところから説明する。
ここでは、例えば、前述の再学習処理（図６）において、通信分野のニュース記事に基づいて「事前学習済ＢＥＲＴモデル」が「未知語学習済ＢＥＲＴモデル」に更新され、この後に、当該「未知語学習済ＢＥＲＴモデル」が「分類学習済ＢＥＲＴモデル」に更新されており、また、前述したように、分類対象情報が通信分野のニュース記事である場合を例示して説明する。
＝＝＝ＳＣ１＝＝＝
図１４のＳＣ１において制御部２３は、分類対象情報を取得する。具体的には任意であるが、例えば、図１の記録部２２に分類対象情報として記録されているニュース記事のタイトルを取得する。
図１４のＳＣ１において制御部２３は、分類対象情報を取得する。具体的には任意であるが、例えば、図１の記録部２２に分類対象情報として記録されているニュース記事のタイトルを取得する。
ここでは、例えば、図１の記録部２２の分類対象情報として、タイトルが「新発売のＡＢフォンＸＲを徹底検証した。」であり、本文が「うわさのＡＢフォンＸＲは・・・」というニュース記事を含む多数のニュース記事が格納されている場合を例示する。この場合、このタイトルである「新発売のＡＢフォンＸＲを徹底検証した。」等を取得する。
＝＝＝ＳＣ２＝＝＝
図１４のＳＣ２において制御部２３は、ＳＣ１で取得したニュース記事のタイトルについて、単語に分割する処理を行う。具体的には任意であるが、例えば、図１３のＳＢ２の処理と同様な処理を行い、すなわち、図７の形態素解析用単語辞書情報に基づいて処理を行う。
図１４のＳＣ２において制御部２３は、ＳＣ１で取得したニュース記事のタイトルについて、単語に分割する処理を行う。具体的には任意であるが、例えば、図１３のＳＢ２の処理と同様な処理を行い、すなわち、図７の形態素解析用単語辞書情報に基づいて処理を行う。
ここでは、例えば、「新発売，の，ＡＢフォンＸＲ，を，・・・」等に分割する。
＝＝＝ＳＣ３＝＝＝
図１４のＳＣ３において制御部２３は、ＳＣ２で分割した単語の並びを、単語ＩＤの並びに変換する。具体的には任意であるが、例えば、図１３のＳＢ３の処理と同様な処理を行い、すなわち、図１２のＢＥＲＴ用単語辞書情報に基づいて処理を行う。
図１４のＳＣ３において制御部２３は、ＳＣ２で分割した単語の並びを、単語ＩＤの並びに変換する。具体的には任意であるが、例えば、図１３のＳＢ３の処理と同様な処理を行い、すなわち、図１２のＢＥＲＴ用単語辞書情報に基づいて処理を行う。
ここでは、例えば、「ＩＤ（新発売），ＩＤ（の），ＩＤ３２００１，ＩＤ（を），・・・」という単語ＩＤの並び等に変換する。特に、「ＡＢフォンＸＲ」については、前述したように、図１２のＢＥＲＴ用単語辞書情報に登録されたので、当該「ＡＢフォンＸＲ」を一意に識別する単語ＩＤである「ＩＤ３２００１」に変換されることなる。
＝＝＝ＳＣ４＝＝＝
図１４のＳＣ４において制御部２３は、分散表現数値情報の並びを取得する。具体的には任意であるが、例えば、ＳＣ３で変換した単語ＩＤの並びを、各ニュース記事のタイトル単位で、図１の記録部２２に記録されている学習済ＢＥＲＴモデル（詳細には、本実施の形態では例えば「分類学習済ＢＥＲＴモデル」）に入力し、当該学習済ＢＥＲＴモデルから出力された分散表現数値情報の並びを取得する。
図１４のＳＣ４において制御部２３は、分散表現数値情報の並びを取得する。具体的には任意であるが、例えば、ＳＣ３で変換した単語ＩＤの並びを、各ニュース記事のタイトル単位で、図１の記録部２２に記録されている学習済ＢＥＲＴモデル（詳細には、本実施の形態では例えば「分類学習済ＢＥＲＴモデル」）に入力し、当該学習済ＢＥＲＴモデルから出力された分散表現数値情報の並びを取得する。
ここでは、例えば、ＳＣ３で変換した単語ＩＤの並びである「ＩＤ（新発売），ＩＤ（の），ＩＤ３２００１，ＩＤ（を），・・・」等を、図１の記録部２２に記録されている学習済ＢＥＲＴモデル（詳細には、本実施の形態では例えば「分類学習済ＢＥＲＴモデル」）に入力し、当該学習済ＢＥＲＴモデルから出力された分散表現数値情報の並びである「Ｎｕｍ＿ＩＤ（新発売），Ｎｕｍ＿ＩＤ（の），Ｎｕｍ＿ＩＤ３２００１，Ｎｕｍ＿ＩＤ（を），・・・」等を取得する。なお、「Ｎｕｍ＿ＩＤ（新発売）」は、「ＩＤ（新発売）」に対応する分散表現数値情報であることとする。なお、他の「Ｎｕｍ＿」を用いた表現も同様とする。
＝＝＝ＳＣ５＝＝＝
図１４のＳＣ５において制御部２３は、カテゴリを示す情報を取得する。具体的には任意であるが、例えば、ＳＣ４で取得した分散表現数値情報の並びを、各ニュース記事のタイトル単位で、図１の記録部２２に記録されているタスクモデルに入力し、当該タスクモデルから出力されたカテゴリを示す情報（つまり、タスクモデルに入力された分散表現数値情報の並びに対応するタイトルのニュース記事が属するカテゴリを示す情報）を取得する。
図１４のＳＣ５において制御部２３は、カテゴリを示す情報を取得する。具体的には任意であるが、例えば、ＳＣ４で取得した分散表現数値情報の並びを、各ニュース記事のタイトル単位で、図１の記録部２２に記録されているタスクモデルに入力し、当該タスクモデルから出力されたカテゴリを示す情報（つまり、タスクモデルに入力された分散表現数値情報の並びに対応するタイトルのニュース記事が属するカテゴリを示す情報）を取得する。
ここでは、例えば、ＳＣ４で取得した分散表現数値情報の並びである「Ｎｕｍ＿ＩＤ（新発売），Ｎｕｍ＿ＩＤ（の），Ｎｕｍ＿ＩＤ３２００１，Ｎｕｍ＿ＩＤ（を），・・・」等を、図１の記録部２２に記録されているタスクモデルに入力し、当該タスクモデルから出力されたカテゴリを示す情報として「製品紹介」のカテゴリを示す情報等を取得する。
＝＝＝ＳＣ６＝＝＝
図１４のＳＣ６において制御部２３は、図１の分類対象情報として格納されているニュース記事を分類する。具体的には任意であるが、例えば、ＳＣ５で取得したカテゴリを示す情報に基づいて、各ニュース記事をカテゴリに分類し、当該分類結果を示す情報を、端末装置１に送信することにより、当該端末装置１側で当該処理結果を利用可能とする。
図１４のＳＣ６において制御部２３は、図１の分類対象情報として格納されているニュース記事を分類する。具体的には任意であるが、例えば、ＳＣ５で取得したカテゴリを示す情報に基づいて、各ニュース記事をカテゴリに分類し、当該分類結果を示す情報を、端末装置１に送信することにより、当該端末装置１側で当該処理結果を利用可能とする。
ここでは、例えば、タイトルが「新発売のＡＢフォンＸＲを徹底検証した。」であり、本文が「うわさのＡＢフォンＸＲは・・・」であるニュース記事を「製品紹介」のカテゴリに分類し、また、同様にして、他のニュース記事もカテゴリに分類し、分類結果を示す情報を、端末装置１側に送信する。
なお、ここでの分類結果を示す情報は任意であるが、例えば、各ニュース記事を特定する情報（例えば、記事の番号又はタイトル等）と当該記事が分類されたカテゴリを示す情報とが相互に関連付けられた情報を用いてもよいし、あるいは、各カテゴリに属するニュース記事を特定する一覧情報を用いてもよい。
そして、このように処理することにより、端末装置１のユーザは、当該サーバ装置２から送信された情報に基づいて、各ニュース記事のカテゴリを把握することが可能となる。これにて、分類処理を終了する。
（分類精度について）
前述したように、図６の再学習処理を行って、図１２に示すように未知語をＢＥＲＴ用単語辞書に新たに追加した上で、学習済ＢＥＲＴモデルを再学習することにより、当該学習済ＢＥＲＴモデルが、当該追加した未知語についても一意に認識して分散表現数値情報を出力可能となり、学習済ＢＥＲＴモデルを用いて適切に扱える単語数が増加し、結果として、学習済ＢＥＲＴモデル及びタスクモデルにおいて、文章の文脈をより的確にとらえることが可能となるので、ニュース記事の分類精度が向上することになる。
前述したように、図６の再学習処理を行って、図１２に示すように未知語をＢＥＲＴ用単語辞書に新たに追加した上で、学習済ＢＥＲＴモデルを再学習することにより、当該学習済ＢＥＲＴモデルが、当該追加した未知語についても一意に認識して分散表現数値情報を出力可能となり、学習済ＢＥＲＴモデルを用いて適切に扱える単語数が増加し、結果として、学習済ＢＥＲＴモデル及びタスクモデルにおいて、文章の文脈をより的確にとらえることが可能となるので、ニュース記事の分類精度が向上することになる。
（再学習時間について）
また、図１３のＳＢ４で行われる再学習においては、図７のＳＡ８で新たにＢＥＲＴ用単語辞書情報に格納された未知語以外の、当該ＢＥＲＴ用単語辞書情報中の単語は、既に機械学習の対象となっているので、当該再学習で用いられる再学習用情報（実施の形態では、ニュース記事の本文）の情報量を低減させることができ、比較的少ない量の再学習用情報を用いて比較的短い時間（例えば、１２時間〜２４時間等）で再学習を行うことが可能となる。
また、図１３のＳＢ４で行われる再学習においては、図７のＳＡ８で新たにＢＥＲＴ用単語辞書情報に格納された未知語以外の、当該ＢＥＲＴ用単語辞書情報中の単語は、既に機械学習の対象となっているので、当該再学習で用いられる再学習用情報（実施の形態では、ニュース記事の本文）の情報量を低減させることができ、比較的少ない量の再学習用情報を用いて比較的短い時間（例えば、１２時間〜２４時間等）で再学習を行うことが可能となる。
（実施の形態の効果）
このように本実施の形態によれば、取得部２３１が取得した未知語に関する機械学習を行うことにより、例えば、学習済ＢＥＲＴモデルを更新することができるので、当該学習済ＢＥＲＴモデルに基づいて行う処理の処理精度を向上させることが可能となる。また、例えば、新たに学習済ＢＥＲＴモデルを生成するわけではないので、比較的少ない情報量の第２文章情報（ニュース記事の本文）を用いて機械学習を行うことができるので、当該機械学習を行う時間を短縮することが可能となる。
このように本実施の形態によれば、取得部２３１が取得した未知語に関する機械学習を行うことにより、例えば、学習済ＢＥＲＴモデルを更新することができるので、当該学習済ＢＥＲＴモデルに基づいて行う処理の処理精度を向上させることが可能となる。また、例えば、新たに学習済ＢＥＲＴモデルを生成するわけではないので、比較的少ない情報量の第２文章情報（ニュース記事の本文）を用いて機械学習を行うことができるので、当該機械学習を行う時間を短縮することが可能となる。
また、取得部２３１が取得した未知語の内の、機械学習の対象にするものと判定した未知語に関する機械学習を学習済ＢＥＲＴモデルについて行うことにより、例えば、未知語を適切に絞ることができるので、機械学習を行う時間を短縮することが可能となる。
また、品詞に関する基準に基づいて未知語を機械学習の対象にするか否かを判定することにより、例えば、機械学習の対象にするか否かを適切に判定することが可能となる。
また、出現頻度に関する基準に基づいて未知語を機械学習の対象にするか否かを判定することにより、例えば、機械学習の対象にするか否かを適切に判定することが可能となる。
また、第１文章情報（ニュース記事のタイトル）において特定した重要単語又は重要フレーズに基づいて、第１文章情報から未知語を取得することにより、例えば、有用な未知語を取得することができるので、学習済ＢＥＲＴモデルに基づいて行う処理の処理精度を向上させることが可能となる。
また、第１文章情報（ニュース記事のタイトル）に含まれる単語の内の、単語辞書情報（ＢＥＲＴ用単語辞書情報）に記録されている単語以外の単語を、未知語として取得することにより、例えば、有用な未知語を取得することができるので、学習済ＢＥＲＴモデルに基づいて行う処理の処理精度を向上させることが可能となる。
また、少なくとも単語辞書情報（ＢＥＲＴ用単語辞書情報）に新たに記録した未知語に関する機械学習を行うことにより、例えば、比較的少ない情報量の第２文章情報を用いて機械学習を行うことができるので、当該機械学習を行う時間を短縮することが可能となる。
また、第１文章情報はニュース記事のタイトルに対応する文章を示す情報であり、第２文章情報はニュース記事の本文に対応する文章を示す情報であることにより、例えば、未知語に関して適切に機械学習を行うことができるので、学習済ＢＥＲＴモデルに基づいて行う処理の処理精度を向上させることが可能となる。
〔実施の形態に対する変形例〕
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した本発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した本発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。
（解決しようとする課題や発明の効果について）
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏したりすることがある。
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏したりすることがある。
（分散や統合について）
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散又は統合して構成できる。また、本出願における「装置」とは、単一の装置によって構成されたものに限定されず、複数の装置によって構成されたものを含む。
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散又は統合して構成できる。また、本出願における「装置」とは、単一の装置によって構成されたものに限定されず、複数の装置によって構成されたものを含む。
（形状、数値、構造、時系列について）
実施の形態や図面において例示した構成要素に関して、形状、数値、又は複数の構成要素の構造若しくは時系列の相互関係については、本発明の技術的思想の範囲内において、任意に改変及び改良することができる。
実施の形態や図面において例示した構成要素に関して、形状、数値、又は複数の構成要素の構造若しくは時系列の相互関係については、本発明の技術的思想の範囲内において、任意に改変及び改良することができる。
（タスクモデルの機械学習について）
また、上記実施の形態のタスクモデルについては、前述したように、機械学習を行うことにより生成されるが、前述の再学習が行われた学習済ＢＥＲＴモデル、及び当該再学習の際に利用したＢＥＲＴ用単語辞書に基づいて行われる処理の処理結果を利用して、機械学習を行うことによりタスクモデルを生成することとしてもよい。
また、上記実施の形態のタスクモデルについては、前述したように、機械学習を行うことにより生成されるが、前述の再学習が行われた学習済ＢＥＲＴモデル、及び当該再学習の際に利用したＢＥＲＴ用単語辞書に基づいて行われる処理の処理結果を利用して、機械学習を行うことによりタスクモデルを生成することとしてもよい。
（再学習処理について（その１））
また、図６の再学習処理において、重要単語又は重要フレーズの内の重要単語のみを用いて未知語を取得するように変更してもよい。なお、以下で特記する処理以外の処理は、実施の形態で説明した処理と同様とする（後述する「（再学習処理について（その２））」も同様とする）。処理については例えば、ＳＡ１の後のＳＡ２において、重要単語又は重要フレーズの内の重要単語のみを取得する。次に、ＳＡ３及びＳＡ４を省略し、ＳＡ５において、図４の形態素解析用単語辞書情報（つまり、重要フレーズが追加されていない形態素解析用単語辞書情報）に基づいて単語に分割する処理を行い、この後に、未知語を取得する処理を行う。次に、ＳＡ６において、ＳＡ５で取得した未知語の中から、ＳＡ２で取得した重要単語に合致する未知語のみを取得する。そして、この後、ＳＡ７〜ＳＡ９を実行する。
また、図６の再学習処理において、重要単語又は重要フレーズの内の重要単語のみを用いて未知語を取得するように変更してもよい。なお、以下で特記する処理以外の処理は、実施の形態で説明した処理と同様とする（後述する「（再学習処理について（その２））」も同様とする）。処理については例えば、ＳＡ１の後のＳＡ２において、重要単語又は重要フレーズの内の重要単語のみを取得する。次に、ＳＡ３及びＳＡ４を省略し、ＳＡ５において、図４の形態素解析用単語辞書情報（つまり、重要フレーズが追加されていない形態素解析用単語辞書情報）に基づいて単語に分割する処理を行い、この後に、未知語を取得する処理を行う。次に、ＳＡ６において、ＳＡ５で取得した未知語の中から、ＳＡ２で取得した重要単語に合致する未知語のみを取得する。そして、この後、ＳＡ７〜ＳＡ９を実行する。
（再学習処理について（その２））
また、図６の再学習処理において、形態素解析用単語辞書情報の単語情報として、所定の単語又は所定のフレーズを登録するように変更してもよい。なお、「所定の単語」とは、予め定められた単語であり、例えば、ユーザによってサーバ装置２に入力された単語等を含む概念である。また、「所定のフレーズ」とは、予め定められたフレーズであり、例えば、ユーザによってサーバ装置２に入力されたフレーズ等を含む概念である。処理については例えば、ＳＡ１を実行した後に、ＳＡ２を省略し、ＳＡ３を実行する。次に、ＳＡ４において、前述の所定の単語又は所定のフレーズを、図４の形態素解析用単語辞書情報の単語情報として記録することにより登録する。なお、この場合、これらの所定の単語又は所定のフレーズに対応する品詞情報及び読み情報もユーザによってサーバ装置２に入力されることとし、この情報を登録する。次に、ＳＡ５において、ＳＡ４で所定の単語又は所定のフレーズが登録された形態素解析用単語辞書情報を用いて、単語に分割する処理を行い、この後、未知語を取得する処理を行う。次に、ＳＡ６において、ＳＡ５で取得した未知語の中から、ＳＡ４で登録した所定の単語又は所定のフレーズに合致する未知語のみを取得する。そして、この後、ＳＡ７〜ＳＡ９を実行する。
また、図６の再学習処理において、形態素解析用単語辞書情報の単語情報として、所定の単語又は所定のフレーズを登録するように変更してもよい。なお、「所定の単語」とは、予め定められた単語であり、例えば、ユーザによってサーバ装置２に入力された単語等を含む概念である。また、「所定のフレーズ」とは、予め定められたフレーズであり、例えば、ユーザによってサーバ装置２に入力されたフレーズ等を含む概念である。処理については例えば、ＳＡ１を実行した後に、ＳＡ２を省略し、ＳＡ３を実行する。次に、ＳＡ４において、前述の所定の単語又は所定のフレーズを、図４の形態素解析用単語辞書情報の単語情報として記録することにより登録する。なお、この場合、これらの所定の単語又は所定のフレーズに対応する品詞情報及び読み情報もユーザによってサーバ装置２に入力されることとし、この情報を登録する。次に、ＳＡ５において、ＳＡ４で所定の単語又は所定のフレーズが登録された形態素解析用単語辞書情報を用いて、単語に分割する処理を行い、この後、未知語を取得する処理を行う。次に、ＳＡ６において、ＳＡ５で取得した未知語の中から、ＳＡ４で登録した所定の単語又は所定のフレーズに合致する未知語のみを取得する。そして、この後、ＳＡ７〜ＳＡ９を実行する。
（処理の省略又は変更について）
また、図６の再学習処理の内の任意の処理を省略又は変更してもよく、例えば、ＳＡ３で取得した未知語を全てＢＥＲＴ用単語辞書情報に登録した上で、学習済ＢＥＲＴモデル再学習処理を行うように構成してもよい。又は、ＳＡ５で取得した未知語を全てＢＥＲＴ用単語辞書情報に登録した上で、学習済ＢＥＲＴモデル再学習処理を行うように構成してもよい。又は、ＳＡ３又はＳＡ５で取得した未知語の内の、ＳＡ６で排除した未知語以外の未知語（つまり、「！」等の不要な未知語以外の未知語）を、ＢＥＲＴ用単語辞書情報に登録した上で、学習済ＢＥＲＴモデル再学習処理を行うように構成してもよい。
また、図６の再学習処理の内の任意の処理を省略又は変更してもよく、例えば、ＳＡ３で取得した未知語を全てＢＥＲＴ用単語辞書情報に登録した上で、学習済ＢＥＲＴモデル再学習処理を行うように構成してもよい。又は、ＳＡ５で取得した未知語を全てＢＥＲＴ用単語辞書情報に登録した上で、学習済ＢＥＲＴモデル再学習処理を行うように構成してもよい。又は、ＳＡ３又はＳＡ５で取得した未知語の内の、ＳＡ６で排除した未知語以外の未知語（つまり、「！」等の不要な未知語以外の未知語）を、ＢＥＲＴ用単語辞書情報に登録した上で、学習済ＢＥＲＴモデル再学習処理を行うように構成してもよい。
（初回の機械学習について）
また、上記実施の形態の学習済ＢＥＲＴモデルに関する「初回の機械学習」については、基本的には、学習済ＢＥＲＴモデル再学習処理と同様な処理であるものと解釈してもよい。
また、上記実施の形態の学習済ＢＥＲＴモデルに関する「初回の機械学習」については、基本的には、学習済ＢＥＲＴモデル再学習処理と同様な処理であるものと解釈してもよい。
（用語の解釈について）
また、上記実施の形態では、「事前学習済ＢＥＲＴモデル」が「学習済対象モデル」に対応するものと解釈してもよいと説明したが、他の解釈を適用することも可能である。例えば、図１の記録部２２の再学習用情報を入れかえて図６の再学習処理を複数回実行することも想定されるが、この場合、当該再学習処理における処理対象が前回の学習済ＢＥＲＴモデル再学習処理で更新された「未知語学習済ＢＥＲＴモデル」になる場合が想定される。この場合、この前回更新された「未知語学習済ＢＥＲＴモデル」が「学習済対象モデル」に対応するものと解釈してもよい。
また、上記実施の形態では、「事前学習済ＢＥＲＴモデル」が「学習済対象モデル」に対応するものと解釈してもよいと説明したが、他の解釈を適用することも可能である。例えば、図１の記録部２２の再学習用情報を入れかえて図６の再学習処理を複数回実行することも想定されるが、この場合、当該再学習処理における処理対象が前回の学習済ＢＥＲＴモデル再学習処理で更新された「未知語学習済ＢＥＲＴモデル」になる場合が想定される。この場合、この前回更新された「未知語学習済ＢＥＲＴモデル」が「学習済対象モデル」に対応するものと解釈してもよい。
（組み合わせについて）
また、上記実施の形態の特徴と、変形例の特徴を任意に組み合わせてもよい。
また、上記実施の形態の特徴と、変形例の特徴を任意に組み合わせてもよい。
（付記）
付記１の情報処理システムは、１個以上の単語に関する機械学習を行うことにより生成された学習済対象モデルであって、単語の特徴を示す数値情報を出力する前記学習済対象モデルについて再度機械学習を行うための情報処理システムであって、前記学習済対象モデルにおいて機械学習の対象となっていない未知語を、第１文章情報から取得する取得手段と、第２文章情報を用いて、前記学習済対象モデルについて、少なくとも前記取得手段が取得した前記未知語に関する機械学習を行う学習手段と、を備える。
付記１の情報処理システムは、１個以上の単語に関する機械学習を行うことにより生成された学習済対象モデルであって、単語の特徴を示す数値情報を出力する前記学習済対象モデルについて再度機械学習を行うための情報処理システムであって、前記学習済対象モデルにおいて機械学習の対象となっていない未知語を、第１文章情報から取得する取得手段と、第２文章情報を用いて、前記学習済対象モデルについて、少なくとも前記取得手段が取得した前記未知語に関する機械学習を行う学習手段と、を備える。
付記２の情報処理システムは、付記１に記載の情報処理システムにおいて、前記学習手段は、所定の判定基準に基づいて、前記取得手段が取得した前記未知語を機械学習の対象にするか否かを判定し、前記取得手段が取得した前記未知語の内の、機械学習の対象にするものと判定した前記未知語に関する機械学習を前記学習済対象モデルについて行う。
付記３の情報処理システムは、付記２に記載の情報処理システムにおいて、前記学習手段は、前記取得手段が取得した前記未知語の品詞に関する基準に基づいて、前記取得手段が取得した前記未知語を機械学習の対象にするか否かを判定する。
付記４の情報処理システムは、付記２又は３に記載の演算システムにおいて、前記学習手段は、前記取得手段が取得した前記未知語の、前記第１文章情報又は前記第２文章情報内での出現頻度に関する基準に基づいて、前記取得手段が取得した前記未知語を機械学習の対象にするか否かを判定する。
付記５の情報処理システムは、付記１から４の何れか一項に記載の情報処理システムにおいて、前記取得手段は、所定の特定基準に基づいて、前記第１文章情報において重要単語又は重要フレーズを特定し、特定した前記重要単語又は前記重要フレーズに基づいて、前記第１文章情報から前記未知語を取得する。
付記６の情報処理システムは、付記１から５の何れか一項に記載の情報処理システムにおいて、前記学習済対象モデルで一意に識別される単語が記録されている単語辞書情報を格納する格納手段、を備え、前記取得手段は、前記第１文章情報に含まれる単語の内の、前記単語辞書情報に記録されている単語以外の単語を、前記未知語として取得する。
付記７の情報処理システムは、付記６に記載の情報処理システムにおいて、前記学習手段は、前記取得手段が取得した前記未知語を前記単語辞書情報に新たに記録し、前記第２文章情報を用いて、前記学習済対象モデルについて、少なくとも前記単語辞書情報に新たに記録した前記未知語に関する機械学習を行う。
付記８の情報処理システムは、付記１から７の何れか一項に記載の情報処理システムにおいて、前記第１文章情報は、ニュース記事のタイトルに対応する文章を示す情報であり、前記第２文章情報は、ニュース記事の本文に対応する文章を示す情報である。
付記９の情報処理プログラムは、１個以上の単語に関する機械学習を行うことにより生成された学習済対象モデルであって、単語の特徴を示す数値情報を出力する前記学習済対象モデルについて再度機械学習を行うための情報処理プログラムであって、コンピュータを、前記学習済対象モデルにおいて機械学習の対象となっていない未知語を、第１文章情報から取得する取得手段と、第２文章情報を用いて、前記学習済対象モデルについて、少なくとも前記取得手段が取得した前記未知語に関する機械学習を行う学習手段と、として機能させる。
（付記の効果）
付記１に記載の情報処理システム、及び付記９に記載の情報処理プログラムによれば、取得手段が取得した未知語に関する機械学習を行うことにより、例えば、学習済対象モデルを更新することができるので、当該学習済対象モデルに基づいて行う処理の処理精度を向上させることが可能となる。また、例えば、新たに学習済対象モデルを生成するわけではないので、比較的少ない情報量の第２文章情報を用いて機械学習を行うことができるので、当該機械学習を行う時間を短縮することが可能となる。
付記１に記載の情報処理システム、及び付記９に記載の情報処理プログラムによれば、取得手段が取得した未知語に関する機械学習を行うことにより、例えば、学習済対象モデルを更新することができるので、当該学習済対象モデルに基づいて行う処理の処理精度を向上させることが可能となる。また、例えば、新たに学習済対象モデルを生成するわけではないので、比較的少ない情報量の第２文章情報を用いて機械学習を行うことができるので、当該機械学習を行う時間を短縮することが可能となる。
付記２に記載の情報処理システムによれば、取得手段が取得した未知語の内の、機械学習の対象にするものと判定した未知語に関する機械学習を学習済対象モデルについて行うことにより、例えば、未知語を適切に絞ることができるので、機械学習を行う時間を短縮することが可能となる。
付記３に記載の情報処理システムによれば、品詞に関する基準に基づいて未知語を機械学習の対象にするか否かを判定することにより、例えば、機械学習の対象にするか否かを適切に判定することが可能となる。
付記４に記載の情報処理システムによれば、出現頻度に関する基準に基づいて未知語を機械学習の対象にするか否かを判定することにより、例えば、機械学習の対象にするか否かを適切に判定することが可能となる。
付記５に記載の情報処理システムによれば、第１文章情報において特定した重要単語又は重要フレーズに基づいて、第１文章情報から未知語を取得することにより、例えば、有用な未知語を取得することができるので、学習済対象モデルに基づいて行う処理の処理精度を向上させることが可能となる。
付記６に記載の情報処理システムによれば、第１文章情報に含まれる単語の内の、単語辞書情報に記録されている単語以外の単語を、未知語として取得することにより、例えば、有用な未知語を取得することができるので、学習済対象モデルに基づいて行う処理の処理精度を向上させることが可能となる。
付記７に記載の情報処理システムによれば、少なくとも単語辞書情報に新たに記録した未知語に関する機械学習を行うことにより、例えば、比較的少ない情報量の第２文章情報を用いて機械学習を行うことができるので、当該機械学習を行う時間を短縮することが可能となる。
付記８に記載の情報処理システムによれば、第１文章情報はニュース記事のタイトルに対応する文章を示す情報であり、第２文章情報はニュース記事の本文に対応する文章を示す情報であることにより、例えば、未知語に関して適切に機械学習を行うことができるので、学習済対象モデルに基づいて行う処理の処理精度を向上させることが可能となる。
１ 端末装置
２ サーバ装置
２１ 通信部
２２ 記録部
２３ 制御部
１００ 情報システム
２３１ 取得部
２３２ 学習部
２ サーバ装置
２１ 通信部
２２ 記録部
２３ 制御部
１００ 情報システム
２３１ 取得部
２３２ 学習部
Claims (8)
- １個以上の単語に関する機械学習を行うことにより生成された学習済対象モデルであって、単語の特徴を示す数値情報を出力する前記学習済対象モデルについて再度機械学習を行うための情報処理システムであって、
前記学習済対象モデルで一意に識別される単語が記録されている単語辞書情報を格納する格納手段と、
前記学習済対象モデルにおいて機械学習の対象となっていない未知語であって、少なくとも前記格納手段の前記単語辞書情報に記録されていない単語である前記未知語を、第１文章情報から取得する取得手段と、
前記第１文章情報に関連する第２文章情報を用いて、前記学習済対象モデルについて、少なくとも前記取得手段が取得した前記未知語に関する機械学習を行う学習手段と、
を備え、
前記学習手段は、
前記取得手段が取得した前記未知語を前記単語辞書情報に新たに記録する第１処理と、
前記第２文章情報に含まれる文章を単語に分割する第２処理と、
前記格納手段に格納されている前記単語辞書情報に基づいて、前記第２処理で分割された単語を、各単語を識別するための単語識別情報に変換する第３処理と、
前記第３処理で変換された前記単語識別情報に基づいて、前記学習済対象モデルについて機械学習を行う第４処理と、を行う、
情報処理システム。 - 前記学習手段は、
所定の判定基準に基づいて、前記取得手段が取得した前記未知語を機械学習の対象にするか否かを判定し、
前記取得手段が取得した前記未知語の内の、機械学習の対象にするものと判定した前記未知語に関する機械学習を前記学習済対象モデルについて行う、
請求項１に記載の情報処理システム。 - 前記学習手段は、前記取得手段が取得した前記未知語の品詞に関する基準に基づいて、前記取得手段が取得した前記未知語を機械学習の対象にするか否かを判定する、
請求項２に記載の情報処理システム。 - 前記学習手段は、前記取得手段が取得した前記未知語の、前記第１文章情報又は前記第２文章情報内での出現頻度に関する基準に基づいて、前記取得手段が取得した前記未知語を機械学習の対象にするか否かを判定する、
請求項２又は３に記載の情報処理システム。 - 前記取得手段は、所定の特定基準に基づいて、前記第１文章情報において重要単語又は重要フレーズを特定し、特定した前記重要単語又は前記重要フレーズに基づいて、前記第１文章情報から前記未知語を取得する、
請求項１から４の何れか一項に記載の情報処理システム。 - 前記第１文章情報は、ニュース記事のタイトルに対応する文章を示す情報であり、
前記第２文章情報は、ニュース記事の本文に対応する文章を示す情報である、
請求項１から５の何れか一項に記載の情報処理システム。 - 前記第３処理において、前記学習手段は、
前記第２処理で分割された単語が前記単語辞書情報に記録されている場合に、当該単語を一意に識別するための前記単語識別情報である第１単語識別情報に変換し、
前記第２処理で分割された単語が前記単語辞書情報に記録されていない場合に、前記単語辞書情報に記録されていない単語に共通して用いる前記単語識別情報である第２単語識別情報に変換し、
前記第４処理において、前記学習手段は、
前記第３処理で変換された前記第１単語識別情報及び前記第２単語識別情報に基づいて、前記学習済対象モデルについて機械学習を行う、
請求項１から６の何れか一項に記載の情報処理システム。 - １個以上の単語に関する機械学習を行うことにより生成された学習済対象モデルであって、単語の特徴を示す数値情報を出力する前記学習済対象モデルについて再度機械学習を行うための情報処理プログラムであって、
コンピュータを、
前記学習済対象モデルにおいて機械学習の対象となっていない未知語であって、少なくとも前記学習済対象モデルで一意に識別される単語が記録されている単語辞書情報を格納する格納手段に格納されている前記単語辞書情報に記録されていない単語である前記未知語を、第１文章情報から取得する取得手段と、
前記第１文章情報に関連する第２文章情報を用いて、前記学習済対象モデルについて、少なくとも前記取得手段が取得した前記未知語に関する機械学習を行う学習手段と、
として機能させ、
前記学習手段は、
前記取得手段が取得した前記未知語を前記単語辞書情報に新たに記録する第１処理と、
前記第２文章情報に含まれる文章を単語に分割する第２処理と、
前記格納手段に格納されている前記単語辞書情報に基づいて、前記第２処理で分割された単語を、各単語を識別するための単語識別情報に変換する第３処理と、
前記第３処理で変換された前記単語識別情報に基づいて、前記学習済対象モデルについて機械学習を行う第４処理と、を行う、
情報処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020147186A JP6936370B1 (ja) | 2020-09-02 | 2020-09-02 | 情報処理システム、及び情報処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020147186A JP6936370B1 (ja) | 2020-09-02 | 2020-09-02 | 情報処理システム、及び情報処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6936370B1 true JP6936370B1 (ja) | 2021-09-15 |
| JP2022042030A JP2022042030A (ja) | 2022-03-14 |
Family
ID=77657926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020147186A Active JP6936370B1 (ja) | 2020-09-02 | 2020-09-02 | 情報処理システム、及び情報処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6936370B1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210124780A (ko) | 2020-04-07 | 2021-10-15 | 현대자동차주식회사 | 연료전지용 고분자 전해질막 및 이를 제조하는 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6517537B2 (ja) * | 2015-02-26 | 2019-05-22 | 日本電信電話株式会社 | 単語ベクトル学習装置、自然言語処理装置、方法、及びプログラム |
| KR102604552B1 (ko) * | 2016-07-15 | 2023-11-22 | 삼성전자주식회사 | 단어 임베딩 방법, 단어 임베딩 장치, 음성 인식 방법 및 음성 인식 장치 |
| US10846319B2 (en) * | 2018-03-19 | 2020-11-24 | Adobe Inc. | Online dictionary extension of word vectors |
-
2020
- 2020-09-02 JP JP2020147186A patent/JP6936370B1/ja active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210124780A (ko) | 2020-04-07 | 2021-10-15 | 현대자동차주식회사 | 연료전지용 고분자 전해질막 및 이를 제조하는 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022042030A (ja) | 2022-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bajaj et al. | Ms marco: A human generated machine reading comprehension dataset | |
| US9542477B2 (en) | Method of automated discovery of topics relatedness | |
| Terechshenko et al. | A comparison of methods in political science text classification: Transfer learning language models for politics | |
| Banik et al. | Gru based named entity recognition system for bangla online newspapers | |
| Jarvis et al. | Native language identification | |
| JP6936370B1 (ja) | 情報処理システム、及び情報処理プログラム | |
| Bryl et al. | Interlinking and knowledge fusion | |
| Quemy et al. | On integrating and classifying legal text documents | |
| JP6409071B2 (ja) | 文の並び替え方法および計算機 | |
| Nanni et al. | Semi-supervised textual analysis and historical research helping each other: Some thoughts and observations | |
| Petcuşin et al. | An experiment on automated requirements mapping using deep learning methods | |
| Popova et al. | Keyphrase extraction using extended list of stop words with automated updating of stop words list | |
| Pakray et al. | An hmm based pos tagger for pos tagging of code-mixed indian social media text | |
| WO2018066083A1 (ja) | 学習プログラム、情報処理装置および学習方法 | |
| Kunanets et al. | Enhanced LSA Method with Ukraine Language Support. | |
| Ngo et al. | Identifying user intents in Vietnamese spoken language commands and its application in smart mobile voice interaction | |
| JP5342574B2 (ja) | トピックモデリング装置、トピックモデリング方法、及びプログラム | |
| Alian et al. | Unsupervised learning blocking keys technique for indexing Arabic entity resolution | |
| Langlais et al. | Issues in analogical inference over sequences of symbols: A case study on proper name transliteration | |
| Shenoy et al. | Design of chatbot using natural language processing | |
| Rajesh et al. | Significance of natural language processing in data analysis using business intelligence | |
| Cooper | Data warehouse, bronze, gold, STEC, software | |
| Huszár | Multilingual prompt engineering via large language models: an approach to sentiment analysis | |
| Espin-Riofrio et al. | Spanish Stylometric Features to Determine Gender and Profession of Ecuadorian Twitter Users | |
| Song et al. | A hybrid model for community-oriented lexical simplification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200902 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200902 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200907 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210510 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210810 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210826 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6936370 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |