JP7153477B2 - 情報判定モデル学習装置およびそのプログラム - Google Patents
情報判定モデル学習装置およびそのプログラム Download PDFInfo
- Publication number
- JP7153477B2 JP7153477B2 JP2018112607A JP2018112607A JP7153477B2 JP 7153477 B2 JP7153477 B2 JP 7153477B2 JP 2018112607 A JP2018112607 A JP 2018112607A JP 2018112607 A JP2018112607 A JP 2018112607A JP 7153477 B2 JP7153477 B2 JP 7153477B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- learning
- additional learning
- posted
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、ソーシャルメディアから取得した情報が、どのような種別の情報であるのかを判定するための情報判定モデルを学習する情報判定モデル学習装置およびそのプログラムに関する。
近年、ソーシャル・ネットワーキング・サービス（ＳＮＳ：Social Networking Service）の発達により、個人が、容易にかつリアルタイムで情報を発信することが可能になった。例えば、ＳＮＳには、火事、事故等の現場に偶然居合わせた人から、その現場の目撃情報等が投稿されることが多くなっている。事件・事故の第一報情報を取得することで、迅速に取材に向かい、いち早く報道することが可能である。また、これらの投稿は、現場の写真や映像を付加したものがあり、火事、事故等の発生した瞬間をとらえた画像、映像として、ニュース番組等に活用されることも多い。そこで、放送局等では、ＳＮＳを監視する等、人手により、これらの情報を抽出している。
人手により、このようなＳＮＳから必要な情報を抽出する手法は、キーワード検索を用いることが多い。しかしながら、例えば、ＳＮＳの投稿では、「○○線が遅れている」といった路線名が書かれている場合や、「△△駅での事故で電車が遅れている」といった駅名が書かれている場合等があり、ＳＮＳの表現の方法が多岐にわたっている。そのため、これらの表現をすべてカバーするキーワードを作成することは困難である。
そこで、これらの問題を解決するために、機械学習を用いた投稿の抽出手法が多く研究されている。例えば、再帰型ニューラルネットワーク（Recurrent Neural Network：ＲＮＮ）により、ツイート〔登録商標〕がニュース制作に役立つ情報であるか否かを判定する手法が開示されている（非特許文献１参照）。
また、ＳＮＳでは、日々新しい事象に対する情報が投稿されるため、学習済みのニューラルネットワークを追加学習する手法が開示されている（特許文献１参照）。
また、ＳＮＳでは、日々新しい事象に対する情報が投稿されるため、学習済みのニューラルネットワークを追加学習する手法が開示されている（特許文献１参照）。
宮崎太郎，鳥海心，武井友香，山田一郎，後藤淳，"ニュース制作に役立つtweetの自動抽出手法"，言語処理学会，第23回年次大会発表論文集，pp.418-421，2017年3月
機械学習を用いてニュース制作に役立つ情報を判定するためには、大量の学習データ（教師データ）が必要になる。さらに、日々新しい事象が発生するため、ＳＮＳの大量の情報から、網羅性のある学習データを収集し、ニューラルネットワークのモデルを改善する必要がある。
しかし、従来の手法では、学習データを収集するために人手で情報を抽出する必要があるため、労力を要するとともに、追加学習するための学習データを大量に収集することが困難である。そのため、モデルを改善するために、効率的に学習データを収集する手法が望まれている。
しかし、従来の手法では、学習データを収集するために人手で情報を抽出する必要があるため、労力を要するとともに、追加学習するための学習データを大量に収集することが困難である。そのため、モデルを改善するために、効率的に学習データを収集する手法が望まれている。
そこで、本発明は、ソーシャルメディアから取得した情報である投稿文が、どの種別の情報であるかを判定するための情報判定モデルを、効率的に追加学習することが可能な情報判定モデル学習装置およびそのプログラムを提供することを課題とする。
前記課題を解決するため、本発明に係る情報判定モデル学習装置は、ソーシャルメディアから取得した情報である投稿文が、当該投稿文の投稿内容を分類したどの種別に属するかを判定するためのニューラルネットワークの情報判定モデルを追加学習する情報判定モデル学習装置であって、判定手段と、追加学習データ収集手段と、追加学習手段と、モデル更新手段と、を備え、追加学習データ収集手段は、データ選択手段と、データ抽出手段と、を備える構成とした。
かかる構成において、情報判定モデル学習装置は、判定手段によって、事前学習した情報判定モデルを用いて、新たな投稿文を入力し、種別を判定するとともに当該種別に対する信頼度を算出する。なお、信頼度は、ニューラルネットワークの出力層の出力値である確率値を用いることができる。
そして、情報判定モデル学習装置は、追加学習データ収集手段によって、信頼度が低い投稿文から優先して表示装置に表示し、操作者に選択された投稿文を追加学習データとして収集する。これによって、情報判定モデル学習装置は、信頼度が低く判定結果の誤りの可能性が高い投稿文について、学習が不足している投稿文として優先的に操作者に提示する。ここで、操作者が、信頼度の低い投稿文から種別の判定結果の正しい投稿文を選択することで、当該投稿文が追加学習データとなる。なお、追加学習データ収集手段は、データ選択手段によって、新たな投稿文のうちで、操作者に選択された投稿文を追加学習データとし、データ抽出手段によって、データ選択手段で選択されなかった投稿文から、追加学習データと類似する投稿文を追加学習データとして抽出する。
そして、情報判定モデル学習装置は、追加学習データ収集手段によって、信頼度が低い投稿文から優先して表示装置に表示し、操作者に選択された投稿文を追加学習データとして収集する。これによって、情報判定モデル学習装置は、信頼度が低く判定結果の誤りの可能性が高い投稿文について、学習が不足している投稿文として優先的に操作者に提示する。ここで、操作者が、信頼度の低い投稿文から種別の判定結果の正しい投稿文を選択することで、当該投稿文が追加学習データとなる。なお、追加学習データ収集手段は、データ選択手段によって、新たな投稿文のうちで、操作者に選択された投稿文を追加学習データとし、データ抽出手段によって、データ選択手段で選択されなかった投稿文から、追加学習データと類似する投稿文を追加学習データとして抽出する。
そして、情報判定モデル学習装置は、追加学習手段によって、追加学習データ収集手段で収集された種別が既知の追加学習データを用いて、情報判定モデルのモデルパラメータを初期値として追加学習することで追加学習モデルを生成する。
そして、情報判定モデル学習装置は、モデル更新手段によって、追加学習モデルを新たなモデルとして情報判定モデルを更新する。
なお、情報判定モデル学習装置は、コンピュータを、前記した各手段として機能させるための情報判定モデル学習プログラムで動作させることができる。
そして、情報判定モデル学習装置は、モデル更新手段によって、追加学習モデルを新たなモデルとして情報判定モデルを更新する。
なお、情報判定モデル学習装置は、コンピュータを、前記した各手段として機能させるための情報判定モデル学習プログラムで動作させることができる。
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、ソーシャルメディアから取得した大量の情報から、学習データの候補となる情報を、信頼度に応じて操作者に提示するため、短時間で学習データを収集し、情報判定モデルを追加学習することができる。
これによって、本発明は、操作者の作業量を減らして効率的に情報判定モデルを更新することができ、ソーシャルメディアから取得した情報が、どのような種別の情報であるのかを精度よく判定することができる。
本発明によれば、ソーシャルメディアから取得した大量の情報から、学習データの候補となる情報を、信頼度に応じて操作者に提示するため、短時間で学習データを収集し、情報判定モデルを追加学習することができる。
これによって、本発明は、操作者の作業量を減らして効率的に情報判定モデルを更新することができ、ソーシャルメディアから取得した情報が、どのような種別の情報であるのかを精度よく判定することができる。
以下、本発明の実施形態について図面を参照して説明する。
［情報判定モデル学習装置の構成］
最初に、図１を参照して、本発明の実施形態に係る情報判定モデル学習装置１の構成について説明する。
［情報判定モデル学習装置の構成］
最初に、図１を参照して、本発明の実施形態に係る情報判定モデル学習装置１の構成について説明する。
情報判定モデル学習装置１は、ＳＮＳで発信される情報（投稿単位のテキストデータであるツイート〔登録商標〕等、以下、投稿文という）が、予め定めたどの種別（カテゴリ）に属する情報であるかを判定するモデル（情報判定モデル）を学習するものである。
図１に示すように、情報判定モデル学習装置１は、制御手段１０と、記憶手段２０と、を備える。
図１に示すように、情報判定モデル学習装置１は、制御手段１０と、記憶手段２０と、を備える。
制御手段１０は、情報判定モデル学習装置１の動作を制御するものである。
制御手段１０は、初期学習手段１１と、判定手段１２と、追加学習データ収集手段１３と、追加学習手段１４と、モデル更新手段１５と、を備える。
制御手段１０は、初期学習手段１１と、判定手段１２と、追加学習データ収集手段１３と、追加学習手段１４と、モデル更新手段１５と、を備える。
初期学習手段１１は、学習データに基づいて、投稿文がどの種別に属するかを判定する情報判定モデルの初期モデルを学習（事前学習）するものである。
初期学習手段１１は、学習データ記憶手段２１に予め記憶されている学習データを参照して、情報判定モデルの初期モデルを機械学習する。
学習データ記憶手段２１に予め記憶する学習データは、判定を行いたい種別に属する投稿文である種別が既知の正例の学習データと、判定を行いたい種別に属さない投稿文である負例の学習データとを、予め分類した教師データである。
初期学習手段１１は、学習データ記憶手段２１に予め記憶されている学習データを参照して、情報判定モデルの初期モデルを機械学習する。
学習データ記憶手段２１に予め記憶する学習データは、判定を行いたい種別に属する投稿文である種別が既知の正例の学習データと、判定を行いたい種別に属さない投稿文である負例の学習データとを、予め分類した教師データである。
正例の学習データは、判定を行いたい種別に属する投稿文を種別ごと複数のクラスに分類したものである。この正例の学習データには、判定を行いたい種別、例えば、ニュースの種類である「火事」、「爆発」、「自動車事故」等の種別が既知である投稿文を、種別ごとにクラス分けしたものを用いる。この各クラスには、種別の内容を示すラベル（「１：火事」、「２：爆発」等）を対応付けておく。なお、ここでは、正例の学習データが予め複数の種別にクラス分けされた例を示すが、１つの種別、例えば、「ニュースに役立つ情報」のみの１つのクラスであっても構わない。
負例の学習データは、判定を行いたい種別に属さない投稿文を単一のクラスにまとめたものである。この負例の学習データには、多くの語彙や文脈を収集するため、例えば、取得可能なすべての投稿文からランダムに抽出した投稿文で、判定を行いたい種別に属さない投稿文を用いる。
具体的には、初期学習手段１１は、学習データがどのクラス（正例：複数クラス、負例：単一クラス）に属するかを判定するモデルをニューラルネットワークにより学習する。例えば、初期学習手段１１は、再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）の一種である双方向ＬＳＴＭ（Bidirectional Long short-term memory）を用いた順伝播型ニューラルネットワーク（ＦＦＮＮ：Feed Forward Neural Network）として、情報判定モデルを学習する。
ここで、図２を参照して、情報判定モデルの構成例について説明する。図２は、双方向ＬＳＴＭを用いた情報判定モデルＭの構成図である。
図２に示すように、情報判定モデルＭは、入力層Ｌ１、中間層Ｌ２および出力層Ｌ３を有するニューラルネットワークである。
図２に示すように、情報判定モデルＭは、入力層Ｌ１、中間層Ｌ２および出力層Ｌ３を有するニューラルネットワークである。
入力層Ｌ１は、投稿文を文字（始端記号＜ｓ＞、終端記号＜ｅ＞を含む）ごとに入力する。ここで、文字はベクトル表現とする。なお、文字のベクトル表現は、次元数を全文字種数とし、表現する文字の成分のみを“１”、他を“０”とする「ｏｎｅ－ｈｏｔ表現」とする。
中間層Ｌ２は、順方向のＬＳＴＭと逆方向のＬＳＴＭと順伝播型ニューラルネットワーク（ＦＦＮＮ）とで構成される。順方向のＬＳＴＭは、投稿文の始端記号から順に文字（文字ベクトル）を入力層Ｌ１から入力し、終端記号までＬＳＴＭの演算を繰り返す。また、逆方向のＬＳＴＭは、投稿文の終端記号から順に文字（文字ベクトル）を入力層Ｌ１から入力し、始端記号までＬＳＴＭの演算を繰り返す。そして、双方向のＬＳＴＭの演算結果であるそれぞれのベクトルを連結したベクトルを、さらに、複数のＦＦＮＮを介して、出力ベクトル（中間層出力Ｖ）とする。
出力層Ｌ３は、中間層出力Ｖである出力ベクトルの各要素の値に重みを付加して加算し正規化することで、出力ノードにおける比率（確率値）を信頼度として計算する。この信頼度が最大となるノードに対応するクラスが判定結果となる。
この出力層Ｌ３は、ノードごとに入力される値を、ソフトマックス関数を用いて正規化することで、各ノードの信頼度を算出する。
なお、出力層Ｌ３は、図３に示すように、次元数（ノード数）を、正例のクラスの数（ｎ）と、負例のクラスの数（ここでは、“１”）を加算したクラス数（ｎ＋１）とする。
この出力層Ｌ３は、ノードごとに入力される値を、ソフトマックス関数を用いて正規化することで、各ノードの信頼度を算出する。
なお、出力層Ｌ３は、図３に示すように、次元数（ノード数）を、正例のクラスの数（ｎ）と、負例のクラスの数（ここでは、“１”）を加算したクラス数（ｎ＋１）とする。
初期学習手段１１は、入力した投稿文が学習データとして種別が既知（教師データ）であるため、この出力層Ｌ３の出力に対して、誤差を小さくする方向に情報判定モデルＭのモデルパラメータ（ＬＳＴＭ内の重み行列、ＦＦＮＮのノード間の重み行列等）を学習する。なお、誤差を小さくするには、一般的な誤差逆伝播法（Back Propagation）を用いればよい。
図２に示した情報判定モデルＭの双方向ＬＳＴＭは、非特許文献１に記載されているように、アテンションメカニズムを用いてもよい。
図２に示した情報判定モデルＭの双方向ＬＳＴＭは、非特許文献１に記載されているように、アテンションメカニズムを用いてもよい。
図１に戻って、情報判定モデル学習装置１の構成について説明を続ける。
初期学習手段１１は、学習した情報判定モデル（モデルパラメータ）を情報判定モデル記憶手段２２に書き込み、当該情報判定モデルを記憶する。以下、情報判定モデル記憶手段２２に記憶する情報判定モデルをモデルＡと呼称する場合がある。
初期学習手段１１は、学習した情報判定モデル（モデルパラメータ）を情報判定モデル記憶手段２２に書き込み、当該情報判定モデルを記憶する。以下、情報判定モデル記憶手段２２に記憶する情報判定モデルをモデルＡと呼称する場合がある。
判定手段１２は、情報判定モデル記憶手段２２に記憶されている情報判定モデルを用いて、種別が未知である投稿文が、どの種別に属する投稿文であるのかを判定するものである。
具体的には、判定手段１２は、ＳＮＳ等のソーシャルメディアから取得した投稿文をベクトル表現に変換し、図２に示したニューラルネットワークで構成した情報判定モデルＭの入力層Ｌ１に、順方向および逆方向から、順次、文字ベクトルを入力する。
そして、判定手段１２は、中間層Ｌ２において、情報判定モデルＭのパラメータ（重み行例等）を用いて、順方向のＬＳＴＭと逆方向のＬＳＴＭとで、それぞれＬＳＴＭの演算を繰り返す。その後、順方向のＬＳＴＭと逆方向のＬＳＴＭとの出力を連結したベクトルを順次ＦＦＮＮを介して演算し、中間層出力Ｖを生成する。
そして、判定手段１２は、図３に示すように、中間層出力Ｖの各要素の値に重みを付加して出力層Ｌ３に伝搬させて、各ノードの確率値を信頼度として計算する。
具体的には、判定手段１２は、ＳＮＳ等のソーシャルメディアから取得した投稿文をベクトル表現に変換し、図２に示したニューラルネットワークで構成した情報判定モデルＭの入力層Ｌ１に、順方向および逆方向から、順次、文字ベクトルを入力する。
そして、判定手段１２は、中間層Ｌ２において、情報判定モデルＭのパラメータ（重み行例等）を用いて、順方向のＬＳＴＭと逆方向のＬＳＴＭとで、それぞれＬＳＴＭの演算を繰り返す。その後、順方向のＬＳＴＭと逆方向のＬＳＴＭとの出力を連結したベクトルを順次ＦＦＮＮを介して演算し、中間層出力Ｖを生成する。
そして、判定手段１２は、図３に示すように、中間層出力Ｖの各要素の値に重みを付加して出力層Ｌ３に伝搬させて、各ノードの確率値を信頼度として計算する。
ここで、判定手段１２は、信頼度が最大のノードに対応するクラスが正例のクラスであれば、そのクラスに対応する種別に対応するラベルを、判定結果として信頼度とともに追加学習データ収集手段１３に出力する。また、判定手段１２は、信頼度が最大のノードに対応するクラスが負例のクラスであれば、負例のクラスとして予め定めたラベルを、判定結果として信頼度とともに追加学習データ収集手段１３に出力する。
追加学習データ収集手段１３は、判定手段１２で種別が判定された投稿文から、情報判定モデルを追加学習するための追加学習データを収集するものである。
追加学習データ収集手段１３は、データ選択手段１３０と、データ抽出手段１３１と、を備える。
追加学習データ収集手段１３は、データ選択手段１３０と、データ抽出手段１３１と、を備える。
データ選択手段１３０は、判定手段１２で種別が判定された投稿文を、追加学習すべき候補を優先して表示装置２に表示し、操作者（アノテータ）によって当該投稿文を追加学習データとするか否かの選択を受け付けるものである。
例えば、データ選択手段１３０は、判定手段１２で種別が判定された投稿文を、信頼度の低い方から優先して表示装置２に表示する。
ここで、信頼度が低い場合、情報判定モデル（モデルＡ）による判定結果は、誤っている可能性も高いことになる。そこで、操作者は、判定結果の信頼度の低い投稿文に対して、それが正しい判定結果であるか否かを判定し、正しい場合、その投稿文を追加学習データとして選択する。これによって、この投稿文が追加学習データ（教師データ）として選択され、追加学習により、情報判定モデルの精度を高めることが可能になる。
例えば、データ選択手段１３０は、判定手段１２で種別が判定された投稿文を、信頼度の低い方から優先して表示装置２に表示する。
ここで、信頼度が低い場合、情報判定モデル（モデルＡ）による判定結果は、誤っている可能性も高いことになる。そこで、操作者は、判定結果の信頼度の低い投稿文に対して、それが正しい判定結果であるか否かを判定し、正しい場合、その投稿文を追加学習データとして選択する。これによって、この投稿文が追加学習データ（教師データ）として選択され、追加学習により、情報判定モデルの精度を高めることが可能になる。
図４に、データ選択手段１３０が、表示装置２に表示する画面の例を示す。
例えば、データ選択手段１３０は、図４に示す画面上に、投稿文Ｃ、投稿された日時Ｔとともに、判定された種別のラベルＬと信頼度Ｒとを、信頼度の低い方から優先的に表示装置２に表示する。ここで、データ選択手段１３０は、表示装置２の画面上で、投稿文を一定速度でスクロールして順番に表示することで、操作者が、投稿文ＣとラベルＬとの対応を確認し、正しい対応であれば、マウス等の選択手段で投稿文Ｃを選択する。
データ選択手段１３０は、選択された投稿文をラベルとともに追加学習データとして、追加学習データ記憶手段２３に記憶する。また、データ選択手段１３０は、選択された投稿文とラベルとをデータ抽出手段１３１に通知し、選択が終了した段階、例えば、画面上の終了ボタンＥ（図４参照）を押下された段階で、選択が終了したことをデータ抽出手段１３１に通知する。
例えば、データ選択手段１３０は、図４に示す画面上に、投稿文Ｃ、投稿された日時Ｔとともに、判定された種別のラベルＬと信頼度Ｒとを、信頼度の低い方から優先的に表示装置２に表示する。ここで、データ選択手段１３０は、表示装置２の画面上で、投稿文を一定速度でスクロールして順番に表示することで、操作者が、投稿文ＣとラベルＬとの対応を確認し、正しい対応であれば、マウス等の選択手段で投稿文Ｃを選択する。
データ選択手段１３０は、選択された投稿文をラベルとともに追加学習データとして、追加学習データ記憶手段２３に記憶する。また、データ選択手段１３０は、選択された投稿文とラベルとをデータ抽出手段１３１に通知し、選択が終了した段階、例えば、画面上の終了ボタンＥ（図４参照）を押下された段階で、選択が終了したことをデータ抽出手段１３１に通知する。
なお、データ選択手段１３０は、すべての投稿文を表示装置２に表示する必要はなく、投稿文中の単語で、投稿文の種別（クラス）の特徴を表す度合いが予め定めた閾値よりも大きい投稿文のみを表示対象とすることとしてもよい。このクラスの特徴を表す度合いとしては、例えば、デルタＩＤＦ（Inverse Document Frequency）を用いることができる。
具体的には、まず、データ選択手段１３０は、投稿文内における単語ｊのデルタＩＤＦの値（Δｉｄｆｊ）を、以下の式（１）により算出する、
ここで、Ｐは、学習データ記憶手段２１に記憶されている学習データの中で、投稿文に対応するクラスの正例の数、Ｎは負例の数を示す。また、Ｐｊ，Ｎｊは、学習データ記憶手段２１に記憶されている学習データの中で、投稿文に対応するクラスの単語ｊを含む正例の数、負例の数を示す。
そして、データ選択手段１３０は、予め定めた閾値よりも大きいデルタＩＤＦの値となる単語を有する投稿文を、表示対象とする。
このように、データ選択手段１３０は、信頼度の低い投稿文を優先し、また、特徴的な単語を有する投稿文を画面表示することで、操作者が効率的に追加学習データを選択することができる。
なお、操作者は、すべての投稿文を確認する必要はなく、例えば、一定時間、一定個数等、作業時間、作業内容を定めて、投稿文を選択すればよい。
そして、データ選択手段１３０は、予め定めた閾値よりも大きいデルタＩＤＦの値となる単語を有する投稿文を、表示対象とする。
このように、データ選択手段１３０は、信頼度の低い投稿文を優先し、また、特徴的な単語を有する投稿文を画面表示することで、操作者が効率的に追加学習データを選択することができる。
なお、操作者は、すべての投稿文を確認する必要はなく、例えば、一定時間、一定個数等、作業時間、作業内容を定めて、投稿文を選択すればよい。
データ抽出手段１３１は、判定手段１２で正例クラスと判定した投稿文の中で、データ選択手段１３０で選択されなかった投稿文（以下、非選択投稿文）を対象として、データ選択手段１３０で選択された投稿文と類似する投稿文を、さらに、追加学習データとして抽出するものである。
例えば、データ抽出手段１３１は、データ選択手段１３０で選択された投稿文のベクトル表現と、データ選択手段１３０で選択されなかった投稿文のベクトル表現との類似度（投稿文のベクトル同士の成す角度の近さを示すコサイン類似度）を算出し、予め定めた閾値よりも大きい類似度となった非選択投稿文に対して、類似する投稿文のクラスを対応付けて追加学習データとする。
なお、データ選択手段１３０で選択された投稿文のベクトル表現、および、選択されなかった投稿文のベクトル表現は、判定手段１２において、クラスを判定する際の情報判定モデルの出力ベクトル（出力層の出力）を用いればよい。あるいは、中間層のＬＳＴＭよりも後段の出力ベクトル（例えば、中間層出力Ｖ；図２参照）を用いてもよい。
例えば、データ抽出手段１３１は、データ選択手段１３０で選択された投稿文のベクトル表現と、データ選択手段１３０で選択されなかった投稿文のベクトル表現との類似度（投稿文のベクトル同士の成す角度の近さを示すコサイン類似度）を算出し、予め定めた閾値よりも大きい類似度となった非選択投稿文に対して、類似する投稿文のクラスを対応付けて追加学習データとする。
なお、データ選択手段１３０で選択された投稿文のベクトル表現、および、選択されなかった投稿文のベクトル表現は、判定手段１２において、クラスを判定する際の情報判定モデルの出力ベクトル（出力層の出力）を用いればよい。あるいは、中間層のＬＳＴＭよりも後段の出力ベクトル（例えば、中間層出力Ｖ；図２参照）を用いてもよい。
また、データ抽出手段１３１は、データ選択手段１３０で選択された投稿文のベクトル表現と、データ選択手段１３０で選択されなかった投稿文のベクトル表現との類似度（コサイン類似度）を算出する場合、選択された投稿文と投稿日が同日である非選択投稿文のみを対象としてもよい。同日の投稿文を対象とすることで、同じ事象に対して、複数の表現を追加学習データとすることができ、学習効率を高めることができる。
このように、データ抽出手段１３１は、データ選択手段１３０で操作者によって選択されなかった投稿文からも、追加学習データを収集することができる。
追加学習データ収集手段１３は、収集した追加学習データ（投稿文、種別〔クラス〕）を追加学習データ記憶手段２３に記憶する。
このように、データ抽出手段１３１は、データ選択手段１３０で操作者によって選択されなかった投稿文からも、追加学習データを収集することができる。
追加学習データ収集手段１３は、収集した追加学習データ（投稿文、種別〔クラス〕）を追加学習データ記憶手段２３に記憶する。
追加学習手段１４は、追加学習データを用いて、情報判定モデルを追加学習するものである。この追加学習手段１４は、例えば、外部から追加学習を指示されたタイミングで、追加学習データ記憶手段２３に記憶されている追加学習データを用いて、情報判定モデル記憶手段２２に記憶されている情報判定モデルを追加学習する。なお、追加学習手段１４における学習は、初期学習手段１１と同様であるため説明を省略する。
追加学習手段１４は、情報判定モデルを追加学習した追加学習モデル（モデルパラメータ）を、追加学習モデル記憶手段２４に記憶する。以下、追加学習モデル記憶手段２４に記憶する追加学習モデルをモデルＢと呼称する場合がある。
追加学習手段１４は、追加学習を終了した段階で、モデル更新手段１５に学習終了を通知する。
追加学習手段１４は、情報判定モデルを追加学習した追加学習モデル（モデルパラメータ）を、追加学習モデル記憶手段２４に記憶する。以下、追加学習モデル記憶手段２４に記憶する追加学習モデルをモデルＢと呼称する場合がある。
追加学習手段１４は、追加学習を終了した段階で、モデル更新手段１５に学習終了を通知する。
モデル更新手段１５は、情報判定モデルを更新するものである。
モデル更新手段１５は、評価手段１５０と、更新手段１５１と、を備える。
モデル更新手段１５は、評価手段１５０と、更新手段１５１と、を備える。
評価手段１５０は、情報判定モデル記憶手段２２に記憶されている情報判定モデル（モデルＡ）と、追加学習モデル記憶手段２４に記憶されている追加学習モデル（モデルＢ）とのそれぞれについて、投稿文の分類の精度を評価するものである。
なお、評価手段１５０における評価手法は、一般的な手法を用いることができる。例えば、評価手段１５０は、情報判定モデルおよび追加学習モデルについて、予め準備した評価データを用いてＦ値を算出し、評価値とする。なお、評価データは、予め正例と負例とのクラスが既知の投稿文であって、予め評価データ記憶手段２５に記憶しておく。
なお、評価手段１５０における評価手法は、一般的な手法を用いることができる。例えば、評価手段１５０は、情報判定モデルおよび追加学習モデルについて、予め準備した評価データを用いてＦ値を算出し、評価値とする。なお、評価データは、予め正例と負例とのクラスが既知の投稿文であって、予め評価データ記憶手段２５に記憶しておく。
Ｆ値は、適合率と再現率との調和平均である。
適合率は、クラスに関わらず、正例と判定したデータ（投稿文）のうちで、実際に正例であるものの割合である。
再現率は、クラスに関わらず、実際に正例であるデータ（投稿文）のうちで、正例と判定したものの割合である。
Ｆ値（F-measure）は、適合率をPrecision、再現率をRecallとしたとき、以下の式（２）で求めることができる。
適合率は、クラスに関わらず、正例と判定したデータ（投稿文）のうちで、実際に正例であるものの割合である。
再現率は、クラスに関わらず、実際に正例であるデータ（投稿文）のうちで、正例と判定したものの割合である。
Ｆ値（F-measure）は、適合率をPrecision、再現率をRecallとしたとき、以下の式（２）で求めることができる。
評価手段１５０は、情報判定モデルおよび追加学習モデルのそれぞれについて算出した評価値（Ｆ値）を、更新手段１５１に出力する。
更新手段１５１は、評価手段１５０で算出された評価値に基づいて、追加学習モデルの評価値が、追加学習前の情報判定モデルの評価値を上回った場合に、情報判定モデルを更新するものである。
更新手段１５１は、追加学習モデルの評価値が追加学習前の情報判定モデルの評価値を上回った場合だけ、追加学習モデル記憶手段２４に記憶されている追加学習モデル（モデルパラメータ）を情報判定モデル記憶手段２２に記憶し、新たな情報判定モデルに更新する。また、このとき、更新手段１５１は、追加学習データ記憶手段２３に記憶されている追加学習データを削除する。
更新手段１５１は、追加学習モデルの評価値が追加学習前の情報判定モデルの評価値を上回った場合だけ、追加学習モデル記憶手段２４に記憶されている追加学習モデル（モデルパラメータ）を情報判定モデル記憶手段２２に記憶し、新たな情報判定モデルに更新する。また、このとき、更新手段１５１は、追加学習データ記憶手段２３に記憶されている追加学習データを削除する。
一方、更新手段１５１は、追加学習モデルの評価値が追加学習前の情報判定モデルの評価値以下の場合、情報判定モデルの更新を行わないこととする。また、このとき、更新手段１５１は、追加学習データ記憶手段２３に記憶されている追加学習データを削除しないこととしてもよい。これによって、次回の追加学習時に、追加学習データのデータ量を増やして効果的に学習を行うことができる。
記憶手段２０は、情報判定モデル学習装置１の動作で使用または生成する各種データを記憶するものである。記憶手段２０は、学習データ記憶手段２１と、情報判定モデル記憶手段２２と、追加学習データ記憶手段２３と、追加学習モデル記憶手段２４と、評価データ記憶手段２５と、を備える。
これら各記憶手段は、ハードディスク、半導体メモリ等の一般的な記憶装置で構成することができる。なお、ここでは、記憶手段２０において、各記憶手段を個別に設けているが、１つの記憶装置の記憶領域を複数に区分して各記憶手段としてもよい。また、記憶手段２０を外部記憶装置として、情報判定モデル学習装置１の構成から省いてもよい。
これら各記憶手段は、ハードディスク、半導体メモリ等の一般的な記憶装置で構成することができる。なお、ここでは、記憶手段２０において、各記憶手段を個別に設けているが、１つの記憶装置の記憶領域を複数に区分して各記憶手段としてもよい。また、記憶手段２０を外部記憶装置として、情報判定モデル学習装置１の構成から省いてもよい。
学習データ記憶手段２１は、初期学習手段１１が情報判定モデルを学習するための学習データを予め記憶するものである。
情報判定モデル記憶手段２２は、初期学習手段１１が学習した情報判定モデル（モデルＡ）、より詳細には、そのモデルパラメータを記憶するものである。情報判定モデル記憶手段２２に記憶されている情報判定モデル（モデルパラメータ）は、追加学習手段１４が追加学習を行う際に読み出される。また、この情報判定モデルは、モデル更新手段１５（更新手段１５１）によって更新される。
情報判定モデル記憶手段２２は、初期学習手段１１が学習した情報判定モデル（モデルＡ）、より詳細には、そのモデルパラメータを記憶するものである。情報判定モデル記憶手段２２に記憶されている情報判定モデル（モデルパラメータ）は、追加学習手段１４が追加学習を行う際に読み出される。また、この情報判定モデルは、モデル更新手段１５（更新手段１５１）によって更新される。
追加学習データ記憶手段２３は、情報判定モデルを追加して学習するために、追加学習データを記憶するものである。追加学習データ記憶手段２３は、追加学習データ収集手段１３が収集する追加学習データを記憶し、追加学習手段１４によって、追加学習モデルを学習する際に読み出される。
追加学習モデル記憶手段２４は、追加学習手段１４が学習した追加学習モデル（モデルＢ）のモデルパラメータを記憶するものである。なお、追加学習モデル記憶手段２４のモデルパラメータと、情報判定モデル記憶手段２２が記憶するモデルパラメータとは、同一のニューラルネットワークの構造に対応したモデルパラメータである。
評価データ記憶手段２５は、モデル（情報判定モデル、追加学習モデル）を評価するための評価データとして、正例と負例とのクラスが既知の投稿文を予め記憶するものである。なお、評価データは、学習データ記憶手段２１に記憶する学習データに比べ、少ないデータ量でよい。この評価データ記憶手段２５は、モデル更新手段１５（評価手段１５０）によって読み出される。
以上説明したように、情報判定モデル学習装置１は、種別が未知である投稿文から学習に適した投稿文を追加学習データとして収集し、追加学習を行う構成とした。
また、情報判定モデル学習装置１は、種別判定の信頼度の低い投稿文を優先的に操作者に提示して、追加学習するか否かの選択を受け付ける構成とした。そのため、情報判定モデル学習装置１は、効率的に追加学習を行うことができる。
また、情報判定モデル学習装置１は、種別判定の信頼度の低い投稿文を優先的に操作者に提示して、追加学習するか否かの選択を受け付ける構成とした。そのため、情報判定モデル学習装置１は、効率的に追加学習を行うことができる。
また、情報判定モデル学習装置１は、操作者が選択した投稿文に類似する投稿文を入力される投稿文の中から抽出し、追加学習データとする。そのため、操作者の少ない作業で効率的に、追加学習データを大量に収集することができる。
なお、情報判定モデル学習装置１は、コンピュータを前記した各手段として機能させるためのプログラム（情報判定モデル学習プログラム）で動作させることができる。
なお、情報判定モデル学習装置１は、コンピュータを前記した各手段として機能させるためのプログラム（情報判定モデル学習プログラム）で動作させることができる。
［情報判定モデル学習装置の動作］
次に、図５を参照（構成については適宜図１参照）して、本発明の実施形態に係る情報判定モデル学習装置１の動作について説明する。なお、学習データ記憶手段２１には、判定を行いたい種別に属する投稿文である正例の学習データと、判定を行いたい種別に属さない投稿文である負例の学習データとが、予め記憶されているものとする。また、評価データ記憶手段２５には、学習データ記憶手段２１と同様に正例の評価データと、負例の評価データとが予め記憶されているものとする。
次に、図５を参照（構成については適宜図１参照）して、本発明の実施形態に係る情報判定モデル学習装置１の動作について説明する。なお、学習データ記憶手段２１には、判定を行いたい種別に属する投稿文である正例の学習データと、判定を行いたい種別に属さない投稿文である負例の学習データとが、予め記憶されているものとする。また、評価データ記憶手段２５には、学習データ記憶手段２１と同様に正例の評価データと、負例の評価データとが予め記憶されているものとする。
ステップＳ１において、初期学習手段１１は、学習データ記憶手段２１に記憶されている学習データを用いて、投稿文がどの種別に属するかを判定する情報判定モデル（モデルＡ）を学習する。そして、初期学習手段１１は、情報判定モデルを情報判定モデル記憶手段２２に記憶する（ステップとして図示せず）。
ステップＳ２において、判定手段１２は、ＳＮＳ等のソーシャルメディアから取得した投稿文を順次入力する。
ステップＳ３において、判定手段１２は、ステップＳ２で入力した投稿文を、情報判定モデル記憶手段２２に記憶されている情報判定モデルを用いて、どの種別に属する投稿文であるのかを判定する。
ステップＳ３において、判定手段１２は、ステップＳ２で入力した投稿文を、情報判定モデル記憶手段２２に記憶されている情報判定モデルを用いて、どの種別に属する投稿文であるのかを判定する。
ステップＳ４において、追加学習データ収集手段１３のデータ選択手段１３０は、ステップＳ３で判定された投稿文を、信頼度の低い方から優先して表示装置２に表示する。信頼度は、判定手段１２が判定に用いた情報判定モデルの出力値を用いることができる。
このとき、データ選択手段１３０は、投稿文中の単語で、クラスの特徴を表す度合い（デルタＩＤＦ等）が予め定めた閾値よりも大きい投稿文のみを表示対象としてもよい。
このとき、データ選択手段１３０は、投稿文中の単語で、クラスの特徴を表す度合い（デルタＩＤＦ等）が予め定めた閾値よりも大きい投稿文のみを表示対象としてもよい。
ステップＳ５において、データ抽出手段１３１は、ステップＳ４で表示した投稿文の中から、操作者による投稿文の選択を受け付ける。このとき、操作者は、信頼度の低い投稿文に対して、それが正しい判定結果であるか否かを判定し、正しい場合、その投稿文を追加学習データとして選択する。そして、データ抽出手段１３１は、選択された追加学習データを追加学習データ記憶手段２３に記憶する（ステップとして図示せず）。
ステップＳ６において、追加学習データ収集手段１３のデータ抽出手段１３１は、ステップＳ５で選択されなかった投稿文（非選択投稿文）から、ステップＳ５で選択された投稿文と類似する投稿文を追加学習データとして抽出する。この類似の度合いは、例えば、コサイン類似度を用いることができる。そして、データ抽出手段１３１は、抽出した追加学習データを追加学習データ記憶手段２３に記憶する（ステップとして図示せず）。
ステップＳ７において、追加学習手段１４は、追加学習データ記憶手段２３に記憶されている追加学習データを用いて、情報判定モデル（モデルＡ）を追加学習することで、追加学習モデル（モデルＢ）を生成する。そして、追加学習手段１４は、追加学習モデルを追加学習モデル記憶手段２４に記憶する（ステップとして図示せず）。
ステップＳ８において、モデル更新手段１５の評価手段１５０は、情報判定モデル（モデルＡ）と、追加学習モデル（モデルＢ）とについて、それぞれ、評価データ記憶手段２５に記憶されている評価データを用いて、投稿文の分類の精度を評価する。例えば、モデル更新手段１５は、Ｆ値（F-measure）により、それぞれのモデルＡ，Ｂについて精度の評価値を算出する。
ステップＳ９において、モデル更新手段１５の更新手段１５１は、情報判定モデル（モデルＡ）の評価値と、追加学習モデル（モデルＢ）の評価値とを比較する。
ここで、追加学習モデル（モデルＢ）の評価値が情報判定モデル（モデルＡ）の評価値を上回った場合（ステップＳ９でＹｅｓ）、ステップＳ１０において、更新手段１５１は、追加学習モデル（モデルＢ）を新たな情報判定モデル（モデルＡ）として更新し、情報判定モデル記憶手段２２に記憶する。そして、ステップＳ１１において、更新手段１５１は、追加学習データ記憶手段２３に記憶されている追加学習データを削除する。
ここで、追加学習モデル（モデルＢ）の評価値が情報判定モデル（モデルＡ）の評価値を上回った場合（ステップＳ９でＹｅｓ）、ステップＳ１０において、更新手段１５１は、追加学習モデル（モデルＢ）を新たな情報判定モデル（モデルＡ）として更新し、情報判定モデル記憶手段２２に記憶する。そして、ステップＳ１１において、更新手段１５１は、追加学習データ記憶手段２３に記憶されている追加学習データを削除する。
一方、追加学習モデル（モデルＢ）の評価値が情報判定モデル（モデルＡ）の評価値以下の場合（ステップＳ９でＮｏ）、情報判定モデル学習装置１は動作を終了する。
なお、情報判定モデル学習装置１は、この動作完了後は、定期的、例えば、１日ごとに、ステップＳ２以降の動作を行うこととする。
なお、情報判定モデル学習装置１は、この動作完了後は、定期的、例えば、１日ごとに、ステップＳ２以降の動作を行うこととする。
以上の動作によって、情報判定モデル学習装置１は、人手の作業を最小限にして、最新の情報（投稿文）を追加学習して、精度の高い情報判定モデルを生成することができる。
以上、本発明の実施形態に係る情報判定モデル学習装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
以上、本発明の実施形態に係る情報判定モデル学習装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
［変形例］
（変形例１）
ここでは、初期学習手段１１および追加学習手段１４が学習するモデル（情報判定モデルおよび追加学習モデル）として、双方向ＬＳＴＭを中間層とする順伝播型ニューラルネットワーク（ＦＦＮＮ）を用いた。しかし、これらのモデルには、一般的なＦＦＮＮを用いてもよい。
（変形例１）
ここでは、初期学習手段１１および追加学習手段１４が学習するモデル（情報判定モデルおよび追加学習モデル）として、双方向ＬＳＴＭを中間層とする順伝播型ニューラルネットワーク（ＦＦＮＮ）を用いた。しかし、これらのモデルには、一般的なＦＦＮＮを用いてもよい。
図６に一般的なＦＦＮＮで構成した情報判定モデル（追加学習モデル）Ｍ２の例を示す。図６に示すように情報判定モデルＭ２は、入力層Ｌ１と、複数の階層で構成された中間層Ｌ２と、出力層Ｌ３とで構成される。入力層Ｌ１には、投稿文ごとに、予め定めた次元数の分散表現ベクトルを入力し、重みを付加して各層を伝搬させて、出力層Ｌ３から出力する。
なお、中間層Ｌ２の出力ベクトル（中間層出力Ｖ）と、出力層Ｌ３との関係は、図３で説明した関係と同じである。情報判定モデルＭ２の出力層Ｌ３のノード数は、図３と同様、正例のクラスの数（ｎ）と、負例のクラスの数（“１”）を加算したクラス数（ｎ＋１）である。
この情報判定モデルＭ２に入力される投稿文の分散表現ベクトルは、例えば、Ｗｏｒｄ２Ｖｅｃ、ＧｌｏＶｅ等の一般的な分散表現ベクトル生成手法により生成した、単語ごとの予め定めた次元数のベクトルを、投稿文に含まれる単語数分加算し、平均化したものである。
例えば、初期学習手段１１、追加学習手段１４は、投稿文「消防車おるけど火事？」を、形態素解析により、「消防車／おる／けど／火事／？」のように単語に分割する。
そして、初期学習手段１１、追加学習手段１４は、各単語を分散表現ベクトルに変換して加算し、単語数で除算することで、当該投稿文に対応する分散表現ベクトルを生成する。
これによって、異なる単語数の投稿文であっても、同一次元の分散表現ベクトルで、情報判定モデルＭ２の学習を行うことができる。
例えば、初期学習手段１１、追加学習手段１４は、投稿文「消防車おるけど火事？」を、形態素解析により、「消防車／おる／けど／火事／？」のように単語に分割する。
そして、初期学習手段１１、追加学習手段１４は、各単語を分散表現ベクトルに変換して加算し、単語数で除算することで、当該投稿文に対応する分散表現ベクトルを生成する。
これによって、異なる単語数の投稿文であっても、同一次元の分散表現ベクトルで、情報判定モデルＭ２の学習を行うことができる。
（変形例２）
また、図２に示した情報判定モデルＭは、投稿文の中の特徴的な単語の重みを表した特徴ベクトルを、中間層に付加するモデルとしてもよい。
図７に特徴ベクトルを付加した情報判定モデル（追加学習モデル）Ｍ３の例を示す。図７に示すように情報判定モデルＭ３は、基本的には、図２で説明した情報判定モデルＭと同じであるが、少なくとも双方向ＬＳＴＭの後段に、特徴ベクトルＶ２を入力する。
また、図２に示した情報判定モデルＭは、投稿文の中の特徴的な単語の重みを表した特徴ベクトルを、中間層に付加するモデルとしてもよい。
図７に特徴ベクトルを付加した情報判定モデル（追加学習モデル）Ｍ３の例を示す。図７に示すように情報判定モデルＭ３は、基本的には、図２で説明した情報判定モデルＭと同じであるが、少なくとも双方向ＬＳＴＭの後段に、特徴ベクトルＶ２を入力する。
この特徴ベクトルＶ２は、例えば、単語数分の次元のベクトルであって、入力された投稿文の単語のスコアを、ベクトルの要素に設定したものである。スコアは、前記した式（１）と同じデルタＩＤＦの値を用いることができる。ただし、特徴ベクトルＶ２のスコアの場合、前記式（１）のＰは、学習データ記憶手段２１に記憶されている学習データの中で、すべてのクラスの正例の数、Ｎは負例の数を示す。また、Ｐｊ，Ｎｊは、学習データ記憶手段２１に記憶されている学習データの中で、すべてのクラスの単語ｊを含む正例の数、負例の数を示す。
また、特徴ベクトルＶ２は、単語数分の次元ベクトルではなく、予め定めた次元数（例えば、１０次元）であってもよい。この場合、特徴ベクトルＶ２は、例えば、投稿文の単語の重み（デルタＩＤＦの値）を、所定単位（例えば０．１刻み）でベクトルの要素に対応させ、重みに対応する要素に“１”、対応しない要素に“０”を設定したベクトルとする。あるいは、特徴ベクトルＶ２は、要素ごとに対応する単語の重みを累計し、累計結果の総和が“１”となるように正規化してもよい。
この特徴ベクトルＶ２は、初期学習手段１１、追加学習手段１４によって生成される。
これによって、情報判定モデルＭ３は、投稿文内の特徴単語を加味して、情報を判定することが可能なモデルとなる。
この特徴ベクトルＶ２は、初期学習手段１１、追加学習手段１４によって生成される。
これによって、情報判定モデルＭ３は、投稿文内の特徴単語を加味して、情報を判定することが可能なモデルとなる。
（変形例３）
ここでは、情報判定モデル学習装置１は、学習データを用いて、情報判定モデルを学習して生成することとした。
しかし、追加学習前の情報判定モデルは、必ずしも情報判定モデル学習装置１内で生成する必要はない。例えば、外部で予め学習し生成した情報判定モデルを、情報判定モデル記憶手段２２に記憶しておけばよい。その場合、情報判定モデル学習装置１は、初期学習手段１１を構成から省略することができる。また、データ選択手段１３０において、デルタＩＤＦを用いて投稿文の表示対象の制限を行う必要がなければ、さらに、学習データ記憶手段２１を省略することも可能である。
ここでは、情報判定モデル学習装置１は、学習データを用いて、情報判定モデルを学習して生成することとした。
しかし、追加学習前の情報判定モデルは、必ずしも情報判定モデル学習装置１内で生成する必要はない。例えば、外部で予め学習し生成した情報判定モデルを、情報判定モデル記憶手段２２に記憶しておけばよい。その場合、情報判定モデル学習装置１は、初期学習手段１１を構成から省略することができる。また、データ選択手段１３０において、デルタＩＤＦを用いて投稿文の表示対象の制限を行う必要がなければ、さらに、学習データ記憶手段２１を省略することも可能である。
（変形例４）
ここでは、追加学習データ収集手段１３が、操作者によって追加学習データを選択し、選択されなかった投稿文からさらに追加学習データを収集することとした。
しかし、追加学習データ収集手段１３は、操作者による追加学習データの選択のみによって追加学習データを収集することとしてもよい。その場合、情報判定モデル学習装置１は、データ抽出手段１３１を構成から省略することができる。
ここでは、追加学習データ収集手段１３が、操作者によって追加学習データを選択し、選択されなかった投稿文からさらに追加学習データを収集することとした。
しかし、追加学習データ収集手段１３は、操作者による追加学習データの選択のみによって追加学習データを収集することとしてもよい。その場合、情報判定モデル学習装置１は、データ抽出手段１３１を構成から省略することができる。
（変形例５）
ここでは、情報判定モデル学習装置１は、情報判定モデルを追加学習する装置とした。
しかし、情報判定モデル学習装置１は、追加学習後の情報判定モデルを用いて、投稿文が予め定めたどの種別に属する情報であるかを判定することとしてもよい。
ここでは、情報判定モデル学習装置１は、情報判定モデルを追加学習する装置とした。
しかし、情報判定モデル学習装置１は、追加学習後の情報判定モデルを用いて、投稿文が予め定めたどの種別に属する情報であるかを判定することとしてもよい。
例えば、図８に、投稿文の判定を行うことが可能な情報判定モデル学習装置１Ｂの構成を示す。
情報判定モデル学習装置１Ｂは、追加学習モードと情報判定モードとの２つの動作モードを切り替えて動作する。情報判定モデル学習装置１Ｂは、追加学習モードにおいては、新たな投稿文によって、情報判定モデルを追加学習する。また、情報判定モデル学習装置１Ｂは、情報判定モードにおいては、入力される投稿文の種別を判定する。
図８に示すように、情報判定モデル学習装置１Ｂは、情報判定モデル学習装置１の構成に切替手段１６を付加して構成している。切替手段１６以外の構成は、図１の情報判定モデル学習装置１の構成と同じであるため、同一の符号を付して説明を省略する。
情報判定モデル学習装置１Ｂは、追加学習モードと情報判定モードとの２つの動作モードを切り替えて動作する。情報判定モデル学習装置１Ｂは、追加学習モードにおいては、新たな投稿文によって、情報判定モデルを追加学習する。また、情報判定モデル学習装置１Ｂは、情報判定モードにおいては、入力される投稿文の種別を判定する。
図８に示すように、情報判定モデル学習装置１Ｂは、情報判定モデル学習装置１の構成に切替手段１６を付加して構成している。切替手段１６以外の構成は、図１の情報判定モデル学習装置１の構成と同じであるため、同一の符号を付して説明を省略する。
切替手段１６は、指定された動作モードによって、判定手段１２における判定結果の出力を切り替えるものである。
この切替手段１６は、外部からの動作モードの指示により、判定手段１２の出力を、追加学習データ収集手段１３か、外部（例えば、表示装置２）かのいずれかに切り替える。
情報判定モデル学習装置１Ｂは、追加学習モードの動作時には、切替手段１６によって、判定手段１２の出力を追加学習データ収集手段１３とすることで、入力される投稿文によって、情報判定モデルを追加学習する。
また、情報判定モデル学習装置１Ｂは、情報判定モードの動作時には、切替手段１６によって、判定手段１２の出力を外部出力とすることで、入力される投稿文の種別を判定し、判定結果を外部に出力する。
なお、投稿文が予め定めたどの種別に属する情報であるかを判定する場合、図９に示す情報判定装置３して構成してもよい。
図９に示す情報判定装置３は、図１で説明した情報判定モデル学習装置１の判定手段１２と、情報判定モデル記憶手段２２とで構成する。なお、情報判定モデル記憶手段２２は、情報判定モデル学習装置１で追加学習した情報判定モデルを記憶しておけばよい。
これによって、情報判定モデル学習装置１で学習した情報判定モデルを、複数の情報判定装置３で利用することができる。
この切替手段１６は、外部からの動作モードの指示により、判定手段１２の出力を、追加学習データ収集手段１３か、外部（例えば、表示装置２）かのいずれかに切り替える。
情報判定モデル学習装置１Ｂは、追加学習モードの動作時には、切替手段１６によって、判定手段１２の出力を追加学習データ収集手段１３とすることで、入力される投稿文によって、情報判定モデルを追加学習する。
また、情報判定モデル学習装置１Ｂは、情報判定モードの動作時には、切替手段１６によって、判定手段１２の出力を外部出力とすることで、入力される投稿文の種別を判定し、判定結果を外部に出力する。
なお、投稿文が予め定めたどの種別に属する情報であるかを判定する場合、図９に示す情報判定装置３して構成してもよい。
図９に示す情報判定装置３は、図１で説明した情報判定モデル学習装置１の判定手段１２と、情報判定モデル記憶手段２２とで構成する。なお、情報判定モデル記憶手段２２は、情報判定モデル学習装置１で追加学習した情報判定モデルを記憶しておけばよい。
これによって、情報判定モデル学習装置１で学習した情報判定モデルを、複数の情報判定装置３で利用することができる。
１，１Ｂ 情報判定モデル学習装置
１０ 制御手段
１１ 初期学習手段
１２ 判定手段
１３ 追加学習データ収集手段
１３０ データ選択手段
１３１ データ抽出手段
１４ 追加学習手段
１５ モデル更新手段
１６ 切替手段
１５０ 評価手段
１５１ 更新手段
２０ 記憶手段
２１ 学習データ記憶手段
２２ 情報判定モデル記憶手段
２３ 追加学習データ記憶手段
２４ 追加学習モデル記憶手段
２５ 評価データ記憶手段
３ 情報判定装置
１０ 制御手段
１１ 初期学習手段
１２ 判定手段
１３ 追加学習データ収集手段
１３０ データ選択手段
１３１ データ抽出手段
１４ 追加学習手段
１５ モデル更新手段
１６ 切替手段
１５０ 評価手段
１５１ 更新手段
２０ 記憶手段
２１ 学習データ記憶手段
２２ 情報判定モデル記憶手段
２３ 追加学習データ記憶手段
２４ 追加学習モデル記憶手段
２５ 評価データ記憶手段
３ 情報判定装置
Claims (6)
- ソーシャルメディアから取得した情報である投稿文が、当該投稿文の投稿内容を分類したどの種別に属するかを判定するためのニューラルネットワークの情報判定モデルを追加学習する情報判定モデル学習装置であって、
事前学習した前記情報判定モデルを用いて、新たな投稿文を入力し、前記種別を判定するとともに当該種別に対する信頼度を算出する判定手段と、
前記信頼度が低い投稿文から優先して表示装置に表示し、操作者に選択された投稿文を追加学習データとして収集する追加学習データ収集手段と、
前記追加学習データを用いて、前記情報判定モデルを追加学習した追加学習モデルを生成する追加学習手段と、
前記追加学習モデルを新たなモデルとして前記情報判定モデルを更新するモデル更新手段と、を備え、
前記追加学習データ収集手段は、
前記新たな投稿文のうちで、前記操作者に選択された投稿文を前記追加学習データとするデータ選択手段と、
前記データ選択手段で選択されなかった投稿文から、前記追加学習データと類似する投稿文を追加学習データとして抽出するデータ抽出手段と、
を備えることを特徴とする情報判定モデル学習装置。 - 前記データ抽出手段は、前記データ選択手段で選択された投稿文のベクトル表現と、前記データ選択手段で選択されなかった投稿文のベクトル表現とについて、コサイン類似度を算出し、予め定めた閾値よりも大きい投稿文を前記追加学習データとして抽出することを特徴とする請求項１に記載の情報判定モデル学習装置。
- 前記モデル更新手段は、予め定めた評価データを用いて、前記情報判定モデルおよび前記追加学習モデルの評価値を算出する評価手段と、
前記追加学習モデルの評価値が前記情報判定モデルの評価値を上回った場合に、前記情報判定モデルを更新する更新手段と、
を備えることを特徴とする請求項１または請求項２に記載の情報判定モデル学習装置。 - 前記追加学習モデルの評価値が前記情報判定モデルの評価値以下の場合に、前記追加学習データ収集手段で収集された追加学習データを保持しておき、次回の投稿文を用いた追加学習時に用いることを特徴とする請求項３に記載の情報判定モデル学習装置。
- 追加学習を行う追加学習モードと前記投稿文の種別を判定する情報判定モードとの２つの動作モードを切り替える切替手段を、さらに備え、
前記切替手段は、前記追加学習モードにおいて、前記判定手段の判定結果を前記追加学習データ収集手段に出力し、前記情報判定モードにおいて、前記判定手段の判定結果を外部に出力することを特徴とする請求項１から請求項４のいずれか一項に記載の情報判定モデル学習装置。 - コンピュータを、請求項１から請求項５のいずれか一項に記載の情報判定モデル学習装置として機能させるための情報判定モデル学習プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018112607A JP7153477B2 (ja) | 2018-06-13 | 2018-06-13 | 情報判定モデル学習装置およびそのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018112607A JP7153477B2 (ja) | 2018-06-13 | 2018-06-13 | 情報判定モデル学習装置およびそのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019215705A JP2019215705A (ja) | 2019-12-19 |
| JP7153477B2 true JP7153477B2 (ja) | 2022-10-14 |
Family
ID=68918731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018112607A Active JP7153477B2 (ja) | 2018-06-13 | 2018-06-13 | 情報判定モデル学習装置およびそのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7153477B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7298825B2 (ja) * | 2019-12-24 | 2023-06-27 | 株式会社 東京ウエルズ | 学習支援装置、学習装置、学習支援方法及び学習支援プログラム |
| JPWO2023053226A1 (ja) * | 2021-09-28 | 2023-04-06 | ||
| WO2023095227A1 (ja) * | 2021-11-25 | 2023-06-01 | シエンプレ株式会社 | Ｓｎｓ投稿分類提供システム、ｓｎｓ投稿分類提供方法及びプログラム |
| WO2023119360A1 (ja) * | 2021-12-20 | 2023-06-29 | 日本電信電話株式会社 | 情報識別装置、情報識別方法、および、プログラム |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002222083A (ja) | 2001-01-29 | 2002-08-09 | Fujitsu Ltd | 事例蓄積装置および方法 |
| JP2002287803A (ja) | 2001-03-27 | 2002-10-04 | Denso Corp | 製品の製造プロセスにおける特性調整方法 |
| US20090228499A1 (en) | 2008-03-05 | 2009-09-10 | Schmidtler Mauritius A R | Systems and methods for organizing data sets |
| JP2012141912A (ja) | 2011-01-06 | 2012-07-26 | Nippon Telegr & Teleph Corp <Ntt> | データ抽出装置、データ抽出方法、及びプログラム |
| JP2016510441A (ja) | 2012-11-30 | 2016-04-07 | フェイスブック，インク． | オンライン・システム内のユーザ行動に関するカスタマイズされた予測器 |
| JP2017201437A (ja) | 2016-05-02 | 2017-11-09 | 日本放送協会 | ニュース素材抽出装置及びプログラム |
-
2018
- 2018-06-13 JP JP2018112607A patent/JP7153477B2/ja active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002222083A (ja) | 2001-01-29 | 2002-08-09 | Fujitsu Ltd | 事例蓄積装置および方法 |
| JP2002287803A (ja) | 2001-03-27 | 2002-10-04 | Denso Corp | 製品の製造プロセスにおける特性調整方法 |
| US20090228499A1 (en) | 2008-03-05 | 2009-09-10 | Schmidtler Mauritius A R | Systems and methods for organizing data sets |
| JP2012141912A (ja) | 2011-01-06 | 2012-07-26 | Nippon Telegr & Teleph Corp <Ntt> | データ抽出装置、データ抽出方法、及びプログラム |
| JP2016510441A (ja) | 2012-11-30 | 2016-04-07 | フェイスブック，インク． | オンライン・システム内のユーザ行動に関するカスタマイズされた予測器 |
| JP2017201437A (ja) | 2016-05-02 | 2017-11-09 | 日本放送協会 | ニュース素材抽出装置及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019215705A (ja) | 2019-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7153477B2 (ja) | 情報判定モデル学習装置およびそのプログラム | |
| Bergsma et al. | Language identification for creating language-specific twitter collections | |
| US11636341B2 (en) | Processing sequential interaction data | |
| CN113591483A (zh) | 一种基于序列标注的文档级事件论元抽取方法 | |
| US11687716B2 (en) | Machine-learning techniques for augmenting electronic documents with data-verification indicators | |
| Tromp et al. | Senticorr: Multilingual sentiment analysis of personal correspondence | |
| Chowdhury et al. | On identifying hashtags in disaster twitter data | |
| CN110532563A (zh) | 文本中关键段落的检测方法及装置 | |
| US20110219299A1 (en) | Method and system of providing completion suggestion to a partial linguistic element | |
| KR20230013793A (ko) | 어텐션 메카니즘 및 의미분석 기반 문서 분류장치 및 방법 | |
| CN103869998A (zh) | 一种对输入法所产生的候选项进行排序的方法及装置 | |
| WO2019172961A1 (en) | System and methods for generating an enhanced output of relevant content to facilitate content analysis | |
| CN112667813B (zh) | 用于裁判文书的敏感身份信息的识别方法 | |
| CN106777040A (zh) | 一种基于情感极性感知算法的跨媒体微博舆情分析方法 | |
| CN109241993B (zh) | 融合用户和整体评价信息的评价对象情感分类方法及装置 | |
| Gajanayake et al. | Candidate selection for the interview using github profile and user analysis for the position of software engineer | |
| JP2019016122A (ja) | モデル学習装置、情報判定装置およびそれらのプログラム | |
| JP7217372B1 (ja) | 学習モデルの生成方法、コンピュータプログラム及び情報処理装置 | |
| JP6839001B2 (ja) | モデル学習装置、情報判定装置およびそれらのプログラム | |
| US11134045B2 (en) | Message sorting system, message sorting method, and program | |
| Sisodia et al. | Sentiment analysis of prospective buyers of mega online sale using tweets | |
| CN118339550A (zh) | 一种几何解题方法、装置、设备及存储介质 | |
| CN112989217B (zh) | 一种人脉管理的系统 | |
| Nisha et al. | Deep KNN Based Text Classification for Cyberbullying Tweet Detection | |
| JP5841108B2 (ja) | 情報処理装置、記事情報生成方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210512 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220405 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220513 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221003 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7153477 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |