JP6298780B2 - 難易度学習装置、難易度推定モデル学習装置、難易度推定装置、方法、及びプログラム - Google Patents
難易度学習装置、難易度推定モデル学習装置、難易度推定装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP6298780B2 JP6298780B2 JP2015031004A JP2015031004A JP6298780B2 JP 6298780 B2 JP6298780 B2 JP 6298780B2 JP 2015031004 A JP2015031004 A JP 2015031004A JP 2015031004 A JP2015031004 A JP 2015031004A JP 6298780 B2 JP6298780 B2 JP 6298780B2
- Authority
- JP
- Japan
- Prior art keywords
- difficulty
- difficulty level
- text
- class
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
10、210 入力部
20、220、320、420 演算部
30、230、330、430 特徴量抽出部
32、332 難易度推定モデル生成部
40、240、340、440 難易度推定モデル
100 難易度学習装置
200、400 難易度推定装置
228 前処理部
232、432 難易度推定部
250、450 出力部
300 難易度推定モデル学習装置
Claims (10)
- 難易度クラス及び形態素解析結果が付与された複数のテキストに基づいて、前記難易度クラス毎に、前記難易度クラスが付与されたテキストに含まれる単語の各々の生起確率を算出し、前記難易度クラス毎に算出された前記単語の各々の生起確率と、前記難易度クラスが付与されたテキストの単語の各々の出現頻度とに基づいて、以下(1)式に従って、前記複数のテキストの各々が、前記難易度クラスの各々に属する尤度を算出する特徴量抽出部と、
前記特徴量抽出部によって前記テキストの各々について算出された前記難易度クラスの各々に属する尤度、及び前記テキストの各々に付与された難易度クラスに基づいて、テキストの難易度クラスを推定するための難易度推定モデルを生成する難易度推定モデル生成部と、
を含む難易度推定モデル学習装置。
・・・(1)
・・・(2)
ただし、テキストはT、難易度クラスはM i であり、tf・idf(w j )は、単語wjの重みであり、f(w j ,T)はテキストTの中での単語w j の出現頻度であり、Σ l f(w l ,T)はテキストTに含まれる単語の数、Dは全テキストの数、df i は単語w j の出現するテキストの数を表し、P i (w j )は、単語w j の生起確率であり、下記(3)式又は(4)式で表わされ、D i は難易度クラスiが付与されたテキストの集合であり、f(w j ,D i )はD i における単語w j の出現頻度を表す。
・・・(4) - 形態素解析結果が付与されたテキストに基づいて、前記テキストに含まれる単語の各々の生起確率を算出し、難易度クラス毎に予め求められた前記単語の各々の生起確率と、前記テキストの単語の各々の出現頻度とに基づいて、以下(5)式に従って、前記テキストが、前記難易度クラスの各々に属する尤度を算出する特徴量抽出部と、
前記特徴量抽出部によって算出された前記難易度クラスの各々に属する尤度、及び前記テキストの難易度クラスを推定するための予め定められた難易度推定モデルとに基づいて、前記テキストの難易度クラス又は難易度クラスに対応する対象年齢を推定する難易度推定部と、
を含む難易度推定装置。
・・・(5)
・・・(6)
ただし、テキストはT、難易度クラスはM i であり、tf・idf(w j )は、単語wjの重みであり、f(w j ,T)はテキストTの中での単語w j の出現頻度であり、Σ l f(w l ,T)はテキストTに含まれる単語の数、Dは全テキストの数、df i は単語w j の出現するテキストの数を表し、P i (w j )は、単語w j の生起確率であり、下記(7)式又は(8)式で表わされ、D i は難易度クラスiが付与されたテキストの集合であり、f(w j ,D i )はD i における単語w j の出現頻度を表す。
・・・(8) - 前記特徴量抽出部は、以下(9)式に従って、正規化した尤度を算出する請求項1に記載の難易度推定モデル学習装置。
ただし、各テキスト(T)に対する難易度クラス(i)に対する尤度L(M i |T)の平均をL m (T)、標準偏差をL s (T)とする。 - 前記特徴量抽出部は、以下(10)式に従って、正規化した尤度を算出する請求項2に記載の難易度推定装置。
ただし、各テキスト(T)に対する難易度クラス(i)に対する尤度L(M i |T)の平均をL m (T)、標準偏差をL s (T)とする。 - 前記難易度推定モデル生成部は、前記難易度クラスの各々に属する尤度を説明変数とし、難易度クラスを目的変数とした回帰式、又は前記難易度クラスの各々に属する尤度に基づいて難易度クラスを推定するための識別器により、前記難易度推定モデルを構築する請求項1又は3に記載の難易度推定モデル学習装置。
- 前記難易度推定部は、前記難易度推定モデルとして予め求められた、前記難易度クラスの各々に属する尤度を説明変数とし、難易度クラスを目的変数とした回帰式、又は前記難易度クラスの各々に属する尤度に基づいて難易度クラスを推定するための識別器に基づいて、前記テキストの難易度クラスを推定する請求項2又は4に記載の難易度推定装置。
- 特徴量抽出部が、難易度クラス及び形態素解析結果が付与された複数のテキストに基づいて、前記難易度クラス毎に、前記難易度クラスが付与されたテキストに含まれる単語の各々の生起確率を算出し、
前記難易度クラス毎に算出された前記単語の各々の生起確率と、前記難易度クラスが付与されたテキストの単語の各々の出現頻度とに基づいて、以下(11)式に従って、前記複数のテキストの各々が、前記難易度クラスの各々に属する尤度を算出するステップと、
難易度推定モデル生成部が、前記特徴量抽出部によって前記テキストの各々について算出された前記難易度クラスの各々に属する尤度、及び前記テキストの各々に付与された難易度クラスに基づいて、前記テキストの難易度クラスを推定するための難易度推定モデルを生成するステップと、
を含む難易度推定モデル学習方法。
・・・(11)
・・・(12)
ただし、テキストはT、難易度クラスはM i であり、tf・idf(w j )は、単語wjの重みであり、f(w j ,T)はテキストTの中での単語w j の出現頻度であり、Σ l f(w l ,T)はテキストTに含まれる単語の数、Dは全テキストの数、df i は単語w j の出現するテキストの数を表し、P i (w j )は、単語w j の生起確率であり、下記(13)式又は(14)式で表わされ、D i は難易度クラスiが付与されたテキストの集合であり、f(w j ,D i )はD i における単語w j の出現頻度を表す。
・・・(14) - 特徴量抽出部が、形態素解析結果が付与されたテキストに基づいて、前記テキストに含まれる単語の各々の生起確率を算出し、難易度クラス毎に予め求められた前記単語の各々の生起確率と、前記テキストの単語の各々の出現頻度とに基づいて、以下(15)式に従って、前記テキストが、前記難易度クラスの各々に属する尤度を算出するステップと、
難易度推定部が、前記特徴量抽出部によって算出された前記難易度クラスの各々に属する尤度、及び前記テキストの難易度クラスを推定するための予め定められた難易度推定モデルとに基づいて、前記テキストの難易度クラス又は難易度クラスに対応する対象年齢を推定するステップと、
を含む難易度推定方法。
・・・(15)
・・・(16)
ただし、テキストはT、難易度クラスはM i であり、tf・idf(w j )は、単語wjの重みであり、f(w j ,T)はテキストTの中での単語w j の出現頻度であり、Σ l f(w l ,T)はテキストTに含まれる単語の数、Dは全テキストの数、df i は単語w j の出現するテキストの数を表し、P i (w j )は、単語w j の生起確率であり、下記(17)式又は(18)式で表わされ、D i は難易度クラスiが付与されたテキストの集合であり、f(w j ,D i )はD i における単語w j の出現頻度を表す。
・・・(18) - コンピュータを、請求項1、3、及び5の何れか1項に記載の難易度推定モデル学習装置の各部として機能させるためのプログラム。
- コンピュータを、請求項2、4、及び6の何れか1項に記載の難易度推定装置の各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015031004A JP6298780B2 (ja) | 2015-02-19 | 2015-02-19 | 難易度学習装置、難易度推定モデル学習装置、難易度推定装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015031004A JP6298780B2 (ja) | 2015-02-19 | 2015-02-19 | 難易度学習装置、難易度推定モデル学習装置、難易度推定装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016152033A JP2016152033A (ja) | 2016-08-22 |
JP6298780B2 true JP6298780B2 (ja) | 2018-03-20 |
Family
ID=56695500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015031004A Active JP6298780B2 (ja) | 2015-02-19 | 2015-02-19 | 難易度学習装置、難易度推定モデル学習装置、難易度推定装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6298780B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7025123B2 (ja) * | 2017-03-21 | 2022-02-24 | 本田技研工業株式会社 | 心情推定装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5322047B2 (ja) * | 2007-06-27 | 2013-10-23 | 国立大学法人長岡技術科学大学 | 文章の読み易さ評価システム |
JP2009048334A (ja) * | 2007-08-16 | 2009-03-05 | Nippon Hoso Kyokai <Nhk> | 映像識別処理装置、画像識別処理装置、およびコンピュータプログラム |
JP5063639B2 (ja) * | 2009-04-10 | 2012-10-31 | 日本電信電話株式会社 | データ分類方法及び装置及びプログラム |
JP5807966B2 (ja) * | 2012-09-24 | 2015-11-10 | 日本電信電話株式会社 | 文書評価学習装置、文書評価装置、方法、及びプログラム |
-
2015
- 2015-02-19 JP JP2015031004A patent/JP6298780B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016152033A (ja) | 2016-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Benajiba et al. | Arabic named entity recognition using optimized feature sets | |
US8301640B2 (en) | System and method for rating a written document | |
JP6466952B2 (ja) | 文章生成システム | |
Layton et al. | Recentred local profiles for authorship attribution | |
Bollmann | POS tagging for historical texts with sparse training data | |
JP4534666B2 (ja) | テキスト文検索装置及びテキスト文検索プログラム | |
Sheth et al. | Dhiya: A stemmer for morphological level analysis of Gujarati language | |
Noaman et al. | Automatic Arabic spelling errors detection and correction based on confusion matrix-noisy channel hybrid system | |
JP6665061B2 (ja) | 整合性判定装置、方法、及びプログラム | |
JP6418975B2 (ja) | 難易度推定モデル学習装置、難易度推定装置、方法、及びプログラム | |
JP6535607B2 (ja) | 前処理モデル学習装置、方法、及びプログラム | |
US20200401767A1 (en) | Summary evaluation device, method, program, and storage medium | |
Reynaert | OCR post-correction evaluation of early dutch books online-revisited | |
CN111259661B (zh) | 一种基于商品评论的新情感词提取方法 | |
Biggins et al. | University_of_Sheffield: two approaches to semantic text similarity | |
Hao et al. | SCESS: a WFSA-based automated simplified chinese essay scoring system with incremental latent semantic analysis | |
JP6298780B2 (ja) | 難易度学習装置、難易度推定モデル学習装置、難易度推定装置、方法、及びプログラム | |
Kiperwasser et al. | Semi-supervised dependency parsing using bilexical contextual features from auto-parsed data | |
Wachsmuth et al. | Back to the roots of genres: Text classification by language function | |
US20110106849A1 (en) | New case generation device, new case generation method, and new case generation program | |
Tuggener et al. | The sentence end and punctuation prediction in nlg text (sepp-nlg) shared task 2021 | |
Barteld et al. | Dealing with word-internal modification and spelling variation in data-driven lemmatization | |
Chiu et al. | Chinese spell checking based on noisy channel model | |
JP5623380B2 (ja) | 誤り文修正装置、誤り文修正方法およびプログラム | |
JP6564709B2 (ja) | 文書き換え装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171205 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6298780 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |