JP7257835B2 - 採点装置、採点方法およびプログラム - Google Patents
採点装置、採点方法およびプログラム Download PDFInfo
- Publication number
- JP7257835B2 JP7257835B2 JP2019057077A JP2019057077A JP7257835B2 JP 7257835 B2 JP7257835 B2 JP 7257835B2 JP 2019057077 A JP2019057077 A JP 2019057077A JP 2019057077 A JP2019057077 A JP 2019057077A JP 7257835 B2 JP7257835 B2 JP 7257835B2
- Authority
- JP
- Japan
- Prior art keywords
- answer
- text
- item
- model
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Machine Translation (AREA)
Description
えば、eラーニングやネット検定における回答者(受験者)の回答を採点する場面など、さまざまな用途に応用することが可能である。
図1は、採点システム1の構成例を示す図である。本実施形態では、いわゆるクラウド型のシステム構成を採用しており、インターネットを介して通信可能な採点サーバ(採点装置)10とユーザ端末11によって採点システム1が構成されている。ユーザはユーザ端末11から採点サーバ10にログインすることで、採点システム1により提供される採点サービスを利用することができる。例えば、ユーザが、回答データを採点サーバ10に送信すると、採点サーバ10において採点が行われる。ユーザは、採点結果のデータをユーザ端末11にて閲覧ないしダウンロードすることができる。
図2は、採点システム1の機能構成を模式的に示す図である。採点システム1は、主な機能として、模範解答取得部20、回答取得部21、テキスト解析部22、採点部23、採点結果送信部24、模範解答記憶部26、辞書記憶部27を有する。模範解答取得部20は、説明問題の模範解答データを取得する機能を有する。回答取得部21は、回答者による回答データを取得する機能を有する。テキスト解析部22は、模範解答データ及び回答データそれぞれのテキストを解析し、特徴量を抽出する機能を有する。模範解答記憶部26は、模範解答データから抽出された特徴量のデータを格納する記憶領域である。採点部23は、模範解答データから抽出された特徴量と回答データから抽出された特徴量に基づいて、回答の採点を行う機能を有する。採点結果送信部24は、採点結果をユーザ端末11に送信する機能を有する。辞書記憶部27は、テキスト解析部22及び採点部23が
参照する各種の辞書、ルール、定義、設定などのデータが格納されているデータベースである。
図3を参照して、採点システム1の処理フロー及び使用方法の概略を説明する。本実施形態では、試験運営者がユーザである場合を例にとり説明を行う。
な構造化されたテキストデータでもよい。
テキスト解析部22による模範解答の特徴量抽出処理(図3のステップS311)について、さらに詳しく説明する。
テキスト解析部22による回答の特徴量抽出処理(図3のステップS314)について、さらに詳しく説明する。
採点部23による採点処理(図3のステップS315)について、さらに詳しく説明する。図9は、採点処理の詳細フローの一例である。
は、模範解答と回答テキストの全体的な類似度合を表している。
点数=w1×単語ベクトル類似度+w2×重要語句カバー率+w3×述語項構造の一致度+w4×極性の一致度+w5×含意度合
ただし、w1~w5は重みである。また、最終的な点数の最大値が規定の点数(例えば100点)となるように、各項目のスコアは正規化されているものとする。
び採点結果の妥当性を向上することができる。したがって、採点システム1を利用することによって、説明問題を含む試験を容易に実施できるようになる。
10:採点サーバ
11:ユーザ端末
Claims (9)
- 説明問題の回答を採点する採点装置であって、
回答者の回答テキストを取得する回答取得部と、
前記回答テキストを解析して、1又は複数の項目についての特徴量を抽出するテキスト解析部と、
前記説明問題の模範解答を定義するデータとして、前記模範解答の前記項目ごとの特徴量を予め記憶する模範解答記憶部と、
前記テキスト解析部により抽出された前記回答テキストの特徴量と、前記模範解答記憶部に記憶されている前記模範解答の特徴量とを、前記項目ごとに比較することによって、前記項目ごとのスコアを計算する比較部と、
前記項目ごとのスコアを総合することにより、前記回答テキストの点数を決定する点数決定部と、
を有し、
前記模範解答記憶部は、前記模範解答の特徴量の1項目として、回答中に記載すべき語句である重要語句について、当該重要語句が採るべき述語項構造を予め記憶しており、
前記テキスト解析部は、前記特徴量の1項目として、前記回答テキストに含まれる前記重要語句の述語項構造を取得し、
前記比較部は、前記回答テキストと前記模範解答の間での前記重要語句の述語項構造の一致度に基づいて前記スコアを計算することを特徴とする採点装置。 - 前記模範解答記憶部は、前記模範解答の特徴量の1項目として、回答中に記載すべき語句である重要語句について、当該重要語句を含む文の極性を予め記憶しており、
前記テキスト解析部は、前記特徴量の1項目として、前記回答テキストに含まれる前記重要語句を含む文の極性を取得し、
前記比較部は、前記回答テキストと前記模範解答の間での前記重要語句を含む文の極性の一致度に基づいて前記スコアを計算する
ことを特徴とする請求項1に記載の採点装置。 - 説明問題の回答を採点する採点装置であって、
回答者の回答テキストを取得する回答取得部と、
前記回答テキストを解析して、1又は複数の項目についての特徴量を抽出するテキスト解析部と、
前記説明問題の模範解答を定義するデータとして、前記模範解答の前記項目ごとの特徴量を予め記憶する模範解答記憶部と、
前記テキスト解析部により抽出された前記回答テキストの特徴量と、前記模範解答記憶部に記憶されている前記模範解答の特徴量とを、前記項目ごとに比較することによって、前記項目ごとのスコアを計算する比較部と、
前記項目ごとのスコアを総合することにより、前記回答テキストの点数を決定する点数決定部と、
を有し、
前記模範解答記憶部は、前記模範解答の特徴量の1項目として、回答中に記載すべき語句である重要語句について、当該重要語句を含む文の極性を予め記憶しており、
前記テキスト解析部は、前記特徴量の1項目として、前記回答テキストに含まれる前記重要語句を含む文の極性を取得し、
前記比較部は、前記回答テキストと前記模範解答の間での前記重要語句を含む文の極性の一致度に基づいて前記スコアを計算することを特徴とする採点装置。 - 前記模範解答記憶部は、前記模範解答の特徴量の1項目として、前記模範解答のテキストから生成された単語ベクトルを予め記憶しており、
前記テキスト解析部は、前記特徴量の1項目として、前記回答テキストの単語ベクトルを生成し、
前記比較部は、前記回答テキストの単語ベクトルと前記模範解答の単語ベクトルの間の類似度に基づいて前記スコアを計算する
ことを特徴とする請求項1~3のうちいずれか1項に記載の採点装置。 - 前記模範解答記憶部は、前記模範解答の特徴量の1項目として、回答中に記載すべき語句である重要語句からなる重要語句群を予め記憶しており、
前記テキスト解析部は、前記特徴量の1項目として、前記回答テキストに含まれる語句群を生成し、
前記比較部は、前記回答テキストの語句群による前記重要語句のカバー率に基づいて前記スコアを計算する
ことを特徴とする請求項1~4のうちいずれか1項に記載の採点装置。 - 前記回答テキストと前記模範解答との間の含意解析を行う含意解析部をさらに有し、
前記点数決定部は、前記含意解析部の解析結果も考慮して前記回答テキストの点数を決定する
ことを特徴とする請求項1~5のうちいずれか1項に記載の採点装置。 - 説明問題の回答を採点する採点方法であって、
回答者の回答テキストを取得する回答取得ステップと、
前記回答テキストを解析して、1又は複数の項目についての特徴量を抽出するテキスト解析ステップと、
前記説明問題の模範解答を定義するデータを予め記憶する模範解答記憶部から前記模範解答の前記項目ごとの特徴量を読み出すステップと、
前記テキスト解析ステップにより抽出された前記回答テキストの特徴量と、前記模範解答記憶部から読み出した前記模範解答の特徴量とを、前記項目ごとに比較することによって、前記項目ごとのスコアを計算する比較ステップと、
前記項目ごとのスコアを総合することにより、前記回答テキストの点数を決定する点数
決定ステップと、
を有し、
前記模範解答記憶部は、前記模範解答の特徴量の1項目として、回答中に記載すべき語句である重要語句について、当該重要語句が採るべき述語項構造を予め記憶しており、
前記テキスト解析ステップでは、前記特徴量の1項目として、前記回答テキストに含まれる前記重要語句の述語項構造を取得し、
前記比較ステップでは、前記回答テキストと前記模範解答の間での前記重要語句の述語項構造の一致度に基づいて前記スコアを計算することを特徴とする採点方法。 - 説明問題の回答を採点する採点方法であって、
回答者の回答テキストを取得する回答取得ステップと、
前記回答テキストを解析して、1又は複数の項目についての特徴量を抽出するテキスト解析ステップと、
前記説明問題の模範解答を定義するデータを予め記憶する模範解答記憶部から前記模範解答の前記項目ごとの特徴量を読み出すステップと、
前記テキスト解析ステップにより抽出された前記回答テキストの特徴量と、前記模範解答記憶部から読み出した前記模範解答の特徴量とを、前記項目ごとに比較することによって、前記項目ごとのスコアを計算する比較ステップと、
前記項目ごとのスコアを総合することにより、前記回答テキストの点数を決定する点数決定ステップと、
を有し、
前記模範解答記憶部は、前記模範解答の特徴量の1項目として、回答中に記載すべき語句である重要語句について、当該重要語句を含む文の極性を予め記憶しており、
前記テキスト解析ステップでは、前記特徴量の1項目として、前記回答テキストに含まれる前記重要語句を含む文の極性を取得し、
前記比較ステップでは、前記回答テキストと前記模範解答の間での前記重要語句を含む文の極性の一致度に基づいて前記スコアを計算することを特徴とする採点方法。 - 請求項1~6のうちいずれか1項に記載の採点装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019057077A JP7257835B2 (ja) | 2019-03-25 | 2019-03-25 | 採点装置、採点方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019057077A JP7257835B2 (ja) | 2019-03-25 | 2019-03-25 | 採点装置、採点方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020160159A JP2020160159A (ja) | 2020-10-01 |
JP7257835B2 true JP7257835B2 (ja) | 2023-04-14 |
Family
ID=72643080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019057077A Active JP7257835B2 (ja) | 2019-03-25 | 2019-03-25 | 採点装置、採点方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7257835B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7310853B2 (ja) * | 2020-06-30 | 2023-07-19 | カシオ計算機株式会社 | 解答評価方法、プログラム、プログラム配信サーバ及び情報処理装置 |
CN114391154A (zh) * | 2020-06-30 | 2022-04-22 | 卡西欧计算机株式会社 | 答案评价方法、记录介质及信息处理装置 |
US20240127366A1 (en) * | 2021-04-20 | 2024-04-18 | Nippon Telegraph And Telephone Corporation | Social value evaluation apparatus, social value evaluation method and program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001056634A (ja) | 1999-08-20 | 2001-02-27 | Toshiba Corp | 自動採点システム |
WO2013129311A1 (ja) | 2012-02-28 | 2013-09-06 | 日本電気株式会社 | 不満抽出装置,不満抽出方法および不満抽出プログラム |
-
2019
- 2019-03-25 JP JP2019057077A patent/JP7257835B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001056634A (ja) | 1999-08-20 | 2001-02-27 | Toshiba Corp | 自動採点システム |
WO2013129311A1 (ja) | 2012-02-28 | 2013-09-06 | 日本電気株式会社 | 不満抽出装置,不満抽出方法および不満抽出プログラム |
Non-Patent Citations (1)
Title |
---|
中川 正樹 外1名,記述式解答の採点支援・自動採点に向けて,情報処理 第57巻 第9号 ,日本,一般社団法人情報処理学会,2016年08月15日,第57巻 第9号 通巻618号,p.920~924 |
Also Published As
Publication number | Publication date |
---|---|
JP2020160159A (ja) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Guo et al. | Evaluating large language models: A comprehensive survey | |
Mohler et al. | Learning to grade short answer questions using semantic similarity measures and dependency graph alignments | |
Sunilkumar et al. | A survey on semantic similarity | |
Bentivogli et al. | SICK through the SemEval glasses. Lesson learned from the evaluation of compositional distributional semantic models on full sentences through semantic relatedness and textual entailment | |
US9836985B2 (en) | Systems and methods for automated scoring of textual responses to picture-based items | |
US9740769B2 (en) | Interpreting and distinguishing lack of an answer in a question answering system | |
JP7257835B2 (ja) | 採点装置、採点方法およびプログラム | |
US20190286693A1 (en) | Structured term recognition | |
CN109783631B (zh) | 社区问答数据的校验方法、装置、计算机设备和存储介质 | |
Pramukantoro et al. | Comparative analysis of string similarity and corpus-based similarity for automatic essay scoring system on e-learning gamification | |
Nassiri et al. | Arabic L2 readability assessment: Dimensionality reduction study | |
Campillo-Ageitos et al. | NLP-UNED at eRisk 2021: self-harm early risk detection with TF-IDF and linguistic features | |
Gashkov et al. | Improving question answering quality through language feature-based SPARQL query candidate validation | |
Alrehily et al. | Intelligent electronic assessment for subjective exams | |
Abdou et al. | Mgad: Multilingual generation of analogy datasets | |
Chang et al. | Towards automatic short answer assessment for finnish as a paraphrase retrieval task | |
Gautam et al. | Modeling classifiers for virtual internships without participant data | |
Alwaneen et al. | Stacked dynamic memory-coattention network for answering why-questions in Arabic | |
CN113782123A (zh) | 一种基于网络数据的在线医疗患者满意度测量方法 | |
Luong et al. | Building a corpus for vietnamese text readability assessment in the literature domain | |
US20240086768A1 (en) | Learning device, inference device, non-transitory computer-readable medium, learning method, and inference method | |
TWI790069B (zh) | 文獻評讀學習系統 | |
Al-Jamaan et al. | FluSa-tweet: A benchmark dataset for influenza detection in saudi arabia | |
EP4163815A1 (en) | Textual content evaluation using machine learned models | |
Rinchen | Comparative study of techniques used for automatic evaluation of free text answer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211012 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7257835 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |