JP7099521B2 - 採点装置、採点方法、記録媒体 - Google Patents

採点装置、採点方法、記録媒体 Download PDF

Info

Publication number
JP7099521B2
JP7099521B2 JP2020521097A JP2020521097A JP7099521B2 JP 7099521 B2 JP7099521 B2 JP 7099521B2 JP 2020521097 A JP2020521097 A JP 2020521097A JP 2020521097 A JP2020521097 A JP 2020521097A JP 7099521 B2 JP7099521 B2 JP 7099521B2
Authority
JP
Japan
Prior art keywords
answer
unit
scoring
answer data
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020521097A
Other languages
English (en)
Other versions
JPWO2019225229A1 (ja
Inventor
俊幸 片岡
駿 丸山
淳 小野寺
智志 島田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019225229A1 publication Critical patent/JPWO2019225229A1/ja
Application granted granted Critical
Publication of JP7099521B2 publication Critical patent/JP7099521B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Machine Translation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、採点装置、採点方法、記録媒体に関する。
近年、マークシートによる試験だけでなく、記述式の問題についての必要性が高まっている。
記述式の問題を効率的に行うためには、記述式の問題に対する解答を効率的に採点することが必要になる。このような効率的な採点を補助するための技術としては、例えば、特許文献１がある。特許文献１には、表示部と、未採点解答群形成手段と、未採点解答群リスト形成手段と、未採点解答パタン群範囲選択手段と、採点済解答パタン群形成手段と、を有する採点補助システムが記載されている。特許文献１によると、未採点解答群形成手段は、複数の未採点解答データを同一の解答内容ごとに分類して複数の未採点解答パタン群を作成する。また、未採点解答群リスト形成手段は、基準となる基準解答内容に対する未採点解答パタン群の解答内容の類似度を判断し、類似度の高い順に未採点解答パタン群を並べた採点用群リストを表示に表示させる。そして、未採点解答パタン群範囲選択手段は、操作部による範囲選択操作により選択された未採点解答パタン群を同一の採点情報を付加可能な状態に設定する。その後、採点済解答パタン群形成手段は、選択された未解答パタン群に対し、採点情報設定操作により設定された採点情報を一括して付加して、選択された未解答パタン群を採点済解答パタン群に変更する。
特開２０１７－１６７４１３号公報
特許文献１に記載の技術の場合、表示部に表示された解答パタン群のどこまでに対して同じ採点情報を付加するかは、操作部を操作する採点者により決定される。そのため、採点者により採点結果にばらつきが出るおそれがあった。
このような採点者によるばらつきを抑えるための方法としては、複数の採点者による採点を行って、複数の採点結果を比較するという方法がある。しかしながら、上記方法は同一の問題に対して複数人で採点を行うため、非常に手間がかかり、非効率的である。つまり、上記方法では、採点の効率性が犠牲になってしまう、という問題があった。
このように、採点者によるばらつきを抑制しつつ効率的に記述式の問題に対する解答を採点することが難しい、という課題が生じていた。
そこで、本発明の目的は、採点者によるばらつきを抑制しつつ効率的に記述式の問題に対する解答を採点することが難しい、という課題を解決する採点装置、採点方法、記録媒体を提供することにある。
かかる目的を達成するため本発明の一形態である採点装置は、
解答データを複数の部分集合に分類する分類部と、
前記分類部による分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する追加部と、
を有する
という構成をとる。
また、本発明の他の形態である採点方法は、
情報処理装置が、
解答データを複数の部分集合に分類し、
分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する
という構成をとる。
また、本発明の他の形態である記録媒体は、
情報処理装置に、
解答データを複数の部分集合に分類する分類部と、
前記分類部による分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する追加部と、
を実現させるためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
本発明は、以上のように構成されることにより、採点者によるばらつきを抑制しつつ効率的に記述式の問題に対する解答を採点することが難しい、という課題を解決する採点装置、採点方法、記録媒体を提供することが可能となる。
本発明の第１の実施形態における採点装置の構成の一例を示すブロック図である。 模範解答と解答例の一例を示す図である。 模範解答と解答例の他の一例を示す図である。 クラスタリング部による解答データのクラスタリング結果の一例を示す図である。 クラスタリング部による解答データのクラスタリング結果の他の一例を示す図である。 解答例を追加した際の構成の一例を示す図である。 解答例を追加した際の他の構成の一例を示す図である。 表示部による表示の一例を示す図である。 表示部による表示の他の一例を示す図である。 表示部による表示の他の一例を示す図である。 本発明の第１の実施形態における採点装置の動作の一例を示すフローチャートである。 本発明の第１の実施形態における採点装置の他の構成の一例を示すブロック図である。 本発明の第２の実施形態における採点装置の構成の一例を示すブロック図である。 本発明の第２の実施形態における採点装置による処理の一例を示す図である。 クラスタリング部による解答データのクラスタリング結果の一例を示す図である。 クラスタリング部による解答データのクラスタリング結果の他の一例を示す図である。 解答例を追加した際の構成の一例を示す図である。 解答例を追加した際の構成の他の一例を示す図である。 本発明の第２の実施形態における採点装置の動作の一例を示すフローチャートである。 本発明の第３の実施形態における採点装置の構成の一例を示すブロック図である。
［第１の実施形態］
本発明の第１の実施形態を図１から図９までを参照して説明する。図１は、採点装置１の構成の一例を示すブロック図である。図２は、模範解答１４２と解答例１４３の一例を示す図である。図３は、クラスタリング部１５１による解答データ１４１のクラスタリング結果の一例を示す図である。図４は、解答例を追加した際の解答例１４３の一例を示す図である。図５から図７は、表示部１５２による表示の一例を示す図である。図８は、採点装置１の動作の一例を示すフローチャートである。図９は、採点装置１の他の構成の一例を示すブロック図である。
本発明の第１の実施形態では、採点基準に基づいて記述式の問題に対する解答を自動的に採点する情報処理装置である採点装置１について説明する。例えば、採点装置１は、採点基準を予め記憶している。また、採点装置１は、予め記憶している採点基準とは対応しないものの、正解と判断していい記載内容を採点基準に追加可能なよう構成されている。例えば、後述するように、採点装置１は、解答データ１４１に含まれる解答群をクラスタリングした結果を採点装置１の採点者に表示する。そして、採点装置１は、採点者から採点基準に追加するクラスタを示す情報を取得すると、取得した情報が示すクラスタを代表する代表文を採点基準に追加する。このように、採点装置１は、解答データ１４１に含まれる解答群をクラスタリングした結果に基づいて、採点基準を追加する。その後、採点装置１は、追加した採点基準に基づいて、解答データ１４１に含まれる解答群を採点する。
なお、本実施形態では、採点装置１は、例えば、問題に対する模範的な解答である模範解答１４２と、模範解答１４２とは異なる基準となる解答例１４３とを採点基準として予め記憶している。しかしながら、採点装置１は、採点基準として模範解答１４２と解答例１４３とを必ずしも記憶していなくても構わない。例えば、採点装置１は、模範解答１４２と解答例１４３とのうちのいずれか一方のみを予め記憶していても構わないし、いずれも記憶していなくても構わない。例えば、採点装置１は、解答データ１４１に含まれる解答群をクラスタリングした結果に基づいて追加した採点基準のみに基づいて解答データ１４１に含まれる解答群を採点するよう構成しても構わない。
図１は、採点装置１の構成の一例を示している。図１を参照すると、採点装置１は、主な構成要素として、操作入力部１１と、画面表示部１２と、通信Ｉ／Ｆ部１３と、記憶部１４と、演算処理部１５と、を有している。
操作入力部１１は、キーボードやマウスなどの操作入力装置からなる。操作入力部１１は、採点装置１のオペレータである採点者の操作を検出して演算処理部１５に出力する。
画面表示部１２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ）などの画面表示装置からなる。画面表示部１２は、演算処理部１５からの指示に応じて、各種情報を画面表示する。
通信Ｉ／Ｆ部１３は、データ通信回路からなる。通信Ｉ／Ｆ部１３は、通信回線を介して接続された各種装置との間でデータ通信を行う。
記憶部１４は、ハードディスクやメモリなどの記憶装置である。記憶部１４は、演算処理部１５における各種処理に必要な処理情報やプログラム１４４を記憶する。プログラム１４４は、演算処理部１５に読み込まれて実行されることにより各種処理部を実現する。プログラム１４４は、通信Ｉ／Ｆ部１３などのデータ入出力機能を介して外部装置（図示せず）や記録媒体（図示せず）から予め読み込まれ、記憶部１４に保存されている。記憶部１４で記憶される主な情報としては、解答データ１４１と、模範解答１４２と、解答例１４３と、がある。
解答データ１４１は、記述式の問題を解く解答者により予め解かれた、記述式問題に対する解答を示している。解答データ１４１には、例えば、複数の解答者による解答が含まれている。つまり、解答データ１４１には、解答群が含まれている。
例えば、解答者が紙媒体に対する解答を行う試験形式の場合、解答データ１４１に含まれる解答は、解答者が解答を行った解答用紙を、OCR（Optical Character Recognition）を適用した上でスキャンすることで予め生成されている。又は、解答データ１４１は、例えばキーパンチャーなどが手動で入力することで予め生成されている。このように、解答データ１４１に含まれる解答は、例えば、紙媒体に対してスキャンなどの前処理を行うことで予め生成されている。なお、解答データ１４１に含まれる解答は、解答者が情報処理装置などに直接入力することで生成されていても構わない。
模範解答１４２は、記述式の問題に対する模範的な解答の一例を示している。上述したように、模範解答１４２は採点基準の一つである。模範解答１４２は、採点者により予め入力されている。例えば、模範解答１４２は、操作入力部１１を用いて採点者により予め入力されていたり、通信Ｉ／Ｆ部１３を介して外部装置から予め入力されていたりする。
図２は、模範解答１４２と解答例１４３とを含む採点基準の一例を示している。具体的には、図２（A）はある問題に対する模範解答１４２と解答例１４３とを含む採点基準の一例を示しており、図２（B）は、図２（A）とは別の問題に対する模範解答１４２と解答例１４３とを含む採点基準の一例を示している。
図２（A）を参照すると、例えば、ある問題に対する模範的な解答は、「思考の流れによる一致により発見ができたため、小さな月のうさぎと考えた。」となる。後述するように、解答データ１４１に含まれる解答群のうち、模範的な解答と対応すると採点部１５４に判断された解答は、例えば、採点部１５４により正答と判断されることになる。また、図２（B）を参照すると、例えば、他のある問題に対する模範的な解答は、「要点を整理して、短時間に課題解決することが出来る」となる。このように、模範解答１４２は、各問題に対して例えば一つ予め生成されている。なお、模範解答１４２は、問題に対して複数予め生成されていても構わない。
解答例１４３は、記述式の問題に対する解答の一例を示している。上述したように、解答例１４３は採点基準の一つである。
解答例１４３は、例えば、模範解答１４２とは表現は異なるものの、正解と判断すべき解答を示している。例えば、記述式の問題に対する解答には記述のゆれ（単語のゆれや文章のゆれ）などがある。そのため、採点基準が模範解答１４２のみから構成されている場合、記述内容は正解であっても実際に使われている語句や表現の差異などにより正解と判断する範囲から外れてしまうおそれがある。解答例１４３を用いることで、模範解答１４２と表現は同一ではないが、記述内容は正解である解答などを正答と判断することが可能となり、上記のようなおそれを低減させることが出来る。
解答例１４３のうちの一部は、例えば、模範解答１４２と同様に、採点者により予め入力されている。つまり、解答例１４３のうちの一部は、操作入力部１１を用いて採点者により予め入力されていたり、通信Ｉ／Ｆ部１３を介して外部装置から予め入力されていたりする。
図２（A）、図２（B）では、予め入力された解答例１４３の一例を示している。例えば、図２（A）では、解答例１４３として４つの解答例が予め入力されている場合を例示している。また、図２（B）では、解答例１４３として３つの解答例が予め入力されている場合を例示している。このように、解答例１４３には、任意の数の解答例を予め入力することが出来る。
また、解答例１４３には、解答データ１４１をクラスタリングした結果に基づいてクラスタを代表する代表文などを追加することが出来る。
例えば、図３は、解答データをクラスタリングした結果の一例を示している。具体的には、図３（A）は、模範解答１４２が図２（A）となる問題に対する解答群をクラスタリングした結果の一例を示しており、図３（B）は、模範解答１４２が図２（B）となる問題に対する解答群をクラスタリングした結果の一例を示している。後述するように、採点装置１は、図３（A）、図３（B）で示すような解答データ１４１をクラスタリングした結果生成される各クラスタを代表する代表文を画面表示部１２に表示する。これを受けて、採点者は、解答例１４３に追加する代表文を選択する。その結果、採点装置１は、採点者により選択された代表文を解答例１４３に追加することが出来る。
図４は、採点者による選択の結果追加された解答例１４３の一例を示している。具体的には、図４（A）は、図２（A）で示す解答例１４３に、図３（A）で示す代表文を追加した際の解答例１４３の一例を示している。つまり、図４（A）では、図３（A）で示す代表文のうち上から４つ（解答クラスタ１、２、３、４）が採点者により選択された場合を示している。また、図４（B）は、図２（B）で示す解答例１４３に、図３（B）で示す代表文を追加した際の解答例１４３の一例を示している。つまり、図４（B）では、図３（B）で示す代表文のうち上から３つ（解答クラスタ１、２、３）が採点者により選択された場合を示している。
以上のように、解答例１４３には、予め入力された解答例を含めることが出来る。また、解答例１４３には、解答データ１４１に含まれる解答群をクラスタリングした結果生成されるクラスタの代表文を含めることが出来る。
なお、解答例１４３には、不正解を示す解答を含めても構わない。後述するように、解答データ１４１に含まれる解答群のうち、不正解を示す解答と対応すると採点部１５４に判断された解答は、例えば、採点部１５４により誤答と判断されることになる。解答例１４３に含まれる不正解を示す解答例・代表文も、上述した場合と同様に、採点者により予め入力されていても構わないし、解答データ１４１をクラスタリングした結果に基づいて追加されても構わない。
演算処理部１５は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有する。演算処理部１５は、記憶部１４からプログラム１４４を読み込んで実行することにより、上記ハードウェアとプログラム１４４とを協働させて各種処理部を実現する。演算処理部１５で実現される主な処理部としては、クラスタリング部１５１（分類部）と、表示部１５２と、追加解答例受付部１５３（追加部）と、採点部１５４と、がある。
クラスタリング部１５１は、解答データ１４１に含まれる解答群のクラスタリングを行う。例えば、クラスタリング部１５１は、解答データ１４１に含まれる解答間の類似度が近い解答同士を同一のクラスタ（部分集合）とするようにクラスタを生成することで、クラスタリングを行う。また、クラスタリング部１５１は、例えば、各解答に対する所定のスコアを計算することで類似度を判断する。
具体的には、クラスタリング部１５１は、LDA（Latent Dirichlet Allocation）やK-means法、repeated bisection法などの既知の方法を用いてクラスタを生成する。例えば、クラスタリング部１５１は、トピックごとの要素の出現率を計算するとともに、計算結果に基づいて解答データ１４１に含まれる各解答のトピックスコア（類似度）を計算する。そして、クラスタリング部１５１は、計算したトピックスコアに基づいて、トピックスコアが近い解答が類似するとし類似する解答が同一のクラスタとなるようにクラスタを生成する。例えば、クラスタリング部１５１は、このような処理によりクラスタリングを行う。なお、クラスタリング部１５１は、例えば、解答データ１４１に含まれる各解答の特徴ベクトル（例えば、解答に含まれるキーワードの重みなどに基づいて算出される特徴ベクトル）に基づいて類似度を判断しても構わない。
また、クラスタリング部１５１は、生成したクラスタを代表する代表文を各クラスタについて生成する。クラスタリング部１５１は、クラスタリングを行う際と同様に、既知の技術を用いて代表文を生成することが出来る。例えば、クラスタリング部１５１は、模範解答１４２や解答例１４３が含まれるクラスタに対しては、当該対応する模範解答１４２や解答例１４３を代表文とする。また、クラスタリング部１５１は、模範解答１４２や解答例１４３と対応しないクラスタに対して、クラスタ中の各解答から、予め定められた入力パタンに応じた抽出などを行うことなどにより代表文を生成する。クラスタリング部１５１は、抽出により複数の代表文を生成したのち、階層構造を利用することなどによる選択処理を行うことで１つの代表文を選択するように構成しても構わない。
なお、後述するように、画面表示部１２には、クラスタリング部１５１が生成したクラスタのうち、模範解答１４２や解答例１４３と対応しないクラスタの情報（例えば、代表文）のみを表示するよう構成することが出来る。そのため、クラスタリング部１５１は、模範解答１４２や解答例１４３と対応するクラスタ（模範解答１４２や解答例１４３を含むクラスタ）に対して代表文を生成しないように構成しても構わない。
表示部１５２は、クラスタリング部１５１がクラスタリングした結果を採点者に提示する。例えば、表示部１５２は、クラスタリング部１５１がクラスタリングした結果生成される各クラスタを代表する代表文を画面表示部１２に表示することで、クラスタリングした結果を採点者に提示する。また、表示部１５２は、模範解答１４２や解答例１４３と各クラスタとの類似度などに基づいて、各クラスタの表示位置などを制御することが出来る。
なお、表示部１５２が表示制御する際に用いる類似度は、例えば、クラスタリング部１５１がクラスタリングする際に計算したトピックスコアなどの所定のスコアに基づいて生成することが出来る。つまり、各クラスタの類似度は、クラスタに含まれる各解答の類似度に基づいて生成することが出来る。例えば、各クラスタの類似度は、クラスタに含まれる各解答のうちの代表となる解答の類似度などである。なお、表示部１５２が表示制御する際に用いる類似度は、クラスタリング部がクラスタリングする際に用いるものと異なるものであっても構わない。
図５から図７までは、表示部１５２による表示の一例を示している。表示部１５２は、例えば、図５で示すように、模範解答１４２や解答例１４３中の各解答例を表示するとともに、模範解答１４２や解答例１４３中の各解答例の下に、類似する（例えば、一致するスコアが大きい）クラスタを代表する代表文を表示することが出来る。例えば、図５の場合、解答例１「思考の流れによる一致による発見から、小さな月のうさぎだと思った。」の下に、当該解答例１と類似するクラスタを代表する代表文を表示している。このように、表示部１５２は、クラスタリング部１５１がクラスタリングを実行する際に計算したトピックスコアなどに応じて、クラスタを代表する代表文を表示する位置を変更することが出来る。
また、例えば、図６で示すように、表示部１５２は、クラスタリング部１５１がクラスタリングを実行する際に計算したトピックスコアなどに応じて、表示するクラスタ（クラスタを代表する代表文）の色を変えるなど強調表示を行っても構わない。つまり、表示部１５２は、解答例との類似度が所定の基準より高い（一致するスコアが基準閾値より大きい）クラスタに対して強調表示を行うよう構成しても構わない。例えば、図６の場合、解答例１と類似する３つのクラスタのうち真ん中のクラスタが、解答例との類似度が所定の基準より高いクラスタになる。
また、例えば、図７で示すように、表示部１５２は、クラスタリング部１５１がクラスタリングを実行する際に計算したトピックスコアなどに応じて、表示するクラスタ（クラスタを代表する代表文）の順番を変えても構わない。例えば、表示部１５２は、類似度が大きい（一致するスコアが大きい）クラスタから順番に、上から下に向かってクラスタを表示することが出来る。
以上のように、表示部１５２は、クラスタリング部１５１がクラスタリングした結果を画面表示部１２に表示する。また、表示部１５２は、クラスタリング部１５１が計算したスコアなどに応じて、クラスタを表示する位置を変える、強調表示を行う、表示する順番を変える、などの各種表示制御を行うことが出来る。
なお、表示部１５２は、上記例示した以外の表示制御を行っても構わない。また、表示部１５２は、上記例示した表示制御のうちの１つのみを行っても構わないし、複数を組み合わせて行っても構わない。
また、上述したように、表示部１５２は、クラスタリング部１５１が生成したクラスタのうち、模範解答１４２や解答例１４３と対応しないクラスタの情報（例えば、代表文）のみを画面表示部１２に表示するよう構成することが出来る。表示部１５２は、クラスタリング部１５１が生成したすべてのクラスタの情報を画面表示部１２に表示するよう構成しても構わない。
追加解答例受付部１５３は、採点者が選択したクラスタを示す情報（追加情報）を受け付ける。すると、追加解答例受付部１５３は、受け付けた情報が示すクラスタの代表文を解答例として解答例１４３に追加する。このように、追加解答例受付部１５３は、採点者の選択に応じて、解答例１４３を追加する。
上述したように、表示部１５２により、画面表示部１２上には、クラスタリング部１５１がクラスタリングした結果生成される各クラスタの代表文が表示される。そこで、採点装置１を操作する採点者は、画面表示部１２に表示された各クラスタの代表文のうち、模範解答１４２や解答例１４３と異なるクラスタであると判断されたものの、解答例１４３に含めるべきクラスタを選択する。この際、採点者は、任意の数のクラスタを選択することが出来る。上記採点者による選択に応じて、追加解答例受付部１５３は、受け付けた情報が示すクラスタの代表文を解答例１４３に追加する。
採点部１５４は、追加解答例受付部１５３により追加された解答例１４３と模範解答１４２とを採点基準として、解答データ１４１に含まれる解答群に対する採点を行う。例えば、採点部１５４は、採点基準に含まれる模範解答１４２や解答例１４３と同等の意味を有する含意関係にある解答データ１４１の解答を検索して、検索結果に基づく採点を行う。例えば、採点部１５４は、模範解答１４２と含意関係にあると検索された解答データ１４１中の解答を正解であると判断する。同様に、採点部１５４は、解答例１４３中の正解と判断すべき解答例と含意関係にあると検索された解答データ１４１中の解答を正解であると判断する。例えば、このように、採点部１５４は、追加解答例受付部１５３により追加された解答例１４３と模範解答１４２とを採点基準として、解答データ１４１に含まれる解答群に対する採点を行う。また、この採点では、１つの回答に対して複数の採点基準があっても構わない。例えば、採点部１５４は、解答データ１４１に対して、複数の採点基準に対応した複数の解答例１４３と１つもしくは複数の模範解答１４２とを採点基準として解答データ１４１に含まれる解答群に対する採点を行うことが出来る。つまり、採点部１５４は、複数の採点基準に応じた異なる採点を解答データ１４１に含まれる解答群に対して行うよう構成することが出来る。
以上が、採点装置１の構成の一例である。続いて、図８を参照して、採点装置１の動作の一例について説明する。
図８は、採点装置１の動作の一例を示している。図８を参照すると、解答データ１４１を入力された採点装置１のクラスタリング部１５１は、解答データ１４１のクラスタリングを行う（ステップS101）。例えば、クラスタリング部１５１は、LDAによるクラスタリングを行う。また、クラスタリング部１５１は、各クラスタを代表する代表文を生成する。
表示部１５２は、クラスタリング部１５１によるクラスタリングの結果を画面表示部１２に表示する。例えば、表示部１５２は、クラスタリング部１５１が生成した各クラスタを代表する代表文を画面表示部１２に表示する（ステップS102）。この際、表示部１５２は、クラスタリング部１５１が計算したスコアなどに応じて、各種表示制御を行うことが出来る。
採点装置１の追加解答例受付部１５３は、採点者による選択の結果である追加情報を受け付ける。上述したステップS102の処理により画面表示部１２上には、クラスタリング部１５１がクラスタリングした結果生成される各クラスタの代表文が表示されている。そこで、採点装置１を操作する採点者は、画面表示部１２に表示された各クラスタの代表文のうち、模範解答１４２や解答例１４３と異なるクラスタであると判断されたものの、解答例に含めるべきクラスタを選択する。これにより、追加解答例受付部１５３は、採点者が選択したクラスタを示す追加情報を取得する。すると、追加解答例受付部１５３は、取得した追加情報に基づいて、採点者が選択したクラスタを代表する代表文を解答例として解答例１４３に追加する（ステップS103）。
採点部１５４は、追加解答例受付部１５３により追加された解答例１４３と模範解答１４２とを採点基準として、解答データ１４１に含まれる解答群に対する採点を行う（ステップS104）。
以上が、採点装置１の動作の一例である。
このように、採点装置１は、クラスタリング部１５１と、表示部１５２と、追加解答例受付部１５３と、採点部１５４と、を有している。このような構成により、追加解答例受付部１５３は、表示部１５２により画面表示部１２上に表示された、クラスタリング部１５１がクラスタリングした結果生成される各クラスタの代表文の中から、採点者により選択されたクラスタを示す情報を取得することが出来る。その結果、採点部１５４は、追加解答例受付部１５３により追加された採点基準に基づいて、解答データ１４１中の解答群を採点することが出来る。このように、本実施形態で説明した採点装置１によると、採点者による選択により採点基準となる解答例１４３が追加されており、追加後の採点基準に基づいて採点を行う。そのため、語句のゆれなどにより本来正解とすべき解答を不正解と判断してしまうなどの誤判断の発生を防ぎつつ、効率的に採点を行うことが可能となる。また、採点基準に基づく採点を行うため、採点者の差異による採点のばらつきを抑制することが出来る。
なお、採点装置１の構成は、本実施形態で例示した場合に限定されない。例えば、図９は、採点装置１の他の構成例を示している。図９を参照すると、例えば、採点装置１は、追加解答例受付部１５３の代わりに、追加解答例選択部１５５を有している。
追加解答例選択部１５５は、クラスタリング部１５１が生成した各クラスタの類似度（クラスタリングを実行する際に計算したトピックスコアなど）に基づいて、クラスタリング部１５１が生成したクラスタを代表する代表文のうち、解答例１４３に追加する代表文を自動的に選択する。例えば、追加解答例選択部１５５は、模範解答１４２や解答例１４３に含まれる解答例を含むクラスタと一致するスコアが所定の基準より大きなクラスタ（つまり、所定の基準より模範解答１４２や解答例１４３と類似しているクラスタ）を代表する代表文を、解答例１４３に追加する代表文として選択する。そして、追加解答例選択部１５５は、選択した代表文を解答例１４３に追加する。
例えば、上記のように、採点装置１は、採点者による選択の代わりに、計算したスコアなどに基づいて解答例１４３に追加する代表文を自動的に選択する追加解答例選択部１５５を有することが出来る。なお、追加解答例選択部１５５を有する場合、採点装置１は、表示部１５２を有さなくても構わない。また、採点装置１は、追加解答例受付部１５３と追加解答例選択部１５５とを両方有しても構わない。
また、図１では、１台の情報処理装置により採点装置１を実現する場合について例示した。しかしながら、採点装置１は、複数台の情報処理装置により実現されても構わない。例えば、採点装置１は、クラスタリング１５１と表示部１５２と追加解答例受付部１５３としての機能を有する情報処理装置と、採点部１５４としての機能を有する情報処理装置と、の二台の情報処理装置により構成されても構わない。また、例えば、クラスタリング１５１と表示部１５２と追加解答例受付部１５３としての機能を有する複数の情報処理装置により複数の採点基準を生成し、生成された複数の採点基準に基づいて採点部１５４としての機能を有する情報処理装置が採点を行うよう構成しても構わない。
また、採点部１５４は、正解か不正解かを判断するだけでなく、複数段階の評価を行うよう構成しても構わない。つまり、採点部１５４は、１点、２点、３点など、解答に応じて異なる得点を与えるよう構成しても構わない。このような構成は、例えば、模範解答１４２や解答例１４３を作成する際、解答例１４３を追加する際などに、模範解答１４２や解答例１４３に得点を対応付けておくことにより実現することが出来る。例えば、模範解答１４２と得点「５点」とが対応づけられているとする。この場合、採点部１５４は、模範解答１４２と含意関係にあると検索された解答データ１４１中の解答に対して、予め模範解答１４２と対応づけられた得点「５点」を付与する。このように、模範解答１４２や解答例１４３中の各解答例に得点を予め対応づけておくことで、採点部１５４は単純な正誤のみでない判断を行うことが出来るようになる。
また、クラスタリング部１５１は、上記例示した以外の方法を用いてクラスタリングを行っても構わない。例えば、クラスタリング部１５１は、階層的なクラスタリングを行うよう構成しても構わない。
また、本実施形態においては、採点装置１がクラスタリング部１５１を有するとした。しかしながら、採点装置１は、解答データ１４１に含まれる解答群から複数の部分集合を生成可能であれば、クラスタリング以外の方法を用いても構わない。例えば、採点装置１は、本実施形態で例示した以外の方法を用いて解答データ１４１に含まれる解答群に対する所定の分類を行うことで部分集合を生成するよう構成しても構わない。
［第２の実施形態］
次に、本発明の第２の実施形態を図１０から図１４までを参照して説明する。図１０は、採点装置２の構成の一例を示すブロック図である。図１１は、採点装置２による処理の一例を示す図である。図１２は、クラスタリング部１５１による解答データ１４１のクラスタリング結果の一例を示す図である。図１３は、解答例を追加した際の解答例１４３の一例を示す図である。図１４は、採点装置２の動作の一例を示すフローチャートである。
本発明の第２の実施形態では、第１の実施形態で説明した採点装置１の変形例である採点装置２について説明する。後述するように、採点装置２は、採点基準と含意関係にある解答データ１４１中の解答を検索して除外する。そして、採点装置２は、解答データ１４１中の解答群のうち除外されなかった残解答データに対してクラスタリングを行う。その後、採点装置２は、クラスタリングの結果新たに追加された採点基準に基づいて含意関係にある解答を検索して除外する。採点装置２は、例えば、上記のような処理を、解答データ１４１中の全解答に対する残解答データの数の割合が除外閾値２４４以下となるまで繰り返す。このように、本実施形態における採点装置２は、除外処理を行いつつ複数回のクラスタリングを行うよう構成されている。
図１０は、採点装置２の構成の一例を示している。図１を参照すると、採点装置１は、主な構成要素として、操作入力部１１と、画面表示部１２と、通信Ｉ／Ｆ部１３と、記憶部２４と、演算処理部２５と、を有している。なお、図１０では、第１の実施形態で説明した採点装置１と同様の構成（図１参照）については、図１と同じ符号を付している。以下、本実施形態に特徴的な構成について説明する。
記憶部２４は、ハードディスクやメモリなどの記憶装置である。記憶部２４は、演算処理部２５における各種処理に必要な処理情報やプログラム２４５を記憶する。プログラム２４５は、演算処理部２５に読み込まれて実行されることにより各種処理部を実現する。プログラム２４５は、通信Ｉ／Ｆ部１３などのデータ入出力機能を介して外部装置（図示せず）や記録媒体（図示せず）から予め読み込まれ、記憶部２４に保存されている。記憶部１４で記憶される主な情報としては、解答データ１４１と、模範解答１４２と、解答例１４３と、除外閾値２４４と、がある。
除外閾値２４４は、後述する除外部２５５により除外する割合を示す閾値である。後述する除外部２５５は、解答データ１４１中の全解答に対する残解答データの数の割合が除外閾値２４４以下となるまで除外処理を繰り返す。
例えば、除外閾値２４４が示す値は、３０％などである。除外閾値２４４が示す値は、例示した以外であっても構わない。
演算処理部２５は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有する。演算処理部２５は、記憶部２４からプログラム２４５を読み込んで実行することにより、上記ハードウェアとプログラム２４５とを協働させて各種処理部を実現する。演算処理部２５で実現される主な処理部としては、除外部２５５と、判断部２５６と、クラスタリング部１５１と、表示部１５２と、追加解答例受付部１５３と、採点部１５４と、がある。
除外部２５５は、採点基準に含まれる模範解答１４２や解答例１４３と含意関係にある解答データ１４１の解答を検索する。そして、除外部２５５は、検索した解答を解答データ１４１から除外する。このように、除外部２５５は、模範解答１４２や解答例１４３に基づいて、解答データ１４１に含まれる解答群のうちの少なくとも一部を除外する。クラスタリング部１５１は、解答データ１４１中の解答のうち、除外部２５５により除外されなかった解答である残解答データを対象としたクラスタリングを行うことになる。
例えば、除外部２５５は、追加解答例受付部１５３による解答例１４３の追加前に上記除外処理を行うとともに、追加解答例受付部１５３により解答例１４３が追加されるごとに上記除外処理を行う。
図１１は、除外部２５５による除外処理とクラスタリング部１５１によるクラスタリングとの関係の一例を示している。具体的には、図１１では、解答データ１４１に３０００件の解答が含まれている場合について例示している。また、図１１の場合、除外閾値２４４が示す値は３０％である。
図１１を参照すると、除外部２５５は、予め記憶部２４に格納された模範解答１４２と解答例１４３とに基づいて除外処理を行う。例えば、図１１の場合、除外部２５５は、解答データ１４１に含まれる３０００件の解答のうち３００件の解答が、予め記憶部２４に格納された模範解答１４２と解答例１４３と含意関係にあると判断する。そのため、除外部２５５は、上記３００件の解答を除外する。
ここで、上記３００件の解答を除外すると、解答データ１４１中の全解答（３０００件）に対する残解答データ（２７００件）の数の割合は９０％であり、３０％よりも大きい。そのため、残解答データに対してクラスタリング部１５１がクラスタリングを行い、表示部１５２がクラスタを代表する代表文を画面表示部１２に表示させる。そして、採点者による選択に応じて、追加解答例受付部１５３が解答例１４３を追加する。その結果、図１１で示すように、解答例１４３には解答例（追加１）が追加される。
具体的には、例えば、図１２（A）は、１回目のクラスタリングした結果の一例を示している。また、解答例１４３に、図１２（A）で示す代表文を追加すると、解答例１４３は、例えば、図１３（A）で示すようになる。このように、本実施形態の場合も、第１の実施形態と同様に、クラスタリングした結果に基づいて解答例１４３が追加される。例えば、図１３（A）で示す例では、解答例１４３には、予め記憶する３件と新たに追加した３件の計６件の解答例が含まれている。
続いて、除外部２５５は、新たに追加された解答例１４３（つまり、解答例（追加１））と含意関係にある解答データ１４１中の解答を検索して除外する。例えば、図１１の場合、除外部２５５は、２００件の解答が新たに追加された解答例１４３と含意関係にあると判断する。そのため、除外部２５５は、上記２００件の解答を除外する。この段階でも、解答データ１４１中の全解答（３０００件）に対する残解答データ（２５００件）の数の割合は８３．３％であり、３０％よりも大きい。そのため、残解答データに対してクラスタリング部１５１がクラスタリングを行い、表示部１５２がクラスタを代表する代表文を画面表示部１２に表示させる。そして、採点者による選択に応じて、追加解答例受付部１５３が解答例１４３を追加する。
例えば、図１２（B）は、２回目のクラスタリングした結果の一例を示している。また、解答例１４３に、図１２（B）で示す代表文を追加すると、解答例１４３は、例えば、図１３（B）で示すようになる。つまり、図１３（B）で示すように、２回目の追加の結果、解答例１４３には９件の解答例が含まれることになる。このように、解答例１４３に含まれる解答例の数は、例えば、クラスタリングを繰り返すごとに増えていくことになる。
上記のような処理を、解答データ１４１中の全解答に対する残解答データの数の割合が除外閾値２４４である３０％以下となるまで繰り返す。例えば、図１１で示す場合、ｘ回目の除外処理により残解答データ数が９００件となり、解答データ１４１中の全解答に対する残解答データの数の割合が３０％以下となる。この段階になると、クラスタリング部１５１による残解答データに対する新たなクラスタリングは行われず、採点部１５４による採点が行われることになる。
判断部２５６は、除外閾値２４４に基づいて、残解答データをクラスタリングするか否か判断する。例えば、判断部２５６は、解答データ１４１中の全解答に対する残解答データの数の割合が除外閾値２４４よりも大きい場合、クラスタリング部１５１によるクラスタリングを行うと判断する。判断部２５６がクラスタリングを行うと判断することで、クラスタリング部１５１によるクラスタリングが行われる。一方、判断部２５６は、解答データ１４１中の全解答に対する残解答データの数の割合が除外閾値２４４以下である場合、クラスタリング部１５１によるクラスタリングを行わないと判断する。この場合、採点部１５４による採点が行われる。
採点部１５４は、第１の実施形態と同様に、採点基準に基づいて採点を行う。例えば、図１１で示す場合、採点基準には予め記憶部２４が記憶する模範解答１４２と解答例１４３とに加えて、ｘ回目までに追加された解答例が含まれている。採点部１５４は、上記のような模範解答１４２と解答例１４３とを含む採点基準に基づいて採点を行う。
なお、本実施形態の場合、採点部１５４は、解答データ１４１に含まれる全解答のうち、除外部２５５により除外された解答（残解答データではない解答）のみを自動的な採点の対象とすることが出来る。このように採点部１５４を構成する場合、解答データ１４１のうちの残解答データは、例えば、採点部１５４による採点を行わずに、目視による採点を行うことになる。例えば、図１１で示す場合、残解答データである９００件の解答は、採点部１５４による採点を行わずに目視による採点を行うことになる。
このように、採点部１５４は、解答データ１４１に含まれる全解答のうちの一部の解答に対して自動的な採点を行うよう構成しても構わない。換言すると、採点装置２は、解答データ１４１中の解答群を自動的に採点を行う群と自動的に採点を行わない群に判別するよう構成することが出来る、ということも出来る。
以上が、採点装置２の構成の一例である。続いて、図１４を参照して、採点装置２の動作の一例について説明する。
図１４は、採点装置２の動作の一例を示している。図１４を参照すると、除外部２５５は、予め記憶部２４に格納された模範解答１４２と解答例１４３とに基づいて除外処理を行う（ステップS205）。
判断部２５６は、除外閾値２４４に基づいて、残解答データをクラスタリングするか否か判断する（ステップS206）。例えば、判断部２５６は、解答データ１４１中の全解答に対する残解答データの数の割合が除外閾値２４４よりも大きい場合（ステップS206、Yes）、クラスタリング部１５１によるクラスタリングを行うと判断する。判断部２５６がクラスタリングを行うと判断すると、クラスタリング部１５１は残解答データに対するクラスタリングを行う（ステップS101）。また、表示部１５２は、クラスタリング部１５１によるクラスタリングの結果を画面表示部１２に表示する（ステップS102）。そして、追加解答例受付部１５３は、採点者が選択したクラスタを代表する代表文を解答例として解答例１４３に追加する（ステップS103）。上記処理の後、ステップS205の処理に戻る。
一方、解答データ１４１中の全解答に対する残解答データの数の割合が除外閾値２４４以下である場合（ステップS206、No）、判断部２５６は、クラスタリング部１５１によるクラスタリングを行わないと判断する。この場合、採点部１５４は、採点基準に基づいて採点を行う（ステップS104）。この際、採点部１５４は、解答データ１４１に含まれる全解答のうち、除外部２５５により除外された解答（残解答データではない解答）のみを自動的な採点の対象とすることが出来る。
このように、採点装置２は、除外部２５５と、判断部２５６と、を有している。このような構成により、クラスタリング部１５１は、除外部２５５により除外された解答データを除いた残解答データのみをクラスタリングの対象とすることが出来る。これにより、例えば、効率的にクラスタリングを繰り返すことが可能となる。
また、本実施形態の場合、採点部１５４は、解答データ１４１に含まれる全解答のうち、除外部２５５により除外された解答（残解答データではない解答）のみを自動的な採点の対象とすることが出来る。このような構成により、クラスタリングでは正解か不正解か判断しにくい解答を目視により採点させることが可能となる。その結果、効率的な採点を実現しつつ、誤った採点をしてしまうおそれを低減させることが可能となる。
なお、本実施形態で説明した採点装置２にも、採点装置１と同様に様々な変形例を採用することが出来る。
［第３の実施形態］
次に、図１５を参照して、本発明の第３の実施形態について説明する。第３の実施形態では、採点装置３の構成の概要について説明する。
図１５は、採点装置３の構成の一例を示している。図１５を参照すると、採点装置３は、例えば、分類部３１と、追加部３２と、を有している。採点装置３は、例えば、図示しない演算装置と記憶装置とを有している。例えば、採点装置３は、図示しない記憶装置に格納されたプログラムを演算装置が実行することで、上記各処理部を実現する。
分類部３１は、解答データを複数の部分集合に分類する。例えば、採点装置３は、解答データを予め記憶している。または、採点装置３には、解答データが入力される。採点装置３の分類部３１は、予め記憶している、または、入力された解答データを複数の部分集合に分類する。
追加部３２は、分類部３１による分類の結果に基づいて、解答データを採点する際に用いる採点基準を追加する。
このように、採点装置３は、分類部３１と、追加部３２と、を有している。このような構成により、追加部３２は、分類部３１による分類の結果に基づいて、解答データを採点する際に用いる採点基準を追加することが出来る。その結果、採点装置３は、追加部３２により追加された採点基準に基づいて、解答データを採点することが可能となる。このように、本実施形態で説明した採点装置３によると、採点者による選択により採点基準となる採点基準が追加されている。そのため、語句のゆれなどにより本来正解とすべき解答を不正解と判断してしまうなどの誤判断の発生を防ぎつつ、効率的に採点を行うことが可能となる。また、採点基準に基づく採点を行うため、採点者の差異による採点のばらつきを抑制することが出来る
また、上述した採点装置３は、当該採点装置３に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、情報処理装置に、解答データを複数の部分集合に分類する分類部３１と、分類部３１による分類の結果に基づいて、解答データを採点する際に用いる採点基準を追加する追加部３２と、を実現させるためのプログラムである。
また、上述した採点装置３により実行される採点方法は、情報処理装置が、解答データを複数の部分集合に分類し、分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する、という方法である。
上述した構成を有する、プログラム、又は、採点方法、の発明であっても、上記採点装置３と同様の効果を有するために、上述した本発明の目的を達成することが出来る。また、上記プログラムを記録したコンピュータが読み取り可能な記録媒体であっても、同様の理由により、上述した本発明の目的を達成することが出来る。
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における採点装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
解答データを複数の部分集合に分類する分類部と、
前記分類部による分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する追加部と、
を有する
採点装置。
（付記２）
付記１に記載の採点装置であって、
前記分類部は、前記解答データをクラスタリングすることで、当該解答データを部分集合に分類し、
前記追加部は、前記分類部が前記解答データをクラスタリングすることで生成したクラスタを代表する代表文を前記採点基準に追加する
採点装置。
（付記３）
付記２に記載の採点装置であって、
前記追加部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、前記代表文を前記採点基準に追加する
採点装置。
（付記４）
付記２に記載の採点装置であって、
前記分類部がクラスタリングした結果を表示する表示部を有し、
前記追加部は、前記表示部に表示した前記分類部がクラスタリングした結果に対する採点者による入力を受け付け、受け付けた入力に基づいて、前記代表文を前記採点基準に追加する
採点装置。
（付記５）
付記４に記載の採点装置であって、
前記表示部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、所定の表示制御を行う
採点装置。
（付記６）
付記５に記載の採点装置であって、
前記表示部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、前記クラスタを表示する位置を変更する
採点装置。
（付記７）
付記５または付記６に記載の採点装置であって、
前記表示部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、表示する前記クラスタに対する強調表示を行う
採点装置。
（付記８）
付記５から付記７までのいずれか１項に記載の採点装置であって、
前記表示部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、表示する前記クラスタの順番を制御する
採点装置。
（付記９）
付記１から付記８までのいずれか１項に記載の採点装置であって、
前記採点基準に基づいて前記解答データの一部を除外する除外部を有し、
前記分類部は、前記解答データのうち前記除外部が除外した一部を除いた残解答データを分類する
採点装置。
（付記１０）
付記９に記載の採点装置であって、
前記解答データに対する前記残解答データの数の割合が予め定められた閾値よりも大きいか否か判断する判断部を有し、
前記判断部は、前記解答データに対する前記残解答データの数の割合が予め定められた閾値よりも大きい場合、前記分類部が前記解答データを複数の部分集合に分類すると判断する
採点装置。
（付記１１）
付記１０に記載の採点装置であって、
前記判断部が前記解答データに対する前記残解答データの数の割合が予め定められた閾値以下であると判断した場合に、前記採点基準に基づいて、前記解答データのうちの前記残解答データを除いた解答を採点する採点部を有する
採点装置。
（付記１２）
情報処理装置が、
解答データを複数の部分集合に分類し、
分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する
採点方法。
（付記１２－１）
付記１２に記載の採点方法であって、
前記解答データをクラスタリングすることで、当該解答データを部分集合に分類し、
前記解答データをクラスタリングすることで生成したクラスタを代表する代表文を前記採点基準に追加する
採点方法。
（付記１２－２）
付記１２－１に記載の採点方法であって、
前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、前記代表文を前記採点基準に追加する
採点方法。
（付記１３）
情報処理装置に、
解答データを複数の部分集合に分類する分類部と、
前記分類部による分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する追加部と、
を実現させるためのプログラム。
（付記１３－１）
付記１３に記載のプログラムであって、
前記分類部は、前記解答データをクラスタリングすることで、当該解答データを部分集合に分類し、
前記追加部は、前記分類部が前記解答データをクラスタリングすることで生成したクラスタを代表する代表文を前記採点基準に追加する
プログラム。
（付記１３－２）
付記１３－１に記載のプログラムであって、
前記追加部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、前記代表文を前記採点基準に追加する
プログラム。
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
なお、本発明は、日本国にて２０１８年５月２５日に特許出願された特願２０１８－１００４９９の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
１ 採点装置
１１ 操作入力部
１２ 画面表示部
１３ 通信Ｉ／Ｆ部
１４ 記憶部
１４１ 解答データ
１４２ 模範解答
１４３ 解答例
１４４ プログラム
１５ 演算処理部
１５１ クラスタリング部
１５２ 表示部
１５３ 追加解答例受付部
１５４ 採点部
１５５ 追加解答例選択部
２ 採点装置
２４ 記憶部
２４４ 除外閾値
２４５ プログラム
２５ 演算処理部
２５５ 除外部
２５６ 判断部
３ 採点装置
３１ 分類部
３２ 追加部

Claims (10)

  1. 解答データを複数の部分集合に分類する分類部と、
    前記分類部による分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する追加部と、
    を有し、
    前記分類部は、前記解答データをクラスタリングすることで、当該解答データを部分集合に分類し、
    前記追加部は、前記分類部が前記解答データをクラスタリングすることで生成したクラスタを代表する代表文を前記採点基準に追加する
    採点装置。
  2. 請求項１に記載の採点装置であって、
    前記追加部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、前記代表文を前記採点基準に追加する
    採点装置。
  3. 請求項１に記載の採点装置であって、
    前記分類部がクラスタリングした結果を表示する表示部を有し、
    前記追加部は、前記表示部に表示した前記分類部がクラスタリングした結果に対する採点者による入力を受け付け、受け付けた入力に基づいて、前記代表文を前記採点基準に追加する
    採点装置。
  4. 請求項３に記載の採点装置であって、
    前記表示部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、所定の表示制御を行う
    採点装置。
  5. 請求項４に記載の採点装置であって、
    前記表示部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、前記クラスタを表示する位置を変更する
    採点装置。
  6. 請求項４または請求項５に記載の採点装置であって、
    前記表示部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、表示する前記クラスタに対する強調表示を行う
    採点装置。
  7. 請求項１から請求項６までのいずれか１項に記載の採点装置であって、
    前記採点基準に基づいて前記解答データの一部を除外する除外部を有し、
    前記分類部は、前記解答データのうち前記除外部が除外した一部を除いた残解答データを分類する
    採点装置。
  8. 情報処理装置が、
    解答データを複数の部分集合に分類し、
    分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加し、
    分類する際には、前記解答データをクラスタリングすることで、当該解答データを部分集合に分類し、
    採点基準を追加する際には、前記解答データをクラスタリングすることで生成したクラスタを代表する代表文を前記採点基準に追加する
    採点方法。
  9. 情報処理装置に、
    解答データを複数の部分集合に分類する分類部と、
    前記分類部による分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する追加部と、
    を実現させ、
    前記分類部は、前記解答データをクラスタリングすることで、当該解答データを部分集合に分類し、
    前記追加部は、前記分類部が前記解答データをクラスタリングすることで生成したクラスタを代表する代表文を前記採点基準に追加する
    プログラム。
  10. 解答データを複数の部分集合に分類する分類部と、
    前記分類部による分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する追加部と、
    を有し、
    前記採点基準に基づいて前記解答データの一部を除外する除外部を有し、
    前記分類部は、前記解答データのうち前記除外部が除外した一部を除いた残解答データを分類する
    採点装置。
JP2020521097A 2018-05-25 2019-04-17 採点装置、採点方法、記録媒体 Active JP7099521B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018100499 2018-05-25
JP2018100499 2018-05-25
PCT/JP2019/016394 WO2019225229A1 (ja) 2018-05-25 2019-04-17 採点装置、採点方法、記録媒体

Publications (2)

Publication Number Publication Date
JPWO2019225229A1 JPWO2019225229A1 (ja) 2021-05-20
JP7099521B2 true JP7099521B2 (ja) 2022-07-12

Family

ID=68616310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020521097A Active JP7099521B2 (ja) 2018-05-25 2019-04-17 採点装置、採点方法、記録媒体

Country Status (3)

Country Link
US (1) US20210287563A1 (ja)
JP (1) JP7099521B2 (ja)
WO (1) WO2019225229A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7387101B2 (ja) 2021-12-09 2023-11-28 株式会社ナスピア 文章解答問題自動採点システム及びその方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006078740A (ja) 2004-09-09 2006-03-23 Fujitsu Ltd 問題作成プログラム、問題作成装置および問題作成方法
US20150317383A1 (en) 2014-05-01 2015-11-05 International Business Machines Corporation Categorizing Users Based on Similarity of Posed Questions, Answers and Supporting Evidence
JP2016024282A (ja) 2014-07-17 2016-02-08 Kddi株式会社 語学教材生成システム、語学教材生成装置、携帯端末、語学教材生成プログラム、および語学教材生成方法
JP2018063600A (ja) 2016-10-13 2018-04-19 株式会社東芝 情報処理装置、情報処理方法およびプログラム
JP2019113591A (ja) 2017-12-21 2019-07-11 カシオ計算機株式会社 採点支援装置、その制御方法及び制御プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050539A (ja) * 2001-08-07 2003-02-21 Casio Comput Co Ltd 学習教材提供装置、学習教材提供システム、およびプログラム
CN101118554A (zh) * 2007-09-14 2008-02-06 中兴通讯股份有限公司 智能交互式问答系统及其处理方法
US8589187B2 (en) * 2010-12-28 2013-11-19 Microsoft Corporation Automated clustering for patient disposition
JP5763573B2 (ja) * 2012-03-15 2015-08-12 日本電信電話株式会社 質問相手選択装置、質問相手選択方法および質問相手選択プログラム
KR20150096294A (ko) * 2014-02-14 2015-08-24 주식회사 플런티코리아 질문 및 답변 분류 방법, 그리고 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
JP6254629B2 (ja) * 2016-03-17 2017-12-27 独立行政法人大学入試センター 採点補助システム
JP7149560B2 (ja) * 2018-04-13 2022-10-07 国立研究開発法人情報通信研究機構 リクエスト言換システム、リクエスト言換モデル及びリクエスト判定モデルの訓練方法、及び対話システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006078740A (ja) 2004-09-09 2006-03-23 Fujitsu Ltd 問題作成プログラム、問題作成装置および問題作成方法
US20150317383A1 (en) 2014-05-01 2015-11-05 International Business Machines Corporation Categorizing Users Based on Similarity of Posed Questions, Answers and Supporting Evidence
JP2016024282A (ja) 2014-07-17 2016-02-08 Kddi株式会社 語学教材生成システム、語学教材生成装置、携帯端末、語学教材生成プログラム、および語学教材生成方法
JP2018063600A (ja) 2016-10-13 2018-04-19 株式会社東芝 情報処理装置、情報処理方法およびプログラム
JP2019113591A (ja) 2017-12-21 2019-07-11 カシオ計算機株式会社 採点支援装置、その制御方法及び制御プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
中島 功滋，短答式記述答案の採点支援ツールの開発と評価，言語処理学会第１７回年次大会発表論文集 チュートリアル 本会議 ワークショップ ［ＣＤ－ＲＯＭ］ ，日本，言語処理学会，2011年03月07日，pp. 611-614
大島一真他３名，短答記述式テストの採点支援システムの開発－キーワードの使われ方に基づいた解答の分類－，２０１１ＰＣカンファレンス論文集，日本，2011年08月07日，第18-21頁
森田 直樹，記述式の解答を即時に講師が把握するためのシステム ，ＦＩＴ２００２ 情報科学技術フォーラム 情報技術レターズ，2002年09月13日，Ｖｏｌ．１，pp. 233,234

Also Published As

Publication number Publication date
WO2019225229A1 (ja) 2019-11-28
JPWO2019225229A1 (ja) 2021-05-20
US20210287563A1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
JP3981734B2 (ja) 質問応答システムおよび質問応答処理方法
US10102275B2 (en) User interface for a query answering system
JP6254629B2 (ja) 採点補助システム
JP2001515623A (ja) コンピュータによるテキストサマリ自動生成方法
KR20110083544A (ko) 성장형 개인 단어 데이터베이스 시스템을 이용한 언어 학습 장치 및 방법
CN110597978B (zh) 物品摘要生成方法、系统、电子设备及可读存储介质
US9418058B2 (en) Processing method for social media issue and server device supporting the same
US11714963B2 (en) Content modification using natural language processing to include features of interest to various groups
CN107943940A (zh) 数据处理方法、介质、系统和电子设备
EP4150480A1 (en) Descriptive insight generation and presentation system
CN107844531B (zh) 答案输出方法、装置和计算机设备
JP7099521B2 (ja) 採点装置、採点方法、記録媒体
CN104462083A (zh) 用于内容比较的方法、装置和信息处理系统
KR20200064490A (ko) 프로필 자동생성서버 및 방법
US20220327445A1 (en) Workshop assistance system and workshop assistance method
JP7481181B2 (ja) 計算機システムおよび貢献度計算方法
KR20190080316A (ko) 오답 노트 생성 방법, 장치
US20170161358A1 (en) Categorizing columns in a data table
US20220138259A1 (en) Automated document intake system
CN113486171B (zh) 一种图像处理方法及装置、电子设备
JPWO2014170965A1 (ja) 文書処理方法、文書処理装置および文書処理プログラム
CN113704623A (zh) 一种数据推荐方法、装置、设备及存储介质
CN113836377A (zh) 信息关联方法、装置、电子设备及存储介质
CN107590163A (zh) 文本特征选择的方法、装置和系统
JPWO2020099986A1 (ja) コンテンツの分類方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201030

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220613

R151 Written notification of patent or utility model registration

Ref document number: 7099521

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151