JP7074170B2 - 採点支援装置、採点支援システム、採点支援方法および採点支援プログラム - Google Patents

Description

本発明は、試験等の問題に対する解答を採点する作業を支援する技術に関する。

特許文献１には、採点を支援する技術として、次のような技術が開示されている。まず、解答済みの解答用紙の画像データがスキャナによって生成される。そして、複数の解答済みの解答用紙の画像データが収集され、収集された画像データから解答欄が抽出される。さらに、抽出された複数の解答欄から同じ解答欄を集めた解答集が生成され印刷出力される。このように印刷出力された解答集が採点者により採点される。然る後に、採点済みの紙の解答集がスキャンされて画像データが生成され、当該画像データから○×等の採点結果の情報が認識される。認識された採点結果の情報を利用して解答者毎の採点後の解答用紙の画像データが生成され、採点後の解答用紙が印刷出力されて解答者に返却される。

特開２０１８－３７８３２号公報

学校等において実施された試験の解答を教師等の採点者が採点する場合に、例えば、同様な解答であるのにも拘わらず採点者によって採点結果が異なってしまう採点ばらつきが生じてしまうことが懸念される。また、同じ採点者でも多数の解答者の解答を採点しているうちに、上記同様な採点ばらつきが生じることが懸念される。前述した特許文献１に示されているような採点支援の技術においても、解答の採点を人が行うため、採点ばらつきが生じる虞はある。

上述したような採点ばらつきが生じると、解答者に関する評価の公平性が保てなくなるため、採点ばらつきが生じないように配慮しながら採点作業を行うことが採点者に要求される。これにより、採点作業の際に、採点ばらつきを抑制することを考慮して、採点者は、他の採点者との意識合わせや、採点済みの採点結果を見直す等の手間を掛けることとなり、採点作業に係る採点者の負担は大きい。

本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、採点ばらつきを抑制できる上に、採点者の負担を軽減できる技術を提供することにある。

上記目的を達成するために、本発明の採点支援装置は、
問題に対する解答の情報を含む解答済みファイルを取得する取得部と、
取得した前記解答済みファイルから前記解答を抽出する抽出部と、
解答とその採点結果との関係を機械学習した学習結果を利用して、抽出した前記解答を採点する採点部と、
を備える。

また、本発明の採点支援システムは、
問題に対する解答とその採点結果との関係を機械学習した学習結果を利用して、前記問題に対する解答を採点する採点器と、
当該採点器に接続する採点支援装置と
を備え、
前記採点支援装置は、
問題に対する解答の情報を含む解答済みファイルを取得する取得部と、
取得した前記解答済みファイルから前記解答を抽出する抽出部と、
抽出した前記解答を、当該解答を採点する前記採点器に向けて出力することによって、前記解答を採点する採点部と、
を備える。

さらに、本発明の採点支援方法は、
問題に対する解答の情報を含む解答済みファイルを取得し、
取得した前記解答済みファイルから前記解答を抽出し、
解答とその採点結果との関係を機械学習した学習結果を利用して、抽出した前記解答を採点する。

さらにまた、本発明のプログラム記録媒体は、
問題に対する解答の情報を含む解答済みファイルを取得する処理と、
取得した前記解答済みファイルから前記解答を抽出する処理と、
解答とその採点結果との関係を機械学習した学習結果を利用して、抽出した前記解答を採点する処理と、
をコンピュータに実行させるコンピュータプログラムを記録する。

本発明によれば、採点ばらつきを抑制できる上に、採点者の負担を軽減できる。

本発明に係る第１実施形態の採点支援装置を含む採点支援システムの構成を説明する図である。 採点支援装置を構成するコンピュータ装置のハードウェア構成の一例を説明するブロック図である。 第１実施形態の採点支援装置の機能構成を説明するブロック図である。 情報を登録する工程で利用する登録用の画面の一例を説明する図である。 解答用紙の一例を表す図である。 情報を登録する工程での一作業例を説明する図である。 情報を登録する工程での別の作業例を説明する図である。 採点支援装置の更なる機能を説明するブロック図である。 採点支援装置により抽出された情報を確認する際に利用する画面の一例を表す図である。 抽出された情報をグループ化する動作を模式的に表す図である。 解答の一例を表す図である。 同じ問題に対する解答を並べて表示する場合の一例を表す図である。 採点結果が追加された解答画面の一例を表す図である。 採点支援装置の採点支援動作の一例を表すフローチャートである。 第２実施形態の採点支援システムを説明する図である。 第３実施形態の採点支援システムを説明する図である。 その他の実施形態の採点支援装置を説明する図である。 その他の実施形態の採点支援システムを説明する図である。

以下に、本発明に係る実施形態を図面を参照しつつ説明する。

＜第１実施形態＞
図１は、本発明に係る第１実施形態の採点支援装置を含む採点支援システムの概略構成を、当該システムに接続するプリンタ等の装置と共に表すブロック図である。第１実施形態における採点支援システム１は、学校で実施される試験や、資格取得に関連する試験などの問題に対する解答の採点を支援するシステムである。採点支援システム１は、採点支援装置３と、採点器４と、学習器５とを備えている。

学習器５は、問題に対する解答とその採点結果との関係データを含むデータを教師データとして、問題に対する解答とその採点（正誤判定結果や、解答である文章内容に応じた点数など）との関係を機械学習する機能を備えている。機械学習の手法には様々な手法があり、学習器５に採用される機械学習の手法は、解答の種類（例えば、計算式の解答、選択問題の解答、記述式の解答、図を含む解答）や解答のデータ態様（例えば、画像、テキスト（文字情報））を考慮して適宜設定される。

採点器４は、採点支援装置３に接続されており、採点支援装置３から採点対象の解答の情報を受信した場合に、学習器５により機械学習された学習結果を利用して、採点対象の解答を採点する機能を備えている。

採点器４および学習器５は、それぞれ、コンピュータ装置により実現される。より具体的には、採点器４および学習器５は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサにより実現される。

採点支援装置３は、コンピュータ装置により構成されている。採点支援装置３は、情報機器７とスキャナ装置８とプリンタ９と、インターネットやＬＡＮ（Local Area Network）等の情報通信網を介して、あるいは、情報通信網を介さずに直接的に接続される。

情報機器７は、試験に解答するために解答者が操作するタブレット端末やパーソナルコンピュータ（パソコン）等のコンピュータ装置である。情報機器７は、内蔵のプロセッサによって、試験の解答者に向けて問題を提示すべく表示装置の表示制御を行う機能と、解答者による解答の情報を受け付ける機能とを備えている。情報機器７は、さらに、受け付けた解答の情報と、解答者を識別する氏名や受験番号などの解答者識別情報とを含む解答済みファイルを次のように生成して発信する機能を備えている。

例えば、情報機器７がタブレット端末であり、タブレット端末に備えられているタッチパネルを利用して解答者が手書き入力によって問題に対して解答する場合がある。この場合には、情報機器７は、問題を表す画像に、手書き入力された情報を重畳した画像を解答画面の画像として生成する。この際、解答者が氏名や受験番号等の解答者識別情報をタッチパネルにより手書き入力する場合には、解答者識別情報も画像の一部として解答画面の画像に含まれる。また、例えば認証処理を実行するサーバから情報機器７が解答者識別情報を取得した以降に解答者が情報機器７を利用して解答する場合が考えられる。この場合には、取得した解答者識別情報は、解答画面の画像に添付する付加情報である場合もある。

さらに、解答画面の画像には、解答の基になった試験を識別する試験の名称や試験内容を表す試験種別番号などの試験識別情報が解答画面の画像の一部として、又は、解答画面の画像の付加情報として含まれ、解答済みファイルが生成される。このように生成された解答済みファイルが情報機器７から採点支援装置３に発信される。

スキャナ装置８は、解答用紙をスキャンすることによって解答用紙の画像を生成可能な機能と、画像を発信する機能とを備えている。第１実施形態では、解答用紙には、解答者が氏名や受験番号等の解答者識別情報を記入する記入欄が記載され、また、解答の基になった試験を識別する試験名称や試験種別番号等の試験識別情報が記載されているとする。これにより、スキャナ装置８から発信される解答用の画像には、解答者識別情報と試験識別情報が画像の一部として含まれている。

プリンタ９は、採点支援装置３等の接続している装置から受け付けた印刷用データを紙葉に印刷出力する機能を備えている。なお、スキャナ装置８およびプリンタ９に代えて、スキャナ装置８の機能およびプリンタ９の機能を共に備える複合機が採点支援装置３と情報通信網１００を介して又は直接的に接続されていてもよい。

図２は、採点支援装置３を実現するコンピュータ装置のハードウェア構成の一例を説明するブロック図である。採点支援装置３は、ＣＰＵ（Central Processing Unit）等のプロセッサ３０１と、ＲＯＭ（Read Only Memory）３０２と、ＲＡＭ（Random Access Memory）３０３と、ハードディスク装置等の記憶装置３０４と、ドライブ装置３０５とを備えている。さらに、採点支援装置３は、通信ＩＦ（InterFace）３０６と入出力ＩＦ（InterFace）３０７を備えている。

通信ＩＦ３０６は、情報通信網１００を介して外部装置と情報をやり取りするインターフェース機能を備えている。入出力ＩＦ３０７は、周辺機器（キーボードやマウスやタッチパネル等の入力装置や、表示装置など）と、情報通信網１００を介さずに直接的に情報をやり取りするインターフェース機能を備えている。

ＲＯＭ３０２とＲＡＭ３０３と記憶装置３０４は、コンピュータプログラム（以下、略してプログラムとも記す）やデータを記憶する記憶媒体である。ドライブ装置３０５は、例えば可搬タイプの記憶媒体３１０に記憶されているプログラムやデータを読み出して記憶装置３０４等に格納する機能を備えている。なお、図２では、ＲＯＭ３０２とＲＡＭ３０３と記憶装置３０４は、１つずつ表されているが、それらの数は限定されるものではなく、複数であってもよい。

記憶装置３０４等の記憶媒体に記憶されるプログラム３０８やデータは、情報通信網１００と通信ＩＦ３０６を介して外部から取得されてもよいし、プログラム３０８を記憶している可搬タイプの記憶媒体３１０からドライブ装置３０５によって取得されてもよい。このように、記憶装置３０４等の記憶媒体へのプログラム３０８やデータの格納手法は限定されない。

プロセッサ３０１は、例えば、記憶装置３０４に格納されているプログラム３０８を、ＲＡＭ３０３を利用して実行することにより、プログラム３０８の内容に応じた機能を持つことが可能な構成を備えている。

図３は、第１実施形態の採点支援装置３の機能構成を説明するブロック図である。採点支援装置３は、入力装置１１および表示装置１２と、入出力ＩＦ３０７によりデータ通信が可能な状態で接続される。入力装置１１は、ユーザの操作に応じた情報を採点支援装置３に入力する装置であり、例えば、キーボードやマウスやタッチパネルなどにより構成される。表示装置１２は、画像を表示するディスプレイ装置により構成される。

採点支援装置３は、プロセッサ３０１によって、図３において機能部として表されている機能を備えている。すなわち、採点支援装置３のプロセッサ３０１は、取得部２０と、抽出部２１と、表示制御部２２と、グループ化部２３と、採点部２４と、修正部２５と、教師データ出力部２６と、返却データ生成部２７とを備えている。

表示制御部２２は、表示装置１２の画像表示動作を制御する機能を備える。

取得部２０は、問題に対する解答の情報を含む解答済みファイルを取得する機能を備えている。第１実施形態では、問題の解答者が情報機器７を利用して解答する場合と、解答者が解答用紙に手書きにより解答する場合とを想定している。これにより、取得部２０は、情報機器７から発信された解答済みファイルを取得する機能と、スキャナ装置８によって生成され発信された解答用紙の画像を解答済みファイルとして取得する機能とを備える。また、取得部２０は、取得した解答済みファイルを記憶装置３０４やＲＡＭ３０３等の記憶媒体に格納する機能を備える。なお、以下の説明において、ＲＯＭ３０２とＲＡＭ３０３と記憶装置３０４をまとめて単に記憶媒体と記載することもある。

抽出部２１は、解答済みファイルから、予め定められている抽出対象の情報を抽出する機能を備えている。第１実施形態では、抽出対象は、解答の情報と、当該解答の情報に関連付ける試験識別情報および解答者識別情報とを含む。

解答の情報は解答済みファイルにおける画像に含まれていることから、抽出部２１は、次のように解答済みファイルの画像から解答の情報を抽出する。なお、解答済みファイルにおける画像の一部に試験識別情報や解答者識別情報が含まれている場合にも、抽出部２１は、解答の情報の抽出と同様に、解答済みファイルの画像から試験識別情報や解答者識別情報を抽出する。この場合における試験識別情報や解答者識別情報の抽出手法の説明は、解答の情報の抽出と同様であるから、省略する。

例えば、採点支援装置３に備えられている記憶媒体には、解答済みファイルの画像において抽出対象の情報の位置を表す情報が抽出領域情報として予め格納されている。抽出部２１は、その抽出領域情報を利用して、解答済みファイルの画像から抽出対象の情報を抽出する。

ここで、抽出領域情報とその登録工程の一例について説明する。抽出領域情報は、その一例として、スキャナ装置８による解答用紙の画像あるいは情報機器７による解答画面の画像における抽出対象の情報の位置を表す抽出位置情報と、抽出対象の情報を識別する抽出識別情報とが試験識別情報に関連付けられている情報である。

図４は、抽出領域情報がユーザにより採点支援装置３に登録される工程にて利用される表示装置１２の表示画面の一例を表す図である。図４に表される表示装置１２の画面４０においては、抽出位置指定用領域４１と、識別情報指定用領域４２とが設定されている。抽出領域情報の登録工程においては、例えば、図５に表されるような解答用紙４３に、予め定められたルールに従って抽出対象の情報の位置を表す目印が手書きにより書き込まれる。図６の例では、指定された色（例えば緑色）のペンにより抽出対象の情報を囲む線が情報を抽出する際の目印４４として解答用紙４３に書き込まれている。このような解答用紙４３の画像がスキャナ装置８により生成されて採点支援装置３に送信される。採点支援装置３のプロセッサ３０１は、そのような解答用紙４３の画像を受信すると、当該画像において、目印４４を利用して抽出対象の情報の位置を検出する。また、採点支援装置３のプロセッサ３０１は、表示装置１２の画面４０における抽出位置指定用領域４１に、図４に表されるように、受信した解答用紙４３の画像を表示制御部２２の制御動作により表示させる。さらに、採点支援装置３のプロセッサ３０１は、抽出位置指定用領域４１の画像に、抽出対象の情報の位置を検出した結果に応じた枠（線）４５を重ねて表示させる。

ところで、採点支援装置３が文章作成プログラムや描画プログラムに基づいた機能を実行可能である場合には、採点支援装置３の機能を利用して、問題作成者等のユーザが、解答欄を含む解答用の画像を生成することが可能である。このように、採点支援装置３あるいは別のコンピュータ装置により、解答用の画像が生成される場合には、採点支援装置３等のコンピュータ装置によって、予め定められたルールに従って抽出対象の情報の位置を表す目印が追加された解答用の画像が生成される。そして、上記同様に、採点支援装置３は、解答用の画像から抽出対象の情報の位置を検出し、表示装置１２の画面４０における抽出位置指定用領域４１に、解答用の画像を表示させると共に、当該画像に、その検出結果に応じた枠４５を重ねて表示させる。

なお、画面４０における抽出位置指定用領域４１に抽出対象の情報の位置を表す表示態様は、図４の例における枠４５に限定されず、解答用紙あるいは解答用の画像における問題文の有無（つまり、問題と解答欄のうちの両方を含むか解答欄のみか）や解答欄のレイアウトなどを考慮して適宜設定される。

さらに、採点支援装置３は、表示装置１２の画面４０における識別情報指定用領域４２に抽出識別情報を表示制御部２２の表示制御によって表示させる。抽出識別情報は、抽出位置指定用領域４１に表示される解答用紙あるいは解答用の画像に含まれている抽出対象の情報を識別する。例えば、抽出識別情報は、抽出対象の情報が解答の情報である場合には解答の基となった問題の名称（問１、問２など）であり、また、抽出対象の情報が氏名である場合には氏名という項目名である。このような抽出識別情報は、例えば、ユーザが入力装置１１を操作することにより、採点支援装置３に入力される。

さらに、画面４０における識別情報指定用領域４２に表されている抽出識別情報と、抽出位置指定用領域４１の画像における抽出対象の情報とを紐付けるユーザによる図７に表されるような紐付け操作のルールが予め定められている。例えば、紐付け操作のルールとして、画面４０の識別情報指定用領域４２において抽出識別情報を指定した後に続けて、抽出位置指定用領域４１においてその指定した抽出識別情報に紐付ける抽出対象の情報の位置を表す枠４５を指定するというルールが定められる。

採点支援装置３は、登録用の画面４０において、ユーザが紐付け操作のルールに従った操作を行ったことを入力装置１１の操作情報により検知すると、その操作により指定された抽出対象の情報の位置を表す抽出位置情報と、抽出識別情報とを関連付ける。さらに、採点支援装置３は、それら抽出位置情報および抽出識別情報に試験識別情報を関連付けることにより、抽出領域情報を生成し、生成した抽出領域情報を記憶媒体に格納する。

抽出部２１は、上記のような抽出領域情報を記憶媒体から読み出し、当該抽出領域情報により定まる画像領域を解答済みファイルの画像から抽出する。抽出された画像領域の画像（以下、抽出画像とも記す）には、識別情報として、抽出領域情報に含まれる抽出識別情報が関連付けられる。

さらに、抽出画像のなかに、試験識別情報を含む抽出画像や解答者識別情報を含む抽出画像が含まれている場合がある。この場合には、抽出部２１は、さらに、その抽出画像において、ＯＣＲ（Optical Character Recognition（光学的文字認識）の技術により、抽出対象の情報を表す試験識別情報や解答者識別情報の文字情報を認識する。また、必要に応じて、抽出部２１は、解答の情報を含む抽出画像から、上記同様に、解答の情報を表す文字情報を認識してもよい。

試験識別情報や解答者識別情報が画像ではなく、画像の付加情報として解答済みファイルに含まれる場合には、抽出部２１は、解答済みファイルの付加情報から試験識別情報や解答者識別情報を抽出する機能を備える。

さらに、抽出部２１は、解答の情報を含む抽出画像あるいは解答の情報を表す文字情報に、抽出識別情報だけでなく、上記のように抽出された試験識別情報と解答者識別情報も関連付ける。このように、解答の情報に抽出識別情報と試験識別情報と解答者識別情報が関連付けられた情報は記憶媒体に格納される。

ところで、解答済みファイルの画像から解答者識別情報（例えば氏名）の文字情報がＯＣＲの技術によって認識される場合に文字の認識誤りが生じることが懸念される。このことを考慮して、例えば、プロセッサ３０１は、図８に表されるような訂正部２８を備えていてもよい。訂正部２８は、抽出部２１によって解答済みファイルから抽出（認識）された解答者識別情報の文字情報の修正を可能にする機能を備えている。

訂正部２８が設けられている場合には、例えば、解答者識別情報を表す文字情報が予め試験識別情報に関連付けられ参考情報として記憶媒体に格納される。訂正部２８は、抽出部２１により認識された解答者識別情報の文字情報を、参考情報としての解答者識別情報の文字情報に照合する。この際、訂正部２８は、認識された解答者識別情報の文字情報を、当該情報に関連付けられている試験識別情報と同じ試験識別情報に関連付けられている参考情報の解答者識別情報の文字情報に照合する。

さらに、訂正部２８は、照合の結果、認識された解答者識別情報の文字情報（例えば氏名の文字情報）に合致する文字情報が参考情報に含まれている場合には、認識された解答者識別情報の文字情報は正しいと判断する。また、訂正部２８は、照合の結果、認識された解答者識別情報の文字情報に合致する文字情報が参考情報に含まれていなかった場合には、認識された解答者識別情報の文字情報に誤りがあると判断する。

さらに、訂正部２８は、図９に表されるように、認識された解答者識別情報の文字情報と、その正誤判定の結果と、参考情報である解答者識別情報とを表示制御部２２により表示装置１２の同じ画面に表示させる。さらに、訂正部２８は、そのような表示と共に、認識された解答者識別情報の文字情報のチェックをユーザに促すメッセージ等を表示制御部２２により表示装置１２に表示させる。さらに、訂正部２８は、修正（変更）の情報が入力装置１１の操作により入力された場合には、入力された情報に応じて、抽出部２１により認識されて記憶媒体に格納されている解答者識別情報の文字情報を訂正（変更）する。

なお、訂正部２８は、例えば、参考情報の解答者識別情報の文字情報を修正する情報を入力装置１１の操作情報を利用して受け付け、当該情報に応じて、記憶媒体に格納されている参考情報の解答者識別情報の文字情報を修正してもよい。

図３に表されるグループ化部２３は、同じ試験識別情報を含む複数の解答済みファイルが取得されている場合に、抽出識別情報を利用して、それらの解答済みファイルから抽出された同じ問題に対する解答の情報を含む抽出画像をグループ化する。図１０は、グループ化部２３の機能をイメージにより表す図である。換言すれば、グループ化部２３は、同じ問題に対する解答の情報を含む抽出画像に同じグループであることを表すグループ識別情報を付与する。なお、解答の情報を表す文字情報が抽出部２１により抽出（認識）される場合には、グループ化部２３は、上記同様に、同じ問題に対する解答の情報を含む文字情報をグループ化する。

図３に表される採点部２４は、抽出部２１により抽出された解答の情報を含む抽出画像あるいは解答の情報を表す文字情報を採点対象の解答の情報として採点器４に送信する機能を備えている。換言すれば、採点部２４は、採点対象の解答の情報を採点器４に送信することによって、採点器４を利用して解答を採点する機能を備えている。採点部２４から採点器４に送信される採点対象の解答の情報には、試験識別情報と抽出識別情報が関連付けられる。なお、採点部２４が採点対象の解答の情報を採点器４に送信するタイミングは、ユーザが入力装置１１を利用して送信を要求したタイミングであってもよいし、予め設定されている送信時刻のタイミングであってもよく、特に限定されない。また、グループ化部２３によるグループ識別情報を利用して、グループ単位で、採点対象の情報が採点器４に送信されてもよい。

ここで、採点器４による採点機能の具体例を説明する。

例えば、予め、学習器５によって、模範解答を含む画像や不正解解答を含む画像を教師データとした機械学習により採点用データ（採点用モデル）が問題毎に生成される。そして、試験識別情報（試験の名称など）と抽出識別情報（問題の名称や番号など）が付与された採点用データ（採点用モデル）が学習器５から採点器４に提供される。

採点器４は、採点対象の解答の情報を含む抽出画像を受信すると、当該画像に関連付けられている試験識別情報と抽出識別情報に応じた採点用データ（採点用モデル）を利用して、採点対象の画像に含まれている解答を採点する。

このように画像の状態で採点する場合には、採点器４は次のような採点も可能となる。例えば、図１１に表されているように、数式の計算値の解答は正解であるが、計算値を表す文字（数字）が、解答を記入する領域を表す枠４７からはみ出している場合には、正解に与えられる点数から減点した点数が与えられるという採点が可能となる。なお、このような採点が成される場合には、そのような採点を考慮した学習器５による機械学習を実行させ当該機械学習による採点用データ（採点用モデル）を採点器４は利用する。

また、採点器４は、文章を記入する記述式の解答の採点も可能である。この場合には、抽出部２１は、前述したように、解答の情報を画像の情報としてだけでなく文字情報としても抽出する。また、採点部２４は、採点対象の解答の情報を文字情報の態様でもって採点器４に送信する。また、学習器５は、記述式の模範解答を教師データとして機械学習した採点用データ（採点用モデル）を生成し、生成した採点用データ（採点用モデル）に試験識別情報と抽出識別情報を付与して採点器４に提供する。採点器４は、文字情報による採点対象の解答の情報を受信すると、例えば構文解析等により解答の文章を分析し、解答と、当該解答に関連付けられている試験識別情報と抽出識別情報に応じた採点用データ（採点用モデル）との類似度を算出する。さらに、採点器４は、その類似度に応じて定められている点数を解答の採点結果とする。

採点器４による採点結果は、試験識別情報と抽出識別情報が関連付けられた態様で採点部２４に返信される。採点部２４は、採点結果を受信すると、採点結果に関連付けられている試験識別情報と抽出識別情報と同じ情報を持つ採点対象の解答の情報に採点結果を関連付けて記憶媒体に採点済みファイルとして格納する機能を備えている。さらに、採点部２４は、同じ試験識別情報および解答者識別情報を持ち、かつ、抽出識別情報が異なる複数の採点済みファイルが記憶媒体に格納されている場合に、それら採点済みファイルに含まれている採点結果の情報を読み出す。そして、採点部２４は、読み出した採点結果の情報を利用して、全ての問題の点数を合計して解答者の点数を算出する動作や、合否を判定する動作を実行する。

上記のように採点部２４が採点器４により解答を採点することにより、採点ミスが防止され、かつ、採点ばらつきが抑制されるという効果が得られる。

修正部２５は、採点結果を修正する修正情報を受け付け当該修正情報に基づいて採点結果を修正する機能を備えている。例えば、修正部２５は、採点済みファイルが生成されたときや、ユーザによる採点結果の表示の要求を検知した場合に、表示対象の採点結果を含む採点済みファイルを、試験識別情報や抽出識別情報などの情報を利用して記憶媒体から読み出す。そして、修正部２５は、読み出した解答の情報とその採点結果を表示制御部２２の表示制御動作によって表示装置１２に表示させる。また、修正部２５は、ユーザの要求に応じ、グループ化部２３によるグループ識別情報を利用して、同じ問題に対する複数の解答とその採点結果を表示制御部２２の表示制御動作によって図１２に表されているように表示装置１２の同じ画面に並べて表示させることも可能であるとする。このように、同じ問題に対する複数の解答の採点結果を並べて表示することにより、例えば、教師等のユーザは、同じ問題に対する複数の解答の採点結果を同じ画面で比べながらチェックできる。これにより、同じ問題に対する複数の解答の採点結果が、異なる画面に表示される状態でユーザが採点結果をチェックする場合に比べて、採点ばらつきを考慮した採点結果のチェックが容易となる。特に、解答が文章を記述する記述タイプである場合には、採点器４によって採点ばらつきが抑制されるものの、採点器４による採点でも多少の採点ばらつきが生じてしまうことが考えられる。これに対し、上述したように修正部２５によって、同じ問題に対する複数の解答の採点結果が同じ画面に表示されることにより、ユーザは、より採点ばらつきが抑制されるように採点結果をチェックすることが容易となる。

ユーザが、入力装置１１を利用して、表示装置１２に表示されている採点結果を修正した修正後の採点結果の情報を修正情報として採点支援装置３に入力した場合には、修正部２５は、その修正情報を受け付ける。また、修正部２５は、表示制御部２２の表示制御情報や入力装置１１の操作情報を利用して、修正対象の採点結果を認識し、記憶媒体に格納されている修正対象の採点済みファイルにおける採点結果を、修正情報に基づいた修正後の採点結果に変更する。

教師データ出力部２６は、修正部２５が採点結果を修正した場合に、その修正後の採点結果の情報と、当該採点結果に関連付けられている解答の情報を含む予め定められた情報を教師データとして学習器５に向けて出力する機能を備えている。学習器５は、教師データ出力部２６から受信した教師データをも利用して、解答とその採点との関係などを学習する。

返却データ生成部２７は、図１３に表されるような採点結果に応じた情報（採点結果に応じた丸や三角やバツなどのマーク４８）が追加された解答用紙の画像あるいは解答画面の画像を返却データとして生成する機能を備える。解答用紙の画像あるいは解答画面の画像に採点結果を追加する画像生成手法は特に限定されず、ここでは、その説明は省略される。また、返却データを生成するタイミングは、同じ試験識別情報および解答者識別情報を持つ全ての解答済みファイルに採点結果が追加されて採点済みファイルが生成されていれば、予め定められた何れのタイミングでもよい。

さらに、返却データ生成部２７は、入力装置１１等を利用して加えられる要求に応じて、採点結果が追加された解答用紙の画像あるいは解答画面の画像を紙葉に印刷するための印刷データを生成する機能を備えていてもよい。

返却データ生成部２７により生成された返却データは、例えば、情報通信網を介して、解答者が所持している情報機器に送信される。これにより、解答者は情報機器を利用して採点結果を見ることができる。また、返却データに応じた印刷データは、プリンタ９に提供され、プリンタ９により印刷出力された採点結果付きの解答用紙が解答者に返却される。

第１実施形態における採点支援装置３は上記のように構成されている。以下に、採点支援装置３における採点支援機能の動作の一例を図１４を利用して説明する。図１４は、採点支援装置３の採点支援機能の動作の一例を表すフローチャートであり、プロセッサ３０１が実行する制御手順を表している。

例えば、取得部２０が情報機器７あるいはスキャナ装置８から解答済みファイルを取得すると（図１４におけるステップＳ１０１）、抽出部２１が解答済みファイルに含まれている解答の情報を含む抽出対象の情報を抽出する（ステップＳ１０２）。然る後に、採点部２４が、解答済みファイルから抽出した採点対象の解答を、例えば、グループ化部２３によるグループ識別情報を利用しグループ単位で、採点器４に送信する（ステップＳ１０３）。その後、採点部２４が採点器４から採点結果を受信すると（ステップＳ１０４）、修正部２５が、採点結果を表示装置１２に表示させる（ステップＳ１０５）。

また、修正部２５が、表示されている採点結果を修正する修正情報が入力されたか否か（換言すれば、修正が有るか否か）を判断し、修正が有る場合には（ステップＳ１０６でＹｅｓ）、修正情報に応じて採点済みファイルの採点結果を修正する（ステップＳ１０７）。さらに、教師データ出力部２６が、修正後の採点結果の情報と、当該採点結果に関連付けられている解答の情報を含む予め定められた情報を教師データとして学習器５に向けて送信する（ステップＳ１０８）。

然る後に、返却データ生成部２７が返却データを生成する（ステップＳ１０９）。生成された返却データは、適宜なタイミングおよび適宜な返却手法により解答者に返却される。なお、採点支援装置３が情報機器７やスキャナ装置８やプリンタ９や採点器４などと情報を通信する際には、通信される情報にはセキュリティ対策が成される。

ステップS１０５において、修正部２５が採点結果を表示装置１２に表示させた際に、採点結果を修正する修正情報が入力されず、修正が無い場合には（ステップＳ１０６でＮｏ)、返却データ生成部２７が返却データを生成する（ステップＳ１０９）。生成された返却データは、適宜なタイミングおよび適宜な返却手法により解答者に返却される。

第１実施形態の採点支援装置３を備えた採点支援システム１は、模範解答や不正解解答を機械学習した学習結果を利用して解答を採点する採点器４を利用することにより、問題に対する解答を採点する構成を備えている。これにより、第１実施形態における採点支援装置３および採点支援システム１は、教師等の人が採点しなくて済むので、教師等の採点者の負担を軽減でき、その上、人が採点作業を行う場合に比べて、採点ばらつきを抑制できる。

また、採点支援装置３は、修正部２５を備え、当該修正部２５によって、採点器４による採点結果を教師等のユーザにチェックさせ、必要に応じて、採点結果を修正（変更）させる機能を備えている。これにより、採点支援システム１および採点支援装置３の採点能力に対する信頼性の向上を図ることができる。

また、採点支援装置３は、採点器４による採点結果をユーザにチェックさせる際に、同じ問題に対する複数の解答の採点結果を並べて表示装置１２に表示させる機能を備えることにより、採点ばらつきをより抑制することができる。

さらに、採点支援装置３は、採点器４による採点結果が修正部２５の機能により修正された場合に、修正後の採点結果を教師データとして学習器５に提供し、当該学習器５の機械学習に利用させる機能を備えている。これにより、学習器５による機械学習で用いる教師データの数とバリエーションを増加させることができる結果、採点器４による採点結果に対する信頼性を高めることができる。

さらに、採点支援装置３は、解答者が解答用紙に解答する場合と、情報機器７を利用して解答する場合との両方を想定して解答を採点する機能を備えている。また、採点支援装置３は、採点結果を追加した解答用紙を印刷出力するための印刷データを生成する機能と、採点結果を追加した解答画面の画像を生成する機能を備えている。このため、例えば、採点支援装置３は、解答者が解答用紙に解答した場合に、採点結果を追加した解答画面の画像を含む返却データにより採点結果を解答者に提示することができる。また、採点支援装置３は、解答者が情報機器７によって問題に解答した場合に、採点結果が追加された解答用紙でもって解答者に採点結果を提示することもできる。

＜第２実施形態＞
以下に、本発明に係る第２実施形態を説明する。なお、第２実施形態の説明において、第１実施形態の採点支援装置および採点支援システムを構成する構成要素と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。

第２実施形態の採点支援システム１は、第１実施形態の採点支援システム１の構成に加えて、図１５に表される分析装置１４を備えている。また、採点支援装置３は、プロセッサ３０１の機能として、分析部２９を備えている。なお、図１５においては、採点支援システム１を構成する採点器４と学習器５等の図示が省略されている。

分析装置１４は、問題と、その問題に対する解答と、当該解答の採点結果とを取得し、問題に対する解答を統計処理により分析する機能を備えている。分析装置１４が実行する統計処理の手法は、採点支援システム１のユーザが求める分析内容に応じて適宜設定されるものであり、ここでは、その説明は省略する。

採点支援装置３が備える分析部２９は、例えば、入力装置１１の操作によって分析対象の解答を指定する情報と共に分析要求が採点支援装置３に入力されたことを検知した場合に、分析対象の解答の情報を分析装置１４に送信する機能を備える。

また、分析部２９は、入力装置１１の操作によって分析結果を要求する指令が採点支援装置３に入力されたことを検知した場合に、分析装置１４から分析結果を取得し、取得した分析結果を表示制御部２２によって表示装置１２に表示させる機能を備えている。

第２実施形態における採点支援装置３および採点支援システム１の上記以外の構成は、第１実施形態と同様である。

第２実施形態の採点支援システム１は、第１実施形態の構成に加えて、問題に対する解答の採点結果を分析する機能を備える。そのような採点結果の分析結果は、例えば、新たな問題作成の参考にできることから、採点支援システム１は、問題作成者を支援することもできる。

＜第３実施形態＞
以下に、本発明に係る第３実施形態を説明する。なお、第３実施形態の説明において、第１や第２の実施形態の採点支援装置および採点支援システムを構成する構成要素と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。

第３実施形態の採点支援システム１は、図１６に表されているようなサーバ１６を備えている。サーバ１６は、試験の採点に関係する複数種の装置間の接続をセキュリティ対策を考慮して制御する機能を備えている。

図１６の例では、サーバ１６は、例えば、設置されている学校が異なる複数の採点支援装置３を共通の採点器４および学習器５に接続させる機能を備える。これにより、例えば、採点支援システム１は、採点支援装置３の教師データ出力部２６の機能によって学習器５が受信する教師データの数を増加でき、その結果、採点器４の採点結果に対する信頼性を高めることができる。

また、サーバ１６は、分析装置１４による分析結果等の情報を複数の採点支援装置３に提示することを可能にする機能を備えていてもよい。さらに、採点支援システム１は、試験に出題された問題や、その問題の解答例や、解答の分析結果による解答傾向などの情報を格納する問題データベース１７を備えていてもよい。サーバ１６は、採点支援装置３から問題データベース１７へのアクセスを制御する機能を備えていてもよい。さらに、採点支援装置３が文章作成機能や描画機能を備えている場合に、それら機能を利用して問題作成者が試験問題を作成する場合が考えられる。このような場合に、採点支援装置３を利用して作成された問題とその解答の情報が複数の採点支援装置３からサーバ１６を介して問題データベース１７に登録されることにより、問題データベース１７が保持する問題の情報量や種類の充実化を図ることが容易となる。さらに、サーバ１６は、問題データベース１７に登録されている情報の閲覧を制御してもよい。さらにまた、サーバ１６は、他のシステムと採点支援装置３との接続を制御する機能を備えていてもよい。

採点支援装置３は、サーバ１６を介して他の装置と接続するための機能部を備える。サーバ１６を介して他の装置と接続（通信）するための手法は、接続相手の装置の種類等を考慮して適宜な手法を採用してよく、ここでは、その説明は省略する。

第３実施形態の採点支援システム１は、サーバ１６を介して採点支援装置３を他の装置に接続させることを可能にする構成を備えている。これにより、採点支援システム１は、ユーザにとっての利便性を高めることができる。

＜その他の実施形態＞
本発明は、第１～第３の実施形態に限定されず、様々な実施の形態を採り得る。例えば、採点支援装置３は、教師データ出力部２６が備えられている。これに対し、例えば、採点支援装置３から学習器５に提供可能な教師データの数が機械学習の成果を向上できる程に多くないと想定される等の利用によって教師データ出力部２６は不要と考えられる場合には、教師データ出力部２６は省略されてもよい。

また、採点支援装置３においてグループ化部２３によるグループ識別情報は不要であると想定される場合には、グループ化部２３は省略されてもよい。

さらに、採点部２４は、解答の情報を採点器４に送信することによって解答を採点する機能を備えている。採点部２４は、その機能に加えて、例えば、選択問題や計算式の算出問題などの正誤判定が明確な解答を、記憶媒体に予め与えられている正解データに照合することによって正誤を判定する機能を備えていてもよい。

図１７は、本発明に係るその他の実施形態を説明する図である。図１７に表される採点支援装置３０は、取得部３１と、抽出部３２と、採点部３３とを備える。この採点支援装置３０は、図１８に表されるように、問題に対する解答とその採点結果との関係を機械学習した学習結果を利用して問題に対する解答を採点する機能を持つ採点器３６と共に、採点支援システム３５を構成する。

採点支援装置３０の取得部３１は、問題に対する解答の情報を含む解答済みファイルを取得する機能を備える。抽出部３２は、取得した解答済みファイルから解答を抽出する機能を備える。採点部３３は、抽出した解答を採点器３６に送信することによって、解答を採点する機能を備える。

図１７に表されている採点支援装置３０および図１８に表されている採点支援システム３５は、上記のような構成を備えることにより、採点ばらつきを抑制できる上に、採点者の負担を軽減できるという効果を得ることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
問題に対する解答の情報を含む解答済みファイルを取得する取得手段と、
取得した前記解答済みファイルから前記解答を抽出する抽出手段と、
解答とその採点結果との関係を機械学習した学習結果を利用して、抽出した前記解答を採点する採点手段と
を備える採点支援装置。

（付記２）
前記抽出手段は、前記解答済みファイルに含まれている解答の情報が画像の一部に表されている場合には、その画像から、解答の情報が表されている領域を前記解答の情報として抽出する付記１に記載の採点支援装置。

（付記３）
外部から前記採点結果の修正情報を受け付け当該修正情報に基づいて前記採点結果を修正する修正手段をさらに備える付記１又は２に記載の採点支援装置。

（付記４）
前記修正情報に基づいた修正後の採点結果を前記機械学習に利用する教師データとして出力する教師データ出力手段をさらに備える付記３に記載の採点支援装置。

（付記５）
前記取得手段により取得された複数の前記解答済みファイルからそれぞれ抽出された同じ問題に対する解答の採点結果をまとめるグループ化手段をさらに備える付記１から４の何れか一つに記載の採点支援装置。

（付記６）
問題に対する解答とその採点結果との関係を機械学習した学習結果を利用して、前記問題に対する解答を採点する採点器と、
当該採点器に接続する採点支援装置と
を備え、
前記採点支援装置は、
問題に対する解答の情報を含む解答済みファイルを取得する取得手段と、
取得した前記解答済みファイルから前記解答を抽出する抽出手段と、
抽出した前記解答を、当該解答を採点する前記採点器に向けて出力することによって、前記解答を採点する採点手段と
を備える採点支援システム。

（付記７）
問題に対する解答とその採点結果との関係を機械学習する学習器をさらに備え、
前記採点支援装置は、
外部から前記採点結果の修正情報を受け付け当該修正情報に基づいて前記採点結果を修正する修正手段と、
前記修正情報に基づいた修正後の採点結果を前記機械学習に利用する教師データとして前記学習器に向けて出力する教師データ出力手段と
をさらに備える付記６に記載の採点支援システム。

（付記８）
前記問題と当該問題に対する前記解答とその採点結果を取得し、前記問題に対する前記解答を統計処理により分析する分析装置をさらに備える付記６又は７に記載の採点支援システム。

（付記９）
問題に対する解答の情報を含む解答済みファイルを取得し、
取得した前記解答済みファイルから前記解答を抽出し、
解答とその採点結果との関係を機械学習した学習結果を利用して、抽出した前記解答を採点する採点支援方法。

（付記１０）
前記解答済みファイルに含まれている解答の情報が画像の一部に表されている場合には、その画像から、解答の情報が表されている領域を前記解答の情報として抽出する付記９に記載の採点支援方法。

（付記１１）
外部から前記採点結果の修正情報を受け付け当該修正情報に基づいて前記採点結果を修正する付記９又は１０に記載の採点支援方法。

（付記１２）
前記修正情報に基づいた修正後の採点結果を前記機械学習に利用する教師データとして出力する付記１１に記載の採点支援方法。

（付記１３）
前記修正情報に基づいた修正後の採点結果を前記機械学習に利用する教師データとして再学習を行って、前記学習結果を更新する付記１１に記載の採点支援方法。

（付記１４）
取得した複数の前記解答済みファイルからそれぞれ抽出された同じ問題に対する解答の採点結果をまとめる付記９から１３の何れか一つに記載の採点支援方法。

（付記１５）
前記問題と当該問題に対する前記解答とその採点結果を基に、前記問題に対する前記解答を統計処理により分析する付記９から１４の何れか一つに記載の採点支援方法。

（付記１６）
問題に対する解答の情報を含む解答済みファイルを取得する処理と、
取得した前記解答済みファイルから前記解答を抽出する処理と、
解答とその採点結果との関係を機械学習した学習結果を利用して、抽出した前記解答を採点する処理と、
をコンピュータに実行させるコンピュータプログラムを記録したプログラム記録媒体。

（付記１７）
前記解答済みファイルに含まれている解答の情報が画像の一部に表されている場合には、その画像から、解答の情報が表されている領域を前記解答の情報として抽出する処理をコンピュータに実行させるコンピュータプログラムを記録した付記１６に記載のプログラム記録媒体。

（付記１８）
外部から前記採点結果の修正情報を受け付け当該修正情報に基づいて前記採点結果を修正する処理をさらにコンピュータに実行させるコンピュータプログラムを記録した付記１６又は１７に記載のプログラム記録媒体。

（付記１９）
前記修正情報に基づいた修正後の採点結果を前記機械学習に利用する教師データとして出力する処理をさらにコンピュータに実行させるコンピュータプログラムを記録した付記１８に記載のプログラム記録媒体。

（付記２０）
取得した複数の前記解答済みファイルからそれぞれ抽出された同じ問題に対する解答の採点結果をまとめる処理をさらにコンピュータに実行させるコンピュータプログラムを記録した付記１６から１９の何れか一つに記載のプログラム記録媒体。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１９年２月１５日に出願された日本出願特願２０１９－２５１８１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１，３５ 採点支援システム
３，３０ 採点支援装置
４，３６ 採点器
５ 学習器
１４ 分析装置
１６ サーバ
２０，３１ 取得部
２１，３２ 抽出部
２４，３３ 採点部
２５ 修正部
２６ 教師データ出力部
２８ 訂正部

Claims (7)

1. 答案用紙の情報を含むデータを取得する取得手段と、
   取得した前記データにおける解答枠を抽出する抽出手段と、
   解答とその採点結果との関係を学習した機械学習モデルを利用して、抽出した前記解答枠に含まれる解答を採点する採点手段と、
   同じ問題に対する複数の解答と採点結果を、画面に表示する表示制御手段と、
   表示された前記採点結果の修正の入力を受け付ける修正手段と
   を備える採点支援装置。
2. 前記抽出手段は、前記解答枠に含まれている解答の情報が画像の一部に表されている場合には、その画像から、解答の情報が表されている領域を前記解答の情報として抽出する請求項１に記載の採点支援装置。
3. 前記修正に基づいた修正後の採点結果を機械学習に利用する教師データとして出力する教師データ出力手段をさらに備える請求項１又は２に記載の採点支援装置。
4. 前記取得手段により取得された複数の前記データからそれぞれ抽出された同じ問題に対する解答の採点結果をまとめるグループ化手段をさらに備える請求項１から３の何れか一つに記載の採点支援装置。
5. 問題に対する解答とその採点結果との関係を機械学習した学習結果を利用して、前記問題に対する解答を採点する採点器と、
   前記採点器に接続する採点支援装置と
   を備え、
   前記採点支援装置は、
   答案用紙の情報を含むデータを取得する取得手段と、
   取得した前記データにおける解答枠を抽出する抽出手段と、
   抽出した前記解答を、当該解答を採点する前記採点器に向けて出力することによって、前記解答を採点する採点手段と、
   同じ問題に対する複数の解答と採点結果を、画面に表示する表示制御手段と、
   表示された前記採点結果の修正の入力を受け付ける修正手段と
   を備える採点支援システム。
6. コンピュータが、
   答案用紙の情報を含むデータを取得し、
   取得した前記データにおける解答枠を抽出し、
   解答とその採点結果との関係を機械学習したモデルを利用して、抽出した前記解答枠に含まれる解答を採点し、
   同じ問題に対する複数の解答と採点結果を、画面に表示し、
   表示された前記採点結果の修正の入力を受け付ける採点支援方法。
7. 答案用紙の情報を含むデータを取得する処理と、
   取得した前記データにおける解答枠を抽出する処理と、
   解答とその採点結果との関係を機械学習したモデルを利用して、抽出した前記解答枠に含まれる解答を採点する処理と、
   同じ問題に対する複数の解答と採点結果を、画面に表示する処理と、
   表示された前記採点結果の修正の入力を受け付ける処理と
   をコンピュータに実行させる採点支援プログラム。

Images