JP2024030760A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】作図問題の解答を評価し、評価結果を提示することで採点業務などをアシストする。【解決手段】情報処理装置は、まず、作図問題の解答を解答結果データとして取得する。そして、情報処理装置は、事前に作図問題に対する解答結果データと評価の関係を学習済みの評価用モデルを用いて、対象となる解答結果データの評価に関する評価情報を取得し、出力する。これにより、情報処理装置は、評価情報に基づいて、作図問題の解答の評価結果を分かりやすく指導者等に提示することができる。【選択図】図１８

Description

本発明は、作図問題の解答を採点する技術に関する。

従来から、テストの自動採点を行うシステムが知られている。特許文献１には、スキャナーが読み取った解答用紙の画像と、記憶デバイスに記憶されている解答集とを照合して自動採点を行うシステムが開示されている。

特開２０１７－２１１４９７号公報

解答として図形等を作図する作図問題は、解答のバリエーションが多いため、採点や評価の負荷が高く、指導者に大きな負担となっていた。また、このような作図問題の解答は、システムによる自動採点も難しいという問題が生じていた。

本発明は、例えば、上記のような課題を解決するためになされたものであり、作図問題の解答を評価し、評価結果を提示することで採点業務などをアシストする情報処理装置を提供することにある。

本発明の１つの観点では、情報処理装置は、作図問題の解答を解答結果データとして取得する解答結果データ取得部と、事前に前記作図問題に対する解答結果データと評価の関係を学習済みの評価用モデルを用いて、対象となる解答結果データの評価に関する評価情報を取得する評価情報取得部と、前記評価情報を出力する評価情報出力部と、を備える。この態様によれば、情報処理装置は、作図問題の解答を評価し、評価情報に基づいて評価結果を出力することができる。これにより、指導者の評価や採点をアシストし、負荷を軽減することができる。

上記の情報処理装置の一態様では、複数の作図問題に対応する複数の評価用モデルを記憶する記憶部と、対象となる解答結果データに対応する作図問題に関する情報に基づいて、前記記憶部から、前記評価用モデルを選択する評価用モデル選択部を備え、前記評価情報取得部は、選択された評価用モデルを用いて評価情報を取得する。この態様によれば、情報処理装置は、作図問題に関する情報に基づいて、記憶部から適切な評価用モデルを選択し、解答結果データの評価情報を取得することができる。

上記の情報処理装置の一態様では、前記記憶部は、複数の評価用モデルと、各評価用モデルを構築した作図問題に関する情報とを対応付けて記憶しており、前記評価用モデル選択部は、評価の対象となる解答結果データに対応する作図問題に関する情報と、前記評価用モデルを構築した作図問題に関する情報との類似度を算出し、当該類似度が閾値以上の評価用モデルを選択する。この態様によれば、情報処理装置は、作図問題に関する情報の類似度に基づいて、記憶部から適切な評価用モデルを選択することができる。

上記の情報処理装置の一態様では、前記作図問題に関する情報は、前記作図問題の問題文のテキスト、問題の画像、及び、模範解答の画像に関する情報を含む。この態様によれば、情報処理装置は、作図問題の問題文のテキスト、問題の画像、及び、模範解答の画像の類似度をそれぞれ算出し、算出した類似度に基づいて、記憶部から適切な評価用モデルを選択することができる。

上記の情報処理装置の一態様では、対象となる解答結果データは、満点、減点及び０点のいずれかに評価される。この態様によれば、情報処理装置は、評価情報に基づいて、解答結果データの評価を、満点、減点及び０点のいずれかで指導者等に提示することができる。これにより、指導者等に評価を分かりやすく提示することができる。

上記の情報処理装置の一態様では、対象となる解答結果データが減点と評価される場合、前記評価情報取得部は、前記評価情報と共に、前記評価に影響を与えた領域の情報を減点領域情報として取得する。この態様によれば、情報処理装置は、評価と共に、減点という評価に影響を与えた領域の情報を出力することができる。

本発明の別の観点では、コンピュータを備える情報処理装置により実行されるプログラムであって、作図問題の解答を解答結果データとして取得する解答結果データ取得部、事前に前記作図問題に対する解答結果データと評価の関係を学習済みの評価用モデルを用いて、対象となる解答結果データの評価に関する評価情報を取得する評価情報取得部、前記評価情報を出力する評価情報出力部、として前記コンピュータを機能させる。このプログラムをコンピュータにインストールして実行させることで、本発明に係る情報処理装置を構成させることができる。

本発明に係る情報処理装置によれば、作図問題の解答を評価し、評価結果を提示することで採点業務などをアシストすることができる。

本発明のサーバを適用した学習支援システムの構成を示す。 問題用紙の一例である。 解答用紙の一例である。 模範用紙の一例である。 領域検出により各用紙から取り出したデータの一例である。 解答ＤＢのデータ構成の一例である。 作図問題の評価基準を説明する図である。 解答結果画像を採点結果毎にグループ分けした一例である。 評価用モデルの学習を説明する図である。 評価用モデルＤＢのデータ構成の一例である。 サーバのハードウェア構成を示すブロック図である。 サーバの機能構成を示すブロック図である。 テキスト類似度の算出方法を説明する図である。 ＣＮＮを用いた類似度算出方法を説明する図である。 類似度に基づく評価用モデルの選択方法を説明する図である。 減点領域画像の一例である。 評価結果画面の一例である。 評価処理のフローチャートである。 変形例のサーバを適用した学習支援システムの構成を示す。

以下、図面を参照しながら、本発明の実施の形態について説明する。
＜実施形態＞
［全体構成］
図１は、本発明のサーバを適用した学習支援システムの構成を示す。学習支援システム１００は、作図問題の解答を評価し、評価結果を提示することで採点業務などをアシストするシステムである。学習支援システム１００は、複数の学習者用端末９と、指導者用端末１０と、サーバ２０とがインターネット等のネットワーク５を介して通信可能に構成されている。なお、本実施形態において、作図問題とは、解答として図形等を作図する問題である。また、学習者は、作図問題に取り組む生徒等であり、指導者は、作図問題の解答を採点する教師等である。

学習者用端末９は、学習者が使用するものであって、例えば、タブレットやパーソナルコンピュータ（ＰＣ）等の情報処理機器である。また、指導者用端末１０は、指導者が使用するものであって、学習者用端末９と同様に、タブレットやＰＣ等の情報処理機器である。具体的に、学習者用端末９は、作図問題を含むテストの問題用紙を表示したり、学習者が問題用紙に解答を入力したりする端末装置である。一方、指導者用端末１０は、問題用紙や学習者が解答を入力した解答用紙に関する情報をサーバ２０に送信したり、サーバ２０から評価結果画面に関する画面情報を受信して表示したりする端末装置である。

サーバ２０は、種々の情報に対する処理、記憶及び送受信を行う情報処理装置であって、例えばサーバ装置、ＰＣまたは汎用のタブレット等である。また、サーバ２０は、後述する解答データベース（以下、「データベース」を「ＤＢ」と記す。）３１及び評価用モデルＤＢ３２と接続されている。

［問題用紙］
ここで、本実施形態に用いるテストの問題用紙について説明する。図２は、作図問題を含むテストの問題用紙の一例である。本実施形態では、テストの問題用紙は、デジタル教材であって、各学習者が使用するタブレット等に表示されるものとする。問題用紙は、図２（ａ）に示すように、テスト科目部２２、氏名入力部２３及び解答入力部２４から構成される。テスト科目部は、テストの時期、対象学年、テストの科目、テスト時間等の情報を表示する。氏名入力部２３は、テストに取り組んだ学習者の学年、組、番号、氏名等の情報をそれぞれ入力する複数の項目を有する。解答入力部２４は、テストを構成する問題の問題文を表示し、各問題の解答を入力する複数の項目を有する。

本実施形態において、問題は、解答として数字や記号を入力する計算問題と、解答として図形等を作成する作図問題と、を有する。具体的に、問題用紙の解答入力部２４は、図２（ｂ）に示すように、粗い点線で示す計算問題の問題文領域（以下、「計算問題文領域」ともいう。）６０～６４と、細い実線で示す計算問題の解答領域（以下、「計算解答領域」ともいう。）６５ａ、６６ａ、６７ａ及び６８ａと、を含む。また、解答入力部２４は、太い実線で示す作図問題の問題文領域（以下、「作図問題文領域」ともいう。）６９と、細かい点線で示す作図問題の解答領域（以下、「作図解答領域」ともいう。）７０と、を含む。説明の便宜上、図面では各領域を示す実線や点線を示しているが、実際には表示されない。

なお、問題用紙の氏名入力部２３及び解答入力部２４が有する項目には、何も入力されていないものとする。本実施形態では、問題用紙の氏名入力部２３に学習者に関する情報、解答入力部２４に学習者の解答が入力された用紙を「解答用紙」とする。また、問題用紙の解答入力部２４に模範解答が入力された用紙を「模範用紙」とする。

［解答用紙］
次に、本実施形態に用いるテストの解答用紙について説明する。図３は、作図問題を含むテストの解答用紙の一例である。テストの解答用紙は、デジタル教材とする。解答用紙は、学習者により所定の情報が入力された問題用紙であって、図３（ａ）に示すように、テスト科目部２２、氏名入力部２３及び解答入力部２４から構成される。学習者は、学習者用端末９を用いて、氏名入力部２３の各項目に学年、組、番号、氏名を入力する。また、学習者は、解答入力部２４の各項目に対応する問題の解答を入力する。換言すると、解答用紙の氏名入力部２３の各項目には、学習者の学年、組、番号、氏名が入力されている。また、解答入力部２４の各項目には、対応する問題の学習者による解答が入力されている。

図３（ｂ）に示すように、解答用紙も問題用紙と同様に、計算問題文領域６０～６４と、計算解答領域６５ｂ、６６ｂ、６７ｂ及び６８ｂと、作図問題文領域６９と、作図解答領域７０ｂと、を含む。

［模範用紙］
次に、本実施形態に用いるテストの模範用紙について説明する。図４は、作図問題を含むテストの模範用紙の一例である。テストの模範用紙は、デジタル教材とする。模範用紙は、テストの模範解答が入力された問題用紙であって、図４（ａ）に示すように、テスト科目部２２、氏名入力部２３及び解答入力部２４から構成される。解答入力部２４の各項目には対応する問題の模範解答が入力されている。

図４（ｂ）に示すように、模範用紙も問題用紙と同様に、計算問題文領域６０～６４と、計算解答領域６５ｃ、６６ｃ、６７ｃ及び６８ｃと、作図問題文領域６９と、作図解答領域７０ｃと、を含む。

［領域検出］
次に、サーバ２０による各用紙の領域検出について説明する。サーバ２０は、問題用紙、解答用紙又は模範用紙に対し、任意の領域検出方法を適用することができる。ここで、領域検出方法とは、所定の用紙に関する情報に基づいて、当該用紙に含まれる各領域の位置情報を検出し、各領域にラベルを付与する方法である。

例えば、領域検出方法は、Ｒ－ＣＮＮ（Ｒｉｃｈ ｆｅａｔｕｒｅ ｈｉｅｒａｒｃｈｉｅｓ ｆｏｒ ａｃｃｕｒａｔｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）等、ディープラーニングを用いて画像に写る物体を矩形領域として検出する方法を適用することができる。

具体的に、図３（ａ）に示す解答用紙の解答入力部２４に対する領域検出について説明する。この場合、サーバ２０は、まず、図３（ｂ）に示すような、計算問題文領域６０～６４と、計算解答領域６５ａ、６６ａ、６７ａ及び６８ａと、作図問題文領域６９と、作図解答領域７０ａと、についてそれぞれ位置情報を検出する。そして、サーバ２０は、計算問題文領域６０～６４に、計算問題を表す文字や記号の領域であることを示すラベルを付与する。同様に、サーバ２０は、計算解答領域６５ａ、６６ａ、６７ａ及び６８ａに計算問題に対する解答の領域であることを示すラベルを、作図問題文領域６９に作図問題を表す文字や記号の領域であることを示すラベルを、作図解答領域７０ｂに作図問題に対する解答の領域であることを示すラベルをそれぞれ付与する。

図５は、領域検出により各用紙から取り出したデータの一例である。サーバ２０は、解答用紙の領域検出により、作図問題文領域６９の位置情報として、例えば、解答用紙上における作図問題文領域６９を示す座標を取得する。そして、サーバ２０は、取得した座標に基づいて、解答用紙に関する情報から、図５（ａ）に示すような、作図問題の問題文のテキスト（以下、「問題文テキスト」ともいう。）を問題文データとして取得する。同様に、サーバ２０は、解答用紙の領域検出により、作図解答領域７０ｂの位置情報を取得し、図５（ｂ）に示すような、作図問題に対する学習者による解答の画像（以下、「解答結果画像」ともいう。）を解答結果データとして取得する。

サーバ２０は、解答用紙の領域検出と同様に、問題用紙及び模範用紙に対する領域検出を行う。問題用紙に対する領域検出により、サーバ２０は、作図解答領域７０ａの位置情報を取得し、問題用紙に関する情報から、図５（ｃ）に示すような、作図問題の解答に予め記載されている画像（以下、「問題画像」ともいう。）を問題画像データとして取得する。また、模範用紙に対する領域検出により、サーバ２０は、作図解答領域７０ｃの位置情報を取得し、図５（ｄ）に示すような、作図問題に対する模範解答の画像（以下、「模範解答画像」ともいう。）を模範解答データとして取得する。

［解答ＤＢ］
次に、解答ＤＢ３１について説明する。解答ＤＢ３１は、作図問題の解答や採点に関する情報を記憶している。図６は、解答ＤＢ３１のデータ構造の一例である。図６に示すように、解答ＤＢ３１は、作図問題を識別する問題ＩＤと、作図問題に解答した学習者の氏名と、学習者の解答結果画像である解答結果データと、作図問題の配点と、学習者の解答の採点結果とを対応付けて記憶している。

ここで、図２に示す問題用紙に含まれる作図問題の評価基準について説明する。図７は、作図問題の評価基準を説明する図である。このような作図問題の場合、図７に示すように、まず、Ａを中心とした円の弧である曲線をコンパスで描画する。同様に、Ｂを中心とした円の弧である曲線をコンパスで描画する。そして、２つの曲線の交点である２つの点を通る直線を描画する。この直線は、直線ＡＢの垂直二等分線となる。直線ＡＢと垂直二等分線の交点を中心とし、Ａ及びＢを通る円をコンパスで描画する。これが、「線分ＡＢを直径とする円を作図しなさい。」という作図問題に対する模範解答の描き方であり、評価や採点の際の基準は、「垂直二等分線を正確に描けているか」及び「ＡＢを通る円を正確に描けているか」の２点となる。

指導者が作図問題の解答を採点する場合、これら２点の基準を満たしているかを判断し、例えば、２点の基準を満たしている場合は満点、いずれか１点のみ基準を満たしている場合は配点の５割減点、いずれの基準も満たしていない場合は０点と採点する。この他、２点の基準を完璧ではないがおおよそ満たしている場合は配点の２割減点、いずれか１点の基準をおおよそ満たしている場合は８割減点等としてもよく、その採点は指導者により任意である。

なお、上述した解答ＤＢ３１の記憶形態は一例であり、データ間の関係が維持されていれば、他の記憶形態であってもよい。また、解答ＤＢ３１は、例えばＨＤＤ（Ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録媒体により実現される。

［評価用モデルの構築］
次に、評価用モデルの構築について説明する。評価用モデルの構築（生成）には、学習用データを用いる。学習用データは、評価用モデルの学習において入力される入力データと、当該入力データに対応する正解データとを対応付けたデータである。

本実施形態において、入力データは、所定の作図問題に対する様々な学習者の解答結果画像から構成され、正解データは、解答結果画像の採点結果から構成される。このとき、評価用モデルは、各作図問題に対して１つ構築される。しかし、１つの作図問題に対して１つの評価用モデルを構築することに限定されるものではなく、例えば、作図問題の問題文が「線分ＡＢを直径とする円を作図しなさい。」と「線分ＡＢを直径とする円を作図しましょう。」のように文末表現は異なるが意味は同じである場合、作図問題の問題画像や模範解答画像が類似する場合等には、類似する複数の作図問題に対して１つの評価用モデルを構築してもよい。なお、問題画像や模範解答画像が類似しているか否かは、完全一致による類似度算出方法やＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いた類似度算出方法により類似度を定量化して判断してもよいし、指導者が目視で判断してもよい。ここで、完全一致による類似度算出方法は、例えば、対象となる画像同士のサイズを合わせ、ピクセル間の差分を算出し、差分の総和を類似度とする方法である。ＣＮＮを用いた類似度算出方法は、便宜上、詳細を後述する。

具体的に、解答ＤＢ３１に基づく学習用データの生成について説明する。図８は、解答結果画像を採点結果毎にグループ分けした一例である。サーバ２０は、図８に示すように、採点結果が配点と同じ、即ち満点である解答結果画像を解答ＤＢ３１から取得し、満点グループとする。そして、サーバ２０は、満点グループの解答結果画像に「満点」の正解データを対応付ける。また、サーバ２０は、採点結果が０点である解答結果画像を解答ＤＢ３１から取得し、０点グループとする。そして、サーバ２０は、０点グループの解答結果画像に「０点」の正解データを対応付ける。

また、サーバ２０は、採点結果が配点から２割減点されている解答結果画像を解答ＤＢ３１から取得し、２割減点グループとする。そして、サーバ２０は、２割減点グループの解答結果画像に「２割減点」の正解データを対応付ける。また、サーバ２０は、採点結果が配点から５割減点されている解答結果画像を解答ＤＢ３１から取得し、５割減点グループとする。そして、サーバ２０は、５割減点グループの解答結果画像に「５割減点」の正解データを対応付ける。このように、サーバ２０は、解答ＤＢ３１に基づいて学習用データを生成する。

なお、本実施形態では、説明の便宜上、２割減点グループ及び５割減点グループを併せて減点グループとし、「減点」の正解データを対応付けることとする。このように、満点グループ及び０点グループ以外のグループ分けは任意に設定することができる。

生成した学習用データにより、サーバ２０は、「満点」、「減点」、「０点」の確率を推定するように評価用モデルを学習させる。機械学習の方法としては、例えば、ＣＮＮのディープラーニング等が挙げられる。図９は、評価用モデルの学習を説明する図である。具体的に、サーバ２０は、図９に示すように、満点グループの解答結果画像を入力した場合、満点の確率「１００％」、減点の確率「０％」、０点の確率「０％」と推定するように評価用モデルを学習させる。また、サーバ２０は、減点グループの解答結果画像を入力した場合、満点の確率「０％」、減点の確率「１００％」、０点の確率「０％」と推定するように評価用モデルを学習させる。また、サーバ２０は、０点グループの解答結果画像を入力した場合、満点の確率「０％」、減点の確率「０％」、０点の確率「１００％」と推定するように評価用モデルを学習させる。

なお、本実施形態では、サーバ２０が評価用モデルを構築することとしているが、本発明はこれに限定されるものではなく、評価用モデルの構築は別のサーバ等で行い、サーバ２０は、構築された評価用モデルを記憶していることとしてもよい。

［評価用モデルＤＢ］
次に、評価用モデルＤＢ３２について説明する。評価用モデルＤＢ３２は、評価用モデルに関する情報を記憶している。図１０は、評価用モデルＤＢ３２のデータ構造の一例である。図１０に示すように、評価用モデルＤＢ３２は、評価用モデルを識別するモデルＩＤと、評価用モデルと、モデル構築用データとを対応付けて記憶している。モデル構築用データは、評価用モデルに対応する作図問題に関する情報であって、評価用モデルを学習させるために用いた解答結果データに対応する作図問題に関する情報である。

具体的に、本実施形態では、モデル構築用データを構成する問題文データ、問題画像データ及び模範解答データは、それぞれ作図問題の問題文テキスト、問題画像、模範解答画像である。例えば、図１０に示すように、評価用モデルＤＢ３２は、モデルＩＤ「ＸＸＸ」の評価用モデルに対応付けて、問題文テキスト「線分ＡＢを直径とする円を作図しなさい。」、問題画像３５ａ及び模範解答画像３６ａと、問題文テキスト「線分ＡＢを直径とする円を作図しましょう。」、問題画像３５ｂ及び模範解答画像３６ｂとを記憶している。また、モデルＩＤ「ＸＸＹ」の評価用モデルに対応付けて、問題文テキスト「三角形Ａと相似の関係の三角形を作図しなさい。」、問題画像３７及び模範解答画像３８を記憶している。

なお、上述した評価用モデルＤＢ３２の記憶形態は一例であり、データ間の関係が維持されていれば、他の記憶形態であってもよい。また、評価用モデルＤＢ３２は、例えばＨＤＤ、ＳＳＤ等の記録媒体により実現される。

［サーバの構成］
図１１は、サーバ２０のハードウェア構成を示すブロック図である。サーバ２０は、評価用モデルを用いて対象となる解答結果データの評価情報を取得し、出力するものであって、通信部１１と、制御部１２と、記憶部１３と、記録媒体１４と、表示部１５と、入力部１６とを備える。なお、これらの構成要素と、解答ＤＢ３１と、評価用モデルＤＢ３２とは、バス１９を介して相互に接続されている。

なお、サーバ２０はコンピュータ単体で実行しても良いし、複数のコンピュータで分散して実行しても良いし、仮想マシンで分散して実行しても良い。

通信部１１は、ネットワーク５を通じて学習者用端末９及び指導者用端末１０と通信を行うための通信ユニットである。具体的に、通信部１１は、指導者用端末１０から問題用紙に関する問題用紙情報、解答用紙に関する解答用紙情報及び模範用紙に関する模範用紙情報を受信したり、評価結果画面に関する画面情報を指導者用端末１０へ送信したりする。

制御部１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算処理装置を含み、記憶部１３に記憶されたプログラムを読み出して実行することにより、サーバ２０に係る種々の情報処理、制御処理等を行う。なお、プログラムは、単一のコンピュータ上で、または１つのサイトにおいて配置されるか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。なお、図１１では制御部１２を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

記憶部１３はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリ素子を含み、制御部１２が処理を実行するために必要なプログラム又はデータ等を記憶している。また、記憶部１３は、制御部１２が演算処理を実行するために必要なデータ等を一時的に記憶する。

記録媒体１４は、ディスク状記録媒体、半導体メモリ等の不揮発性で非一時的な記録媒体であり、サーバ２０に対して着脱可能に構成される。記録媒体１４は、制御部１２が実行する各種プログラムを記録している。サーバ２０が評価処理を実行する際には、記録媒体１４に記録されているプログラムが記憶部１３にロードされ、制御部１２により実行される。

表示部１５は、液晶ディスプレイ又は有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等であり、制御部１２の指示に従い各種情報を表示する。入力部１６は、マウス、キーボード、タッチパネル、ボタン等の入力デバイスであり、受け付けた操作情報を制御部１２へ出力する。

なお、本実施形態において、記憶部１３と各種ＤＢは一体の記憶装置として構成されていてもよいし、別々の記憶装置であってもよい。また、各種ＤＢは、サーバ２０に接続された外部記憶装置であってもよく、その構成は任意に設定することができる。

図１２は、サーバ２０の機能構成を示すブロック図である。サーバ２０は、機能的には、解答ＤＢ３１と、評価用モデルＤＢ３２と、入力情報取得部４１と、領域検出部４２と、問題文データ取得部４３と、解答結果データ取得部４４と、問題画像データ取得部４５と、模範解答データ取得部４６と、評価用モデル選択部４７と、評価情報取得部４８と、減点領域情報取得部４９と、評価結果画面作成部５０と、画面出力部５１とを備える。

なお、入力情報取得部４１、領域検出部４２、問題文データ取得部４３、解答結果データ取得部４４、問題画像データ取得部４５、模範解答データ取得部４６、評価用モデル選択部４７、評価情報取得部４８、減点領域情報取得部４９、評価結果画面作成部５０及び画面出力部５１は、制御部１２がプログラムを実行することにより実現される。

入力情報取得部４１は、指導者用端末１０から、評価結果画面の要求と共に入力情報を取得する。入力情報は、問題用紙情報と、解答用紙情報と、模範用紙情報とを含む。具体的に、指導者は、指導者用端末１０を使用し、各学習者の学習者用端末９からそれぞれ各学習者の解答用紙情報を取得する。そして、指導者は、取得した問題用紙情報と、当該問題用紙に対応する解答用紙情報及び模範用紙情報とを入力情報として評価結果画面の要求と共にサーバ２０へ送信する。これにより、サーバ２０は、指導者用端末１０から入力情報を取得する。なお、本実施形態では、指導者用端末１０が入力情報をサーバ２０へ送信することとしているが、本発明はこれに限定されるものではなく、サーバ２０による入力情報の取得方法は任意に設定することができる。

領域検出部４２は、解答用紙情報に基づいて、任意の領域検出方法により、解答用紙に含まれる各領域の位置情報を検出し、対応するラベルを付与する。また、領域検出部４２は、問題用紙情報に基づいて、任意の領域検出方法により、問題用紙に含まれる各領域の位置情報を検出し、対応するラベルを付与する。また、領域検出部４２は、模範用紙情報に基づいて、任意の領域検出方法により、模範用紙に含まれる各領域の位置情報を検出し、対応するラベルを付与する。

問題文データ取得部４３は、解答用紙情報から、解答用紙の作図問題文領域６９を示す位置情報に基づいて、問題文テキストを取得する。問題文データ取得部４３が取得した問題文テキストは、評価用モデルを選択するために用いられる。

解答結果データ取得部４４は、解答用紙情報から、解答用紙の作図解答領域７０ｂを示す位置情報に基づいて、解答結果画像を取得する。解答結果データ取得部４４が取得した解答結果画像は、評価用モデルによる評価の対象となる。

問題画像データ取得部４５は、問題用紙情報から、問題用紙の作図解答領域７０ａを示す位置情報に基づいて、問題画像を取得する。問題画像データ取得部４５が取得した問題画像は、評価用モデルを選択するために用いられる。

模範解答データ取得部４６は、模範用紙情報から、模範用紙の作図解答領域７０ｃを示す位置情報に基づいて、模範解答画像を取得する。模範解答データ取得部４６が取得した模範解答画像は、評価用モデルを選択するために用いられる。

評価用モデル選択部４７は、評価用モデルＤＢ３２に記憶されている複数の評価用モデルから、対象となる解答結果データを評価するために使用する評価用モデルを選択し、取得する。具体的に、評価用モデル選択部４７は、対象となる解答結果データに対応する作図問題に関する情報に基づいて、評価用モデルＤＢ３２から評価用モデルを選択し、取得する。ここで、作図問題に関する情報とは、問題文データ、問題画像データ及び模範解答データである。評価用モデル選択部４７は、問題文類似度算出部５５と、問題画像類似度算出部５６と、模範解答類似度算出部５７とを備える。

問題文類似度算出部５５は、問題文データ取得部４３が取得した問題文テキストと、評価用モデルＤＢ３２が記憶している各評価用モデルの問題文テキストとの類似度を算出する。

テキスト類似度は、特徴量空間上において、近い距離の問題ほど類似度が高く数値は１に近づき、遠い距離の問題ほど類似度は低く数値は０に近づくものである。図１３は、テキスト類似度の算出方法を説明する図である。問題文類似度算出部５５は、図１３に示すように、例えば、類似度算出の対象となる問題文テキスト「線分ＡＢを直径とする円を作図しなさい。」を、「線」、「分」のように１文字ずつテキストとして扱い、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）等、時系列の情報やテキスト情報を処理可能な機械学習の方法を用いることで、当該問題文テキストの特徴量を数値化して抽出する。具体的に、問題文類似度算出部５５は、ＬＳＴＭの入力を「線分ＡＢを直径とする円を作図しなさい。」とし、同じテキストを出力するように学習させる。そして、学習終了後、問題文類似度算出部５５は、ＬＳＴＭの中間層の特徴量を抽出して活用する。同様に、問題文類似度算出部５５は、評価用モデルＤＢ３２に記憶された全ての問題文テキストに基づいて、各評価用モデルを構築した問題文テキストの特徴量を数値化して抽出する。そして、問題文類似度算出部５５は、対象となる問題文テキストの特徴量と、各評価用モデルを構築した問題文テキストの特徴量との差分を類似度として算出する。

問題画像類似度算出部５６は、問題画像データ取得部４５が取得した問題画像と、評価用モデルＤＢ３２が記憶している各評価用モデルの問題画像との類似度を算出する。

例えば、問題画像類似度算出部５６は、完全一致による類似度算出方法を適用し、類似度算出の対象となる問題画像、及び、各評価用モデルを構築した問題画像のサイズを合わせ、ピクセル間の差分を算出し、差分の総和を類似度としてもよい。また、問題画像類似度算出部５６は、ＣＮＮを用いた類似度算出方法を適用してもよい。図１４は、ＣＮＮを用いた類似度算出方法を説明する図である。図１４に示すように、問題画像類似度算出部５６は、類似度算出の対象となる問題画像を特徴量抽出用ＣＮＮに入力し、特徴ベクトルを抽出する。具体的に、問題画像類似度算出部５６は、入力する画像と同じ画像を出力するように特徴量抽出用ＣＮＮを学習させる。そして、学習終了後、問題画像類似度算出部５６は、中間層の値を特徴ベクトルとして抽出し、活用する。同様に、問題画像類似度算出部５６は、各評価用モデルを構築した問題画像を特徴量抽出用ＣＮＮに入力し、特徴ベクトルを抽出する。そして、問題画像類似度算出部５６は、抽出した２つの特徴ベクトル間の差分を算出し、類似度とする。

模範解答類似度算出部５７は、模範解答データ取得部４６が取得した模範解答画像と、評価用モデルＤＢ３２が記憶している各評価用モデルの模範解答画像との類似度を算出する。なお、模範解答画像の類似度算出方法は、問題画像の類似度算出方法と同様のため、便宜上説明は省略する。

評価用モデル選択部４７は、問題文類似度算出部５５、問題画像類似度算出部５６及び模範解答類似度算出部５７がそれぞれ算出した問題文テキスト、問題画像及び模範解答画像の類似度をそれぞれ０～１００に正規化する。具体的に、評価用モデル選択部４７は、算出した類似度の値に対し、一定の値の範囲毎に０～１００を割り当てることで正規化する。この場合、一定の値の範囲や類似度として割り当てる数値は、例えば、正規化前の類似度が「０．０～１０．０」であれば正規化後の類似度が「１００」、正規化前の類似度が「１０．０～２０．０」であれば正規化後の類似度が「９９」のように任意に設定することができる。そして、評価用モデル選択部４７は、問題文テキスト、問題画像及び模範解答画像の正規化後の類似度それぞれに対して閾値を設定し、評価用モデルＤＢ３２に、全ての閾値の条件を満たす評価用モデルが存在するか否かを判定する。

図１５は、類似度に基づく評価用モデルの選択を説明する図である。例えば、問題文テキスト、問題画像及び模範解答画像の正規化後の類似度の閾値を、それぞれ９０％、９５％及び９５％とする。この場合、図１５に示すように、モデルＩＤ「ＸＸＸ」の評価用モデルは、問題文テキスト、問題画像及び模範解答画像の正規化後の類似度が全て閾値以上である。よって、評価用モデル選択部４７は、評価用モデルＤＢ３２から、全ての閾値の条件を満たすものとしてモデルＩＤ「ＸＸＸ」の評価用モデルを選択し、取得する。一方、図１５に示すように、モデルＩＤ「ＸＸＹ」の評価用モデルは、問題文テキスト、問題画像及び模範解答画像の正規化後の類似度が全て閾値未満である。よって、評価用モデル選択部４７は、モデルＩＤ「ＸＸＹ」の評価用モデルは、全ての閾値の条件を満たす評価用モデルではないと判断する。

なお、評価用モデル選択部４７は、問題文テキスト、問題画像及び模範解答画像の正規化後の類似度が全て閾値未満の場合に限らず、正規化後の類似度のうち１つでも閾値未満であれば、解答結果画像を評価する評価用モデルとして選択することはない。

評価情報取得部４８は、評価用モデル選択部４７が選択した評価用モデルを用いて、対象となる解答結果データの評価に関する評価情報を取得する。例えば、評価情報取得部４８は、選択した評価用モデルに、対象となる解答結果データとして解答結果画像を入力し、満点の確率「１００％」、減点の確率「０％」、０点の確率「０％」と出力された評価を評価情報として取得する。このとき、評価情報取得部４８は、解答結果画像を、満点、減点及び０点の中で最も確率の高いものと評価する。よって、この場合、評価情報取得部４８は、解答結果画像を満点と評価する。評価情報は、解答結果画像が満点、減点及び０点となるそれぞれの確率の他に、解答結果画像が満点、減点、０点のいずれに評価されたかを示す評価結果を含んでもよい。

減点領域情報取得部４９は、対象となる解答結果データが減点と評価された場合に、当該評価に影響を与えた領域に関する情報を減点領域情報として取得する。具体的に、減点領域情報取得部４９は、評価用モデルを用いて、入力した解答結果画像から減点と評価された領域（以下、「減点と評価された領域」を「減点領域」ともいう。）を可視化した減点領域画像を作成し、取得する。解答結果画像において減点領域を特定する方法としては、例えば、Ｇｒａｄ－ＣＡＭ等、ＣＮＮを用いた画像分類において出力結果に影響を与えた画像の位置を特定する方法が挙げられる。また、評価用モデルにおいて「減点の確率が高い」と判断された場合に、その判断に影響を与えた画像の位置を特定する方法が挙げられる。図１６は、減点領域画像の一例である。図１６に示すように、これらの方法を適用することで、減点領域情報取得部４９は、減点領域画像を作成し、取得することが実現可能である。

評価結果画面作成部５０は、対象となる解答結果データの評価結果を含む評価結果画面を作成する。図１７は、評価結果画面の一例である。図１７に示すように、評価結果画面は、解答エリア８０と、問題文エリア８１と、学習者エリア８２と、評価結果エリア８３と、減点領域エリア８４と、指導者エリア８５と、変更ボタン８６ａ及び８６ｂと、点数入力エリア８７と、確定ボタン８８とを備える。

解答エリア８０は、評価の対象となる解答結果データである解答結果画像を表示するエリアである。問題文エリア８１は、解答結果画像に対応する作図問題の問題文を表示するエリアである。学習者エリアは、解答結果画像の解答を入力した学習者の氏名等を表示するエリアである。評価結果エリア８３は、解答結果画像の評価結果を表示するエリアである。減点領域エリア８４は、評価結果が減点の場合に、減点領域画像を表示するエリアである。減点領域エリア８４は、評価結果が満点又は０点の場合、何も表示しない。指導者エリア８５は、評価結果画面の要求やログインを行った指導者の氏名等を表示するエリアである。

変更ボタン８６ａ及び８６ｂは、解答エリア８０に表示する解答結果画像を変更するボタンである。例えば、指導者が変更ボタン８６ａを押下すると、解答エリア８０は、現在表示している学習者の前の番号の学習者の解答結果画像を表示する。一方、指導者が変更ボタン８６ｂを押下すると、解答エリア８０は、現在表示している学習者の後の番号の学習者の解答結果画像を表示する。点数入力エリア８７は、指導者が学習者の解答に対する点数を入力するエリアである。指導者は、評価結果や減点領域画像を確認して、学習者の解答に対する点数を入力することができる。確定ボタン８８は、指導者が入力した点数を確定するボタンである。

上記の構成において、サーバ２０の解答結果データ取得部４４、評価用モデル選択部４７、評価情報取得部４８、画面出力部５１及び評価用モデルＤＢ３２は、それぞれ本発明の解答結果データ取得部、評価用モデル選択部、評価情報取得部、出力部及び記憶部の一例である。また、サーバ２０の減点領域情報取得部４９は、本発明の評価情報取得部の一例である。

［評価処理］
次に、評価用モデルを用いて対象となる解答結果データの評価情報を取得し、出力する評価処理について説明する。図１８は、評価処理のフローチャートである。この処理は、サーバ２０が予め用意されたプログラムを実行することにより実現される。

指導者は、指導者用端末１０を使用して入力情報を送信する。サーバ２０は、入力情報を取得すると（ステップＳ１１）、まず、入力情報に含まれる問題用紙情報、解答用紙情報及び模範用紙情報に基づいて、問題用紙、解答用紙及び模範用紙それぞれに含まれる領域を検出する（ステップＳ１２）。そして、サーバ２０は、解答用紙情報から、作図問題文領域６９の問題文テキストと、作図解答領域７０ｂの解答結果画像と、を取得する（ステップＳ１３）。また、サーバ２０は、問題用紙情報から、作図解答領域７０ａの問題画像を取得する（ステップＳ１４）。また、サーバ２０は、模範用紙情報から、作図解答領域７０ｃの模範解答画像を取得する（ステップＳ１５）。

サーバ２０は、対象となる解答結果画像に対応する作図問題に関する情報に基づいて、評価用モデルＤＢ３２から、評価用モデルを選択し、取得する（ステップＳ１６）。具体的に、サーバ２０は、作図問題の問題文テキスト、問題画像及び模範解答画像と、各評価用モデルを構築した問題文テキスト、問題画像及び模範解答画像との類似度をそれぞれ算出する。そして、サーバ２０は、評価用モデルＤＢ３２に、問題文テキスト、問題画像及び模範解答画像それぞれの類似度が全て閾値以上という条件を満たす評価用モデルが存在するか否かを判定する（ステップＳ１７）。条件を満たす評価用モデルが存在しない場合（ステップＳ１７；Ｎｏ）、解答結果画像の評価ができないため、サーバ２０は評価処理を終了する。

一方、条件を満たす評価用モデルが存在する場合（ステップＳ１７；Ｙｅｓ）、サーバ２０は、当該評価用モデルを、解答結果画像を評価するために使用する評価用モデルとして選択し、評価用モデルＤＢ３２から取得する。そして、サーバ２０は、取得した評価用モデルに、対象となる解答結果画像を入力することで、当該解答結果画像の評価を出力させ、評価結果情報を取得する（ステップＳ１８）。このとき、サーバ２０は、解答結果画像の評価結果が減点であるか否かを判定する（ステップＳ１９）。評価結果が減点である場合（ステップＳ１９；Ｙｅｓ）、サーバ２０は、減点領域情報を取得する（ステップＳ２０）。一方、評価結果が満点や０点であって、減点ではない場合（ステップＳ１９；Ｎｏ）、サーバ２０は、ステップＳ２１の処理に進む。そして、サーバ２０は、評価結果情報や減点領域情報に基づいて、評価結果や減点領域画像を含む評価結果画面を作成し、当該評価結果画面に関する画面情報を指導者用端末１０に送信する（ステップＳ２１）。指導者用端末１０が評価結果画面を表示することで、指導者は、学習者の解答結果画像や減点領域情報を容易に確認することができ、作図問題の採点に役立てることができる。これにより、評価処理は終了する。

なお、本実施形態では、問題用紙、解答用紙及び模範用紙をデジタル教材としているが、本発明はこれに限定されるものではなく、紙の教材であってもよい。この場合、問題用紙、解答用紙及び模範用紙はスキャンデータとしてサーバ２０へ送信される。そのため、サーバ２０は、解答用紙のスキャンデータに基づき、作図問題文領域６９の画像をＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）により文字認識することで、作図問題の問題文テキストを取得する。

また、本実施形態では、問題画像及び模範解答画像をそれぞれ問題用紙情報及び模範解答用紙情報から領域検出により取得することとしているが、本発明はこれに限定されるものではなく、解答用紙に予め問題画像及び模範解答画像が紐づいていることとしてもよい。また、予め問題ＤＢに問題を識別する問題ＩＤと、問題文テキストと、問題画像と、模範解答画像とを対応付けて記憶しておき、作図問題の問題文テキストに基づいて問題ＤＢから問題画像及び模範解答画像を抽出することとしてもよい。これによれば、入力情報に問題用紙情報及び模範用紙情報を含めなくてよい。また、問題用紙及び模範用紙の領域検出もしなくてよい。

また、本実施形態では、複数の問題から構成されるテストの解答用紙から領域検出により解答結果画像を取得しているが、本発明はこれに限定されるものではなく、指導者用端末１０から解答結果画像を直接取得してもよい。この場合、解答結果画像に問題ＩＤが紐づいており、問題ＩＤと、問題文テキストと、問題画像と、模範解答画像とを対応付けた問題ＤＢを参照することで、サーバ２０は評価処理を実行することが可能である。

また、本実施形態では、評価結果を「満点」、「減点」、「０点」としているが、例えば、「〇」、「△」、「×」等としてもよい。また、「減点」をさらに細分化し、「２割減点」、「５割減点」、「８割減点」等としてもよい。この場合、評価結果画面において指導者が手動で点数を入力するのではなく、作図問題の配点が事前に分かっていれば、減点の割合によって解答結果画像の点数を自動算出することとしてもよい。

本実施形態の学習支援システム１００は、指導者等に、作図問題の解答の評価結果を分かりやすく提示する。また、評価結果が減点の場合、指導者等に、減点領域を可視化した画像を提示する。これにより、学習支援システム１００は、指導者による評価や採点をアシストすることができる。よって、バリエーションが多い作図問題の解答の評価や採点について、指導者の負荷を軽減することができる。

＜変形例＞
上記の実施形態において、指導者は指導者用端末１０を使用することとしているが、本発明はこれに限定されるものではなく、指導者はサーバ２０の機能を有する指導者用端末９０を使用することとしてもよい。指導者用端末９０は、サーバ２０と同様に、例えば、ＰＣまたは汎用のタブレット等である。

図１９は、この場合の学習支援システム２００の構成例を示す。指導者用端末９０は、解答ＤＢ９１及び評価用モデルＤＢ９２が接続されており、ネットワーク５を介して学習者用端末９と通信可能に構成されている。指導者用端末９０は、サーバ２０が行っていた評価処理を実行し、評価用モデルを用いて対象となる解答結果データの評価情報を取得し、出力することができる。この場合、指導者用端末９０は、本発明の情報処理装置の一例である。

５ ネットワーク
９ 学習者用端末
１０、９０ 指導者用端末
２０ サーバ
３１、９１ 解答ＤＢ
３２、９２ 評価用モデルＤＢ
４１ 入力情報取得部
４２ 領域検出部
４３ 問題文データ取得部
４４ 解答結果データ取得部
４５ 問題画像データ取得部
４６ 模範解答データ取得部
４７ 評価用モデル選択部
４８ 評価情報取得部
４９ 減点領域情報取得部
５０ 評価結果画面作成部
５１ 画面出力部
５５ 問題文類似度算出部
５６ 問題画像類似度算出部
５７ 模範解答類似度算出部
１００、２００ 学習支援システム

Claims (7)

1. 作図問題の解答を解答結果データとして取得する解答結果データ取得部と、
   事前に前記作図問題に対する解答結果データと評価の関係を学習済みの評価用モデルを用いて、対象となる解答結果データの評価に関する評価情報を取得する評価情報取得部と、
   前記評価情報を出力する評価情報出力部と、
   を備える情報処理装置。
2. 複数の作図問題に対応する複数の評価用モデルを記憶する記憶部と、
   対象となる解答結果データに対応する作図問題に関する情報に基づいて、前記記憶部から、前記評価用モデルを選択する評価用モデル選択部を備え、
   前記評価情報取得部は、選択された評価用モデルを用いて評価情報を取得する請求項１に記載の情報処理装置。
3. 前記記憶部は、複数の評価用モデルと、各評価用モデルを構築した作図問題に関する情報とを対応付けて記憶しており、
   前記評価用モデル選択部は、対象となる解答結果データに対応する作図問題に関する情報と、前記評価用モデルを構築した作図問題に関する情報との類似度を算出し、当該類似度が閾値以上の評価用モデルを選択する請求項２に記載の情報処理装置。
4. 前記作図問題に関する情報は、前記作図問題の問題文のテキスト、問題の画像、及び、模範解答の画像に関する情報を含むことを特徴とする請求項３に記載の情報処理装置。
5. 対象となる解答結果データは、満点、減点及び０点のいずれかに評価される請求項１に記載の情報処理装置。
6. 対象となる解答結果データが減点と評価される場合、前記評価情報取得部は、前記評価情報と共に、前記評価に影響を与えた領域の情報を減点領域情報として取得する請求項５に記載の情報処理装置。
7. コンピュータを備える情報処理装置により実行されるプログラムであって、
   作図問題の解答を解答結果データとして取得する解答結果データ取得部、
   事前に前記作図問題に対する解答結果データと評価の関係を学習済みの評価用モデルを用いて、対象となる解答結果データの評価に関する評価情報を取得する評価情報取得部、
   前記評価情報を出力する評価情報出力部、
   として前記コンピュータを機能させるプログラム。