JP7147185B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Description

本発明の技術は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

特許文献１には、答案用紙を画像認識処理して１又は複数の数値情報を抽出し、抽出された前記１又は複数の数値情報のうち最大の値を示す数値情報を前記答案用紙に記載された採点結果と判定する、ことを特徴とする採点結果取得方法が開示されている。

特許文献２には、画像認識処理により、複数の領域からそれぞれ数値を抽出し、抽出した特定の数値と、抽出した他の複数の数値についての所定の演算処理結果との間で、一致性に関する評価を実施する、処理をコンピュータが実行することを特徴とする数値評価方法が開示されている。

特開２０１４－７１４８９号公報 特開２０１７－８４４０９号公報

テスト又は研修などで、学習者の習熟を判断するために、筆記又は口頭等で試験を行なうことがある。このような試験において、近年では、単に最終的な解答を確認するのではなく、解答に至る「思考」、「判断」及び解答の「表現」等を評価するパフォーマンス評価が注目されている。このような試験で出題される問題は、「総合思考力問題」と呼ばれる。

総合思考力問題は、上記のような「思考」、「判断」及び「表現」等を確認するための試験なので、答案の形式として自由記述が多くなり、答案における説明の順及び答案の記載場所等が、答案毎に異なるケースが存在する。自由記述を公平に評価するために、出題者は、学習習熟度を示す評価基準を観点及び配点（レベル）からなる表として表した評価基準表を用いる場合がある。

毎年、同じ又は類似の問題が繰り返し出題される場合であれば、同じ評価基準表を毎年流用することが考えられる。しかし、総合思考力問題においては、年、時代、環境又は定説の変化によって、観点及び配点に関する評価の考え方も変わり得る。また、採点中の答案から、新たな観点について気づきが得られ、評価の考え方が変わる場合もあり得る。

本発明は、評価基準の変化に対応できる情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。

請求項１記載の発明は、答案を評価するための複数の評価観点と、前記複数の評価観点の各々に対応する配点とを表す評価基準を提示する提示部と、前記評価基準の編集を受け付けた場合、前記評価基準を更新する更新部と、設問の類似度に基づいて前記評価基準に関連する別の評価基準をデータベースから検索する検索部と、を有し、前記提示部は、前記検索部により検索された前記別の評価基準も提示する情報処理装置である。

請求項２記載の発明においては、前記提示部により提示された前記評価基準から、答案の評価として採用する評価観点及び配点の選択を受け付け、選択された評価観点及び配点に対応する得点により採点する採点部を更に有する。

請求項３記載の発明においては、前記更新部により前記評価基準を更新した場合であって、更新前の評価基準を用いて採点された採点済答案がある場合、前記採点部は、更新後の評価基準により、前記採点済答案を採点し直す。

請求項４記載の発明においては、前記採点部により前記更新後の評価基準を用いて前記採点済答案が採点し直された場合、前記提示部は、前記更新前の評価基準による採点結果と、前記更新後の評価基準による採点結果とを提示する。

請求項５記載の発明においては、前記検索部は、前記別の評価基準と共に、当該別の評価基準を用いて採点された別の答案の採点結果も前記データベースから検索し、前記提示部は、前記別の評価基準と共に、前記別の答案の採点結果を提示する。

請求項６記載の発明においては、答案の一部または全部を、別の答案の採点時または採点後に参照可能に登録する登録部を更に有する。

請求項７記載の発明においては、前記答案および採点結果が記入された答案用紙の画像データを取得する取得部と、前記取得部により取得された前記画像データから、前記採点結果として採用されている前記評価基準の評価観点及び配点を推定する推定部と、を更に有し、前記提示部は、前記推定部により推定された評価観点及び配点に基づく得点を提示する。

請求項８記載の発明においては、前記提示部は、前記答案用紙から切り出した得点に関する画像と、前記推定部により推定した前記得点とを比較可能に提示する。

請求項９記載の発明においては、前記取得部は、同じ前記答案に対して各々異なる採点結果が記入された複数の答案用紙の画像データを取得し、前記提示部は、前記複数の答案用紙の画像データに基づいて前記推定部により推定された複数の得点を比較可能に提示する。

請求項１０記載の発明は、答案を評価するための複数の評価観点と、前記複数の評価観点の各々に対応する配点とを表す評価基準を提示する提示ステップと、前記提示ステップにおいて提示された前記評価基準から、答案の評価として採用する評価観点及び配点の選択を受け付け、選択された評価観点及び配点に対応する得点により採点する採点ステップと、前記評価基準の編集を受け付け可能な編集受付ステップと、前記編集受付ステップにおいて編集を受け付けた場合、前記採点ステップにおける採点に反映させるために、前記評価基準を更新する更新ステップと、を有する情報処理方法である。

請求項１１記載の発明は、答案を評価するため0の複数の評価観点と、前記複数の評価観点の各々に対応する配点とを表す評価基準を提示する提示ステップと、前記提示ステップにおいて提示された前記評価基準から、答案の評価として採用する評価観点及び配点の選択を受け付け、選択された評価観点及び配点に対応する得点により採点する採点ステップと、前記評価基準の編集を受け付け可能な編集受付ステップと、前記編集受付ステップにおいて編集を受け付けた場合、前記採点ステップにおける採点に反映させるために、前記評価基準を更新する更新ステップと、をコンピュータに実行させる情報処理プログラムである。

請求項１、１０、１１記載の発明によれば、評価基準の変化に対応できる。
また、請求項１、１０、１１記載の発明によれば、採点時に今回の評価基準とは別の評価基準を参考にできる。

請求項２記載の発明によれば、評価基準を用いて採点できる。

請求項３記載の発明によれば、更新後の評価基準を採点済答案に反映できる。

請求項４記載の発明によれば、評価基準の更新前後の採点結果を採点者が見比べられる。

請求項５記載の発明によれば、別の評価基準に基づく別の答案の採点結果を参考にできる。

請求項６記載の発明によれば、採点中の気づき等を登録して、採点時または採点後に参照可能にできる。

請求項７記載の発明によれば、採点済の答案用紙の画像データから、評価基準のどの事象（評価観点及び配点）が採択されたか推定できる。

請求項８記載の発明によれば、答案用紙に記入された得点と、推定部により推定した事象に対応する得点とに違いがないか確認できる。

請求項９記載の発明によれば、複数の採点者が同じ答案用紙を採点した採点結果の比較を可能にする。

本発明の技術の実施形態に係る情報処理システムの概略構成を示す図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。 情報処理装置の機能構成の例を示すブロック図である。 評価基準表の一例を示す図である。 情報処理装置による情報処理の流れを示すフローチャートである。 採点者端末に表示される画面の一例を示す図である。 評価基準の更新に伴う再採点の結果を示す画面の一例を示す図である。 評価基準の更新前後の答案用紙を並べて示す画面の一例を示す図である。 他の事例を表示する画面の一例を示す図である。 自由欄が設けられた画面の一例を示す図である。 自由ボードを表示する画面の一例を示す図である。 追加形態３における情報処理装置の使用態様を示す図である。 採点結果と評価基準との関連付けを示す画面の一例を示す図である。 採点結果と関連付けられた評価基準に基づく採点結果と、手書きの採点結果とを対比により示す画面の一例を示す図である。 追加形態４における情報処理装置の使用態様を示す図である。 複数の採点者による採点結果を対比により示す画面の一例を示す図である。 複数の採点者の採点結果の詳細を対比により示す画面の一例を示す図である。 他の評価基準表の例を示す図である。

以下、本発明の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素および部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

図１は、本発明の技術の実施形態に係る情報処理システムの概略構成を示す図である。

図１に示すように、情報処理システム１は、画像取得装置１０、情報処理装置２０、採点者端末３０、及び受験者端末４０を有する。

画像取得装置１０は、受験者が解答した答案用紙５０の画像を取得する装置である。画像取得装置１０は、例えば、答案用紙５０をスキャンすることにより、答案用紙の画像データを取得する。画像取得装置１０は、例えば、スキャン、プリント及び複写等の機能を実行できる複合機であっても良いし、スキャン機能だけを備えた装置であっても良い。或いは、画像取得装置１０は、答案用紙５０を撮像するカメラ等の撮像機器であってもよい。画像取得装置１０は、読み取った画像データから文字を抽出及び認識する、光学的文字認識機能（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ／Ｒｅａｄｅｒ）を備えても良い。

情報処理装置２０は、答案用紙５０の採点を支援するための装置である。情報処理装置２０は、画像取得装置１０から答案用紙５０の画像データを取得し、採点者の採点に必要な情報と共に答案用紙５０の画像を採点者端末３０で閲覧可能とする。情報処理装置２０の詳細な説明については、後述する。

採点者端末３０は、採点者が使用する端末であり、情報処理装置２０と情報の送受信が可能な装置である。例えば、採点者には固有のユーザＩＤ及びパスワードが事前に割り当てられており、採点者が採点者端末でユーザＩＤ及びパスワードを入力することによって、情報処理装置２０が採点者端末３０によるアクセスを許可する。採点者は、採点者端末３０において、情報処理装置２０からの情報を参考にして、採点を行なう。

受験者端末４０は、答案用紙５０に答案を行なった受験者が使用する端末である。情報処理装置２０が採点結果を受験者端末４０に送信することにより、受験者は採点結果を確認できる。

次に、情報処理装置２０のハードウェア構成について説明する。

図２は、情報処理装置のハードウェア構成の一例を示すブロック図である。

図２に示すように、情報処理装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３、ストレージ２４、入力部２５、表示部２６及び通信インタフェース２７の各構成を有する。各構成は、バス２９を介して相互に通信可能に接続されている。

ＣＰＵ２１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２１は、ＲＯＭ２２またはストレージ２４からプログラムを読み出し、ＲＡＭ２３を作業領域としてプログラムを実行する。ＣＰＵ２１は、ＲＯＭ２２またはストレージ２４に記録されているプログラムにしたがって、上記各構成の制御および各種の演算処理を行う。本実施形態では、ＲＯＭ２２またはストレージ２４には、採点を支援する情報処理プログラムが格納されている。

ＲＯＭ２２は、各種プログラムおよび各種データを格納する。ＲＡＭ２３は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ２４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。

入力部２５は、マウス等のポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。

表示部２６は、たとえば、液晶ディスプレイであり、各種の情報を表示する。表示部２６は、タッチパネル方式を採用して、入力部２５として機能しても良い。

通信インタフェース２７は、画像取得装置１０、採点者端末３０、及び受験者端末４０等の他の機器と通信するためのインタフェースであり、たとえば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

次に、情報処理装置２０の機能構成について説明する。

図３は、情報処理装置の機能構成の例を示すブロック図である。図４は、評価基準表の一例を示す図である。

図３に示すように、情報処理装置２０は、機能構成として、取得部２０１、提示部２０２、採点部２０３、編集受付部２０４、検索部２０５、更新部２０６、推定部２０７及び登録部２０８を有する。各機能構成は、ＣＰＵ２１がＲＯＭ２２又はストレージ２４に記憶された情報処理プログラムを読み出し、ＲＡＭ２３に展開して実行することにより実現される。

取得部２０１は、答案用紙５０の画像データを取得する。画像取得装置１０において、答案用紙５０中に記載された文字が認識されている場合、取得部２０１は、文字データも一緒に取得する。

提示部２０２は、答案を評価するための評価観点と、評価観点に対応する配点とを表す評価基準を提示する。以下では、提示部２０２は、特に、答案を評価するための複数の評価観点と、複数の評価観点の各々に対応する配点とを表す複数の評価基準が集合した表として、評価基準を提示する場合について説明する。複数の評価基準が集合した表を、評価基準表と呼ぶ。なお、評価基準は、以下で説明する表の形式で必ずしも提示されなくても良い。すなわち、提示部２０２は、一つの評価観点と一つの配点に対応する評価基準を提示してもよい。また、提示部２０２による評価基準の提示は、ディスプレイへの表示だけでなく、音声により行なわれても良い。

評価基準表は、答案を評価するための複数の評価観点を配列した第１配列と、複数段階の配点を配列した第２配列とを備え、評価端点と配点との組合せに対応する評価基準が定められた表である。提示部２０２は、例えば、採点者端末３０が備えるディスプレイに評価基準表を表示させ、採点者端末３０において採点者が評価基準表を利用できるようにする。評価基準表は、例えば図４に示す評価基準表６００のように、配点の基準を示す配列６０１（第２配列）の項目と、採点の評価観点を示す配列６０２（第１配列）の項目とによるマトリクスとして表される表である。配点の基準を示す配列６０１には、例えば、配点の大きい順に、配点の値と、当該配点とする基準の説明とが示される。評価観点を示す配列６０２には、例えば、「自発性」、「表現力」及び「基本的知識」等の評価観点の概念を示す見出しと、評価観点の説明とが示される。各評価観点には、採点時の寄与率（％）が与えられる。これにより、評価観点の重要度に応じた重みが設けられる。配列６０１の各項目と配列６０２の各項目との組合せにより定まる各事象６０３には、評価基準６０４が示される。評価基準は、例えば、「教科書意見ではなくオリジナルの客観的な意見としてまとまっている」等、答案に要求される具体的な基準を示す。なお、図４中の例では、５行×３列＝２０個の事象６０３があるが、参照番号６０３は、一つの事象にだけ付し、残りの事象に対する参照番号６０３の付与は省略している。採点者は、各事象６０３の評価基準６０４を、答案用紙の答案と突き合わせて、答案がどの評価基準６０４を満たすかを選択する。答案に対する評価基準６０４が選択される際には、例えば、評価基準６０４が定められた事象６０３が選択（クリック）される。選択された事象の配点（０～１００点）と寄与率（０％より大きく１００％以下）の積により、答案の得点が決まる。図４は、あくまで評価基準表６００の例であり、本実施形態は図４に限定されるものではない。「思考」、「判断」、及び「表現」等のパフォーマンスを評価するような、いわゆる総合思考力問題において、答案を評価するために適している限り、評価基準表はいかなるものであってもよい。また、配点は、具体的な数値ではなく、アルファベット等により表されるレベルで合っても良い。

採点部２０３は、提示部２０２により提示された評価基準表６００から、答案の評価として採用する評価基準６０４の評価観点及び配点の選択を受け付け、選択された評価観点及び配点に対応する得点により採点する。具体的には、採点部２０３は、評価観点及び配点の選択として、評価基準表６００の事象６０３の選択を受け付け、選択された事象６０３に対応する評価観点及び配点の組合せを特定し、特定した配点に評価観点の寄与率を乗算して得点を得る。例えば、採点者が図４に示すような評価基準表６００を参照しつつ、答案用紙の答案が該当する評価基準６０４が含まれる事象６０３を選択する。採点者が事象６０３を選択すれば、選択された事象６０３に対応する評価観点及び配点の両方が選択されたことになる。選択された配点に評価観点の寄与率を乗算することにより、得点が決定される。採点部２０３は、このように決定される得点を集計する。以下では、選択された評価基準６０４に対応する評価観点の寄与率及び配点に基づく得点のことを、単に、選択された評価基準６０４に対応する得点、または、選択された事象６０３に対応する得点という。

編集受付部２０４は、評価基準表６００の評価基準６０４の編集を受け付け可能とする。編集受付部２０４は、例えば、採点者が採点者端末３０において採点中に、ディスプレイに表示された評価基準表６００に対して、直接編集することを許容する。編集は、例えば、採点者端末３０が備えるマウス及びキーボード等の入力装置により指示される。評価基準の編集とは、例えば、図４において、点線で囲む評価基準６０４を、矢印で示すように、別の事象６０３に移動することである。このように、評価基準６０４が属する事象６０３を変更すると、当該評価基準６０４に対する配点が変わる。また、編集受付部２０４は、事象６０３に、新たな評価基準６０４を追加したり、既存の評価基準６０４を削除したりすることも受け付ける。編集受付部２０４は、図４の１００点、８０点などの具体的な配点の数値の編集、自発性などの評価観点の概念の組合せの編集、及び、４０％等の評価観点の寄与率の数値の編集を受け付けても良い。すなわち、編集受付部２０４は、評価基準表６００に関するあらゆる編集を受付可能である。

検索部２０５は、提示部２０２が提示する評価基準６０４に類似または関連する別の評価基準６０４をデータベースから検索する。なお、検索部２０５は、提示部２０２が提示する評価基準表６００に類似または関連する別の評価基準表６００をデータベースから検索しても良い。例えば、採点者が答案用紙を採点する際に、過去に使用された評価基準表又は他校で使用された評価基準表を参考にしたい場合に、検索部２０５がデータベースから類似又は関連する評価基準表を検索する。データベースは、情報処理装置２０が保有していても良いし、外部サーバー等に保有されていても良い。また、評価基準表の類似は、例えば、評価基準表に含まれる自然文の一致率により判断される。検索部２０５は、自然文の一致率が高い程、類似度が高いと判断する。或いは、評価基準表６００に、総合思考力問題の設問の情報が含まれる場合、検索部２０５は、設問の類似度に基づいて、評価基準表６００間の関連性を判断できる。例えば、今回採点に使用している評価基準表６００に、設問「地域の八百屋について説明する」の情報が含まれる場合、設問「地域の魚屋について説明する」の情報を含む評価基準表を、検索部２０５は、関連する評価基準表と判断する。「地域の店について説明する」という概念で、設問同士が類似するからである。或いは、評価基準表６００に、分類のための記号、数字又は文字等が付与されている場合、検索部２０５は、記号等が一致する評価基準表を関連する評価基準表と判断できる。なお、評価基準表の類似度の判断については、既知の自然文検索の技術が応用でき、上記に限定されず、いかなる基準により判断されても良い。

更新部２０６は、編集受付部２０４において編集を受け付けた場合、採点部２０３による採点に反映させるために、評価基準表６００を更新する。評価基準表６００の更新は、例えば、マスタデータとして情報処理装置２０のストレージ２４に記憶されている評価基準表６００を更新することである。評価基準表６００を更新することにより、既に採点し終わった採点済答案について、更新後の評価基準表６００による再採点が可能となる。

推定部２０７は、取得部２０１において取得した答案用紙５０の画像データが手書き等で採点済の答案用紙５０の画像データである場合、画像データから、採点結果が得られた採点の際に選択された評価基準表６００の事象６０３を推定する。例えば、推定部２０７は、画像データから、採点者が答案に記入した得点及び記号の画像を最初に認識する。ここで、記号は、特定の評価観点に関連付けられている。従って、推定部２０７は、認識した記号から、対応する評価観点を特定する。更に、推定部２０７は、特定した評価観点及び答案に記入された得点から、評価基準表のどの事象が採択されたか特定する。例えば、特定された評価観点が「自発性」であり、答案に記入された得点が「３２点」だった場合、図４に示す評価基準表６００を参照すると、評価観点及び得点の両者を満たす配点は「８０点」であると推定できる。従って、推定部２０７は、評価観点「自発性」及び配点「８０点」の組合せにより定まる事象６０３が選択された、すなわち、当該事象６０３に属する評価基準６０４が採用されたと推定できる。このようにして、推定部２０７は、採用された評価基準を推定する。

登録部２０８は、答案用紙５０の画像データから、答案の一部または全部を、別の答案の採点時または採点後に参照可能に登録する。登録部２０８は、採点者が自由にデータを登録できる自由欄を設け、当該自由ボード上に、採点者が自由に答案の一部の画像を貼り付けたり、貼り付けた画像を並び替えたり、文字を入力したりできるようにする。

次に、情報処理装置２０の作用について説明する。

図５は、情報処理装置による情報処理の流れを示すフローチャートである。ＣＰＵ２１がＲＯＭ２２またはストレージ２４から情報処理プログラムを読み出し、ＲＡＭ２３に展開して実行することにより、情報処理が行なわれる。図６は、採点者端末に表示される画面の一例を示す図である。図７は、評価基準表の更新に伴う再採点の結果を示す画面の一例を示す図である。図８は、評価基準表の更新前後の答案用紙を並べて示す画面の一例を示す図である。

ＣＰＵ２１は、提示部２０２として、採点対象である答案用紙の画像、及び答案用紙の出題の採点用の評価基準６０４を評価基準表６００として表示させる（ステップＳ１０１）。例えば、図６に示すように、答案用紙の画像７００および評価基準表６００は、採点者端末３０のディスプレイ上で並べて表示される。今回の採点に必要な評価基準表６００は、例えば、採点者の選択により決定される。或いは、ＣＰＵ２１が、答案用紙の設問をキーワードとして、対応または関連する評価基準表６００を決定してもよい。ＣＰＵ２１は、初期値として、ｎに１、Ｎに答案用紙の枚数を入力する（ステップＳ１０２）。

ＣＰＵ２１は、採点部２０３として、採点者による採点を受け付ける（ステップＳ１０３）。採点者による採点は、例えば、図６に示す画面において、答案に合った評価観点を示す適切な事象６０３を評価基準表６００から選択することにより行なわれる。選択された事象６０３は、例えば、太枠６０５で強調されて表示される。強調して表示される事象６０３から寄与率と配点の乗算により得点が計算され、選択された事象の得点の合計が採点結果となる。採点を受け付ける際、ＣＰＵ２１は、編集受付部２０４として、評価基準表６００の編集も受け付ける。採点の受付は、画面の「登録」ボタン８０１がクリック等により選択されることで完了する。

採点が完了すると、ＣＰＵ２１は、採点において評価基準表６００の評価基準６０４に編集が有ったか無かったか判断する（ステップＳ１０４）。評価基準表６００に編集が無い場合（ステップＳ１０４：ＮＯ）、ＣＰＵ２１は、ステップＳ１１４の処理に進む。評価基準表６００に編集が有る場合（ステップＳ１０４：ＹＥＳ）、ＣＰＵ２１は、検索部２０５として、今回の採点に使用した評価基準表６００に類似又は関連する評価基準表を内部または外部のデータベースから検索する（ステップＳ１０５）。

ＣＰＵ２１は、採点に用いている評価基準表６００の編集に関わる箇所を、検索により得た評価基準表と比較する（ステップＳ１０６）。例えば、評価基準表６００の編集として、新たな評価基準６０４がいずれかの事象６０３に追加された場合、ＣＰＵ２１は、追加された新たな評価基準６０４が、他の評価基準表に既存の評価基準と一致又は類似するかを比較する。一致又は類似する場合は、ＣＰＵ２１は、追加された評価基準の確からしさ、すなわち評価基準表の編集の確度が高いと判断する。なお、評価基準の一致又は類似は、新たな評価基準を構成する文字と既存の評価観点を構成する文字との一致率により判断できる。構成する文字の一致率が、例えば、８０％以上の場合、ＣＰＵ２１は、新たな評価基準が既存の評価基準と類似すると判断する。なお、８０％はあくまで例示であり、８０％の代わりにいかなる閾値が設定されてもよい。或いは、評価基準表６００の編集として、図４の矢印で示すように評価基準６０４が配点８０点に対応する事象から１００点に対応する事象に変更（移動）された場合、ＣＰＵ２１は、別の評価基準表の１００点に対応する事象に、同一または類似の既存の評価基準があるか判断する。同一または類似の既存の評価基準があれば、ＣＰＵ２１は、評価基準表の編集の確度が高いと判断する。

ＣＰＵ２１は、ステップＳ１０６において評価基準表６００の編集の確度が高いと判断したか否か判断する（ステップＳ１０７）。確度が高いと判断しなかった場合（ステップＳ１０８：ＮＯ）、ＣＰＵ２１は、採点者に編集の意思を確認する（ステップＳ１０８）。例えば、ＣＰＵ２１は、採点者端末３０のディスプレイに、「評価基準の編集を確定しても良いですか？確定した場合、採点済の他の答案にも変更が反映されます」等のメッセージを表示し、「はい（肯定）」または「いいえ（否定）」を採点者に選択させる。

採点者が評価基準表６００の編集を否定する場合（ステップＳ１０９：ＮＯ）、ＣＰＵ２１は、採点者に評価基準６０４の編集を見直すように、要請する（ステップＳ１１０）。例えば、ＣＰＵ２１は、「評価基準が編集前に戻りました。再度採点して下さい」等のメッセージを表示し、ステップＳ１０３の処理に戻る。採点者が評価基準の編集を肯定する場合（ステップＳ１０９：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１１１の処理に進む。

ＣＰＵ２１は、評価基準６０４のマスタデータ、すなわち、評価基準６０４の集合である評価基準表６０４のマスタデータを更新する（ステップＳ１１１）。ＣＰＵ２１は、更新した評価基準表６００のマスタデータを、既に採点し終わった答案に適用して、再採点を行い（ステップＳ１１２）、再採点の結果を表示する（ステップＳ１１３）。再採点の結果は、例えば、図７に示すように、採点者端末３０のディスプレイに表示される。図７に示す画面例では、「一次採点」の列には、更新前の評価基準表６００に基づく採点結果が示され、「採点」の列には、更新後の評価基準表６００に基づく採点結果が示される。図７では、評価基準表６００の更新に伴い、Ｎｏ．５の生徒（受験者）の採点結果が変わったことを示す。表で任意の生徒が選択されると、太枠８０２のように強調して表示される。生徒が選択される場合に、一次採点時の評価コメント８０３及び更新後の評価基準表６００に基づく採点時の評価コメント８０４を並べて表示してもよい。さらに、太枠８０２で囲まれた生徒が選択されると、図８に示す画面に遷移し、選択された生徒の答案用紙が、評価基準表６００の更新前後で並べて表示されてもよい。ここでは、評価基準表６００の更新前後で、評価基準又は配点がどのように変化したかが明示される。例えば、変更に関わる部分が点線の枠で囲んで示されたり、他の文字と異なる色で表されたりする。

ＣＰＵ２１は、ｎ＝Ｎであるか否か、すなわち、全答案について採点が済んだか否かを判断する（ステップＳ１１４）。全答案について採点が済んでいない場合（ステップＳ１１４：ＮＯ）、ＣＰＵ２１は、ｎを１だけインクリメントして（ステップＳ１１５）、ステップＳ１０３の処理に戻る。

全答案について採点が済んでいる場合（ステップＳ１１４：ＹＥＳ）、ＣＰＵ２１は、初期採点と最終採点を対比して表示する（ステップＳ１１６）。ステップＳ１１３においては、評価基準表６００の更新がある度に、更新前後の採点結果の違いを表示している。一方、ステップＳ１１６においては、評価基準表６００の更新前後に関わらず、更新が複数回有った場合でも、初めての採点時の採点結果と、最終的な更新の後の採点結果とを対比表示する。表示する画面は、図７の画面と類似するので、図示は省略する。

情報処理装置２０は、上記の実施形態に限定されない。情報処理装置２０に対して、種々の改良や変更を追加できる。以下では、情報処理装置２０の追加形態について、説明する。

（追加形態１）
図６を再度参照しつつ、追加形態１を説明する。

追加形態１においては、情報処理装置２０は、答案の一部と評価基準表６００の事象６０３（或いは、評価基準６０４）とをそれぞれ選択することを採点者に許容し、採点者に選択された選択部分を事象６０３（或いは、評価基準６０４）に関連付ける。これにより、採用した事象６０３に対する答案中の根拠が関連づけられる。例えば、情報処理装置２０は、図６に枠７０１で囲んで示す選択部分を、太枠６０５により囲まれる事象６０３と関連付けて記憶する。関連付けにより、例えば、太枠６０５の事象がクリックされると、対応する答案の一部が枠７０１により囲まれて明示的に表示される。逆に、枠７０１の範囲内をクリックすると、対応する事象６０３が太枠６０５の色の変化等によって強調表示されてもよい。

また、情報処理装置２０は、答案用紙の画像７００上に採点者がコメントを付与することを許容する。コメントは、例えば、付箋７０２、７０３のように、答案用紙の画像７００上に付与される。付箋７０２、７０３は、答案の全体に関連付けたり、答案の一部に関連付けたりできる。例えば、付箋７０２は、図を用いた説明に関する評価として、図の部分に関連付けられる。この際、採点者は、付箋７０２に関連付ける範囲をマウス等で選択可能である。

また、情報処理装置２０は、答案用紙の設問に関する過去の事例（テスト等）や、他の地域（他校）での事例を一覧として、一覧表７０４を提示する。一覧表７０４に表れる事例は、検索部２０５としてストレージ２４内のデータベースまたは外部のデータベースから検索される。このとき、検索部２０５は、例えば、設問の類似性に基づいて関連する過去の事例を検索可能である。より具体的には、今回の答案用紙の設問に含まれる自然文を、データベース内の事例に含まれる自然文と比較し、一致率が高い順に、事例の見出しが一覧表７０４に表示される。検索部２０５はフィルタリング機能を備え、例えば、時期（期間）、地域、自校を含めるか否か等の条件に従って、検索する範囲を設定しても良い。事例の見出しはクリック等により選択可能であり、いずれかの事例が選択されると、その事例の詳細が図９のように示される。

図９は、他の事例を表示する画面の一例を示す図である。

図９に示すように、画面の右下には、図６において選択された事例７０５が表示される。事例７０５は、例えば、過去の事例における解答用紙の一つである。過去の事例に含まれる全ての解答用紙を、ページ送り等により参照可能としても良いし、サンプルとして、一つだけ参照可能としても良い。事例７０５には、採点時の採点者のコメント等も表示される。

また、事例７０５の表示の上方には、今回の採点に関する評価基準表６００に代えて、過去の事例における評価基準表６１０が表示されても良い。この場合、評価基準表６１０において、事例７０５において採用された評価基準が強調表示される。採点者は、過去の事例において、本人又は別人が採用した評価基準を参考にできる。

（追加形態２）
追加形態２においては、情報処理装置２０は、登録部２０８として、答案用紙５０の画像データから答案の一部または全部を、別の答案の採点時または採点後に参照可能に登録する。情報処理装置２０は、採点者が自由にメモ書き等を残すことを許容する。

図１０は、自由欄が設けられた画面の一例を示す図である。図１１は、自由ボードを表示する画面の一例を示す図である。

情報処理装置２０は、図１０に示すように、答案用紙の画像７００の隣に、採点者が自由にメモ書き等を残せる自由欄８１０を設けうる。自由欄８１０には、例えば、答案用紙における答案の一部の画像７１０～７１２を切り抜いて、貼り付けられる。また、切り抜いた答案の一部の画像７１０～７１２に関連付けて、採点者のコメント８１１等を記入することもできる。自由欄８１０は、どの答案を採点しているときにも自由に参照可能である。

また、自由欄８１０には、選択したときにだけ大きく表示できる自由ボード８２０も用意されている。自由ボード８２０がクリック等により選択されると、情報処理装置２０は、図１１に示すように、自由ボード８２０を拡大して画面を表示させる。自由ボード８２０には、答案の画像から切り取った答案の一部の画像を自由に貼り付けたり、貼り付けた画像同士をグループ化したりできる。図１１に示す例では、採点者が採点中に得た気づきに関する画像、及び答案に記載されていた良い解答の画像がグループ化されている。自由ボード８２０には、答案から切り出した画像以外にも、テキスト情報、図形情報、写真情報、音声情報、動画情報などいかなる情報も追加可能である。また、追加した情報は、自由に削除可能である。

（追加形態３）
追加形態３においては、情報処理装置２０は、取得部２０１として、手書き等で採点された答案用紙５０の画像データを取得し、推定部２０７として、画像データから、採点結果として採用されている評価基準表６００の事象６０３を推定する。更に、情報処理装置２０は、手書きでされた採点結果と、評価基準表６００の事象６０３とを関連づける。

図１２は、追加形態３における情報処理装置の使用態様を示す図である。図１３は、採点結果と評価基準表との関連付けを示す画面の一例を示す図である。図１４は、採点結果と関連付けられた評価基準表に基づく採点結果と、手書きの採点結果とを対比により示す画面の一例を示す図である。

図１２に示すように、追加形態３では、採点者Ａは、まず手書きで、答案用紙５０に採点する。採点された答案用紙５０は、画像取得装置１０により画像データに変換され、情報処理装置２０に取得される。

情報処理装置２０は、図１３に示すような画面を、採点者Ａの採点者端末３０に表示させる。ここで、採点者Ａが手書きで採点する際には、評価基準表６００で採用した評価基準の根拠となる答案用紙５０上の箇所を枠で囲ったり、下線を付したりしているものとする。以下では、根拠となる答案用紙５０上の箇所が矩形に囲まれている例について説明する。

図１３に示すように、答案用紙の画像７００には、手書きで矩形に囲まれた領域７２０～７２２がある。情報処理装置２０は、矩形の領域７２０～７２２を認識し、さらに、領域７２０～７２２内の得点を認識する。例えば、領域７２０から５０点、領域７２１から３０点、領域７２２から２０点の得点が認識される。得点の認識精度を高めるために、得点も手書きの段階で矩形等で予め囲まれていても良い。更に、情報処理装置２０は、矩形の領域７２０～７２２が評価基準表６００のどの評価観点に関連するか特定する。この特定のためには、例えば、手書きの段階で、領域７２０～７２２に関連する評価観点を示す記号が、領域７２０～７２２にそれぞれ付される。情報処理装置２０は、記号を認識することにより、領域７２０～７２２が評価基準表６００のどの評価観点（列）に基づいて採点されているかを特定する。情報処理装置２０は、上記の認識した得点として採点されるには、評価基準表６００において、配点が何点であるかを逆算し、逆算により得た配点と特定した評価観点との組合せにより定まる事象６０３を推定する。

以上のようにして、答案用紙５０の画像データから、領域７２０～７２２毎に採点に採用された評価基準表６００の事象６０３が推定される。情報処理装置２０は、推定された事象６０３により、領域７２０～７２２毎の採点結果を計算する。更に、情報処理装置２０は、上記の推定結果に基づいて、図１３に両矢印で示すように、領域７２０～７２２とその採点に採用された事象とを関連付ける。

更に、情報処理装置２０は、図１４に示す画面を表示させる。図１４に示す画面では、答案用紙の画像７００から切り出された得点の画像７３０と、上記関連付けの結果として情報処理装置２０が計算した採点結果７３１とを並べて表示する。得点の画像７３０と、情報処理装置２０の採点結果７３１が同じであることにより、上記の領域７２０～７２２に対する評価観点の関連付けの整合が確認される。

また、情報処理装置２０は、図５に示す情報処理に従って、手書きの採点結果とは異なる採点を受け付けてもよい。この場合、図１３に示す画面の評価基準表６００において、領域７２０～７２２に関連付けられた事象６０３とは別の事象６０３を、採点者が改めて選択し、領域７２０～７２２に関連付ける。手書き採点時とは採点者Ａの考えが変わった場合に対応可能となる。このように、手書き採点時と、情報処理装置２０上での採点が異なる場合、図１４に示す注意喚起マーク７２３が生徒の表示に加えられる。例えば、手書き採点時には９０点だったが、情報処理により８０点の再採点をした場合、図１４のＮｏ．５の生徒のように、得点の画像７３０と、採点結果７３１とが異なる点数として示される。なお、図５に示す採点支援処理に従って、手書きの採点結果とは異なる採点を受け付ける場合、採点者Ａとは別の採点者Ｂから採点を受け付けても良い。

また、得点を示す数字または評価観点を示す記号が情報処理装置２０に認識できる程度に鮮明に記載されていないなどの理由により、得点の認識または評価観点の概念を示す記号の認識ができない場合がある。このような場合、情報処理装置２０は、領域７２０～７２２に対する評価観点の関連付けが行なえない。情報処理装置２０は、関連付けが行なわれていない答案用紙の画像７００の生徒がわかるように、注意喚起マーク７２３を付してもよい。

（追加形態４）
追加形態４においては、情報処理装置２０は、複数の採点者による採点の突き合わせを支援する。

図１５は、追加形態４における情報処理装置の使用態様を示す図である。図１６は、複数の採点者による採点結果を対比により示す画面の一例を示す図である。図１７は、複数の採点者の採点結果の詳細を対比により示す画面の一例を示す図である。

追加形態４において、採点者は何人であっても良いが、以下では、採点者が二名の場合を例に説明する。答案用紙５０は複写等により採点者の人数分用意されている。図１５に示すように、追加形態４では、採点者Ａおよび採点者Ｂは、それぞれ全生徒の答案用紙５０に手書きで採点する。採点された答案用紙５０は、画像取得装置１０により画像データに変換され、情報処理装置２０に送信される。

情報処理装置２０は、図１６に示すような画面を、採点者の一方、例えば、採点者Ａの採点者端末３０に表示させる。採点者Ａは、自分の採点結果と、採点者Ｂの採点結果の対比を確認する。図１６に示す画面には、採点者Ａが答案につけた得点の画像７４０及び採点結果７４１、並びに採点者Ｂが答案につけた得点の画像７４２及び採点結果７４３が並んで示される。得点の画像７４０、７４２は、それぞれ手書きの答案用紙の画像から切り出された画像である。また、採点結果７４１、７４３は、追加形態３の採点結果７３１と同様に、答案用紙の手書きの採点結果を評価基準表６００の事象６０３に関連づけることによって得られる。

採点者Ａと採点者Ｂの採点結果が異なる場合、注意喚起マーク７４５が生徒の表示に加えられる。例えば、図１６のＮｏ．５の生徒について、採点者Ａの採点結果が８０点で、採点者Ｂの採点結果が９０点である。このような場合、注意喚起マーク７４５が付される。Ｎｏ．５の生徒が選択されると、画面の右側に、採点者Ａの採点時のコメント７４７及び採点者Ｂの採点時のコメント７４８が表示される。

コメント７４７、７４８が表示された状態で、更にＮｏ．５の生徒が選択されると、情報処理装置２０は、図１７に示す画面を表示する。図１７に示す画面では、採点者Ａが手書きで採点した答案用紙の画像７５０及び採点者Ｂが手書きで採点した答案用紙の画像７５１が並べて表示される。さらに、採点者Ａ及び採点者Ｂが採点の際に参照した評価基準表６００も表示される。評価基準表６００には、採点者Ａ及び採点者Ｂが採点に採用した事象６０３が示される。例えば、採点者Ａが採点に採用した事象は、一の色（例えば青色）の矩形で囲んで示され、採点者Ｂが採点に採用した事象は、他の色（例えば赤色）の矩形で囲んで示される。これにより、異なる採点者Ａ及び採点者Ｂが、同じ答案をどのように評価したのかが一目瞭然となる。或いは、採点者Ａ及び採点者Ｂのうち高い評価をつけた方が採用した事象６０３だけが示されてもよい。

また、図１７に示す画面においても、図５の情報処理に従って、評価基準表において採用する評価観点を変更したり、評価基準表を編集したりしても良い。

（追加形態５）
図１８は、他の評価基準表の例を示す図である。

図４に示す評価基準表６００においては、評価観点として、答案用紙に記載された答案の内容、すなわち筆記内容を評価するための観点しか含まれていなかった。しかし、図１８に示す評価基準表６５０には、筆記内容を評価するための観点に加え、授業中の態度など、生徒の行動を評価するための観点が加えられている。このように、評価基準表６５０は、筆記及び行動を総合的に評価できるように設計されても良い。なお、授業には、ワークショップ等も含まれ得る。

なお、上記の情報処理は、専用のハードウェア回路によっても実現することもできる。この場合には、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。

また、情報処理装置２０を動作させるプログラムは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピュータ読み取り可能な記録媒体に記録されたプログラムは、通常、メモリまたはストレージ等に転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、情報処理装置２０の一機能としてソフトウェアに組み込んでもよい。

１ 情報処理システム
１０ 画像取得装置
２０ 情報処理装置
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ ストレージ
２５ 入力部
２６ 表示部
２７ 通信インタフェース
２９ バス
３０ 採点者端末
４０ 受験者端末
５０ 答案用紙
２０１ 取得部
２０２ 提示部
２０３ 採点部
２０４ 編集受付部
２０５ 検索部
２０６ 更新部
２０７ 推定部
２０８ 登録部
６００、６１０、６５０ 評価基準表
６０１ 第２配列
６０２ 第１配列
６０３ 事象
６０４ 評価基準
６０５ 太枠
７００、７５０、７５１ 答案用紙の画像
７０１ 枠
７０２、７０３ 付箋
７０４ 一覧表
７０５ 事例
７１０～７１２ 画像
７２０～７２２ 領域
７２３、７４５ 注意喚起マーク
７３０、７４０、７４２ 得点の画像
７３１、７４１、７４３ 採点結果
７４７、７４８、８１１ コメント
８０１ ボタン
８０２ 太枠
８０３、８０４ 評価コメント
８１０ 自由欄
８２０ 自由ボード

Claims (11)

1. 答案を評価するための複数の評価観点と、前記複数の評価観点の各々に対応する配点とを表す評価基準を提示する提示部と、
   前記評価基準の編集を受け付けた場合、前記評価基準を更新する更新部と、
   設問の類似度に基づいて前記評価基準に関連する別の評価基準をデータベースから検索する検索部と、
   を有し、
   前記提示部は、前記検索部により検索された前記別の評価基準も提示する情報処理装置。
2. 前記提示部により提示された前記評価基準から、答案の評価として採用する評価観点及び配点の選択を受け付け、選択された評価観点及び配点に対応する得点により採点する採点部を更に有する請求項１に記載の情報処理装置。
3. 前記更新部により前記評価基準を更新した場合であって、更新前の評価基準を用いて採点された採点済答案がある場合、前記採点部は、更新後の評価基準により、前記採点済答案を採点し直す請求項２に記載の情報処理装置。
4. 前記採点部により前記更新後の評価基準を用いて前記採点済答案が採点し直された場合、前記提示部は、前記更新前の評価基準による採点結果と、前記更新後の評価基準による採点結果とを提示する請求項３に記載の情報処理装置。
5. 前記検索部は、前記別の評価基準と共に、当該別の評価基準を用いて採点された別の答案の採点結果も前記データベースから検索し、
   前記提示部は、前記別の評価基準と共に、前記別の答案の採点結果を提示する請求項４に記載の情報処理装置。
6. 答案の一部または全部を、別の答案の採点時または採点後に参照可能に登録する登録部を更に有する請求項１～５のいずれか一項に記載の情報処理装置。
7. 前記答案および採点結果が記入された答案用紙の画像データを取得する取得部と、
   前記取得部により取得された前記画像データから、前記採点結果として採用されている前記評価基準の評価観点及び配点を推定する推定部と、を更に有し、
   前記提示部は、前記推定部により推定された評価観点及び配点に基づく得点を提示する請求項１～６のいずれか一項に記載の情報処理装置。
8. 前記提示部は、前記答案用紙から切り出した得点に関する画像と、前記推定部により推定した前記得点とを比較可能に提示する請求項７に記載の情報処理装置。
9. 前記取得部は、同じ前記答案に対して各々異なる採点結果が記入された複数の答案用紙の画像データを取得し、
   前記提示部は、前記複数の答案用紙の画像データに基づいて前記推定部により推定された複数の得点を比較可能に提示する請求項７または請求項８に記載の情報処理装置。
10. 答案を評価するための複数の評価観点と、前記複数の評価観点の各々に対応する配点とを表す評価基準を提示する提示ステップと、
    前記評価基準の編集を受け付けた場合、前記評価基準を更新する更新ステップと、
    設問の類似度に基づいて前記評価基準に関連する別の評価基準をデータベースから検索する検索ステップと、
    を有し、
    前記提示ステップは、前記検索ステップにより検索された前記別の評価基準も提示する情報処理方法。
11. 答案を評価するための複数の評価観点と、前記複数の評価観点の各々に対応する配点とを表す評価基準を提示する提示ステップと、
    前記評価基準の編集を受け付けた場合、前記評価基準を更新する更新ステップと、
    設問の類似度に基づいて前記評価基準に関連する別の評価基準をデータベースから検索する検索ステップと、
    をコンピュータに実行させ、
    前記提示ステップは、前記検索ステップにより検索された前記別の評価基準も提示する情報処理プログラム。

Images