JP7342655B2 - 情報処理装置、制御方法及びプログラム - Google Patents

Description

本発明は、採点の支援技術に関する。

従来から、生徒のテストの解答に対する採点を支援する技術が知られている。例えば、特許文献１には、解答用紙の解答欄に生徒が記入した筆跡情報を取得し、教師が使用する端末の画面上に表示して正誤判定の入力を受け付ける採点システムが開示されている。また、特許文献２には、電子ペンで記入した解答と、正解とを比較し、解答の正誤判定を行う技術が開示されている。

特開２０１４－１３４８５４号公報 特開２００９－３２２７号公報

採点者が手書きにより記入した正誤等を示す採点用のマーク（採点マーク）が付された解答用紙をスキャンし、採点マークを識別することで得点を自動算出する採点支援が行われている。この場合、複数者による採点マークの手書きパターンとその正解を含む大量の学習データにより機械学習を行うことで、採点マークの識別に用いる識別器を得ることができる。しかしながら、不特定多数の者による手書きパターンの学習データを用いて学習された識別器では、手書きの癖の違いやインクの掠れ等に起因して誤認識が発生する可能性があるため、最終的には人手による確認が必要となり、多大な労力がかかるという問題があった。

本開示は、上記のような課題を解決するためになされたものであり、採点を好適に支援することが可能な情報処理装置、制御方法及びプログラムを提供することを主な課題とする。

本開示の１つの観点では、情報処理装置は、採点用のマークである採点マークが付された解答用紙を表す画像から、前記採点マークを抽出する抽出部と、前記採点マークの各々が属する分類を識別する識別部と、前記分類が同一となる前記採点マーク間における類似度に基づき、前記識別部による誤識別の可能性がある採点マークを判定する判定部と、を有し、前記判定部は、前記誤識別の可能性がある採点マークにおいて、当該採点マークが識別された分類と異なる他分類に識別された採点マークとの類似度が閾値より大きい場合、前記誤識別の可能性がある採点マークが前記他分類に属すると判定する。この態様によれば、情報処理装置は、採点マークを付した採点者の手書きの癖等の個性を好適に勘案し、識別部による誤識別の可能性がある採点マークを的確に判定することができる。また、この態様により、情報処理装置は、対象の採点者の個性を好適に勘案して識別部による識別結果を好適に修正することができる。

上記情報処理装置の一態様では、情報処理装置は、前記採点マークを、当該採点マークの各々に対して識別された前記分類を示す情報と関連付けて表示する表示部をさらに有し、前記表示部は、前記誤識別の可能性がある採点マークを強調表示する。ここでの「表示する」とは、情報処理装置が自ら表示する態様の他、情報処理装置以外の表示装置に所定の表示を実行させる態様も含む。後者の場合、例えば、情報処理装置は、上述の表示装置が所定の表示を行うのに必要な表示データを上述の表示装置に供給する。この態様により、情報処理装置は、誤識別の可能性がある採点マークの識別結果の確認を好適に閲覧者に促すことができる。

上記情報処理装置の他の一態様では、前記表示部は、前記誤識別の可能性がある採点マークに対する前記分類の変更を指定するためのインターフェースを表示する。この態様により、情報処理装置は、誤識別の可能性がある採点マークに対する分類の変更を好適に受け付けることができる。

上記情報処理装置の他の一態様では、前記表示部は、前記画像を表示すると共に、前記画像中の前記誤識別の可能性がある採点マークを強調表示する。この態様により、情報処理装置は、誤識別の可能性がある採点マークの存在を好適に閲覧者に認識させることができる。

上記情報処理装置の他の一態様では、前記表示部は、前記採点マークを前記分類毎に並べて表示し、かつ、前記誤識別の可能性がある採点マークを強調表示する。この態様により、閲覧者は、誤識別の可能性がある採点マークを、同一分類と識別された他の採点マークと比較しつつ好適に確認することができる。

上記情報処理装置の他の一態様では、前記表示部は、前記解答用紙に対応するテストの配点情報と、前記採点マークの各々が属する分類の識別結果とに基づき、前記テストに対する得点を表示する。この態様により、情報処理装置は、テストの得点を好適に自動算出して表示することができる。

上記情報処理装置の他の一態様では、前記判定部は、前記採点マークの各々を示す均一サイズのマスク画像から、所定次元の特徴量を算出し、前記採点マークの各々の前記特徴量に基づき、前記類似度を算出する。この態様により、情報処理装置は、上述した類似度を、各採点マークの特徴量（特徴ベクトル）に基づき好適に算出することができる。

上記情報処理装置の他の一態様では、前記識別部は、複数人による手書きの採点マークの画像と当該採点マークの分類に関する正解データとの複数の組合せを学習データとして用いて学習された識別器に基づき、前記採点マークの各々が属する分類を識別する。この態様により、情報処理装置は、抽出部が抽出した採点マークの各々が属する分類を好適に識別することができる。

本開示の他の好適な実施形態では、情報処理装置が実行する制御方法であって、採点用のマークである採点マークが付された解答用紙を表す画像から、前記採点マークを抽出し、前記採点マークの各々が属する分類を識別し、前記分類が同一となる前記採点マーク間における類似度に基づき、前記分類の誤識別の可能性がある採点マークを判定し、前記誤識別の可能性がある採点マークにおいて、当該採点マークが識別された分類と異なる他分類に識別された採点マークとの類似度が閾値より大きい場合、前記誤識別の可能性がある採点マークが前記他分類に属すると判定する。情報処理装置は、この制御方法を実行することで、採点マークを付した採点者の手書きの癖等の個性を好適に勘案し、識別部による誤識別の可能性がある採点マークを的確に判定することができる。また、この制御方法を実行することで、情報処理装置は、対象の採点者の個性を好適に勘案して識別部による識別結果を好適に修正することができる。

本開示のさらに別の実施形態では、採点用のマークである採点マークが付された解答用紙を表す画像から、前記採点マークを抽出する抽出部と、前記採点マークの各々が属する分類を識別する識別部と、前記分類が同一となる前記採点マーク間における類似度に基づき、前記識別部による誤識別の可能性がある採点マークを判定する判定部としてコンピュータを機能させ、前記判定部は、前記誤識別の可能性がある採点マークにおいて、当該採点マークが識別された分類と異なる他分類に識別された採点マークとの類似度が閾値より大きい場合、前記誤識別の可能性がある採点マークが前記他分類に属すると判定する。このプログラムをコンピュータにインストールして実行させることで、本発明に係る情報処理装置を構成させることができる。

本発明に係る情報処理装置によれば、誤識別の可能性がある採点マークを、的確に判定することができる。

採点システムの概略的な構成を示す。 マーク済答案用紙の一例である。 情報処理装置の機能的な構成を示すブロック図である。 識別結果確認画面の表示処理の概要を示すフローチャートである。 図２に示すマーク済答案用紙に記入された一部の採点マークに対するラベルの付与結果を示す図である。 ２次元の特徴空間におけるマーク済答案画像に表示された各採点マークの特徴ベクトルの位置を可視化した図である。 （Ａ）は、ある採点マークのマスク画像を示す。（Ｂ）は、図７（Ａ）に示す採点マークに対し、同一ラベルが付された他の採点マークを重ね合わせた図である。 識別結果確認画面の第１表示例である。 識別結果確認画面の第２表示例である。 識別結果確認画面の第３表示例である。 変形例に係る採点システムの構成例である。

以下、図面を参照しながら、本発明を実施するのに好適な実施形態について説明する。

［採点システムの構成］
図１は、本実施形態に係る採点システムの概略構成図である。本実施形態に係る採点システムは、教師などのテストの採点者が使用する情報処理装置１と、スキャナ（光学機器）２と、解答済の答案用紙の各解答欄に対して採点者による正誤に関するマーク（「採点マーク」とも呼ぶ。）が付されたマーク済答案用紙６と、を有する。なお、本実施例では、一例として、採点マークは、正解であることを示す正解マークと、不正解であることを示す不正解マークと、正解と不正解の中間であり部分的な点数が与えられることを示す中間マークとに分類されるものとする。そして、採点システムは、マーク済答案用紙６に記入された採点マークを的確に識別することで、解答者の得点の自動算出等を行う。

情報処理装置１は、スキャナ２と有線又は無線により電気的に接続し、スキャナ２がマーク済答案用紙６に対する読取り処理を行った場合に、マーク済答案用紙６をスキャンした画像（「マーク済答案画像Ｉｍ」とも呼ぶ。）をスキャナ２から受信する。そして、情報処理装置１は、マーク済答案画像Ｉｍから採点マークを抽出し、抽出した採点マークの分類を識別する。そして、情報処理装置１は、採点マークの識別結果を示す画面（「識別結果確認画面」とも呼ぶ。）を表示する。

図２は、マーク済答案用紙６の一例である。図２に示すように、マーク済答案用紙６には、テストを受ける生徒の生徒番号や氏名を記入する欄に加えて、各設問に対する解答を記入するための解答欄が設けられている。また、マーク済答案用紙６の各解答欄には、対応する設問に対する解答者の解答が記されていると共に、採点者による採点マークが付されている。

なお、図２では、数学の解答用紙の例を示したが、本実施例に係るマーク済答案用紙６は、数学以外の任意の教科の解答を記入するための解答用紙であってもよい。また、マーク済答案用紙６は、複数枚により構成されてもよい。

［情報処理装置の構成］
図３は、情報処理装置１の機能的な構成を示すブロック図である。情報処理装置１は、機能的には、表示部１１と、入力部１２と、記憶部１３と、インターフェース１４と、制御部１５とを備える。これらの各要素は、バスライン１０を介して相互に接続されている。

表示部１１は、制御部１５の制御に基づき、識別結果確認画面などの各種の情報を表示する。表示部１１は、例えば、ディスプレイ又はプロジェクタであってもよく、これらのデバイスに接続するためのインターフェースであってもよい。入力部１２は、講師端末２０に入力される情報を生成する。入力部１２は、例えば、マウス、ボタン、タッチパネル、カメラ、マイクなどの音声入力装置等であってもよく、これらのデバイスに接続するためのインターフェースであってもよい。インターフェース１４は、スキャナ２と有線又は無線により接続するためのインターフェースであり、スキャナ２から受信したマーク済答案画像Ｉｍを制御部１５に供給する。

記憶部１３は、ＲＡＭ、ＲＯＭ、読み書き可能な不揮発性メモリなどの各種メモリにより構成される。記憶部１３には、制御部１５が実行するプログラムが記憶される。また、記憶部１３は、制御部１５が様々な処理を実行する際の作業メモリとして機能する。

また、記憶部１３は、採点マークを識別するための識別器に関する情報である識別器情報１６を記憶する。上述の識別器は、採点マークを示す画像が入力された場合に、当該採点マークの分類に関する識別結果を出力するように学習された学習モデルである。この学習モデルは、例えば、サポートベクターマシーンやニューラルネットワークなどの機械学習で用いられる任意の学習モデルであってもよい。識別器情報１６は、上述の学習モデルを学習することにより得られた情報である。上述の学習モデルが畳み込みニューラルネットワークなどのニューラルネットワークである場合、識別器情報１６は、例えば、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの種々のパラメータ情報を含む。

ここで、識別器の学習について補足説明する。識別器は、例えば、複数の者による手書きの採点マークの画像と、当該採点マークの正しい分類を示す正解データとの組合せである学習データを用いて学習される。この学習データには、識別器が識別すべき分類毎に、十分な数の上述の組合せが含まれる。また、同一分類となる採点マークの態様が複数存在する場合には、想定される各態様の採点マークとその正解データとの組み合わせを含んだ学習データを用いて識別器の学習を行う。例えば不正解マークとして「×」を記載する人と「ｖ」（チェックマーク）を記載する人が存在する場合には、各態様の採点マークとその正解データとの組み合わせを含んだ学習データを用いて識別器の学習を行う。識別器の学習は、情報処理装置１により行われてもよく、情報処理装置１以外の装置により実行されてもよい。

なお、記憶部１３は、マーク済答案画像Ｉｍとしてスキャンされたマーク済答案用紙６の解答者の得点を算出するために必要な情報を記憶してもよい。例えば、記憶部１３は、採点マークが付される各設問の配点情報と、各設問の答案用紙内の配置を示す情報とを、実施されるテスト毎に記憶してもよい。また、記憶部１３は、マーク済答案用紙６に記入される採点マークの色情報などの採点マークの抽出に必要な情報を記憶する。

なお、記憶部１３は、情報処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。他の例では、記憶部１３は、情報処理装置１とデータ通信を行うサーバ装置であってもよい。この場合、記憶部１３は、複数のサーバ装置から構成されてもよい。

制御部１５は、ＣＰＵ、ＧＰＵなどのプロセッサ（コンピュータ）により構成され、情報処理装置１の各構成要素を制御する。制御部１５は、記憶部１３に記憶されるプログラムに基づき、所定の処理を行う。制御部１５は、「抽出部」、「識別部」、「判定部」、「表示部」及びプログラムを実行する「コンピュータ」の一例である。

本実施形態では、制御部１５は、マーク済答案画像Ｉｍをスキャナ２から受信した場合に、識別器情報１６に基づき、マーク済答案画像Ｉｍに含まれる採点マークの各々の分類の識別を行い、識別した分類を示すラベルを各採点マークに付加する。さらに、制御部１５は、同一のラベルが付された採点マーク間における類似度が閾値以下となる採点マークに対し、誤ったラベル付けがされた可能性を示すフラグを付与する。そして、制御部１５は、採点マークの識別結果及び上述のフラグに基づく識別結果確認画面の表示情報を生成し、識別結果確認画面を表示部１１に表示させる。

［識別結果確認画面の表示処理］
次に、識別結果確認画面の表示に関連する処理について説明する。

（１）概要
図４は、識別結果確認画面の表示処理の概要を示すフローチャートである。情報処理装置１は、図４に示すフローチャートの処理を繰り返し実行する。

まず、情報処理装置１は、マーク済答案画像Ｉｍをスキャナ２から取得したか否か判定する（ステップＳ１１）。そして、情報処理装置１は、マーク済答案画像Ｉｍをスキャナ２から取得したと判定した場合（ステップＳ１１；Ｙｅｓ）、取得したマーク済答案画像Ｉｍから採点マークを抽出する（ステップＳ１２）。この抽出方法については後述する。一方、情報処理装置１は、マーク済答案画像Ｉｍをスキャナ２から取得していない場合（ステップＳ１１；Ｙｅｓ）、引き続きマーク済答案画像Ｉｍをスキャナ２から取得したか否かの判定を継続する。なお、情報処理装置１は、マーク済答案画像Ｉｍをスキャナ２から取得後直ちにステップＳ１２へ処理を進める代わりに、マーク済答案画像Ｉｍをスキャナ２から取得後、さらに識別結果確認画面の表示要求に関するユーザ入力を検知した場合に、ステップＳ１２へ処理を進めてもよい。

次に、ステップＳ１３では、情報処理装置１は、ステップＳ１２で抽出した採点マークの各々の分類を識別し、識別した分類を示すラベルを各採点マークに付与する（ステップＳ１３）。この場合、情報処理装置１は、識別器情報１６に基づき構成した識別器に採点マークの画像を入力することで、当該採点マークの分類を示すラベルを取得し、取得したラベルを対象の採点マークに対応付ける。この場合、ラベルは、例えば、正解マーク、不正解マーク、部分点が与えられる中間マークのいずれかを示す情報である。

次に、情報処理装置１は、採点マーク毎に、同一分類となる他の採点マークに対する類似度（「分類内類似度Ｄ１」とも呼ぶ。）を算出する（ステップＳ１４）。分類内類似度Ｄ１の算出方法の具体例については後述する。

そして、情報処理装置１は、分類内類似度Ｄ１が第１閾値以下の採点マークが存在するか否か判定する（ステップＳ１５）。上述の第１閾値は、ステップＳ１３で使用した識別器による誤識別の可能性の有無を判定するための閾値であり、例えば実験等に基づき定められ、記憶部１３等に予め記憶されている。

そして、情報処理装置１は、分類内類似度Ｄ１が第１閾値以下となる採点マークが存在する場合（ステップＳ１５；Ｙｅｓ）、分類内類似度Ｄ１が第１閾値以下となる採点マークに対し、分類に関する誤識別が発生した可能性がある旨のフラグ（「誤識別フラグ」とも呼ぶ。）を付与する（ステップＳ１６）。この誤識別フラグは、メタデータとして対象の採点マークに関連付けられ、後述する識別結果確認画面の表示において参照される。このように、情報処理装置１は、マーク済答案用紙６に記入された採点マーク間での類比判定を行うことで、対象の記入者の個性を勘案し、採点マークの誤識別の可能性を的確に判定することができる。

一方、情報処理装置１は、分類内類似度Ｄ１が第１閾値以下となる採点マークが存在しない場合（ステップＳ１５；Ｎｏ）、識別結果確認画面の表示を行う（ステップＳ１９）。この場合、情報処理装置１は、ステップＳ１１で抽出した採点マークを、当該採点マークの各々に対して識別された分類を示す情報と関連付けて表示する。

ステップＳ１６の実行後、情報処理装置１は、誤識別フラグが付された採点マークの各々に対し、対象の採点マークにラベル付けされた分類以外の他分類にラベル付けされた採点マークとの類似度（「他分類類似度Ｄ２」とも呼ぶ。）を算出する。そして、情報処理装置１は、誤識別フラグが付された採点マークのうち、他分類類似度Ｄ２が第２閾値より高くなる採点マークがあるか否か判定する（ステップＳ１７）。第２閾値は、対象の採点マークについて、ラベル付けされた分類よりも他分類に属する可能性が高いか否かを判定するための閾値であり、例えば実験等に基づき定められ、記憶部１３等に予め記憶されている。このステップＳ１７の判定処理の詳細については後述する。

そして、情報処理装置１は、他分類類似度Ｄ２が第２閾値より高い採点マークがあると判定した場合（ステップＳ１７；Ｙｅｓ）、当該採点マークのラベルを、他分類類似度Ｄ２が第２閾値より高くなる他分類に変更する（ステップＳ１８）。このステップＳ１８の処理結果は、識別結果確認画面に反映される。なお、情報処理装置１は、ステップＳ１８の処理に代えて、他分類類似度Ｄ２が第２閾値より高い他分類を、対象の採点マークに対する分類の修正候補として、識別結果確認画面に表示させてもよい。

そして、情報処理装置１は、他分類類似度Ｄ２が第２閾値より高い他分類が存在する採点マークがないと判定した場合（ステップＳ１７；Ｎｏ）、又は、ステップＳ１８の実行後、識別結果確認画面を表示する（ステップＳ１９）。この表示例については、図８～図１０を参照して説明する。

（２）採点マークの抽出
ここで、図４のステップＳ１２で実行する、マーク済答案画像Ｉｍから採点マークを抽出する処理について説明する。

第１の例では、情報処理装置１は、マーク済答案画像Ｉｍの各画素が有する色情報（画素値）に基づき、採点マークを抽出する。例えば、この場合、情報処理装置１は、採点者が採点マークのチェックに使用するペンの色（例えば赤）の情報を予め記憶しておき、記憶した色と類似する色情報を有する画素を抽出し、抽出した画素のうち隣接する画素同士を同一の採点マークを形成する画素として認識する。そして、情報処理装置１は、同一の採点マークを形成する画素群毎に当該画素群を含む矩形領域を切り取り、切り取った画像から採点マークのマスク画像（採点マークのみを表示した画像）を生成する。

第２の例では、情報処理装置１は、採点者による採点マークのチェックがなされる前の解答済み答案用紙のスキャン画像を予め記憶しておき、当該スキャン画像とステップＳ１１で取得したマーク済答案画像Ｉｍとを、対応する画素毎に画素値の差分値を算出する。そして、情報処理装置１は、差分値が存在する画素のうち隣接する画素同士を同一の採点マークを形成する画素として認識する。その後、情報処理装置１は、同一の採点マークを形成する画素群毎に当該画素群を含む矩形領域を切り取り、切り取った画像から採点マークのマスク画像を生成する。

（３）ラベルの付与
次に、図４のステップＳ１３で実行するラベルの付与の具体例を説明する。

図５は、図２に示すマーク済答案用紙６に記入された一部の採点マークに対するラベルの付与結果を示す図である。図５では、マーク済答案用紙６に記入された採点マークのうち、正解マーク「〇」を示すラベルが付与された採点マーク２１～２８を上段、中間マーク「△」を示すラベルが付与された採点マーク３１及び採点マーク３２を中段、不正解マーク「×」を示すラベルが付与された採点マーク４１～４３を下段に示している。また、図５では、図２に示すマーク済答案用紙６との対応を分かり易くするため、各採点マークに対して、当該採点マークが付された設問番号を示している。

情報処理装置１は、図２に示すマーク済答案画像Ｉｍをスキャナ２から取得した場合、図４のステップＳ１２に基づき、図５に示される各採点マークを含むマーク済答案画像Ｉｍ内の全ての採点マークを抽出する。そして、情報処理装置１は、抽出した各採点マークの画像（マスク画像）を、識別器情報１６に基づき構成した識別器に入力する。この場合、情報処理装置１は、好適には、識別器に入力する対象となる採点マークの画像を、縦横の大きさが均一となるように拡大縮小することで正規化し、正規化後の採点マークの画像を識別器に入力する。そして、情報処理装置１は、識別器が出力する識別結果に基づき、識別器に入力した採点マークに対してラベルを付与する。なお、識別器がニューラルネットワークに基づく学習モデルである場合には、識別器の出力には、出力した識別結果に対する確からしさを示す確信度の情報が含まれる。

（４）類似度の算出
次に、図４のステップＳ１４で実行する、分類内類似度Ｄ１を算出する具体例を説明する。例えば、情報処理装置１は、以下の第１ステップ～第４ステップにより、分類内類似度Ｄ１を算出する。

まず、第１ステップとして、情報処理装置１は、マーク済答案画像Ｉｍから抽出した各採点マークの画像（マスク画像）を、縦横比及び大きさについて正規化する。

次に、第２ステップとして、情報処理装置１は、各採点マークの画像に対し、任意の特徴量抽出アルゴリズムを適用することで、Ｎ（Ｎは１以上の整数）次元の特徴量（即ち特徴ベクトル）を取得する。この特抽出アルゴリズムは、例えば、形状に関する１又は複数の特徴量を抽出する任意のアルゴリズムであってもよい。また、特徴量抽出アルゴリズムは、ニューラルネットワークなどの機械学習の学習モデルを学習することで得られる特徴量抽出器であってもよい。この場合、情報処理装置１は、学習により得られた特徴量抽出器のパラメータの情報を予め記憶部に記憶しておく。

さらに、第３ステップとして、情報処理装置１は、特徴ベクトルに基づき、同一ラベルが付与された任意の２つの採点マークに対する類似度（「個別類似度」とも呼ぶ。）を算出する。この場合、情報処理装置１は、例えば、２つの採点マークの特徴ベクトルのＮ次元特徴空間内での距離を、個別類似度として算出する。これにより、情報処理装置１は、同一分類に属する任意の採点マーク間の個別類似度を算出する。

第４ステップとして、情報処理装置１は、各採点マークについて、同一ラベルが付与された他の採点マークとの個別類似度に基づき、分類内類似度Ｄ１を算出する。具体的には、情報処理装置１は、各採点マークについて、同一ラベルが付与された他の採点マークとの個別類似度の平均値又はその他の代表値を、分類内類似度Ｄ１を算出する。

ここで、第４ステップの具体例について説明する。例えば、図５に示す３つの採点マーク４１～４３が不正解マークと分類された場合について考察する。この場合、情報処理装置１は、採点マーク４１の分類内類似度Ｄ１を、採点マーク４１と採点マーク４２との個別類似度と、採点マーク４１と採点マーク４３との個別類似度とに基づき（例えばこれらに対する平均化などの統計処理に基づき）算出する。同様に、図５に示す８個の採点マーク２１～２８が正解マークと分類された場合、採点マーク２１の分類内類似度Ｄ１を、採点マーク２１と他の採点マーク２２～２８との計７個の個別類似度に基づき算出する。なお、情報処理装置１は、同一のラベルが付与された採点マークが２個以下しか存在しない分類については、当該分類に属する採点マークに対しては分類内類似度Ｄ１を算出しない。

次に、他分類類似度Ｄ２の算出方法について説明する。情報処理装置１は、対象の採点マークの１の他分類に対する他分類類似度Ｄ２を算出する場合、対象の採点マークと、対象の他分類に属する各採点マークとの個別類似度を算出する。そして、情報処理装置１は、算出した各個別類似度に基づき（例えばこれらに対する平均化などの統計処理に基づき）、対象の他分類に対する他分類類似度Ｄ２を算出する。

図６は、第１特徴量と第２特徴量とを軸とする２次元の特徴空間におけるマーク済答案画像Ｉｍに表示された各採点マークの特徴ベクトルの位置を可視化した図である。図６では、正解マークを示すラベルが付与された採点マーク２１～２３、２８の特徴ベクトルの位置と、中間マークを示すラベルが付与された採点マーク３１、３２の特徴ベクトルの位置とが夫々示されている。なお、図６では、各採点マークの中心位置がこれらの特徴ベクトルの位置となっている。ここで、破線枠５１は、正解マークであると分類された採点マークおいて分類内類似度Ｄ１が第１閾値より高くなる範囲を概念的に示す。また、破線枠５２は、中間マークであると分類された採点マークとの他分類類似度Ｄ２が第２閾値より高くなる範囲を概念的に示す。

図６に示すように、採点マーク２８の特徴ベクトルは、正解マークにおける分類内類似度Ｄ１が第１閾値以下となる範囲を示す破線枠５１から外れている。よって、採点マーク２８の分類内類似度Ｄ１は、第１閾値以下となり、採点マーク２８に誤識別フラグが付与される。このように、情報処理装置１は、同一採点者が記入した採点マーク同士の比較に基づき、誤識別の可能性がある採点マークに対して誤識別フラグを的確に付与することができる。

一方、採点マーク２８の特徴ベクトルは、中間マークであると分類された採点マークとの他分類類似度Ｄ２が第２閾値より高くなる範囲を示す破線枠５２の内側に存在する。よって、図５のステップＳ１８に基づき、情報処理装置１は、正解マークを示していた採点マーク２８のラベルを、中間マークを示すラベルに変更する。これにより、情報処理装置１は、誤識別の可能性がある採点マークの識別結果の修正を的確に行うことができる。

なお、分類内類似度Ｄ１及び他分類類似度Ｄ２の算出方法は上述の第１ステップ～第４ステップによる算出方法に限定されない。例えば、分類内類似度Ｄ１及び他分類類似度Ｄ２の算出に用いる個別類似度に関し、情報処理装置１は、各採点マークの特徴ベクトルへの変換を行うことなく、個別類似度を算出してもよい。

図７（Ａ）は、ある採点マークのマスク画像を示す。また、図７（Ｂ）は、図７（Ａ）に示す採点マークに対し、同一ラベルが付された他の採点マークを重ね合わせた図である。この場合、まず、情報処理装置１は、上述した第１ステップと同様、個別類似度を算出する各採点マークの画像を正規化する。そして、図７（Ｂ）に示すように、情報処理装置１は、正規化した２つの採点マークの重なり度合を判定する。この場合、情報処理装置１は、例えば、個別類似度を算出する２つの採点マークの画像を、線部分の画素値を１及び線以外の画素値を０とする２値画像に変換する。そして、情報処理装置１は、変換した２値画像を同一位置の画素毎に比較し、いずれも画素値が１となる画素の数に基づき、個別類似度を定める。

他の例では、情報処理装置１は、第３ステップの個別類似度の算出を行うことなく、分類内類似度Ｄ１及び他分類類似度Ｄ２の算出を行ってもよい。例えば、情報処理装置１は、対象の採点マークがラベル付けされた分類に属する各採点マークの特徴ベクトルの平均ベクトルを算出し、この平均ベクトルと対象の採点マークの特徴ベクトルとの距離を、分類内類似度Ｄ１として算出する。同様に、情報処理装置１は、ある他分類に対する対象の採点マークの他分類類似度Ｄ２を算出する場合、当該他分類に属する各採点マークの特徴ベクトルの平均ベクトルと、対象の採点マークの特徴ベクトルとの距離を、他分類類似度Ｄ２として算出する。

（５）表示例
図８は、識別結果確認画面の第１表示例である。図８では、情報処理装置１は、識別結果確認画面上にマーク済答案画像Ｉｍを表示すると共に、マーク済答案画像Ｉｍから抽出した各採点マークに対する識別結果を、「○」、「×」、「△」により明示している。

ここで、情報処理装置１は、問２（５）に付された採点マークについて、図４のステップＳ１５において、正解マークと分類された他の採点マークとの分類内類似度Ｄ１が第１閾値以下であると判定し、誤識別フラグを付与している。よって、この場合、情報処理装置１は、識別結果確認画面上において、問２（５）に付された採点マークを囲む破線枠５９を表示することで、誤識別フラグが付与された採点マークを強調表示する。また、情報処理装置１は、問２（５）に付された採点マークの識別結果「○」は誤りの可能性があることから、当該識別結果「○」にクエスチョンマーク「？」を付加している。

さらに、情報処理装置１は、破線枠５９で囲まれた採点マークは誤識別の可能性がある旨のテキスト及び対象の採点マークの正しい分類を指定する入力を受け付けるボタン６１～６３を示したウィンドウ６０を、ポップアップ表示している。ここで、ボタン６１は、対象の採点マークの分類を識別結果のまま正解マーク「○」に確定させることを指定するボタンである。ボタン６２は、対象の採点マークの分類を中間マーク「△」に変更することを指定するボタンである。ボタン６３は、対象の採点マークの分類を不正解マーク「×」に変更することを指定するボタンである。ウィンドウ６０は、「インターフェース」の一例である。

このように、第１表示例によれば、情報処理装置１は、識別結果確認画面上において、識別器による誤識別の可能性がある採点マークを強調表示して確認を促すと共に、当該採点マークの識別結果の変更を好適に受け付けることができる。

また、第１表示例では、情報処理装置１は、対象のテストの配点情報と、採点マークの識別結果とに基づき、解答者の得点（ここでは７５点）を識別結果確認画面上に表示している。この場合、まず、情報処理装置１は、マーク済答案画像Ｉｍに対応するテストを指定するユーザ入力等に基づき、対象のテストの配点情報を記憶部１３等から取得する。なお、情報処理装置１は、マーク済答案画像Ｉｍに含まれる解答欄の配置等に基づき、公知の画像認識処理（例えばテンプレートマッチング等）を用いて、対象のテストを識別してもよい。次に、情報処理装置１は、マーク済答案用紙６内の設問毎の解答欄の位置を示す情報に基づき、マーク済答案画像Ｉｍ上の各採点マークの位置から、採点マークと設問との対応を認識する。解答欄の位置を示す情報は、例えば記憶部１３等に予め記憶されている。そして、情報処理装置１は、設問毎の採点マークの識別結果と、設問毎の配点とに基づき、解答者の得点を算出する。なお、中間マークが存在する場合、例えば、情報処理装置１は、中間マークが付された設問に対する配点に対して所定の比率となる部分点を得点に加算する。また、情報処理装置１は、ウィンドウ６０へのユーザ入力により採点マークの識別結果が変更された場合には、変更後の識別結果に基づき、点数の再集計を行う。

図９は、識別結果確認画面の第２表示例である。第２表示例では、情報処理装置１は、第１表示例と同様、識別結果確認画面上にマーク済答案画像Ｉｍを表示すると共に、マーク済答案画像Ｉｍから抽出した各採点マークに対する識別結果を、「○」、「×」、「△」により明示している。また、情報処理装置１は、識別器により「○」と識別された問２（５）の採点マークの分類内類似度Ｄ１が第１閾値以下であり、かつ、「△」に対する他分類類似度Ｄ２が第２閾値より高いと判定する。よって、この場合、情報処理装置１は、問２（５）の採点マークの識別結果を中間マーク「△」に変更して表示し、かつ、ユーザの確認が必要であることを示すクエスチョンマーク「？」をその中間マーク「△」に付加している。また、情報処理装置１は、破線枠５９Ａで囲まれた採点マークは誤識別の可能性がある旨のテキスト及び採点マークの分類の指定に関する入力を受け付けるボタン６４、６５を示したウィンドウ６０Ａをポップアップ表示している。ここで、ボタン６４は、対象の採点マークの分類を不正解マーク「△」に確定させることを指定するボタンである。ボタン６５は、対象の採点マークの分類を正解マーク「○」に変更することを指定するボタンである。ウィンドウ６０Ａは、「インターフェース」の一例である。

このように、第２表示例によれば、情報処理装置１は、識別器により識別された分類と異なる分類に対する他分類類似度Ｄ２が第２閾値より高い採点マークが存在する場合に、当該採点マークの識別結果を好適に変更してユーザに提示することができる。

図１０は、識別結果確認画面の第３表示例である。第３表示例では、情報処理装置１は、マーク済答案画像Ｉｍから抽出した各採点マークを、各採点マークが記入された問題番号と共に、識別結果に応じた分類毎に並べて表示している。さらに、情報処理装置１は、識別器により「○」と識別された問２（５）の採点マークの分類内類似度Ｄ１が第１閾値以下であることから、問２（５）の採点マークを破線枠５９Ｂにより囲むことで強調表示する。また、情報処理装置１は、問２（５）の採点マークに対し、第１表示例と同様に、誤識別の可能性がある旨のテキスト及び採点マークの分類の指定に関する入力を受け付けるウィンドウ６０を表示している。

このように、第３表示例によれば、情報処理装置１は、マーク済答案画像Ｉｍから抽出した採点マークを、識別された分類毎に並べて表示することで、情報処理装置１による採点マークの識別結果を採点者に好適に確認させることができる。この場合、採点者は、同一分類と識別された採点マーク同士を好適に比較しながら情報処理装置１による採点マークの識別結果を確認することができる。

［変形例］
次に、上述の実施形態に好適な変形例について説明する。以下の変形例は、組み合わせて上述の実施形態に適用してもよい。

（変形例１）
情報処理装置１は、識別結果確認画面に関する表示データを端末に送信するサーバ装置として機能してもよい。

図１１は、変形例に係る採点システムの構成例である。図１１の例では、情報処理装置１Ａは、通信網９を介し、採点者が使用する表示端末７と接続している。表示端末７は、スキャナ２からマーク済答案画像Ｉｍを取得し、取得したマーク済答案画像Ｉｍを情報処理装置１Ａに送信する。

情報処理装置１Ａは、表示端末７からマーク済答案画像Ｉｍを受信した場合に、図４に示すフローチャートの処理を実行する。この場合、情報処理装置１Ａは、ステップＳ１９の識別結果確認画面の表示処理では、識別結果確認画面の表示データ「Ｄｄ」を生成し、生成した表示データＤｄを表示端末７に送信することで、識別結果確認画面を表示端末７に表示させる。このように、本変形例では、情報処理装置１Ａは、識別結果確認画面の表示データＤｄを送信するサーバ装置として機能する。この場合であっても、情報処理装置１Ａは、採点者が使用する表示端末７に識別結果確認画面を表示させ、採点マークの識別結果の提示及び修正の受付を好適に行うことができる。

（変形例２）
図４のステップＳ１２において、情報処理装置１は、同一採点者が採点マークを付した複数の（例えばクラス全員分の）マーク済答案用紙６をスキャンした複数のマーク済答案画像Ｉｍから夫々採点マークを抽出してもよい。この場合、情報処理装置１は、ステップＳ１２で複数のマーク済答案画像Ｉｍから抽出した複数の採点マークを対象として、ステップＳ１３及びそれ以降の分類及び類似度の算出等の処理を行う。この場合であっても、情報処理装置１は、同一採点者が記入した採点マーク同士の比較に基づき、誤識別の可能性がある採点マークに対する誤識別フラグの付与及び識別結果の修正を好適に行うことができる。

なお、変形例２では、マーク済答案用紙６は、図２に示すような複数の設問に対する解答欄を有するものに限られず、単一問題に対する単一の解答欄（即ち１の解答欄のみ）を有するものであってもよい。この場合であっても、変形例２に係る情報処理装置１は、複数のマーク済答案画像Ｉｍから夫々抽出した採点マークを対象として、図４のステップＳ１３及びそれ以降の分類及び類似度の算出等の処理を好適に行うことができる。

１…情報処理装置
２…スキャナ
６…マーク済答案用紙
１１…表示部
１２…入力部
１３…記憶部
１４…インターフェース
１５…制御部

Claims (10)

1. 採点用のマークである採点マークが付された解答用紙を表す画像から、前記採点マークを抽出する抽出部と、
   前記採点マークの各々が属する分類を識別する識別部と、
   前記分類が同一となる前記採点マーク間における類似度に基づき、前記識別部による誤識別の可能性がある採点マークを判定する判定部と、
   を有し、
   前記判定部は、前記誤識別の可能性がある採点マークにおいて、当該採点マークが識別された分類と異なる他分類に識別された採点マークとの類似度が閾値より大きい場合、前記誤識別の可能性がある採点マークが前記他分類に属すると判定する情報処理装置。
2. 前記採点マークを、当該採点マークの各々に対して識別された前記分類を示す情報と関連付けて表示する表示部をさらに有し、
   前記表示部は、前記誤識別の可能性がある採点マークを強調表示する、請求項１に記載の情報処理装置。
3. 前記表示部は、前記誤識別の可能性がある採点マークに対する前記分類の変更を指定するためのインターフェースを表示する、請求項２に記載の情報処理装置。
4. 前記表示部は、前記画像を表示すると共に、前記画像中の前記誤識別の可能性がある採点マークを強調表示する、請求項２または３に記載の情報処理装置。
5. 前記表示部は、前記採点マークを前記分類毎に並べて表示し、かつ、前記誤識別の可能性がある採点マークを強調表示する、請求項２または３に記載の情報処理装置。
6. 前記表示部は、前記解答用紙に対応するテストの配点情報と、前記採点マークの各々に対して識別した分類とに基づき、前記テストに対する得点を表示する、請求項２～５のいずれか一項に記載の情報処理装置。
7. 前記判定部は、前記採点マークの各々を示す均一サイズのマスク画像から、所定次元の特徴量を算出し、前記採点マークの各々の前記特徴量に基づき、前記類似度を算出する、請求項１～６のいずれか一項に記載の情報処理装置。
8. 前記識別部は、複数人による手書きの採点マークの画像と当該採点マークの分類に関する正解データとの複数の組合せを学習データとして用いて学習された識別器に基づき、前記採点マークの各々が属する分類を識別する、請求項１～７のいずれか一項に記載の情報処理装置。
9. 情報処理装置が実行する制御方法であって、
   採点用のマークである採点マークが付された解答用紙を表す画像から、前記採点マークを抽出し、
   前記採点マークの各々が属する分類を識別し、
   前記分類が同一となる前記採点マーク間における類似度に基づき、前記分類の誤識別の可能性がある採点マークを判定し、前記誤識別の可能性がある採点マークにおいて、当該採点マークが識別された分類と異なる他分類に識別された採点マークとの類似度が閾値より大きい場合、前記誤識別の可能性がある採点マークが前記他分類に属すると判定する、制御方法。
10. 採点用のマークである採点マークが付された解答用紙を表す画像から、前記採点マークを抽出する抽出部と、
    前記採点マークの各々が属する分類を識別する識別部と、
    前記分類が同一となる前記採点マーク間における類似度に基づき、前記識別部による誤識別の可能性がある採点マークを判定する判定部
    としてコンピュータを機能させ、
    前記判定部は、前記誤識別の可能性がある採点マークにおいて、当該採点マークが識別された分類と異なる他分類に識別された採点マークとの類似度が閾値より大きい場合、前記誤識別の可能性がある採点マークが前記他分類に属すると判定するプログラム。

Images