JP6532346B2 - ストロークの構成に差異がある手書き入力文字に対し、標準パターンと入力パターンとに変換を加えて照合と判定とを行う自動採点システム - Google Patents

Description

本発明は、ストローク数が異なる場合を含め、正答となる標準パターンとはストロークの構成に差異がある手書き入力文字である入力パターンを、問いに対する解答として自動で採点するシステムにおいて、ストロークの構成の差異を検出してこの差異を踏まえた採点を行う際に用いる、自動採点方法、自動採点装置ならびに自動採点プログラムに関する。

手書き入力文字を問いに対する解答として自動で採点する技術は、漢字書き取りの採点を含め、教育・学習の分野で大きな需要がある。この際に、正答となる標準パターンに対して、２つ以上のストロークが接続して１つのストロークとなったり、１つのストロークが断裂して２つ以上のストロークとなったり、ストロークの筆記方向が異なっていたりする場合の入力パターンの採点には、困難が伴う。同じく手書き入力文字を扱う文字認識システムでも、非特許文献１などで「画数自由」と記されているストロークの構成に制約の少ない入力を扱う技術は、そうで無い場合に比べて困難であるとされてきた。

非特許文献１には、ストロークを対応付ける技術であるキューブサーチの手法（特許文献１参照）を、続け書きなどの複数のストロークが接続された場合へ拡張する方法について記されている。すなわち、ストローク間の接続があった場合に相当する部分構造を多層的に積み重ねたキューブサーチグラフを用いて、ストローク間の接続がない標準パターンとストローク間の接続がある入力パターンとの間でストロークの対応付けを行う。

非特許文献１の方法では、単純にストロークの終点と筆順で次のストロークの始点とが連続となる場合については、これに相当するキューブサーチグラフ中の層間の遷移が自動的に与えられている。さらに、これら以外の場合を非正規ストロークと呼び、非正規ストロークに相当する層間の遷移も定義することとしている。このようにキューブサーチグラフに層を構築して層間の遷移を定義することは、入力パターンと照合を行う標準パターンを複数準備して、それら複数標準パターンから評価値を基準に選択することに相当すると考えられる。

非特許文献１に記された手法では、キューブサーチ自体はストロークの形状の情報のみを用いてストロークの対応付けを定めて相違度を評価しているため、ストロークの相対配置関係については後処理として評価に加えることとしている。この際、入力パターン側のストロークとストロークとの相対配置関係と、これに対応する標準パターン側のストロークとストロークとの相対位置関係とが比較され、評価値を算出している（文献中４節）。

書き取り等での自動採点を目的とした技術の報告は複数存在するが、画数自由を含むストロークの構成に差異がある入力パターンを採点する具体的な手法を記したものは見当たらない。例えば、非特許文献２に記された手書き漢字の自動採点システムは、“採点結果は「形」や「筆順」，「交差」など間違いの種類が区別されて表示される”（文献中３節）としているが、ストローク間の接続やストロークの断裂などのストロークの構成の差異に関わる間違いについては言及されていない。

特許文献２には、漢字書き取り自動採点においてユーザーによる正誤の判断を蓄積することに特徴を持つ方法が記述されているが、その中で正誤を決める判断情報に挙げられているのは、「（端点または分岐点または交点である）構造点の接続情報」「構造点を結ぶエッジの曲がりの程度」「文字の部分のバランス」などである。特許文献２記載の方法に従えば、ストロークの構成に差異がある誤りは、構造点の接続情報の不一致として判断結果をＮＧとすることになり、ストローク間の接続やストロークの断裂を同定することには言及されていない。すなわち、ストローク間の接続やストロークの断裂に応じて、減点の大きさを調整したり、ユーザーにこれを指摘したりする方法についての記述はない。

特開平９−１７１７９９４１号公報

特開２０１０−２３０９８８号公報

槇重弼、迫江博昭、「筆順・画数自由オンライン文字認識のための画対応決定法―多層キューブサーチ」 電子情報通信学会論文誌（D-II）、vol. J82-D-II、 no.2、 pp.230-239、 1999年2月

岩山尚美、石垣一司、山根僚介、陰山英男、「学習履歴を活用する手書き電子教材の開発と実践検証」 日本教育工学会 全国大会講演論文集、第21 巻、pp.165-168、2005年9月

非特許文献１に記された手法はストローク間の接続やストロークの断裂を扱っているが、文字認識のための技術であり、漢字としての正しさを標準パターンと比較して判定する採点処理では無い。さらに、ストローク間の接続を伴う入力文字を認識するために、ストローク間の様々な形での接続という多様性に対応した多層という構成のキューブサーチグラフを使用する一方、入力パターンは固定的とする方法を採っている。

非特許文献２および特許文献２に記された方法は自動採点を目的としたものであるが、ストローク間の接続やストロークの断裂に関わる記述はない。すなわち、標準パターンと入力パターンとの間でストロークの構成が一致することを判定したのちに、その他の特徴について漢字としての正誤の判断を行う場合のみについて言及されている。

これらの従来技術を敷衍すれば、対象とする一つの文字に対してストローク構成に差異があるものを含む複数の標準パターンを準備し、入力パターンと照合した結果において評価値がもっとも良い標準パターンを採点に用い、その採点に用いた標準パターンがストローク構成に差異があるものであれば、入力パターンにもそのストローク構成に差異があると判断する方法が考えられる。このように検出したストローク構成の差異に基づき、減点の大きさを調整したり、ユーザーにこれを指摘したりすることは可能となる。

しかしながらこの方法では、上記の評価値が最も良い標準パターンを選ぶ際に、ストロークの構成に差異があるという点で本来の字形ではない標準パターンとの照合に対して、評価値を与える必要が生じるという問題点がある。すなわち、本来の字形に基づく標準パターンを用いる場合の漢字の正誤を判定するための評価方法は、そのまま用いることが出来ない。

また、採点結果をユーザーに表示する画面には、通常、入力パターンと正答である本来の字形とを表示するものと考えられる。その際、ストロークの構成に差異がある標準パターンとの照合結果は、そのままでは採点の根拠としてユーザーに示すことは不適当である。例えば、筆順に基づくストロークの番号は、採点に利用したストロークの構成に差異がある標準パターンでのものではなく、本来の字形でのもので表示すべきである。

本発明は、ストローク構成に差異がある文字の入力に対して、該差異を正しく同定し、自動採点においてストローク構成の差異を評価した結果を出力することを目的とする。また、この際に利用する字形に関する情報は、文字本来の字形に基づく簡素で理解しやすいものであるほうが、自動採点システムを構築する際の効率の上で有利となる。本発明は、文字本来の字形に基づく採点のためのデータを用いて、効率よく自動採点システムを構築することを目的とする。

本発明に係る文字自動採点方法の第１の構成は、採点対象の文字のストロークとストロークを構成するサブストロークとの座標情報により表現された標準パターンと入力パターンとが与えられ、該入力パターンが標準パターンと比較して、正しいか否かの評価を行う文字自動採点方法において、
字形の中の同じ部分に当たる前記標準パターン中のサブストロークと前記入力パターン中のサブストロークとの組の、２つの組について、前記標準パターンと前記入力パターンとのいずれかのパターンでは該２つの組のそれぞれの中の２つのサブストロークが同じストロークに含まれ、他方のパターンでは該２つの組のそれぞれの中の２つのサブストロークが同じストロークに含まれない場合には、前記標準パターンと前記入力パターンとの間でのストローク構成の差異があるとし、
字形の中の同じ部分に当たる前記標準パターン中のストロークと前記入力パターン中のストロークとが、筆記方向が逆向きである場合も、前記標準パターンと前記入力パターンとの間でのストローク構成の差異があるとし、
採点対象の文字での、ストロークおよびサブストロークを特定した一つ以上の前記ストローク構成の差異を、採点処理にて検出する対象とすることと予め定めて、これを検出対象ストローク構成差異群とし、
該検出対象ストローク構成差異群中のすべてのストローク構成の差異が発生した場合のストローク構成の変化を生じさせる変換を採点対象の文字の標準パターンに実施して、その結果であるストローク構成変換標準パターンを出力するストローク構成変換ステップと、
前記入力パターンと前記ストローク構成変換標準パターンとを入力として、字形の中で同じ部分に当たる２つのパターン中のそれぞれのストローク同士を組とした対応付けを出力するストローク対応付けステップと、
前記ストロークの対応付けを用いて前記検出対象ストローク構成差異群に含まれるストローク構成の差異を特定するストロークおよびサブストロークに対応する前記入力パターン中のストロークおよびサブストロークを求め、それらの前記入力パターン中のストロークおよびサブストロークに対して、前記検出対象ストローク構成差異群中のすべてのストローク構成の差異が発生した後のストロークの構成から発生前のストロークの構成へ変化させる逆変換を実施し、その結果であるストローク構成逆変換入力パターンを出力するストローク構成逆変換ステップと、
前記標準パターンを基準として前記ストローク構成逆変換入力パターンが文字として図形的に正しい特徴を備えているかを評価した結果に、前記検出対象ストローク構成差異群中のすべてのストローク構成の差異が発生していることに対する減点があることへの評価を含ませた上で、前記入力パターンが標準パターンと比較して正しいか否かの採点結果として出力する文字評価ステップと、
を、有することを特徴とする。

この構成によれば、採点処理において入力パターン側にストローク構成差異による変化の逆変換を施すのに対し、採点の基準となる標準パターン側には変換等を行わないので、標準パターンに付随した採点での判定方法や基準をそのまま使うことが出来る。

本発明に係る文字自動採点方法の第２の構成は、前記ストローク構成変換ステップ、前記ストローク対応付けステップ、前記ストローク構成逆変換ステップ、および、前記文字評価ステップの４つのステップから成る文字採点ステップを一つの前記入力パターンに対して複数回実施する際に、
該複数回の文字採点ステップでは、すべての文字採点ステップで同じ前記標準パターンと前記入力パターンとを用い、一つの文字採点ステップではストローク構成差異群を空集合として前記ストローク構成逆変換入力パターンは前記入力パターンと同じとし、それ以外の文字採点ステップではすべて異なる前記検出対象ストローク構成差異群を用いることとし、
該複数回の文字採点ステップで出力した複数の前記採点結果のうち、正答により近いという意味でもっとも高得点の前記採点結果を、最終採点結果とすることを特徴とする。

この構成によれば、いずれの文字採点ステップでもっとも良い採点結果が得られたかにより、発生したストローク構成差異を同定することが出来る。

本発明に係る文字自動採点方法の第３の構成は、第２の構成において前記複数回の文字採点ステップで出力した前記複数採点結果のうちもっとも高得点の前記採点結果を得た後、
もっとも高得点の前記採点結果を出力した前記採点ステップでのストローク構成逆変換入力パターンを、前記文字評価ステップとは異なる方法により、前記標準パターンを基準として文字として図形的に正しい特徴を備えているかを評価した採点結果を最終採点結果として出力するステップを設けることを特徴とする。

この構成によれば、発生したストローク構成差異を同定するための点数評価と、採点結果を閲覧するユーザーに向けた点数評価とを分離できるので、ストローク構成差異の同定は必要最小限の簡素な点数評価とする一方で、ユーザー向けの表示には採点結果に納得出来るようにより詳細な点数評価とすることが可能となる。

本発明に係る文字自動採点装置の第１の構成は、採点対象の文字のストロークとストロークを構成するサブストロークとの座標情報により表現された標準パターンと入力パターンとが与えられ、該入力パターンが標準パターンと比較して、正しいか否かの評価を行う文字自動採点装置において、
字形の中の同じ部分に当たる前記標準パターン中のサブストロークと前記入力パターン中のサブストロークとの組の、２つの組について、前記標準パターンと前記入力パターンとのいずれかのパターンでは該２つの組のそれぞれの中の２つのサブストロークが同じストロークに含まれ、他方のパターンでは該２つの組のそれぞれの中の２つのサブストロークが同じストロークに含まれない場合には、前記標準パターンと前記入力パターンとの間でのストローク構成の差異があるとし、
字形の中の同じ部分に当たる前記標準パターン中のストロークと前記入力パターン中のストロークとが、筆記方向が逆向きである場合も、前記標準パターンと前記入力パターンとの間でのストローク構成の差異があるとし、
採点対象の文字での、ストロークおよびサブストロークを特定した一つ以上の前記ストローク構成の差異を、採点処理にて検出する対象とすることと予め定めて、これを検出対象ストローク構成差異群とし、
該検出対象ストローク構成差異群中のすべてのストローク構成の差異が発生した場合のストローク構成の変化を生じさせる変換を採点対象の文字の標準パターンに実施して、その結果であるストローク構成変換標準パターンを出力するストローク構成変換手段と、
前記入力パターンと前記ストローク構成変換標準パターンとを入力として、字形の中で同じ部分に当たる２つのパターン中のそれぞれのストローク同士を組とした対応付けを出力するストローク対応付け手段と、
前記ストロークの対応付けを用いて前記検出対象ストローク構成差異群に含まれるストローク構成の差異を特定するストロークおよびサブストロークに対応する前記入力パターン中のストロークおよびサブストロークを求め、それらの前記入力パターン中のストロークおよびサブストロークに対して、前記検出対象ストローク構成差異群中のすべてのストローク構成の差異が発生した後のストロークの構成から発生前のストロークの構成へ変化させる逆変換を実施し、その結果であるストローク構成逆変換入力パターンを出力するストローク構成逆変換手段と、
前記標準パターンを基準として前記ストローク構成逆変換入力パターンが文字として図形的に正しい特徴を備えているかを評価した結果に、前記検出対象ストローク構成差異群中のすべてのストローク構成の差異が発生していることに対する減点があることへの評価を含ませた上で、前記入力パターンが標準パターンと比較して正しいか否かの採点結果として出力する文字評価手段と、
を、有することを特徴とする。

本発明に係る文字自動採点装置の第２の構成は、前記ストローク構成変換手段、前記ストローク対応付け手段、前記ストローク構成逆変換手段、および、前記文字評価手段の４つの手段から成る文字採点手段を一つの前記入力パターンに対して複数個設けて、
該複数個の文字採点手段では、すべての文字採点手段で同じ前記標準パターンと前記入力パターンとを用い、一つの文字採点手段ではストローク構成差異群を空集合として前記ストローク構成逆変換入力パターンは前記入力パターンと同じとし、それ以外の文字採点手段ではすべて異なる前記検出対象ストローク構成差異群を用いることとし、
該複数個の文字採点手段で出力した複数の前記採点結果のうち、正答により近いという意味でもっとも高得点の前記採点結果を、最終採点結果とすることを特徴とする。

本発明に係る文字自動採点装置の第３の構成は、前記複数回の文字採点手段で出力した前記複数採点結果のうちもっとも高得点の前記採点結果を得た後、
もっとも高得点の前記採点結果を出力した前記採点手段でのストローク構成逆変換入力パターンを、前記文字評価手段とは異なる方法により、前記標準パターンを基準として文字として図形的に正しい特徴を備えているかを評価した採点結果を最終採点結果として出力する手段を設けることを特徴とする。

本発明に係る文字自動採点プログラムの構成は、第１乃至第３の構成に関わる文字自動採点方法をコンピュータに実行させることを特徴とする。

以上説明したように本発明によれば、比較による採点処理において、入力パターン側にストローク構成の逆変換を施すのに対し、採点の基準となる標準パターン側には変換等を行わないので、標準パターンに付随した採点の判定方法や基準をそのまま使いながら、ストローク構成の差異を検出することが出来る。また、ストローク構成の差異に関わる誤りは逆変換により取り除かれた状態で比較を行うので、これ以外の誤りについてはストローク構成の差異に影響を受けない明瞭な採点の根拠を閲覧者に表示することが出来る。

ストローク構成の差異の同定は行わない書き取り採点処理の概要を示す図である。 本発明の実施例での、“廿”の字の標準パターンと入力パターン、および、それらに変換・逆変換を施したパターンの例である。 本発明の実施例での、“階”の字の標準パターンと入力パターンとの例である。 本発明の実施例での、ストローク構成差異に関わる減点情報の、図３の標準パターンに対応した例である。 本発明の実施例に係る書き取り採点装置の部分の概念的な構成図である。 本発明の実施例に係る書き取り採点装置の全体の概念的な構成図である。 本発明の実施例に係る採点方式を実装したプログラムの概略である。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

図１は、ストローク構成の差異の同定は行わない書き取り採点処理の概要を示す図である。採点処理では、最初に正答となる標準パターンとユーザーによる入力パターンとの間で“ストロークの対応付け” （１１００）を行う。次に、対応付けられたストローク同士で“サブストロークの対応付け” （１２００）を行う。最後に、対応付けられたストロークとサブストロークとの図形的特徴や相互の関係などに対して“点数評価”（１３００）を行う。

図２は、“廿”の字の標準パターンと入力パターン、および、それらに変換・逆変換を施したパターンの例である。図２では、字形におけるストロークの区切りと方向とを明示するために、ストロークを矢印で記し、ストロークとストロークとの間はすきまを空けるようにしている。これは説明のための表記であり、実際の手書き入力時等において、図２のような表示が行われる訳ではない。以下、図３、および、図５においても、同様な方法でストロークを表記している。

図２中、２１００の枠内に表記された字形が標準パターンであり、２３００の枠内に表記された字形が入力パターンである。正しい“廿”の字は４画であり、標準パターンである２１００の枠内の２１０１、２１０２、２１０３、２１０４がそれら４つのストロークである。一方、２３００の枠内の入力パターンは、誤って３ストロークで書かれており、２３０１、２３０２、２３０３がそれら３つのストロークである。

図２中２３００に示す、ストロークの構成に差異がある（この場合は、２つのストローク間が接続している）入力パターンに対して図１に示した採点処理を行うと、２１００の標準パターンとの“ストロークの対応付けの処理”（図１中での１１００）では、例えば、「２１０１と２３０１、２１０２と２３０２、２１０３と２３０３」というような対応付けが得られる。このため、２３０４は「対応付かないストロークである」というような採点結果となる。このようなストローク対応付けに基づいて“サブストロークの対応付け処理” （図１中での１２００）を行うと、２１０２のストローク中のサブストロークと２３０２のストローク中のサブストロークとの対応付けにおいて、例えば、「余分なサブストロークがある」というような採点結果となる。２１０２のストローク中のサブストロークと２３０２のストローク中のサブストロークとを無理やり対応付けた場合には、“点数評価” （図１中での１３００）にて、標準パターンと入力パターンとで「ストロークの形の相違が大きい」という結果になる。

このような「対応付かないストロークがある」「余分なサブストロークがある」「ストロークの形の相違が大きい」といった採点結果は、２１００と２３００との字形を比べた際、的を射た指摘とはなっていない。この場合は、「２つのストローク間が間違って接続されている」が的を射た指摘となり、この指摘に基づいて減点幅等を決めるべきである。以下では図２を用いて、本発明により「２つのストローク間が間違って接続されている」という指摘を行う方法の概略を示す。

“廿”の字に関して、発生し得るストローク構成に差異には、「第２ストローク（２１０２）と第４ストローク（２１０４）とが接続されている」「第３ストローク（２１０３）と第４ストローク（２１０４）とが接続されている」「それぞれのストロークが逆の筆記方向である」などの事象がある。本発明では、「ストローク構成に差異が無い」という事象も含めて、それぞれの事象が発生したと仮定した採点処理を行い、これらの中から正答により近いという意味でもっとも高得点の採点結果となった事象が発生したと結論付ける。

図２では、「第２ストローク（２１０２）と第４ストローク（２１０４）とが接続されている」というストローク構成差異が発生したと仮定した場合についての処理の概要を説明する。この場合、まずこのストローク構成差異が発生した場合のストローク構成の変化を生じさせる変換を標準パターン（２１００）に実施して、ストローク構成が変換された標準パターンである２２００の枠内のパターン（ストローク構成変換標準パターン）を作成する。すなわち、「２１０２のストロークと２１０４のストロークとを接続して、２２０２のストロークとする」という変換により、２２００のストローク構成変換標準パターンは作成されている。

次に、ストローク構成変換標準パターン（２２００）と入力パターン（２３００）との間で、ストロークの対応付け（図１中での１１００相当）を行う。どのようなストロークの対応付け方法を採るかは本発明には直接関係しないが、例えば、特開２０１３−４７５０６号公報に記された方法を使うことが出来る。この結果、例えば「２２０１と２３０１、２２０２と２３０２、２２０３と２３０３」という対応付けを得る。

次に、得られた対応付けに基づき、「２１０２のストロークと２１０４のストロークとを接続して、２２０２のストロークとする」という変換の逆変換を、入力パターン（２３００）に対して行う。これによってストローク構成が逆変換された入力パターンである２４００の枠内のパターン（ストローク構成逆変換入力パターン）が作成される。すなわち、２２０２のストロークは２３０２のストロークに対応しているので、逆変換により２３０２のストロークは、２４０２のストロークと２４０３のストロークとに断裂される。

次に、標準パターン（２１００）とストローク構成逆変換入力パターン（２４００）とを対象として、ストロークの対応付け処理（図１中での１１００相当）、サブストロークの対応付け処理（図１中での１２００相当）、点数評価処理（図１中での１３００相当）からなる文字評価処理を行う。これらにより、「第２ストローク（２１０２）と第４ストローク（２１０４）とが接続されている」というストローク構成差異が発生したと仮定した場合の採点結果が得られる。同様に他のストローク構成差異が発生した場合、あるいは、複数のストローク構成差異が発生した場合についても、ストローク構成変換標準パターンの作成、入力パターンとストローク構成変換標準パターンとのストローク対応付け、ストローク構成逆変換入力パターンの作成、標準パターンとストローク構成逆変換入力パターンとの “ストロークの対応付け”、“サブストロークの対応付け”、“点数評価”を行って採点結果を求める。それらの採点結果を比較して、もっとも良い採点結果をもたらしたストローク構成差異が発生したと結論付ける。図２に示した例では、２１００の字形と２４００の字形とはよく一致しており、「第２ストローク（２１０２）と第４ストローク（２１０４）とが接続されている」というストローク構成差異が発生したと結論付けることになる。

以上図２を用いて説明した処理により、例えば書き取り試験を受けたユーザーへは、「第２ストローク（２１０２）と第４ストローク（２１０４）とが接続されている」との指摘とそれに伴う減点とが表示される。これは、ストロークの構成に差異があることを指摘する的を射た表示となる。これに加えて、標準パターン（２１００）と逆変換された入力パターン（２４００）とを対象として行ったストローク構成の差異に関係ない採点結果も表示される。この表示は、ストロークの構成に差異があることには影響を受けていない内容であること、正しい字形である標準パターン（２１００）との比較であることから、ユーザーには理解しやすいものとなる。

また、以上の記述に従えば、図２の例では標準パターン（２１００）とストローク構成逆変換入力パターン（２４００）とを比較するので、２４０３のストロークが２４０４のストロークよりも先に書かれているという「筆順の過ち」を指摘することになる。これについては、前記の逆変換により生じたストロークについては筆順を問題視しないこととして指摘をしないようにしても良い。また、筆順上で連続しないストロークを接続したと言う意味で、「筆順の過ち」をそのまま指摘することとしても良い。

実施例１ではストローク構成に差異がある誤りが単独で発生した場合の処理を説明した。実施例２では、ストローク構成に差異がある誤りが複数発生した場合を含む、より一般的な場合について、発明者が行った実装方法を含めて詳細に説明する。

図３に、実施例２で扱う“階”の字の、標準パターン（３１００の枠内）と入力パターン（３２００の枠内）とを示す。標準パターンは、３１０１のストロークから３１１２のストロークまでの１２ストロークからなる。これに対して入力パターン（３２００）では、標準パターンでの３１０１のストロークと３１０２のストロークとが誤って接続して３２０１のストロークとなっている。また、標準パターンでの３１０５のストロークが誤って断裂して３２０４のストロークと３２０５のストロークとになっている。さらに標準パターンでの３１０４のストロークは、筆記方法が逆の３２０３のストロークになっている。なお、図２と同様に、図３でも１つのストロークを１つの矢印で表記している。

図４に、本発明の実施例での、ストローク構成差異に関わる減点情報の、図３の標準パターン３１００に対応した例である。この減点情報とは、“階”の字の３１００の標準パターンに基づく採点処理に固有の減点項目の一覧のことを指す。例えば、図３中３１１１のストロークと３１１２のストロークとが一定基準内で平行であることの減点項目なども減点情報に含めることが出来るが、そのような減点項目は本発明とは直接関係が無いので、図４中では記していない。また、例えば、標準パターンと入力パターンとの対応する２つのストロークの角度の差が一定範囲内であるか否かというような減点項目は、すべてのストロークについてチェックが行われるため減点情報の中には含めない等の実装上での整理もあるが、本発明とは直接関係が無いためそのような事柄についての記述も省略する。

図４のストローク構成差異減点情報は、構造化データフォーマットであるYAMLを用いて記している。図４中２行目から７行目までが一つの減点項目を示している。３行目は後の説明のために便宜的に与えられた、減点項目の番号が記述されている。４行目には、「ストロークが誤って接続された」という誤りであることが記述されている。５行目と６行目には、誤って接続されるストロークが、第１ストロークと第２ストロークとであることが記述されている。７行目には、この誤りが発生した場合、１５点の減点が課せられることが記述されている。以上より、図４中２行目から７行目までに記述された減点情報は、“第１の減点項目として、図３の標準パターン（３１００）の第１ストローク（３１０１）と第２ストローク（３１０２）とに対応するストロークが誤って接続された場合は、１５点が減点される”という内容になっている。

同様に図４中８行目から１３行目までに記述された減点情報は、“第２（図４中９行目）の減点項目として、図３の標準パターン（３１００）の３１０５の第５ストローク（図４中１１行目）が、第２サブストローク（図４中１２行目）から誤って断裂された（図４中１０行目）場合は、１５点減点される（図４中１３行目）”という内容となっている。図４中１４行目から１８行目までに記述された減点情報は、“第３（図４中１５行目）の減点項目として、図３の標準パターン（３１００）の３１０４の第４ストローク（図４中１７行目）が誤って筆記方向が逆である（図４中１６行目）場合は、１０点減点される（図４中１８行目）”という内容となっている。図４中１９行目から２３行目までに記述された減点情報は、“第４（図４中２０行目）の減点項目として、図３の標準パターン（３１００）の３１０６の第６ストローク（図４中２２行目）が筆記方向が逆である（図４中２１行目）場合は、１０点減点される（図４中２３行目）”という内容となっている。

図４に記したストローク構成差異減点情報は、ストローク番号等で特定した誤りに対して減点幅を記述しているという意味の他に、ストローク構成差異として検出の対象とする誤りは、記述された４つだけであることも意味している。すなわち、ストローク構成差異による誤りは図４の減点情報に記述したもの以外もあるが、発生頻度が少ないことを考慮して、減点情報に記したストローク構成差異以外については上述の的を射た指摘や減点幅をユーザーに表示することはしないという仕様の実装としている。これとは異なる実装の方法も可能である。

異なる実装の例としては、予め条件を定めておいて、その条件を満たすストローク構成差異による誤りについてはすべて検出の対象とするという方法がある。例えば、右あがり（左さがり）の１つのサブストロークから成るストロークについては、筆記方法が逆であるという誤りの検出を行うというような条件を定めても良い。その場合、図４の減点情報中の第４の減点項目相当はストローク構成差異の検出対象となるが、第３の減点項目相当はストローク構成差異の検出対象とならない。別の例としては、終点と始点とが一定の基準内で同じ位置にある場合は、ストローク間が接続される誤りの検出を行うというような条件を定めても良い。図４の減点情報中の第１の減点項目相当は、この条件によりストローク構成差異の検出対象となる。また別の例としては、明朝体のフォントにおいて図形的に２つの線分となっている一つのストロークは、ストロークが断裂される誤りの検出を行うというような条件を定めても良い。図４の減点情報中の第２の減点項目相当は、この条件によりストローク構成差異の検出対象となる。また、以上のような条件を定めることによる減点項目の生成は、採点時にオンライン処理として行う方法も、オフライン処理として行って図４に示した減点情報のようなファイルをオンライン処理に供給する方法も、いずれも可能である。標準パターンの図形的特徴などを捉えてストロークの構成の差異による誤りの検出対象を定める方法は無数に考えられるが、いずれも本発明の枠組み内での工夫である。

図４中に記述した４つの減点項目のストローク構成差異による誤りは、それぞれ独立に発生し得る。よって、それぞれが発生しているか否かにより、２の４乗の１６種類の事象が想定される。その１６種類の事象のそれぞれについて、図２を用いて説明したような採点結果もしくはこれに準じた評価結果を求める処理を行う。１６種類の一つの場合についてその処理を行う採点装置の概念的な構成図が図５であり、図５に記述した採点装置の１６種類分の結果を取りまとめる装置の構成図が図６である。

図５は、上述のとおり、本発明の実施例に係る書き取り採点装置の部分の概念的な構成図である。図５では、図４に示した減点情報中の第１、第２、第３の減点項目相当のストローク構成差異の誤りが発生し、第４の減点項目相当のストローク構成差異の誤りは発生していないという事象を仮定した際の動作での情報・データを例として示している。すなわち、これに沿った値で、図５中のストローク構成差異検出対象情報（５００１）は、第１から第４までの減点項目のストローク構成差異の検出の対象／非対象の区別を保持している。

図５中、ストローク構成変換手段（５３０１）は、減点情報（５００３）中に含まれるストローク構成差異減点情報（５００４）をストローク構成差異検出対象情報（５００１）に従って取捨選択して参照し、標準パターン（３１００）をストローク構成変換標準パターン（５１００）に変換する。ここでのストローク構成差異減点情報（５００４）の内容が、図４に示したストローク構成差異減点情報となる。ストローク構成変換標準パターン（５１００）では、ストローク構成差異検出対象情報（５００１）に基づき、第１ストロークと第２ストロークとが接続され、第５ストロークが断裂され、第４ストロークは筆記方向が逆となっている。ストローク構成差異検出対象情報（５００１）中の第４の減点項目が非対象であることより、第６ストロークは筆記方向が逆となっていない。なお、図２と同様に、図５でも１つのストロークを１つの矢印で表記している。

次に、ストローク対応付け手段（５３０２）は、ストローク構成変換標準パターン（５１００）と入力パターン（３２００）とを入力として、ストローク対応づけ情報（５００２）を出力する。次に、ストローク構成逆変換手段（５３０３）は、ストローク構成差異減点情報（５００４）をストローク構成差異検出対象情報（５００１）に従って取捨選択して参照し、入力パターン（３２００）をストローク構成逆変換入力パターン（５２００）に逆変換する。その際、逆変換の対象となるストロークは、ストローク対応づけ情報（５００２）を用いて、減点項目で指定されたストロークに対応する入力パターン中のストロークを求めることにより決定する。

次に、文字評価手段（５３０４）は、ストローク構成逆変換入力パターン（５２００）と標準パターン（３１００）とを入力として、図１に示した“ストロークの対応付け”、“サブストロークの対応付け”、“点数評価”よりなる採点処理を行い、その採点結果（５００５）を出力する。その際、ストローク構成差異減点情報（５００４）をストローク構成差異検出対象情報（５００１）で取捨選択した減点項目中の減点幅（図４中７行目、１３行目、１８行目）を採点結果に反映させる。

図５に示した実施例では、漢字採点と同じ方法で採点結果を出力する文字評価手段（５３０４）を用いて採点結果（５００５）を出力することとしているが、そのような漢字採点と同じではない方法で評価値を出力する方法を採ることも出来る。そのような別の方法の第１の例として、ストローク構成逆変換入力パターン（５２００）と標準パターン（３１００）とのストロークが明確に対応しているか否かの指標を評価値として出力する方法でも良い。例えば、特開２０１３−４７５０６号公報に記された順序距離の合計値を評価値としても良い。また、別の方法の第２の例として、一般の漢字採点から筆順の誤りの減点項目を除いた採点結果を評価値としても良い。この第１の例は一般の漢字採点の方法との違いは大きく、第２の例では違いは小さい。この２つの例の間にさまざまなレベルの評価方法が考えられるが、標準パターン（３１００）との比較において評価するものであれば、漢字採点に元々必要な評価機能であり、新たな評価機能を追加して作成する必要がない。

図５に示した実施例では、入力パターン（３２００）から逆変換によりストローク構成逆変換入力パターンを作成する際に、図３中３２００の入力パターンの３２０４のストロークと３２０５のストロークとを接続している。３２０４のストロークと３２０５のストロークとは一方の終点が他方の始点となる関係には無いため、接続する方法は複数ある。図５では、３２０４のストロークの終点と３２０５のストロークの始点との中点を求め、３２０４の始点から該中点、該中点から３２０５の終点をこの順で結んで、接続されたストロークとしている。これ以外にも、３２０４の始点から３２０４の終点、３２０４の終点から３２０５の始点、３２０５の始点から３２０５の終点を結ぶ方法などがある。また、３２０４のストロークと３２０５のストロークとの位置関係とは異なる位置関係にある２つのストロークを接続する場合には、その位置関係に応じた様々な方法が考えられるが、いずれも本発明の枠組み内での工夫である。

図５に示した実施例では、ストローク構成変換手段（５３０１）による変換、および、ストローク構成逆変換手段（５３０３）による逆変換において、対象となるストローク構成差異の順序を変えても、変換結果に影響は無い。しかしながら、例えば、同じストロークに対して“断裂してから筆記方向逆転”と“筆記方向逆転してから断裂”との場合のように、単純な実装では順序が異なれば違う変換結果となる場合もある。このため、定められた規則によりストローク構成差異をソートしてから変換・逆変換を実施するなどの実装上の配慮が必要になる。

図６は、上述のとおり、本発明の実施例に係る書き取り採点装置の全体の概念的な構成図である。前述のストローク構成差異を検出対象とするか否かによる１６種類の事象に対応した文字採点手段のうち、図には４つのみ（６０１０、６０２０、６１５０、６１６０）が記され、残りの記述は省略している。図５全体が、６１５０の文字採点手段に相当し、５００１のストローク構成差異検出対象情報と、５００５の採点結果とは、図５中に記述したものと同一のものである。この２つ以外の図５中の情報・パターン・手段は、記述を省略している。また、記述を省略されたものを含めた他の文字採点手段にも、それぞれ異なるストローク構成差異検出対象情報が配備され、これらの情報の違いにより異なった採点結果が採点比較手段（６２００）に入力される。

採点比較手段（６２００）では、採点結果（６０１５、６０２５、５００５、６１６５、その他記述を省略したもの）を比較し、正答により近いという意味でもっとも高得点である採点結果を最終採点結果（６２０５）として出力する。これがユーザーに表示される。最終採点結果（６２０５）、および、これの基となる採点結果（６０１５、６０２５、５００５、６１６５）に、減点の対象となった減点項目の指摘とその減点幅を含めることとして、それらをユーザ−に表示すれば、ユーザーは採点結果に納得しやすくなる。

図６中の文字採点手段（６０１０、６０２０、６１５０、６１６０、その他記述を省略したもの）の処理は、ストローク構成差異検出対象情報（６０１１、６０２１、５００１、６１６１、その他記述を省略したもの）の値によっては、無理のあるストローク対応付け情報（図５での５００２相当）が得られたり、意味の無いストローク構成逆変換入力パターン（図５での５２００相当）が得られたりする場合も発生するが、そのような場合の採点結果（図５での５００５相当）は良くないものとなり、これが最終採点結果（６２０５）となることは無い。ストローク構成差異検出対象情報（５００１）が標準パターンと入力パターンとの差異を的確に反映したものである場合の採点結果が、最終採点結果（６２０５）となる。

図７は、本発明の実施例での、採点方式を実装したプログラムの概略である。図７に概略を示したプログラムは、実施例２に示した装置と同等に動作する。なお、図７のプログラムでは、標準パターン（図５中では３１００）を“standard_pattern”として、入力パターン（図５中では３２００）を“input_pattern”を入力済みであるとしている。

図７中１行目では、減点情報に記述されたストローク構成差異情報中の減点項目を格納する配列“demerit_array”を作成する。実施例２での図３、図４、図５、および、図６の例では、“demerit_array”に４つの減点項目が格納される。すなわち、図４中の、“incorrectly_united_strokes”が１つ、“incorrectly_divided_stroke”が１つ、“reverse_stroke”が２つの、計４つの減点項目が格納される。

図７中２行目では、図６にて採点比較手段（６２００）が文字採点手段（６０１０、６０２０、．．．、６１５０、６１６０）での採点結果（６０１５、６０２５、．．．、５００５、６１６５）の中から最も良い採点結果を選択することに相当する処理を行うために、得点が最大の採点結果を求めるための変数“best_marking”を定義し、その属性“points”の値が十分絶対値が大きい負の数（JavaScript(TM)では、-Number.MAX_VALUEなど）であるダミーの採点結果オブジェクトを初期値として設定する。なお、採点結果オブジェクトに、得点を表す属性“points”以外に、ユーザーに指摘する誤りやそれによる減点幅などを属性として定義すれば、最終的には得点が一番大きかった採点結果オブジェクトとしてそれら属性をユーザーに表示することが出来る。

図７中３行目には、各繰り返しのそれぞれの回が図６中の文字採点手段（６０１０、６０２０、．．．、６１５０、６１６０）に対応する繰り返し処理が記述されている。実施例２でのその繰り返しの回数は、図４中に記述した４つの減点項目のそれぞれが発生しているか否かにより、２の４乗の１６回となる。

図７中４行目では、図７中３行目による繰り返しが何回目であるかにより、“demerit_array”に格納された減点項目のストローク構成差異を検出対象とするか否かを表すビット列“mask”を求めている。このビット列は、図５中のストローク構成差異検出対象情報（５００１）に相当する。実施例２の場合では、繰り返しによりビット列“mask”の値は、“0000”、“0001”、“0010”、“0011”、…、“1110”、“1111”のように変化し、“1”であれば図５中のストローク構成差異検出対象情報（５００１）での“対象”に、“0”であれば“非対象”に対応させる。

図７中５行目から９行目では、ビット列“mask”の“0”もしくは“1”の値に応じて該当する“demerit_array”に格納された減点項目に相当するストローク構成差異の変換を、標準パターンをコピーしたものに適用する。これは、図５中のストローク構成変換手段（５３０１）と同様の処理を行うこととなり、作成された“transformed_standard”は図５中のストローク構成変換標準パターン（５１００）と等しい。

図７中１０行目の標準パターン“input_pattern”とストローク構成変換標準パターン“transformed_standard”とのストロークの対応付け“correspondence”を求める処理は、図５中のストローク対応付け手段（５３０２）による処理と同等である。

図７中１１行目から１５行目では、ビット列“mask”の“0”もしくは“1”の値に応じて該当する“demerit_array”に格納された減点項目に相当するストローク構成差異の逆変換を、入力パターンをコピーしたものに適用する。これは、図５中のストローク構成逆変換手段（５３０３）と同様の処理を行うこととなり、作成された“transformed_input”は図５中のストローク構成逆変換入力パターン（５２００）と等しい。この際、減点情報で指定されたストロークに対応する入力パターン中のストロークを、ストロークの対応付け“correspondence”を用いて求めることも、図５中のストローク構成変換手段（５３０３）と同等である。

図７中１６行目の標準パターン“standard_pattern”を基準として、ストローク構成逆変換入力パターン“transformed_input”を採点した結果のオブジェクト“marking”を求める処理は、文字評価点手段（５３０４）による処理と同等である。その際、ビット列“mask”により取捨選択した減点項目中の減点幅を採点結果に反映させることも、文字評価手段（５３０４）による処理と同等である。

図７中１７行目から１９行目では、３行目による繰り返し処理のそれぞれの回で得られた採点結果のうち、最も良い採点結果を“best_marking”に保持していくための処理である。この最も良い採点結果を選ぶ処理は、図６中の採点比較手段（６２００）による処理と同等である。

図７中２０行の“best_marking”を出力する処理は、図６中の最終採点結果（６２０５）を出力することと同等である。得点である“best_marking.points”以外に減点項目の指摘とその減点幅を含めて表示することが可能であることも、図６と同等である。

漢字を含むストロークにより構成される文字について、手書きで入力したパターンを自動採点する際に適用できる技術であり、ストロークの構成が異なる入力パターンの誤りを同定して採点結果に反映させることを可能とする。

１１００ ストロークの対応付け
１２００ サブストロークの対応付け
１３００ 点数評価
２１００ “廿”の字の標準パターン
２２００ “廿”の字のストローク構成変換標準パターン
２３００ “廿”の字の入力パターン
２４００ “廿”の字のストローク構成逆変換入力パターン
２１０１〜２１０４、２２０１〜２２０３、２３０１〜２３０３、２４０１〜２４０４ ストローク
３１００ “階”の字の標準パターン
３２００ “階”の字の入力パターン
３１０１〜３１１２、３２０１〜３２１２ ストローク
５００１ ストローク構成差異検出対象情報
５００２ ストローク対応付け情報
５００３ 減点情報
５００４ ストローク構成差異減点情報
５００５ 採点結果
５１００ “階”の字のストローク構成変換標準パターン
５２００ “階”の字のストローク構成逆変換入力パターン
５３０１ ストローク構成変換手段
５３０２ ストローク対応付け手段
５３０３ ストローク構成逆変換手段
５３０４ 文字評価手段
６０１０、６０２０、６１５０、６１６０ 文字採点手段
６０１１、６０２１、６１６１ ストローク構成差異検出対象情報
６０１５、６０２５、６１６５ 採点結果
６２００ 採点比較手段
６２０５ 最終採点結果

Claims (7)

1. 採点対象の文字のストロークとストロークを構成するサブストロークとの座標情報により表現された標準パターンと入力パターンとが与えられ、該入力パターンが標準パターンと比較して、正しいか否かの評価を行う文字自動採点方法において、
   字形の中の同じ部分に当たる前記標準パターン中のサブストロークと前記入力パターン中のサブストロークとの組の、２つの組について、前記標準パターンと前記入力パターンとのいずれかのパターンでは該２つの組のそれぞれの中の２つのサブストロークが同じストロークに含まれ、他方のパターンでは該２つの組のそれぞれの中の２つのサブストロークが同じストロークに含まれない場合には、前記標準パターンと前記入力パターンとの間でのストローク構成の差異があるとし、
   字形の中の同じ部分に当たる前記標準パターン中のストロークと前記入力パターン中のストロークとが、筆記方向が逆向きである場合も、前記標準パターンと前記入力パターンとの間でのストローク構成の差異があるとし、
   採点対象の文字での、ストロークおよびサブストロークを特定した一つ以上の前記ストローク構成の差異を、採点処理にて検出する対象とすることと予め定めて、これを検出対象ストローク構成差異群とし、
   該検出対象ストローク構成差異群中のすべてのストローク構成の差異が発生した場合のストローク構成の変化を生じさせる変換を採点対象の文字の標準パターンに実施して、その結果であるストローク構成変換標準パターンを出力するストローク構成変換ステップと、
   前記入力パターンと前記ストローク構成変換標準パターンとを入力として、字形の中で同じ部分に当たる２つのパターン中のそれぞれのストローク同士を組とした対応付けを出力するストローク対応付けステップと、
   前記ストロークの対応付けを用いて前記検出対象ストローク構成差異群に含まれるストローク構成の差異を特定するストロークおよびサブストロークに対応する前記入力パターン中のストロークおよびサブストロークを求め、それらの前記入力パターン中のストロークおよびサブストロークに対して、前記検出対象ストローク構成差異群中のすべてのストローク構成の差異が発生した後のストロークの構成から発生前のストロークの構成へ変化させる逆変換を実施し、その結果であるストローク構成逆変換入力パターンを出力するストローク構成逆変換ステップと、
   前記標準パターンを基準として前記ストローク構成逆変換入力パターンが文字として図形的に正しい特徴を備えているかを評価した結果に、前記検出対象ストローク構成差異群中のすべてのストローク構成の差異が発生していることに対する減点があることへの評価を含ませた上で、前記入力パターンが標準パターンと比較して正しいか否かの採点結果として出力する文字評価ステップと、
   を、有することを特徴とする文字自動採点方法。
2. 請求項１の前記ストローク構成変換ステップ、前記ストローク対応付けステップ、前記ストローク構成逆変換ステップ、および、前記文字評価ステップの４つのステップから成る文字採点ステップを、一つの前記入力パターンに対して複数回実施する際に、
   該複数回の文字採点ステップでは、すべての文字採点ステップで同じ前記標準パターンと前記入力パターンとを用い、一つの文字採点ステップではストローク構成差異群を空集合として前記ストローク構成逆変換入力パターンは前記入力パターンと同じとし、それ以外の文字採点ステップではすべて異なる前記検出対象ストローク構成差異群を用いることとし、
   該複数回の文字採点ステップで出力した複数の前記採点結果のうち、正答により近いという意味でもっとも高得点の前記採点結果を、最終採点結果とすることを特徴とする文字自動採点方法。
3. 前記複数回の文字採点ステップで出力した前記複数採点結果のうちもっとも高得点の前記採点結果を得た後、
   もっとも高得点の前記採点結果を出力した前記文字採点ステップでのストローク構成逆変換入力パターンを、前記文字評価ステップとは異なる方法により、前記標準パターンを基準として文字として図形的に正しい特徴を備えているかを評価した採点結果を最終採点結果として出力するステップを設けることを特徴とする、請求項２の文字自動採点方法。
4. 採点対象の文字のストロークとストロークを構成するサブストロークとの座標情報により表現された標準パターンと入力パターンとが与えられ、該入力パターンが標準パターンと比較して、正しいか否かの評価を行う文字自動採点装置において、
   字形の中の同じ部分に当たる前記標準パターン中のサブストロークと前記入力パターン中のサブストロークとの組の、２つの組について、前記標準パターンと前記入力パターンとのいずれかのパターンでは該２つの組のそれぞれの中の２つのサブストロークが同じストロークに含まれ、他方のパターンでは該２つの組のそれぞれの中の２つのサブストロークが同じストロークに含まれない場合には、前記標準パターンと前記入力パターンとの間でのストローク構成の差異があるとし、
   字形の中の同じ部分に当たる前記標準パターン中のストロークと前記入力パターン中のストロークとが、筆記方向が逆向きである場合も、前記標準パターンと前記入力パターンとの間でのストローク構成の差異があるとし、
   採点対象の文字での、ストロークおよびサブストロークを特定した一つ以上の前記ストローク構成の差異を、採点処理にて検出する対象とすることと予め定めて、これを検出対象ストローク構成差異群とし、
   該検出対象ストローク構成差異群中のすべてのストローク構成の差異が発生した場合のストローク構成の変化を生じさせる変換を採点対象の文字の標準パターンに実施して、その結果であるストローク構成変換標準パターンを出力するストローク構成変換手段と、
   前記入力パターンと前記ストローク構成変換標準パターンとを入力として、字形の中で同じ部分に当たる２つのパターン中のそれぞれのストローク同士を組とした対応付けを出力するストローク対応付け手段と、
   前記ストロークの対応付けを用いて前記検出対象ストローク構成差異群に含まれるストローク構成の差異を特定するストロークおよびサブストロークに対応する前記入力パターン中のストロークおよびサブストロークを求め、それらの前記入力パターン中のストロークおよびサブストロークに対して、前記検出対象ストローク構成差異群中のすべてのストローク構成の差異が発生した後のストロークの構成から発生前のストロークの構成へ変化させる逆変換を実施し、その結果であるストローク構成逆変換入力パターンを出力するストローク構成逆変換手段と、
   前記標準パターンを基準として前記ストローク構成逆変換入力パターンが文字として図形的に正しい特徴を備えているかを評価した結果に、前記検出対象ストローク構成差異群中のすべてのストローク構成の差異が発生していることに対する減点があることへの評価を含ませた上で、前記入力パターンが標準パターンと比較して正しいか否かの採点結果として出力する文字評価手段と、
   を、有することを特徴とする文字自動採点装置。
5. 請求項４の前記ストローク構成変換手段、前記ストローク対応付け手段、前記ストローク構成逆変換手段、および、前記文字評価手段の４つの手段から成る文字採点手段を一つの前記入力パターンに対して複数個設けて、
   該複数個の文字採点手段では、すべての文字採点手段で同じ前記標準パターンと前記入力パターンとを用い、一つの文字採点手段ではストローク構成差異群を空集合として前記ストローク構成逆変換入力パターンは前記入力パターンと同じとし、それ以外の文字採点手段ではすべて異なる前記検出対象ストローク構成差異群を用いることとし、
   該複数個の文字採点手段で出力した複数の前記採点結果のうち、正答により近いという意味でもっとも高得点の前記採点結果を、最終採点結果とすることを特徴とする文字自動採点装置。
6. 前記複数個の文字採点手段で出力した前記複数文字採点結果のうちもっとも高得点の前記採点結果を得た後、
   もっとも高得点の前記採点結果を出力した前記採点手段でのストローク構成逆変換入力パターンを、前記文字評価手段とは異なる方法により、前記標準パターンを基準として文字として図形的に正しい特徴を備えているかを評価した採点結果を最終採点結果として出力する手段を設けることを特徴とする、請求項５の文字自動採点方法。
7. 請求項１ 乃至請求項３ に記載の文字自動採点方法をコンピュータに実行させることを特徴とするプログラム。