JP3913712B2 - 文字、記号及び図形認識方法とそのプログラムとそのプログラムを記録したコンピュータ読み取り可能な記録媒体と文字、記号及び図形認識システム - Google Patents

文字、記号及び図形認識方法とそのプログラムとそのプログラムを記録したコンピュータ読み取り可能な記録媒体と文字、記号及び図形認識システム Download PDF

Info

Publication number
JP3913712B2
JP3913712B2 JP2003163078A JP2003163078A JP3913712B2 JP 3913712 B2 JP3913712 B2 JP 3913712B2 JP 2003163078 A JP2003163078 A JP 2003163078A JP 2003163078 A JP2003163078 A JP 2003163078A JP 3913712 B2 JP3913712 B2 JP 3913712B2
Authority
JP
Japan
Prior art keywords
data
image
intersection
character
handwritten
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003163078A
Other languages
English (en)
Other versions
JP2004362483A (ja
Inventor
秀明 山根
Original Assignee
秀明 山根
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 秀明 山根 filed Critical 秀明 山根
Priority to JP2003163078A priority Critical patent/JP3913712B2/ja
Publication of JP2004362483A publication Critical patent/JP2004362483A/ja
Application granted granted Critical
Publication of JP3913712B2 publication Critical patent/JP3913712B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Character Input (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、描かれた文字や記号あるいは図形を認識しその文字や記号あるいは図形の手本と照合して評価する文字、記号及び図形認識方法とそのプログラムとそのプログラムを記録した記録媒体と文字、記号及び図形認識システムに関する。
【0002】
【従来の技術】
従来、文字や記号あるいは図形などをタブレットなどに描き、その内容について読み取り、その内容に基づいて採点などの評価を行う装置について数多く発明されている。
例えば、特許文献1には「自動採点システム」として「外部から入力される記述解答文である画像データを文字認識し、類似する文字数に応じた複数の解答文候補を出力する文字認識手段と、この文字認識手段からの各解答文候補をそれぞれ言語解析して解答モデルを作成する言語解析手段と、この解答文候補のモデルと予め格納されている問題の模範解答とを比較し正解の有無を判定する解答判定手段と、この解答判定手段により正解と判定された解答に対し、予め定める配点に従って採点処理する採点処理手段と」を備える技術が開示されている。
このような技術によれば、単なる択一問題のみならず言語解析によって解答として記載された文章の内容が明確化され、模範解答と照らして正解であるか否かの判断を下すことが可能となる。
【0003】
また、特許文献2には、「自動採点方法及びそのシステム」として「撮像手段により用紙の記入欄中に記載された文字情報を撮像し、該文字撮像データに基づいて各記入欄に記載された文字情報を文字認識した後、各記入欄の認識文字データと各記入欄に対応して予め記憶された基準データとを照合して正誤を判別し、正しいと判断された記入欄に対応して予め記憶された該記入欄の得点を加算処理して総得点を算出可能にする技術が開示されている。
このような技術によれば、所定の用紙の記入欄に記載された文字情報を文字認識して基準データと比較するため、マークシート方式や多枝択一問題方式の解答のみならず、文章による解答においても採点が可能となる。
【0004】
さらに特許文献3には、「筆記データ入力装置およびそのプログラム記録媒体」が開示されている。この技術では記入シートに手書き記入欄が形成されており、この手書き記入欄をタブレット上の入力域として定義し、この手書き記入欄に筆記された情報を筆記データとして取り込んで文字認識する。従って、この手書き記入欄に採点結果などの記入作業を行うことで新たにキー入力によって結果の集計を行う必要がなくなる。
【0005】
【特許文献1】
特開2001−56634号公報
【特許文献2】
特開2001−154573号公報
【特許文献3】
特開平11−31046号公報
【0006】
【発明が解決しようとする課題】
上述のこれらの文字認識技術においては、特許文献1及び特許文献2に開示された技術では、文字全体の羅列の認識をベースとして、その文章の内容を解析するものであり、正答とされるものも複数の文字を含むものである。従って、文字や記号など1つ1つの良否はそれほど問題ではなく、解析の対象となる手書きの文字の大きさと模範解答や基準データに含まれる文字の大きさに整合性がなくとも正解であるか不正解であるかについては解析が可能である。
【0007】
しかしながら、個々の文字や記号、あるいは図形についてその正誤を判断する場合には、それらを構成する画毎あるいは部分毎に比較する必要があり、そのためにはまず手書きの文字等と模範とされる文字等の大きさを統一する必要がある。このような点を鑑みた技術については記載されておらず、手書きの文字等自体が誤記であるか否か、正しい文字等の場合であれば書き順や形状を認識してその良否を判断することができないという課題があった。
【0008】
また、特許文献3に開示された技術では、採点エリアから文字を切り出して文字認識し数値化して得点を計算するが、その文字の内容は、数字であったり○や×といった記号であったりする。この特許文献3に開示された技術では、得点を計算して別途キー入力を省略できる装置を提供するものであるため、特許文献1や2に開示された技術と同様に文字等の認識は、その大きさやあるいは形状の良否まで深く行う必要がなく、単に誤認を行うことがないように実行されることが望まれるのみである。従って、本特許文献に開示された技術においても、手書きの文字等自体の書き順や成立性、あるいは形状について認識してその良否について判断することができないという課題があった。
【0009】
本発明はかかる従来の事情に対処してなされたものであり、手書きの文字、記号あるいは図形をデジタル化し、手本と画毎に比較照合してその正誤又は正答度を判断する文字、記号及び図形認識方法とそのプログラムとそのプログラムを記録したコンピュータ読み取り可能な記録媒体と文字、記号及び図形認識システムを提供することを目的とする。
【0010】
【課題を解決するための手段】
上記目的を達成するため、請求項1記載の発明である文字、記号及び図形認識プログラムは、コンピュータに、手書きの文字、記号又は図形を読み取り、画毎に点の集合とし、デジタル化した座標点データを備える手書きデータを生成する工程と、このデジタル化した手書きデータの中の一の画と,この一の画(以下、自画という。)及び他の画(以下、他画という。)との交差点を検知する工程と、画毎に前記交差点の有無及び交差相手画に関するデータを手書きデータの交差情報データとして取得する工程と、前記手書きデータを第1の記録媒体に格納する工程と、予め第2の記録媒体に格納された手本の文字、記号又は図形を画毎に点の集合とし、デジタル化した座標点データと,この手本の座標点データの中の一の画と,自画及び他画の交差点に関し,画毎に,交差点の有無,交差相手画及び自画の始点からの相対位置を交差情報データとして備える標準データを読み出して、この標準データの交差情報データと、前記第1の記録媒体から読み出した前記手書きデータの交差情報データを画毎に比較照合し前記手書きの文字、記号又は図形の正誤又は正答度を判断する工程と、前記手書きの文字、記号又は図形の正誤又は正答度を出力する工程とを実行させることを特徴とする文字、記号及び図形認識プログラムであって、前記手書きデータの交差点を検知する工程は、自画あるいは他画の交差点を仮交差点として検出し、その仮交差点の座標点データに交差符号を付す工程と、この仮交差点の各画前後の座標点データにその画の書き順に対して順方向から小さな数値を周辺番号として付す工程とを備え、前記仮交差点の各画の周辺番号の並び方によって真の交差点として検知するものである。
上記構成の文字、記号及び図形認識プログラムにおいては、手書きデータと標準データを画毎に比較照合することによって、文字や記号、図形を構成要素に分解した上で、それらの正誤や正答度が判断されるという作用を有する。
【0011】
また、請求項2に記載の発明である文字、記号及び図形認識プログラムは、コンピュータに、手書きの文字、記号又は図形を読み取り、画毎に点の集合とし、デジタル化した座標点データを備える手書きデータを生成する工程と、このデジタル化した手書きデータの中の一の画と、自画及び他画との交差点を検知する工程と、前記手書きデータを第1の記録媒体に格納する工程と、予め第2の記録媒体に格納された手本の文字、記号又は図形を画毎に点の集合とし、デジタル化した座標点データと,この手本の座標点データの中の一の画と,自画及び他画の交差点に関し,画毎に,交差点の有無,交差相手画及び自画の始点からの相対位置を交差情報データとして備える標準データを読み出して、この標準データと、前記第1の記録媒体から読み出した前記手書きデータを比較して前記手書きの文字、記号又は図形の大きさを前記手本の文字、記号又は図形の大きさに合致させる倍率を求める工程と、前記倍率を用いて前記手書きデータを変換して変換データを生成する工程と、前記変換データを第3の記録媒体に格納する工程と、前記変換データと前記標準データを前記第3の記録媒体と前記第2の記録媒体からそれぞれ読み出して、前記変換データの中の一の画と、自画及び他画との交差点を検知する工程と、画毎に前記交差点の有無及び交差相手画に関するデータを変換データの交差情報データとして取得する工程と、前記標準データの交差情報データと、前記変換データの交差情報データを画毎に比較照合し前記手書きの文字、記号又は図形の正誤又は正答度を判断する工程と、前記手書きの文字、記号又は図形の正誤又は正答度を出力する工程とを実行させることを特徴とする文字、記号及び図形認識プログラムであって、前記変換データの交差点を検知する工程は、自画あるいは他画の交差点を仮交差点として検出し、その仮交差点の座標点データに交差符号を付す工程と、この仮交差点の各画前後の座標点データにその画の書き順に対して順方向から小さな数値を周辺番号として付す工程とを備え、前記仮交差点の各画の周辺番号の並び方によって真の交差点として検知するものである。
上記構成の文字、記号及び図形認識方法においては、倍率が、手書きデータを変換して標準データと比較照合可能な変換データに生成されるように作用する。
【0014】
また、請求項に記載の発明である文字、記号及び図形認識プログラムは、請求項に記載の発明の倍率を用いて手書きデータを変換して変換データを生成する工程において、変換データの座標点データ数が標準データの座標点データ数と略同一となるものである。従って、請求項に記載の発明の作用以上に、座標点データを略逐一対照させるという作用を有する。
【0017】
さらに、請求項に記載の発明である文字、記号及び図形認識プログラムは、請求項に記載の発明において、前記標準データは手本の文字の画数データと、画毎にデジタル化された座標点データと、手本の文字に関して跳ね、流れ、丸、丸止めのうち少なくとも1の有無を示す特徴情報データを有し、前記第1の記録媒体から読み出した手書きデータと前記第2の記録媒体から読み出した標準データとを画毎に比較照合し前記手書きの文字、記号又は図形の正誤及び正答度を判断する工程は、前記標準データの特徴情報データに跳ねの存在が示されている場合にその跳ねが存在する画の終了点近傍の座標点データから跳ね角度を算出する工程と、前記跳ねが存在する画の手書きの文字の変換データの終了点近傍の座標点データから跳ね角度を算出する工程と、前記標準データの跳ね角度と前記変換データの跳ね角度を比較して文字の正誤又は正答度を判断する工程を有するものである。
また、請求項5に記載の発明である文字、記号及び図形認識プログラムは、請求項2に記載の発明において、前記標準データは手本の文字の画数データと、画毎にデジタル化された座標点データと、手本の文字に関して跳ね、流れ、丸、丸止めのうち少なくとも1の有無を示す特徴情報データを有し、前記第3の記録媒体から読み出した変換データと前記第2の記録媒体から読み出した標準データとを画毎に比較照合し前記手書きの文字、記号又は図形の正誤及び正答度を判断する工程は、前記標準データの特徴情報データに跳ねの存在が示されている場合にその跳ねが存在する画の終了点近傍の座標点データから跳ね角度を算出する工程と、前記跳ねが存在する画の手書きの文字の変換データの終了点近傍の座標点データから跳ね角度を算出する工程と、前記標準データの跳ね角度と前記変換データの跳ね角度を比較して文字の正誤又は正答度を判断する工程を有するものである。
請求項4及び請求項5に記載の発明においては、標準データに備えられた画数データ、特徴情報データと交差情報データが、より詳細に手書きデータを認識でき、より正確に正誤や正答度を判断可能に作用する。また、手書きの文字の跳ねを標準データの座標点データと変換データの座標点データから跳ね角度を算出し、比較して手書き文字に含まれる跳ねを評価する作用を有する。
【0018】
請求項6に記載の発明である文字、記号及び図形認識プログラムは、請求項に記載の発明において、前記標準データは手本の文字の画数データと、画毎にデジタル化された座標点データと、手本の文字に関して跳ね、流れ、丸、丸止めのうち少なくとも1の有無を示す特徴情報データを有し、前記第1の記録媒体から読み出した手書きデータと前記第2の記録媒体から読み出した標準データとを画毎に比較照合し前記手書きの文字、記号又は図形の正誤及び正答度を判断する工程は、前記標準データの特徴情報データに丸の存在が示されている場合に前記手書きの文字の各画の変換データの開始点と終了点の座標点データからその間の距離を算出する工程と、この距離によって文字の正誤又は正答度を判断する工程を有するものである。
また、請求項7に記載の発明である文字、記号及び図形認識プログラムは、請求項2に記載の発明において、前記標準データは手本の文字の画数データと、画毎にデジタル化された座標点データと、手本の文字に関して跳ね、流れ、丸、丸止めのうち少なくとも1の有無を示す特徴情報データを有し、前記第3の記録媒体から読み出した変換データと前記第2の記録媒体から読み出した標準データとを画毎に比較照合し前記手書きの文字、記号又は図形の正誤及び正答度を判断する工程は、前記標準データの特徴情報データに丸の存在が示されている場合に前記手書きの文字の各画の変換データの開始点と終了点の座標点データからその間の距離を算出する工程と、この距離によって文字の正誤又は正答度を判断する工程を有するものである。
請求項6及び請求項7に記載の発明においては、標準データに備えられた画数データ、特徴情報データと交差情報データが、より詳細に手書きデータを認識でき、より正確に正誤や正答度を判断可能に作用する。また、例えば、ひらがなの「ぴ」の文字には丸が含まれるが、本発明はこのような文字を手書きした場合についてその正誤や正答度を判断するためのものである。このような文字を描いた場合、手書きの文字に含まれる丸はその始点と終点が一致すべきであることから、特徴情報データは、その文字の正誤や正答度を判断するために文字の各画の変換データの開始点と終了点の間の距離の算出に用いられるという作用を有する。
【0019】
請求項に記載の発明である文字、記号及び図形認識プログラムは、請求項に記載の発明において、前記標準データは手本の文字の画数データと、画毎にデジタル化された座標点データと、手本の文字に関して跳ね、流れ、丸、丸止めのうち少なくとも1の有無を示す特徴情報データを有し、前記第1の記録媒体から読み出した手書きデータと前記第2の記録媒体から読み出した標準データとを画毎に比較照合し前記手書きの文字、記号又は図形の正誤及び正答度を判断する工程は、前記標準データの特徴情報データに丸止めの存在が示されている場合に前記手書きの文字の各画の変換データの終了点とこの終了点から逆に予め設定した複数の点までの距離をそれぞれ算出する工程と、この距離によって文字の正誤又は正答度を判断する工程を有するものである。
また、請求項9に記載の発明である文字、記号及び図形認識プログラムは、請求項2に記載の発明において、前記標準データは手本の文字の画数データと、画毎にデジタル化された座標点データと、手本の文字に関して跳ね、流れ、丸、丸止めのうち少なくとも1の有無を示す特徴情報データを有し、前記第3の記録媒体から読み出した変換データと前記第2の記録媒体から読み出した標準データとを画毎に比較照合し前記手書きの文字、記号又は図形の正誤及び正答度を判断する工程は、前記標準データの特徴情報データに丸止めの存在が示されている場合に前記手書きの文字の各画の変換データの終了点とこの終了点から逆に予め設定した複数の点までの距離をそれぞれ算出する工程と、この距離によって文字の正誤又は正答度を判断する工程を有するものである。
請求項8及び請求項9に記載の発明においては、標準データに備えられた画数データ、特徴情報データと交差情報データが、より詳細に手書きデータを認識でき、より正確に正誤や正答度を判断可能に作用する。また、例えばひらがなの「る」の文字の最後は丸を含むように止められるが、本発明はこのような文字を手書きした場合についてその正誤や正答度を判断するためのものである。このような文字を描いた場合、手書きの文字に含まれる丸止めは画の終点が自画のいずれかの部分と一致すべきであることから、特徴情報データは、その文字の正誤や正答度を判断するために文字の各画の変換データの終了点と終了点から逆戻りして得られる複数の点までの距離の算出に用いられるという作用を有する。
【0022】
請求項10に記載の発明である文字、記号及び図形認識システムは、手書きの文字、記号又は図形を入力する入力部と、この入力部に接続され前記手書きの文字、記号又は図形を読み取り、画毎に点の集合とし、デジタル化した座標点データを備える手書きデータを生成する読取部と、この読取部からデジタル化した手書きデータに含まれる文字、記号又は図形の特徴を画毎に読み出して、前記デジタル化した手書きデータの中の一の画と,自画及び他画との交差点を検知して画毎に前記交差点の有無及び交差相手画に関するデータを手書きデータの交差情報データとして取得し、手本の文字、記号又は図形を画毎に点の集合とし、デジタル化した座標点データと,この手本の座標点データの中の一の画と,自画及び他画の交差点に関し,画毎に,交差点の有無,交差相手画及び自画の始点からの相対位置を交差情報データとして備える標準データの交差情報データと、前記手書きデータの交差情報データを、画毎に比較照合して前記手書きの文字、記号又は図形の正誤又は正答度を判断する評価部と、前記手書きの文字、記号又は図形の正誤又は正答度を出力する出力部とを有することを特徴とする文字、記号及び図形認識システムであって、前記評価部による手書きデータの交差点の検知は、自画あるいは他画の交差点を仮交差点として検出し、その仮交差点の座標点データに交差符号を付し、この仮交差点の各画前後の座標点データにその画の書き順に対して順方向から小さな数値を周辺番号として付して、前記仮交差点の各画の周辺番号の並び方によって真の交差点として検知するものである。
上記のように構成された文字、記号及び図形認識システムは、請求項1に記載の文字、記号及び図形認識プログラムをシステムとして捉えた発明であり、読取部で生成される手書きデータが、評価部において標準データを用いて画毎に比較照合され、その正誤や正答度が判断されるという作用を有する。
【0023】
請求項11に記載の発明である文字、記号及び図形認識システムは、手書きの文字、記号又は図形を入力する入力部と、この入力部に接続され前記手書きの文字、記号又は図形を読み取り、画毎に点の集合とし、デジタル化した座標点データを備える手書きデータを生成する読取部と、前記デジタル化した手書きデータを格納する第1の記録媒体と、手本の文字、記号又は図形を画毎に点の集合とし、デジタル化した座標点データと,この手本の座標点データの中の一の画と,自画及び他画の交差点に関し,画毎に,交差点の有無,交差相手画及び自画の始点からの相対位置を交差情報データとして備える標準データを格納する第2の記録媒体と、前記第1の記録媒体から読み出した前記手書きデータと前記第2の記録媒体から読み出した前記標準データを比較して前記手書きの文字、記号又は図形の大きさを前記手本の文字、記号又は図形の大きさに合致させる倍率を求める倍率解析部と、前記倍率を用いて前記手書きデータを変換して変換データを生成する変換部と、前記変換データを格納する第3の記録媒体と、前記変換データと前記標準データを前記第3の記録媒体と前記第2の記録媒体からそれぞれ読み出して、前記変換データの中の一の画と、自画及び他画との交差点を検知して画毎に前記交差点の有無及び交差相手画に関するデータを変換データの交差情報データとして取得し、前記標準データの交差情報データと、画毎に比較照合し前記手書きの文字、記号又は図形の正誤又は正答度を判断する評価部と、前記手書きの文字、記号又は図形の正誤又は正答度を出力する出力部とを有することを特徴とする文字、記号及び図形認識システムであって、前記評価部による変換データの交差点の検知は、自画あるいは他画の交差点を仮交差点として検出し、その仮交差点の座標点データに交差符号を付し、この仮交差点の各画前後の座標点データにその画の書き順に対して順方向から小さな数値を周辺番号として付して、前記仮交差点の各画の周辺番号の並び方によって真の交差点として検知するものである。
上記のように構成された文字、記号及び図形認識システムは、請求項2に記載の文字、記号及び図形認識プログラムをシステムとして捉えた発明であり、倍率解析部が、手書きデータを変換して標準データと比較照合可能な変換データとすべき倍率を解析する作用を有する。その後、その倍率を用いて変換部によって変換データが生成され、評価部では標準データと変換データを照合して手書きの文字、記号又は図形の正誤や正答度が判断される。
【0024】
【発明の実施の形態】
以下に、本発明に係る文字、記号及び図形認識プログラムの実施の形態を図1乃至図34に基づき説明する。(請求項1乃至請求項に対応)
本実施の形態は、手書き文字や記号又は図形を認識して、その正誤や正しい場合に文字や記号あるいは図形としての美しさや出来ばえを判断するために供される方法あるいはプログラムである。具体的には、例えば小学生がタブレットコンピュータなどペン入力可能な装置を用いて、ひらがなや漢字を学習するようなケースに使用されるものである。
【0025】
図1は本発明の実施の形態に係る文字、記号及び図形認識方法及び文字、記号及び図形認識プログラムのフロー図である。本実施の形態の説明では、まず手書き文字を認識して、採点処理する方法について説明する。
図1において、まず、ステップS1は手書きデータ入力工程を示す。この手書きデータ入力工程では、タブレットコンピュータのような軌跡を追うことができる装置などに文字を手書きで入力して、その軌跡を一定の間隔の点の集合として読み取り、その点を座標データとして認識することでデジタル化する。デジタル化した手書き文字データ3は、手書き文字データベース4に格納される。
【0026】
ステップS2は、予め標準文字データベース2に格納され、デジタル化された標準文字データ1と手書き文字データ3の画数を比較する工程を示す。本実施の形態における最大の特徴は、画毎に手本と手書き文字を比較することにあり、まず、この画数で一致することを確認した後、手書き文字の評価を行うものである。
標準文字データ1は手書き文字データ3と同様に、手本となる文字を点の集合として捉え、集合を形成する点の座標、跳ねや丸あるいは丸止めなど文字としての特徴を示す情報、あるいは自画や他画との交差に関する情報を含むものである。
【0027】
画数が等しい場合には、ステップS3において、手書き文字データ3と標準文字データ1の大きさを比較して手書き文字データ3の倍率を演算する。この倍率の演算は、標準文字データ1と比較する手書き文字データ3の大きさが異なると、文字の各画の長さや跳ね、あるいは交差などの特徴が正しく認識できず、その大きさを統一するために行うものである。但し、予め文字を手書きで入力する装置の大きさを調整することによって、手書き文字データ3が、標準文字データ1とほぼ同一の大きさを構成することが予測できるような場合では、倍率を考慮する必要はない。しかしながら、前述のとおり、本実施の形態における最大の特徴である画毎の比較を行う際には、その画毎の標準文字データ1と手書き文字データ3が対応することが重要であるため、このステップS3が設けられている。
【0028】
倍率の演算が終了した後、その倍率に従って拡大あるいは縮小を行い、標準文字データ1と略同一の大きさにするデータ変換を行う。これが、ステップS4である。変換された手書き文字データ3は、変換文字データ5として変換文字データベース6に格納される。このステップS4によって手書き文字データ3は、標準文字データ1の座標点の数と略同一となり、画毎の文字形状の比較が容易となり、従って次のステップS5における採点が容易となる。
【0029】
ステップS5は採点処理の工程を示す。このステップS5では、全角における基本的な評価から各画の基本的な評価をはじめとして、画の長さや跳ね、丸、丸止めなどの文字の特徴情報に基づく評価や交差点に関する評価などを実施する。採点された結果は採点結果データ7aとして採点結果データベース8に格納される。詳細には図15を参照しながら後述する。
【0030】
ステップS6は、ステップS2において画数が異なった場合、あるいはステップS5において文字の成立として必要な条件を満足しなかった場合などに、誤字と判断する工程を示している。誤字判断の結果は、誤字判断結果データ9として誤字判断結果データベース10に格納される。
【0031】
ステップS7は、ステップS5における採点処理を受けて、総合的な採点を行う工程である。ステップS7では、ステップS6の誤字判断処理とは異なり、文字として成立していることを前提に、文字の辺とつくりのバランスや跳ねや交差点の位置など美的外観上の良否を判断して総合的に採点を施すものである。総合的な採点結果は、採点結果データベース8に総合採点データ7bとして格納される。
【0032】
このステップS7とステップS6の採点と判断を受けてステップS8では、その結果を出力する工程である。出力方法は、コンピュータの画面上に表示するものであったり、音声を伴うものであったり、プリンターに印字するものであったりどのような方法でもよく限定するものではない。また、特定の箇所に例えば赤色で着色したり、ハッチングを施したり、文字の濃度を変更したり学習者が留意すべき点を強調するようなものであると好適である。
【0033】
次に、図2に示す具体例を参照しながら、本実施の形態に係る文字、記号及び図形認識方法と文字、記号及び図形認識プログラムについて説明する。
図2は、標準文字11のひらがなの「あ」に関する標準文字データ1の内容を編集するための画面であるが、標準文字データ1の内容を示す模式図でもある。図2においては、データ点12とそれを肉付けした文字の外形を同時に示しており、「あ」として見える部分は文字として「あ」であるが、標準文字データ1としては、第1画13については、そのほぼ中央に示されるようなデータ点12の羅列として形成されるものである。第2画14、第3画15も同様である。これらのデータ点12は、図2に示されるx軸とy軸の座標上に存在する点として表現される。
【0034】
「あ」の文字としての特徴について述べると、第1画13と第2画14には、第1画13のほぼ中央に交差点16が存在する。これは第1画13及び第2画14からすればそれぞれ他画との交差点となる。一方、第3画15においては、自画との交差点19が存在し、さらに他画との交差点17,18も存在している。また、第1画13及び第2画14の画の終点が止めであるのに対して、第3画15の終点は、流れ箇所20となっていることも特徴の一つである。
このような標準文字11について、標準文字データ1としては図3に示されるようなデータが格納されている。図3は、標準文字データ1を編集するための画面であり、データ構造を模式的に示すものでもある。標準文字11が右側に示されている。また、画数欄31に1とあるように本図は標準文字11を構成する各画のうち、第1画13について示すものである。なお、総画数32は3と表示されている。
【0035】
図3において、文字表示欄21にはひらがなの「あ」が表記されており、点位置欄22には0から第1画13を構成する点の数まで記入されている。この第1画13を構成する点の数であるが、点数欄30に記載されているとおり、42の点から構成されている。すなわち、本図は第1画13に関するデータシートの第1頁を示すものであり、さらに42まで点位置欄22に記載されている後続のデータシートの頁が存在することになる。
また、x軸座標欄23及びy軸座標欄24には、それぞれの点の座標が表示されている。
但し、点位置欄22には、0から42の数値が格納されており、「0」の欄が余分に設けてある。これは、「0」の欄に対応させて、x軸座標欄23では点数欄30に示された第1画13のデータ点数を格納するためである。
【0036】
さらに、跳ね表示欄26には第1画13に跳ねが存在する場合には「1」がフラッグとして入力されるが、存在しないため「0」が示されている。同様に流れ表示欄27は第1画13の流れの有無を示し、丸表示欄28は丸の有無、丸止表示欄29は丸止めの有無を示している。第1画13には、流れも丸も丸止めも存在しないため、「0」が示されている。
【0037】
図4は、図3の次のデータシートの頁を示すものであり、点位置欄22に示された数値が、6から15と図3に示された数値よりも大きなものとなっている。本図において、図3と同一の部分については同一符号を付し、その構成の説明については省略する。このように、複数の画から構成されるひらがなにおいて、その画毎に複数のデータシートを備える構造となっている。
【0038】
次に図5は、標準文字11のひらがなの「あ」に関して標準文字データ1のうち、特に交差点など位置的な情報について編集するための画面であり、まとめたデータ模式図である。図5においても図3と同一部分については同一符号を付し、その構成の説明は省略する。
画数欄31aには標準文字11を構成する各画のうち、どの画のデータであるかを示す1が表記されている。跳ね表示欄26a、流れ表示欄27a、丸表示欄28a、丸止表示欄29aにはそれぞれ「0」が示されており、この第1画13ではそれらの特徴がないことを示している。また、点数欄30aには前述のとおり「42」が表記されている。
交差点に関する情報は、まず交差位置表示欄35に「2,1,45」が示されているが、この3つの数字のうち、最初の「2」は、この第1画13が第2画14と交わることを示している。次の「1」は順方向に交わることを示し、最後の「45」は、第1画13の始点から45%の位置で交わることを示している。
【0039】
ここで、順方向とは、自画の場合にのみ取り扱われるものであるが、自画の相手の書き順の方向が、交差しようとしている自画の左側から進んでいる場合に順方向といい、自画の右側から進んでいる場合には逆方向という。今回のように他画と交差点を共有する場合には、順方向であるか逆方向であるかは問題とされず、いずれの場合でも「1」が格納される。従って、厳密には、他画との交差点においては、順方向であるか逆方向であるかは認識されていない。
【0040】
また、開始接続相手表示欄36は、この第1画13の開始点が接続したりあるいは近接したりという関係がある相手の画の番号を格納する欄であり、同様に終了接続相手表示欄38は終了点に対する相手の画の番号を格納する欄である。開始接続内容表示欄37及び終了接続内容表示欄39は、それぞれ第1画13の開始点と終了点がその相手の画とどのような関係となっているかを具体的に示す符号である。本図の例で説明すれば、第1画13の開始点は第2画14に対して接続に関連して特記すべき関係はないことになる。また、終了点については、どの画とも接続に関して特に関係がないことを示している。この接続内容については、図中に示されるとおり、「0」がなし、「1」が接続している、「2」が少近接している、「3」が相手画の開始位置に接続している、「4」が相手画の終了位置に接続しているということを意味している。
【0041】
点情報表示欄41は、第1画13のデータ点12の座標及び太さに関するデータを表示している。
以上、「あ」の第1画13に関するデータについて説明したが、このデータをまとめてデータ構造として示すと、表1のようになる。
【0042】
【表1】
Figure 0003913712
【0043】
表1は、図1に示された標準文字データベース2に格納される標準文字データ1の構造を示すものである。画数からストローク、交差点に関する情報や跳ね、流れ、丸、丸止めやさらに画の書き始めの関係や書き終わりや中間の関係などの接続情報から構成される。
交差相手、交差地点及び交差方向は、第1画の場合は1箇所しかないため、このように1組のみ格納されるが、例えば第3画の場合であれば自画との交差地点も併せて3箇所あるので、3組のデータが格納されることになる。
【0044】
次に図6は、「あ」の第2画14に関して図5と同様に示す図である。図6において、第2画14が第1画13に比較して長いため点数欄30aに示される数字は71と増えている。また、第2画14は第1画13と交差する他、第3画15とも2点で交差しているため、交差位置表示欄35には3点の交差点に関する情報が格納されている。
最初の「1,1,28」とは、先に説明したとおり、第1画13と、第2画14の28%の位置で交差することを意味している。同様に、第2画14は、第3画15と、第2画14の59%と87%の位置で交差することがわかる。
その他、図5と同一部分については同一符号を付して説明を省略する。また、以後図6乃至図10においても図2乃至図5と同一部分については同一符号を付して構成の説明を省略する。
【0045】
図7は、「あ」の第3画15に関して図5と同様に示す図である。第3画15であることが画数欄31aに表示されており、また、第3画15は3つの画のうち、最も長いため点数欄30aには最も多い176個のデータ点から構成されていることが示されている。また、第3画15の終了点は「流れ」であるため、流れ表示欄27aにその座標の表示がある。この座標は、図2に示されるものであり、左上側に原点が存在し、x軸は左側が正方向、y軸は下側が正方向となる。
交差位置表示欄35には、4つの交差点の表示があるが、このうち、最初と最後の表示は自画の同じ交差点を示すものである。最初の「3,1,2」とは、自画に対して、順方向に2%の位置で交差することを示しており、最後の「3,1,63」は、同じく63%の位置で交差することを示している。すなわち、それぞれの画において書き順に沿ったデータ点の位置毎に情報が格納されているのである。従って、自画で交差する場合には、1点が2点分のデータとして格納されることになる。
2番目の「2,1,16」は、第2画14と、第3画15の16%で交差することを示し、3番目は同様に51%で交差することを示している。
【0046】
さらに、今度はひらがなの「い」に関するデータを用いた図8を参照しながらデータ構造について説明する。
図8は、標準文字50のひらがなの「い」に関して、図3と同様に示す概念図である。「い」の第1画51には、その終了点において跳ねがあるため、跳ね表示欄26にその座標表示があり、データが格納されていることがわかる。また、跳ねた後には流れとなるため、流れ表示欄27にもその座標表示がある。しかし、丸や丸止めはなく、「0」が表示されている。点数欄30には「あ」の場合と同様にデータの点数が表示されている。
【0047】
図9は、標準文字53のひらがなの「ぴ」に関して、図2と同様に示す概念図である。図9では、「ぴ」の2画目を示すものであるが、2画目とは、丸54の部分である。従って、丸表示欄28において「1」の表示があり、データが格納されている。もちろん、跳ねも流れも丸止めもないので、その他の部分には、座標として「0,0」が、また、無いことを示す「0」が表示されている。点数欄30の「37」は、丸54を描いているデータ点数が「37」であることを示している。
【0048】
最後に図10は、標準文字56のひらがなの「る」に関して、図2と同様に示す概念図である。図10の「る」は、一画であるので点数も多く点数欄30には「228」との表示がある。この文字の特徴は、画が丸止めとなっていることであり、丸止表示欄29にフラッグとして「1」が表示されている。
以上説明したとおり、標準文字データ1はデータ点12それぞれについて座標を備えて格納され、その各画において跳ねや流れ、丸や丸止め、さらには自画や他画との交差点や接続状況などの情報から構成される。
【0049】
一方、この標準文字データ1と比較、照合しながら採点される手書き文字のデータに関して図11を参照しながら説明する。
図11は、手書き文字58のひらがなの「あ」を示す概念図である。この「あ」は、先に説明したように、その軌跡を追うことができるような装置を用いて、文字を手書きすることで得られるデータの集合として示している。すなわち、「あ」を構成するそれぞれの画が一定間隔のデータ点59の集合として捉えられるものである。この間隔は描くスペースによって適宜調整するとよい。また、図1を用いて説明したように、標準文字データ1との大きさによって倍率を求めて変換文字データ5に変換されるため、手書き文字データ3におけるデータ点59は、最終的には標準文字データ1のデータ点数に近い点数に変換される。
【0050】
手書き文字データ3のデータ構造として表現したものを表2に示す。
【0051】
【表2】
Figure 0003913712
【0052】
以上、標準文字データ1と手書き文字データ3の内容について図2乃至図11及び表1,2を参照して説明したが、以下は、本実施の形態に係る文字、記号及び図形認識方法とそのプログラムにおいて、このように概念される標準文字データ及び手書き文字データによって実行される手書き文字の評価、採点について説明する。具体的には、図1に示されたフロー図の各ステップをさらに詳細に示して説明するものである。
【0053】
図12は、本実施の形態に係る文字、記号及び図形認識方法とそのプログラムにおいて手書き文字データ3と標準文字データ1の画数を比較するステップS2を示すフロー図である。
図12において、手書きによって入力された文字は、デジタル化されて手書き文字データ3として手書き文字データベース4に格納されている。ステップS2においては、この手書き文字データ3を手書き文字データベース4から読み出し、これと予め標準文字データベース2に格納されている標準文字データ1を読み出して、それぞれの画数を比較する。ここで、等しい場合には、このステップは修了し次のステップに進み、異なる場合には、手書きの文字が手本と異なることになるため、その情報は誤字判断結果データ9として誤字判断結果データベース10に格納される。なお、本図以降、図に示される一点鎖線は各ステップにおいてデータの読み出しと格納を示すものである。
【0054】
図13は、図1に示すフロー図のうち、ステップS3の詳細を示すフロー図である。ステップS2で標準文字データ1と等しい画数を備えると判明した手書き文字データ3は、画毎の詳細な判定、採点を行うために標準文字データ1と同等のデータ数を有してそれぞれの比較照合に対応可能なようにデータの大きさを合わせるための倍率を求める工程へと進む。この倍率とは拡大と縮小の双方を含む概念である。
まず、ステップS31では、標準文字データベース2から標準文字データ1、手書き文字データベース4から手書き文字データ3を読み出して倍率変換の要否の確認表示を行い、利用者による確認を行う。
【0055】
その後、倍率変換を行う場合にはステップS32で倍率の演算を行う。この演算は、具体的には標準文字データ1と手書き文字データ3の画毎に全画のデータを使用してx軸、y軸の高さと幅の倍率を求めることによって行う。ステップS33では、それぞれのx軸とy軸の高さから倍率比を検出して予め設定した規定範囲と比較する。この規定範囲は、この後の採点処理が可能であると判断される限度の倍率比をいい、これ以上であればx軸とy軸の倍率比のうち倍率比が1に近い方を使用する。
規定範囲内であればステップS34でそれぞれの軸の倍率比を選択して使用することとする。
なお、ステップS31で倍率変換の実施を行わないとした場合には、倍率を用いた変換を行わないため、そのまま手書き文字データ3を複製して変換文字データ5としてステップS5の採点処理を行う。
【0056】
図14は、図1に示すフロー図のうち、ステップS4の詳細を示すフロー図である。ステップS4は、倍率変換を実施したために手書き文字データ3の字としてのバランスを失う場合を考慮して重心の調整を行い、変換文字データを生成する工程である。
ステップS41では、手書き文字データ3と標準文字データ1を用いてそれぞれの手書き文字と手本文字の重心位置を演算する。ステップS42では、n=1、すなわち第1画と指定し、ステップS43で手書き文字データ3を用いて演算された手書き文字の第1画の重心を標準文字データ1を用いて演算された手本文字の第1画の重心へ合わせることで重心の位置を調整する。
【0057】
ステップS44で全角について終了したか否かを確認し、そうでない場合には、画数をインクリメントしてさらにステップS43に戻り第2画、第3画と重心の位置を調整する。最終画まで重心調整が終了した場合には変換文字データ5が生成され、変換文字データ5を変換文字データベース6に格納してこのステップS4を終了する。
【0058】
図15は、図1に示すフロー図のうち、ステップS5の詳細を示すフロー図である。ステップS5は採点処理を行う工程であり、この工程は詳細には図15に示すとおり、ステップS50からステップS59までの10工程を含むものである。
ステップS50では、全角での高さ、幅、重心位置、上端部、下端部の評価を行う。倍率変換を行った場合には、画毎に重心位置を調整しているものの、全体的な重心位置は調整しておらず、必ずしも標準文字データ1の全角における重心位置と変換文字データ5の全角の重心位置が一致するものではない。これらの評価とは具体的には、図16に示されるとおり、全画描かれた状態において高さ、幅、重心位置、上端部と下端部について、予め設定された違いの幅、あるいは誤差範囲に応じて減点するものである。
【0059】
この減点の仕方の例として高さを例に取ると、標準文字データ1と変換文字データ5における高さの差の絶対値を計算し、その差の絶対値から2を引いて減算値を求め、この減算値が0より小さい場合、すなわち差の絶対値が2よりも小さい場合には0とし、減算値が0より大きい場合にはその減算値をそのまま減点するなどの方法がある。もちろん、差の絶対値を2とのみ比較する必要はなく、1やその他の数字を適宜選択してもよい。
このステップS50で得られた評価のデータは採点結果データ7aとして採点結果データベース8に格納される。
【0060】
ステップS51では、画毎の高さ、幅、重心位置、画毎の開始位置、終了位置の評価を行う。これらの評価は、図17に示されるとおり、具体的にはステップS50で行ったものと同様のことをそれぞれ画毎に実施するものである。予め設定された違いの幅、あるいは誤差範囲に応じて減点し(ステップS511)、第1画から始めてインクリメントしながら全角終了か否かを確認して(ステップS512)、画毎に実施する。全角終了した段階で終了となるが、このステップS51で得られた評価データも採点結果データ7aとして採点結果データベース8に格納する。
【0061】
図15のステップS52では、画の長さを評価する。この長さの評価とは、一定の誤差範囲を予め設定しておき、変換文字データ5に含まれるデータがこの誤差の範囲内に入れば正しい文字の画と判断するものである。図18に示すとおり、まずステップS521で変換文字データ5の画毎の全点間のストローク長を標準文字データ1におけるストローク長と比較する。予め設定された違いの幅、あるいは誤差範囲に応じて減点し(ステップS521)、第1画から始めてインクリメントしながら全角終了か否かを確認して(ステップS522)、画毎に実施する。この画の長さの評価のデータは、誤字判断結果データ9として誤字判断結果データベース10に格納される。この誤差範囲としては、例えば3倍以上あるいは3分の1以下などが考えられるが、それ以外の数値であってもよく文字や記号などによって適宜設定するとよい。
図15のステップS53では、開始点と終了点の2点間におけるベクトル方向を評価するものである。このベクトル方向が予め設定された範囲内に入る場合には正しい文字の画と判断する。
【0062】
図19に示すとおり、まず、ステップS531で各画の開始点と終了点の間のベクトル方向を標準文字データ1と変換文字データ5について比較する。そして、予め設定された範囲内、例えば、2つのベクトルの角度が一定の角度以上である場合には異常と判断するものである。第1画から始めてインクリメントして全角か否かを判断して(ステップS532)、画毎に実施する。この評価データも誤字判断結果データ9として誤字判断結果データベース10に格納される。
図15のステップS54は、跳ね方向の評価を行うものである。跳ね方向が一定の方向であることが確認された場合には、正しい文字の画と判断されるのである。
【0063】
図20に示すとおり、まず、ステップS541において標準文字データ1の第1画において跳ねがあるか否かについて確認する。跳ねは、すべての画において存在するものではなく、文字の手本に関する特徴情報のひとつであるため、その有無をまず確認するものである。この有無は先に説明した図8において、跳ね表示欄26に座標が記載されるか否かで判断される。跳ねがない場合には、ステップS543に移行し全角か否かの判断を行う。
跳ねが存在する場合には、ステップS542に移行し、標準文字データ1の跳ねの角度と変換文字データ5の跳ねの角度を比較する。比較の際には、予め設定された範囲内、例えば各画の開始点と終了点の間のベクトル角と同様に2つの跳ね角度が一定の角度以上である場合には異常と判断する。
【0064】
その後、ステップS543で全角終了であるか否かを確認してまだ画が残っている場合にはインクリメントして次の画について跳ねの有無を確認して(ステップS541)、再び跳ね角度の比較を行う(ステップS542)。各跳ねについて判断した結果は誤字判断結果データ9として誤字判断結果データベース10に格納される。
【0065】
なお、図15には流れの評価が記載されていないが、流れの評価も跳ねの評価と同様に実行される。流れの有無を標準文字データ1において画毎に確認し、存在する場合には変換文字データ5の流れの角度と標準文字データ1の流れの角度からその良否が判断される。
誤字と判断された場合には、その結果のデータは誤字判断結果データ9として誤字判断結果データベース10に格納される。
【0066】
図15のステップS55は、丸評価を行うものである。詳細には図21に示すとおり、ステップS551にて標準文字データ1の第1画が丸であるか否かについて確認する。丸もすべての画において存在するものではなく、文字の手本に関する特徴情報のひとつであり、それに該当するか否かをまず確認するものである。丸であるか否かの確認は、先に説明した図9の丸表示欄28に表示されるフラッグの1を確認することによって行われる。
丸である場合にはステップS562に進み、変換文字データ5において、丸の画の始点と終点の間の距離を演算して予め設定した規定値の範囲以内か否かによって採点を行う。また、丸であるべき画が規定値よりも大きく外れている場合には、誤字と判断される場合もある。このように丸の場合には、その距離の程度によって採点が行われたり、誤字と判断されたりするため、その評価データは採点結果データ7aとして採点結果データベース8に格納される場合と、誤字判断結果データ9として誤字判断結果データベース10に格納される場合がある。
【0067】
演算と採点評価が終了するとステップS553で全角について終了したか否かの判断を行い、まだ画が残っている場合にはインクリメントして次の画についてステップS551から実行される。すべての画について終了すると次のステップS56の丸止め評価が実行される。
【0068】
図15のステップS56の丸止め評価は、字画の終点における丸止めができているか否かについて評価するものである。詳細には図22に示すとおり、ステップS561にて標準文字データ1の終点が丸止めであるか否かについて確認する。丸止めも丸などと同様にすべての画において存在するものではなく、文字の手本に関する特徴情報のひとつであり、それに該当するか否かをまず確認するのである。但し、この丸止めは図10に示すひらがなの「る」のみに存在するものであるため、第1画、第2画と全角について評価するのではなく、「る」の第1画のみで判断される。
【0069】
丸止めの評価はステップS562に示されるとおり、変換文字データ5に含まれる終了点を基準として10点まで戻った点から全体の点数の3分の2に相当する地点まで遡り、終了点との間の距離を演算する。図10によれば、全体の点数は点数欄30に記載された228点であるため3分の2に相当する地点は、開始点から152番目の点に相当する。
したがって、終了点から10点戻るため218番目の点から遡って153番目の点まで終了点からの距離を演算することになる。そして、この演算された距離が最も近接している点とその距離を求めて評価を行うが、ほぼ0に近い距離を予め定めた規定値としておき、この規定値よりも近接している箇所がない場合、あるいは終了点前で交差している場合も誤字であると判断する。また、近接は本来ほぼ0の距離となるはずであるが、その近接距離の程度によって採点を行う。
【0070】
なお、終了点から10点戻るのは終了点近傍では終了点と近接するのが当たり前で丸止めとなっているかの判断を誤る可能性があるためである。但し、この10点は特にこの数に限定するものではなく、適宜定めるとよいし、さらに戻る点も3分の2に限定するものではなく、適宜4分の3などとしてもよいことは言うまでもない。
誤字と判断された結果のデータは誤字判断結果データ9として誤字判断結果データベース10に格納され、予め設定された規定値以内に近接していることによって採点された結果のデータは採点結果データ7aとして採点結果データベース8に格納される。
【0071】
次に図15のステップS57は交差点評価を行うものである。跳ねや流れ、丸や丸止めなどの特徴情報データの評価に加えて、文字に存在する交差点の評価を行いより正確に手書き文字の評価を行うものである。この交差点評価については、図23及び図24を参照しながら説明する。
【0072】
まず、図23に示すとおりステップS57a1にて標準文字の全画の交差点情報データを標準文字データ1から読み出し、標準交差順データ61として交差順データベース64に格納する。
次にステップS57a2において、調査の基準となる画をnとし、相手となる画をmとしていずれも初期値を1とする。ステップS57a3では、仮交差点の検出を行う。この検出の方法について図24(a)及び(b)を用いて説明する。
【0073】
図24(a)において、方眼の升目は横がx軸の座標を示し、縦がy軸の座標を示すものであり、小文字のaはn画線65、すなわち調査の基準となる画の線のデータを示し、小文字のbはm画線66、すなわち調査の相手となる画の線のデータを示している。このような状態において、それぞれの画の線のデータが交わる箇所を仮の交差点67交差点として小文字のcを当てる。
また、図24(a)中に符号Bで示した範囲を図24(b)に示すが、このように斜めに抜けている場合においても仮の交差点67として認識することとする。
【0074】
次に、図23に戻りステップS57a4では、仮交差点近傍に番号を付与する。この交差点近傍へ番号を付与する方法について図24(c)及び(d)を用いて説明する。
【0075】
図24(c)に示すとおり、n画線65とm画線66上において、仮の交差点67との隣接点68のデータに小文字のdを代入する。また、(d)ではその符号dの外側すなわち仮の交差点67とは反対側に、n画線65では、仮の交差点67と隣接点68を挟んで周辺点69a,69bに1と2という数値を代入し、m画線66では、同様に仮の交差点67と隣接点68を挟んで周辺点70a,70bに1001と1002という数値を代入している。
これらの1,2,1001,1002という数値は、書き順の上流側から小さな数値を付すものである。したがって、数値の小さなデータが交差点67への入口、大きなデータが出口となる。このように数値を代入したデータを生成した後に、図23のステップS57a5に移行する。
【0076】
ステップS57a5では、交差の有無を評価するものである。図24(d)に示されるケースは、n画線65の周辺点69aから時計回りに周辺点をチェックすると、周辺点69aの次の周辺点はm画線66の周辺点70aが存在し、次にn画線65の周辺点69b、そして最後にm画線66の周辺点70bが存在している。このようにn画線65とm画線66の周辺点が交互に存在する場合には、仮の交差点67はそのまま交差点として判断される。
【0077】
一方、もし、周辺点69aの次の周辺点が同じn画線65の周辺点69bとなり、そしてm画線66の周辺点70a、さらに周辺点70bと続いた場合には交差しているのではなく、接して離れるといった文字の形状であると判断できる。したがって、周辺点をチェックし、なおかつ書き順に従った数値を付して、それらの配置の順序を検知して真の交差点であるか否かを判断するのである。
【0078】
ここでn画線65とm画線66の周辺点が交互に存在すると判断され、交差点があると判断された場合には、図23のステップS57a6に進む。このステップS57a6では、交差方向を解析するが、これは周辺点に付す番号が上流側から奇数、偶数と付番されるため、この交差点へそれぞれの画がどちらの方向から進入してくるかについて解析するものである。
【0079】
なお、図24(a)〜(d)においては他画との交差を例に取ったが、自画における交差においても同様に交差点の解析やその方向の解析は可能である。例えば、図24(d)においてm画線66として小文字のbが配置されている部分はすべて小文字のaとなり、周辺点に1001と1002が代入されているものは、それぞれ例えば3と4を代入することができる。交差点か否かの判断はその周辺点の並び方で、1,3,2,4と並んでいた場合には交差点であり、1,2,3,4と並んでいた場合には自画で接触していることが判断可能である。
交差方向の解析まで終了すると、その交差点に関する評価のデータは交差順番記憶データ62として交差順データベース64に格納される。
【0080】
図23のステップS57a7では、調査の相手となるm画が最終画であるか否かを判断し、最終画でなければ同一の調査の基準となる画に対して、相手画をインクリメントして再度仮の交差点の検出から実行する。最終画の場合には、ステップS57a8に進み、調査の基準となるn画が最終画であるか否かの確認を行い、最終画でない場合には、基準となるn画をインクリメントして再度仮の交差点の検出から実行する。基準となるn画が最終画まで終了すると、交差点の有無及び交差方向に関するデータの取得の工程が終了する。
【0081】
次に、図25に示すとおり、変換文字データ5を用いて解析して得られ交差順データベース64に格納した交差順番記憶データ62の順序を並べ替える。
図25において、ステップS57bでは、交差順データベース64から交差順番記憶データ62を読み出して、各画の開始点から交差する順番に並び替える処理を行う。
【0082】
画毎に交差点の周辺点に数値を代入していることから、その交差する順番に並び替えることは可能である。このようにまず順序だてて交差点を整理してから標準交差順データ61との比較を行う。並び替えを行った交差順番記憶データ62は、手書き交差順データ63として交差順データベース64に格納される。
【0083】
図26は、整理された交差点について採点評価する工程(ステップS57c)を示すものである。図26において、ステップS57c1では交差点の調査の基準した画として第1画を選択すべくnを1とする。交差順データベース64に格納した標準交差順データ61及び手書き交差順データ63を読み出し、ステップS57c2において交差順序と方向を比較する。その後ステップS57c3においてすべて一致すると判断された場合には、ステップS57c9において全画について終了か否かの判断を行うが、すべてで一致するわけではない場合には、ステップS57c4において規定以内で交差しているものを無視して比較する。これは手書き交差順データ63に含まれるデータが、標準交差順データ61と比較して画の開始点から一定の範囲内において交差しているような場合には除外して評価するものであるが、漢字などで第1画と第2画の特に開始点が一致するような場合が多い。そのような場合、手書きでは偶然に交差してしまうことも多く、それを交差点として認識してしまうようなケースがあるため、これを除外して交差点を評価するものである。
もちろん、文字によっては開始点のみならずその他の箇所で手書きを行う者の意識の外で交差点を生じてしまうような場合もあると考えられるので、適宜、字体によって規定を設けるとよい。
【0084】
ステップS57c5では、不要と考えられる交差点を除外した後に比較した交差順序と方向がすべて一致した場合には、ステップS57c9に進むが、それでもまだ一致しないものが存在する場合には、ステップS57c6に進む。
【0085】
ステップS57c6では、標準交差順データ61において交差位置が近いと判断される場合には、手書き交差順データ63において格納されている交差データの順序を入れ替え、その後に標準交差順データ61と比較する。このようにして比較してステップS57c7ですべて一致すると判断されると、ステップS57c9へ進むが、それでも一致しないものが存在する場合には、ステップS57c8において合致しない場合には、合致しない基準となった画とその交差の相手画の情報を抽出する。そしてステップS57c9で全画終了か否かの確認を行い、残っている画が存在する場合には、基準となる画をさらに1つ進めるインクリメントを行い再度ステップS57c2から実行する。すべての画において評価が終了した場合には、比較した結果のデータを採点結果データ7aとして採点結果データベース8に格納し、また、すべての画ですべての交差順序と方向が一致しない場合には誤字と判断されその結果のデータは誤字判断結果データ9として誤字判断結果データベース10に格納される。
【0086】
次に、図15のステップS58について図27を用いて説明する。ステップS58は、画毎の相対的な位置関係を評価するものである。図27において、まずステップS581においては標準文字データベース2に格納された標準文字データ1を読み出し、画毎に標準文字データ1に含まれる接続や遠近に関するデータを読み出す。具体的には、図5を用いて説明したとおり、ある画の開始点あるいは終了点に対して、他の画とどのような位置関係にあるかを示す開始接続相手表示欄36、終了接続相手表示欄38、開始接続内容表示欄37、終了接続内容表示欄39などに示される相対的な位置関係に関するデータを読み出す。
【0087】
ステップS582においては読み出した標準文字データ1の相対的な位置関係に関するデータを参照しながら、変換文字データベース6に格納された変換文字データ5を読み出して比較する。比較の方法としては、例えば第1画の開始点と第2画の開始点が接続しているような場合では、第1画の開始点と第2画の開始点の間の距離を座標点をベースに演算し、予め定めた規定の距離と比較してその規定の距離以内であれば接続していると判断するなどである。この規定の距離は、文字の太さなどによっては離れたように見えたり、接続しているように見えたりする程度の距離であって、実際にタブレットコンピュータなどに描いた文字が通念上接続していると認識できるような距離を適宜定めて、データとして格納しておく。なお、開始点や終了点のデータとしては、変換文字データ5に含まれる真の開始点及び終了点のデータではなく、開始点であれば数点後の座標データを、終了点であれば数点前の座標データを用いることによって、手書きによる開始点と終了点の位置が他の画との関係で交差しているような場合に対応可能とするとよい。
【0088】
比較の箇所としては開始点自身をはじめとして、終了点や画の途中など適宜比較するようにする。漢字などでは画間の接続は、開始点、終了点、そして略中間点などの場合があるためである。
【0089】
比較する内容としては、接続や遠近、方向や長短など、開始点を基準として考えた場合の位置関係や接続状況、距離の長短などを比較し、これらの評価によって誤字となるか否かを判断するものである。評価した結果のデータはステップS585において誤字判断結果データ9として誤字判断結果データベース10に格納される。なお、方向とは開始点を基準として数点先、さらには比較対象の画すべての点との方向ベクトルを意味し、標準文字データ1における方向ベクトルと比較してその角度の差が予め定めた範囲以内であるか否かによって判断するものである。
【0090】
同様にステップS583では、標準文字データ1の終了点を基準として変換文字データ5と比較する。その場合にも終了点自身をはじめとして開始点や画の途中までの箇所について、接続状態や遠近、方向などを比較する。方向は、終了点を基準として数点前あるいは比較対象の画すべての点との方向ベクトルとなる。この結果のデータも誤字判断結果データ9として誤字判断結果データベース10に格納される。
【0091】
ステップS584では、画の途中を基準にしてステップS582やステップS583と同様に比較する。これらの比較が終了したらステップS586において全画終了したか否かを判断し、終了していない場合には、画をインクリメントしてステップS581から再度実行する。全画終了した場合には、画毎の相対関係の評価を終了して次のステップS59のパターン認識評価へ移行する。
【0092】
図15に示されるステップS59の内容を詳細に図28に示して説明する。図28において、パターン認識評価は、画毎に変換文字データ5をパターン認識し、標準文字データ1の手本をベースに模範と考えられる文字形状を予め同心円的に定めた範囲に含まれるか否かを判断し、その結果美的な外観として文字を評価するものである。
ステップS59aでは、第1画からスタートし、まずステップS59a1において標準文字データベース2及び変換文字データベース6からそれぞれ標準文字データ1と変換文字データ5を読み出し、これらのデータの高さと幅を合わせる。
【0093】
次に、基準となる採点値であるmを100点とし、ステップS59a2では標準文字データ1の第1画のデータを2次元配列に書き込む。この書き込まれたデータはm=100のデータとなる。基準となる採点値を10ほど下げて、先にステップS59a2で書き込まれたデータの周囲の空白の位置に一定の距離を隔てて同心円的に回りを囲むように範囲を設定してm(90点)の値を書き込む。すなわち、手本の標準文字データ1そのままは100点であるものの、そこから少しはずれた範囲内であれば10点減点した90点となる。
【0094】
次に、ステップS59a4では、mが50以下となっていない場合にはさらに10ほど減点して再度同心円的な範囲を設定するようにするものである。50まで範囲を設定して点数を書き込んだ後に、ステップS59a5へ移行する。ステップS59a5では、各採点値毎の範囲に含まれる2次元配列の点とその点に対応する各採点値を採点値範囲データ45としてパターン認識データベース47に格納する。
【0095】
続いて、ステップS59a6では変換文字データ5における第1画のデータを先のステップS59a2において標準文字データ1を書き込んだ同じ2次元配列に書き込み、変換文字書込みデータ46を生成し、これをパターン認識データベース47に格納する。
【0096】
ステップS59a7においては、採点値100の範囲に含まれる変換文字書込みデータ46の文字を構成する点数を採点値100の点として計数し、同様に採点値90から50まで行う。
【0097】
ステップS59a8では、手書きデータの移動の点を計算する。移動の点とは、文字の画を構成する点を意味し、この文字を構成する点に沿って移動させて和算することで、文字の画毎の合計点が求まるのである。
【0098】
ステップS59a9では、標準文字データ1に含まれる画を構成する点の総数と変換文字データ5に含まれる画を構成する点の総数の相違による補正を行い、文字の大小によって採点に不公平のないようにする。補正を行った最終的な画毎の採点は採点結果データ7aとして採点結果データベース8に格納される。なお、補正の方法は数の比によって補正してもよいし、その平方根や2乗値などを利用してもよく、適宜ケースによって工夫するとよい。
【0099】
ステップS59a10では、全画について終了している場合には次のステップS59bで滑らかさの評価を実施するが、全画について採点がなされていない場合には、画数をインクリメントして第2画、第3画の評価を行う。
【0100】
図29は、滑らかさによる評価を行うためのフロー図である。滑らかさとは、標準文字データ1を構成するポイントのうち連続するポイント間の距離と、変換文字データ5を構成するポイントのうち連続するポイント間の距離をそれぞれ演算し、さらにその差をそれぞれのポイント毎に演算して和を求めて偏差とし、この偏差を全体のデータ数で割ることで標準文字データ1と変換文字データ5が外観上どの程度合致しているかを計る指標である。
この滑らかさによる評価は、まずステップS59b1において標準文字データ1と変換文字データ5を読み出し、両者の高さ及び幅を合わせる。これは大きさをある程度一致させて比較を可能とするためである。また、それぞれのデータのポイント間の距離を演算するため画毎のデータ数、すなわちポイント数をステップS59b2で合わせる。さらに、ステップS59b3では標準文字データ1を構成するデータのうち、連続するデータs(m)とs(m+1)の間の距離を求め、さらに変換文字データ5のうち、連続するデータt(m)とt(m+1)の間の距離を求め、これらの距離の差を求める。この差をすべての連続するデータにおいて演算し、その和を偏差とする。
【0101】
さらに、全データの数で除して平均値を出し、その平均値の大きさによって予め定めた採点を施してその結果を採点結果データ7aとして採点結果データベース8に格納する(ステップS59b4)。ステップS59b5では、全画について終了している場合には次のステップS6で誤字判断処理を実施するが、全画について採点がなされていない場合には、画数をインクリメントして第2画、第3画の評価を行う。
以上、ステップS5の採点処理の全体について説明した。
【0102】
次に、図1におけるステップS6の誤字判断処理の工程について図30を参照しながら詳細に説明する。図30は、ステップS6のうち、画毎の特徴情報についてまとめる工程と交差点情報についてまとめる工程を示すステップS61のフロー図である。図30に示されるとおり、ステップS5の採点処理の工程において格納された誤字判断結果データ9を誤字判断結果データベース10から抽出し、ステップS611では画長さ、開始・終了点、ベクトル方向、跳ね、丸、丸止めを画毎にまとめる。図15において流れに関する評価の工程を省略したため、本図においても記載されていないが、もちろん流れの評価を行った場合には、このステップS611においてまとめる。まとめた評価データは総合採点データ7bとして採点結果データベース8に格納される。
【0103】
さらに、ステップS612では、交差点数や交差方向、交差順番に関する評価データを誤字判断結果データ9から抽出し、画毎にまとめる。このまとめられた評価情報は同様に総合採点データ7bとして採点結果データベース8に格納される。
【0104】
図31はステップS6のうち、画の位置関係を確認するステップS62を示す図であり、書き始め相対位置の確認を行う工程と書き始めの絶対位置の確認を行う工程を示すフロー図である。書き始め相対位置とは、先に図27を用いて説明したように開始点を基準として、他の画の開始点や中間点などとの位置関係をいう。ステップS621では、この開始点と他の画の開始点や中間点などとの接続や遠近などが適切となっているか、すなわち規定の距離以内に収まっているか否かを、誤字判断結果データベース10に格納された誤字判断結果データ9を読み出して正常か否かを判断するものである。正常か否かの評価結果のデータは総合採点データ7bとして採点結果データベース8に格納される。
【0105】
また、ステップS622では、標準文字データ1に含まれる手本の開始点の座標と変換文字データ5における同一画の開始点の座標を比較して絶対的な位置の確認を行う。この絶対的な位置の確認の結果、当該画の絶対的な位置が標準文字データ1における位置と予め定めた一定距離以内であれば正常、一定距離より離れていた場合には異常と判断してその評価結果を総合採点データ7bとして採点結果データベース8に格納する。
図31では、書き始めの相対位置と絶対位置の確認を行う工程を示したが、書き始めの他、書き終わりや画の途中の相対位置や絶対位置に対しても同様に評価を実施してその結果のデータは総合採点データ7bとして採点結果データベース8に格納される。
【0106】
図32は、図1のフロー図に示した総合採点処理工程(ステップS7)のうち、一画毎の採点の乗算工程であるステップS71を示すフロー図である。図32において、ステップS711では、図15に示したそれぞれの採点のうち、採点結果データ7aとして採点結果データベース8に格納された採点(1)、(2)、(6)、(7)、(10)、(11)を読み出して乗算する。和算でもよいが、乗算であれば、採点結果のうち1つでもの0が存在する場合には、0点となり、現実的な採点となる。
【0107】
ステップS712では、その乗算値をその画の採点として獲得し、総合採点データ7bとして採点結果データベース8に格納する。
ステップS713では全画について終了であれば、ステップS71を終了するが、まだ残りの画があれば画の数をインクリメントして1つ増やし、再度ステップS711から実行する。
【0108】
図33は、ステップS7のうちの後半部である総合採点を算出する工程(ステップS72)について説明するためのフロー図である。
図33において、まずステップS721では、誤字判断結果データベース10に格納した誤字判断結果データ9を読み出し、誤字であると判断されたり、あるいは筆順が異なる場合には、その総合採点は0点である旨、総合採点データ7bとして採点結果データベース8に格納する。なお、筆順が異なる場合は、図15に示されるステップS52の画長さ評価やステップS53の開始・終了点評価によって判明し、誤字判断結果データ9として誤字判断結果データベース10に格納されるため、このステップS721において誤字と判断が可能となる。
【0109】
また、誤字などでない場合には、ステップS722に進み、先のステップS71で画毎に総合的に採点した画毎の総合採点データ7bを採点結果データベース8から読み出し、画毎の採点結果のうち、最低の採点と最低から2番目の採点を取得する。ここで、ステップS723で2画以上の場合には、ステップS724に進みこの2つの採点データを総合採点データ7bとして採点結果データベース8に格納する。一方、ステップS723で1画と判断される場合には、採点データは1しかなく、本来最低の採点という概念にはそぐわないが、その採点データをそのまま総合採点データ7bとして採点結果データベース8に格納する。
【0110】
このように最低の採点を取得することで安全側の採点とすることができるが、特に低い側の採点データを採用することに限定するものではなく、上位の採点を採用したり、あるいは平均値を採用したり、最高と最低の採点を外したデータから採用したりと様々な採点の方法があるので、その目的によって適宜採用するとよい。
【0111】
図34は、図1にステップS8として示される出力処理工程の内容を詳細に示すフロー図である。ステップS81では、誤字や筆順の間違いがない場合、ステップS86に移行して採点結果データベース8に格納された総合採点データ7bや誤字判断結果データベース10に格納された誤字判断結果データ9を出力する。ステップS81で誤字や筆順の間違いがあった場合には、ステップS82に進み、間違いの画数が5以上である場合には、ステップS85で全画の色を替えて出力する。なお、画数が少ない場合には半数の画以上間違いである場合として全画の色を替えて出力してもよい。
【0112】
間違いの画数が4以下の場合には、ステップS83において間違えた画の色を替える処理を行う。また、ステップS84で間違い画数が連続であるか否かを判断し、連続の場合には筆順が異なるという情報を併せて出力するが、連続でない場合には、その間違いの画のみをそのまま出力する。
ステップS86における出力は画面上に視覚で捉えられるように表示する他、音声によって筆順が異なることや間違えた画の数や何画めかという情報を発生させてもよい。
【0113】
以上のような本実施の形態によれば、文字、記号あるいは図形などを手書きで描き、その内容を画毎に評価して記載内容について誤りであるか、あるいは正しいか、さらに正しい場合であっても審美的な形態であるか否かの評価を高い精度で行うことが可能である。すなわち、文字や記号などを全体的に認識して判断するのではなく、いわばパーツに分解してそれぞれを個別に評価してそれを総合的に判断することができるため、より精度が高く詳細な評価を実施することが可能である。
【0114】
なお、以上のような本実施の形態に係る文字、記号及び図形認識方法及び文字、記号及び図形認識プログラムの他、この文字、記号及び図形認識プログラムをコンピュータによって読み取り可能な記録媒体に格納してもよく、このような記録媒体を用いてコンピュータを作動させることによって、以上のようなプログラムを実行可能であり、同様の作用や効果を奏することができる。
【0115】
次に、本発明の実施の形態に係る文字、記号及び図形認識システムについて図35及び36を参照しながら説明する。(請求項10及び11に対応)
【0116】
図35は本実施の形態に係る文字、記号及び図形認識システムの概略の構成図である。文字認識システム71は、システム本体72とそれに接続されるデータベース群から構成されるものであり、システム本体72は、さらに入力部73、文字読取部74、文字倍率解析部75、文字変換部76、文字位置調整部77、文字評価部78及び出力部79から構成される。
【0117】
このシステム本体72に接続されるデータベース群には、既に説明したのでここではその構成や内容の説明を省略するが、標準文字データ1を格納する標準文字データベース2、手書き文字データ3を格納する手書き文字データベース4、変換文字データ5を格納する変換文字データベース6、採点結果データ7a及び総合採点データ7bを格納する採点結果データベース8、誤字判断結果データ9を格納する誤字判断結果データベース10、採点値範囲データ45と変換文字書込みデータ46を格納するパターン認識データベース47と最後に標準交差順データ61、交差順番記憶データ62、手書き交差順データ63を格納する交差順データベース64がある。
【0118】
入力部73は、タブレットコンピュータなどのような手書き入力が可能な装置を意味しており、この入力部73で描かれた文字や記号あるいは図形は、文字読取部74においてその形状を示す軌跡を一定の間隔の点の集合として読み取り、その点を座標データとして認識することでデジタル化する。デジタル化した手書き文字データ3は、手書き文字データベース4に格納される。
【0119】
文字倍率解析部75では、先に文字、記号及び図形認識方法とプログラムの実施の形態において説明したステップS3の倍率演算の処理を行うものである。標準文字データ1と手書き文字データ3の大きさを比較して倍率を求め、その倍率に従って文字変換部76において手書き文字データ3の大きさを拡大あるいは縮小する調整を行って標準文字データ1とデータの大きさを調整する。この処理は先のステップS4として説明した内容と同様である。前述のとおり、画毎に手書きの文字などと比較するため、データの大きさをある程度修正して手本の標準文字データ1と合わせる必要があるのである。
【0120】
変換された手書き文字データ3は変換文字データ5として変換文字データベース6に格納される。また、大きさで手本の文字などと同じ程度になった変換文字のデータ座標中の位置を文字位置調整部77において調整する。
【0121】
さらに文字評価部78では、先の文字、記号及び図形認識方法と文字、記号及び図形認識プログラムの実施の形態として説明したステップS5、6、7の採点処理あるいは誤字判断処理の内容を実行するものである。この文字評価部78の詳細な構成は図36に示して後述する。
出力部79は、同様に先に説明したステップS8の内容を実行する手段である。
【0122】
図36は、文字評価部78の構成を詳細に示す構成図である。
図36において、文字評価部78は、全角位置的評価部80、画毎位置的評価部81、画長評価部82、ベクトル方向評価部83、跳ね方向評価部84、丸評価部85、丸止め評価部86、交差点評価部87、画毎相対関係評価部88及びパターン認識評価部89から構成される。
【0123】
全角位置的評価部80は、先に説明した図15のステップS50を処理する手段であり、同様に画毎位置的評価部81はステップS51、画長評価部82はステップS52、ベクトル方向評価部83はステップS53、跳ね方向評価部84はステップS54、丸評価部85はステップS55、丸止め評価部86はステップS56、交差点評価部87はステップS57、画毎相対関係評価部88はステップS58、パターン認識評価部89はステップS59を処理する手段である。本実施の形態では、既にそれぞれのステップの処理内容を説明しているので省略する。
なお、流れについての評価部が本実施の形態においても示されていないが、先に説明したとおり、流れ評価部を設けて評価するとなおよいことは言うまでもない。
【0124】
以上のように構成される本実施の形態に係る文字、記号及び図形認識システムにおいても、先の実施の形態と同様に文字、記号あるいは図形などを手書きで描き、その内容を画毎にパーツに分解して評価することで、文字などの正誤や審美性に関する評価を詳細に、しかも高い精度で総合的に行うことが可能である。
【0125】
【発明の効果】
以上説明したように、本発明の文字、記号及び図形認識方法、そのプログラムとそのプログラムを記録したコンピュータ読み取り可能な記録媒体、さらにそのシステムにおいては、手書きの文字、記号あるいは図形をそれらを構成する画毎に分解してデジタルデータとして認識し、予め手本の文字などを同様にデジタルデータとしてデータベースに格納していた標準文字データと、画毎に特徴を比較して画毎に評価を実施し、それらを総合して正誤を評価するため、精度が高く、詳細に文字、記号や図形を学習することが可能である。
【0126】
さらに、正誤のみならず正答度を判断するため、全体の中でどの部分が間違っていたのかや、全体的なバランスを崩すのはどの部分であったのかなど審美性についても評価することが可能であり、部分的な間違いを訂正することで美しい文字を書く練習などを行うことができる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る文字、記号及び図形認識方法及び文字、記号及び図形認識プログラムのフロー図である。
【図2】本実施の形態における標準文字データの内容を示す模式図である。
【図3】本実施の形態における標準文字データの構造の模式図である。
【図4】本実施の形態における標準文字データの構造の模式図である。
【図5】本実施の形態における標準文字データの構造の模式図である。
【図6】本実施の形態における標準文字データの構造の模式図である。
【図7】本実施の形態における標準文字データの構造の模式図である。
【図8】本実施の形態における標準文字データの構造の模式図である。
【図9】本実施の形態における標準文字データの構造の模式図である。
【図10】本実施の形態における標準文字データの構造の模式図である。
【図11】手書き文字のひらがなの「あ」を示す概念図である。
【図12】本実施の形態に係る文字、記号及び図形認識方法とそのプログラムにおいて手書き文字データと標準文字データの画数を比較するステップS2を示すフロー図である。
【図13】本実施の形態に係るステップS3の詳細を示すフロー図である。
【図14】本実施の形態に係るステップS4の詳細を示すフロー図である。
【図15】本実施の形態に係るステップS5の詳細を示すフロー図である。
【図16】本実施の形態に係るステップS50の詳細を示すフロー図である。
【図17】本実施の形態に係るステップS51の詳細を示すフロー図である。
【図18】本実施の形態に係るステップS52の詳細を示すフロー図である。
【図19】本実施の形態に係るステップS53の詳細を示すフロー図である。
【図20】本実施の形態に係るステップS54の詳細を示すフロー図である。
【図21】本実施の形態に係るステップS55の詳細を示すフロー図である。
【図22】本実施の形態に係るステップS56の詳細を示すフロー図である。
【図23】本実施の形態に係るステップS57aの詳細を示すフロー図である。
【図24】(a)乃至(d)は、それぞれ本実施の形態に係る文字、記号及び図形認識方法と文字、記号及び図形認識プログラムにおける仮交差点の検出方法を説明するための概念図である。
【図25】本実施の形態に係るステップS57bの詳細を示すフロー図である。
【図26】本実施の形態に係るステップS57cの詳細を示すフロー図である。
【図27】本実施の形態に係るステップS58の詳細を示すフロー図である。
【図28】本実施の形態に係るステップS59aの詳細を示すフロー図である。
【図29】本実施の形態に係るステップS59bの詳細を示すフロー図である。
【図30】本実施の形態に係るステップS61の詳細を示すフロー図である。
【図31】本実施の形態に係るステップS62の詳細を示すフロー図である。
【図32】本実施の形態に係るステップS71の詳細を示すフロー図である。
【図33】本実施の形態に係るステップS72の詳細を示すフロー図である。
【図34】本実施の形態に係るステップS8の詳細を示すフロー図である。
【図35】本実施の形態に係る文字、記号及び図形認識システムの概略の構成図である。
【図36】本実施の形態に係る文字評価部の構成を詳細に示す構成図である。
【符号の説明】
1…標準文字データ 2…標準文字データベース 3…手書き文字データ 4…手書き文字データベース 5…変換文字データ 6…変換文字データベース 7a…採点結果データ 7b…総合採点データ 8…採点結果データベース 9…誤字判断結果データ 10…誤字判断結果データベース 11…標準文字 12…データ点 13…第1画 14…第2画 15…第3画 16…交差点 17…交差点 18…交差点 19…交差点 20…流れ箇所 21…文字表示欄22…点位置欄 23…x軸座標欄 24…y軸座標欄 26,26a…跳ね表示欄 27,27a…流れ表示欄 28,28a…丸表示欄 29,29a…丸止表示欄 30,30a…点数欄 31,31a…画数欄 32…総画数 35…交差位置表示欄 36…開始接続相手表示欄 37…開始接続内容表示欄 38…終了接続相手表示欄 39…終了接続内容表示欄 41…点情報表示欄 45…採点値範囲データ 46…変換文字書込みデータ 47…パターン認識データベース 50…標準文字 51…第1画 53…標準文字 54…丸 56…標準文字 58…手書き文字 59…データ点 61…標準交差順データ 62…交差順番記憶データ 63…手書き交差順データ 64…交差順データベース 65…n画線 66…m画線 67…交差点 68…隣接点 69a,69b…周辺点 70a,70b…周辺点 71…文字認識システム 72…システム本体 73…入力部 74…文字読取部 75…文字倍率解析部 76…文字変換部 77…文字位置調整部 78…文字評価部 79…出力部 80…全角位置的評価部 81…画毎位置的評価部 82…画長評価部 83…ベクトル方向評価部 84…跳ね方向評価部 85…丸評価部 86…丸止め評価部 87…交差点評価部 88…画毎相対関係評価部 89…パターン認識評価部

Claims (11)

  1. コンピュータに、手書きの文字、記号又は図形を読み取り、画毎に点の集合とし、デジタル化した座標点データを備える手書きデータを生成する工程と、
    このデジタル化した手書きデータの中の一の画と,この一の画(以下、自画という。)及び他の画(以下、他画という。)との交差点を検知する工程と、画毎に前記交差点の有無及び交差相手画に関するデータを手書きデータの交差情報データとして取得する工程と、
    前記手書きデータを第1の記録媒体に格納する工程と、
    予め第2の記録媒体に格納された手本の文字、記号又は図形を画毎に点の集合とし、デジタル化した座標点データと,この手本の座標点データの中の一の画と,自画及び他画の交差点に関し,画毎に,交差点の有無,交差相手画及び自画の始点からの相対位置を交差情報データとして備える標準データを読み出して、この標準データの交差情報データと、前記第1の記録媒体から読み出した前記手書きデータの交差情報データを画毎に比較照合し前記手書きの文字、記号又は図形の正誤又は正答度を判断する工程と、
    前記手書きの文字、記号又は図形の正誤又は正答度を出力する工程とを実行させることを特徴とする文字、記号及び図形認識プログラムであって、
    前記手書きデータの交差点を検知する工程は、自画あるいは他画の交差点を仮交差点として検出し、その仮交差点の座標点データに交差符号を付す工程と、この仮交差点の各画前後の座標点データにその画の書き順に対して順方向から小さな数値を周辺番号として付す工程とを備え、前記仮交差点の各画の周辺番号の並び方によって真の交差点として検知することを特徴とする文字、記号及び図形認識プログラム。
  2. コンピュータに、手書きの文字、記号又は図形を読み取り、画毎に点の集合とし、デジタル化した座標点データを備える手書きデータを生成する工程と、
    このデジタル化した手書きデータの中の一の画と、自画及び他画との交差点を検知する工程と、
    前記手書きデータを第1の記録媒体に格納する工程と、
    予め第2の記録媒体に格納された手本の文字、記号又は図形を画毎に点の集合とし、デジタル化した座標点データと,この手本の座標点データの中の一の画と,自画及び他画の交差点に関し,画毎に,交差点の有無,交差相手画及び自画の始点からの相対位置を交差情報データとして備える標準データを読み出して、この標準データと、前記第1の記録媒体から読み出した前記手書きデータを比較して前記手書きの文字、記号又は図形の大きさを前記手本の文字、記号又は図形の大きさに合致させる倍率を求める工程と、
    前記倍率を用いて前記手書きデータを変換して変換データを生成する工程と、
    前記変換データを第3の記録媒体に格納する工程と、
    前記変換データと前記標準データを前記第3の記録媒体と前記第2の記録媒体からそれぞれ読み出して、前記変換データの中の一の画と、自画及び他画との交差点を検知する工程と、画毎に前記交差点の有無及び交差相手画に関するデータを変換データの交差情報データとして取得する工程と、前記標準データの交差情報データと、前記変換データの交差情報データを画毎に比較照合し前記手書きの文字、記号又は図形の正誤又は正答度を判断する工程と、
    前記手書きの文字、記号又は図形の正誤又は正答度を出力する工程とを実行させることを特徴とする文字、記号及び図形認識プログラムであって、
    前記変換データの交差点を検知する工程は、自画あるいは他画の交差点を仮交差点として検出し、その仮交差点の座標点データに交差符号を付す工程と、この仮交差点の各画前後の座標点データにその画の書き順に対して順方向から小さな数値を周辺番号として付す工程とを備え、前記仮交差点の各画の周辺番号の並び方によって真の交差点として検知することを特徴とする文字、記号及び図形認識プログラム。
  3. 前記倍率を用いて前記手書きデータを変換して変換データを生成する工程において、前記変換データの座標点データ数は前記標準データの座標点データ数と略同一であることを特徴とする請求項2記載の文字、記号及び図形認識プログラム。
  4. 前記標準データは手本の文字の画数データと、画毎にデジタル化された座標点データと、手本の文字に関して跳ね、流れ、丸、丸止めのうち少なくとも1の有無を示す特徴情報データを有し、前記第1の記録媒体から読み出した手書きデータと前記第2の記録媒体から読み出した標準データとを画毎に比較照合し前記手書きの文字、記号又は図形の正誤及び正答度を判断する工程は、前記標準データの特徴情報データに跳ねの存在が示されている場合にその跳ねが存在する画の終了点近傍の座標点データから跳ね角度を算出する工程と、前記跳ねが存在する画の手書きの文字の変換データの終了点近傍の座標点データから跳ね角度を算出する工程と、前記標準データの跳ね角度と前記変換データの跳ね角度を比較して文字の正誤又は正答度を判断する工程を有することを特徴とする請求項記載の文字、記号及び図形認識プログラム。
  5. 前記標準データは手本の文字の画数データと、画毎にデジタル化された座標点データと、手本の文字に関して跳ね、流れ、丸、丸止めのうち少なくとも1の有無を示す特徴情報データを有し、前記第3の記録媒体から読み出した変換データと前記第2の記録媒体から読み出した標準データとを画毎に比較照合し前記手書きの文字、記号又は図形の正誤及び正答度を判断する工程は、前記標準データの特徴情報データに跳ねの存在が示されている場合にその跳ねが存在する画の終了点近傍の座標点データから跳ね角度を算出する工程と、前記跳ねが存在する画の手書きの文字の変換データの終了点近傍の座標点データから跳ね角度を算出する工程と、前記標準データの跳ね角度と前記変換データの跳ね角度を比較して文字の正誤又は正答度を判断する工程を有することを特徴とする請求項記載の文字、記号及び図形認識プログラム。
  6. 前記標準データは手本の文字の画数データと、画毎にデジタル化された座標点データと、手本の文字に関して跳ね、流れ、丸、丸止めのうち少なくとも1の有無を示す特徴情報データを有し、前記第1の記録媒体から読み出した手書きデータと前記第2の記録媒体から読み出した標準データとを画毎に比較照合し前記手書きの文字、記号又は図形の正誤及び正答度を判断する工程は、前記標準データの特徴情報データに丸の存在が示されている場合に前記手書きの文字の各画の変換データの開始点と終了点の座標点データからその間の距離を算出する工程と、この距離によって文字の正誤又は正答度を判断する工程を有することを特徴とする請求項1記載の文字、記号及び図形認識プログラム。
  7. 前記標準データは手本の文字の画数データと、画毎にデジタル化された座標点データと、手本の文字に関して跳ね、流れ、丸、丸止めのうち少なくとも1の有無を示す特徴情報データを有し、前記第3の記録媒体から読み出した変換データと前記第2の記録媒体から読み出した標準データとを画毎に比較照合し前記手書きの文字、記号又は図形の正誤及び正答度を判断する工程は、前記標準データの特徴情報データに丸の存在が示されている場合に前記手書きの文字の各画の変換データの開始点と終了点の座標点データからその間の距離を算出する工程と、この距離によって文字の正誤又は正答度を判断する工程を有することを特徴とする請求項2記載の文字、記号及び図形認識プログラム。
  8. 前記標準データは手本の文字の画数データと、画毎にデジタル化された座標点データと、手本の文字に関して跳ね、流れ、丸、丸止めのうち少なくとも1の有無を示す特徴情報データを有し、前記第1の記録媒体から読み出した手書きデータと前記第2の記録媒体から読み出した標準データとを画毎に比較照合し前記手書きの文字、記号又は図形の正誤及び正答度を判断する工程は、前記標準データの特徴情報データに丸止めの存在が示されている場合に前記手書きの文字の各画の変換データの終了点とこの終了点から逆に予め設定した複数の点までの距離をそれぞれ算出する工程と、この距離によって文字の正誤又は正答度を判断する工程を有することを特徴とする請求項記載の文字、記号及び図形認識プログラム。
  9. 前記標準データは手本の文字の画数データと、画毎にデジタル化された座標点データと、手本の文字に関して跳ね、流れ、丸、丸止めのうち少なくとも1の有無を示す特徴情報データを有し、前記第3の記録媒体から読み出した変換データと前記第2の記録媒体から読み出した標準データとを画毎に比較照合し前記手書きの文字、記号又は図形の正誤及び正答度を判断する工程は、前記標準データの特徴情報データに丸止めの存在が示されている場合に前記手書きの文字の各画の変換データの終了点とこの終了点から逆に予め設定した複数の点までの距離をそれぞれ算出する工程と、この距離によって文字の正誤又は正答度を判断する工程を有することを特徴とする請求項記載の文字、記号及び図形認識プログラム。
  10. 手書きの文字、記号又は図形を入力する入力部と、
    この入力部に接続され前記手書きの文字、記号又は図形を読み取り、画毎に点の集合とし、デジタル化した座標点データを備える手書きデータを生成する読取部と、
    この読取部からデジタル化した手書きデータに含まれる文字、記号又は図形の特徴を画毎に読み出して、前記デジタル化した手書きデータの中の一の画と,自画及び他画との交差点を検知して画毎に前記交差点の有無及び交差相手画に関するデータを手書きデータの交差情報データとして取得し、手本の文字、記号又は図形を画毎に点の集合とし、デジタル化した座標点データと,この手本の座標点データの中の一の画と,自画及び他画の交差点に関し,画毎に,交差点の有無,交差相手画及び自画の始点からの相対位置を交差情報データとして備える標準データの交差情報データと、前記手書きデータの交差情報データを、画毎に比較照合して前記手書きの文字、記号又は図形の正誤又は正答度を判断する評価部と、
    前記手書きの文字、記号又は図形の正誤又は正答度を出力する出力部とを有することを特徴とする文字、記号及び図形認識システムであって、
    前記評価部による手書きデータの交差点の検知は、自画あるいは他画の交差点を仮交差点として検出し、その仮交差点の座標点データに交差符号を付し、この仮交差点の各画前後の座標点データにその画の書き順に対して順方向から小さな数値を周辺番号として付して、前記仮交差点の各画の周辺番号の並び方によって真の交差点として検知することを特徴とする文字、記号及び図形認識システム。
  11. 手書きの文字、記号又は図形を入力する入力部と、
    この入力部に接続され前記手書きの文字、記号又は図形を読み取り、画毎に点の集合とし、デジタル化した座標点データを備える手書きデータを生成する読取部と、
    前記デジタル化した手書きデータを格納する第1の記録媒体と、
    手本の文字、記号又は図形を画毎に点の集合とし、デジタル化した座標点データと,この手本の座標点データの中の一の画と,自画及び他画の交差点に関し,画毎に,交差点の有無,交差相手画及び自画の始点からの相対位置を交差情報データとして備える標準データを格納する第2の記録媒体と、
    前記第1の記録媒体から読み出した前記手書きデータと前記第2の記録媒体から読み出した前記標準データを比較して前記手書きの文字、記号又は図形の大きさを前記手本の文字、記号又は図形の大きさに合致させる倍率を求める倍率解析部と、
    前記倍率を用いて前記手書きデータを変換して変換データを生成する変換部と、
    前記変換データを格納する第3の記録媒体と、
    前記変換データと前記標準データを前記第3の記録媒体と前記第2の記録媒体からそれぞれ読み出して、前記変換データの中の一の画と、自画及び他画との交差点を検知して画毎に前記交差点の有無及び交差相手画に関するデータを変換データの交差情報データとして取得し、前記標準データの交差情報データと、画毎に比較照合し前記手書きの文字、記号又は図形の正誤又は正答度を判断する評価部と、
    前記手書きの文字、記号又は図形の正誤又は正答度を出力する出力部とを有することを特徴とする文字、記号及び図形認識システムであって、
    前記評価部による変換データの交差点の検知は、自画あるいは他画の交差点を仮交差点として検出し、その仮交差点の座標点データに交差符号を付し、この仮交差点の各画前後の座標点データにその画の書き順に対して順方向から小さな数値を周辺番号として付して、前記仮交差点の各画の周辺番号の並び方によって真の交差点として検知することを特徴とする文字、記号及び図形認識システム。
JP2003163078A 2003-06-09 2003-06-09 文字、記号及び図形認識方法とそのプログラムとそのプログラムを記録したコンピュータ読み取り可能な記録媒体と文字、記号及び図形認識システム Expired - Fee Related JP3913712B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003163078A JP3913712B2 (ja) 2003-06-09 2003-06-09 文字、記号及び図形認識方法とそのプログラムとそのプログラムを記録したコンピュータ読み取り可能な記録媒体と文字、記号及び図形認識システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003163078A JP3913712B2 (ja) 2003-06-09 2003-06-09 文字、記号及び図形認識方法とそのプログラムとそのプログラムを記録したコンピュータ読み取り可能な記録媒体と文字、記号及び図形認識システム

Publications (2)

Publication Number Publication Date
JP2004362483A JP2004362483A (ja) 2004-12-24
JP3913712B2 true JP3913712B2 (ja) 2007-05-09

Family

ID=34054991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003163078A Expired - Fee Related JP3913712B2 (ja) 2003-06-09 2003-06-09 文字、記号及び図形認識方法とそのプログラムとそのプログラムを記録したコンピュータ読み取り可能な記録媒体と文字、記号及び図形認識システム

Country Status (1)

Country Link
JP (1) JP3913712B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5667334B2 (ja) * 2007-03-30 2015-02-12 任天堂株式会社 図形評価プログラムおよび図形評価装置
US8944824B2 (en) 2008-04-03 2015-02-03 Livescribe, Inc. Multi-modal learning system
WO2010105327A1 (en) * 2009-03-18 2010-09-23 Tata Consultancy Services Limited Method, system and computer program for generating financial transaction instructions
JP5520505B2 (ja) * 2009-03-27 2014-06-11 株式会社成基総研 採点装置、採点方法、およびプログラム
JP5639830B2 (ja) * 2010-09-29 2014-12-10 任天堂株式会社 ゲーム装置、ゲームプログラム、ゲームシステムおよびゲーム制御方法
JP5600696B2 (ja) * 2012-02-16 2014-10-01 株式会社文溪堂 筆記漢字判定システム、及び筆記漢字判定プログラム
JP2014006760A (ja) * 2012-06-26 2014-01-16 Nobuhiko Ido 解答を手書き文字入力で行う出題採点装置
JP6901270B2 (ja) * 2017-01-26 2021-07-14 株式会社ジャストシステム 学習支援プログラム、学習支援方法および学習支援装置
WO2019056189A1 (zh) * 2017-09-19 2019-03-28 深圳市柔宇科技有限公司 书写互动方法和装置、电子装置和计算机可读存储介质
CN110188600B (zh) * 2019-04-15 2023-06-27 广东智媒云图科技股份有限公司 一种绘画评价方法、系统及存储介质

Also Published As

Publication number Publication date
JP2004362483A (ja) 2004-12-24

Similar Documents

Publication Publication Date Title
JP4563247B2 (ja) 学習支援システムおよび学習支援プログラム
JP6963302B2 (ja) 漢字学習装置
JP5239506B2 (ja) 学習支援システム、プログラムおよび学習支援方法
CN101326518B (zh) 用于墨水笔记的手写体识别的方法和装置
US20080131852A1 (en) Systems and methods for teaching proper letter and character formation
CN1018092B (zh) 表意文字的处理方法及装置
JP3913712B2 (ja) 文字、記号及び図形認識方法とそのプログラムとそのプログラムを記録したコンピュータ読み取り可能な記録媒体と文字、記号及び図形認識システム
JPH02289100A (ja) 漢字符号化及び復号化装置
US7561740B2 (en) Systems and methods for automatic graphical sequence completion
JPH08161429A (ja) 文字を認識するための方法および装置
KR20120075587A (ko) 필기 수식 인식을 이용한 학습 시스템 및 방법
TWI303783B (en) Method and device for recognition of a handwritten pattern, and computer program product
Tan An algorithm for online strokes verification of Chinese characters using discrete features
JP2001014100A (ja) 手書入力装置及び書き方学習装置
JP4678671B2 (ja) 手書き文字配置整形方法及び電子ボードシステム
JP2003233294A (ja) 漢字学習用指導システム
JP2017037125A (ja) ストロークの構成に差異がある手書き入力文字に対し、標準パターンと入力パターンとに変換を加えて照合と判定とを行う自動採点システム
CN114241486A (zh) 一种提高识别试卷学生信息准确率的方法
TW200811765A (en) Method of learning to write Chinese characters
JP2550323B2 (ja) 文字のなぞり書き学習装置
JP5667334B2 (ja) 図形評価プログラムおよび図形評価装置
JP7524712B2 (ja) 情報処理装置、制御方法及びプログラム
JP7556264B2 (ja) 情報処理装置、制御方法及びプログラム
Shin et al. Character learning system using inter-stroke information
Arambewela et al. Real-time sinhala writing assistant for kids

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060516

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20060620

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20060627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070131

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100209

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130209

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees