JP6256504B2 - プログラム、情報記憶媒体及び筆順判定装置 - Google Patents
プログラム、情報記憶媒体及び筆順判定装置 Download PDFInfo
- Publication number
- JP6256504B2 JP6256504B2 JP2016052376A JP2016052376A JP6256504B2 JP 6256504 B2 JP6256504 B2 JP 6256504B2 JP 2016052376 A JP2016052376 A JP 2016052376A JP 2016052376 A JP2016052376 A JP 2016052376A JP 6256504 B2 JP6256504 B2 JP 6256504B2
- Authority
- JP
- Japan
- Prior art keywords
- stroke
- feature
- pattern
- input
- strokes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Character Discrimination (AREA)
Description
本発明は、プログラム、情報記憶媒体及び筆順判定装置に関する。
我が国の小学校では、漢字ドリルを使って漢字の筆順や字形について学ぶ。漢字は種類が大変多く、小学校6年間を通して学習指導要領に基づく1,006文字が学習対象となっている。現在の教育制度ではこれらの漢字の教育に多くの時間を費やすことができず、正しい筆順や字形を学ぶ機会は多くない。そのため、筆記した漢字の正しさを丁寧に指導してもらうことなく、誤った筆順や字形を正されずに大人になってしまうことが多い。
しかし、近年では、コンピュータの普及に伴い、タブレットによるタッチパネルを利用した漢字学習アプリケーションなども実用化されている。紙面上に書かれた漢字では筆順を特定することは難しいが、タブレットを利用して筆点列情報(インクデータ)を取得すれば、書かれた筆順を保存でき、誤った筆順を指摘することができる。
漢字学習アプリケーションによる漢字の筆順判定では、判定精度の低い方法を用いると、学習者が書いた文字の癖や多少の筆画のずれによって誤判定が生じる。漢字学習アプリケーションの利用者層は、小中学校の児童・生徒が大半であり、文字を書き慣れていない学習者に対しては誤判定が極力少ない方法を用いることが必要である。
非特許文献1には、綺麗な手書き文字を学習するための書写学習システムが開示されている。ここでは、学習者の入力文字パターンと手本文字パターンのストロークを対応付ける方法として、位置特徴を用いたDPマッチングとストロークの3点近似座標のマッチングを比較している。位置特徴を用いたDPマッチング手法では、入力文字パターンと手本文字パターンから1つずつ選出したストローク組について、筆点座標間の距離を用いて伸縮マッチングを行い、コストを求める。3点近似座標のマッチング手法では、組となったストロークそれぞれから始点、中間点、終点を抽出し、それら同士の座標距離を求め、その和をコストとする。両方法ともに、入力文字パターンと手本文字パターンの全てのストロークから総当たりでストローク間のコストを求め、行列で表現し、その中で、コストの合計が最も小さい対応を求める。入力文字パターンと手本文字パターンのストローク対応が筆順通りであれば筆順が正しいと判定し、そうでなければ筆順が間違っていると判定する。
非特許文献2には、書字が困難な児童の漢字学習を支援するための漢字学習支援ツールが開示されている。ここでは、一画入力するごとに結果を即時にフィードバックする逐次筆順判定手法を提案している。また、特徴点により分割した各ストロークから8方向特徴を求め、入力文字パターンと手本パターンとで特徴を照合して評価している。更に、文字パターン内のストロークの始点同士を結ぶベクトルから8方向特徴を抽出し、同様の方法で評価している。
非特許文献3には、小学校児童向けのオンライン手書き漢字学習システムが開示されている。このシステムでは、入力文字パターンと手本文字パターンそれぞれに対して、特徴点ごとに、特徴点から次の特徴点までの方向、前の方向から次の方向への変化量、文字パターンの重心から特徴点までの方向と距離を特徴として、特徴点対応付け処理を行い、対応点について類似度を求める。この類似度を用いて、ストロークを1対1で対応付けするためのビームサーチを行う。
T.Yamasaki, T.Hattori, "Web-based Language Learning System for Acquiring Beautiful Handwriting of Japanese Characters,"Proceedings ICCE / School Net 2001, pp. 1225-1228, 2001.
岡崎泰久, "書字困難児童の学習特性に適応した手書き漢字学習支援ツールの開発と評価," 電子情報通信学会 Vol. J98-D, 2015.
古積拓見, 中川正樹, "字を正しくきれいに書くためのペン習字支援システム," IPSJ SIG technical report Vol.2014-CE-124, 2014.
位置特徴だけを利用する筆順判定は、古くから研究されてきた最も単純な手法であるが、この特徴だけでは判定精度が低い。また、非特許文献1に記載の手法のように、ストロークの総当たりを用いる方法では、画数の多い文字になると計算量がO(n2)で増加する。また、非特許文献3に記載の手法では、類似度計算において、照合する2ストローク間の位置特徴が大きくかけ離れていても角度特徴が近いと類似度が高くなって対応付されてしまう問題があった。また、このシステムは、学習者が文字を書き終えた後にしか筆順判定が動作しない。新しい漢字を学習する児童にとっては、ストロークを1画入力する度に、それが正しいかどうかをフィードバックしてくれるほうが効果的であると考えられる。
本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、手書き入力された文字パターンの筆順が正しいか否かを高い精度で判定することが可能なプログラム、情報記憶媒体及び筆順判定装置を提供することにある。
(1)本発明は、手書き入力された文字パターンの筆順が正しいか否かを判定するためのプログラムであって、入力された文字パターンのストロークを取得するごとに、それまでに取得したN(Nは1以上の整数)画分のストロークと、記憶部に記憶された手本文字パターンから抽出したN画分のストロークとの相違度を算出し、算出した相違度に基づいて、取得したN画目のストロークを前記手本文字パターンのいずれかのストロークに対応付けるストローク対応付け部と、前記ストローク対応付け部での対応付け結果に基づいて、入力された文字パターンの筆順が正しいか否かを判定する筆順判定部としてコンピュータを機能させるためのプログラムに関する。また、本発明は、コンピュータ読み取り可能な情報記憶媒体であって、上記各部としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体に関係する。また、本発明は、上記各部を含む筆順判定装置に関係する。
本発明によれば、入力文字パターンのストロークを取得するごとに、それまでに取得したN画分のストロークと、手本文字パターンから抽出したN画分のストロークとの相違度を算出して、取得したN画目のストロークを手本文字パターンのいずれかのストロークのいずれかに対応付けることで、入力文字パターンの筆順を高い精度で判定することができる。
(2)また本発明に係るプログラム、情報記憶媒体及び筆順判定装置では、入力された文字パターンのストロークから特徴点を抽出する特徴点抽出部として更にコンピュータを機能させ(特徴点抽出部を更に含み)、前記ストローク対応付け部は、それまでに取得したN画分のストロークについて各ストロークの始点と終点を中心とする領域内の特徴点の分布に関する特徴量を求め、求めた特徴量と、前記手本文字パターンから抽出したN画分
のストロークについて求めた前記特徴量とに基づいて前記相違度を算出してもよい。
のストロークについて求めた前記特徴量とに基づいて前記相違度を算出してもよい。
本発明によれば、それまでに取得したN画分のストロークについて各ストロークの始点と終点を中心とする領域内の特徴点の分布に関する特徴量を求め、求めた特徴量と、手本文字パターンから抽出したN画分のストロークについて求めた特徴量とに基づいて相違度を算出することで、入力文字パターンの筆順を高い精度で判定することができる。
(3)また本発明に係るプログラム、情報記憶媒体及び筆順判定装置では、前記ストローク対応付け部は、前記領域を複数の矩形領域に分割し、各分割領域内の特徴点の数を算出して前記特徴量を求めてもよい。
本発明によれば、領域を複数の矩形領域に分割し、各分割領域内の特徴点の数を算出して特徴量を求めることで、入力文字パターンの筆順を高い精度で判定することができる。
(4)また本発明に係るプログラム、情報記憶媒体及び筆順判定装置では、前記ストローク対応付け部は、前記領域を複数の領域に分割し、各分割領域内の特徴点の数を各分割領域に適用したガウス関数によって重み付けして算出して前記特徴量を求めてもよい。
本発明によれば、領域を複数の領域に分割し、各分割領域内の特徴点の数を各分割領域に適用したガウス関数によって重み付けして算出して特徴量を求めることで、位置ずれによる影響を抑えて、入力文字パターンの筆順を更に高い精度で判定することができる。
(5)また本発明に係るプログラム、情報記憶媒体及び筆順判定装置では、前記ストローク対応付け部は、それまでに取得したN画分のストロークを複数の領域に分割し、各分割領域内のストロークの方向特徴に関する特徴量を求め、求めた特徴量と、前記手本文字パターンから抽出したN画分のストロークについて求めた前記特徴量とに基づいて前記相違度を算出してもよい。
本発明によれば、それまでに取得したN画分のストロークを複数の領域に分割し、各分割領域内のストロークの方向特徴に関する特徴量を求め、求めた特徴量と、手本文字パターンから抽出したN画分のストロークについて求めた特徴量とに基づいて相違度を算出することで、計算量の増大を抑えつつ、入力文字パターンの筆順を高い精度で判定することができる。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.構成
図1に本実施形態の筆順判定装置の機能ブロック図の一例を示す。なお本実施形態の筆順判定装置は図1の構成要素(各部)の一部を省略した構成としてもよい。
図1に本実施形態の筆順判定装置の機能ブロック図の一例を示す。なお本実施形態の筆順判定装置は図1の構成要素(各部)の一部を省略した構成としてもよい。
文字入力部160は、ユーザが筆記媒体(ペン、指先等)で手書き文字を入力するためのものであり、その機能は、タブレット、タッチパネル等の筆記面などにより実現できる。文字入力部160は、筆記媒体が筆記面に触れてから離れるまでの筆記媒体の位置を表す座標データを一定時間間隔で検出し、検出された座標データ列(時系列の筆点座標系列)をストローク(筆画)のデータとして処理部100に出力する。なお、ストロークの終点から次のストロークの始点までのベクトルをオフストローク(運筆ベクトル)と呼び、ストロークとオフストロークの連続する系列をストローク列と呼び、ストローク列から構成される文字パターンをオンライン手書き文字パターン(或いは、単に文字パターン)と呼ぶ。
記憶部170は、処理部100の各部としてコンピュータを機能させるためのプログラムや各種データを記憶するとともに、処理部100のワーク領域として機能し、その機能はハードディスク、RAMなどにより実現できる。また、記憶部170は、手本文字パターン(正しい筆順で筆記された文字パターン)に関する情報(手本文字パターンを構成する各ストロークの情報、手本文字パターンの各ストロークから抽出された特徴点の情報、手本文字パターンの各ストロークの筆順の情報)を記憶する。
表示部190は、処理部100で生成された画像を出力するものであり、その機能は、文字入力部160としても機能するタッチパネル、LCD或いはCRTなどのディスプレイにより実現できる。
処理部100(プロセッサ)は、文字入力部160からの座標データやプログラムなどに基づいて各種処理を行う。この処理部100は記憶部170内の主記憶部をワーク領域として各種処理を行う。処理部100の機能は各種プロセッサ(CPU、DSP等)、ASIC(ゲートアレイ等)などのハードウェアや、プログラムにより実現できる。処理部
100は、特徴点抽出部110、特徴点対応付け部112、ストローク対応付け部114、筆順判定部116、表示制御部120を含む。
100は、特徴点抽出部110、特徴点対応付け部112、ストローク対応付け部114、筆順判定部116、表示制御部120を含む。
特徴点抽出部110は、入力された文字パターン(入力文字パターン)のストロークから特徴点を抽出する処理を行う。特徴点対応付け部112は、入力されたストロークから抽出された特徴点を、記憶部170に記憶された手本文字パターンの特徴点に対応付ける処理を行う。
ストローク対応付け部114は、入力された文字パターンのストロークを取得するごとに、それまでに取得したN(Nは1以上の整数)画分のストロークと、記憶部170に記憶された手本文字パターンから抽出したN画分のストロークとの相違度を算出し、算出した相違度に基づいて、取得したN画目のストロークを手本文字パターンのいずれかのストロークに対応付ける処理を行う。
ストローク対応付け部114は、それまでに取得したN画分のストロークについて各ストロークの始点と終点を中心とする領域内の特徴点の分布に関する特徴量を求め、求めた特徴量と、手本文字パターンから抽出したN画分のストロークについて求めた前記特徴量(特徴点の分布に関する特徴量)とに基づいて前記相違度を算出してもよい。ここで、ストローク対応付け部114は、前記領域を複数の矩形領域に分割し、各分割領域内の特徴点の数を算出して前記特徴量を求めてもよいし、前記領域を複数の領域に分割し、各分割領域内の特徴点の数を各分割領域に適用したガウス関数によって重み付けして算出して前記特徴量を求めてもよいし、これらの手法を組み合わせて前記特徴量を求めてもよい。
また、ストローク対応付け部114は、それまでに取得したN画分のストロークを複数の領域に分割し、各分割領域内のストロークの方向特徴(例えば、8方向特徴)に関する特徴量を求め、求めた特徴量と、手本文字パターンから抽出したN画分のストロークについて求めた前記特徴量(ストロークの方向特徴に関する特徴量)とに基づいて前記相違度を算出してもよい。
筆順判定部116は、ストローク対応付け部114での対応付け結果に基づいて、入力された文字パターンの筆順が正しいか否かを判定する。すなわち、筆順判定部116は、入力文字パターンと手本文字パターンとのストローク対応が記憶部170に記憶された正しい筆順通りであれば筆順が正しいと判定し、そうでなければ筆順が間違っていると判定する。
表示制御部120は、入力されたストローク列を表示部190に表示させる制御と、筆順判定部116の判定結果(筆順が正しいか否か)を表示部190に表示させる制御を行う。
2.本実施形態の手法
次に本実施形態の手法について図面を用いて説明する。
次に本実施形態の手法について図面を用いて説明する。
本実施形態の手法では、1ストローク単位で照合を行っていた従来の手法に代えて、1画筆記されるごとに、それまでに筆記された文字パターン(1画目から最終画が筆記されるまでの完成形も含めた1画ごとの筆記途中の文字パターン:入力部分パターンとも呼称する)と、手本文字パターンから同画数分のストロークを抽出した文字パターン(手本部分パターンとも呼称する)とを照合(相違度を算出)して、ストロークの対応付けを行う。すなわち、本実施形態の手法では、筆順が異なると、間違った筆順で筆記されたストロークまでの文字パターンが、正しい筆順で同一画数まで筆記された文字パターンに対して大きな差異を生じる(相違度が大きくなる)ことを利用している。
2−1.第1の手法
図2は、本実施形態の第1の手法における処理の流れを示すフローチャートである。本実施形態の手法では、まず、前処理として、入力部分パターンに対して非線形正規化(ステップS10)と特徴点の抽出(ステップS11)を行い、次に、伸縮マッチング(線形処理時間伸縮マッチング)を用いて入力部分パターンと手本部分パターンの特徴点同士の対応付けを行い(ステップS12)、特徴点確定処理により特徴点を1対1で対応付けする(ステップS13)。ステップS10〜S13の処理は、第1の手法と後述する第2の手法で共通の処理である。
図2は、本実施形態の第1の手法における処理の流れを示すフローチャートである。本実施形態の手法では、まず、前処理として、入力部分パターンに対して非線形正規化(ステップS10)と特徴点の抽出(ステップS11)を行い、次に、伸縮マッチング(線形処理時間伸縮マッチング)を用いて入力部分パターンと手本部分パターンの特徴点同士の対応付けを行い(ステップS12)、特徴点確定処理により特徴点を1対1で対応付けする(ステップS13)。ステップS10〜S13の処理は、第1の手法と後述する第2の手法で共通の処理である。
次に、入力部分パターンと手本部分パターンのそれぞれから特徴量を求めて両者の相違度を算出し(ステップS15)、算出した相違度に基づき入力部分パターンと手本部分パターンのストローク同士の対応付けを行い(ステップS16)、対応付け結果に基づき入力文字パターンの筆順の正誤を判定する(ステップS17)。なお、本実施形態の手法では、ストロークの二度書き及びストロークの続けを許容しないものとし、入力文字パターンと手本文字パターンの画数が同一であることを前提としてストロークを1対1で対応付けする。第1の手法では、特徴量を求める手法として、特徴点の近傍から他の特徴点の分布を抽出する手法(特徴点分布特徴抽出法(SCF)と呼称する)を採用する。特徴点分布特徴抽出法の詳細については後述する。
ステップS10では、処理部100は、入力部分パターンに対して非線形正規化を行う。手書き文字パターンには、筆記者の癖が強く出る。非線形正規化によって入力部分パターンにおけるストロークの配置がなるべく均等になるようにストロークの位置を移動させることで、入力部分パターンでの形状変動を軽減することができる。非線形正規化の処理例を図3に示す。
ステップS11では、特徴点抽出部110は、入力されたストロークから特徴点を抽出する。これにより、手振れによるノイズを除去することができ、筆点数を削減して処理の高速化を図ることができる。なお、手本文字パターンについては、予め特徴点が抽出され、記憶部170に記憶されている。特徴点の抽出は、図4に示す手順により行う。まず、ストロークの始点と終点を特徴点FPとして設定する(図4(A))。次に、隣接する特徴点FP同士を線分SGで結び(図4(B))、隣接する特徴点FP間の全ての筆点から線分SGへの垂線を引き、垂線の距離が所定の閾値Th以上且つ距離が最大の筆点を新たな特徴点FPとして設定する(図4(C))。そして、新たな特徴点FPから隣接する他の特徴点FPに線分SGを引き、同様の処理を設定可能な特徴点がなくなるまで再帰的に繰り返す(図4(D))。
ステップS12では、特徴点対応付け部112は、入力部分パターンのストロークを、筆記された順に手本部分パターンのストロークと組にして、伸縮マッチングを用いて特徴点同士を対応付け(マッチング)する。伸縮マッチングでは、入力部分パターンと手本部分パターンの特徴点系列を伸縮させながら、評価関数を用いて決定論的に対応付ける。評価関数E(i,j)を式(1)に示す。評価関数E(i,j)は、式(2)に示す位置特徴の評価Ep(i,j)と、式(3)に示す方向特徴の評価Ed(θ)の重み付き和である。
ステップS13では、特徴点対応付け部112は、特徴点確定処理により両者の特徴点を1対1で対応付けする。特徴点確定処理は、図6に示す手順により行う。まず、入力部分パターンPと手本部分パターンQのストロークの最初の特徴点(始点)同士の対応と、最後の特徴点(終点)同士の対応を確定し、確定した特徴点に対応付けられた他の特徴点があればその対応を削除する(図6(A))。次に、対応の列の後ろの方から未確定の対応を探して当該対応を確定し、確定した特徴点に対応付けられた他の特徴点があればその対応を削除する(図6(B))。以降、未確定の対応がなくなるまでこれを繰り返す。
ステップS12、S13の処理の結果、入力部分パターンと手本部分パターンのストロークの特徴点は1対1で対応付けられているが、特徴点数は削減されている。しかし、ステップS15で用いる特徴点分布特徴抽出法では、字形を表現する特徴点は多い方が好ましい。そこで、ステップS14では、処理部100は、ストロークの隣接する特徴点間に特徴点を再配置するリサンプリング処理を行う。特徴点間の距離は、特徴点抽出前のストロークの形状によって様々であり、特徴点をバランス良く再配置する必要がある。ここでは、まず、入力部分パターンと手本部分パターンのストローク組で対応する特徴点間の距離の平均aveiを、式(4)により求める。
ステップS15では、ストローク対応付け部114は、特徴点分布特徴抽出法により、文字パターンを構成する特徴点を中心とする領域を複数の領域に分割(区分)し、各分割領域内の特徴点の数を算出して、当該領域内の特徴点の分布に関する特徴(特徴点分布特徴)を求める。ここでは、特徴点を中心とする円形領域を扇型に区分する例について説明する。
まず、特徴点分布特徴を算出する文字パターン(入力部分パターン、手本部分パターン)の中で、最も距離が離れている2点を求め(図8(A))、この距離を円形領域CAの半径rKとする(図8(B))。円形領域CAは、任意の特徴点を中心として作成される。次に、図9に示すように、円形領域CAを、例えば半径領域に3分割、円周方向に8分割し、合計24個の扇型領域(分割領域)を作成する。各分割領域をビンと呼ぶ。円形領域CAの半径方向の分割数をK個、内側の円から順にk=1,2,・・・,Kとし、それぞれの円の半径をrkとし、最も外側の円の半径をrKと表す。この半径rKを基準に、内側のK−1個の円の半径をLog−Polar変換から求める。半径方向の分割の距離を式(9)に示す。
本実施形態の第1の手法では、文字パターン(入力部分パターン、手本部分パターン)の特徴量(ヒストグラム)を求める際に、1つのストロークにつき、始点と終点の2つの特徴点からヒストグラムを求める。入力部分パターンの特徴量を求める場合、文字の総画数をM、最後に入力された画をk画目とすると、k画目のストロークが入力された(取得した)とき、それまでに入力されたk個(k画分)のストロークを入力部分パターンとし、この入力部分パターンのk個のストロークの特徴点(各ストロークの始点及び終点の特徴点)からヒストグラムを求める。このとき得られるヒストグラムは、合計2×k個となる。また、手本部分パターンについては、手本文字パターンから抽出した同数(k個)のストロークを手本部分パターンとし、この手本部分パターンのk個のストロークの特徴点から同様にヒストグラムを求め、入力部分パターンと照合する。
ステップS16では、ストローク対応付け部114は、得られた相違度Dsに基づき入力部分パターンと手本部分パターンのストローク同士の対応付けを行う。まず、貪欲法を用いてストロークの対応付けを行う手法(貪欲対応法と呼称する)について説明する。貪欲対応法では、入力されたストロークに最も類似する(相違度が低い)ストロークを、まだ対応付けられていない手本文字パターンのストロークから探す。貪欲対応法でのストロークの照合回数は、総画数Mの文字において、M(M+1)/2となる。また、貪欲対応方法では、また、入力済みストローク数(入力部分パターンのストローク数)が増えるほど、ストロークの照合回数が減少する。
図11は、入力文字パターン、手本文字パターン、及びそれらの筆順の一例を示す図である。図11に示す入力文字パターンでは、漢字「右」を筆記する際に、1〜4画目の筆順を間違えて筆記している。なお、図11では、k画目のストロークを実線で示し、それ以前のストロークを点線で示している。
この場合、図12(A)に示すように、1画目のストロークp1が入力されたとき、1画目のストロークp1と、手本文字パターンの1〜5画目のストロークq1〜q5(手本文字パターンから抽出した1画分のストローク)とがそれぞれ照合される。この場合、ストロークp1とストロークq2との相違度が最も小さいと判定され、入力された1画目のストロークは、手本文字パターンの2画目のストロークq2に対応付けられる。
次に、図12(B)に示すように、2画目のストロークが入力されたとき、それまでに入力された2画分のストロークp1+2と、手本文字パターンから抽出した2画分のストロークq2+1、q2+3、q2+4、q2+5とがそれぞれ照合される。q2+1、q2+3、q2+4、q2+5は、それぞれ手本文字パターンの対応付け済みの2画目のストロークとその他のストローク(1、3〜5画目)とからなる手本部分パターンである。この場合、入力部分パターンp1+2と手本部分パターンq2+1との相違度が最も小さいと判定され、入力された2画目のストロークは、手本文字パターンの1画目のストロークq1に対応付けられる。
次に、図12(C)に示すように、3画目のストロークが入力されたとき、それまでに入力された3画分のストロークp1+2+3と、手本文字パターンから抽出した3画分のストロークq2+1+3、q2+1+4、q2+1+5とがそれぞれ照合される。q2+1+3、q2+1+4、q2+1+5は、それぞれ手本文字パターンの対応付け済みの2、1画目のストロークとその他のストローク(3〜5画目)とからなる手本部分パターンである。この場合、入力部分パターンp1+2+3と手本部分パターンq2+1+4との相違度が最も小さいと判定され、入力された3画目のストロークは、手本文字パターンの4画目のストロークq4に対応付けられる。
次に、図12(D)に示すように、4画目のストロークが入力されたとき、それまでに入力された4画分のストロークp1+2+3+4と、手本文字パターンから抽出した4画分のストロークq2+1+4+3、q2+1+4+5とがそれぞれ照合される。q2+1+4+3、q2+1+4+5は、それぞれ手本文字パターンの対応付け済みの2、1、4画目のストロークとその他のストローク(4、5画目)とからなる手本部分パターンである。この場合、入力部分パターンp1+2+3+4と手本部分パターンq2+1+4+3との相違度が最も小さいと判定され、入力された4画目のストロークは、手本文字パターンの3画目のストロークq3に対応付けられる。そして、5画目のストロークが入力されたとき、入力された5画目のストロークは、手本文字パターンの5画目のストロークq5(まだ対応付けられていないストローク)に対応付けられる。
図13は、図11、図12に示す例におけるストロークの対応付けの結果を示す図である。図13において、「○」は、対応付けされたストローク組を示し、斜線は、計算不要(照合不要)なストローク組を示す。図13に示す例では、入力文字パターンの1画目、2画目、3画目、4画目、5画目のストロークが、それぞれ手本パターンの2画目、1画目、4画目、3画目、5画目のストロークに対応付けられており、入力文字パターンと手本文字パターンのストローク対応が筆順通りではないため、ステップS17において、筆順が間違っていると判定される。
次に、ビームサーチを用いてストロークの対応付けを行う手法について説明する。この手法では、図14に示すように、ノードとエッジで形成される探索空間において、区画距離δ(k,l)を計算し、探索空間の開始ノードから任意のノードまでの区画距離δ(k,l)の総和が最も小さくなる経路をストローク対応とする。図14は、総画数M=4の例を示している。また、図14において、括弧内の数字は状態番号を示し、各矩形枠は状態ノードを示している。なお、状態ノード内の4桁の数字の1桁目は手本文字パターンの1画目のストローク、2桁目は2画目のストローク、3桁目は3画目のストローク、4桁目は4画目のストロークを示している。区画距離δ(k,l)は、式(11)の相違度Dsを用いて、式(12)により求める。
上述した例では、特徴点分布特徴抽出法において、特徴点を中心とする領域の形状を円形とする(ビンの形状を扇型とする)一般的な手法を例にとって説明したが、特徴点を中心とする領域及びビンの形状を正方形(矩形領域)としてもよい。当該領域及びビンの形状を矩形とすることで、より単純な方法で(少ない処理負荷で)特徴点分布特徴を算出することができる。この場合、正方形領域SAの辺の長さを、例えば、文字パターン(入力部分パターン、手本部分パターン)の外接矩形の大きい方の辺長を2倍とした値とし、正方形領域SAを複数の正方形ビンに分割する(図15)。
また上述した例では、各分割領域(ビン)内に含まれる特徴点1個につき特徴量を1だけ加算している。しかし、ビンの境界付近では、特徴点の僅かな位置ずれにより含まれるビンが変わってしまい、特徴点分布特徴に大きな影響を及ぼすことがある。そこで、特徴点分布特徴を算出する際に、各分割領域(各ビン)にガウス関数を適用して特徴量を求めるように構成してもよい。ガウス関数を適用することで、ビンに含まれる特徴点がビンの中心に近いほど大きな特徴値となり、ビンの中心から遠いほど小さな特徴値となる。また、効果は小さいが、隣接するビンに含まれる特徴点による効果も加算される。
まず、正方形領域を8×8に等分割した正方形ビンにガウス関数を適用して特徴を抽出する場合について説明する。この場合、正方形ビンの中に含まれる特徴とそのビンの周囲の特徴を得るために、対象とする正方形ビンを中心にビンの幅と高さを2倍に拡大した領域から特徴を抽出する(拡大した領域をガウス関数の適用範囲とする)。文字パターンを表現する特徴点は全て2次元のXY座標系で表現するため、任意の特徴点からn行目m列目のビンBs(n,m)の中心点までの距離を、正方形ビンの辺長Tで正規化した距離dnmは、式(14)で示される。
次に、扇型ビンにガウス関数を適用して特徴を抽出する場合について説明する。扇型ビンの座標系としては、XY座標の代わりに、極座標(動径rと偏角θ)を用いる。ガウス関数の適用範囲は、隣接するビンの中心まで拡大する。図16(A)に、ガウス関数の適用範囲(図中太線で示す範囲)を示し、図16(B)に適用するガウス関数を示す。動径方向にs番目、偏角方向にt番目のビンBf(s,t)の中心座標は、式(17)で示される。
図17は、本実施形態の第2の手法における処理の流れを示すフローチャートである。ステップS20〜S23は、第1の手法のステップS10〜S13と同様の処理であるから説明を省略する。なお、第2の手法では、ステップS20、S22、S23の処理を省
略することができる。第2の手法では、特徴量を求める手法として、ストロークの方向特徴を抽出する手法(方向特徴抽出法と呼称する)を採用する。すなわち、ステップS24において、ストローク対応付け部114は、方向特徴抽出法により、文字パターンを複数の領域に分割(区分)し、各分割領域内のストロークの方向特徴に関する特徴量を求める。
ここでは、図18に示すように、文字パターン(入力部分パターンP、手本部分パターンQ)を8×8のセルに分割し、各セル(分割領域)から8方向特徴を抽出する方法について説明する。8方向特徴の抽出では、文字パターンのストロークを図19に示す8方向の傾き成分に分解する。セルに含まれるストロークのセグメント(隣接する特徴点を結ぶ線分)から8方向特徴を抽出する場合、セルに含まれるストロークのセグメントには、折れ曲がりや始点或いは終点が含まれる場合がある。そのため、より厳密な8方向特徴を抽出するために、セルよりも小さな領域で特徴抽出を行うための微小セルを作成する。微小セルは、対象とするセルを中心にセルの幅と高さを2倍にした領域を8×8分割(対象とするセルでは4×4分割)して生成する。更に、各微小セルの境界をぼかすために、各微小セルの中心にガウス関数を重畳する。
各微小セルでは、その微小セルを中心に、微小セルの幅と高さを2倍にした領域を特徴抽出の適用範囲とし、その適用範囲に含まれるセグメントの8方向特徴を抽出する。セグメントが特徴抽出の適用範囲を貫通する場合(図20(A))、セグメントの始点及び/又は終点が適用範囲に含まれる場合(図20(B)、図20(C))は同様に扱い、適用領域に含まれるセグメントから得られる方向成分に長さを積算した値を微小セルの8方向特徴とする。また、適用範囲に特徴点が含まれ且つ折れが生じている場合(図20(D))、適用範囲に複数のセグメントが含まれる場合(図20(E))は、適用範囲に含まれる全てのセグメントから得られる方向成分に長さを積算し、それぞれの方向成分を加算した値を微小セルの8方向特徴とする。
微小セルの8方向特徴には、セル内でのその微小セルの位置に応じて、第1の手法(特徴点分布特徴抽出法)と同様にガウス関数を重畳する。ここでは、図21に示す離散化されたガウス関数を重畳する。そして、1つのセルに内包される全ての微小セルで抽出した8方向特徴を集積して、当該セルの8方向特徴を求める。
入力部分パターンと手本部分パターンのそれぞれから各セルの8方向特徴を抽出し、得られた2つの512次元ベクトルx、yの内積を求めて、式(20)により相違度Ddを求める。
2−3.文字バランスの評価
次に、特徴点分布特徴抽出法を用いて文字バランス(字形)を評価する手法について説明する。一般的に、文字のバランスは、文字を構成するストロークの形状や複数のストローク同士の位置関係などにより評価される。文字のバランスが良いと、人間が見たときに文字を識別し易い。本手法では、バランスの良い文字の基準として手本文字パターンを用いて、入力文字パターンと手本文字パターンから特徴点分布特徴抽出法を用いて抽出した
特徴点分布特徴を比較し、得られた相違度Dsを用いて0点〜100点の間で文字バランスを計算する。
次に、特徴点分布特徴抽出法を用いて文字バランス(字形)を評価する手法について説明する。一般的に、文字のバランスは、文字を構成するストロークの形状や複数のストローク同士の位置関係などにより評価される。文字のバランスが良いと、人間が見たときに文字を識別し易い。本手法では、バランスの良い文字の基準として手本文字パターンを用いて、入力文字パターンと手本文字パターンから特徴点分布特徴抽出法を用いて抽出した
特徴点分布特徴を比較し、得られた相違度Dsを用いて0点〜100点の間で文字バランスを計算する。
本手法の処理の流れを図22に示す。まず、文字パターン(入力部分パターン、手本部分パターン)の重心点を計算する(ステップS30)。重心点は、文字パターンを構成する全ての特徴点の座標を加算し、特徴点の数で除算する一般的な方法により求める。次に、入力部分パターンと手本部分パターンから重心点を中心点とした特徴点分布特徴(重心点を中心とする領域内の特徴点の分布に関する特徴)を抽出し、式(11)に示す相違度Dsを算出する(ステップS31)。次に、減点数を算出する(ステップS32)。減点は、V段階に分けて行い、V−1個の閾値を用いる。次式に示すように、閾値tv(v=1,2,・・・,V−1)に対して、相違度Dsが含まれる区間を求める。
3.評価実験
本実施形態の手法(第1の手法、第2の手法)を評価する実験を行った。特徴点分布特徴抽出法(第1の手法)として、ビン形状を扇型とする手法(FSCF)、ビン形状を扇型とし更にガウス関数を適用する手法(FSCF+Gauss)、ビン形状を正方形とする手法(SSCF)、ビン形状を正方形とし更にガウス関数を適用する手法(SSCF+Gauss)の4種類の手法を評価した。また、比較のため、ビン形状を扇型とし、特徴抽出する領域だけ拡大してガウス関数を適用しない手法(FSCF+Non Gauss)と、ビン形状を正方形とし、特徴抽出する領域だけ拡大してガウス関数を適用しない手法(SSCF+Non Gauss)の2種類の手法を評価した。更に、方向特徴抽出法(第2の手法)を評価した。
本実施形態の手法(第1の手法、第2の手法)を評価する実験を行った。特徴点分布特徴抽出法(第1の手法)として、ビン形状を扇型とする手法(FSCF)、ビン形状を扇型とし更にガウス関数を適用する手法(FSCF+Gauss)、ビン形状を正方形とする手法(SSCF)、ビン形状を正方形とし更にガウス関数を適用する手法(SSCF+Gauss)の4種類の手法を評価した。また、比較のため、ビン形状を扇型とし、特徴抽出する領域だけ拡大してガウス関数を適用しない手法(FSCF+Non Gauss)と、ビン形状を正方形とし、特徴抽出する領域だけ拡大してガウス関数を適用しない手法(SSCF+Non Gauss)の2種類の手法を評価した。更に、方向特徴抽出法(第2の手法)を評価した。
小学光の学習指導要領に定める学習漢字は1,006字種である。本実験では、漢字の「一」を除いた1,005字種を対象に、発明者の研究室のデータベースから1字種につき20パターンずつ、合計20,100パターンを使用した。これを、「K_set」と呼ぶ。「K_set」に選出されたパターンには、各ストロークに本来の正しい筆順を付与した。これにより、テストパターンの筆順判定結果と付与された正しい筆順を照合し、筆順判定が正しく行われているかを確認することができる。「K_set」のうち、1字種から4パターンずつ選出した計4,020パターンをパラメータ調整用の学習パターン(K_learning set)とし、1字種から残り16パターンずつ選出した計16,080パターンをテストパターン(K_testing set)とした。これとは別に、筆順誤りが起こり易い文字26種類を選択し、22人の被験者に自分の筆順で文字を筆記してもらい、得られた合計572パターンを「D_set」とした。
本実験では、筆順判定の各手法の評価のためにストローク対応正解率(正解率)を求める。ストローク対応正解率の定義を式(21)に示す。
ストロークの対応付けを行う2種類の手法(貪欲対応法、ビームサーチ)により筆順を判定し、ストローク対応正解率と最大待ち時間を比較した。ビームサーチについては余裕
定数λを変えて実験を行った。特徴点分布特徴抽出法としては、最も正解率が高かった「SSCF+Gauss」を用いた。テストパターンとしては、「K_testing set」を用いた。表3に、実験結果を示す。ビームサーチの余裕定数λが90を超えると正解率が上がらず、待ち時間だけが大きくなるため、以降の特徴点分布特徴抽出法の実験ではλ=90のビームサーチを用いることとした。
定数λを変えて実験を行った。特徴点分布特徴抽出法としては、最も正解率が高かった「SSCF+Gauss」を用いた。テストパターンとしては、「K_testing set」を用いた。表3に、実験結果を示す。ビームサーチの余裕定数λが90を超えると正解率が上がらず、待ち時間だけが大きくなるため、以降の特徴点分布特徴抽出法の実験ではλ=90のビームサーチを用いることとした。
+Gauss」を用いた。テストパターンとしては、「K_testing set」を用いた。比較のため、非特許文献3に記載の手法(既存手法と呼称する)についても評価を行った。既存手法については、ビームサーチにおける余裕定数λを変えて実験を行った。表6に、実験結果を示す。
特徴点分布特徴抽出法と既存手法とを比較すると、既存手法の最大待ち時間を特徴点分布特徴抽出法に合わせた場合(λ=430)、特徴点分布特徴抽出法は、既存手法(λ=430)に対して、正解率が0.4ポイント高くなった。一方、既存手法では、λを変えても特徴点分布特徴抽出法の正解率98.4%に到達させることはできなかった。
方向特徴抽出法と既存手法とを比較すると、既存手法の正解率を方向特徴抽出法に合わせた場合(λ=310)、方向特徴抽出法は、既存手法(λ=3100)に対して、最大待ち時間が0.06秒高速であった。また、既存手法の最大待ち時間を方向特徴抽出法に合わせた場合(λ=120)、方向特徴抽出法は、既存手法(λ=120)に対して、正解率が0.6ポイント高くなった。
テストパターンとして「D_set」を用いて同様の実験を行った。表7に、実験結果を示す。実験の結果、特徴点分布特徴抽出法(SSCF+Gauss)が正解率98.6%で最も精度が高かった。
からもヒストグラムを抽出する場合とで、ストローク対応正解率と最大待ち時間を比較した。特徴点分布特徴抽出法としては、「SSCF+Gauss」を用いた。表1の結果から、文字パターンの1ストロークを構成する特徴点数を55個とした。本実験では、特徴点分布特徴を抽出する特徴点を、なるべく等間隔になるように抽出した。テストパターンとしては、「K_testing set」を用いた。表8に、実験結果を示す。実験の結果、特徴を抽出する特徴点数が25個以上の場合で正解率は若干向上したが、その効果は小さく、最大待ち時間が増加した。
本実験では、特徴点分布特徴抽出法(SSCF+Gauss)が、ストローク対応正解率98.4%となり、最も精度が高かった。この理由としては、漢字は縦線と横線で構成されるストロークが比較的多く、正方形ビンとの親和性が高いことが考えられる。更に、ガウス関数の適用によって位置ずれに強い特徴となった。但し、最大画数20画の文字において、1ストローク書かれたときの最大待ち時間が0.12秒となった。一方、方向特徴抽出法は、ストローク対応正解率97.5%となり、特徴点分布特徴抽出法には若干劣る結果となった。しかし、最大画数20画の文字において、1ストローク書かれたときの最大待ち時間が0.02秒となり、特徴点分布特徴抽出法に比べて高速であった。この理由としては、ガウス関数の値を事前に計算できること、特徴点分布特徴抽出法のように全てのストロークの端点で特徴抽出を行わず、文字パターン全体から一度だけ特徴を抽出する手法であること等が考えられる。
なお、本発明は、上述の実施の形態に限定されるものではなく、種々の変更が可能である。本発明は、実施の形態で説明した構成と実質的に同一の構成(例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成)を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した
構成を含む。
構成を含む。
100 処理部、110 特徴点抽出部、112 特徴点対応付け部、114 ストローク対応付け部、116 筆順判定部、120 表示制御部、160 文字入力部、170
記憶部、190 表示部
記憶部、190 表示部
Claims (7)
- 手書き入力された文字パターンの筆順が正しいか否かを判定するためのプログラムであって、
入力された文字パターンのストロークを取得するごとに、それまでに取得したN(Nは1以上の整数)画分のストロークを入力部分パターンとし、記憶部に記憶された手本文字パターンから抽出したN画分のストロークを手本部分パターンとして、前記入力部分パターンと前記手本部分パターンとの相違度を算出し、算出した相違度に基づいて、取得したN画目のストロークを前記手本文字パターンのいずれかのストロークに対応付けるストローク対応付け部と、
前記ストローク対応付け部での対応付け結果に基づいて、入力された文字パターンの筆順が正しいか否かを判定する筆順判定部としてコンピュータを機能させることを特徴とするプログラム。 - 請求項1において、
入力された文字パターンのストロークから特徴点を抽出する特徴点抽出部として更にコンピュータを機能させ、
前記ストローク対応付け部は、
前記入力部分パターンについて各ストロークの始点と終点を中心とする領域内の特徴点の分布に関する特徴量を求め、求めた特徴量と、前記手本部分パターンについて求めた前記特徴量とに基づいて前記相違度を算出することを特徴とするプログラム。 - 請求項2において、
前記ストローク対応付け部は、
前記領域を複数の矩形領域に分割し、各分割領域内の特徴点の数を算出して前記特徴量を求めることを特徴とするプログラム。 - 請求項2又は3において、
前記ストローク対応付け部は、
前記領域を複数の領域に分割し、各分割領域内の特徴点の数を各分割領域に適用したガ
ウス関数によって重み付けして算出して前記特徴量を求めることを特徴とするプログラム。 - 請求項1において、
前記ストローク対応付け部は、
前記入力部分パターンを複数の領域に分割し、各分割領域内のストロークの方向特徴に関する特徴量を求め、求めた特徴量と、前記手本部分パターンについて求めた前記特徴量とに基づいて前記相違度を算出することを特徴とするプログラム。 - コンピュータ読み取り可能な情報記憶媒体であって、請求項1乃至5のいずれか1項のプログラムを記憶したことを特徴とする情報記憶媒体。
- 手書き入力された文字パターンの筆順が正しいか否かを判定する筆順判定装置であって、
入力された文字パターンのストロークを取得するごとに、それまでに取得したN(Nは1以上の整数)画分のストロークを入力部分パターンとし、記憶部に記憶された手本文字パターンから抽出したN画分のストロークを手本部分パターンとして、前記入力部分パターンと前記手本部分パターンとの相違度を算出し、算出した相違度に基づいて、取得したN画目のストロークを前記手本文字パターンのいずれかのストロークに対応付けるストローク対応付け部と、
前記ストローク対応付け部での対応付け結果に基づいて、入力された文字パターンの筆順が正しいか否かを判定する筆順判定部とを含むことを特徴とする筆順判定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016052376A JP6256504B2 (ja) | 2016-03-16 | 2016-03-16 | プログラム、情報記憶媒体及び筆順判定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016052376A JP6256504B2 (ja) | 2016-03-16 | 2016-03-16 | プログラム、情報記憶媒体及び筆順判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017167329A JP2017167329A (ja) | 2017-09-21 |
JP6256504B2 true JP6256504B2 (ja) | 2018-01-10 |
Family
ID=59913146
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016052376A Active JP6256504B2 (ja) | 2016-03-16 | 2016-03-16 | プログラム、情報記憶媒体及び筆順判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6256504B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6711791B2 (ja) * | 2017-08-31 | 2020-06-17 | 株式会社ニューギン | 遊技機 |
JP6711793B2 (ja) * | 2017-08-31 | 2020-06-17 | 株式会社ニューギン | 遊技機 |
JP6711795B2 (ja) * | 2017-08-31 | 2020-06-17 | 株式会社ニューギン | 遊技機 |
JP6659637B2 (ja) * | 2017-08-31 | 2020-03-04 | 株式会社ニューギン | 遊技機 |
JP6711797B2 (ja) * | 2017-08-31 | 2020-06-17 | 株式会社ニューギン | 遊技機 |
JP6659635B2 (ja) * | 2017-08-31 | 2020-03-04 | 株式会社ニューギン | 遊技機 |
JP6659636B2 (ja) * | 2017-08-31 | 2020-03-04 | 株式会社ニューギン | 遊技機 |
JP6711796B2 (ja) * | 2017-08-31 | 2020-06-17 | 株式会社ニューギン | 遊技機 |
JP6711794B2 (ja) * | 2017-08-31 | 2020-06-17 | 株式会社ニューギン | 遊技機 |
JP6711790B2 (ja) * | 2017-08-31 | 2020-06-17 | 株式会社ニューギン | 遊技機 |
JP6659638B2 (ja) * | 2017-08-31 | 2020-03-04 | 株式会社ニューギン | 遊技機 |
CN109766026B (zh) * | 2019-01-16 | 2022-09-27 | 北京智愚嘉业软件科技有限公司 | 测试读写能力的方法和装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0896078A (ja) * | 1994-09-21 | 1996-04-12 | Fuji Xerox Co Ltd | 文字認識装置 |
JPH1021398A (ja) * | 1996-07-03 | 1998-01-23 | Tamura Electric Works Ltd | 方向特徴ベクトル抽出方法 |
JP2009109802A (ja) * | 2007-10-31 | 2009-05-21 | Sharp Corp | 学習装置、学習方法、プログラム、及び、記録媒体 |
JP2010211346A (ja) * | 2009-03-09 | 2010-09-24 | Tokyo Univ Of Agriculture & Technology | 手書き文字認識システム |
-
2016
- 2016-03-16 JP JP2016052376A patent/JP6256504B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017167329A (ja) | 2017-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6256504B2 (ja) | プログラム、情報記憶媒体及び筆順判定装置 | |
Folgado et al. | Time alignment measurement for time series | |
Cheung | Fixed-and random-effects meta-analytic structural equation modeling: Examples and analyses in R | |
US8358320B2 (en) | Interactive transcription system and method | |
CN102542264B (zh) | 基于数字手写设备的汉字书写正误自动评测方法和装置 | |
CN110009027B (zh) | 图像的比对方法、装置、存储介质及电子装置 | |
Gunawan et al. | Hidden curriculum and character building on self-motivation based on k-means clustering | |
CN104200240A (zh) | 一种基于内容自适应哈希编码的草图检索方法 | |
Jiang et al. | Online robust action recognition based on a hierarchical model | |
CN107292785A (zh) | 一种出题方法及系统 | |
CN107622710A (zh) | 数字化书写练习方法及系统 | |
CN108701215A (zh) | 用于识别多对象结构的系统和方法 | |
US11328377B2 (en) | Semi-automated system and method for assessment of responses | |
Wei et al. | Performance monitoring and evaluation in dance teaching with mobile sensing technology | |
US20200251008A1 (en) | Similarity-based question recommendation method and server | |
CN112132118B (zh) | 人物关系识别方法、装置、电子设备及计算机存储介质 | |
WO2016117564A1 (ja) | プログラム、情報記憶媒体及び認識装置 | |
Yao et al. | Modeling of ancient-style Chinese character and its application to CCC robot | |
LaViola Jr | An initial evaluation of MathPad2: A tool for creating dynamic mathematical illustrations | |
Bouillon et al. | Handwriting analysis with online fuzzy models | |
CN111078028B (zh) | 输入方法、相关设备及可读存储介质 | |
JP7104965B2 (ja) | プログラム及びクラスタリング装置 | |
Ma et al. | DCSR: a digital circuit sketch recognition system for education | |
Atsawaraungsuk | Majority voting based on q-Gaussian activation function circular extreme learning machine | |
Bhat et al. | An intelligent sketching interface for education using geographic information systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6256504 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |