JP4037164B2

JP4037164B2 - Corresponding point matching method, apparatus and program for handwritten characters

Info

Publication number: JP4037164B2
Application number: JP2002134437A
Authority: JP
Inventors: 雅博田中; 由美石野; 順子川添
Original assignee: Glory Ltd
Current assignee: Glory Ltd
Priority date: 2002-05-09
Filing date: 2002-05-09
Publication date: 2008-01-23
Anticipated expiration: 2022-05-09
Also published as: JP2003331291A

Description

【０００１】
【発明の属する技術分野】
この発明は、入力データを形成する所定の時間間隔で順次取り込んだ手書き途中の文字の座標情報を含むデータと、あらかじめ登録したモデルデータを形成するデータとの間のマッチングをおこなう手書き文字の対応点マッチング方法、装置およびプログラムに関し、特に、オンラインサイン照合をおこなう場合に、座標情報を用いて入力データを形成するデータとモデルデータを形成するデータのマッチングを正確かつ迅速にとることができる手書き文字の対応点マッチング方法、装置及びプログラムに関する。
【０００２】
【従来の技術】
従来、タブレット上で描かれる時系列の電子ペンの位置情報（以下、「入力データ」と言う）等を所定の時間間隔で取り込み、この入力データとあらかじめ登録した時系列の電子ペンの位置情報（以下、「モデルデータ」と言う）を照合するオンラインサイン照合技術が知られている。このオンラインサイン照合技術では、手書き途中の座標情報、筆圧、速度および電子ペンの傾きなどの各種情報をオンラインで順次取り込み、取り込んだ情報を利用してサインが本人のものであるかどうかを調べる技術である。
【０００３】
かかるオンラインサイン照合をおこなう際に、入力データを形成するデータとモデルデータを形成するデータを対応付ける必要があるので、音声認識などで用いられているＤＰマッチングによりデータ間の対応付けをおこなうことが考えられる。
【０００４】
たとえば、特開平２−２６３２７５号公報には、複数の入力データ間の累積誤差をＤＰマッチングによる歪関数として求め、この歪関数によって入力データを形状平均そして時間歪平均することにより、入力データを平均化し、本人の特徴をシャープにとらえた仮想的なモデルデータを取得することができる手書き文字の登録パターン作成方式が開示されている。この先行技術は、モデルデータを作成するためのものであるが、この先行技術のＤＰマッチングの考え方を用いることにより、入力データを形成するデータとモデルデータを形成するデータを対応付けることができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、実際に手書き文字を書く場合に、同じように書いたつもりであってもかなりのばらつきが生じるので、この先行技術を応用してＤＰマッチングをおこなったとしても、入力データを形成するデータとモデルデータを形成するデータを正確に対応付けることができない。
【０００６】
特に、手書き文字の場合には、サイズが異なったり位置ずれが生じやすく、また部分的に間延びしたり位置がずれるという状況が発生するので、単にＤＰマッチングを用いたとしても、正確にデータを対応付けることができない。
【０００７】
その結果、手書き文字の認識精度の劣化を招くことになるので、いかにして入力データを形成するデータとモデルデータを形成するデータを正確に対応付けるかが極めて重要な課題となっている。なお、電子ペンの傾きや速度などの情報を用いれば、比較的正確な対応付けが可能となるが、座標情報以外の情報を用いると、データの対応付けを迅速におこなうことが難しいので、座標情報のみを利用して各点の対応付けをおこなうことが望ましい。
【０００８】
この発明は、上述した従来技術による問題点（課題）を解消するためになされたものであって、オンラインサイン照合をおこなう場合に、座標情報を用いて入力データを形成するデータとモデルデータを形成するデータのマッチングを正確かつ迅速にとることができる手書き文字の対応点マッチング方法、装置及びプログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明に係る手書き文字の対応点マッチング方法は、入力データを形成する所定の時間間隔で順次取り込んだ手書き途中の文字の座標情報を含むデータと、あらかじめ登録したモデルデータを形成するデータとの間のマッチングをおこなう手書き文字の対応点マッチング装置における対応点マッチング方法であって、前記入力データを形成するデータと前記モデルデータを形成するデータの対応付け処理をおこなう対応付け処理工程と、前記入力データを前記モデルデータに適合するように線形変換するための時変の変換パラメータを、カルマンフィルタと後ろ向きアルゴリズムを組み合わせた固定区間スムーザにより推定処理する変換パラメータ推定工程とを含んだことを特徴とする。
【００１０】
また、請求項２の発明に係る手書き文字の対応点マッチング方法は、請求項１の発明において、前記対応付け処理工程は、時系列のベクトルの対応付けをおこなうＤＰマッチングにより前記入力データを形成するデータと前記モデルデータを形成するデータの対応付けをおこなうことを特徴とする。
【００１１】
また、請求項３の発明に係る手書き文字の対応点マッチング方法は、請求項１または２の発明において、前記変換パラメータ推定工程は、前記入力データが前記モデルデータに比して縦横同じ倍率で拡大または縮小された場合に機能する第１の変換パラメータと、前記入力データが前記モデルデータに比して水平方向に移動した場合に機能する第２の変換パラメータと、前記入力データが前記モデルデータに比して垂直方向に移動した場合に機能する第３の変換パラメータとを推定することを特徴とする。
【００１３】
また、請求項４の発明に係る手書き文字照合方法は、手書き途中の文字の座標情報を含むデータを所定の時間間隔で順次取り込んだ入力データと、あらかじめ登録したモデルデータとの照合をおこなう手書き文字照合装置における手書き文字照合方法であって、前記入力データを形成するデータと前記モデルデータを形成するデータの対応付け処理をおこなう対応付け処理工程と、前記入力データを前記モデルデータに適合するように線形変換するための変換パラメータを、カルマンフィルタと後ろ向きアルゴリズムを組み合わせた固定区間スムーザにより推定処理する変換パラメータ推定工程と、前記変換パラメータ推定工程により推定された変換パラメータに基づいて、前記入力データと前記モデルデータの照合をおこなう照合工程とを含んだことを特徴とする。
【００１４】
また、請求項５の発明に係る手書き文字照合方法は、請求項４の発明において、前記照合工程は、前記変換パラメータ推定工程により推定された変換パラメータの時系列ごとの変動が、所定の変動幅よりも小さな場合には前記入力データの筆記者が前記モデルデータの筆記者と同一人であると判定し、前記変動が所定の変動幅以上の場合には、前記入力データの筆記者が前記モデルデータの筆記者と他人であると判定することを特徴とする。
【００１５】
また、請求項６の発明に係る手書き文字の対応点マッチング装置は、入力データを形成する所定の時間間隔で順次取り込んだ手書き途中の文字の座標情報を含むデータと、あらかじめ登録したモデルデータを形成するデータとの間のマッチングをおこなう手書き文字の対応点マッチング装置であって、前記入力データを形成するデータと前記モデルデータを形成するデータの対応付けをおこなう対応付け処理手段と、前記入力データを前記モデルデータに適合するように線形変換するための時変の変換パラメータを、カルマンフィルタと後ろ向きアルゴリズムを組み合わせた固定区間スムーザにより推定する変換パラメータ推定手段とを備えたことを特徴とする。
【００１６】
また、請求項７の発明に係る手書き文字の対応点マッチング装置は、請求項６の発明において、前記対応付け処理手段は、時系列のベクトルの対応付けをおこなうＤＰマッチングにより前記入力データを形成するデータと前記モデルデータを形成するデータの対応付けをおこなうことを特徴とする。
【００１７】
また、請求項８の発明に係る手書き文字の対応点マッチング装置は、請求項６または７の発明において、前記変換パラメータ推定手段は、前記入力データが前記モデルデータに比して縦横同じ倍率で拡大または縮小された場合に機能する第１の変換パラメータと、前記入力データが前記モデルデータに比して水平方向に移動した場合に機能する第２の変換パラメータと、前記入力データが前記モデルデータに比して垂直方向に移動した場合に機能する第３の変換パラメータとを推定することを特徴とする。
【００１９】
また、請求項９の発明に係る手書き文字の対応点マッチングプログラムは、入力データを形成する所定の時間間隔で順次取り込んだ手書き途中の文字の座標情報を含むデータと、あらかじめ登録したモデルデータを形成するデータとの間のマッチングをおこなう手書き文字の対応点マッチング装置に用いる対応点マッチングプログラムであって、前記入力データを形成するデータと前記モデルデータを形成するデータの対応付け処理をおこなう対応付け処理手順と、前記入力データを前記モデルデータに適合するように線形変換するための時変の変換パラメータを、カルマンフィルタと後ろ向きアルゴリズムを組み合わせた固定区間スムーザにより推定処理する変換パラメータ推定手順とをコンピュータに実行させることを特徴とする。
【００２０】
また、請求項１０の発明に係る手書き文字の対応点マッチングプログラムは、請求項９の発明において、前記対応付け処理手順は、時系列のベクトルの対応付けをおこなうＤＰマッチングにより前記入力データを形成するデータと前記モデルデータを形成するデータの対応付けをおこなうことを特徴とする。
【００２１】
また、請求項１１の発明に係る手書き文字の対応点マッチングプログラムは、請求項９または１０の発明において、前記変換パラメータ推定手順は、前記入力データが前記モデルデータに比して縦横同じ倍率で拡大または縮小された場合に機能する第１の変換パラメータと、前記入力データが前記モデルデータに比して水平方向に移動した場合に機能する第２の変換パラメータと、前記入力データが前記モデルデータに比して垂直方向に移動した場合に機能する第３の変換パラメータとを推定することを特徴とする。
【００２３】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る手書き文字の対応点マッチング方法、装置及びプログラムの好適な実施の形態を詳細に説明する。なお、本実施の形態では、タブレットからは手書き途中の電子ペンの座標データが出力されるものとし、この電子ペンの座標データを用いて対応付けをおこなう場合を示すこととする。
【００２４】
図１は、本実施の形態に係る対応点マッチング処理部を有するサイン照合装置１０の全体構成を示す機能ブロック図である。同図に示すように、このサイン照合装置１０は、タブレット１１と、モデルデータ記憶部１２と、対応点マッチング処理部１３と、真偽判定処理部１４とからなる。ここで、このサイン照合装置１０は、モデルデータを登録する登録モードと、入力データの照合をおこなう照合モードとを有し、かかるモード選択は図示しないスイッチなどで切り換えられるものとする。
【００２５】
タブレット１１は、ペンで書く、描く、指示する、操作するなどの機能を提供するペン入力インターフェースの一つであり、電子ペンを用いて手書き文字を書く際の紙に該当するものである。このタブレットは、所定の時間間隔で電子ペンの座標データ以外に、電子ペンの筆圧、傾きおよび速度などのデータ（４次元あるいは５次元程度のベクトル）を取得することができる。
【００２６】
モデルデータ記憶部１２は、タブレット１１で取得された電子ペンの座標データ、筆圧、傾きおよび速度などを含む元データを記憶する記憶部であり、具体的には、登録モード時にタブレット１１上で電子ペンが操作されると、この操作に係る時系列の座標データなどがモデルデータ記憶部１２に格納される。なお、対応付け処理部１３ａは、このモデルデータ記憶部１２に格納されたデータのうちの座標データのみを読み取り、真偽判定処理部１４は、座標データ以外の筆圧、傾きおよび速度などを読み取ることになる。
【００２７】
対応点マッチング処理部１３は、照合モード時に受け付けた入力データを形成するデータとモデルデータ記憶部１２に格納されたモデルデータを形成するデータ（座標データのみ）のマッチングをとる処理部である。この対応点マッチング処理部１３は、筆記の際に部分部分の間隔が変動したり、次第に上下に移動したり、文字が部分的に拡大縮小したような場合であっても、部分部分で線形変換のパラメータを可変にすればこれらを吸収することができる点に着目して時変線形変換を導入するとともに、これらのパラメータを推定しつつ対応付け処理を繰り返すことにより、正確かつ迅速に対応付けをおこなえるようにしている。
【００２８】
図１に示すように、この対応点マッチング処理部１３は、ＤＰマッチングにより入力データを形成するデータとモデルデータを形成するデータの対応付けをおこなう対応付け処理部１３ａと、時変線形変換のパラメータを推定する変換パラメータ推定部１３ｂとからなる。なお、この対応付け処理部１３ａは請求項７の対応付け処理手段に対応し、変換パラメータ推定部１３ｂは請求項７の変換パラメータ推定手段に対応する。
【００２９】
ここで、この対応付け処理部１３ａがおこなうＤＰマッチングとは、入力データを形成するデータとモデルデータを形成するデータの座標データの誤差をともにして最も誤差が小さくなるような対応関係を求めるために用いる動的マッチングの一手法である。
【００３０】
また、変換パラメータ推定部１３ｂは、その詳細については後述するが、カルマンフィルタによる「固定区間スムーザ」を用いて変換パラメータを推定する。具体的には、入力データを形成するデータの座標をｐ（ｔ），ｑ（ｔ）とし、モデルデータを形成するデータの座標をｘ（ｔ），ｙ（ｔ）とした場合に、
ｐ（ｔ）＝ａ（ｔ）ｘ（ｔ）＋ｂ（ｔ）
ｑ（ｔ）＝ａ（ｔ）ｙ（ｔ）＋ｃ（ｔ）
という式で示される時変線形変換を導入する。ここで、ａ（ｔ）は、入力データがモデルデータに比して縦横同じ倍率で拡大または縮小された場合の時変の変換パラメータであり、ｂ（ｔ）は、入力データがモデルデータに比して水平方向に移動した場合の時変の変換パラメータであり、ｃ（ｔ）は、入力データがモデルデータに比して垂直方向に移動した場合の時変の変換パラメータである。
【００３１】
このため、この変換パラメータ推定部１３ｂでは、上記ａ（ｔ）、ｂ（ｔ）およびｃ（ｔ）を推定することになる。なお、これらのＤＰマッチングによる対応付けと変換パラメータの推定は、変換パラメータの値が収束するまで繰り返される。
【００３２】
真偽判定処理部１４は、入力データの筆記者がモデルデータの筆記者と同一人であるか否かを判定する処理部である。具体的には、この真偽判定処理部１４では、対応点マッチング処理部１３により位置合わせされた後に、モデルデータ記憶部１２に記憶した筆圧や電子ペンの速度などの座標データ以外の元データ（たとえば５次元ベクトル）を用いて、２つのベクトル間の誤差（ユークリッド距離や他の距離関数による求まる距離）を求め、この誤差を使って真偽判定することになる。
【００３３】
ただし、この真偽判定処理部１４は、変換パラメータ推定部１３ｂにより推定された変換パラメータの時系列ごとの変動などを用いて、真偽判定することもできる。たとえば、推定された変換パラメータの時系列ごとの変動が、所定の変動幅よりも小さな場合には入力データの筆記者がモデルデータの筆記者と同一人であると判定し、この変動が所定の変動幅以上の場合には、入力データの筆記者がモデルデータの筆記者と他人であると判定する。ただし、かかる変換パラメータには冗長性があるので、上記座標データ以外の元データを併用して真偽判定することが望ましい。
【００３４】
次に、図１に示したサイン照合装置１０による照合モード時の処理手順について説明する。図２は、図１に示したサイン照合装置１０による照合モード時の処理手順を示すフローチャートである。同図に示すように、このサイン照合装置１０は、対応点マッチング処理部１３がタブレット１１から入力データを受け取ったならば（ステップＳ１０１）、対応付け処理部１３ａがモデルデータ記憶部１２からモデルデータを読み込み（ステップＳ１０２）、ＤＰマッチングによる対応付けをおこなう（ステップＳ１０３）。
【００３５】
その後、変換パラメータ推定部１３ｂは、後述するカルマンフィルタによる固定区間スムーザを用いて変換パラメータａ（ｔ）、ｂ（ｔ）およびｃ（ｔ）を推定し（ステップＳ１０４）、これらの変換パラメータが収束したかどうかを確認する（ステップＳ１０５）。
【００３６】
そして、変換パラメータが収束していない場合には（ステップＳ１０５否定）、上記ステップＳ１０３に移行してＤＰマッチングによる対応付けおよび変換パラメータａ（ｔ）、ｂ（ｔ）およびｃ（ｔ）の推定を繰り返し、変換パラメータが収束した場合には（ステップＳ１０５肯定）、真偽判定処理部１４による真偽判定処理をおこなう（ステップＳ１０６）。
【００３７】
次に、図１に示した変換パラメータ推定部１３ｂによる変換パラメータの推定概念について具体的に説明する。すでに説明した時変線形変換を行列またはベクトルで表現すると、
【数１】

となる。なお、ｚ（ｔ）に含まれる（ｐ（ｔ），ｑ（ｔ））は時刻ｔにおける入力データの値であり、Ｈ（ｔ）に含まれる（ｘ（ｔ），ｙ（ｔ））は、モデルデータの値であり、これらの値はすべて既知である。また、ｓ（ｔ）に含まれる各変換パラメータ（ａ（ｔ），ｂ（ｔ），ｃ（ｔ））は動的に変化する未知パラメータである。
【００３８】
ここで、あまりに大きな変動を認めると、早い段階で一気に近い点に結びついてしまうため、字形がきっちりと形成されないような対応になってしまうという不具合が生ずる。そこで、本実施の形態では、変動を小さくすることによって少しずつ字形に近づけることに着目し、各変換パラメータａ（ｔ），ｂ（ｔ），ｃ（ｔ）をいきなり変化させるのではなく、
ｓ（ｔ＋１）＝ｓ（ｔ）＋ｗ（ｔ） …（２）式
という変換パラメータを徐々に変化させるシステム方程式を採用する。ここで、ｓ（ｔ）は（１）式に現れるパラメータベクトルであり、ｗ（ｔ）は同じ次元の雑音成分である。
【００３９】
上記（１）式と（２）式においてｓ（ｔ）を推定する問題は、カルマンフィルタによる「固定区間スムーザ」であり、下記に示す式を用いて容易に計算することができる。ただし、「’」は推定値を意味し、括弧内の縦棒（ストローク）の前の値は推定される時刻を示し、ストロークの後ろの値は最終データの番号である。つまりｓ’（ｔ＋１｜ｔ）はｓのワンステップ予測値であり、ｓ’（ｔ｜ｔ）はフィルタ推定値（ろ波推定値）であり、ｓ’（ｔ｜Ｎ）は時刻ｔまでのすべてのデータが分かったときの途中の時刻ｔにおけるｓの推定値すなわちスムージング推定値（この場合はＮが固定なので固定区間スムーザと言う）である。Ｒはｅ（ｔ）の共分散行列であり、Ｑはｗ（ｔ）の共分散行列である。なお、このＲは対角行列であり、パラメータの変化で説明できない誤差をここに持たせることになるが、適当な小さめの値にすれば良い。Ｑは、対角行列であり、何もかもを吸収するほどにパラメータの変動を防ぐために、小さな値とする必要がある。
【００４０】
これにより、カルマンフィルタは、
【数２】

の算定式により求めることができ、固定区間スムーザは、
【数３】

の算定式により求められる。
【００４１】
次に、この変換パラメータ推定部１３ｂによる変換パラメータの推定処理手順についてさらに具体的に説明する。図３は、図２のステップＳ１０４に示した変換パラメータ推定部１３ｂによる変換パラメータの推定処理手順を示すフローチャートである。
【００４２】
図３に示すように、まず入力データのデータとモデルデータのデータとが１対Ｎの関係にあるような場合に、これを１対１の関係となるようにベクトルを作成した後（ステップＳ２０１）、ｔ＝０の時の初期値を入力して誤差の設定をおこない（ステップＳ２０２）、ｔ＝０と初期化する（ステップＳ２０３）。
【００４３】
その後、上記（３）式に示したカルマンフィルタを用いてｔ＝ｔ＋１の時の各パラメータを推定した後（ステップＳ２０４）、ｔをインクリメントし（ステップＳ２０５）、ｔ＝Ｎとなるまでかかる処理を繰り返す（ステップＳ２０６）。
【００４４】
その後、いわゆる後ろ向きアルゴリズムと呼ばれる処理をおこなう。具体的には、ｔ＝Ｎとした後（ステップＳ２０７）、上記（４）式を用いて各パラメータのスムージング推定をおこない（ステップＳ２０８）、ｔをデクリメントする（ステップＳ２０９）一連の処理をｔ＝０となるまで繰り返し（ステップＳ２１０）、ｔ＝０となった時点で（ステップＳ２１０肯定）、データ変換すなわち補正をおこなう（ステップＳ２１１）。
【００４５】
上記カルマンフィルタおよび後ろ向きアルゴリズムを組み合わせた一連の処理をおこなうことにより、変換パラメータａ（ｔ）、ｂ（ｔ）、ｃ（ｔ）を推定することが可能となる。
【００４６】
次に、上記ステップＳ２１１のデータ変換（補正）をおこなった実例について説明する。図４および図５は、対応点マッチング処理部１３による補正前後の一例を示す図である。
【００４７】
具体的には、図４（ａ）は、図中に破線で示す入力データ４２が実線で示すモデルデータ４１に比べて斜めにずれている例を示しており、同図（ｂ）は、この場合における２つのデータ間の対応点をプロットした図である。すなわち、横軸にモデルデータの時間軸をとり、このモデルデータを仮に入力データとした場合の時間軸を縦軸にとると、図中の実線４３に示すようにモデルデータ４１は直線となる。これに対して、横軸をモデルデータ４１の時間軸とし、縦軸を入力データ４２の時間軸とすると、図中の破線４４に示すように破線４３とかなり異なる軌跡となる。
【００４８】
これに対して、この入力データ４２を補正すると図４（ｃ）および（ｄ）に破線で示すように補正後の入力データ４５は、かなりモデルデータ４１に近づき、局所的な変形がかなり改善されていることが分かる。
【００４９】
また、図５（ａ）は、図中に破線で示す入力データ５１が実線で示すモデルデータ４１に比べて文字サイズが大きい場合を示しており、同図（ｂ）は、この場合における２つのデータ間の対応点をプロットした図を示している。同図（ｂ）に示すように、この場合にも図中に示す入力データ５１に対応する破線５２は、モデルデータ４１に対応する実線４３から部分的にずれた軌跡となる。
【００５０】
これに対して、この入力データ５１を補正すると図５（ｃ）および（ｄ）に破線で示すように補正後の入力データ５３は、かなりモデルデータ４１に近づき、局所的な変形がかなり改善されていることが分かる。
【００５１】
次に、図１に示した変換パラメータ推定部１３ｂで推定された変換パラメータの変動推移の一例について説明する。図６は、図１に示した変換パラメータ推定部１３ｂで推定された変換パラメータの変動推移の一例を示す図である。ここでは、３種類の変換パラメータａ（ｔ），ｂ（ｔ），ｃ（ｔ）のうちのｂ（ｔ）の変動推移を示している。
【００５２】
モデルデータを入力データとした場合には、モデルデータと入力データが完全に一致することになるので、図中に一点破線で示したように変換パラメータｂ（ｔ）は常に０となる。
【００５３】
そして、本人（モデルデータの筆記者）が書いた入力データを受け付けた場合には、図中に実線で示したように変換パラメータｂ（ｔ）は−２０〜＋２０の変動範囲に収まる傾向にある。なお、図中の縦軸のプラス側は左側への変動を意味し、マイナス側は右側への変動を意味する。これに対して、他人が書いた入力データを受け付けた場合には、図中に破線で示したように変動パラメータｂ（ｔ）は変動範囲が大きくなる傾向にある。なお、ここでは変動パラメータｂ（ｔ）について着目したが、変動パラメータａ（ｔ）およびｃ（ｔ）についても同様の傾向が見られる。
【００５４】
これらのことから、図１に示した真偽判定処理部１４は、かかる変動パラメータの変動幅が所定のしきい値を越えるか否かを判定して、本人のサインであるか他人のサインであるかを判定することができる。
【００５５】
上述してきたように、本実施の形態では、対応点マッチング処理部１３がタブレット１１から入力データを受け取ると、モデルデータ記憶部１２に記憶したモデルデータを取り出し、対応付け処理部１３ａによるＤＰマッチングによる対応付けと変換パラメータ推定部１３ｂによるカルマンフィルタを用いた固定区間スムーザを用いた変換パラメータの推定を繰り返し、入力データとモデルデータのマッチングをとるよう構成したので、オンラインサイン照合をおこなう場合に、座標情報を用いて入力データを形成するデータとモデルデータを形成するデータのマッチングを正確かつ迅速にとることができる。
【００５６】
なお、本実施の形態では、タブレット１１から取得し得る情報のうち電子ペンの座標情報を用いて対応付けをおこなう場合について説明したが、電子ペンの速度や傾きなどを併用して対応付けをおこなうこともできる。
【００５７】
また、本実施の形態では、変換パラメータを推定する際にカルマンフィルタと後ろ向きアルゴリズムを併用する場合について説明することとしたが、本発明はこれに限定されるものではなく、後ろ向きアルゴリズムを用いないカルマンフィルタのみでも変換パラメータを推定することができる。
【００５８】
【発明の効果】
以上説明したように、請求項１の発明によれば、入力データを形成するデータとモデルデータを形成するデータの対応付け処理と、入力データをモデルデータに適合するように線形変換するための時変の変換パラメータを、カルマンフィルタと後ろ向きアルゴリズムを組み合わせた固定区間スムーザにより推定する処理とをおこなうよう構成したので、オンラインサイン照合をおこなう場合に、座標情報を用いて入力データを形成するデータとモデルデータを形成するデータのマッチングを正確かつ迅速にとることが可能な手書き文字の対応点マッチング方法が得られるという効果を奏する。
【００５９】
また、請求項２の発明によれば、時系列のベクトルの対応付けをおこなうＤＰマッチングにより入力データを形成するデータとモデルデータを形成するデータの対応付けをおこなうよう構成したので、効率良く動的にマッチングをとることが可能な手書き文字の対応点マッチング方法が得られるという効果を奏する。
【００６０】
また、請求項３の発明によれば、入力データがモデルデータに比して縦横同じ倍率で拡大または縮小された場合に機能する第１の変換パラメータと、入力データが前記モデルデータに比して水平方向に移動した場合に機能する第２の変換パラメータと、入力データがモデルデータに比して垂直方向に移動した場合に機能する第３の変換パラメータとを推定するよう構成したので、入力データがモデルデータに比して局所的に平行移動および回転している場合であっても、正確にマッチングさせることが可能な手書き文字の対応点マッチング方法が得られるという効果を奏する。
【００６１】
また、請求項４の発明によれば、カルマンフィルタと後ろ向きアルゴリズムを組み合わせた固定区間スムーザにより変換パラメータを推定するよう構成したので、効率良く変換パラメータを推定することが可能な手書き文字の対応点マッチング方法が得られるという効果を奏する。
【００６２】
また、請求項４の発明によれば、入力データを形成するデータとモデルデータを形成するデータの対応付け処理と、入力データをモデルデータに適合するように線形変換するための変換パラメータを、カルマンフィルタと後ろ向きアルゴリズムを組み合わせた固定区間スムーザにより推定する処理とをおこない、推定された変換パラメータに基づいて入力データとモデルデータの照合をおこなうよう構成したので、変換パラメータを最大限に利用して正確かつ迅速に手書き文字を照合することが可能な手書き文字照合方法が得られるという効果を奏する。
【００６３】
また、請求項５の発明によれば、推定された変換パラメータの時系列ごとの変動が、所定の変動幅よりも小さな場合には入力データの筆記者がモデルデータの筆記者と同一人であると判定し、この変動が所定の変動幅以上の場合には、入力データの筆記者がモデルデータの筆記者と他人であると判定するよう構成したので、変換パラメータを用いて効率良く手書き文字を照合することが可能な手書き文字照合方法が得られるという効果を奏する。
【００６４】
また、請求項６の発明によれば、入力データを形成するデータとモデルデータを形成するデータの対応付けと、入力データをモデルデータに適合するように線形変換するための時変の変換パラメータを、カルマンフィルタと後ろ向きアルゴリズムを組み合わせた固定区間スムーザにより推定する処理とをおこなうよう構成したので、オンラインサイン照合をおこなう場合に、座標情報を用いて入力データを形成するデータとモデルデータを形成するデータのマッチングを正確かつ迅速にとることが可能な手書き文字の対応点マッチング装置が得られるという効果を奏する。
【００６５】
また、請求項７の発明によれば、時系列のベクトルの対応付けをおこなうＤＰマッチングにより入力データを形成するデータとモデルデータを形成するデータの対応付けをおこなうよう構成したので、効率良く動的にマッチングをとることが可能な手書き文字の対応点マッチング装置が得られるという効果を奏する。
【００６６】
また、請求項８の発明によれば、入力データがモデルデータに比して縦横同じ倍率で拡大または縮小された場合に機能する第１の変換パラメータと、入力データが前記モデルデータに比して水平方向に移動した場合に機能する第２の変換パラメータと、入力データがモデルデータに比して垂直方向に移動した場合に機能する第３の変換パラメータとを推定するよう構成したので、入力データがモデルデータに比して局所的に平行移動および回転している場合であっても、正確にマッチングさせることが可能な手書き文字の対応点マッチング装置が得られるという効果を奏する。
【００６８】
また、請求項９の発明によれば、入力データを形成するデータとモデルデータを形成するデータの対応付け処理と、入力データをモデルデータに適合するように線形変換するための時変の変換パラメータを、カルマンフィルタと後ろ向きアルゴリズムを組み合わせた固定区間スムーザにより推定する処理とをおこなうよう構成したので、オンラインサイン照合をおこなう場合に、座標情報を用いて入力データを形成するデータとモデルデータを形成するデータのマッチングを正確かつ迅速にとることが可能な手書き文字の対応点マッチングプログラムが得られるという効果を奏する。
【００６９】
また、請求項１０の発明によれば、時系列のベクトルの対応付けをおこなうＤＰマッチングにより入力データを形成するデータとモデルデータを形成するデータの対応付けをおこなうよう構成したので、効率良く動的にマッチングをとることが可能な手書き文字の対応点マッチングプログラムが得られるという効果を奏する。
【００７０】
また、請求項１１の発明によれば、入力データがモデルデータに比して縦横同じ倍率で拡大または縮小された場合に機能する第１の変換パラメータと、入力データが前記モデルデータに比して水平方向に移動した場合に機能する第２の変換パラメータと、入力データがモデルデータに比して垂直方向に移動した場合に機能する第３の変換パラメータとを推定するよう構成したので、入力データがモデルデータに比して局所的に平行移動および回転している場合であっても、正確にマッチングさせることが可能な手書き文字の対応点マッチングプログラムが得られるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る対応点マッチング処理部を有するサイン照合装置の全体構成を示す機能ブロック図である。
【図２】図１に示したサイン照合装置による照合モード時の処理手順を示すフローチャートである。
【図３】図２のステップＳ１０４に示した変換パラメータ推定部による変換パラメータの推定処理手順を示すフローチャートである。
【図４】図１に示した対応点マッチング処理部による補正前後の一例を示す図である。
【図５】図１に示した対応点マッチング処理部による補正前後の一例を示す図である。
【図６】図１に示した変換パラメータ推定部で推定された変換パラメータの変動推移の一例を示す図である。
【符号の説明】
１０サイン照合装置
１１タブレット
１２モデルデータ記憶部
１３対応点マッチング処理部
１３ａ対応付け処理部
１３ｂ変換パラメータ推定部
１４真偽判定処理部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a handwritten character corresponding point for matching between data including coordinate information of characters in the middle of handwriting that are sequentially captured at predetermined time intervals forming input data and data forming model data registered in advance. With respect to the matching method, apparatus, and program, in particular, when performing online signature verification, handwritten characters that can accurately and quickly match the data that forms the input data with the data that forms the model data using the coordinate information. The present invention relates to a matching point matching method, apparatus, and program.
[0002]
[Prior art]
Conventionally, time-series electronic pen position information (hereinafter referred to as “input data”) drawn on a tablet is captured at predetermined time intervals, and this input data and pre-registered time-series electronic pen position information ( Hereinafter, an on-line signature verification technique for verifying “model data”) is known. With this online signature verification technology, various types of information such as coordinate information during handwriting, writing pressure, speed, and tilt of the electronic pen are sequentially captured online, and it is checked whether the signature belongs to the person using the captured information. Technology.
[0003]
When performing such online signature verification, it is necessary to associate the data forming the input data with the data forming the model data. Therefore, it is possible to associate the data by DP matching used in speech recognition and the like. It is done.
[0004]
For example, in Japanese Patent Laid-Open No. 2-263275, a cumulative error between a plurality of input data is obtained as a distortion function by DP matching, and the input data is averaged by averaging the shape and time distortion of the input data using this distortion function. A method for creating a registered pattern for handwritten characters that can acquire virtual model data that sharply captures the person's characteristics is disclosed. This prior art is for creating model data. By using the DP matching concept of this prior art, it is possible to associate the data forming the input data with the data forming the model data.
[0005]
[Problems to be solved by the invention]
However, when actually writing handwritten characters, even if you intend to write in the same way, there will be considerable variation, so even if DP matching is performed by applying this prior art, the data that forms the input data The data forming the model data cannot be accurately associated.
[0006]
In particular, in the case of handwritten characters, there is a situation in which the size is different or the position is likely to be shifted, and the situation in which the length is partially extended or the position is shifted occurs. Therefore, even if DP matching is simply used, the data is accurately associated. I can't.
[0007]
As a result, the recognition accuracy of handwritten characters is deteriorated, so how to accurately associate the data forming the input data with the data forming the model data is a very important issue. If information such as the tilt and speed of the electronic pen is used, relatively accurate association is possible. However, if information other than coordinate information is used, it is difficult to perform data association quickly. It is desirable to associate each point using only information.
[0008]
The present invention has been made to solve the above-described problems (problems) of the prior art, and forms data and model data for forming input data using coordinate information when performing online signature verification. It is an object of the present invention to provide a handwritten character matching point matching method, apparatus, and program capable of accurately and quickly matching data to be processed.
[0009]
[Means for Solving the Problems]
In order to solve the above-described problems and achieve the object, a corresponding point matching method for handwritten characters according to the invention of claim 1 is based on coordinate information of characters in the middle of handwriting that are sequentially captured at predetermined time intervals forming input data. Of handwritten characters that perform matching between the data included and the data that forms the model data registered in advance. In corresponding point matching device Corresponding point matching method for associating data forming the input data with data forming the model data processing And a time-varying conversion parameter for linearly converting the input data so as to match the model data. , Estimation processing by fixed interval smoother that combines Kalman filter and backward algorithm And a conversion parameter estimating step.
[0010]
According to a second aspect of the present invention, there is provided a matching method for corresponding points of handwritten characters according to the first aspect of the invention, wherein the association processing step forms the input data by DP matching that associates time-series vectors. The data is associated with the data forming the model data.
[0011]
According to a third aspect of the present invention, there is provided the corresponding point matching method for handwritten characters according to the first or second aspect of the invention, wherein the conversion parameter estimation step expands the input data at the same vertical and horizontal magnification as compared with the model data. Alternatively, a first conversion parameter that functions when the input data is reduced, a second conversion parameter that functions when the input data moves in a horizontal direction as compared with the model data, and the input data is converted into the model data. In comparison, the third conversion parameter that functions when moving in the vertical direction is estimated.
[0013]
Claims 4 In the handwritten character collation method according to the invention, input data obtained by sequentially capturing data including coordinate information of characters in the middle of handwriting at predetermined time intervals and model data registered in advance are collated. In handwritten character verification device A handwritten character collation method, wherein the data forming the input data is associated with the data forming the model data processing An association processing step for performing the conversion, and conversion parameters for linearly converting the input data so as to conform to the model data. , Estimation processing by fixed interval smoother that combines Kalman filter and backward algorithm A conversion parameter estimating step, and a collation step of collating the input data with the model data based on the conversion parameter estimated by the conversion parameter estimation step.
[0014]
Claims 5 The handwritten character collation method according to the invention of claim 4 In the invention, the collating step may be performed such that the writer of the input data writes the model data when the variation of the transformation parameter estimated by the transformation parameter estimation step for each time series is smaller than a predetermined fluctuation range. If the variation is equal to or greater than a predetermined variation range, it is determined that the writer of the input data is the writer of the model data and another person.
[0015]
Claims 6 The corresponding point matching device for handwritten characters according to the present invention is a method between the data including the coordinate information of characters in the middle of handwriting sequentially captured at predetermined time intervals forming the input data and the data forming the model data registered in advance. A matching point matching device for handwritten characters that performs matching of the input data, the matching processing means for matching the data forming the input data and the data forming the model data, and adapting the input data to the model data Time-varying transformation parameters for linear transformation , By fixed interval smoother combining Kalman filter and backward algorithm Conversion parameter estimating means for estimating.
[0016]
Claims 7 The corresponding point matching device for handwritten characters according to the invention of claim 6 In the invention, the association processing means associates data forming the input data and data forming the model data by DP matching that associates time-series vectors.
[0017]
Claims 8 The corresponding point matching device for handwritten characters according to the invention of claim 6 or 7 In the invention, the conversion parameter estimation means includes a first conversion parameter that functions when the input data is enlarged or reduced at the same magnification as the model data, and the input data is converted into the model data. A second conversion parameter that functions when the input data moves in the horizontal direction, and a third conversion parameter that functions when the input data moves in the vertical direction compared to the model data. Features.
[0019]
Claims 9 The corresponding point matching program for handwritten characters according to the present invention provides a data between the data including the coordinate information of the characters in the middle of handwriting sequentially captured at predetermined time intervals forming the input data and the data forming the model data registered in advance. Handwritten characters that match Used for corresponding point matching device Corresponding point matching program, which associates data forming the input data with data forming the model data processing And a time-varying conversion parameter for linearly converting the input data so as to conform to the model data. , Estimation processing by fixed interval smoother that combines Kalman filter and backward algorithm The conversion parameter estimation procedure is performed by a computer.
[0020]

Claims

10 Corresponding point matching program for handwritten characters according to the invention of claim 9 In the invention, the association processing procedure is characterized in that the data forming the input data is associated with the data forming the model data by DP matching that associates time-series vectors.
[0021]

Claims

11 Corresponding point matching program for handwritten characters according to the invention of claim 9 or 10 In the invention, the conversion parameter estimation procedure includes a first conversion parameter that functions when the input data is enlarged or reduced at the same vertical and horizontal magnification as compared with the model data, and the input data is converted into the model data. A second conversion parameter that functions when the input data moves in the horizontal direction, and a third conversion parameter that functions when the input data moves in the vertical direction compared to the model data. Features.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
DETAILED DESCRIPTION Exemplary embodiments of a handwritten character matching point matching method, apparatus, and program according to the present invention will be described below in detail with reference to the accompanying drawings. In the present embodiment, it is assumed that coordinate data of an electronic pen in the middle of handwriting is output from the tablet, and the association is performed using the coordinate data of the electronic pen.
[0024]
FIG. 1 is a functional block diagram showing an overall configuration of a signature verification apparatus 10 having a corresponding point matching processing unit according to the present embodiment. As shown in the figure, the signature collating apparatus 10 includes a tablet 11, a model data storage unit 12, a corresponding point matching processing unit 13, and a true / false determination processing unit 14. Here, the signature collation apparatus 10 has a registration mode for registering model data and a collation mode for collating input data, and such mode selection is switched by a switch or the like not shown.
[0025]
The tablet 11 is one of pen input interfaces that provide functions such as writing, drawing, instructing, and operating with a pen, and corresponds to paper when writing handwritten characters using an electronic pen. This tablet can acquire data (four-dimensional or five-dimensional vectors) such as writing pressure, inclination, and speed of the electronic pen in addition to the coordinate data of the electronic pen at predetermined time intervals.
[0026]
The model data storage unit 12 is a storage unit that stores original data including the coordinate data, writing pressure, inclination, and speed of the electronic pen acquired by the tablet 11, and specifically, on the tablet 11 in the registration mode. When the electronic pen is operated, time-series coordinate data related to the operation is stored in the model data storage unit 12. The association processing unit 13a reads only coordinate data among the data stored in the model data storage unit 12, and the authenticity determination processing unit 14 reads writing pressure, inclination, speed, and the like other than the coordinate data. It will be.
[0027]
The corresponding point matching processing unit 13 is a processing unit that matches the data forming the input data received in the collation mode with the data forming the model data stored in the model data storage unit 12 (only coordinate data). The corresponding point matching processing unit 13 performs linear conversion on the partial portion even when the interval of the partial portion fluctuates during writing, gradually moves up and down, or the character is partially enlarged or reduced. Focusing on the fact that these parameters can be absorbed if they are made variable, time-varying linear transformation is introduced, and by associating the association process while estimating these parameters, the association can be performed accurately and quickly. I can do it.
[0028]
As shown in FIG. 1, the corresponding point matching processing unit 13 includes an association processing unit 13a that associates data forming input data with data forming model data by DP matching, and parameters of time-varying linear transformation. And a conversion parameter estimator 13b for estimating. The association processing unit 13a corresponds to the association processing unit of claim 7, and the conversion parameter estimation unit 13b corresponds to the conversion parameter estimation unit of claim 7.
[0029]
Here, the DP matching performed by the association processing unit 13a is to obtain a correspondence that minimizes the error by combining the errors of the coordinate data of the data forming the input data and the data forming the model data. Is a method of dynamic matching used in
[0030]
The conversion parameter estimation unit 13b estimates the conversion parameter by using a “fixed section smoother” using a Kalman filter, details of which will be described later. Specifically, when the coordinates of the data forming the input data are p (t) and q (t) and the coordinates of the data forming the model data are x (t) and y (t),
p (t) = a (t) x (t) + b (t)
q (t) = a (t) y (t) + c (t)
A time-varying linear transformation expressed by Here, a (t) is a time-varying conversion parameter when the input data is enlarged or reduced at the same vertical and horizontal magnification as compared with the model data, and b (t) is the input data compared with the model data. Thus, c (t) is a time-varying conversion parameter when the input data is moved in the vertical direction as compared with the model data.
[0031]
Therefore, the conversion parameter estimation unit 13b estimates a (t), b (t), and c (t). Note that the association by DP matching and the estimation of the conversion parameter are repeated until the value of the conversion parameter converges.
[0032]
The authenticity determination processing unit 14 is a processing unit that determines whether or not the writer of the input data is the same person as the writer of the model data. Specifically, in this authenticity determination processing unit 14, original data other than coordinate data such as writing pressure and electronic pen speed stored in the model data storage unit 12 after being aligned by the corresponding point matching processing unit 13. Using (for example, a five-dimensional vector), an error between two vectors (a distance obtained from an Euclidean distance or another distance function) is obtained, and the true / false judgment is made using this error.
[0033]
However, the authenticity determination processing unit 14 can also determine the authenticity by using, for example, the variation of the conversion parameter estimated by the conversion parameter estimation unit 13b for each time series. For example, when the estimated variation of the conversion parameter for each time series is smaller than a predetermined variation range, it is determined that the writer of the input data is the same person as the writer of the model data, and this variation is In the case of the fluctuation range or more, it is determined that the writer of the input data is the writer of the model data and another person. However, since such conversion parameters have redundancy, it is desirable to determine authenticity by using original data other than the coordinate data.
[0034]
Next, a processing procedure in the verification mode by the signature verification apparatus 10 shown in FIG. 1 will be described. FIG. 2 is a flowchart showing a processing procedure in the verification mode by the signature verification apparatus 10 shown in FIG. As shown in the figure, in the signature verification device 10, when the corresponding point matching processing unit 13 receives input data from the tablet 11 (step S101), the matching processing unit 13a receives model data from the model data storage unit 12. Is read (step S102), and association is performed by DP matching (step S103).
[0035]
Thereafter, the conversion parameter estimation unit 13b estimates the conversion parameters a (t), b (t), and c (t) using a fixed interval smoother using a Kalman filter, which will be described later (step S104), and these conversion parameters have converged. Whether or not (step S105).
[0036]
If the conversion parameter has not converged (No at Step S105), the process proceeds to Step S103, and the association by DP matching and the estimation of the conversion parameters a (t), b (t), and c (t) are performed. If the conversion parameter has converged repeatedly (Yes at Step S105), the authenticity determination processing by the authenticity determination processing unit 14 is performed (Step S106).
[0037]
Next, the conversion parameter estimation concept by the conversion parameter estimation unit 13b shown in FIG. 1 will be specifically described. Representing the time-varying linear transformation described above as a matrix or vector,
[Expression 1]

It becomes. Note that (p (t), q (t)) included in z (t) is the value of input data at time t, and (x (t), y (t)) included in H (t) is , Model data values, all of which are known. Each conversion parameter (a (t), b (t), c (t)) included in s (t) is an unknown parameter that dynamically changes.
[0038]
Here, if an excessively large change is recognized, it is connected to a point that is close to the point at an early stage, so that a problem arises that the character shape is not exactly formed. Therefore, in the present embodiment, attention is focused on making the shape gradually closer to a letter shape by reducing the fluctuation, and instead of suddenly changing each conversion parameter a (t), b (t), c (t),
s (t + 1) = s (t) + w (t) (2)
The system equation that gradually changes the conversion parameter is adopted. Here, s (t) is a parameter vector appearing in equation (1), and w (t) is a noise component of the same dimension.
[0039]
The problem of estimating s (t) in the above formulas (1) and (2) is the “fixed interval smoother” by the Kalman filter, and can be easily calculated using the formula shown below. However, “′” means an estimated value, the value before the vertical bar (stroke) in parentheses indicates the estimated time, and the value after the stroke is the number of the final data. That is, s ′ (t + 1 | t) is a one-step predicted value of s, s ′ (t | t) is a filter estimated value (filtered estimated value), and s ′ (t | N) is the time until time t. This is an estimated value of s at time t, that is, a smoothed estimated value (in this case, since N is fixed, it is called a fixed interval smoother) when all data are known. R is the covariance matrix of e (t), and Q is the covariance matrix of w (t). Note that R is a diagonal matrix, and an error that cannot be explained by a change in the parameter is given here, but it may be set to an appropriate small value. Q is a diagonal matrix, and needs to be a small value in order to prevent parameter fluctuations to absorb everything.
[0040]
As a result, the Kalman filter
[Expression 2]

The fixed section smoother can be calculated by the following formula:
[Equation 3]

It is calculated by the following formula.
[0041]
Next, the conversion parameter estimation processing procedure by the conversion parameter estimation unit 13b will be described more specifically. FIG. 3 is a flowchart showing a conversion parameter estimation processing procedure by the conversion parameter estimation unit 13b shown in step S104 of FIG.
[0042]
As shown in FIG. 3, first, when input data and model data have a one-to-N relationship, a vector is created so as to have a one-to-one relationship (step S201). ), An initial value at t = 0 is input to set an error (step S202), and t = 0 is initialized (step S203).
[0043]
Then, after estimating each parameter when t = t + 1 using the Kalman filter shown in the above equation (3) (step S204), t is incremented (step S205), and this process is repeated until t = N. (Step S206).
[0044]
Thereafter, a so-called backward algorithm is performed. Specifically, after setting t = N (step S207), smoothing estimation of each parameter is performed using the above equation (4) (step S208), and t is decremented (step S209). It repeats until it becomes 0 (step S210), and when t = 0 (Yes in step S210), data conversion, that is, correction is performed (step S211).
[0045]
The conversion parameters a (t), b (t), and c (t) can be estimated by performing a series of processes combining the Kalman filter and the backward algorithm.
[0046]
Next, an example in which the data conversion (correction) in step S211 is performed will be described. 4 and 5 are diagrams illustrating an example of before and after correction by the corresponding point matching processing unit 13.
[0047]
Specifically, FIG. 4A shows an example in which the input data 42 indicated by a broken line in the drawing is shifted obliquely as compared with the model data 41 indicated by a solid line, and FIG. It is the figure which plotted the corresponding point between two data in a case. That is, when the time axis of model data is taken on the horizontal axis and the time axis when this model data is used as input data is taken on the vertical axis, the model data 41 becomes a straight line as shown by the solid line 43 in the figure. On the other hand, when the horizontal axis is the time axis of the model data 41 and the vertical axis is the time axis of the input data 42, the locus is considerably different from the broken line 43 as shown by the broken line 44 in the figure.
[0048]
On the other hand, when this input data 42 is corrected, the corrected input data 45 approaches the model data 41 as shown by the broken lines in FIGS. 4C and 4D, and the local deformation is considerably improved. I understand that
[0049]
FIG. 5A shows a case where the input data 51 indicated by a broken line in the drawing has a larger character size than the model data 41 indicated by a solid line. FIG. 5B shows two cases in this case. The figure which plotted the corresponding point between data is shown. As shown in FIG. 5B, in this case as well, the broken line 52 corresponding to the input data 51 shown in the figure is a locus partially deviated from the solid line 43 corresponding to the model data 41.
[0050]
On the other hand, when this input data 51 is corrected, the corrected input data 53 approaches the model data 41 as shown by the broken lines in FIGS. 5C and 5D, and the local deformation is considerably improved. I understand that
[0051]
Next, an example of the change transition of the conversion parameter estimated by the conversion parameter estimation unit 13b illustrated in FIG. 1 will be described. FIG. 6 is a diagram illustrating an example of a change transition of the conversion parameter estimated by the conversion parameter estimation unit 13b illustrated in FIG. Here, the change transition of b (t) among the three types of conversion parameters a (t), b (t), and c (t) is shown.
[0052]
When the model data is input data, the model data and the input data are completely coincident with each other, so that the conversion parameter b (t) is always 0 as shown by a dashed line in the figure.
[0053]
When the input data written by the person (the writer of the model data) is received, the conversion parameter b (t) tends to fall within the range of −20 to +20 as shown by the solid line in the figure. . In the figure, the positive side of the vertical axis means a change to the left side, and the negative side means a change to the right side. On the other hand, when input data written by another person is accepted, the fluctuation parameter b (t) tends to increase in the fluctuation range, as indicated by a broken line in the figure. Here, attention is paid to the fluctuation parameter b (t), but the same tendency is seen for the fluctuation parameters a (t) and c (t).
[0054]
Therefore, the authenticity determination processing unit 14 shown in FIG. 1 determines whether or not the fluctuation range of the fluctuation parameter exceeds a predetermined threshold value, and uses the signature of the principal or the signature of another person. It can be determined whether there is.
[0055]
As described above, in the present embodiment, when the corresponding point matching processing unit 13 receives input data from the tablet 11, the model data stored in the model data storage unit 12 is extracted, and DP matching is performed by the matching processing unit 13a. Since the conversion parameter estimation using the fixed section smoother using the Kalman filter by the association and conversion parameter estimation unit 13b is repeated and the input data and the model data are matched, the coordinate information is used when performing online sign verification. Can be used to accurately and quickly match the data forming the input data with the data forming the model data.
[0056]
In the present embodiment, the case where the association is performed using the coordinate information of the electronic pen among the information that can be acquired from the tablet 11 has been described. However, the association is performed using the speed and inclination of the electronic pen together. You can also.
[0057]
In the present embodiment, the case where the Kalman filter and the backward algorithm are used together when estimating the transformation parameter is described. However, the present invention is not limited to this, and only the Kalman filter that does not use the backward algorithm is used. But the conversion parameters can be estimated.
[0058]
【The invention's effect】
As described above, according to the first aspect of the present invention, the association between the data forming the input data and the data forming the model data processing And time-varying transformation parameters to linearly transform the input data to fit the model data Is estimated by a fixed interval smoother that combines Kalman filter and backward algorithm When online signature verification is performed, the correspondence of handwritten characters that can accurately and quickly match the data that forms the input data with the data that forms the model data using the coordinate information There is an effect that a point matching method is obtained.
[0059]
According to the second aspect of the present invention, since the data that forms the input data is associated with the data that forms the model data by DP matching that associates time-series vectors, Thus, there is an effect that a corresponding point matching method for handwritten characters that can be matched is obtained.
[0060]
According to the invention of claim 3, the first conversion parameter that functions when the input data is enlarged or reduced at the same vertical and horizontal magnification as compared with the model data, and the input data as compared with the model data. Since the second conversion parameter that functions when moved in the horizontal direction and the third conversion parameter that functions when input data moves in the vertical direction compared to the model data are estimated, the input data Even when the character is translated and rotated locally as compared with the model data, there is an effect that a corresponding point matching method for handwritten characters that can be accurately matched is obtained.
[0061]
According to the invention of claim 4, since the conversion parameter is estimated by the fixed interval smoother that combines the Kalman filter and the backward algorithm, the corresponding point matching method for handwritten characters capable of efficiently estimating the conversion parameter The effect that is obtained.
[0062]
Claims 4 According to the invention, the association between the data forming the input data and the data forming the model data processing And conversion parameters for linearly transforming the input data to fit the model data Is estimated by a fixed interval smoother that combines Kalman filter and backward algorithm Since the input data and model data are collated based on the estimated conversion parameters, the handwritten characters can be collated accurately and quickly using the conversion parameters to the maximum. There is an effect that a collation method can be obtained.
[0063]
Claims 5 According to the invention, when the fluctuation of the estimated conversion parameter for each time series is smaller than the predetermined fluctuation width, it is determined that the writer of the input data is the same person as the writer of the model data. When the fluctuation is greater than or equal to the predetermined fluctuation range, it is configured so that the writer of the input data is determined to be the writer of the model data and others, so it is possible to efficiently collate handwritten characters using conversion parameters The effect that a simple handwritten character collation method is obtained is produced.
[0064]
Claims 6 According to the invention, the association between the data forming the input data and the data forming the model data, and the time-varying conversion parameter for linearly converting the input data to match the model data Is estimated by a fixed interval smoother that combines Kalman filter and backward algorithm When online signature verification is performed, the correspondence of handwritten characters that can accurately and quickly match the data that forms the input data with the data that forms the model data using the coordinate information There is an effect that a point matching device can be obtained.
[0065]
Claims 7 According to the present invention, the data that forms the input data and the data that forms the model data are associated with each other by the DP matching that associates the time-series vectors. It is possible to obtain a corresponding point matching device for handwritten characters that can be used.
[0066]
Claims 8 According to the invention, the first conversion parameter that functions when the input data is enlarged or reduced at the same vertical and horizontal magnification as compared with the model data, and the input data is moved in the horizontal direction as compared with the model data. Since the second conversion parameter that functions when the input data moves in the vertical direction compared to the model data, the third conversion parameter that functions when the input data moves in the vertical direction is estimated. Thus, there is an effect that a corresponding point matching device for handwritten characters that can be accurately matched even when translated and rotated locally is obtained.
[0068]
Claims 9 According to the invention, the association between the data forming the input data and the data forming the model data processing And time-varying transformation parameters to linearly transform the input data to fit the model data Is estimated by a fixed interval smoother that combines Kalman filter and backward algorithm When online signature verification is performed, the correspondence of handwritten characters that can accurately and quickly match the data that forms the input data with the data that forms the model data using the coordinate information There is an effect that a point matching program can be obtained.
[0069]

Claims

10 According to the present invention, the data that forms the input data and the data that forms the model data are associated with each other by the DP matching that associates the time-series vectors. It is possible to obtain a corresponding point matching program for handwritten characters.
[0070]

Claims

11 According to the invention, the first conversion parameter that functions when the input data is enlarged or reduced at the same vertical and horizontal magnification as compared with the model data, and the input data is moved in the horizontal direction as compared with the model data. Since the second conversion parameter that functions when the input data moves in the vertical direction compared to the model data, the third conversion parameter that functions when the input data moves in the vertical direction is estimated. Thus, there is an effect that it is possible to obtain a handwritten character corresponding point matching program that can be accurately matched even when locally translated and rotated.
[Brief description of the drawings]
FIG. 1 is a functional block diagram showing an overall configuration of a sign collating apparatus having a corresponding point matching processing unit according to an embodiment of the present invention.
FIG. 2 is a flowchart showing a processing procedure in a verification mode by the signature verification apparatus shown in FIG. 1;
FIG. 3 is a flowchart showing a conversion parameter estimation processing procedure by a conversion parameter estimation unit shown in step S104 of FIG. 2;
4 is a diagram illustrating an example before and after correction by a corresponding point matching processing unit illustrated in FIG. 1; FIG.
5 is a diagram showing an example before and after correction by a corresponding point matching processing unit shown in FIG. 1; FIG.
6 is a diagram illustrating an example of a change transition of a conversion parameter estimated by a conversion parameter estimation unit illustrated in FIG. 1. FIG.
[Explanation of symbols]
10 Signature verification device
11 tablets
12 Model data storage
13 Corresponding point matching processing section
13a Association processing unit
13b Conversion parameter estimation unit
14 Authenticity determination processing unit

Claims

Correspondence in handwritten character corresponding point matching device that performs matching between data including coordinate information of characters in the middle of handwriting, which are sequentially captured at predetermined time intervals forming input data, and data forming model data registered in advance A point matching method,
A correspondence processing step of performing correlation processing of data forming the data and the model data that forms the input data,
A transformation parameter estimation step of estimating a time-varying transformation parameter for linearly transforming the input data so as to conform to the model data by a fixed interval smoother that combines a Kalman filter and a backward algorithm. Matching method for handwritten characters.

2. The association process according to claim 1, wherein the data that forms the input data and the data that forms the model data are associated by DP matching that associates time-series vectors. Corresponding point matching method for handwritten characters.

The conversion parameter estimation step includes a first conversion parameter that functions when the input data is enlarged or reduced at the same vertical and horizontal magnification as compared to the model data, and the input data is horizontal compared to the model data. A second conversion parameter that functions when moving in a direction and a third conversion parameter that functions when the input data moves in a vertical direction compared to the model data are estimated. Item 3. A method for matching corresponding points of handwritten characters according to item 1 or 2.

A handwritten character collation method in a handwritten character collation apparatus that collates input data obtained by sequentially capturing data including coordinate information of characters in the middle of handwriting at a predetermined time interval with model data registered in advance,
A correspondence processing step of performing correlation processing of data forming the data and the model data that forms the input data,
A conversion parameter estimation step for estimating a conversion parameter for linearly converting the input data so as to conform to the model data by a fixed interval smoother that combines a Kalman filter and a backward algorithm ;
A handwritten character collation method, comprising: a collation step of collating the input data with the model data based on the conversion parameter estimated in the conversion parameter estimation step.

In the collation step, the writer of the input data is the same as the writer of the model data when the variation of the transformation parameter estimated by the transformation parameter estimation step for each time series is smaller than a predetermined fluctuation range. determined to be, wherein when the variation is equal to or larger than a predetermined fluctuation range, according to claim 4 scribes of the input data and determines that a scribe and others of said model data Handwritten character verification method.

This is a handwritten character matching point matching device that performs matching between data including the coordinate information of characters in the middle of handwriting, which are sequentially captured at predetermined time intervals forming input data, and data forming model data registered in advance. And
Association processing means for associating the data forming the input data with the data forming the model data;
Conversion parameter estimation means for estimating a time-varying conversion parameter for linearly converting the input data so as to match the model data by a fixed interval smoother combining a Kalman filter and a backward algorithm. Corresponding point matching device for handwritten characters.

It said correspondence processing means, according to claim 6, characterized in that the DP matching to associate the vectors in the time series to associate the data forming the data and the model data that forms the input data Corresponding point matching device for handwritten characters.

The conversion parameter estimation means includes a first conversion parameter that functions when the input data is enlarged or reduced at the same vertical and horizontal magnification as compared to the model data, and the input data is horizontal compared to the model data. A second conversion parameter that functions when moving in a direction and a third conversion parameter that functions when the input data moves in a vertical direction compared to the model data are estimated. Item 8. The handwritten character corresponding point matching device according to Item 6 or 7 .

Used for a handwritten character matching point matching device that performs matching between data including coordinate information of characters in the middle of handwriting, which are sequentially captured at predetermined time intervals forming input data, and data forming model data registered in advance A corresponding point matching program,
And correspondence processing procedure for performing correlation processing of data forming the data and the model data that forms the input data,
Causing the computer to execute a conversion parameter estimation procedure for estimating a time-varying conversion parameter for linearly converting the input data so as to match the model data by a fixed interval smoother that combines a Kalman filter and a backward algorithm. Corresponding point matching program for handwritten characters.

10. The association process according to claim 9 , wherein the association process is performed by associating data forming the input data with data forming the model data by DP matching that associates time-series vectors. Corresponding point matching program for handwritten characters.

The conversion parameter estimation procedure includes a first conversion parameter that functions when the input data is enlarged or reduced at the same vertical and horizontal magnification as compared to the model data, and the input data is horizontal compared to the model data. A second conversion parameter that functions when moving in a direction and a third conversion parameter that functions when the input data moves in a vertical direction compared to the model data are estimated. Item 15. The handwritten character matching point matching program according to Item 9 or 10 .