JP7174382B2 - 学習装置、照合装置、学習方法、照合方法及びプログラム - Google Patents
学習装置、照合装置、学習方法、照合方法及びプログラム Download PDFInfo
- Publication number
- JP7174382B2 JP7174382B2 JP2019161335A JP2019161335A JP7174382B2 JP 7174382 B2 JP7174382 B2 JP 7174382B2 JP 2019161335 A JP2019161335 A JP 2019161335A JP 2019161335 A JP2019161335 A JP 2019161335A JP 7174382 B2 JP7174382 B2 JP 7174382B2
- Authority
- JP
- Japan
- Prior art keywords
- feature vector
- time
- constraint
- series
- local feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 32
- 239000013598 vector Substances 0.000 claims description 345
- 230000006870 function Effects 0.000 claims description 111
- 238000000605 extraction Methods 0.000 claims description 39
- 239000000284 extract Substances 0.000 claims description 19
- 238000012795 verification Methods 0.000 claims description 6
- 238000009795 derivation Methods 0.000 description 41
- 238000012549 training Methods 0.000 description 30
- 238000013528 artificial neural network Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 24
- 238000004422 calculation algorithm Methods 0.000 description 17
- 230000002123 temporal effect Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 9
- 238000011176 pooling Methods 0.000 description 8
- 238000010606 normalization Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000000306 recurrent effect Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 4
- 239000012634 fragment Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Character Discrimination (AREA)
Description
以下、第1の時系列データは「X(斜体文字)」と表記される。第2の時系列データは「Y(斜体文字)」と表記される。数式において、時系列データ同士の間の距離は、斜体文字で「d(X,Y)」と表記される。
第1実施形態では、機械学習を実行する学習装置について説明する。
図1は、局所的特徴ベクトルの対応関係(組み合わせ)の第1例を示す図である。図1では、正方形の間の実線は、第1の局所的特徴ベクトルシーケンス(例えば、署名から抽出された英字の配列)における時系列の所定位置の局所的特徴ベクトル(例えば、署名から抽出された英字)と、第2の局所的特徴ベクトルシーケンスにおける時系列の所定位置の局所的特徴ベクトルとが類似していることを示す。正方形の間の破線は、第1の局所的特徴ベクトルシーケンスにおける時系列の所定位置の局所的特徴ベクトルと、第2の局所的特徴ベクトルシーケンスにおける時系列の所定位置の局所的特徴ベクトルとが類似していないことを示す。
(1)単調性制約
単調性制約とは、第1の局所的特徴ベクトルと第2の局所的特徴ベクトルとの対応関係(組み合わせ)の順序において、対応関係ごとの時刻の値が単調増加しているという制約である。すなわち、単調性制約とは、局所的特徴ベクトルの対応関係の系列において、第2の局所的特徴ベクトルシーケンスの時刻が、第1の局所的特徴ベクトルシーケンスの時刻の関数とみなされた場合、関数は、単調増加する関数でなければならないという制約である。また、局所的特徴ベクトルの対応関係の系列において、第1の局所的特徴ベクトルシーケンスの時刻が、第2の局所的特徴ベクトルシーケンスの時刻の関数とみなされた場合、関数は、単調増加する関数でなければならないという制約である。
連続性制約とは、第1の局所的特徴ベクトルと第2の局所的特徴ベクトルとの対応関係(組み合わせ)の順序において、時系列で連続する対応関係(組み合わせ)の時刻同士の差が所定の正値以下であるという制約である。すなわち、連続性制約とは、任意の対応関係(時刻の組み合わせ)における第1の局所的特徴ベクトルシーケンスの時刻と、その次の対応関係における第1の局所的特徴ベクトルシーケンスの時刻との時刻同士の差が1以下であるという制約である。「時刻同士の差は1以下」の「1」とは、例えば、局所的特徴ベクトルシーケンスにおける互いに隣接する1文字分である。
境界条件制約とは、第1の局所的特徴ベクトルと第2の局所的特徴ベクトルとの対応関係(組み合わせ)の順序において、時系列で最初の第1の局所的特徴ベクトルと時系列で最初の第2の局所的特徴ベクトルとが組み合わされており、かつ、時系列で最後の第1の局所的特徴ベクトルと時系列で最後の第2の局所的特徴ベクトルとが組み合わされているという制約である。すなわち、境界条件制約とは、第1の局所的特徴ベクトルシーケンスの最初の時刻と、第2の局所的特徴ベクトルシーケンスの最初の時刻とが対応付けられ、第1の局所的特徴ベクトルシーケンスの最後の時刻と、第2の局所的特徴ベクトルシーケンスの最後の時刻とが対応付けられるという制約である。
[抽出部11]
抽出部11は、第1の時系列データと、第2の時系列データとを、入力部10から取得する。抽出部11は、シャム・ネットワーク(Siamese Networks)を備える。抽出部11は、1個の特徴ベクトルを、畳み込みニューラルネットワークを用いて、時刻ごとに第1の時系列データから抽出する。抽出部11は、1個の特徴ベクトルを、畳み込みニューラルネットワークを用いて、時刻ごとに第2の時系列データから抽出する。
選択部12は、第1の局所的特徴ベクトルシーケンスと、第2の局所的特徴ベクトルシーケンスとを、抽出部11から取得する。選択部12は、第1の局所的特徴ベクトルシーケンスの局所的特徴ベクトルと、第2の局所的特徴ベクトルシーケンスの局所的特徴ベクトルとの対応関係の系列を選択する。選択された対応関係の系列は、第1の局所的特徴ベクトルシーケンスと、第2の局所的特徴ベクトルシーケンスとに対して、単調性制約と連続性制約と境界条件制約とを一定程度以上に満たす。また、選択された対応関係の系列では、系列における全ての対応関係における局所的特徴ベクトルの距離の統合値(総和)は所定の条件を満たす(例えば、最小値をとる等、可能な限り小さくなる)。選択部12は、例えば、動的時間伸縮法、最長共通部分列法又は編集距離法等の動的計画法を用いて、対応関係の系列を選択する。以下では、選択部12は、一例として動的時間伸縮法を用いる。
学習段階では、時系列データである2個の署名情報と、それらの署名情報が同一人物による署名情報であるか否かを示す1個の訓練ラベルとの組が、1組の訓練データとして扱われる。
更新部14は、局所的損失関数値を、局所的特徴ベクトルの組み合わせごとに関数値導出部13から取得する。更新部14は、例えば局所的損失関数値の統合値(例えば、平均)を、関数値導出部13から取得してもよい。更新部14は、局所的損失関数値に基づいて、損失関数値を最適化するように、ニューラルネットワークのパラメータを更新する。更新部14は、局所的特徴ベクトルの対応関係の系列を用いて、系列における全ての対応関係における局所的損失関数値の統合値が最小になるように、例えば勾配法を用いてニューラルネットワークのパラメータを更新する。
第2実施形態では、第1実施形態に示された学習装置1と、照合処理を実行する照合装置との相違点等を、照合装置について説明する。
抽出部11は、第1の時系列データ「X(斜体文字)」と、第2の時系列データ「Y(斜体文字)」とを、入力部10から取得する。抽出部11は、第1の局所的特徴ベクトルシーケンスを、第1の時系列データから抽出する。抽出部11は、第2の局所的特徴ベクトルシーケンスを、第2の時系列データから抽出する。抽出部11は、第1の局所的特徴ベクトルシーケンス「X」と、第2の局所的特徴ベクトルシーケンス「Y」とを、選択部12に出力する。
選択部12は、第1の局所的特徴ベクトルシーケンスと、第2の局所的特徴ベクトルシーケンスとを、抽出部11から取得する。選択部12は、第1の局所的特徴ベクトルシーケンスの局所的特徴ベクトルの各時刻と、第2の局所的特徴ベクトルシーケンスの局所的特徴ベクトルの各時刻とを整合させる。すなわち、選択部12は、第1の局所的特徴ベクトルシーケンスの局所的特徴ベクトルと、第2の局所的特徴ベクトルシーケンスの局所的特徴ベクトルとの対応関係の系列を選択する。選択部12は、局所的特徴ベクトルの対応関係の系列を、距離導出部15に出力する。
距離導出部15は、局所的特徴ベクトルの対応関係の系列を、選択部12から取得する。距離導出部15は、局所的特徴ベクトルの対応関係の系列に基づいて、系列における全ての対応関係における局所的特徴ベクトルの距離の統合値を、時系列データ同士の距離として導出する。距離導出部15は、対応関係の系列の全ての対応関係における局所的特徴ベクトルの距離の平均を、距離の統合値として、式(7)に示されているように導出する。
判定部16は、第1の署名情報と第2の署名情報との距離の総合値(例えば、距離の平均)を、距離導出部15から取得する。判定部16は、第1の署名情報と第2の署名情報との距離の平均を、例えば式(8)又は式(9)のように導出する。
Claims (7)
- 第1の特徴ベクトルの系列をパラメータに応じて第1の時系列データから抽出し、第2の特徴ベクトルの系列を前記パラメータに応じて第2の時系列データから抽出する抽出部と、
前記第1の特徴ベクトルと前記第2の特徴ベクトルとの組み合わせの順序のうちから、単調性制約と連続性制約と境界条件制約とを一定程度以上に満たしており、前記第1の特徴ベクトルと前記第2の特徴ベクトルとの距離の統合値が所定条件を満たす前記組み合わせの順序を選択する選択部と、
選択された前記順序の前記組み合わせごとの前記距離に応じた損失関数値に基づいて前記パラメータを更新する更新部と
を備え、
前記単調性制約とは、前記組み合わせの順序において、前記組み合わせごとの時刻の値が単調増加しているという制約であり、
前記連続性制約とは、前記組み合わせの順序において、時系列で連続する前記組み合わせの時刻同士の差が所定の正値以下であるという制約であり、
前記境界条件制約とは、前記組み合わせの順序において、時系列で最初の前記第1の特徴ベクトルと時系列で最初の前記第2の特徴ベクトルとが組み合わされており、かつ、時系列で最後の前記第1の特徴ベクトルと時系列で最後の前記第2の特徴ベクトルとが組み合わされているという制約であり、
前記選択部は、
時刻の値が単調増加していない前記組み合わせの割合が所定の閾値以下である場合、前記単調性制約が一定程度に満たされていると判定し、
前記第1の特徴ベクトルの系列又は前記第2の特徴ベクトルの系列の時間長と比較して、前記時刻同士の差が所定値以下である場合、前記連続性制約が一定程度に満たされていると判定し、
時系列で最初の前記第1の特徴ベクトルと、時系列で所定位置の前記第2の特徴ベクトルとが組み合わされている場合、前記境界条件制約が一定程度に満たされていると判定する、
学習装置。 - 第1の特徴ベクトルの系列をパラメータに応じて第1の時系列データから抽出し、第2の特徴ベクトルの系列を前記パラメータに応じて第2の時系列データから抽出する抽出部と、
前記第1の特徴ベクトルと前記第2の特徴ベクトルとの組み合わせの順序のうちから、単調性制約と連続性制約と境界条件制約とを一定程度以上に満たしており、前記第1の特徴ベクトルと前記第2の特徴ベクトルとの距離の統合値が所定条件を満たす前記組み合わせの順序を選択する選択部と、
前記第1の時系列データ及び前記第2の時系列データが同一クラスの時系列データであるか否かを前記距離の統合値に基づいて判定する判定部と
を備え、
前記単調性制約とは、前記組み合わせの順序において、前記組み合わせごとの時刻の値が単調増加しているという制約であり、
前記連続性制約とは、前記組み合わせの順序において、時系列で連続する前記組み合わせの時刻同士の差が所定の正値以下であるという制約であり、
前記境界条件制約とは、前記組み合わせの順序において、時系列で最初の前記第1の特徴ベクトルと時系列で最初の前記第2の特徴ベクトルとが組み合わされており、かつ、時系列で最後の前記第1の特徴ベクトルと時系列で最後の前記第2の特徴ベクトルとが組み合わされているという制約であり、
前記選択部は、
時刻の値が単調増加していない前記組み合わせの割合が所定の閾値以下である場合、前記単調性制約が一定程度に満たされていると判定し、
前記第1の特徴ベクトルの系列又は前記第2の特徴ベクトルの系列の時間長と比較して、前記時刻同士の差が所定値以下である場合、前記連続性制約が一定程度に満たされていると判定し、
時系列で最初の前記第1の特徴ベクトルと、時系列で所定位置の前記第2の特徴ベクトルとが組み合わされている場合、前記境界条件制約が一定程度に満たされていると判定する、
照合装置。 - 前記パラメータは、
前記損失関数値の総和又は重み付き平均が所定の条件を満たすように、前記損失関数値の勾配に基づいて更新される、
請求項1に記載の学習装置。 - 前記パラメータは、
選択された前記順序の前記組み合わせごとの前記距離に応じた損失関数値の総和又は重み付き平均が所定の条件を満たすように、前記損失関数値の勾配に基づいて更新される、
請求項2に記載の照合装置。 - 学習装置が実行する学習方法であって、
第1の特徴ベクトルの系列をパラメータに応じて第1の時系列データから抽出し、第2の特徴ベクトルの系列を前記パラメータに応じて第2の時系列データから抽出する抽出ステップと、
前記第1の特徴ベクトルと前記第2の特徴ベクトルとの組み合わせの順序のうちから、単調性制約と連続性制約と境界条件制約とを一定程度以上に満たしており、前記第1の特徴ベクトルと前記第2の特徴ベクトルとの距離の統合値が所定条件を満たす前記組み合わせの順序を選択する選択ステップと、
選択された前記順序の前記組み合わせごとの前記距離に応じた損失関数値に基づいて前記パラメータを更新する更新ステップと
を含み、
前記単調性制約とは、前記組み合わせの順序において、前記組み合わせごとの時刻の値が単調増加しているという制約であり、
前記連続性制約とは、前記組み合わせの順序において、時系列で連続する前記組み合わせの時刻同士の差が所定の正値以下であるという制約であり、
前記境界条件制約とは、前記組み合わせの順序において、時系列で最初の前記第1の特徴ベクトルと時系列で最初の前記第2の特徴ベクトルとが組み合わされており、かつ、時系列で最後の前記第1の特徴ベクトルと時系列で最後の前記第2の特徴ベクトルとが組み合わされているという制約であり、
前記選択ステップは、
時刻の値が単調増加していない前記組み合わせの割合が所定の閾値以下である場合、前記単調性制約が一定程度に満たされていると判定し、
前記第1の特徴ベクトルの系列又は前記第2の特徴ベクトルの系列の時間長と比較して、前記時刻同士の差が所定値以下である場合、前記連続性制約が一定程度に満たされていると判定し、
時系列で最初の前記第1の特徴ベクトルと、時系列で所定位置の前記第2の特徴ベクトルとが組み合わされている場合、前記境界条件制約が一定程度に満たされていると判定することを含む、
学習方法。 - 照合装置が実行する照合方法であって、
第1の特徴ベクトルの系列をパラメータに応じて第1の時系列データから抽出し、第2の特徴ベクトルの系列を前記パラメータに応じて第2の時系列データから抽出する抽出ステップと、
前記第1の特徴ベクトルと前記第2の特徴ベクトルとの組み合わせの順序のうちから、単調性制約と連続性制約と境界条件制約とを一定程度以上に満たしており、前記第1の特徴ベクトルと前記第2の特徴ベクトルとの距離の統合値が所定条件を満たす前記組み合わせの順序を選択する選択ステップと、
前記第1の時系列データ及び前記第2の時系列データが同一クラスの時系列データであるか否かを前記距離の統合値に基づいて判定する判定ステップと
を含み、
前記単調性制約とは、前記組み合わせの順序において、前記組み合わせごとの時刻の値が単調増加しているという制約であり、
前記連続性制約とは、前記組み合わせの順序において、時系列で連続する前記組み合わせの時刻同士の差が所定の正値以下であるという制約であり、
前記境界条件制約とは、前記組み合わせの順序において、時系列で最初の前記第1の特徴ベクトルと時系列で最初の前記第2の特徴ベクトルとが組み合わされており、かつ、時系列で最後の前記第1の特徴ベクトルと時系列で最後の前記第2の特徴ベクトルとが組み合わされているという制約であり、
前記選択ステップは、
時刻の値が単調増加していない前記組み合わせの割合が所定の閾値以下である場合、前記単調性制約が一定程度に満たされていると判定し、
前記第1の特徴ベクトルの系列又は前記第2の特徴ベクトルの系列の時間長と比較して、前記時刻同士の差が所定値以下である場合、前記連続性制約が一定程度に満たされていると判定し、
時系列で最初の前記第1の特徴ベクトルと、時系列で所定位置の前記第2の特徴ベクトルとが組み合わされている場合、前記境界条件制約が一定程度に満たされていると判定することを含む、
照合方法。 - 請求項1又は3に記載の学習装置として、又は、請求項2又は4に記載の照合装置として、コンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019161335A JP7174382B2 (ja) | 2019-09-04 | 2019-09-04 | 学習装置、照合装置、学習方法、照合方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019161335A JP7174382B2 (ja) | 2019-09-04 | 2019-09-04 | 学習装置、照合装置、学習方法、照合方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021039598A JP2021039598A (ja) | 2021-03-11 |
JP7174382B2 true JP7174382B2 (ja) | 2022-11-17 |
Family
ID=74847149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019161335A Active JP7174382B2 (ja) | 2019-09-04 | 2019-09-04 | 学習装置、照合装置、学習方法、照合方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7174382B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012247991A (ja) | 2011-05-27 | 2012-12-13 | Kddi Corp | 類似度評価装置及び方法 |
JP2015052994A (ja) | 2013-09-09 | 2015-03-19 | 日本電信電話株式会社 | 特徴選択装置、学習装置、方法、及びプログラム |
JP2018205994A (ja) | 2017-06-01 | 2018-12-27 | 株式会社東芝 | 時系列データ分析装置、時系列データ分析方法およびコンピュータプログラム |
JP2019040465A (ja) | 2017-08-25 | 2019-03-14 | トヨタ自動車株式会社 | 行動認識装置,学習装置,並びに方法およびプログラム |
-
2019
- 2019-09-04 JP JP2019161335A patent/JP7174382B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012247991A (ja) | 2011-05-27 | 2012-12-13 | Kddi Corp | 類似度評価装置及び方法 |
JP2015052994A (ja) | 2013-09-09 | 2015-03-19 | 日本電信電話株式会社 | 特徴選択装置、学習装置、方法、及びプログラム |
JP2018205994A (ja) | 2017-06-01 | 2018-12-27 | 株式会社東芝 | 時系列データ分析装置、時系列データ分析方法およびコンピュータプログラム |
JP2019040465A (ja) | 2017-08-25 | 2019-03-14 | トヨタ自動車株式会社 | 行動認識装置,学習装置,並びに方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021039598A (ja) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Iwana et al. | Time series data augmentation for neural networks by time warping with a discriminative teacher | |
US9159321B2 (en) | Lip-password based speaker verification system | |
Kumar et al. | Personal identification using multibiometrics rank-level fusion | |
Bautista et al. | Probability-based dynamic time warping for gesture recognition on RGB-D data | |
US8914313B2 (en) | Confidence based vein image recognition and authentication | |
CN112560710B (zh) | 一种用于构建指静脉识别系统的方法及指静脉识别系统 | |
Lai et al. | Visual speaker identification and authentication by joint spatiotemporal sparse coding and hierarchical pooling | |
US20060126904A1 (en) | Method for multi-model biometric identification and system thereof | |
CN110717407A (zh) | 基于唇语密码的人脸识别方法、装置及存储介质 | |
Sonal et al. | Face and age recognition using three-dimensional discrete wavelet transform and rotational local binary pattern with radial basis function support vector machine method | |
TWI325568B (en) | A method for face varification | |
Gaston et al. | Matching larger image areas for unconstrained face identification | |
JP7174382B2 (ja) | 学習装置、照合装置、学習方法、照合方法及びプログラム | |
JP7347750B2 (ja) | 照合装置、学習装置、方法、及びプログラム | |
Binh Tran et al. | Multimodal personal verification using likelihood ratio for the match score fusion | |
Zang et al. | Fast global kernel fuzzy c-means clustering algorithm for consonant/vowel segmentation of speech signal | |
CN109886089A (zh) | 掌纹识别方法、装置和计算机设备 | |
Rajagopal et al. | Performance evaluation of multimodal multifeature authentication system using KNN classification | |
Priyambodo et al. | Partial fingerprint on combined evaluation using deep learning and feature descriptor | |
Su et al. | Learning low-dimensional temporal representations with latent alignments | |
Vinod et al. | Handwritten Signature Identification and Fraud Detection using Deep Learning and Computer Vision | |
Travieso et al. | Improving the performance of the lip identification through the use of shape correction | |
Sucharta et al. | A survey on various pattern recognition methods for the identification of a Different types of images | |
Kurnaz et al. | Offline Signature Identification System to Retrieve personal information from cloud | |
Abraham et al. | An AFIS candidate list centric fingerprint likelihood ratio model based on morphometric and spatial analyses (MSA) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190904 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20190917 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210817 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221027 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7174382 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |