JP7441592B2 - タッチコントローラ及びペン入力システム - Google Patents

タッチコントローラ及びペン入力システム Download PDF

Info

Publication number
JP7441592B2
JP7441592B2 JP2019165655A JP2019165655A JP7441592B2 JP 7441592 B2 JP7441592 B2 JP 7441592B2 JP 2019165655 A JP2019165655 A JP 2019165655A JP 2019165655 A JP2019165655 A JP 2019165655A JP 7441592 B2 JP7441592 B2 JP 7441592B2
Authority
JP
Japan
Prior art keywords
signature
verification
profile
style
locale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019165655A
Other languages
English (en)
Other versions
JP2021043727A (ja
Inventor
ダニエル ギファード-バーレイ ジョス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wacom Co Ltd
Original Assignee
Wacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wacom Co Ltd filed Critical Wacom Co Ltd
Priority to JP2019165655A priority Critical patent/JP7441592B2/ja
Priority to US16/997,538 priority patent/US11601286B2/en
Publication of JP2021043727A publication Critical patent/JP2021043727A/ja
Application granted granted Critical
Publication of JP7441592B2 publication Critical patent/JP7441592B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3247Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、タッチコントローラ及びペン入力システムに関する。
特定の署名セットに合わせて調整することができ、また、その検証率(FAR(本人拒否率)/FRR(他人受入率))を改善するために調整することのできる多数のパラメータを有する署名検証プラットフォーム(Signature Verification Platforms)が知られている(例えば、特許文献1を参照)。これらのパラメータは通常、テスト署名データに基づいて、ベストな検証率が得られるように調整される。このとき使用されるテスト署名データには、例えばヨーロッパとアジアの両方の被験者(Subjects)からのさまざまな署名が含まれる。
また、時系列データを扱えるようにしたニューラルネットワークである再帰型ニューラルネットワーク(RNN:Recursive Neural Network)が知られている。非特許文献1には、再帰型ニューラルネットワークを用いて、手書きデータの多様で現実的なサンプルを合成する技術が開示されている。
特開2016-095666号公報
Alex Graves、「Generating Sequences With Recurrent Neural Networks」、[online]、平成26年6月5日、Department of Computer Science of University of Toronto、[令和元年9月8日検索]、インターネット<URL:https://arxiv.org/pdf/1308.0850v5.pdf />
上記プラットフォームを実稼働環境に展開しようとするとき、各パラメータは、ユーザの特定のロケールに適合するように調整され得る。この調整には、例えば、アジア太平洋地域の銀行のためにアジアンスタイルの署名により適合するように調整することや、システムによる処理のため、スキャン画像を正確に処理(clean)できるように静的画像クリーンアップバラメータをチューニングすることが含まれる。しかしながら、グローバルな展開を考えた場合には、クロスリージョナルな検証の精度を最大化するために一般的なパラメータセットを選択しなければならないことから、このやり方ではベストな検証率を得ることが難しくなる。
また、最近、テンプレートベースのGSVテクノロジー(ラスターデータによる検証と、ストロークデータによる検証との両方に対応した技術)が導入されたことにより、システムが一旦十分なデータを収集し、ユーザのために彼らの署名の明確な変動特性を定義する署名プロファイルを生成した後には、特定の被験者に関しては、検証の制度が改善するようになった。しかし、この実装には、かなりの数の登録セッションを通してプロファイルが構築されるまでの間、検証率(FAR/FRR)が前世代のシステムと同じになるという弱み(limitation)がある。
したがって、本発明の目的の一つは、AI/機械学習ベースのシステムを組み込んだ新しい検証経路(verification pipeline)を採用することにより、グローバルな展開を行うにあたり、速やかに検証率を高めることができる署名検証プラットフォームを提供することにある。
本発明の一側面による署名検証プラットフォームは、入力された署名に対して機械学習ベースの分類技術を適用することによって、前記署名のスタイルを決定するロケール分類エンジンと、前記ロケール分類エンジンによって決定された前記スタイルに最も適した検証プロファイルを選択するパラメータプロファイル生成部と、前記パラメータプロファイル生成部により選択された前記検証プロファイルを用いて前記署名の検証を行う検証エンジンと、を含む署名検証プラットフォームである。
本発明の他の一側面による署名検証プラットフォームは、前記署名検証プラットフォームにおいて、前記ロケール分類エンジンによって決定された前記スタイルに基づき、前記署名のための複数の代替署名を生成する署名シードバリアント生成部と、前記署名シードバリアント生成部により生成された前記複数の代替署名を用いてテンプレートを生成するテンプレート生成部と、をさらに含み、前記検証エンジンは、前記テンプレート生成部によって生成された前記テンプレートを用いて前記署名の検証を行う、署名検証プラットフォームである。
本発明の一側面による方法は、入力された署名に対して機械学習ベースの分類技術を適用することによって、前記署名のスタイルを決定するステップと、決定された前記スタイルに最も適した検証プロファイルを選択するステップと、選択された前記検証プロファイルを用いて前記署名の検証を行うステップと、を含む方法である。
本発明の他の一側面による方法は、前記方法において、決定された前記スタイルに基づき、前記署名のための複数の代替署名を生成するステップと、生成された前記複数の代替署名を用いてテンプレートを生成するステップと、をさらに含み、前記署名の検証を行うステップは、生成された前記テンプレートを用いて前記署名の検証を行う、方法である。
本発明によれば、署名検証プラットフォームのグローバルな展開を行うにあたり、速やかに検証率を高めることが可能になる。
本発明の実施の形態による署名検証プラットフォーム10の構成を示す図である。 クライアントコンピュータ1及び署名検証プラットフォーム10のハードウェア構成の一例を示す図である。 検証用パラメータプロファイル生成処理部12の詳細な構成を示す図である。 テンプレート生成処理部13の詳細な構成を示す図である。 署名検証プラットフォーム10が行う処理のフロー図である。 図5のステップS4に示した検証用パラメータプロファイル生成処理の処理フローを示す図である。 図5のステップS6に示したテンプレート生成処理の処理フローを示す図である。
以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。
図1は、本発明の実施の形態による署名検証プラットフォーム10の構成を示す図である。署名検証プラットフォーム10は、クライアントコンピュータ1から供給された署名QSigの正当性を検証するための装置である。クライアントコンピュータ1は例えば銀行のサーバコンピュータであり、ユーザが提出した書類に含まれる署名欄に記入された署名QSigを署名検証プラットフォーム10に送信する。署名検証プラットフォーム10は、クライアントコンピュータ1から送信されてきた署名QSigの正当性を検証し、その結果をクライアントコンピュータ1に返す。クライアントコンピュータ1は、こうして返信された結果に基づき、署名QSigが正当なものかどうかを判定する処理を行う。
ここで、署名QSigには、静的(static)なものと、動的(dynamic)なものとが含まれ得る。静的な署名QSigは、JPEGやBMPなどの画像ファイルによって構成されるラスターデータであり、例えば、紙媒体にボールペン等で記入されたものをスキャナーで読み取ることによって生成される。一方、動的な署名QSigは、ペン入力によって生成されたストロークデータを含むデジタルインクによって構成されるデータである。
図2は、クライアントコンピュータ1及び署名検証プラットフォーム10のハードウェア構成の一例を示す図である。クライアントコンピュータ1及び署名検証プラットフォーム10はそれぞれ、図示した構成を有するコンピュータ100によって構成され得る。なお、図2には1台のコンピュータ100を示しているが、クライアントコンピュータ1及び署名検証プラットフォーム10はそれぞれ、互いに連動する複数台のコンピュータ100によって構成されてもよい。また、クライアントコンピュータ1及び署名検証プラットフォーム10を、同一のコンピュータ100内に構成してもよい。この場合のコンピュータ100は、パーソナルコンピュータであってもよいし、例えばスマートフォンのような携帯型のデバイスであってもよい。
図2に示すように、コンピュータ100は、CPU(Central Processing Unit)101、記憶装置102、入力装置103、出力装置104、及び通信装置105を有して構成される。
CPU101は、コンピュータ100の各部を制御するとともに、記憶装置102に記憶される各種のプログラムを読み出して実行する装置である。図1に示した署名検証プラットフォーム10の各機能部(詳しくは後述する)は、署名検証プラットフォーム10のCPU101が記憶装置102に記憶されるプログラムを実行することによって実現される。
記憶装置102は、DRAM(Dynamic Random Access Memory)などの主記憶装置と、ハードディスクなどの補助記憶装置とを含み、コンピュータ100のオペレーティングシステムや各種のアプリケーションを実行するための各種のプログラム、及び、これらのプログラムによって利用されるデータを記憶する役割を果たす。
入力装置103は、ユーザの入力操作を受け付けてCPU101に供給する装置であり、例えばキーボード、マウス、タッチコントローラ(ペン入力又はタッチ入力を検出するための装置)を含んで構成される。出力装置104は、CPU101の処理結果をユーザに対して出力する装置であり、例えばディスプレイ、スピーカーを含んで構成される。通信装置105は、外部の装置と通信するための装置であり、CPU101の指示にしたがってデータの送受信を行う。クライアントコンピュータ1と署名検証プラットフォーム10との間でのデータの送受信は、それぞれの通信装置105が相互に通信を行うことによって実現される。
図1に戻る。署名検証プラットフォーム10は、機能的に、メインエンジン11と、検証用パラメータプロファイル生成処理部12と、テンプレート生成処理部13と、GSVエンジン14とを有して構成される。
メインエンジン11は、クライアントコンピュータ1とのインターフェイスとして機能するとともに、検証用パラメータプロファイル生成処理部12、テンプレート生成処理部13、及びGSVエンジン14を利用して署名QSigの検証を行う。
クライアントコンピュータ1とのインターフェイスとしてのメインエンジン11は、クライアントコンピュータ1に対してAPI(Application Programming Interface)キーを発行する役割を有している。クライアントコンピュータ1は、このAPIキーを記憶しておき、署名QSigの検証をリクエストする際、署名検証プラットフォーム10に対して署名QSigとともに送信する。メインエンジン11は、こうして署名QSigとともに受信されたAPIキーが事前に発行したものと一致するか否かを判定し、一致しない場合にはクライアントコンピュータ1に対してエラーを返す。この場合、署名QSigの検証は行われない。
一方、APIキーが事前に発行したものと一致した場合、メインエンジン11は、署名QSigを検証用パラメータプロファイル生成処理部12に供給する。検証用パラメータプロファイル生成処理部12は、供給された署名QSigに基づいて検証用パラメータプロファイルを生成し、メインエンジン11に供給する機能部である。なお、詳しくは後述するが、検証用パラメータプロファイルは、署名QSigのスタイル(例えば、アジア風(すなわち、漢字で書かれている)か、ヨーロッパ風(すなわち、ラテン文字で書かれている)かなど)を示すロケールID、署名QSigの検証を行うにあたっての許容誤差(tolerances)を示す検証プロファイル、署名QSigが上述した静的なものか動的なものかを識別するタイプ情報、及び、静的な署名QSigからアーチファクト(画像内に含まれる署名以外の線、汚れなど)を除くために用いたクリーンプロファイルを含むデータである。
検証用パラメータプロファイル生成処理部12は、署名QSigに対して機械学習ベースの分類技術を適用することによって署名QSigのスタイルを決定し、決定したスタイルに最も適した検証プロファイルを選択することにより、GSVエンジン14に供給するパラメータを最適化する役割を果たす。詳細については、後ほど図3を参照しながら説明する。
また、メインエンジン11は、署名QSigと、検証用パラメータプロファイル生成処理部12により生成されたタイプ情報及びロケールIDとをテンプレート生成処理部13に供給する処理を行う。テンプレート生成処理部13は、署名QSigを検証するためのテンプレートを生成し、メインエンジン11に供給する機能部である。
ここで、テンプレートの概要を説明する。あるユーザについて初めて署名QSigの検証を行う場合、クライアントコンピュータ1は、そのユーザについてのテンプレートを有していない。その場合、クライアントコンピュータ1は、署名QSigとAPIキーのみを署名検証プラットフォーム10に送信する。署名検証プラットフォーム10は、こうして取得した署名QSigに基づいてそのユーザのテンプレートを生成し、クライアントコンピュータ1に供給する。クライアントコンピュータ1は、こうして署名検証プラットフォーム10から取得したテンプレートを記憶し、その後は、署名QSigの検証をリクエストする際に、署名QSig及びAPIキーとともにテンプレートも送信する。署名検証プラットフォーム10は、こうしてテンプレートが送信されてきた場合に、そのテンプレートと署名QSigとを比較することによって、署名QSigの検証を行う。
テンプレート生成処理部13は、テンプレートなしで送信されてきた署名QSigをテンプレートとするだけでなく、その署名QSigのスタイルに基づき、その署名QSigのための複数の代替署名を生成し、生成した複数の代替署名を用いてテンプレートを生成する処理を行う。複数の代替署名の生成は、署名QSigのスタイルにおける平均的な変動を含む生成モデルを用いる再帰型ニューラルネットワークを用いて実行される。詳細については、後ほど図4を参照しながら説明する。
メインエンジン11は、署名QSigの検証を実行するために、署名QSigと、検証用パラメータプロファイル生成処理部12により生成された検証用パラメータプロファイルと、テンプレート生成処理部13により生成されたテンプレートとをGSVエンジン14に供給する。GSVエンジン14は、上述したGSVテクノロジに基づき、署名QSigの検証を行う検証エンジンである。具体的には、メインエンジン11から供給された検証用パラメータプロファイルを用いて、署名QSigとテンプレートに含まれる各署名との間の尤度を検証スコアとして算出し、その結果に基づいて署名QSigの検証を行う。検証の結果は、検証スコアが所定値以上である場合(検証OKの場合)には検証スコアそのものとなり、検証スコアが所定値未満である場合(検証NGの場合)には「エラー」となる。また、GSVエンジン14は、検証結果に基づき、テンプレートを更新する処理も行う。
メインエンジン11は、GSVエンジン14から、検証結果(検証スコア又はエラー)と、更新されたテンプレートとを受け取り、クライアントコンピュータ1に返送する。これにより、クライアントコンピュータ1は、署名QSigの検証結果を知ることができる。また、署名検証プラットフォーム10が検証OKと判定した場合には検証スコアが返送されることから、署名検証プラットフォーム10よりも厳しい基準で検証結果を再判定することもできる。
クライアントコンピュータ1はまた、署名検証プラットフォーム10から返送されたテンプレートを記憶する。そして、次に同一のユーザから署名の入力を受け付けた場合、入力された署名QSigとともに、記憶しておいたテンプレートを署名検証プラットフォーム10に対して送信する。
図3は、検証用パラメータプロファイル生成処理部12の詳細な構成を示す図である。同図に示すように、検証用パラメータプロファイル生成処理部12は、入力タイプ分類部20、署名画像確認部21、クリーンナッププロファイル分類エンジン22、画像クリーナー23、静的画像用ロケール分類エンジン24、動的画像用ロケール分類エンジン25、パラメータプロファイル生成部26、クリーナープロファイルデータベース27、及び検証プロファイルデータベース28を有して構成される。
メインエンジン11が検証用パラメータプロファイル生成処理部12に供給した署名QSigは、まず入力タイプ分類部20に入力される。入力タイプ分類部20は、入力された署名QSigが静的なものか動的なものかを判定し、静的なものであれば署名画像確認部21に、動的なものであれば動的画像用ロケール分類エンジン25にそれぞれ供給する。
署名画像確認部21は、署名QSigが署名を含む画像のようであるか否かを確認する処理を行う。具体的には、あらかじめ署名を含む画像の例と署名を含まない画像の例を学習させておいた機械学習ベースのシステム(例えば、ニューラルネットワーク)に署名QSigを入力し、その結果としてシステムから出力されるスコアを参照することによって、署名QSigが署名を含む画像のようであるか否かを判定する。署名QSigが署名を含む画像でないと判定した場合、署名画像確認部21はメインエンジン11にエラーを返す。この場合、メインエンジン11はクライアントコンピュータ1に対してエラーを返し、それ以上、署名QSigの検証にかかる処理は行わない。一方、署名QSigが署名を含む画像であると判定した署名画像確認部21は、署名QSigをクリーンナッププロファイル分類エンジン22に供給する。
クリーンナッププロファイル分類エンジン22は、署名QSigに適したクリーンプロファイルを選択する機能部である。具体的には、あらかじめ署名を含む画像とその画像に適したクリーンプロファイルを学習させておいた機械学習ベースのシステム(例えば、ニューラルネットワーク)に署名QSigを入力し、その結果としてシステムから出力されるクリーンプロファイルごとのスコアを参照することによって、署名QSigに最も適したクリーンプロファイルを選択する。なお、署名QSigに最も適したクリーンプロファイルとは、その署名QSigから最も効果的にアーチファクトを取り除くことのできるクリーンプロファイルである。クリーンナッププロファイル分類エンジン22は、選択したクリーンプロファイルを示すクリーンプロファイルIDを、署名QSigとともに画像クリーナー23に供給する。
クリーナープロファイルデータベース27は、すべての種類のクリーンプロファイルを、それぞれのクリーンプロファイルIDと対応付けて格納しているデータベースである。画像クリーナー23は、クリーンナッププロファイル分類エンジン22から供給されたクリーンプロファイルIDに基づいてクリーナープロファイルデータベース27からクリーンプロファイルを読み出し、読み出したクリーンプロファイルを用いて、クリーンナッププロファイル分類エンジン22から供給された署名QSigのクリーンナップ処理を行う。これにより、署名QSigからアーチファクトが取り除かれることになる。画像クリーナー23は、クリーンナップされた署名QSigを、クリーンナッププロファイル分類エンジン22から供給されたクリーンプロファイルIDとともに静的画像用ロケール分類エンジン24に供給する。
静的画像用ロケール分類エンジン24は、静的な署名QSigに対して機械学習ベースの分類技術を適用することによって、その署名QSigのスタイルを決定する機能部である。具体的には、あらかじめ複数の静的な署名とそれぞれの署名のスタイルとを学習させておいた機械学習ベースの分類システムにクリーンナップされた署名QSigを入力し、その結果として分類システムから出力されるスタイルごとのスコアを参照することによって、署名QSigに最も適したスタイルを選択する。そして、選択したスタイルを示すロケールIDを、画像クリーナー23から供給されたクリーンプロファイルIDとともにパラメータプロファイル生成部26に供給する。
動的画像用ロケール分類エンジン25は、動的な署名QSigに対して機械学習ベースの分類技術を適用することによって、その署名QSigのスタイルを決定する機能部である。具体的には、あらかじめ複数の動的な署名とそれぞれの署名に適したスタイルを学習させておいた機械学習ベースの分類システムに署名QSigを入力し、その結果として分類システムから出力されるスタイルごとのスコアを参照することによって、署名QSigに最も適したスタイルを選択する。そして、選択したスタイルを示すロケールIDをパラメータプロファイル生成部26に供給する。
ここで、静的画像用ロケール分類エンジン24及び動的画像用ロケール分類エンジン25のそれぞれに含まれる分類システムとしては、任意の分類システムを用いることができる。例えば、線形分類器(Linear Classifiers)、ロジスティック回帰(Logistic Regression)、単純ベイズ分類器(Naive Bayes Classifier)、サポートベクターマシン(Support Vector Machines)、決定木(Decision Trees)、ブースティング木(Boosted Trees)、ランダムフォレスト(Random Forest)、ニューラルネットワーク(Neural Networks)、最近傍法(Nearest Neighbour)などを、静的画像用ロケール分類エンジン24及び動的画像用ロケール分類エンジン25のそれぞれに含まれる分類システムとして用いることができる。
パラメータプロファイル生成部26は、静的画像用ロケール分類エンジン24又は動的画像用ロケール分類エンジン25から供給されたロケールIDに最も適した検証プロファイルを選択する機能部である。静的な署名QSigに関しては、パラメータプロファイル生成部26は、クリーンプロファイルIDにも基づいて検証プロファイルを選択する。署名を検証する際に許される誤差の程度や内容は、署名のスタイルによって、静的な署名の場合にはさらにクリーンプロファイルにもよって、異なる傾向を示すことが一般的である。したがって、上記のようにして検証プロファイルを選択することによって、署名QSigに最も適した検証プロファイルを選択することが可能になる。
パラメータプロファイル生成部26の処理についてより具体的に説明すると、まず静的な署名QSigに関して、パラメータプロファイル生成部26は、あらかじめロケールID及びクリーンプロファイルIDの組み合わせとその組み合わせに適した検証プロファイルとを学習させておいた機械学習ベースのシステム(例えば、ニューラルネットワーク)にロケールID及びクリーンプロファイルIDの組み合わせを入力し、その結果としてシステムから出力される検証プロファイルごとのスコアを参照することによって、今回の検証で使用されるべき検証プロファイルを選択する。また、動的な署名QSigに関して、パラメータプロファイル生成部26は、あらかじめロケールIDとそのロケールIDに適した検証プロファイルを学習させておいた機械学習ベースのシステム(例えば、ニューラルネットワーク)にロケールIDを入力し、その結果としてシステムから出力される検証プロファイルごとのスコアを参照することによって、今回の検証で使用されるべき検証プロファイルを選択する。
検証プロファイルデータベース28は、すべての種類の検証プロファイルを格納しているデータベースである。パラメータプロファイル生成部26は、選択した検証プロファイルを検証プロファイルデータベース28から取り出し、検証用パラメータプロファイルの一部としてメインエンジン11に供給する。このときパラメータプロファイル生成部26は、署名QSigが上述した静的なものか動的なものかを識別するタイプ情報を検証用パラメータプロファイル内に含めるとともに、ロケールIDと、クリーンプロファイルID(署名QSigが静的なものである場合のみ)とについても、検証用パラメータプロファイル内に含める。
図4は、テンプレート生成処理部13の詳細な構成を示す図である。同図に示すように、テンプレート生成処理部13は、テンプレート生成部30、オフライン署名シードバリアント生成部31、オンライン署名シードバリアント生成部32、及び署名生成モデルストア33とを有して構成される。
メインエンジン11がテンプレート生成処理部13に供給した署名QSig、タイプ情報、及びロケールIDは、まずテンプレート生成部30に入力される。テンプレート生成部30は、タイプ情報により署名QSigが静的なものであることが示される場合には、署名QSig及びロケールIDをオフライン署名シードバリアント生成部31に供給する。一方、タイプ情報により署名QSigが動的なものであることが示される場合には、署名QSig及びロケールIDをオンライン署名シードバリアント生成部32に供給する。
オフライン署名シードバリアント生成部31は、静的な署名QSigに関して、その署名QSigのスタイルにおける平均的な変動(筆記の揺れ)を署名QSigに適用した場合に得られる複数の代替署名を生成する機能部である。筆記の揺れの程度や内容は、署名のスタイルによって異なる傾向を示すことが一般的である。したがって、上記のようにして複数の代替署名を生成することによって、署名QSigに最も適した複数の代替署名を生成することが可能になる。
オンライン署名シードバリアント生成部32は、動的な署名QSigに関して、その署名QSigのスタイルにおける平均的な変動(筆記の揺れ)を署名QSigに適用した場合に得られる複数の代替署名を生成する機能部である。こうすることで、オフライン署名シードバリアント生成部31と同様に、署名QSigに最も適した複数の代替署名を生成することが可能になる。
オフライン署名シードバリアント生成部31及びオンライン署名シードバリアント生成部32の処理についてより具体的に説明すると、まず、署名生成モデルストア33には、署名のタイプ及びスタイルの組み合わせごとに、平均的な変動を含む署名の生成モデルが格納されている。オフライン署名シードバリアント生成部31及びオンライン署名シードバリアント生成部32はそれぞれ、署名QSigのタイプ及びスタイルに対応する生成モデルを署名生成モデルストア33から取り出し、取り出した生成モデルと署名QSigとを用いる再帰型ニューラルネットワークを用いて、その署名QSigのための複数のリーズナブルな代替署名を生成する。ここで再帰型ニューラルネットワークを用いるのは、テンプレートに適切な代替署名を加え、それによって、入力された署名QSigに対する検証率(FAR/FRR)を高めるためである。
オフライン署名シードバリアント生成部31及びオンライン署名シードバリアント生成部32はそれぞれ、生成した複数の代替署名を含む署名セットをテンプレート生成部30に供給する。テンプレート生成部30は、供給された署名セットを用いて、代替署名がシードされたテンプレート(署名QSigとその代替署名とを含むテンプレート)を生成し、メインエンジン11に供給する。
図5~図7は、署名検証プラットフォーム10が行う処理のフロー図である。図5はメインエンジン11及びGSVエンジン14が行う処理を示し、図6は検証用パラメータプロファイル生成処理部12が行う処理を示し、図7はテンプレート生成処理部13が行う処理を示している。以下、これらの図を参照しながら、署名検証プラットフォーム10の動作について、異なる観点から再度より詳しく説明する。
図5に示すように、メインエンジン11はまず、クライアントコンピュータ1から署名QSig及びAPIキーを含む検証リクエストを受信する(ステップS1)。クライアントコンピュータ1が既にテンプレートを保有している場合には、この検証リクエストにはテンプレートも含まれる。
メインエンジン11は次に、受信したAPIキーが有効か否かを判定し(ステップS2)、有効でなければクライアントコンピュータ1にエラーを返して処理を終了する(ステップS3)。有効であれば、検証用パラメータプロファイル生成処理部12に検証用パラメータプロファイル生成処理を実行させる(ステップS4)。
図6は、検証用パラメータプロファイル生成処理の処理フローを示す図である。以下、図3も参照しながら、検証用パラメータプロファイル生成処理の詳細について説明する。
検証用パラメータプロファイル生成処理部12はまず、署名QSigを入力タイプ分類部20に入力する。入力タイプ分類部20による判定(ステップS21)の結果、入力された署名QSigが静的なものであった場合、検証用パラメータプロファイル生成処理部12は、署名QSigを署名画像確認部21に入力する(ステップS22)。そして署名画像確認部21による判定(ステップS23)の結果、入力された署名QSigが署名を含む画像でなかった場合、検証用パラメータプロファイル生成処理部12は、メインエンジン11を介してクライアントコンピュータ1にエラーを返し(ステップS24)、ここで署名QSigを検証するための処理は終了となる。一方、入力された署名QSigが署名を含む画像であった場合、検証用パラメータプロファイル生成処理部12は、署名QSigをクリーンナッププロファイル分類エンジン22に入力することによってクリーンプロファイルを選択し(ステップS25)。選択したクリーンプロファイルを用いてクリーンナップ処理を行うことにより、署名QSigからアーチファクトを除去する(ステップS26)。その後、検証用パラメータプロファイル生成処理部12は、クリーンナップした署名QSigを静的画像用ロケール分類エンジン24に入力することにより、署名QSigのスタイルを示すロケールIDを取得する(ステップS27)。
入力タイプ分類部20による判定(ステップS21)の結果、入力された署名QSigが動的なものであった場合、検証用パラメータプロファイル生成処理部12は、署名QSigを動的画像用ロケール分類エンジン25に入力することにより、署名QSigのスタイルを示すロケールIDを取得する(ステップS28)。
ステップS27又はステップS28を終了した検証用パラメータプロファイル生成処理部12は、次に、取得したロケールIDをクリーンプロファイルIDとともにパラメータプロファイル生成部26に入力することにより、検証プロファイルを取得する(ステップS29)。そして、取得した検証プロファイル、クリーンプロファイル、及びロケールIDを含む検証用パラメータプロファイルを生成してメインエンジン11に出力し(ステップS30)、処理を終了する。
図5に戻る。メインエンジン11は、ステップS4の次に、テンプレートがあるか否かを判定する(ステップS5)。この判定の結果は、ステップS1でテンプレートが受信されていれば肯定となり、受信されていなければ否定となる。ステップS5の判定結果が否定となった場合、メインエンジン11は、テンプレート生成処理部13にテンプレート生成処理を実行させる(ステップS6)。
図7は、テンプレート生成処理の処理フローを示す図である。以下、図4も参照しながら、テンプレート生成処理の詳細について説明する。
テンプレート生成処理部13はまず、ロケールID、タイプ情報、及び署名QSig(静的な署名である場合には、画像クリーナー23によってクリーンナップされたもの)をテンプレート生成部30に入力する(ステップS40)。テンプレート生成部30は、入力されたタイプ情報を参照することによって署名QSigのタイプを判定し(ステップS41)、静的であれば、ロケールID及び署名QSigをオフライン署名シードバリアント生成部31に入力し(ステップS42)、動的であれば、ロケールID及び署名QSigをオンライン署名シードバリアント生成部32に入力する(ステップS43)。そして、オフライン署名シードバリアント生成部31又はオンライン署名シードバリアント生成部32によって生成された複数の代替署名を含むテンプレートを生成してメインエンジン11に出力し(ステップS44)、処理を終了する。
図5に戻る。メインエンジン11は次に、GSVエンジン14を用いて、署名QSigの検証を実施する(ステップS7)。このときGSVエンジン14は、検証用パラメータプロファイル及びテンプレートを用いて検証を行う。ここで使用する検証用パラメータプロファイルとしては、ステップS4の検証用パラメータプロファイル生成処理において生成されたものを使用する。また、テンプレートとしては、ステップS6のテンプレート生成処理でテンプレートを生成していた場合には、そこで生成されたものを使用し、生成していない場合には、ステップS1で受信したものを使用する。ステップS7で行う検証の処理には、テンプレートの更新処理も含まれる。
メインエンジン11は、ステップS7の処理が完了した後、署名QSigの検証結果と、更新されたテンプレートとをクライアントコンピュータ1に送信し(ステップS8)、一連の処理を終了する。
以上説明したように、本実施の形態による署名検証プラットフォーム10によれば、入力された署名QSigのスタイルを決定し、決定したスタイルに適した検証プロファイルを用いて、署名QSigの検証を行うことができる。したがって、署名検証プラットフォームのグローバルな展開を行うにあたり、速やかに検証率を高めることが可能になる。
また、署名QSigのスタイルにおける平均的な変動を含む生成モデルに基づいて生成した複数の代替署名を含むテンプレートを用いて検証を行うので、署名検証プラットフォームのグローバルな展開を行うにあたり、検証率をさらに高めることが可能になる。
以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。
例えば、署名検証プラットフォーム10内に、処理の結果を蓄積するためのリポジトリを設けてもよい。例えば、署名画像確認部21、クリーンナッププロファイル分類エンジン22、静的画像用ロケール分類エンジン24、及び動的画像用ロケール分類エンジン25それぞれの処理結果と、入力された署名QSigとを対応付けて蓄積するリポジトリを設けてもよい。こうすれば、人間のオペレーターがリポジトリ内の結果を手作業で検証し、必要に応じて各機能部の処理を調整することができるので、検証率をさらに高めることが可能になる。
1 クライアントコンピュータ
10 署名検証プラットフォーム
11 メインエンジン
12 検証用パラメータプロファイル生成処理部
13 テンプレート生成処理部
14 GSVエンジン
20 入力タイプ分類部
21 署名画像確認部
22 クリーンナッププロファイル分類エンジン
23 画像クリーナー
24 静的画像用ロケール分類エンジン
25 動的画像用ロケール分類エンジン
26 パラメータプロファイル生成部
27 クリーナープロファイルデータベース
28 検証プロファイルデータベース
30 テンプレート生成部
31 オフライン署名シードバリアント生成部
32 オンライン署名シードバリアント生成部
33 署名生成モデルストア
100 コンピュータ
101 CPU
102 記憶装置
103 入力装置
104 出力装置
105 通信装置
QSig 署名

Claims (14)

  1. 入力された署名に対して機械学習ベースの分類技術を適用することによって、前記署名のスタイルを決定するロケール分類エンジンと、
    前記署名の検証を行うにあたっての許容誤差を示す検証プロファイルであり、前記ロケール分類エンジンによって決定された前記スタイルに適した検証プロファイルを選択するパラメータプロファイル生成部と、
    前記パラメータプロファイル生成部により選択された前記検証プロファイルを用いて前記署名の検証を行う検証エンジンと、
    を含む署名検証プラットフォーム。
  2. 前記ロケール分類エンジンは、複数の署名とそれぞれの署名のスタイルとを学習させておいた機械学習ベースの分類システムに前記署名を入力することによって得られるスタイルごとのスコアに基づいて、前記署名のスタイルを決定する、
    請求項1に記載の署名検証プラットフォーム。
  3. 入力された署名に対して機械学習ベースの分類技術を適用することによって、前記署名のスタイルを決定するロケール分類エンジンと、
    前記ロケール分類エンジンによって決定された前記スタイルに適した検証プロファイルを選択するパラメータプロファイル生成部と、
    前記パラメータプロファイル生成部により選択された前記検証プロファイルを用いて前記署名の検証を行う検証エンジンと、
    前記ロケール分類エンジンによって決定された前記スタイルに基づき、前記署名のスタイルにおける平均的な変動を前記署名に適用した場合に得られる複数の代替署名を生成する署名シードバリアント生成部と、
    前記署名シードバリアント生成部により生成された前記複数の代替署名を用いてテンプレートを生成するテンプレート生成部と、を含み、
    前記検証エンジンは、前記テンプレート生成部によって生成された前記テンプレートを用いて前記署名の検証を行う、
    署名検証プラットフォーム。
  4. 入力された署名に対して機械学習ベースの分類技術を適用することによって、前記署名のスタイルを決定するロケール分類エンジンと、
    前記ロケール分類エンジンによって決定された前記スタイルに適した検証プロファイルを選択するパラメータプロファイル生成部と、
    前記パラメータプロファイル生成部により選択された前記検証プロファイルを用いて前記署名の検証を行う検証エンジンと、
    前記ロケール分類エンジンによって決定された前記スタイルに基づき、前記署名のスタイルにおける平均的な変動を前記署名に適用した場合に得られる複数の代替署名を生成する署名シードバリアント生成部と、
    前記署名シードバリアント生成部により生成された前記複数の代替署名を用いてテンプレートを生成するテンプレート生成部と、を含み、
    前記ロケール分類エンジンは、複数の署名とそれぞれの署名のスタイルとを学習させておいた機械学習ベースの分類システムに前記署名を入力することによって得られるスタイルごとのスコアに基づいて、前記署名のスタイルを決定し、
    前記検証エンジンは、前記テンプレート生成部によって生成された前記テンプレートを用いて前記署名の検証を行う、
    署名検証プラットフォーム。
  5. 前記署名シードバリアント生成部は、前記ロケール分類エンジンによって決定された前記スタイルにおける平均的な変動を含む生成モデルと前記署名とを用いる再帰型ニューラルネットワークを用いて、前記複数の代替署名を生成する、
    請求項3又は4に記載の署名検証プラットフォーム。
  6. 入力された署名に対して機械学習ベースの分類技術を適用することによって、前記署名のスタイルを決定するロケール分類エンジンと、
    前記ロケール分類エンジンによって決定された前記スタイルに適した検証プロファイルを選択するパラメータプロファイル生成部と、
    前記パラメータプロファイル生成部により選択された前記検証プロファイルを用いて前記署名の検証を行う検証エンジンと、
    を含む署名検証プラットフォームであって
    前記署名は静的な署名であり、
    前記署名検証プラットフォームは、
    前記署名に適したクリーンプロファイルを選択するクリーンナッププロファイル分類エンジンと、
    前記クリーンナッププロファイル分類エンジンにより選択された前記クリーンプロファイルを用いて前記署名のクリーンナップ処理を行うことにより、前記署名からアーチファクトが取り除く画像クリーナーと、をさらに含む、
    署名検証プラットフォーム。
  7. 入力された署名に対して機械学習ベースの分類技術を適用することによって、前記署名のスタイルを決定するロケール分類エンジンと、
    前記ロケール分類エンジンによって決定された前記スタイルに適した検証プロファイルを選択するパラメータプロファイル生成部と、
    前記パラメータプロファイル生成部により選択された前記検証プロファイルを用いて前記署名の検証を行う検証エンジンと、
    を含む署名検証プラットフォームであって
    前記ロケール分類エンジンは、複数の署名とそれぞれの署名のスタイルとを学習させておいた機械学習ベースの分類システムに前記署名を入力することによって得られるスタイルごとのスコアに基づいて、前記署名のスタイルを決定し、
    前記署名は静的な署名であり、
    前記署名検証プラットフォームは、
    前記署名に適したクリーンプロファイルを選択するクリーンナッププロファイル分類エンジンと、
    前記クリーンナッププロファイル分類エンジンにより選択された前記クリーンプロファイルを用いて前記署名のクリーンナップ処理を行うことにより、前記署名からアーチファクトが取り除く画像クリーナーと、をさらに含む、
    署名検証プラットフォーム。
  8. 前記署名は静的な署名であり、
    前記署名検証プラットフォームは、
    前記署名に適したクリーンプロファイルを選択するクリーンナッププロファイル分類エンジンと、
    前記クリーンナッププロファイル分類エンジンにより選択された前記クリーンプロファイルを用いて前記署名のクリーンナップ処理を行うことにより、前記署名からアーチファクトが取り除く画像クリーナーと、をさらに含む、
    請求項3乃至5のいずれか一項に記載の署名検証プラットフォーム。
  9. 前記パラメータプロファイル生成部は、署名のスタイルを示すロケールID及びクリーンプロファイルを示すクリーンプロファイルIDの組み合わせとその組み合わせに適した検証プロファイルとを学習させておいた機械学習ベースのシステムに、前記ロケール分類エンジンによって決定された前記スタイルを示すロケールID及び前記クリーンナッププロファイル分類エンジンにより選択された前記クリーンプロファイルを示すクリーンプロファイルIDの組み合わせを入力することによって前記システムから出力される検証プロファイルごとのスコアに基づいて、前記検証プロファイルを選択する、
    請求項6乃至8のいずれか一項に記載の署名検証プラットフォーム。
  10. 入力された署名に対して機械学習ベースの分類技術を適用することによって、前記署名のスタイルを決定するロケール分類エンジンと、
    前記ロケール分類エンジンによって決定された前記スタイルに適した検証プロファイルを選択するパラメータプロファイル生成部と、
    前記パラメータプロファイル生成部により選択された前記検証プロファイルを用いて前記署名の検証を行う検証エンジンと、
    を含み、
    前記署名は動的な署名であり、
    前記パラメータプロファイル生成部は、署名のスタイルを示すロケールIDとそのロケールIDに適した検証プロファイルを学習させておいた機械学習ベースのシステムに、前記ロケール分類エンジンによって決定された前記スタイルを示すロケールIDを入力することによって前記システムから出力される検証プロファイルごとのスコアに基づいて、前記検証プロファイルを選択する、
    署名検証プラットフォーム。
  11. 入力された署名に対して機械学習ベースの分類技術を適用することによって、前記署名のスタイルを決定するロケール分類エンジンと、
    前記ロケール分類エンジンによって決定された前記スタイルに適した検証プロファイルを選択するパラメータプロファイル生成部と、
    前記パラメータプロファイル生成部により選択された前記検証プロファイルを用いて前記署名の検証を行う検証エンジンと、
    を含み、
    前記ロケール分類エンジンは、複数の署名とそれぞれの署名のスタイルとを学習させておいた機械学習ベースの分類システムに前記署名を入力することによって得られるスタイルごとのスコアに基づいて、前記署名のスタイルを決定し、
    前記署名は動的な署名であり、
    前記パラメータプロファイル生成部は、署名のスタイルを示すロケールIDとそのロケールIDに適した検証プロファイルを学習させておいた機械学習ベースのシステムに、前記ロケール分類エンジンによって決定された前記スタイルを示すロケールIDを入力することによって前記システムから出力される検証プロファイルごとのスコアに基づいて、前記検証プロファイルを選択する、
    署名検証プラットフォーム。
  12. 前記署名は動的な署名であり、
    前記パラメータプロファイル生成部は、署名のスタイルを示すロケールIDとそのロケールIDに適した検証プロファイルを学習させておいた機械学習ベースのシステムに、前記ロケール分類エンジンによって決定された前記スタイルを示すロケールIDを入力することによって前記システムから出力される検証プロファイルごとのスコアに基づいて、前記検証プロファイルを選択する、
    請求項3乃至9のいずれか一項に記載の署名検証プラットフォーム。
  13. コンピュータが、入力された署名に対して機械学習ベースの分類技術を適用することによって、前記署名のスタイルを決定するステップと、
    前記コンピュータが、前記署名の検証を行うにあたっての許容誤差を示す検証プロファイルであり、決定された前記スタイルに最も適した検証プロファイルを選択するステップと、
    前記コンピュータが、選択された前記検証プロファイルを用いて前記署名の検証を行うステップと、
    を含む方法。
  14. 前記コンピュータが、決定された前記スタイルに基づき、前記署名のための複数の代替署名を生成するステップと、
    前記コンピュータが、生成された前記複数の代替署名を用いてテンプレートを生成するステップと、をさらに含み、
    前記署名の検証を行うステップは、前記コンピュータが、生成された前記テンプレートを用いて前記署名の検証を行うステップである、
    請求項13に記載の方法。
JP2019165655A 2019-09-11 2019-09-11 タッチコントローラ及びペン入力システム Active JP7441592B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019165655A JP7441592B2 (ja) 2019-09-11 2019-09-11 タッチコントローラ及びペン入力システム
US16/997,538 US11601286B2 (en) 2019-09-11 2020-08-19 Signature verification platform

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019165655A JP7441592B2 (ja) 2019-09-11 2019-09-11 タッチコントローラ及びペン入力システム

Publications (2)

Publication Number Publication Date
JP2021043727A JP2021043727A (ja) 2021-03-18
JP7441592B2 true JP7441592B2 (ja) 2024-03-01

Family

ID=74849653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019165655A Active JP7441592B2 (ja) 2019-09-11 2019-09-11 タッチコントローラ及びペン入力システム

Country Status (2)

Country Link
US (1) US11601286B2 (ja)
JP (1) JP7441592B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003510668A (ja) 1997-07-24 2003-03-18 ワンダーネット リミテッド 署名を認証するシステム及び方法
US20180253539A1 (en) 2017-03-05 2018-09-06 Ronald H. Minter Robust system and method of authenticating a client in non-face-to-face online interactions based on a combination of live biometrics, biographical data, blockchain transactions and signed digital certificates.
WO2018216803A1 (ja) 2017-05-25 2018-11-29 三菱電機株式会社 デザインレビュー装置、デザインレビュー方法、およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8108764B2 (en) * 2007-10-03 2012-01-31 Esker, Inc. Document recognition using static and variable strings to create a document signature
JP6480710B2 (ja) 2014-11-14 2019-03-13 株式会社ワコム 手書きデータ検証方法及びユーザ認証方法
US10402163B2 (en) * 2017-02-14 2019-09-03 Accenture Global Solutions Limited Intelligent data extraction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003510668A (ja) 1997-07-24 2003-03-18 ワンダーネット リミテッド 署名を認証するシステム及び方法
US20180253539A1 (en) 2017-03-05 2018-09-06 Ronald H. Minter Robust system and method of authenticating a client in non-face-to-face online interactions based on a combination of live biometrics, biographical data, blockchain transactions and signed digital certificates.
WO2018216803A1 (ja) 2017-05-25 2018-11-29 三菱電機株式会社 デザインレビュー装置、デザインレビュー方法、およびプログラム

Also Published As

Publication number Publication date
JP2021043727A (ja) 2021-03-18
US11601286B2 (en) 2023-03-07
US20210075625A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
CN101460960B (zh) 用于提供手写识别的组合器
JP2017220222A (ja) データグラフを比較する方法、プログラム、及び装置
US20190295004A1 (en) Recommending sequences of content with bootstrapped reinforcement learning
JP2006252333A (ja) データ処理方法、データ処理装置およびそのプログラム
JP2019215593A (ja) 画像処理装置,画像処理方法ならびに画像処理プログラムおよびそのプログラムを格納した記録媒体
JP2016143353A (ja) 学習装置、学習方法、およびプログラム
JP2014229115A (ja) 情報処理装置および方法、プログラム、記憶媒体
US8266178B2 (en) Management apparatus, information processing apparatus, and method therefor
JPH09319829A (ja) オンライン文字認識装置
WO2022024200A1 (ja) 3dデータシステム及び3dデータ生成方法
US20220383458A1 (en) Control method, storage medium, and information processing apparatus
JP2019028094A (ja) 文字生成装置、プログラム及び文字出力装置
JP7441592B2 (ja) タッチコントローラ及びペン入力システム
Qing et al. A multi-label neural network approach to solving connected CAPTCHAs
JP7120326B2 (ja) 情報処理装置、情報処理方法、記録媒体
CN110674831B (zh) 一种数据处理方法、装置及计算机可读存储介质
CN108573250B (zh) 生成装置、存储介质、识别系统以及生成方法
US11743396B2 (en) Electronic album generating apparatus, electronic album generating method, and non-transitory computer-readable storage medium
JP7211430B2 (ja) 機械学習装置、機械学習方法、及びプログラム
JP5353476B2 (ja) 文書送信装置、文書送信プログラム、及び文書フローシステム
JP6487100B1 (ja) 帳票処理装置及び帳票処理方法
JPWO2009151002A1 (ja) パターン識別方法、装置およびプログラム
US20190236410A1 (en) Bootstrapping recommendation systems from passive data
JP2016143352A (ja) 学習装置、学習方法、およびプログラム
JP2021033721A (ja) 情報処理システム、その制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220808

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240217

R150 Certificate of patent or registration of utility model

Ref document number: 7441592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150