KR101884090B1 - Apparatus and method of signature authentication - Google Patents

Apparatus and method of signature authentication Download PDF

Info

Publication number
KR101884090B1
KR101884090B1 KR1020160159706A KR20160159706A KR101884090B1 KR 101884090 B1 KR101884090 B1 KR 101884090B1 KR 1020160159706 A KR1020160159706 A KR 1020160159706A KR 20160159706 A KR20160159706 A KR 20160159706A KR 101884090 B1 KR101884090 B1 KR 101884090B1
Authority
KR
South Korea
Prior art keywords
signature
value
data
learning model
input
Prior art date
Application number
KR1020160159706A
Other languages
Korean (ko)
Other versions
KR20180061489A (en
Inventor
최대선
남승수
Original Assignee
공주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 공주대학교 산학협력단 filed Critical 공주대학교 산학협력단
Priority to KR1020160159706A priority Critical patent/KR101884090B1/en
Priority to PCT/KR2017/013535 priority patent/WO2018097651A1/en
Publication of KR20180061489A publication Critical patent/KR20180061489A/en
Application granted granted Critical
Publication of KR101884090B1 publication Critical patent/KR101884090B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G06N99/005—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)

Abstract

본 발명은 서명 인증 장치 및 방법에 관한 것으로, 서명을 입력받는 입력부, 서명 인증 장치의 가속도를 측정하는 가속도센서 및 입력부를 통해 입력되는 데이터, 가속도센서를 통해 측정되는 가속도 데이터 및 기 저장된 인증 데이터에 기초하여 서명 인증을 수행하는 제어부를 포함하는 것을 특징으로 한다.The present invention relates to a signature authentication apparatus and method, and more particularly, to an apparatus and method for signature authentication, which includes an input unit for inputting a signature, an acceleration sensor for measuring the acceleration of the signature authentication apparatus and data input through the input unit, acceleration data measured through the acceleration sensor, And a control unit for performing signature authentication on the basis of the authentication information.

Description

서명 인증 장치 및 방법{APPARATUS AND METHOD OF SIGNATURE AUTHENTICATION}[0001] APPARATUS AND METHOD OF SIGNATURE AUTHENTICATION [0002]

본 발명은 서명 인증 장치 및 방법에 관한 것으로, 보다 상세하게는 동적서명을 인증하는 서명 인증 장치 및 방법에 관한 것이다.
The present invention relates to a signature authentication apparatus and method, and more particularly, to a signature authentication apparatus and method for authenticating a dynamic signature.

최근 들어, 스마트폰이나 스마트패드와 같은 모바일기기의 보급이 증가함에 따라, 이러한 기기에서의 생체 인증에 관한 연구ㅇ개발이 많이 이루어지고 있다.Recently, as the spread of mobile devices such as smart phones and smart pads has increased, researches on biometric authentication in these devices have been developed.

이러한 인증 수단으로 가장 많이 사용되고 있는 것은 지문이나, 지문, 목소리, 얼굴 등 정적인 바이오 정보를 이용한 인증에서는 3D프린터로 만들어진 지문, 녹음된 목소리, 사진 등을 이용한 위조가 가능하며, 해당 데이터 등이 한번 노출되면 변경할 수 없다는 문제점이 존재한다.The most commonly used means of authentication is forgery using fingerprints, recorded voices, and photographs made with a 3D printer in authentication using static bio information such as fingerprints, fingerprints, voices, and faces, There is a problem that it can not be changed when exposed.

이에 따라, 걸음걸이인식, 제스처인식 등 쉽게 흉내 내기 어려운 동적행위를 기반으로 한 인증에 대한 연구가 활발하게 진행되고 있으며,이러한 동적행위 중 스마트폰에서의 동적서명은 사용자가 쉽게 할 수 있고, 직관적이며, 노출이 되더라도 자유롭게 변경이 가능하고, 추가적인 장치를 필요로 하지 않는다는 장점이 존재한다.As a result, studies on authentication based on dynamic behaviors that are difficult to imitate easily, such as recognition of gait recognition and gesture recognition, have been actively carried out. Among these dynamic behaviors, dynamic signature in a smartphone can be easily performed by a user, There is an advantage that it can be freely changed even when exposed, and no additional device is required.

다만 동적서명에서도 어깨너머 훔쳐보기(Shoulder surfing)나, 서명의 자국을 따라 글씨를 본뜨는 얼룩공격(Smudge Attack) 등과 같은 위조서명(Skilled forgery)을 가려내는 것이 중요한 이슈이다.However, it is an important issue to identify skilled forgery such as shoulder surfing in the dynamic signature, Smudge Attack in the sign of the signature, and so on.

이러한 위조서명을 구분하기 위해서는 서명이 이뤄지는 동적인 행위에 대한 특징 정보가 많이 필요하며, 종래에는 스타일러스 펜을 이용한 서명 인증에 관련된 연구가 주를 이루었기에, 서명의 모양, 펜 압력, 펜 각도 등을 특징 정보로 활용하는 방안이 제안되었다. 그러나 이러한 방식은 손을 이용하는 핑거서명에는 적용될 수 없다는 문제점이 존재한다.In order to distinguish such falsification signatures, a lot of characteristic information about a dynamic action in which a signature is performed is required. In the past, studies related to signature authentication using a stylus pen have been mainly made, so that the signature shape, pen pressure, A method to utilize it as feature information has been proposed. However, there is a problem that this method can not be applied to a finger signature using a hand.

한편 본 발명의 배경기술은 대한민국 공개특허 10-2012-0047973호 (2012.05.14)에 개시되어 있다.
Meanwhile, the background art of the present invention is disclosed in Korean Patent Publication No. 10-2012-0047973 (2012.05.14).

본 발명은 상기와 같은 종래 서명 인증 장치 및 방법의 문제점을 해결하기 위한 것으로, 보다 정확한 위조 서명 구분을 가능하게 하는 서명 인증 장치 및 방법을 제공하는데 그 목적이 있다.
SUMMARY OF THE INVENTION It is an object of the present invention to provide a signature authentication apparatus and a signature verification method capable of more precise signature classification.

본 발명에 따른 서명 인증 장치는 서명을 입력받는 입력부; 서명 인증 장치의 가속도를 측정하는 가속도센서; 및 상기 입력부를 통해 입력되는 데이터, 상기 가속도센서를 통해 측정되는 가속도 데이터 및 기 저장된 인증 데이터에 기초하여 서명 인증을 수행하는 제어부를 포함하는 것을 특징으로 한다.A signature authentication apparatus according to the present invention includes: an input unit for receiving a signature; An acceleration sensor for measuring the acceleration of the signature authentication device; And a controller for performing signature authentication based on data input through the input unit, acceleration data measured through the acceleration sensor, and pre-stored authentication data.

본 발명에서 상기 기 저장된 인증 데이터는, 서명 등록을 위한 데이터를 학습하여 생성된 학습 모델인 것을 특징으로 한다.In the present invention, the pre-stored authentication data is a learning model generated by learning data for signature registration.

본 발명에서 상기 제어부는, 설정주기에 따라 샘플링된 각 서명 포인트의 2축 좌표값 및 해당 시점에서의 3축 가속도값을 상기 학습 모델에 입력하여 서명 인증을 수행하는 것을 특징으로 한다.In the present invention, the control unit performs sign authentication by inputting the two-axis coordinate values of each signature point sampled according to the set period and the three-axis acceleration value at the time point into the learning model.

본 발명에서 상기 제어부는, 상기 학습 모델에서 출력되는 값 및 상기 학습 모델에 입력한 값에 기초하여 비유사도를 산출하고, 상기 산출된 비유사도와 임계값을 비교하여 인증 성공 여부를 판단하는 것을 특징으로 한다.In the present invention, the control unit calculates an unillustrated figure based on a value output from the learning model and a value input to the learning model, and compares the calculated unillustrated figure with a threshold value to determine whether or not the authentication is successful. .

본 발명에서 상기 제어부는, 상기 학습 모델에서 출력되는 값과 상기 학습 모델에 입력한 값의 평균제곱오차(mean squared error)를 상기 비유사도로 산출하는 것을 특징으로 한다.In the present invention, the controller may calculate a mean squared error between a value output from the learning model and a value input to the learning model using the non-inference diagram.

본 발명에서 상기 제어부는, 각 서명 포인트 간의 거리를 상기 학습 모델에 더 입력하여 서명 인증을 수행하는 것을 특징으로 한다.In the present invention, the control unit may further input a distance between each signature point to the learning model to perform signature authentication.

본 발명에서 상기 제어부는, 상기 학습 모델에 입력할 데이터를 정규화(normalization)하는 것을 특징으로 한다.In the present invention, the control unit may normalize data to be input to the learning model.

본 발명에서 상기 학습 모델은 오토인코더(autoencoder) 방식의 모델인 것을 특징으로 한다.In the present invention, the learning model is a model of an autoencoder system.

본 발명에 따른 서명 인증 방법은 제어부가 입력부를 통해 서명을 입력받는 단계; 상기 제어부가 상기 서명을 입력받는 동안 가속도센서를 통해 서명 인증이 수행되는 장치의 가속도를 측정하는 단계; 상기 제어부가 상기 입력부를 통해 입력된 데이터 및 측정된 가속도 데이터를 기 구축된 학습 모델에 입력하여 출력값을 산출하는 단계; 상기 제어부가 상기 출력값 및 상기 학습 모델에 입력한 값에 기초하여 비유사도를 산출하는 단계; 및 상기 산출된 비유사도와 임계값을 비교하여 인증 성공 여부를 판단하는 단계를 포함하는 것을 특징으로 한다.A signature authentication method according to the present invention includes: a step in which a control unit receives a signature through an input unit; Measuring the acceleration of the device through which the signature is authenticated through the acceleration sensor while the controller receives the signature; Inputting the data and the measured acceleration data input through the input unit to the pre-built learning model to calculate an output value; Calculating a non-derivation based on the output value and the value input to the learning model; And comparing the calculated non-guide figure with a threshold value to determine whether the authentication is successful.

본 발명에서 상기 입력부를 통해 입력된 데이터는 설정주기에 따라 샘플링된 각 서명 포인트의 2축 좌표값이고, 상기 가속도 데이터는 상기 설정주기에 따라 샘플링된 3축 가속도값인 것을 특징으로 한다.In the present invention, the data input through the input unit is a two-axis coordinate value of each signature point sampled according to a set period, and the acceleration data is a three-axis acceleration value sampled according to the setting period.

본 발명에 따른 서명 인증 방법은 상기 서명을 입력받는 단계 전에, 상기 제어부가 상기 입력부를 통해 서명 등록을 위한 서명을 적어도 1회 이상 입력받는 단계; 상기 제어부가 상기 서명 등록을 위한 서명을 입력받는 동안 상기 가속도센서를 통해 상기 장치의 가속도를 측정하는 단계; 및 상기 제어부가 서명 등록을 위한 데이터를 학습하여 상기 학습 모델을 구축하는 단계를 더 포함하는 것을 특징으로 한다.
The signature authentication method according to the present invention may further comprise: before the step of receiving the signature, the control unit receiving a signature for signature registration at least once through the input unit; Measuring acceleration of the apparatus through the acceleration sensor while the control unit receives a signature for sign registration; And constructing the learning model by learning the data for signature registration by the control unit.

본 발명에 따른 서명 인증 장치 및 방법은 서명의 모양 정보뿐만 아니라, 가속도 정보를 활용하여, 서명의 인식률을 높이고 위조서명의 인식률을 낮춤으로써, 서명 인증의 정확성을 향상시킬 수 있도록 하는 효과가 있다.The signature authentication apparatus and method according to the present invention have the effect of improving the accuracy of the signature authentication by increasing the recognition rate of the signature and lowering the recognition rate of the fake signature by using the acceleration information as well as the shape information of the signature.

또한 본 발명에 따른 서명 인증 장치 및 방법은 위조서명 구분에 효과적인 딥러닝 기법을 사용함으로써, 서명 인증의 정확성을 향상시킬 수 있도록 하는 효과가 있다.
Further, the signature authentication apparatus and method according to the present invention have an effect of improving the accuracy of signature authentication by using an effective deep-processing technique for distinguishing falsification signatures.

도 1은 본 발명의 일 실시예에 따른 서명 인증 장치의 구성을 나타낸 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 서명 인증 장치에서 입력부를 통해 입력된 데이터를 정규화하는 것을 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 서명 인증 장치에서 수행되는 서명의 2축 좌표값과 3축 가속도값 사이의 관계를 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 서명 인증 장치의 학습 모델을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 서명 인증 방법에서 수행되는 서명 등록 과정을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 서명 인증 방법에서 수행되는 서명 인증 과정을 설명하기 위한 흐름도이다.1 is a block diagram illustrating a configuration of a signature authentication apparatus according to an embodiment of the present invention.
FIG. 2 is an exemplary diagram illustrating normalization of data input through an input unit in a signature authentication apparatus according to an exemplary embodiment of the present invention. Referring to FIG.
3 is an exemplary diagram illustrating a relationship between a two-axis coordinate value and a three-axis acceleration value of a signature performed in the signature authentication apparatus according to an exemplary embodiment of the present invention.
4 is an exemplary diagram illustrating a learning model of a signature authentication apparatus according to an embodiment of the present invention.
5 is a flowchart illustrating a signature registration process performed in the signature authentication method according to an embodiment of the present invention.
6 is a flowchart illustrating a signature authentication process performed in the signature authentication method according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 서명 인증 장치 및 방법의 일 실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, an embodiment of a signature authentication apparatus and method according to the present invention will be described with reference to the accompanying drawings. In this process, the thicknesses of the lines and the sizes of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms described below are defined in consideration of the functions of the present invention, which may vary depending on the intention or custom of the user, the operator. Therefore, definitions of these terms should be made based on the contents throughout this specification.

도 1은 본 발명의 일 실시예에 따른 서명 인증 장치의 구성을 나타낸 블록구성도이고, 도 2는 본 발명의 일 실시예에 따른 서명 인증 장치에서 입력부를 통해 입력된 데이터를 정규화하는 것을 설명하기 위한 예시도이며, 도 3은 본 발명의 일 실시예에 따른 서명 인증 장치에서 수행되는 서명의 2축 좌표값과 3축 가속도값 사이의 관계를 설명하기 위한 예시도이고, 도 4는 본 발명의 일 실시예에 따른 서명 인증 장치의 학습 모델을 설명하기 위한 예시도로서, 이를 참조하여 본 실시예에 따른 서명 인증 장치를 설명하면 다음과 같다.FIG. 1 is a block diagram illustrating a configuration of a signature authentication apparatus according to an embodiment of the present invention. FIG. 2 illustrates normalization of data input through an input unit in a signature authentication apparatus according to an exemplary embodiment of the present invention. FIG. 3 is an exemplary diagram for explaining a relationship between a two-axis coordinate value and a three-axis acceleration value of a signature performed in the signature authentication apparatus according to an embodiment of the present invention, and FIG. The signature verification apparatus according to an embodiment of the present invention will now be described with reference to FIG.

도 1에 도시된 것과 같이, 본 발명의 일 실시예에 따른 서명 인증 장치는 제어부(100), 입력부(110), 가속도센서(120) 및 저장부(130)를 포함한다.1, a signature authentication apparatus according to an exemplary embodiment of the present invention includes a control unit 100, an input unit 110, an acceleration sensor 120, and a storage unit 130.

입력부(110)는 사용자로부터 서명을 입력받을 수 있다. 예를 들어, 입력부(110)는 터치스크린의 형태로 구성되어 사용자가 입력하는 서명을 입력받을 수 있다. 즉, 사용자가 손가락 등을 통해 입력부(110)에 서명을 입력하면, 터치되는 위치의 좌표값이 입력부(110)를 통해 파악될 수 있다.The input unit 110 may receive a signature from a user. For example, the input unit 110 may be configured in the form of a touch screen to receive a signature input by the user. That is, when the user inputs a signature to the input unit 110 through a finger or the like, the coordinate value of the touched position can be grasped through the input unit 110. [

제어부(100)는 이러한 좌표 데이터를 이용하여 서명의 등록 및 인증을 수행할 수 있다. 예를 들어, 제어부(100)는 입력부(110)을 통해 입력되는 서명을 설정주기(예: 32ms)에 따라 샘플링한 각 서명 포인트(도 2에 점으로 표시됨)의 2축(x축, y축) 좌표값을 사용하여 서명의 인증 및 등록을 수행할 수 있다. 즉, 이러한 좌표 데이터는 서명의 모양에 관련된 데이터이며, 이와 같이 주기적으로 샘플링한 데이터를 사용한다면, 시간 정보를 따로 사용하지 않더라도, 서명의 속도 정보를 활용하는 것과 동등한 효과를 얻을 수 있다.The control unit 100 can perform registration and authentication of signatures using such coordinate data. 2) of each signature point (indicated by a dotted line in FIG. 2) sampled according to a setting period (for example, 32 ms) by a signature inputted through the input unit 110, ) Coordinate values can be used to authenticate and register the signature. That is, this coordinate data is data related to the shape of the signature. Using the data periodically sampled in this way, even if the time information is not used separately, the same effect as using the signature speed information can be obtained.

가속도센서(120)는 서명 인증 장치의 가속도를 측정할 수 있다. 예를 들어, 본 실시예에 따른 서명 인증 장치가 스마트폰일 경우, 스마트폰에 내장된 센서를 활용하여 서명이 수행되는 동안의 가속도를 측정할 수 있으며, 이러한 가속도 정보는 3축(x축, y축, z축)에 대해 측정될 수 있다.The acceleration sensor 120 can measure the acceleration of the signature authentication device. For example, when the signature authentication apparatus according to the present embodiment is a smart phone, it is possible to measure the acceleration during signing using the sensor built in the smart phone. The acceleration information includes three axes (x axis, y Axis, z-axis).

즉, 본 실시예에서는 서명이 수행되는 서명 인증 장치의 가속도 정보를 동적 행위에 대한 특징 정보로 활용하여 서명 인증의 정확성을 향상시킬 수 있도록 한다.That is, in the present embodiment, the accuracy of the signature authentication can be improved by using the acceleration information of the signature authentication device in which the signature is performed as the feature information about the dynamic behavior.

구체적으로, 도 3에서 볼 수 있듯이, 사용자가 서명을 입력할 때, 그 방향을 변경하면 서명 인증 장치의 가속도에 급격한 변화가 발생하게 되며, 서명의 모양, 속도, 서명자의 습관 등에 따라 그 구체적인 가속도 값이 결정된다. 따라서 이러한 가속도 값은 위조서명을 구분하기 위한 특징 정보로 활용될 수 있다.Specifically, as shown in FIG. 3, when the user inputs a signature, if the direction is changed, a rapid change occurs in the acceleration of the signature authentication device. Depending on the signature shape, speed, signer's habit, Value is determined. Therefore, the acceleration value can be used as feature information for distinguishing the forged signature.

한편 도 2 및 도 3에서 볼 수 있듯이, 제어부(100)는 등록된 서명에 대한 데이터와 입력되는 서명을 비교ㅇ분석하기 위해, 입력부(110)를 통해 입력된 데이터나 측정된 가속도 데이터를 가공할 수 있다. 구체적으로 시작점을 일치시키기 위해 좌표값이나 가속도값에서 그 초기값을 차감할 수 있으며, 서명의 크기를 맞추기 위한 데이터 정규화(normalization)를 수행할 수 있다.2 and 3, the control unit 100 processes data input through the input unit 110 or measured acceleration data to analyze the signature data and the input signature. . Specifically, the initial value may be subtracted from the coordinate value or the acceleration value to match the starting point, and data normalization may be performed to match the size of the signature.

저장부(130)에는 인증 데이터 즉, 서명 등록을 위해 입력된 서명에 관련된 데이터가 저장되어 있을 수 있다.The storage unit 130 may store authentication data, that is, data related to a signature input for signature registration.

다시 말해 제어부(100)는 서명의 인증이 수행되기 전에, 서명의 등록을 먼저 수행할 수 있으며, 예를 들어, 제어부(100)는 서명 등록을 위한 데이터를 학습하여 학습 모델을 생성하고 이를 저장부(130)에 저장할 수 있다.For example, the control unit 100 learns data for signature registration to generate a learning model, and stores the signature in the storage unit. (130).

즉, 제어부는 딥러닝 기법을 이용하여 서명 인증을 수행할 수 있으며, 구체적으로 제어부(100)는 등록을 위한 서명을 학습하여, 오토인코더(autoencoder, AE) 방식의 모델을 구축할 수 있다.That is, the control unit can perform signature authentication using the deep learning technique. Specifically, the control unit 100 can learn a signature for registration and construct a model of an autoencoder (AE) method.

이러한 AE는 도 4에 도시된 것과 같은 구조를 가지며, FNN(Feedforward Neural Network)의 한 종류로 데이터의 내재된 특성을 학습하는 신경망이다. 구체적으로 AE는 입력되는 값에 유사한 출력값을 생성하도록 학습되는 학습 모델로, 학습된 데이터와 비슷한 입력값에 대해서는 높은 유사도를 갖는 출력값을 생성하지만, 그렇지 않은 입력값에 대한 출력값은 낮은 유사도를 갖게 된다.The AE has a structure as shown in FIG. 4 and is a type of FNN (Feedforward Neural Network), which is a neural network that learns the inherent characteristics of data. Specifically, AE is a learning model that is learned to generate similar output values to the input values, and generates output values with high similarity for input values similar to the learned data, while output values for input values that do not have low similarity .

Figure 112016116575501-pat00001
Figure 112016116575501-pat00001

이러한 AE의 학습 방식은 상기 수학식 1을 통해 설명될 수 있으며, 상기 수학식 1에서 h는 서명 데이터 x로부터 AE를 통해 인코딩(encoding)된 결과이고, z는 h를 디코딩(decoding)한 결과이며,

Figure 112016116575501-pat00002
는 활성화 함수이고, L은 손실 함수(loss function)이다. 이러한 관계식에서의 AE의 학습 과정은 손실함수를 최소화하는 W와 W'를 찾는 과정이며, 유사한 데이터의 입력이 반복되면 해당 데이터의 특성에 대응하는 W와 W'를 산출할 수 있다.The learning method of the AE can be described by Equation (1), where h is the result of encoding from signature data x through AE, z is the result of decoding h, ,
Figure 112016116575501-pat00002
Is an activation function, and L is a loss function. The learning process of AE in this relation is a process of finding W and W 'that minimizes the loss function, and if input of similar data is repeated, W and W' corresponding to the characteristic of the data can be calculated.

즉, 이러한 AE는, 복수개의 유사성 있는 데이터를 입력하여 학습을 수행하면, 학습된 데이터와 비슷한 입력값에 대해서는 입력값과 출력값의 유사도가 높은 데이터를 출력하지만, 그렇지 않은 입력값에 대해서는 입력값과 출력값의 유사도가 낮은 즉, 비유사도가 높은 데이터를 출력한다.That is, when learning is performed by inputting a plurality of similar data, such an AE outputs data having a similarity degree between the input value and the output value with respect to the input value similar to the learned data. And outputs data having a low degree of similarity to the output value, that is, having a high degree of similarity.

따라서 제어부(100)는 설정주기에 따라 샘플링된 각 서명 포인트의 2축 좌표값 및 해당 시점에서의 3축 가속도값을 학습 모델에 입력하여 출력값을 산출하고, 상기 학습 모델에서 출력되는 값 및 상기 학습 모델에 입력한 값에 기초하여 비유사도를 산출함으로써, 위조서명을 판별할 수 있다.Accordingly, the controller 100 inputs the two-axis coordinate values of the sampled signature points and the three-axis acceleration values at the corresponding points in the set period to the learning model to calculate an output value, and outputs the value output from the learning model and the learning By calculating the non-derivation based on the value entered in the model, a forged signature can be determined.

예를 들어 제어부(100)는 학습 모델에서 출력되는 값과 학습 모델에 입력한 값의 평균제곱오차(mean squared error)를 상술한 비유사도로서 산출할 수 있으며, 이러한 비유사도가 임계값보다 작을 경우 서명 인증에 성공한 것으로 판단할 수 있다.For example, the controller 100 may calculate a mean squared error between a value output from the learning model and a value input to the learning model as the non-inference. If the non-inference is smaller than the threshold It can be determined that the signature authentication is successful.

제어부(100)가 사용하는 이러한 학습 모델은, 입력된 데이터를 대상(subject)과 비대상(others)으로 구분하는 2 클래스(class) 방식이 아니라, 1 클래스 방식이기 때문에, 위조서명의 구분에 좀 더 효과적일 수 있다. 즉, 2 클래스 방법에서는 위조서명이 subject class에 더 가깝게 분류되므로, 보안을 위한 인증에는 1 클래스 방식이 보다 적합하다고 할 수 있다.This learning model used by the control unit 100 is not a two-class method for dividing input data into a subject and a non-object, and is a one-class method. Therefore, Can be more effective. That is, in the two-class method, the fake signature is classified closer to the subject class, so the one class method is more suitable for authentication for security.

다만 본 발명에서 사용하는 학습 모델은 AE 방식의 모델에 한정되는 것은 아니므로, 학습된 데이터와 비슷한 입력값에 대해서는 입력값과 출력값의 유사도가 높은 데이터를 출력하지만, 그렇지 않은 입력값에 대해서는 입력값과 출력값의 유사도가 낮은 데이터를 출력하는 다양한 방식의 학습 모델이 채용될 수 있다.However, since the learning model used in the present invention is not limited to the model of the AE system, data having high similarity between the input value and the output value is output for an input value similar to the learned data. However, And a method of outputting data with a low degree of similarity between output values can be employed.

또한 제어부(100)는 각 서명 포인트 간의 거리를 학습 모델에 더 입력하여 서명 인증을 수행할 수도 있으며, 이렇게 특징 정보를 더 많이 사용할수록 인증의 정확도는 향상될 수 있다.In addition, the control unit 100 may further perform a signature authentication by inputting the distance between each signature point to the learning model. The more the feature information is used, the more accurate the authentication can be.

한편 이러한 서명 인증 장치는 휴대전화, 스마트폰, 스마트패드 PMP(Portable Media Player), PDA(Personal Digital Assistant), 휴대용 게임기, 디지털 카메라, 전자책(e-book) 리더 등의 모바일 기기일 수 있으나, 이에 한정되는 것은 아니므로, 다양한 기기가 서명 인증 장치로 채용될 수 있다.Meanwhile, the signature authentication device may be a mobile device such as a mobile phone, a smart phone, a smart pad PMP (Portable Media Player), a PDA (Personal Digital Assistant), a portable game machine, a digital camera, an e-book reader, The present invention is not limited to this, and various devices can be employed as signature authentication devices.

도 5는 본 발명의 일 실시예에 따른 서명 인증 방법에서 수행되는 서명 등록 과정을 설명하기 위한 흐름도이고, 도 6은 본 발명의 일 실시예에 따른 서명 인증 방법에서 수행되는 서명 인증 과정을 설명하기 위한 흐름도로서, 이를 참조하여 본 실시예에 따른 서명 인증 방법을 설명하면 다음과 같다.FIG. 5 is a flowchart illustrating a signature registration process performed in the signature authentication method according to an embodiment of the present invention. FIG. 6 illustrates a signature authentication process performed in the signature authentication method according to an embodiment of the present invention. A signature authentication method according to the present embodiment will be described with reference to FIG.

도 5에서 확인할 수 있듯이, 제어부(100)는 서명 등록 과정을 먼저 수행할 수 있다.As shown in FIG. 5, the control unit 100 may perform the signature registration process first.

구체적으로 제어부(100)는 입력부(110)를 통해 서명 등록을 위한 서명을 입력받는다(S200). 이때 제어부(100)는 가속도센서(120)를 통해 서명 인증 장치의 가속도를 측정할 수 있으며, 이렇게 입력 또는 측정된 데이터를 서명 등록을 위한 데이터로 사용할 수 있다. 예를 들어, 제어부(100)는 서명의 모양을 나타내는 데이터인 설정주기에 따라 샘플링된 각 서명 포인트의 2축 좌표값, 서명 시의 장치의 가속도를 나타내는 데이터인 설정주기에 따라 샘플링된 3축 가속도값을 서명 데이터로 사용할 수 있으며, 각 서명 포인트 간의 거리를 추가적으로 활용할 수도 있다.Specifically, the control unit 100 receives a signature for signature registration through the input unit 110 (S200). At this time, the controller 100 can measure the acceleration of the signature authentication device through the acceleration sensor 120, and can use the input or measured data as signature registration data. For example, the control unit 100 determines whether the three-axis acceleration value sampled according to the setting period, which is the data indicating the two-axis coordinate value of each signature point sampled according to the setting period, Value can be used as signature data, and the distance between each signature point can be further utilized.

이어서 제어부(100)는 입력된 서명 데이터를 정규화하고(S210), 정규화된 서명 데이터를 학습하여 학습 모델을 구축한다(S220). 즉, 제어부(100)는 학습을 수행하기 위해 서명 데이터를 가공할 수 있으며, 정규화외에도 시작점을 일치시키는 데이터 처리 등을 수행할 수 있다.Next, the control unit 100 normalizes the inputted signature data (S210), and builds a learning model by learning the normalized signature data (S220). That is, the control unit 100 may process the signature data to perform learning, and may perform data processing or the like to match the starting point in addition to the normalization.

또한 제어부는 딥러닝 기법을 이용하여 서명 인증을 수행할 수 있도록 서명을 학습하며, 예를 들어 오토인코더(autoencoder, AE) 방식의 모델을 구축할 수 있다.In addition, the control unit learns signatures so as to perform signature authentication using a deep learning technique, and can construct a model of an autoencoder (AE) method, for example.

한편 도 6에서 볼 수 있듯이, 서명 인증을 위해 제어부(100)는 먼저 입력부(110)를 통해 서명을 입력받는다(S300). 상술한 단계(S200)와 마찬가지로 제어부(100)는 가속도센서(120)를 통해 서명 인증 장치의 가속도를 측정하여 서명 데이터로 활용할 수 있다.Meanwhile, as shown in FIG. 6, in order to authenticate a signature, the control unit 100 first receives a signature through the input unit 110 (S300). Like the above-described step S200, the controller 100 can measure the acceleration of the signature authentication device through the acceleration sensor 120 and utilize it as signature data.

이어서 제어부(100)는 입력된 서명 데이터를 정규화하고(S310), 정규화된 서명 데이터를 학습 모델에 입력하여 출력값을 산출하며(S320), 정규화된 서명 데이터와 출력값에 기초하여 비유사도를 산출한다(S330). 즉, 상술한 것과 같이 AE는 학습된 데이터와 비슷한 입력값에 대해서는 입력값과 출력값의 유사도가 높은 데이터를 출력하지만, 그렇지 않은 입력값에 대해서는 입력값과 출력값의 유사도가 낮은 즉, 비유사도가 높은 데이터를 출력하므로, 제어부(100)는 학습 모델에서 출력되는 값 및 학습 모델에 입력한 값에 기초하여 비유사도를 산출함으로써, 위조서명을 판별할 수 있다.Next, the control unit 100 normalizes the input signature data (S310), inputs the normalized signature data to the learning model to calculate an output value (S320), and calculates a non-willow chart based on the normalized signature data and the output value S330). That is, as described above, the AE outputs data having similarity between the input value and the output value with respect to the input value similar to the learned data. However, with respect to the input value other than the input value, the similarity between the input value and the output value is low The control unit 100 can determine the fake signature by calculating the non-derivation based on the value output from the learning model and the value input to the learning model.

상기 단계(S330)에서 산출된 비유사도가 임계값보다 작으면, 제어부(100)는 인증이 성공한 것으로 처리하고, 이와 달리 산출된 비유사도가 임계값 이상이면, 제어부(100)는 인증이 실패한 것으로 처리한다(S340~S360). 예를 들어, 제어부(100)는 학습 모델에서 출력되는 값과 학습 모델에 입력한 값의 평균제곱오차(mean squared error)를 비유사도로서 산출할 수 있으며, 이러한 경우 비유사도가 작으면 학습된 데이터와 유사한 데이터가 입력된 것이므로, 제어부(100)는 서명이 올바른 것으로 처리할 수 있고, 반대의 경우에는 위조된 서명 등인 것으로 판단하여 인증 실패 처리를 수행할 수 있다.If the calculated non-default value is less than the threshold value, the control unit 100 determines that the authentication is successful. Otherwise, if the calculated non-default value is greater than or equal to the threshold value, the control unit 100 determines that the authentication fails (S340 to S360). For example, the controller 100 may calculate a mean squared error between a value output from the learning model and a value input to the learning model as a non-dioptric value. In this case, if the non- The control unit 100 can determine that the signature is correct, and in the opposite case, the control unit 100 determines that the signature is a forged signature or the like, and can perform the authentication failure process.

이와 같이 본 발명의 실시예에 따른 서명 인증 장치 및 방법은 서명의 모양 정보뿐만 아니라, 가속도 정보를 활용하여, 서명의 인식률을 높이고 위조서명의 인식률을 낮추며, 위조서명 구분에 효과적인 딥러닝 기법을 사용함으로써, 서명 인증의 정확성을 향상시킬 수 있도록 한다.As described above, the signature authentication apparatus and method according to the embodiment of the present invention not only uses the shape information of the signature but also the acceleration information to increase the recognition rate of the signature, lower the recognition rate of the fake signature, and use an effective deep- Thereby improving the accuracy of signature authentication.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. I will understand. Accordingly, the technical scope of the present invention should be defined by the following claims.

100: 제어부
110: 입력부
120: 가속도센서
130: 저장부100:
110: input unit
120: Accelerometer
130:

Claims (11)

서명을 입력받는 입력부;
서명 인증 장치의 가속도를 측정하는 가속도센서; 및
상기 입력부를 통해 입력되는 데이터, 상기 가속도센서를 통해 측정되는 가속도 데이터 및 기 저장된 인증 데이터에 기초하여 서명 인증을 수행하는 제어부를 포함하고,
상기 기 저장된 인증 데이터는, 서명 등록을 위한 데이터를 학습하여 생성된 학습 모델이며, 상기 학습 모델은 오토인코더(autoencoder) 방식의 모델이고,
상기 제어부는, 설정주기에 따라 샘플링된 각 서명 포인트의 2축 좌표값 및 해당 시점에서의 3축 가속도값을 상기 학습 모델에 입력하여 서명 인증을 수행하는 것을 특징으로 하는 서명 인증 장치.
An input unit for inputting a signature;
An acceleration sensor for measuring the acceleration of the signature authentication device; And
And a controller for performing signature authentication based on data input through the input unit, acceleration data measured through the acceleration sensor, and pre-stored authentication data,
Wherein the pre-stored authentication data is a learning model generated by learning data for signature registration, the learning model is a model of an autoencoder system,
Wherein the control unit inputs the two-axis coordinate value of each signature point sampled according to the set period and the three-axis acceleration value at the time point to the learning model to perform signature verification.
삭제delete 삭제delete 제1항에 있어서,
상기 제어부는, 상기 학습 모델에서 출력되는 값 및 상기 학습 모델에 입력한 값에 기초하여 비유사도를 산출하고, 상기 산출된 비유사도와 임계값을 비교하여 인증 성공 여부를 판단하는 것을 특징으로 하는 서명 인증 장치.
The method according to claim 1,
Wherein the control unit calculates an unillustrated figure based on a value output from the learning model and a value input to the learning model, and compares the calculated unillustrated figure with a threshold value to determine whether or not the authentication is successful. Authentication device.
제4항에 있어서,
상기 제어부는, 상기 학습 모델에서 출력되는 값과 상기 학습 모델에 입력한 값의 평균제곱오차(mean squared error)를 상기 비유사도로 산출하는 것을 특징으로 하는 서명 인증 장치.
5. The method of claim 4,
Wherein the control unit calculates a mean squared error between a value output from the learning model and a value input to the learning model by the non-inference.
제1항에 있어서,
상기 제어부는, 각 서명 포인트 간의 거리를 상기 학습 모델에 더 입력하여 서명 인증을 수행하는 것을 특징으로 하는 서명 인증 장치.
The method according to claim 1,
Wherein the control unit further inputs the distance between each signature point to the learning model to perform signature authentication.
제1항에 있어서,
상기 제어부는, 상기 학습 모델에 입력할 데이터를 정규화(normalization)하는 것을 특징으로 하는 서명 인증 장치.
The method according to claim 1,
Wherein the control unit normalizes data to be input to the learning model.
삭제delete 제어부가 입력부를 통해 서명을 입력받는 단계;
상기 제어부가 상기 서명을 입력받는 동안 가속도센서를 통해 서명 인증이 수행되는 장치의 가속도를 측정하는 단계;
상기 제어부가 상기 입력부를 통해 입력된 데이터 및 측정된 가속도 데이터를 기 구축된 학습 모델에 입력하여 출력값을 산출하는 단계;
상기 제어부가 상기 출력값 및 상기 학습 모델에 입력한 값에 기초하여 비유사도를 산출하는 단계; 및
상기 산출된 비유사도와 임계값을 비교하여 인증 성공 여부를 판단하는 단계를 포함하고,
상기 기 구축된 학습 모델은 오토인코더(autoencoder) 방식의 모델이고,
상기 입력부를 통해 입력된 데이터는 설정주기에 따라 샘플링된 각 서명 포인트의 2축 좌표값이고, 상기 가속도 데이터는 상기 설정주기에 따라 샘플링된 3축 가속도값인 것을 특징으로 하는 서명 인증 방법.
The control unit receiving the signature through the input unit;
Measuring the acceleration of the device through which the signature is authenticated through the acceleration sensor while the controller receives the signature;
Inputting the data and the measured acceleration data input through the input unit to the pre-built learning model to calculate an output value;
Calculating a non-derivation based on the output value and the value input to the learning model; And
Comparing the calculated non-default value with a threshold value to determine whether authentication is successful,
The previously constructed learning model is a model of an autoencoder system,
Wherein the data input through the input unit is a two-axis coordinate value of each signature point sampled according to a setting period, and the acceleration data is a three-axis acceleration value sampled according to the setting period.
삭제delete 제9항에 있어서,
상기 서명을 입력받는 단계 전에,
상기 제어부가 상기 입력부를 통해 서명 등록을 위한 서명을 적어도 1회 이상 입력받는 단계;
상기 제어부가 상기 서명 등록을 위한 서명을 입력받는 동안 상기 가속도센서를 통해 상기 장치의 가속도를 측정하는 단계; 및
상기 제어부가 서명 등록을 위한 데이터를 학습하여 상기 학습 모델을 구축하는 단계를 더 포함하는 것을 특징으로 하는 서명 인증 방법.10. The method of claim 9,
Before receiving the signature,
The control unit receiving a signature for sign registration at least once through the input unit;
Measuring acceleration of the apparatus through the acceleration sensor while the control unit receives a signature for sign registration; And
Further comprising the step of the control unit learning data for sign registration to construct the learning model.
KR1020160159706A 2016-11-28 2016-11-28 Apparatus and method of signature authentication KR101884090B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160159706A KR101884090B1 (en) 2016-11-28 2016-11-28 Apparatus and method of signature authentication
PCT/KR2017/013535 WO2018097651A1 (en) 2016-11-28 2017-11-24 Signature authentication device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160159706A KR101884090B1 (en) 2016-11-28 2016-11-28 Apparatus and method of signature authentication

Publications (2)

Publication Number Publication Date
KR20180061489A KR20180061489A (en) 2018-06-08
KR101884090B1 true KR101884090B1 (en) 2018-08-01

Family

ID=62196002

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160159706A KR101884090B1 (en) 2016-11-28 2016-11-28 Apparatus and method of signature authentication

Country Status (2)

Country Link
KR (1) KR101884090B1 (en)
WO (1) WO2018097651A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10546183B2 (en) 2015-08-10 2020-01-28 Yoti Holding Limited Liveness detection
GB2569794A (en) * 2017-12-21 2019-07-03 Yoti Holding Ltd Biometric user authentication
US20200167772A1 (en) 2018-11-24 2020-05-28 Walmart Apollo, Llc System and method for detecting signature forgeries
KR102225556B1 (en) * 2019-08-12 2021-03-08 연세대학교 산학협력단 User Authentication Apparatus and Method for Accepting Various Postures of User in Behavioral Authentication
KR102361950B1 (en) * 2019-12-19 2022-02-11 이향룡 System and method for detecting object data for learning and applying ai

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003271967A (en) * 2002-03-19 2003-09-26 Fujitsu Prime Software Technologies Ltd Handwritten signature authentication program, method, and device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001155161A (en) * 1999-11-30 2001-06-08 Canon Inc Device and method for authenticating signature, and storage medium with signature authentication program stored thereon
JP4070001B2 (en) * 2002-03-19 2008-04-02 日本サイバーサイン株式会社 Signature authentication system, signature authentication program
US8902978B2 (en) * 2010-05-30 2014-12-02 Lg Electronics Inc. Enhanced intra prediction mode signaling
KR102245267B1 (en) * 2013-10-08 2021-04-27 삼성전자주식회사 Signature registration method, signature authentication method and apparatus thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003271967A (en) * 2002-03-19 2003-09-26 Fujitsu Prime Software Technologies Ltd Handwritten signature authentication program, method, and device

Also Published As

Publication number Publication date
KR20180061489A (en) 2018-06-08
WO2018097651A1 (en) 2018-05-31

Similar Documents

Publication Publication Date Title
KR101884090B1 (en) Apparatus and method of signature authentication
Buriro et al. Hold and sign: A novel behavioral biometrics for smartphone user authentication
Jain et al. Exploring orientation and accelerometer sensor data for personal authentication in smartphones using touchscreen gestures
Tian et al. KinWrite: Handwriting-Based Authentication Using Kinect.
EP2874099B1 (en) Dynamic handwriting verification and handwriting-based user authentication
CN110235139A (en) Method for authenticating the finger of the user of electronic device
US10878071B2 (en) Biometric authentication anomaly detection
ITTO20101069A1 (en) AUTHENTICATION PROCEDURE FOR USERS FOR ACCESS TO AN UNSURPUTABLE MOBILE USER TERMINAL MOBILE USER TERMINAL.
Roh et al. Keystroke dynamics for authentication in smartphone
EP3595242B1 (en) Method and device for identity authentication
Ellavarason et al. Evaluation of stability of swipe gesture authentication across usage scenarios of mobile device
KR101972231B1 (en) Apparatus and method of signature authentication using deep learning
CN102411712A (en) Handwriting-based identity recognition method and terminal
Ali et al. User behaviour-based mobile authentication system
Li et al. In-air signature authentication using smartwatch motion sensors
US20210390167A1 (en) Authenticating a user subvocalizing a displayed text
Gattulli et al. Touch events and human activities for continuous authentication via smartphone
CN114428944A (en) System and method for passive biometric-based user authentication
Chaitanya et al. Verification of pattern unlock and gait behavioural authentication through a machine learning approach
JP6598014B2 (en) Authentication device
KR102194366B1 (en) Electronic device for generating verification model used to verify a user's signature
JP2022522251A (en) Handwritten signature authentication method and device based on multiple verification algorithms
Guerra-Casanova et al. A sequence alignment approach applied to a mobile authentication technique based on gestures
CN111353139A (en) Continuous authentication method and device, electronic equipment and storage medium
JP5923394B2 (en) Recognition device, recognition method, and recognition system

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20161128

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20171120

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20180518

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20171120

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

PG1501 Laying open of application
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20180518

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20180122

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20180702

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20180619

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20180518

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20180122

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180725

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180725

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210701

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20220621

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20230621

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20240624

Start annual number: 7

End annual number: 7