JP6967849B2 - ユーザ認証装置及びユーザ認証方法並びに筆記具 - Google Patents

ユーザ認証装置及びユーザ認証方法並びに筆記具 Download PDF

Info

Publication number
JP6967849B2
JP6967849B2 JP2016242975A JP2016242975A JP6967849B2 JP 6967849 B2 JP6967849 B2 JP 6967849B2 JP 2016242975 A JP2016242975 A JP 2016242975A JP 2016242975 A JP2016242975 A JP 2016242975A JP 6967849 B2 JP6967849 B2 JP 6967849B2
Authority
JP
Japan
Prior art keywords
user
authentication device
processor
signature
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016242975A
Other languages
English (en)
Other versions
JP2017113542A (ja
Inventor
尚 駿 金
昌 淳 朴
宗 旭 李
丞 哲 鄭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2017113542A publication Critical patent/JP2017113542A/ja
Application granted granted Critical
Publication of JP6967849B2 publication Critical patent/JP6967849B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/316User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30Writer recognition; Reading and verifying signatures
    • G06V40/37Writer recognition; Reading and verifying signatures based only on signature signals such as velocity or pressure, e.g. dynamic signature recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • H04W12/065Continuous authentication
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247Pressure sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Social Psychology (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、ユーザ認証装置及び方法並びに筆記具に関する。
生体情報認証技術は、様々な種類の生体情報を認識してユーザを認証する。例えば、出入り規制装置及びスマートフォンなどでユーザの身元を確認するために人体の生体情報が用いられる。このような生体情報として、例えば、指紋、静脈のパターン、顔、紅彩などがある。
これらの生体情報を認証する方法として大きく接触方式及び非接触方式が挙げられる。接触方式では指紋認証及び静脈のパターン認証などがあり、非接触方式では顔認証及び紅彩認証などがある。
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、ユーザ認証装置及び方法並びに筆記具を提供することにある。
上記目的を達成するためになされた本発明の一態様によるユーザ認証装置は、前記ユーザ認証装置の胴体部のモーションに関するモーション情報を受信するモーションセンサと、前記ユーザ認証装置のユーザに関する生体情報を受信する生体センサと、前記モーション情報に基づいて前記ユーザの署名を識別し、前記識別された署名及び前記生体情報に基づいて前記ユーザを認証するプロセッサと、を備える。
前記プロセッサは、前記生体センサによって検出された生体情報が前記生体センサから受信された場合、前記生体情報に基づいて前記ユーザの身元を識別し、前記識別された署名及び前記識別された身元に基づいて前記ユーザを認証し得る。
前記モーションセンサは、前記ユーザによる筆記行為の開始を検出して前記筆記行為によるモーションに関するモーション情報を収集し得る。
前記モーションセンサは、前記ユーザの筆記行為に応答して前記胴体部に対して生成された加速度信号及び筆圧信号のうちの少なくとも1つを受信し、前記プロセッサは、前記加速度信号及び前記筆圧信号のうちの少なくとも1つに基づいて前記胴体部のモーションを追跡し、前記追跡されたモーションに基づいて前記ユーザの署名を推定し得る。
前記ユーザ認証装置は、前記胴体部を把持する力を検出する力センサを更に含み、前記プロセッサは、前記モーションを追跡する間に、前記加速度信号、前記筆圧信号、及び前記胴体部を把持する力のうちの少なくとも1つに基づいて前記ユーザの筆体を検出し得る。
前記プロセッサは、前記胴体部を把持する前記ユーザによって適用される力、筆圧、及び指紋イメージのうちの少なくとも1つに基づいて筆記姿勢を推定し、前記筆記姿勢に更に基づいて前記ユーザを認証し得る。
前記生体センサは、前記ユーザから生体信号波形を検出し、前記プロセッサは、前記生体信号波形から筆記に関する動きアーチファクトを検出し、前記検出された動きアーチファクトに更に基づいて前記ユーザを認証し得る。
前記生体センサは、前記ユーザから指紋イメージを受信し、前記プロセッサは、前記指紋イメージから指紋イメージの歪み情報を抽出し、前記抽出された歪み情報に更に基づいて前記ユーザを認証し得る。
前記生体センサは、心電図信号及び光脈波信号のうちの少なくとも1つを含む生体信号波形を検出し、前記プロセッサは、前記検出された生体信号波形に基づいて前記ユーザの身元を識別し、前記識別された署名及び前記識別された身元に基づいて前記ユーザを認証し得る。
前記生体センサは、外部生体センサと前記胴体部との間の接触が検出された場合に心電図信号を測定し、前記プロセッサは、前記外部生体センサ及び前記生体センサから測定された前記心電図信号に基づいて前記ユーザの身元を識別し、前記識別された署名及び前記識別された身元に基づいて前記ユーザを認証し得る。
前記生体センサは、前記ユーザから指紋イメージを受信し、前記プロセッサは、前記指紋イメージの受信が検出された場合、前記受信された指紋イメージ及び前記ユーザの署名を用いて前記ユーザを認証し得る。
前記ユーザ認証装置は、外部認証機器と通信する通信部を更に含み、前記プロセッサは、前記外部認証機器が使用可能な場合、前記通信部を介して前記外部認証機器から前記ユーザの身体部位及び音声のうちの少なくとも1つに関する識別情報を受信し、前記受信された識別情報及び前記識別された署名に基づいて前記ユーザを認証し得る。
前記ユーザ認証装置は、外部認証機器から顔イメージ及び音声データのうちの少なくとも1つを受信する通信部を更に含み、前記プロセッサは、前記顔イメージ及び前記音声データのうちの少なくとも1つに更に基づいて前記ユーザを認証し得る。
前記プロセッサは、前記ユーザの署名に基づく識別結果、前記生体情報に基づく識別結果、及び外部認証機器による識別結果のうちの少なくとも1つに加重値を適用し、前記加重値が適用された少なくとも1つの識別結果に基づいて前記ユーザを認証し得る。
前記プロセッサは、前記ユーザの署名、前記生体情報、及び前記外部認証機器から受信された信号のそれぞれの正確度に基づいて、それぞれの識別結果に対する前記加重値を決定し得る。
上記目的を達成するためになされた本発明の一態様によるユーザ認証装置のユーザ認証方法は、前記ユーザ認証装置の胴体部のモーションに関するモーション情報を受信するステップと、前記ユーザ認証装置のユーザに関する生体情報を受信するステップと、前記モーション情報に基づいて前記ユーザの署名を識別し、前記識別された署名及び前記生体情報に基づいて前記ユーザを認証するステップと、を有する。
上記目的を達成するためになされた本発明の他の態様によるユーザ認証装置は、前記ユーザ認証装置のモーションを追跡するモーションセンサと、前記モーションを追跡する間に筆記特徴を検出し、前記追跡されたモーションに基づいて前記ユーザ認証装置のユーザの署名を識別し、前記識別された署名及び前記検出された筆記特徴に基づいて前記ユーザを認証するプロセッサと、を備える。
前記プロセッサは、前記ユーザ認証装置の加速度、筆圧、前記ユーザ認証装置を把持する前記ユーザによって適用される力、及び前記ユーザの生体情報のうちの少なくとも1つに基づいて前記筆記特徴を検出し得る。
前記プロセッサは、前記モーションをリアルタイムに追跡しながら前記ユーザの署名の少なくとも一部を推定し、前記ユーザの署名の少なくとも一部とデータベースに格納された登録署名の対応する部分とを比較して前記ユーザを認証し得る。
上記目的を達成するためになされた本発明の一態様による筆記具は、前記筆記具を用いてユーザが筆記動作を行う間に前記筆記具の胴体部のモーションに関するモーションデータを受信するモーションセンサと、前記筆記動作に応答して生成された筆圧信号を検出する圧力センサと、前記モーションデータ及び前記筆圧信号に基づいて前記ユーザの署名を識別し、前記識別された署名に基づいて前記ユーザを認証するプロセッサと、を備える。
前記筆圧信号の検出は、予め設定された筆圧が検出される検出地点を含み得る。
前記プロセッサは、前記予め設定された筆圧が適用される地点の検出に基づいて、前記識別された署名の形態と類似の形態を有する更なる署名から前記識別された署名を区別し得る。
前記プロセッサは、生体センサから受信された生体データに基づいて前記ユーザを識別し得る。
本発明のユーザ認証装置によれば、ペン形態の胴体部を用いて十分に小さいフォームファクターを有しながらも、ユーザが署名することで、署名方式の認証により直観的なユーザ体験を提供することができ、ユーザ認証装置を把持しながら発生する身体接触に基づいて追加的な生体認証方式を適用することによって、より高いセキュリティー等級を達成することができる。また、個別ユーザ毎に示される固有の筆記特徴を用いて署名の特徴点抽出性能を向上させ、生体識別によりセキュリティー性能を向上させることができる。更に、無線通信機能を用いて周辺の外部認証機器と連動させることにより追加的な識別を行い、セキュリティーレベル及び認証の正確度を向上させることができる。
一実施形態によるユーザ認証装置の概要を説明するための図である。 一実施形態によるユーザ認証装置の概略的な構成を説明するための図である。 一実施形態によるユーザ認証装置の構成を示すブロック図である。 一実施形態によるユーザ認証装置の構成を示すブロック図である。 一実施形態によるユーザ認証装置の構成を示すブロック図である。 一実施形態によるユーザ認証方法を示すフローチャートである。 一実施形態によるユーザ認証方法を示すフローチャートである。 一実施形態によるユーザ認証装置でモーション情報などを用いる一例を示す図である。 一実施形態によるユーザ認証装置で生体情報を用いる一例を示す図である。 一実施形態によるユーザ認証装置で生体情報を測定する一例を示す図である。 一実施形態によるユーザ認証装置で生体情報を測定する一例を示す図である。 一実施形態によるユーザ認証装置で外部認証機器を用いる一例を示す図である。 一実施形態によるユーザ認証装置で署名を認証する一例を示す図である。
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。しかし、本発明の権利範囲はこのような実施形態によって制限されたり限定されたりすることはない。各図面に提示した同一の参照符号は同一の部材を示す。
以下の説明で用いる用語は、関連する技術分野で一般的且つ普遍的なものにより選択したが、技術の発達及び/又は変化、慣例、技術者の選好などに応じて他の用語が存在し得る。従って、下記の説明で用いる用語は技術的な思想を限定するものではなく、本実施形態を説明するための例示的な用語として理解されなければならない。
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品、又はこれらを組合せたものが存在することを示すものであって、1つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれらを組合せたものなどの存在又は付加の可能性を予め排除しない。
異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
以下、本発明の実施形態を図面を参照しながら詳細に説明する。図面を参照して説明する際に、図面符号に関係なく同一の構成要素には同一の参照符号を付与し、これに対する重複説明を省略する。本実施形態の説明において関連する公知技術に対する具体的な説明が本実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明を省略する。
図1は、一実施形態によるユーザ認証装置の概要を説明するための図である。
本実施形態によるユーザ認証装置110は、ユーザの筆記行為による署名105を認証する。例えば、ユーザ認証装置110は、筆記行為による署名105を識別し、識別された署名105に基づいてユーザを認証する。
本明細書において、識別は、収集されたデータ及び入力されたデータに基づいて所定の類型の情報を抽出する動作を示す。認証は、入力されたデータから抽出された情報が登録された情報に対応するか否かを判断する動作を示す。例えば、ユーザ認証装置110は、筆記行為により収集されたデータ(例えば、加速度信号及び筆圧信号など)から署名105を抽出することによって署名105を識別する。また、ユーザ認証装置110は、識別された署名105がデータベースに登録されているか(例えば、データベースに登録された署名のうちから閾値以上の類似度を有する署名が存在するか否か)を判断することによって署名105に基づいてユーザを認証する。例えば、ユーザ認証装置110は、署名105が登録されたものと判断された場合、ユーザが登録されたユーザであると判断することでユーザを認証する。また、ユーザ認証装置110は、署名105だけではなく生体情報を識別してユーザを認証する。
筆記行為は、ユーザが物体を用いて特定内容を作成するユーザ行為として、例えばユーザが文字、文章、及び絵などを作成する行為を示す。例えば、ユーザは、一部の身体部位(例えば、手101)を用いてユーザ認証装置110の胴体部111を把持し、把持された胴体部111の一端(例えば、ペン先に対応する部分)が任意の文字又は絵に対応する軌跡を形成するように胴体部111を操作する。一端は、例えば筆記終端(writing end)のように示される。一実施形態によると、ユーザ認証装置110は、胴体部111の一端が面(例えば、地面、紙109、タッチスクリーン、任意のオブジェクトの表面、曲面、及び平面など)に接する間に形成される軌跡を追跡することで、ユーザの筆記行為を検出する。但し、胴体部111の一端のタッチ入力を受信するための平面、領域、又は空間は上述した例示に限定されることはない。ユーザ認証装置110は、設計に応じて任意の面から所定の距離内で胴体部111の一端が形成する軌跡を追跡するか、又は任意の空間内で胴体部111の一端が形成する軌跡を追跡する。更に、追跡される軌跡を2次元の形態に限定するものではなく3次元の形態であってもよい。また、軌跡は、連続的な単一軌跡であるが、必ずしもこれに限定されるものではなく、複数の不連続的な軌跡の集合であってもよい。
署名105は、個人の身元を示す表示として、例えばユーザの筆記行為によって作成される文字、文章、及び絵のうちの1つ、又は文字、文章、及び絵のうちの少なくとも2以上の組合せにより指定される。一実施形態によると、署名105はユーザの固有の身元を認証するために用いられる。
図1は、ユーザによってユーザ認証装置110の胴体部111の一端が紙109上に形成した軌跡が署名105を形成する例を示す。例えば、ユーザ認証装置110は、筆記行為により胴体部111の一端が形成した軌跡から署名105を識別する。署名105の識別については、下記の図8を参照して詳細に説明する。
図2は、一実施形態によるユーザ認証装置の概略的な構成を説明するための図である。
ユーザ認証装置200の胴体部290には様々なセンサが装着される。例えば、図2では、筆圧センサ(pen pressure sensor又はwriting pressure sensor)211、モーションセンサ212、力センサ213、及び生体センサ220などが胴体部290に内蔵される。
ユーザ認証装置200の胴体部290は、ユーザが任意の内容を筆記するための形態で構成される。例えば、物体は、図2に示すように、ペン、鉛筆、スタイラスペン、筆などのようにユーザが把持できる様々な筆記具又はドローイング具の形態を有する。把持される形態は、ユーザが手を用いて把持される長い形状(例えば、箸など)を含む。ユーザ認証装置200の胴体部290の一端は尖った形状で構成され、ユーザは胴体部290の尖った一端を平坦な表面のような面と接触させて筆記行為を行う。
筆圧センサ211は、ユーザが胴体部290によって筆記中に発生する筆圧を検出する。筆圧は、筆記行為の間にユーザによって胴体部290を用いて面に対して加えられる圧力を示す。筆圧センサ211は、胴体部290の一端に位置し、胴体部290の一端が面に加わる圧力を測定することにより筆圧を検出する。
モーションセンサ212は、ユーザが胴体部290を用いて筆記中に発生する胴体部290のモーションを検出する。胴体部290のモーションは、胴体部290の位置移動及び胴体部290の姿勢変更(例えば、面に対して胴体部290の中心線が形成する傾き変更)などを含む。例えば、図2に示すように、モーションセンサ212は加速度センサであり、胴体部290で面と接点を形成する一端と区別される他の一端(例えば、ペンの後部分)に装着されて加速度を測定する。本明細書において、胴体部290の姿勢は面に対する胴体部290の傾きなどを示し、例えば面に対する胴体部290の中心線の傾きである。胴体部290の中心線は、胴体部290の錘の重心を貫通する直線を示す。
力センサ213は、ユーザが胴体部290を用いて筆記中に胴体部290を把持する力を検出する。例えば、力センサ213は、ユーザの身体部位が胴体部290の少なくとも一部に加わる力を検出する。図2に示すように、力センサ213は、ユーザが胴体部290を把持する際に、当該ユーザの身体部位(例えば、指など)が胴体部290に接触する部分に位置する。
生体センサ220はユーザの生体情報を測定する。生体情報は、心電図(ECG:electrocardiogram)信号、光脈波(PPG:Photo PlethysmoGraph)信号、指紋イメージ、顔イメージ、及び音声信号などの様々な生体的な特徴を示す情報を含む。
図2は、ユーザ認証装置の例示的な構成であり、下記の図3〜図5を参照してユーザ認証装置の様々な構成を説明する。
図3〜図5は、一実施形態によるユーザ認証装置の構成を示すブロック図である。
ユーザ認証装置300、300A、300Bは、図3に示すように、モーションセンサ310、生体センサ320、及びプロセッサ330を含む。
モーションセンサ310は、ユーザ認証装置300の胴体部のモーションに関するモーション情報を受信する。モーションセンサ310は、加速度センサ及び筆圧センサなどを含む。モーション情報は、胴体部のモーションに関する情報として、加速度信号及び筆圧信号などを含む。加速度信号はn次元方向(ここで、nは2以上の整数)に対する加速度を示し、筆圧信号は胴体部が面に対して加わる筆圧を示す。
本実施形態によるユーザ認証装置300は、内蔵されたモーションセンサ310を用いて、筆記が完了した完成された署名のみならず筆記中の署名の一部に対しても筆記過程の筆圧と胴体部のモーションなどを用いて動的に署名を認証する。
生体センサ320はユーザに関する生体情報を受信する。生体情報は、ユーザの生体に関する情報として、生体的な特徴を示す信号波形及びユーザの身体部位に関する情報などを示す。例えば、生体情報は、上述したように、心電図信号、光脈波信号、指紋イメージ、顔イメージ、及び音声信号などを含む。
本実施形態によると、ユーザがユーザ認証装置300を用いて署名を実行又は署名動作を実行(以下、署名)する場合に胴体部が必須的に把持され、ユーザ認証装置300は把持される間に生体識別を行う。例えば、ユーザ認証装置300は、生体センサ320によって受信される指で発生する光脈波信号を用いた脈波識別、指先の指紋を用いた指紋識別などを把持中に行う。
プロセッサ330は、モーション情報に基づいてユーザの署名を識別し、識別された署名及び生体情報に基づいてユーザを認証する。例えば、プロセッサ330は、識別された署名及び生体情報に基づいてユーザが登録されたユーザであるか否かを判断する。
また、ユーザ認証装置300Aは、ユーザ認証装置300に類似するが、図4に示すように通信部440を更に含む。
通信部440は外部認証機器と通信する。例えば、通信部440は、外部認証機器と通信を試みて外部認証機器が使用可能であるか否かを判断し、外部認証機器で収集された生体情報及び外部認証機器における識別情報などを受信する。一実施形態によると、外部認証機器はユーザ認証装置300と独立した認証装置であって、ユーザの身体部位及び音声のうちの少なくとも1つに関するデータ(例えば、顔イメージ及び音声データなど)を取得し、取得されたデータに基づいてユーザの身元を識別した結果である識別情報を生成する。
更に、ユーザ認証装置300Bは、ユーザ認証装置300Aに類似するが、図5に示すようにメモリ550を更に含む。
メモリ550は、ユーザ認証の過程で用いられる様々なデータを格納する。例えば、メモリ550は、ユーザ認証のためのデータを永久的又は一時的に格納する。メモリ550は、ユーザ認証のためのデータを、登録されたユーザに対応するデータベースに格納する。例えば、登録されたユーザに対応するデータベースは、登録されたユーザの登録署名及び登録生体情報などを含む。但し、これに限定されることなく、データベースは登録署名に関する情報として、登録された署名の筆記特徴(例えば、登録署名の筆体など)、登録生体情報に関する情報として登録生体情報の生体特徴(例えば、指紋イメージの場合、マニューシャ(minutiae))などを更に含む。一実施形態によると、メモリ550は、ユーザ認証方法を実行させるためのコンピュータプログラムを格納する。
本実施形態によるユーザ認証装置300、300A、300Bは、ペン形態の胴体部を用いて十分に小さいフォームファクター(form factor)を有しながらも、署名方式の認証を用いて直観的なユーザ体験(UX:user experience)を提供することができる。また、ユーザ認証装置300、300A、300Bを把持しながら発生する身体接触に基づいて追加的な生体認証方式を適用することによって、より高いセキュリティー等級を達成することができる。
また、ユーザ認証装置300、300A、300Bは、個別ユーザ毎に示される固有の筆記特徴を用いて署名の特徴点抽出性能を向上させ、生体識別によりセキュリティー性能を向上させることができる。また、ユーザ認証装置300、300A、300Bは、無線通信機能を用いて周辺の外部認証機器との連動により追加的な識別を行うことができる。ユーザが直観的に署名することで、ユーザ認証装置は上述したように様々な識別方式を複合的に用いてセキュリティーレベル及び認証の正確度を確保することができる。
図6及び図7は、一実施形態によるユーザ認証方法を示すフローチャートである。
図6は、ユーザ認証方法の概略的なフローチャートを示す。
先ず、ステップS610において、ユーザ認証装置のモーションセンサがユーザ認証装置の胴体部のモーションに関するモーション情報を受信する。例えば、モーションセンサは、上述したように加速度信号及び筆圧信号などを測定する。
そして、ステップS620において、ユーザ認証装置の生体センサがユーザに関する生体情報を受信する。例えば、上述したように、生体センサは、ユーザの生体に関する信号波形(例えば、心電図信号及び光脈波信号など)を測定し、またユーザの身体部位(例えば指紋、顔、及び紅彩など)を撮影したイメージなどを取得する。
次に、ステップS630において、ユーザ認証装置のプロセッサがモーション情報に基づいてユーザの署名を識別し、識別された署名及び生体情報に基づいてユーザを認証する。例えば、プロセッサは、上述したようにユーザの署名及び生体情報がデータベースに登録された登録署名及び登録生体情報と一致するか否か(又は類似するか)を判断することで、ユーザが登録されたユーザである否かを認証する。
図7は、ユーザ認証方法のより具体的なフローチャートを示す。
先ず、ステップS710において、ユーザ認証装置のプロセッサは、筆記行為が開始されたか否かを判断する。プロセッサは、筆記行為の開始が検出されない場合、待機状態を保持し、筆記行為の開始が検出された場合、次のステップS720の動作を行う。例えば、ユーザ認証装置のプロセッサは、筆圧センサで筆圧信号が発生した場合、筆記行為が開始されたと判断する。他の例として、ユーザ認証装置が音響センサ(例えば、マイクなど)を含む場合、音響センサで胴体部と面との間の摩擦音が検出された場合、プロセッサは筆記行為が開始されたと判断する。
そして、ステップS720において、ユーザ認証装置のプロセッサはユーザの署名を識別する。例えば、モーションセンサがユーザによる筆記行為の開始を検出して筆記行為によるモーションに関するモーション情報を収集し、プロセッサは収集されたモーション情報に基づいてユーザの署名を識別する。
次に、ステップS730において、ユーザ認証装置のプロセッサは、生体情報が検出されたか否かを判断する。例えば、プロセッサは、生体センサで生体情報が受信されたか否かを判断する。図7に示す実施形態では、生体情報が検出されない場合、プロセッサは以降のステップS770、ステップS780で署名のみを用いてユーザを認証する。但し、これに限定されることなく、他の実施形態によると、生体情報が検出されなくても外部認証機器が使用可能である場合、プロセッサはステップS730の後にステップS750の動作を行うこともできる。
そして、ステップS740において、プロセッサは、ステップS730で生体センサから受信された生体情報が検出された場合、生体情報に基づいてユーザの身元を識別する。その後、例えば、ステップS750において、外部認証機器が使用不可能である場合、プロセッサはステップS770、ステップS780で識別された署名及び生体情報に基づいて識別された身元に基づいてユーザを認証する。
次に、ステップS750において、プロセッサは、外部認証機器が使用可能であるか否かを判断する。例えば、プロセッサは、通信部を介して外部認証機器から使用可能か否かに関する情報を受信する。プロセッサは、外部認証機器が使用可能な場合、ステップS760の動作を実行し、外部認証機器が使用不可能な場合、ユーザの署名及び生体情報に基づいて以降のステップS770、ステップS780を通してユーザを認証する。
そして、ステップS760において、ユーザ認証装置のプロセッサは、外部認証機器を用いて身元を識別する。例えば、プロセッサは、外部認証機器が使用可能な場合、通信部を介して外部認証機器からユーザの身体部位及び音声のうちの少なくとも1つに関する識別情報を受信する。この場合、プロセッサは、以降のステップS770、780で受信された識別情報及び識別された署名に基づいてユーザを認証する。例えば、識別情報は、外部認証機器の識別に関する情報として、外部認証機器によって識別されたユーザの身元、当該識別の類似度(例えば、外部認証機器が収集した情報と登録された情報との間の類似度)などの情報を含む。
他の例として、通信部が外部認証機器から顔イメージ及び音声データのうちの少なくとも1つを受信し、プロセッサは、顔イメージ及び音声データのうちの少なくとも1つに基づいてユーザの身元を識別する。その後、プロセッサは、以降のステップS770、780で顔イメージ及び音声データのうちの少なくとも1つに更に基づいてユーザを認証する。
次に、ステップS770において、プロセッサは各識別結果に加重値を適用する。例えば、プロセッサは、ユーザの署名に基づく識別結果、生体情報に基づく識別結果、及び外部認証機器による識別結果のうちの少なくとも1つに加重値を適用する。各識別結果は、収集されたユーザの署名及び生体情報などに対してデータベースで類似度の最も高い登録署名及び登録生体情報に対応する登録ユーザ及び当該登録ユーザに対する類似度などを含む。類似度は、収集された情報(例えば、ユーザの署名、生体情報など)と登録された情報(例えば、登録署名及び登録生体情報)との間の類似の程度として、例えば「0」に近いほど類似しないものを示し、「1」に近いほど類似するものを示す類似確率のように表現する。
一実施形態によると、プロセッサは、ユーザの署名、生体情報、及び外部認証機器から受信された信号のそれぞれの正確度に基づいて、それぞれの識別結果に対する加重値を決定する。例えば、特定識別結果の正確度が高いほどプロセッサは当該識別結果に対して高い加重値を付与し、反対に、正確度が低いほどプロセッサは当該識別結果に対して低い加重値を付与する。
例えば、プロセッサは、モーション情報に基づいて識別された署名において、収集されたモーション情報に基づいて推定された筆記のうち、ユーザの署名に対応する部分の筆記とユーザの署名に対応しない部分の筆記との比率に基づいて正確度を決定する。他の例として、プロセッサは、生体情報及び外部認証機器から受信された信号のそれぞれの正確度を信号のSNR(signal to noise ratio)に基づいて決定することもできる。
そして、ステップS780において、プロセッサは、加重値が適用された結果に基づいてユーザを認証する。例えば、プロセッサは、加重値が適用された少なくとも1つの識別過程に基づいてユーザを認証する。プロセッサは、個別識別の過程で識別信頼度(例えば、信号対雑音比(SNR))により加重値を決定し、決定された加重値に基づいて最終複合識別レベル値を抽出する。プロセッサは、最終複合識別レベル値を決定された閾値信頼度と比較した結果に基づいて、認証が成功したか否を判断する。
Figure 0006967849
上述した数式(1)において、xは個別識別の過程に対応する個別識別レベル値を示し、aは個別識別の過程でSNRなどに基づく個別識別信頼度を示す。x及びaは0〜1の間の値に正規化される。最終複合識別レベル値Xは、x、aによる上述した数式(1)のように導き出される。ベクトルxは、個別識別レベル値の集合を示すベクトルであり、ベクトルaが個別識別信頼度の集合を示すベクトルである場合、上記の数式(1)はベクトルxとベクトルaとの間の内積値を示すものとして定義される。
Figure 0006967849
プロセッサは、数式(1)で算出された最終複合識別レベル値を、上述した数式(2)のように決定された閾値信頼度と比較して最終認証が成功したか否かを判断する。例えば、プロセッサは、最終複合識別レベル値Xが閾値信頼度XTHよりも大きい場合、最終的に認証が成功したと判断する。
図8は、一実施形態によるユーザ認証装置でモーション情報などを用いる一例を示す図である。
ユーザ認証装置800は、上述したように、胴体部890にモーションセンサ、力センサ、及び筆圧センサなどを内蔵する。例えば、図8に示すように、ユーザ認証装置800は、胴体部890で一端891に筆圧センサが位置して筆圧信号802を受信し、一端と反対になる他の一端にモーションセンサが位置して加速度信号801を受信する。また、ユーザ認証装置800は、胴体部890でユーザの身体部位(例えば、手)が接触する部分に力センサが位置して、胴体部890を把持する力803を測定する。
図8において、ユーザ認証装置800により測定される加速度信号801は、3軸のように示しているが、これに限定されることなく、設計によって様々な個数の軸による加速度であり得る。筆圧信号802は、図8では一方向に対する筆圧の大きさのように図示したが、これに限定されることなく、様々な方向に対する筆圧を測定することができる。把持する力803も一軸による双方向の力を測定するものとして図示したが、これに限定されることなく、様々な方向で胴体部890に加えられる力であり得る。
本実施形態によると、モーションセンサがユーザの筆記行為により胴体部890に対して発生する加速度信号801及び筆圧信号802のうちの少なくとも1つを受信し、プロセッサが、加速度信号801及び筆圧信号802のうちの少なくとも1つに基づいて胴体部890のモーションを追跡し、追跡されたモーションに基づいてユーザの署名を推定する。
例えば、加速度センサを用いて署名を推定する場合、プロセッサは、物体の加速度と物体の移動距離との間の物理的な関係に基づいて容易に署名を再構成し得る。移動距離が2回微分された値は物体の加速度に対応し、逆にプロセッサは加速度を2回積分して相対的な移動距離を推定する。プロセッサは、推定された移動距離に基づいて時間により署名を推定することで、ユーザの署名の形を再構成する。
Figure 0006967849
例えば、プロセッサは、上述した数式(3)のように加速度aを2回積分することによって、筆記時のペン先又は加速度センサの付着された物体の部位の相対的な移動距離Sを推定して署名を抽出する。加速度aは、加速度信号801に基づいて決定される。
また、ユーザ認証装置800のプロセッサは、モーションを追跡する間に、加速度信号801、筆圧信号802、及び胴体部890を把持する力803のうちの少なくとも1つに基づいてユーザの筆体を検出する。
一実施形態によると、プロセッサは、筆圧信号802を用いてユーザの筆体に関する特徴点を精巧に抽出する。例えば、同一であるか又は類似形態の署名であっても、当該署名を作成するユーザにより筆記時よりも大きい筆圧を加える地点(point)が異なることもあり、プロセッサは特定筆圧が発生する地点を把握することで筆体に基づく精巧な署名識別を行うことができる。例えば、ユーザA及びユーザBがそれぞれ同じ「Samsung」という署名を作成すると仮定すると、ユーザAの署名及びユーザBの署名のそれぞれの最終的な形態そのものは互いに類似することがある。但し、ユーザAは「S」を作成する時よりも大きい力を加える一方、ユーザBは「g」を作成する時よりも大きい力を加えると仮定すると、このような力の差を筆圧抽出することでプロセッサは署名の区分が可能であり、プロセッサは2つのユーザAとユーザBとの間の署名の差を区別することができる。
また、プロセッサは、胴体部890を把持する力803、筆圧信号802、及び指紋イメージのうちの少なくとも1つに基づいて筆記姿勢を推定し、筆記姿勢に更に基づいてユーザを認証する。例えば、個別ユーザにより筆記姿勢(例えば、胴体部の姿勢として、胴体部の傾き及び胴体部を把持する指の形態など)が変わることから、プロセッサは、把持する力及び筆圧信号などから抽出されたユーザが署名するときに胴体部を把持する力の大きさ、特定文字を作成するときの筆圧の大きさ、及び署名する間の把持する力の大きさの変化パターンなどを筆記特徴として、ユーザの認証のために用いる。指紋イメージに基づく筆記姿勢の推定は下記の図9を参照して説明する。
図9は、一実施形態によるユーザ認証装置で生体情報を用いる一例を示す図である。
ユーザ認証装置900は、上述したように、ユーザから生体情報を受信する生体センサ920を内蔵する。
本実施形態によると、生体センサ920は生体信号波形を検出する。例えば、生体信号波形は心電図信号及び光脈波信号などを含む。この場合、プロセッサは、検出された生体信号波形に基づいてユーザの身元を識別し、識別された署名及び識別された身元に基づいてユーザを認証する。他の例として、生体センサ920がユーザから指紋イメージを受信し、プロセッサは、指紋イメージの受信が検出された場合、受信された指紋イメージ及びユーザの署名を用いてユーザを認証する。
他の実施形態によると、プロセッサは上述したように生体信号波形そのものを用いてユーザを認証しながら、更に生体信号波形に含まれる付加的な情報を用いてユーザを認証する。例えば、プロセッサは、生体信号波形から筆記に関する動きアーチファクトを検出し、検出された動きアーチファクトに更に基づいてユーザを認証する。個別ユーザ毎に筆記する間の生体信号波形で発生する動きアーチファクトが固有な特徴を示すことから、プロセッサは、動きアーチファクトの時間による変化パターン及び周波数特性などを筆記特徴として、ユーザ認証のために用いることができる。
例えば、図9に示すように、生体センサ920は、生体情報としてユーザから指紋イメージを受信する。この場合、プロセッサは、指紋イメージから指紋イメージの歪み情報を抽出し、抽出された歪み情報に更に基づいてユーザを認証する。例えば、個別ユーザが胴体部990を把持する方式により、生体センサ920に入力される指紋の位置、角度、大きさなどが変わり、そのために指紋イメージで歪みが発生する。個別ユーザの把持方式によって、ユーザ毎に受信される指紋イメージが固有な歪み情報を示し、ユーザ認証装置900は、指紋イメージの歪み情報をユーザ認証のために用いる。例えば、図9に示すように、任意の角度に歪曲して歪み情報が含まれた入力指紋イメージ921を生体センサ920が受信し、プロセッサはこれをメモリ950に格納された登録指紋イメージ951と比較して歪み情報を抽出する。歪み情報は、登録指紋イメージ951と比較して入力指紋イメージ921に示される位置差、周波数差、位相差、及び大きさ差などを含む。
図10及び図11は、一実施形態によるユーザ認証装置で生体情報を測定する一例を示す図である。
一実施形態によると、図10及び図11に示すように、生体センサは心電図信号を受信する。
心電図信号を測定するためには、ユーザの身体で心臓を横切る電気的な経路が形成されなければならず、例えば、図10に示すようにユーザ認証装置1000の生体センサは胴体部1090に第1心電図センサ1021及び第2心電図センサ1022で構成され、ユーザ認証装置1000は、第1心電図センサ1021及び第2心電図センサ1022によってユーザの両手1009のそれぞれから心電図信号を測定する。心電図信号を測定するために両手が必要であり、ユーザ認証装置1000にユーザの両手が接触する必要がある。例えば、ユーザが署名する前又は署名した後にユーザが両手をユーザ認証装置1000に接触させると、ユーザ認証装置1000は、別途の追加装置がなくてもユーザから心電図信号を識別することができる。
他の例として、図11に示すように、ユーザ認証装置1100の生体センサは第1心電図センサ1121を含み、外部認証機器1150が外部生体センサ1122として第2心電図センサ1122を含む。外部生体センサ1122のタッチディスプレイ1160とユーザ認証装置1100の胴体部1190との間の電気的接触が形成され、ユーザの両手1109のそれぞれが外部生体センサ1122及びユーザ認証装置1100の胴体部1190に接触すると、ユーザの心臓を横切る電気的経路が形成される。ユーザ認証装置1100の生体センサ(例えば、第1心電図センサ1121)は、外部生体センサ1122と胴体部1190との間の接触が検出された場合、心電図信号を測定する。プロセッサは、外部生体センサ1122及び第1生体センサ1121から測定された心電図信号に基づいてユーザの身元を識別し、識別された署名及び識別された身元に基づいてユーザを認証する。
システムの実施形態は、ユーザ認証装置1100及び外部認証機器1150の両方を含む。例えば、ユーザ認証装置1100のプロセッサは、外部認証機器1150と通信して外部認証機器1150の付加的な機能及びキャパシティーを用いるようにユーザを認証する。より詳細に、ユーザは受信された識別情報(例えば、識別された署名及び検証された身元)に基づいて外部認証機器1150を用いるように認証される。
図12は、一実施形態によるユーザ認証装置で外部認証機器を用いる一例を示す図である。
ユーザ認証装置1200は、内蔵された通信部を介して外部認証機器1280(例えば、スマートフォンやタブレットPCなど)に内蔵された識別ソリューションを連動させる。例えば、外部認証機器1280で認証が要求された場合(例えば、スマートフォンで認証が必要なアプリケーションなどを実行する場合)、ユーザ認証装置1200は署名識別1210及び様々な生体識別を行う。ここで、外部認証機器1280は、内蔵された前面カメラを用いてユーザの顔識別1282及び内装マイクを用いて音声識別1281を行う。
例えば、ユーザがユーザ認証装置1200の胴体部1290を用いて筆記する間、ユーザ認証装置1200は、署名識別1210、光脈波識別1223、心電図識別1222、及び指紋識別1221を実行し、外部認証機器1280は顔識別1282及び音声識別1281を実行し、ユーザ認証装置1200は各識別の結果を組合せて高いレベルのセキュリティーレベルを有する認証ソリューションを提供する。ここで、ユーザ認証装置1200は、それぞれの識別を複合的に活用しながら、各識別の結果に対して状況に加重値を付与する。
システムの実施形態は、ユーザ認証装置1200及び外部認証機器1280の両方を含む。例えば、ユーザ認証装置1200のプロセッサは、外部認証機器1280と通信してユーザが外部認証機器1280の付加的な機能及びキャパシティーなどを用いるように認証する。より詳細に、ユーザは受信された識別情報(例えば、識別された署名及び生体身元)によるユーザの識別結果に基づいて外部認証機器1280を用いるように認証される。
一実施形態によると、ユーザ認証装置1200は、ユーザ認証装置自体に内蔵された署名識別及び各種生体識別と共に、追加的に周辺の外部認証機器1280との連動により収集されたデータに基づいて追加的な識別を行い、追加的な識別結果を受信することにより、セキュリティーレベル及び認証の正確度を向上させることができる。
図13は、一実施形態によるユーザ認証装置で署名を認証する一例を示す図である。
本実施形態によると、ユーザ認証装置1390のモーションセンサがユーザ認証装置1390のモーションを追跡し、ユーザ認証装置1390のプロセッサは、モーションを追跡する間に筆記特徴を検出して追跡されたモーションに基づいてユーザの署名を識別し、識別された署名及び検出された筆記特徴に基づいてユーザを認証する。
例えば、プロセッサは、ユーザ認証装置1390の加速度、筆圧、ユーザ認証装置1390を把持する力、及びユーザの生体情報のうちの少なくとも1つに基づいて筆記特徴を検出する。プロセッサは、モーションをリアルタイムに追跡しながらユーザの署名の少なくとも一部1301を推定し、ユーザの署名の少なくとも一部とメモリ1350のデータベースに格納された登録署名1351の対応する部分とを比較してユーザ認証を行う。
一実施形態による筆記具は、筆記具を用いてユーザが筆記動作を行う間に筆記具の胴体部のモーションに関するモーションデータを受信するモーションセンサと、筆記動作に応答して生成された筆圧信号を検出する圧力センサと、モーションデータ及び筆圧信号に基づいてユーザの署名を識別し、識別された署名に基づいてユーザを認証するプロセッサと、を含む。ここで、筆記具は、図1〜図13を参照して上述したユーザ認証装置のうちの少なくとも1つを示す。
プロセッサによって実行される筆圧信号の検出は、予め設定された筆圧が検出される検出地点を含む。また、プロセッサは、予め設定された筆圧が適用される地点の検出に基づいて、識別された署名の形態と類似の形態を有する更なる署名から識別された署名を区別する。プロセッサは、生体センサから受信された生体データに基づいてユーザを識別する。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPA(field programmable array)、PLU(programmable logic unit)、マイクロプロセッサー、又は命令(instruction)を実行して応答する異なる装置のように、1つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム(OS)及びオペレーティングシステム上で実行される1つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は1つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は1つのプロセッサ及び1つのコントローラを含む。また、並列プロセッサ(parallel processor)のような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの1つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び/又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは1つ以上のコンピュータ読み取り可能な記録媒体に格納される。
本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために1つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
101 手
105 署名
109 紙
110、200、300、300A、300B、800、900、1000、1100、1200、1390 ユーザ認証装置
111、290、890、990、1090、1190、1290 胴体部
211 筆圧センサ
212、310 モーションセンサ
213 力センサ
220、320、920 生体センサ
330 プロセッサ
440 通信部
550、950、1350 メモリ
801 加速度信号
802 筆圧信号
803 把持する力
891 一端
921 入力指紋イメージ
951 登録指紋イメージ
1009、1109 両手
1021、1121 第1心電図センサ
1022 第2心電図センサ
1122 外部生体センサ
1150、1280 外部認証機器
1160 タッチディスプレイ
1210 署名識別
1221 指紋識別
1222 心電図識別
1223 光脈波識別
1281 音声識別
1282 顔識別
1301 署名の少なくとも一部
1351 登録署名

Claims (21)

  1. ユーザ認証装置であって、
    前記ユーザ認証装置の胴体部のモーションに関するモーション情報を受信するモーションセンサと、
    生体センサにより生体情報が検出された場合、前記ユーザ認証装置のユーザに関する前記生体情報を取得する生体センサと、
    前記ユーザを認証するプロセッサと、を備え、
    前記プロセッサは、前記モーション情報に基づいて前記ユーザの署名を識別し、前記生体情報が検出されない場合、前記識別された署名に基づいて前記ユーザを認証し、前記生体情報が検出された場合、生体情報が検出された後、外部認証機器が使用不可能である場合、前記識別された署名及び前記生体情報に基づいて前記ユーザを認証すことを特徴とするユーザ認証装置。
  2. 前記プロセッサは、前記生体センサによって検出された前記生体情報に対する応答として、前記生体情報に基づいて前記ユーザの身元を識別し、前記識別された署名及び前記識別された身元に基づいて前記ユーザを認証することを特徴とする請求項1に記載のユーザ認証装置。
  3. 前記モーションセンサは、前記ユーザによる筆記行為の開始を検出して前記筆記行為によるモーションに関するモーション情報を収集することを特徴とする請求項1に記載のユーザ認証装置。
  4. 前記モーションセンサは、前記ユーザの筆記行為に応答して前記胴体部に対して生成された加速度信号及び筆圧信号のうちの少なくとも1つを受信し、
    前記プロセッサは、前記加速度信号及び前記筆圧信号のうちの少なくとも1つに基づいて前記胴体部のモーションを追跡し、前記追跡されたモーションに基づいて前記ユーザの署名を推定することを特徴とする請求項1に記載のユーザ認証装置。
  5. 前記胴体部を把持する力を検出する力センサを更に含み、
    前記プロセッサは、前記モーションを追跡する間に、前記加速度信号、前記筆圧信号、及び前記胴体部を把持する力のうちの少なくとも1つに基づいて前記ユーザの筆体を検出することを特徴とする請求項4に記載のユーザ認証装置。
  6. 前記プロセッサは、前記胴体部を把持する前記ユーザによって適用される力、筆圧、及び指紋イメージのうちの少なくとも1つに基づいて筆記姿勢を推定し、前記筆記姿勢に更に基づいて前記ユーザを認証することを特徴とする請求項1に記載のユーザ認証装置。
  7. 前記生体センサは、前記ユーザから生体信号波形を検出し、
    前記プロセッサは、前記生体信号波形から筆記に関する動きアーチファクトを検出し、前記検出された動きアーチファクトに更に基づいて前記ユーザを認証することを特徴とする請求項1に記載のユーザ認証装置。
  8. 前記生体センサは、前記ユーザから指紋イメージを受信し、
    前記プロセッサは、前記指紋イメージから指紋イメージの歪み情報を抽出し、前記抽出された歪み情報に更に基づいて前記ユーザを認証することを特徴とする請求項1に記載のユーザ認証装置。
  9. 前記生体センサは、心電図信号及び光脈波信号のうちの少なくとも1つを含む生体信号波形を検出し、
    前記プロセッサは、前記検出された生体信号波形に基づいて前記ユーザの身元を識別し、前記識別された署名及び前記識別された身元に基づいて前記ユーザを認証することを特徴とする請求項1に記載のユーザ認証装置。
  10. 前記生体センサは、外部生体センサと前記胴体部との間の接触が検出された場合に心電図信号を測定し、
    前記プロセッサは、前記外部生体センサ及び前記生体センサから測定された前記心電図信号に基づいて前記ユーザの身元を識別し、前記識別された署名及び前記識別された身元に基づいて前記ユーザを認証することを特徴とする請求項1に記載のユーザ認証装置。
  11. 前記生体センサは、前記ユーザから指紋イメージを受信し、
    前記プロセッサは、前記指紋イメージの受信が検出された場合、前記受信された指紋イメージ及び前記ユーザの署名を用いて前記ユーザを認証することを特徴とする請求項1に記載のユーザ認証装置。
  12. 前記外部認証機器と通信する通信部を更に含み、
    前記プロセッサは、前記外部認証機器が使用可能な場合、前記通信部を介して前記外部認証機器から前記ユーザの身体部位及び音声のうちの少なくとも1つに関する識別情報を受信し、前記受信された識別情報及び前記識別された署名に基づいて前記ユーザを認証することを特徴とする請求項1に記載のユーザ認証装置。
  13. 外部認証機器から顔イメージ及び音声データのうちの少なくとも1つを受信する通信部を更に含み、
    前記プロセッサは、前記顔イメージ及び前記音声データのうちの少なくとも1つに更に基づいて前記ユーザを認証することを特徴とする請求項1に記載のユーザ認証装置。
  14. 前記プロセッサは、前記ユーザの署名に基づく識別結果、前記生体情報に基づく識別結果、及び外部認証機器による識別結果のうちの少なくとも1つに加重値を適用し、前記加重値が適用された少なくとも1つの識別結果に基づいて前記ユーザを認証することを特徴とする請求項1に記載のユーザ認証装置。
  15. 前記プロセッサは、前記ユーザの署名、前記生体情報、及び前記外部認証機器から受信された信号のそれぞれの正確度に基づいて、それぞれの識別結果に対する前記加重値を決定することを特徴とする請求項14に記載のユーザ認証装置。
  16. ユーザ認証装置のユーザ認証方法であって、
    前記ユーザ認証装置の胴体部のモーションに関するモーション情報を受信するステップと、
    生体センサにより生体情報が検出された場合、前記ユーザ認証装置のユーザに関する前記生体情報を取得するステップと、
    前記モーション情報に基づいて前記ユーザの署名を識別するステップと、
    前記生体情報が検出されない場合、前記識別された署名に基づいてユーザを認証し、前記生体情報が検出された場合、生体情報が検出された後、外部認証機器が使用不可能である場合、前記識別された署名及び前記生体情報に基づいて前記ユーザを認証するステップと、を有することを特徴とするユーザ認証方法。
  17. ハードウェアと結合してユーザ認証装置に請求項16に記載のユーザ認証方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  18. 筆記具であって、
    前記筆記具を用いてユーザが筆記動作を行う間に前記筆記具の胴体部のモーションに関するモーションデータを受信するモーションセンサと、
    生体センサにより生体情報が検出された場合、ユーザに関する生体情報を取得する生体センサと、
    前記モーションセンサとは別途に前記筆記動作に応答して生成された筆圧信号を検出する筆圧センサと、
    前記ユーザを認証するプロセッサと、を備え、
    前記プロセッサは、前記モーションデータ及び前記筆圧信号に基づいて前記ユーザの署名を識別し、前記生体情報が検出されない場合、前記識別された署名に基づいて前記ユーザを認証し、前記生体情報が検出された場合、生体情報が検出された後、外部認証機器が使用不可能である場合、前記識別された署名及び前記生体情報に基づいて前記ユーザを認証すことを特徴とする筆記具。
  19. 前記筆圧信号の検出は、予め設定された筆圧が検出される検出地点を含むことを特徴とする請求項18に記載の筆記具。
  20. 前記プロセッサは、前記予め設定された筆圧が適用される地点の検出に基づいて、前記識別された署名の形態と類似の形態を有する更なる署名から前記識別された署名を区別することを特徴とする請求項19に記載の筆記具。
  21. 前記プロセッサは、生体センサから受信された生体データに基づいて前記ユーザを識別することを特徴とする請求項18に記載の筆記具。
JP2016242975A 2015-12-21 2016-12-15 ユーザ認証装置及びユーザ認証方法並びに筆記具 Active JP6967849B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0182728 2015-12-21
KR1020150182728A KR102466995B1 (ko) 2015-12-21 2015-12-21 사용자 인증 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2017113542A JP2017113542A (ja) 2017-06-29
JP6967849B2 true JP6967849B2 (ja) 2021-11-17

Family

ID=57914627

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016242975A Active JP6967849B2 (ja) 2015-12-21 2016-12-15 ユーザ認証装置及びユーザ認証方法並びに筆記具

Country Status (5)

Country Link
US (1) US10091654B2 (ja)
EP (1) EP3185175A1 (ja)
JP (1) JP6967849B2 (ja)
KR (1) KR102466995B1 (ja)
CN (1) CN106897592B (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170242498A1 (en) * 2016-02-23 2017-08-24 Motorola Mobility Llc Passive Chopsticks Stylus System for Capacitive Touch Screens
US10956544B1 (en) 2016-04-01 2021-03-23 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
US10733275B1 (en) * 2016-04-01 2020-08-04 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
KR102587735B1 (ko) * 2017-01-09 2023-10-12 삼성디스플레이 주식회사 보안 장치 및 이를 포함하는 표시 장치
US20180241745A1 (en) * 2017-02-20 2018-08-23 Giovanni Laporta Method and system for validating website login and online information processing
US10239345B2 (en) * 2017-05-25 2019-03-26 Sony Corporation Smart marker
US10530770B2 (en) 2017-06-28 2020-01-07 International Business Machines Corporation Pressure-based authentication
KR102456020B1 (ko) 2017-08-17 2022-10-19 삼성전자주식회사 전자 문서에 서명을 포함시키기 위한 전자 장치 및 그 전자 장치의 제어 방법
CN107948132B (zh) * 2017-10-19 2022-01-18 远光软件股份有限公司 一种身份认证系统及报销设备
US10878072B2 (en) * 2017-11-20 2020-12-29 Ppip, Llc Systems and methods for biometric identity and authentication
JP2021508870A (ja) * 2017-12-21 2021-03-11 サムスン エレクトロニクス カンパニー リミテッド 生体認証によるユーザー認証のためのシステム及び方法
KR102560304B1 (ko) 2018-05-25 2023-07-26 삼성전자주식회사 전자 장치, 전자 장치의 혈압 측정 방법, 및 혈압 측정 시스템
CN109145778A (zh) * 2018-08-01 2019-01-04 上海市数字证书认证中心有限公司 身份认证方法、装置及识别终端
CN109145776A (zh) * 2018-08-01 2019-01-04 上海市数字证书认证中心有限公司 身份认证方法、装置及识别终端
JP7171029B2 (ja) * 2018-10-11 2022-11-15 一般社団法人未来ものづくり振興会 電子サインデバイス
US11354534B2 (en) * 2019-03-15 2022-06-07 International Business Machines Corporation Object detection and identification
DE102019204714A1 (de) * 2019-04-03 2020-10-08 Technische Hochschule Lübeck Verfahren und Stift zur Personenidentifikation und Schrifterkennung
US11551480B2 (en) * 2019-04-11 2023-01-10 Ricoh Company, Ltd. Handwriting input apparatus, handwriting input method, program, and input system
CN110033772B (zh) * 2019-04-28 2021-04-20 中国科学院上海高等研究院 基于ppg信号的非声学语音信息检测装置
US11507206B2 (en) * 2019-05-13 2022-11-22 Microsoft Technology Licensing, Llc Force-sensing input device
KR102053581B1 (ko) * 2019-05-27 2019-12-09 주식회사 시큐브 얼굴 인식 및 수기 서명 검증 기반의 사용자 인증 방법 및 장치
KR20210012274A (ko) * 2019-07-24 2021-02-03 삼성전자주식회사 터치펜, 전자 장치, 생체 정보 측정 장치 및 방법
WO2021101192A1 (en) * 2019-11-22 2021-05-27 Samsung Electronics Co., Ltd. A method and an apparatus for authenticating a user
KR102474577B1 (ko) * 2020-08-10 2022-12-05 주식회사 카카오뱅크 입력 패턴을 이용한 안면 인증 방법 및 인증 서버
JP7420016B2 (ja) * 2020-08-27 2024-01-23 株式会社リコー 表示装置、表示方法、プログラム、表示システム
TW202211007A (zh) * 2020-08-31 2022-03-16 翰碩電子股份有限公司 書寫筆、簽名辨識方法及其系統
IL286410B2 (en) * 2021-09-14 2023-06-01 Cohen Yaniv Pen with biometric signature recognition
TWI788204B (zh) * 2022-01-25 2022-12-21 王士華 用於電子文件的電子簽章方法
US11930006B2 (en) * 2022-05-26 2024-03-12 Idmelon Technologies Inc. System and method for hosting FIDO authenticators

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2327580C (en) * 1998-04-07 2009-01-27 Gerald R. Black Identification confirmation system
US6539101B1 (en) * 1998-04-07 2003-03-25 Gerald R. Black Method for identity verification
US6307956B1 (en) * 1998-04-07 2001-10-23 Gerald R. Black Writing implement for identity verification system
JP2000242786A (ja) * 1999-02-19 2000-09-08 Matsushita Electric Works Ltd 本人認証システム
US7982725B2 (en) 1999-05-25 2011-07-19 Silverbrook Research Pty Ltd Sensing device with inductive charging
JP2002055768A (ja) 2000-08-09 2002-02-20 Sharp Corp ペン型記録装置
JP2004248714A (ja) * 2003-02-18 2004-09-09 Kazuo Tanaka 生体信号を用いた認証方法および認証装置
US8538095B2 (en) * 2003-06-21 2013-09-17 Aprilis, Inc. Method and apparatus for processing biometric images
US7433499B2 (en) * 2003-08-22 2008-10-07 Dynasig Corporation Method and apparatus for capturing and authenticating biometric information from a writing instrument
JP2005173809A (ja) 2003-12-09 2005-06-30 Fuji Xerox Co Ltd 情報入力システムおよびその方法
AU2003289401A1 (en) * 2003-12-17 2005-07-05 Seijiro Tomita Individual authentication system using cardiac sound waveform and/or breathing waveform pattern
EP1812889A4 (en) 2004-11-03 2008-02-13 Pen One Inc FINGER GUIDED DEVICE FOR USE WITH PEN OR PEN
WO2006051976A1 (ja) * 2004-11-15 2006-05-18 Nec Corporation 生体特徴入力装置
JP2007226703A (ja) * 2006-02-27 2007-09-06 Seiko Epson Corp 自筆署名認証装置
WO2007113743A1 (en) 2006-04-04 2007-10-11 Koninklijke Philips Electronics N.V. Expressive pen
CN101246543B (zh) * 2008-03-18 2010-06-02 苏州纳米技术与纳米仿生研究所 基于仿生与生物特征识别的考试者身份鉴定方法
CN101773394B (zh) * 2010-01-06 2011-09-07 中国航天员科研训练中心 身份识别方法及应用该方法的身份识别系统
SA110310576B1 (ar) 2010-07-06 2015-08-10 راكان خالد يوسف الخلف جهاز، نظام وطريقة لتسجيل وتوثيق التواقيع المخطوطة باليد
EP2689378A2 (en) 2011-03-21 2014-01-29 N-Trig Ltd. System and method for authentication with a computer stylus
KR20130007110A (ko) * 2011-06-29 2013-01-18 주식회사 지클릭 스페이스 전자펜을 이용한 카드발급 신청처리 방법
US9119539B1 (en) * 2011-12-23 2015-09-01 Emc Corporation Performing an authentication operation during user access to a computerized resource
KR102010304B1 (ko) 2012-06-14 2019-10-21 삼성전자주식회사 심전도 신호를 이용한 사용자 인증 방법 및 장치
JP5934599B2 (ja) 2012-07-27 2016-06-15 シャープ株式会社 照合装置および電子署名認証方法
KR101988310B1 (ko) 2012-10-31 2019-06-12 엘지전자 주식회사 정전식 스타일러스 펜 및 이를 포함하는 이동 단말기
US20140149281A1 (en) * 2012-11-29 2014-05-29 Rawllin International Inc. Sign interface control with optional payment
KR101889787B1 (ko) * 2012-12-04 2018-08-20 삼성전자주식회사 신호 처리 방법 및 장치
EP2973164B1 (en) * 2013-03-15 2019-01-30 Intel Corporation Technologies for secure storage and use of biometric authentication information
US9432366B2 (en) * 2013-04-01 2016-08-30 AMI Research & Development, LLC Fingerprint based smartphone user verification
KR102170321B1 (ko) * 2013-06-17 2020-10-26 삼성전자주식회사 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템
US9547972B2 (en) * 2013-12-10 2017-01-17 Sal Castillo Methods and systems for emergency alerts
US10068118B2 (en) 2014-02-25 2018-09-04 Tara Chand Singhal Apparatus and method for a biometric sensor in a handheld mobile wireless communication device
US9826400B2 (en) * 2014-04-04 2017-11-21 Qualcomm Incorporated Method and apparatus that facilitates a wearable identity manager
KR102257287B1 (ko) * 2014-08-07 2021-05-27 삼성전자주식회사 지문 및 심전도 신호를 이용한 사용자 인증 방법 및 장치
US9734386B2 (en) * 2014-09-12 2017-08-15 Qualcomm Incorporated Methods, systems and devices for electronic notary with signature and biometric identifier
US9992207B2 (en) * 2014-09-23 2018-06-05 Qualcomm Incorporated Scalable authentication process selection based upon sensor inputs
US9652633B2 (en) * 2014-11-25 2017-05-16 Certify Global Inc. Systems and methods of verifying an authenticated document biosignature

Also Published As

Publication number Publication date
CN106897592B (zh) 2022-08-05
JP2017113542A (ja) 2017-06-29
US20170180988A1 (en) 2017-06-22
KR102466995B1 (ko) 2022-11-14
US10091654B2 (en) 2018-10-02
KR20170073927A (ko) 2017-06-29
EP3185175A1 (en) 2017-06-28
CN106897592A (zh) 2017-06-27

Similar Documents

Publication Publication Date Title
JP6967849B2 (ja) ユーザ認証装置及びユーザ認証方法並びに筆記具
Hsu et al. An inertial pen with dynamic time warping recognizer for handwriting and gesture recognition
US10905383B2 (en) Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
EP3259656B1 (en) Interactive touchscreen and sensor array
KR102170321B1 (ko) 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템
Meier et al. TapID: Rapid touch interaction in virtual reality using wearable sensing
JP5740407B2 (ja) 動的手書き署名の真正を査定するシステム及び方法
Schrapel et al. Pentelligence: Combining pen tip motion and writing sounds for handwritten digit recognition
TW201007508A (en) Real-time motion recognition method and inertia sensing and trajectory
Miller et al. Using siamese neural networks to perform cross-system behavioral authentication in virtual reality
CN108196668B (zh) 一种便携式手势识别系统及方法
Liu et al. Recent advances in biometrics-based user authentication for wearable devices: A contemporary survey
Pan et al. Handwriting trajectory reconstruction using low-cost imu
Bashir et al. Advanced biometric pen system for recording and analyzing handwriting
US20160048718A1 (en) Enhanced kinematic signature authentication using embedded fingerprint image array
EP3066544A1 (en) Disambiguation of styli by correlating acceleration on touch inputs
Jiang et al. Development of a real-time hand gesture recognition wristband based on sEMG and IMU sensing
Bashir et al. Person authentication by handwriting in air using a biometric smart pen device
KR101930942B1 (ko) 수화 인식 시스템 및 방법
Piekarczyk et al. On using palm and finger movements as a gesture-based biometrics
Huang et al. A new dataset for smartphone gesture-based authentication
Guna et al. User identification approach based on simple gestures
Agarwal et al. Gestglove: A wearable device with gesture based touchless interaction
Burgbacher et al. A behavioral biometric challenge and response approach to user authentication on smartphones
Zhang et al. SmartWriting: Pen-holding gesture recognition with smartwatch

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211026

R150 Certificate of patent or registration of utility model

Ref document number: 6967849

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150