KR102558210B1 - 생체 인식 기술을 활용한 사용자 식별, 인증 및 암호화 장치 및 그의 동작 방법 - Google Patents
생체 인식 기술을 활용한 사용자 식별, 인증 및 암호화 장치 및 그의 동작 방법 Download PDFInfo
- Publication number
- KR102558210B1 KR102558210B1 KR1020230023286A KR20230023286A KR102558210B1 KR 102558210 B1 KR102558210 B1 KR 102558210B1 KR 1020230023286 A KR1020230023286 A KR 1020230023286A KR 20230023286 A KR20230023286 A KR 20230023286A KR 102558210 B1 KR102558210 B1 KR 102558210B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- processor
- signal
- electronic device
- information
- Prior art date
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims description 97
- 230000004424 eye movement Effects 0.000 claims abstract description 219
- 230000033001 locomotion Effects 0.000 claims description 145
- 230000002232 neuromuscular Effects 0.000 claims description 45
- 210000005252 bulbus oculi Anatomy 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 17
- 208000012661 Dyskinesia Diseases 0.000 claims description 11
- 230000017311 musculoskeletal movement, spinal reflex action Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 5
- 230000021542 voluntary musculoskeletal movement Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000011017 operating method Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 108
- 210000001508 eye Anatomy 0.000 description 102
- 230000001537 neural effect Effects 0.000 description 50
- 230000015654 memory Effects 0.000 description 47
- 238000010586 diagram Methods 0.000 description 35
- 230000006870 function Effects 0.000 description 31
- 210000001525 retina Anatomy 0.000 description 27
- 238000004891 communication Methods 0.000 description 25
- 210000000554 iris Anatomy 0.000 description 25
- 230000008569 process Effects 0.000 description 23
- 238000004458 analytical method Methods 0.000 description 16
- 210000005036 nerve Anatomy 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 15
- 230000002207 retinal effect Effects 0.000 description 14
- 210000003205 muscle Anatomy 0.000 description 13
- 210000003484 anatomy Anatomy 0.000 description 12
- 210000001747 pupil Anatomy 0.000 description 12
- 239000011521 glass Substances 0.000 description 11
- 230000004434 saccadic eye movement Effects 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 9
- 206010044565 Tremor Diseases 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 210000004556 brain Anatomy 0.000 description 7
- 210000004027 cell Anatomy 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 241000282412 Homo Species 0.000 description 5
- 208000003443 Unconsciousness Diseases 0.000 description 5
- 230000003542 behavioural effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 210000003625 skull Anatomy 0.000 description 5
- 238000002570 electrooculography Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000010587 phase diagram Methods 0.000 description 4
- 238000010183 spectrum analysis Methods 0.000 description 4
- 208000015592 Involuntary movements Diseases 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000010267 cellular communication Effects 0.000 description 3
- 210000004087 cornea Anatomy 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000000537 electroencephalography Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000000926 neurological effect Effects 0.000 description 3
- 230000035790 physiological processes and functions Effects 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000002747 voluntary effect Effects 0.000 description 3
- 230000018199 S phase Effects 0.000 description 2
- 206010068101 Vestibular nystagmus Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000007417 hierarchical cluster analysis Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 210000000653 nervous system Anatomy 0.000 description 2
- 210000004398 oculomotor muscle Anatomy 0.000 description 2
- 210000001328 optic nerve Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000015541 sensory perception of touch Effects 0.000 description 2
- 231100000430 skin reaction Toxicity 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001720 vestibular Effects 0.000 description 2
- CVOFKRWYWCSDMA-UHFFFAOYSA-N 2-chloro-n-(2,6-diethylphenyl)-n-(methoxymethyl)acetamide;2,6-dinitro-n,n-dipropyl-4-(trifluoromethyl)aniline Chemical compound CCC1=CC=CC(CC)=C1N(COC)C(=O)CCl.CCCN(CCC)C1=C([N+]([O-])=O)C=C(C(F)(F)F)C=C1[N+]([O-])=O CVOFKRWYWCSDMA-UHFFFAOYSA-N 0.000 description 1
- 206010025421 Macule Diseases 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007636 ensemble learning method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 208000016339 iris pattern Diseases 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004459 microsaccades Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000037023 motor activity Effects 0.000 description 1
- 210000000337 motor cortex Anatomy 0.000 description 1
- 230000004220 muscle function Effects 0.000 description 1
- 210000002346 musculoskeletal system Anatomy 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 230000004466 optokinetic reflex Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000009023 proprioceptive sensation Effects 0.000 description 1
- 108091008706 proprioceptors Proteins 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 201000009279 spontaneous ocular nystagmus Diseases 0.000 description 1
- 230000002739 subcortical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/324—Power saving characterised by the action undertaken by lowering clock frequency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/45—Structures or tools for the administration of authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Accounting & Taxation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Collating Specific Patterns (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Finance (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 개시(present disclosure)의 다양한 실시 예들은 생체인식기술 등을 활용하여 기존기술보다 더 개선되고 편리한 사용자 식별, 인증, 암호화와 관련된 전자장치 및 그의 동작 방법에 관한 것이다.
전자장치의 동작 방법은, 무의식적인 안구 움직임(involuntary eye movement)을 포함하는 사용자의 안구 움직임을 획득(capture)하고, 상기 획득(capture)된 무의식적인 안구 움직임에 기초하여 상기 사용자를 식별하기 위한 고유패턴을 생성하고, 상기 고유패턴을 보안영역의 비휘발성 저장장치에 저장하고, 상기 저장된 고유패턴에 기초하여 상기 전자장치로 상기 사용자를 인증하는 동작을 포함할 수 있다. 다양한 다른 실시 예들도 가능할 수 있다.
전자장치의 동작 방법은, 무의식적인 안구 움직임(involuntary eye movement)을 포함하는 사용자의 안구 움직임을 획득(capture)하고, 상기 획득(capture)된 무의식적인 안구 움직임에 기초하여 상기 사용자를 식별하기 위한 고유패턴을 생성하고, 상기 고유패턴을 보안영역의 비휘발성 저장장치에 저장하고, 상기 저장된 고유패턴에 기초하여 상기 전자장치로 상기 사용자를 인증하는 동작을 포함할 수 있다. 다양한 다른 실시 예들도 가능할 수 있다.
Description
본 발명은 일반적으로 사용자 식별, 인증, 암호화와 관련된 전자 장치 및 그의 동작 방법에 관한 것이다. 특히, 다양한 생체인식기술을 활용한 사용자 식별, 인증, 암호화와 관련된 전자 장치 및 그의 동작 방법에 관한 것이다.
전자장치와 데이터베이스로의 사용자 접속은 주로 로그인 이름과 비밀번호를 통해 이루어진다. 최근, 랩탑 컴퓨터와 스마트폰 등과 같은 휴대용 전자장치의 사용이 증가하면서, 허가된 사용과 잘못된 데이터 사용에 대한 위험을 줄이기 위해 전자장치와 사용자에 대한 정확한 인증의 필요성은 더욱 중요해지고 있다. 예를 들어, 많은 종류의 헬스케어 전자장치가 출현함에 따라, 모바일 헬스케어 전자장치에 획득된 건강 데이터의 프라이버시는 중요해 지고 있다. 또한, 모바일 전자장치를 사용한 은행업무와 지불(payment)이 증가함에 따라, 인증된 사용의 중요성이 증가하고 있다.
본 개시(present disclosure)에서는 생체인식기술 등을 활용하여 기존기술보다 더 개선되고 편리한 사용자 식별, 인증, 암호화와 관련된 전자장치 및 그의 동작 방법을 제공하고자 한다.
로컬 전자장치의 사용을 위한 사용자 인증은 종종 원거리의 서버에 의해 수행된다. 로컬 전자장치의 소프트웨어 응용프로그램은 종종 사용자의 로그인 이름과 비밀번호를 저장하여 전자장치와 소프트웨어 응용프로그램의 사용을 쉽게 해준다. 사용자와 사용자의 로그인 이름과 비밀번호를 보호하여 사용자의 전자장치에 대한 접근을 보호하는 것이, 전자장치를 분실하거나 도난당했을 때 더욱 중요해 진다. 전자장치를 신용카드 거래와 같이 지불수단으로 사용되고 있는 지금의 상황에서는 사용자 전자장치의 로컬 접근을 보호하는 것이 더욱 더 중요해지고 있다.
모바일 전자장치의 더 강화된 보호를 제공하기 위한 사용자 인증을 위해 생체측정이 이용된다. 생체측정은 해부학적인 접근(예를 들어, 신체적인 형태 즉 지문, 홍채스캔, 혈관, 얼굴스캔, DNA 등)과 행위적인 접근(타이핑 또는 키스트로크, 손글씨 서명, 음성 또는 억양)이 있다. 예를 들어, 지문과 같은 사용자의 해부학적인 면은 사용자의 로컬 인증과 전자장치의 접근 제어에 이용된다.
본 개시(present disclosure)의 일 실시 예의 전자장치의 동작 방법은, 모션센서(motion sensor)로부터 사용자 신체의 부분에서 모션신호를 수집하고, 상기 모션신호로부터 원치 않는 신호를 필터링 하고, 상기 필터링된 모션신호로부터 신경근육 마이크로 모션(neuro-muscular micro- motion) 데이터를 추출하고, 상기 신경근육 마이크로 모션 데이터를 신호처리와 피쳐추출을 수행하여 고유한 특성을 추출하고, 상기 고유한 특성을 기초로 신경역학적 식별자(neuro-mechanical identifier) 생성을 수행한다.
본 개시(present disclosure)의 일 실시 예의 인증된 사용자를 국부적으로 인증하고 전자장치에 대한 접근을 제어하는 방법은, 상기 전자장치를 사용하여 사용자의 신체 부분에서 감지된 마이크로 모션 신호에 응답하여 사용자를 위한 신경역학적 지문을 생성하고,
인증된 사용자 교정 파라미터에 응답하여 상기 신경역학적 지문의 일치 비율을 생성하고, 상기 일치비율에 응답하여 상기 전자장치에 대한 사용자 접근 제어를 수행한다.
본 개시(present disclosure)의 일 실시 예의 전자장치의 동작 방법은, 무의식적인 안구 움직임(involuntary eye movement)을 포함하는 사용자의 안구 움직임을 획득(capture)하고, 상기 획득(capture)된 무의식적인 안구 움직임에 기초하여 상기 사용자를 식별하기 위한 고유패턴을 생성하고, 상기 고유패턴을 보안영역의 비휘발성 저장장치에 저장하고, 상기 저장된 고유패턴에 기초하여 상기 전자장치로 상기 사용자 인증을 수행한다.
생체인식기술 등을 활용하여 기존기술보다 더 개선되고 편리한 사용자 식별, 인증, 암호화 기와 관련된 전자장치 및 그의 동작 방법을 제공한다.
도 1은 식별방법의 범주를 도시한다.
도 2는 일 실시 예에 따른 전자장치들의 동작환경에 대한 블록도를 도시한다.
도 3은 일 실시 예에 따른 전자장치의 구성에 대한 블록도를 도시한다.
도 4 는 일 실시 예에 따른 신경지문 활용예시를 도시한다.
도 5a 내지 도 5f는 일 실시 예에 따른 신경역학적 식별자 생성 방법을 예시적으로 보여주는 순서도 또는 동작의 흐름을 도시한다.
도 6은 일 실시 예에 따른 사용자별 푸앵카레의 위상 도표를 도시한다.
도 7은 일 실시 예에 따른 서로 다른 사용자의 캡스트럼(CEPSTRUM) 분석결과를 도시한다.
도 8은 일 실시 예에 따른 신경안구 식별자 생성 방법을 예시적으로 보여주는 순서도이다.
도 9는 사람의 두개골의 안구의 단면도를 도시한다.
도 10a 내지 도 10c는 다양한 안구 움직임을 유발하는 안구와 연결된 다양한 근육의 다이어그램을 도시한다.
도 11은 무의식적 안구 움직임을 획득하기 위한 프로세스의 다이어그램을 도시한다.
도 12a 및 도 12b는 사용자의 일정시간 동안 물체를 고정하는 것에 응답하여 원추세포대의 영역에 걸친 무의식적 안구 움직임 그래프를 갖는 망막의 확대된 부분의 다이어그램을 도시한다.
도 13a 내지 도 13c는 사용자 식별 및 인증을 위해 사용될 수 있는 무의식적 안구 움직임의 다양한 조합의 다이어그램을 도시한다.
도 14a 내지 도 14c는 무의식적 안구 움직임을 검출하는데 사용될 수 있는 안구의 비디오 이미지에서 유관으로 관찰될 수 있는 특징에 대한 다이어그램을 도시한다.
도 15는 사용자의 무의식적 안구 움직임 신호를 직접 생성하기 위한 안전도기록(electrooculography) 시스템의 블록도를 도시한다.
도 16a는 사용자의 안구 움직임 이미지를 획득하는데 사용될 수 있는 비디오 카메라를 구비한 전자장치의 다이어그램을 도시한다.
도 16b는 사용자의 안구 움직임 이미지를 획득하는데 사용될 수 있는 도 16a에 도시된 비디오 카메라를 구비한 전자장치의 블록도를 도시한다.
도 17a 및 도 17b는 사용자 안구 움직임의 이미지를 획득하는데 사용될 수 있는 비디오 카메라를 구비한 전자안경의 다이어그램을 도시한다.
도 18a 및 도 18b는 사용자의 안구 움직임의 이미지를 획득하는데 사용될 수 있는 비디오 카메라를 갖는 VR기기의 다이어그램을 도시한다.
도 19a는 사용자의 안구 움직임에 관한 데이터 획득을 돕는 이미터 장치를 갖는 콘택트 렌즈를 포함한 안구의 다이어그램을 도시한다.
도 19b 내지 도 19d는 사용자의 안구 움직임에 관한 데이터 획득을 돕는 데 사용될 수 있는 다양한 이미터 장치를 갖는 콘택트 렌즈의 다이어그램을 도시한다.
도 19e는 능동 이미터 장치의 기능 블록도를 도시한다.
도 19f는 사용자의 안구 움직임에 관한 데이터를 획득하는데 사용될 수 있는 안구에 장착된 콘택트 렌즈 근처의 감지장치의 측면도를 도시한다.
도 20a 및 도 20b는 건물구조물의 접근 제어를 위해 부착되어 안구 움직임을 획득하는 장치를 도시한다.
도 21a 및 도 21b는 사용자를 시스템에 인증하기 위한 독립적인 안구스캐너를 도시한다.
도 2는 일 실시 예에 따른 전자장치들의 동작환경에 대한 블록도를 도시한다.
도 3은 일 실시 예에 따른 전자장치의 구성에 대한 블록도를 도시한다.
도 4 는 일 실시 예에 따른 신경지문 활용예시를 도시한다.
도 5a 내지 도 5f는 일 실시 예에 따른 신경역학적 식별자 생성 방법을 예시적으로 보여주는 순서도 또는 동작의 흐름을 도시한다.
도 6은 일 실시 예에 따른 사용자별 푸앵카레의 위상 도표를 도시한다.
도 7은 일 실시 예에 따른 서로 다른 사용자의 캡스트럼(CEPSTRUM) 분석결과를 도시한다.
도 8은 일 실시 예에 따른 신경안구 식별자 생성 방법을 예시적으로 보여주는 순서도이다.
도 9는 사람의 두개골의 안구의 단면도를 도시한다.
도 10a 내지 도 10c는 다양한 안구 움직임을 유발하는 안구와 연결된 다양한 근육의 다이어그램을 도시한다.
도 11은 무의식적 안구 움직임을 획득하기 위한 프로세스의 다이어그램을 도시한다.
도 12a 및 도 12b는 사용자의 일정시간 동안 물체를 고정하는 것에 응답하여 원추세포대의 영역에 걸친 무의식적 안구 움직임 그래프를 갖는 망막의 확대된 부분의 다이어그램을 도시한다.
도 13a 내지 도 13c는 사용자 식별 및 인증을 위해 사용될 수 있는 무의식적 안구 움직임의 다양한 조합의 다이어그램을 도시한다.
도 14a 내지 도 14c는 무의식적 안구 움직임을 검출하는데 사용될 수 있는 안구의 비디오 이미지에서 유관으로 관찰될 수 있는 특징에 대한 다이어그램을 도시한다.
도 15는 사용자의 무의식적 안구 움직임 신호를 직접 생성하기 위한 안전도기록(electrooculography) 시스템의 블록도를 도시한다.
도 16a는 사용자의 안구 움직임 이미지를 획득하는데 사용될 수 있는 비디오 카메라를 구비한 전자장치의 다이어그램을 도시한다.
도 16b는 사용자의 안구 움직임 이미지를 획득하는데 사용될 수 있는 도 16a에 도시된 비디오 카메라를 구비한 전자장치의 블록도를 도시한다.
도 17a 및 도 17b는 사용자 안구 움직임의 이미지를 획득하는데 사용될 수 있는 비디오 카메라를 구비한 전자안경의 다이어그램을 도시한다.
도 18a 및 도 18b는 사용자의 안구 움직임의 이미지를 획득하는데 사용될 수 있는 비디오 카메라를 갖는 VR기기의 다이어그램을 도시한다.
도 19a는 사용자의 안구 움직임에 관한 데이터 획득을 돕는 이미터 장치를 갖는 콘택트 렌즈를 포함한 안구의 다이어그램을 도시한다.
도 19b 내지 도 19d는 사용자의 안구 움직임에 관한 데이터 획득을 돕는 데 사용될 수 있는 다양한 이미터 장치를 갖는 콘택트 렌즈의 다이어그램을 도시한다.
도 19e는 능동 이미터 장치의 기능 블록도를 도시한다.
도 19f는 사용자의 안구 움직임에 관한 데이터를 획득하는데 사용될 수 있는 안구에 장착된 콘택트 렌즈 근처의 감지장치의 측면도를 도시한다.
도 20a 및 도 20b는 건물구조물의 접근 제어를 위해 부착되어 안구 움직임을 획득하는 장치를 도시한다.
도 21a 및 도 21b는 사용자를 시스템에 인증하기 위한 독립적인 안구스캐너를 도시한다.
본 개시(present disclosure)의 실시 예 들에 대한 다음의 상세한 설명에서, 충분한 이해를 위한 많은 구체적인 상세와 다양한 예시들이 전개된다. 해당 기술이 속하는 분야에서의 통상의 기술자들에게는 이러한 구체적인 상세함이 없이도 실시될 수 있고 본 개시의 범위 내에서 다양한 변경이나 수정을 하여 실시될 수 있음도 명확하고 분명하다. 특정한 예시에서는, 본 개시의 실시 예들을 불필요하도록 모호하게 하지 않기 위해, 잘 알려진 방법, 절차, 컴포넌트(부품, 부분), 기능, 회로, 잘 알려지거나 전형적인 상세한 내용에 대해서는 자세히 기술하지 않았다.
본 개시(present disclosure)에서 기술된 용어, 단어, 표현은 단순히 본 개시의 실시 예들을 설명하기 위함이고 본 개시의 범위를 제한하려는 것은 아니다. 다르게 정의되지 않았다면, 기술 및 과학 용어를 포함한 모든 표현(또는 용어)은 해당 기술이 속하는 분야에서의 통상의 기술자들이 이해하는 것과 문맥상 같거나 유사한 의미를 가질 수 있다. 경우에 따라서는, 표현(또는 용어)에 대해 본 개시(present disclosure)에서 정의되어 있다 하더라도, 본 개시의 실시 예의 범위를 제한하거나 배제되도록 해석되지는 않는다.
본 개시(present disclosure)와 연관된 실시 예 들은 장치, 방법, 서버-클라이언트 장치 및/또는 방법, 장치 및/또는 방법의 협동, 칩셋, 컴퓨터 프로그램 또는 상기 기술된 것들의 어느 조합 등으로 구현될 수 있다. 따라서, 실시 예는 전체 하드웨어(칩셋 포함)로 구현되거나, 전체 소프트웨어(펌웨어, 소프트웨어의 어떠한 형태 등)로 구현되거나 소프트웨어와 하드웨어가 결합된 형태로 구현될 수 있다. 소프트웨어와 하드웨어 형태는 모듈, 유닛(부 또는 구성단위), 컴포넌트(부품, 부분), 블록, 구성요소, 멤버(member), 시스템, 서브시스템 등으로 기술될 수 있다. 또한 본 실시 예는 미디어에 구현된 컴퓨터에서 사용 가능한 프로그램 코드(컴퓨터 파일을 포함)의 형태로 구현될 수도 있다.
"하나의 실시 예", "일 실시 예", "실시 예", "어떤 실시 예", "하나의 예시", "예시"라는 표현은 본 개시의 예 또는 실시 예와 연관되어 기술된 특정특징, 구조 또는 특성을 의미할 수 있다. 따라서, 본 명세서에서 사용된 이러한 표현은 모두 반드시 동일한 실시 예 또는 예를 지칭하는 것은 아니다. 또한, 특정기능, 구조 또는 특성은 하나 이상의 실시 예 또는 예에서 임의의 적절한 조합 및/또는 서브 조합으로 조합될 수 있다.
단수 형태의 "하나" 또는 "한"이라는 표현은 본문에서 분명하게 다른 뜻으로 표현되지 않는 한 복수 형태를 포함할 수 있다. 예를 들어 "한 센서"는 하나 또는 복수 개의 센서들을 나타낼 수 있다.
어떤 경우, "제 1", "제 2", "첫째", "둘째", "첫 번째" 또는 "두 번째" 등의 표현은 다양한 구성요소를 설명하기 위해서 사용되었지만, 이들 구성요소는 이러한 표현에 의해 제한되지 않는다. 이러한 표현은 한 구성요소를 다른 구성요소와 구별하기 위해 사용될 수 있고 구성요소들의 순서 또는 중요도와는 무관할 수 있다. 예를 들어, 제 1 센서는 제 2 센서로 지칭 될 수 있고, 마찬가지로, 제 2 센서는 제 1 센서로 지칭 될 수 있다. 첫 번째 센서와 두 번째 센서는 둘 다 센서지만 동일한 센서가 아닐 수 있다.
"및/또는"이라는 표현은 하나 또는 그 이상의 열거된 항목들의 가능한 모든 조합을 포함할 수 있다. 예를 들어, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A 또는 B 중 하나 또는 그 이상", "A 및 B 중 하나 또는 그 이상", "A 및/또는 B", "A 및/또는 B 중 적어도 하나" 또는 "A 및/또는 B 중 하나 또는 그 이상"이라는 표현은 "적어도 하나의 A를 포함", "적어도 하나의 B를 포함", 또는 "적어도 하나의 A 및 적어도 하나의 B를 모두 포함"하는 경우를 모두 나타낼 수 있다.
"있다(가진다)", "있는(가지는)", "있을 수 있다(가질 수 있다)", "포함한다", "포함하는", "포함할 수 있다", "구성된다", "구성되는", 또는 "구성될 수 있다" 또는 "포함하다"라는 표현은 구성요소, 특징, 단계, 동작, 기능, 수치적인 값, 컴포넌트(부품, 부분)들, 멤버 또는 이들의 조합이 있음(presence)을 나타내지만, 구성요소, 특징, 단계, 동작, 기능, 수치적인 값, 컴포넌트(부품, 부분)들, 멤버 또는 이들의 조합의 하나 또는 그 이상의 부가(addition) 또는 있음(presence)을 배제하는 것은 아니다. 예를 들어, 구성요소들의 리스트(list)로 구성된 방법 또는 장치는 반드시 이 구성요소들로 만으로 구성된 것으로 한정되는 것이 아니라, 상기 방법 또는 장치에 명시적으로 리스트(list) 되지 않은 구성요소를 포함할 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어(connected to)"있거나 "결합되어(coupled to or coupled with)"되어 있다고 할 때는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 적어도 하나 또는 그 이상의 또 다른 구성요소를 통하여 연결되거나 결합되었다고 할 수 있다. 반면, 어떤 구성요소가 다른 구성요소와 "직접적으로 연결되어" 있거나 "직접적으로 결합되어" 있다고 할 때는, 또 다른 구성요소를 통하지 않고 연결되거나 결합되었다고 할 수 있다.
본 개시(present disclosure)에서, 사용자 식별, 인증, 암호화와 관련된 다양한 종류의 전자장치 및 그의 동작방법에 대한 실시 예가 기술된다.
일 실시 예에서, 전자장치는 스마트폰, 태블릿 컴퓨터, 전화기, 이동전화기, 전화기, 전자책 리더(e-book reader), 네비게이션장치, 데스크탑 컴퓨터, 랩탑 컴퓨터, 워크스테이션 컴퓨터 서버 컴퓨터, 카메라, 캠코더, 전자펜, 무선 통신장비, 액세스포인트(AP or 무선공유기), 프로젝터, 전자보드, 복사기, 시계, 안경, 헤드마운트장치, 무선 헤드셋/이어폰, 전자옷, 다양한 종류의 웨어러블장치, TV, DVD 플레이어, 오디오 플레이어, 디지털 멀티미디어 플레이어, 전자 액자, 셋탑박스, TV 박스, 게임기, 리모트컨트롤러, 은행의 ATM, 지불시스템 장치(POS, 카드리더 포함), 냉장고, 오픈, 전자렌지, 에어컨, 진공청소기, 세탁기, 식기세척기, 공기청정기, 홈오토메이션 제어장치, 스마트홈 장치, 다양한 종류의 가전기기, 보안제어 장치, 전자 잠금/열림 장치(열쇠, 자물쇠 포함), 전자 서명 수신장치, 다양한 종류의 보안시스템 장치, 혈압측정장치, 혈당모니터링장치, 심박모니터링장치, 체온측정장치, 자기공명영상장치, 컴퓨터단층촬영장치, 다양한 종류의 의료측정장치, 다양한 종류의 의료장치, 수도계량기, 전기계량기, 가스계량기, 전자파계량기, 온도계, 다양한 종류의 측정장치, 인공지능(AI) 장치, 인공지능 스피커, 인공지능 로봇, 다양한 종류의 사물인터넷 장치 또는 이와 유사한 것일 수 있다.
전자장치는 하나 또는 그 이상의 전술한 장치들의 조합 또는 부분일 수 있다. 일 실시 예에서는, 전자장치는 가구, 건물, 구조물 또는 기계(운송수단, 자동차, 비행기 또는 선박을 포함)의 부분이거나 임베디드보드, 칩셋, 컴퓨터 파일 또는 어떤 종류의 센서등의 형태일 수 있다. 본 개시의 전자장치는 전술한 장치들에 한정되지 않고 기술개발이 발전함에 따라 새로운 형태의 전자장치일 수 있다.
도 1은 식별방법의 범주를 도시한 도면이다.
도 1을 참조하면, 다양한 알려진 해부학적(Anatomical) 및 행위적(Behavioral) 식별방법을 확인할 수 있다. 행위적 식별 방법은 사용자의 행위나 습관과 관련이 있다. 알려진 해부학적 식별 방법은 지문, 홍채 안구 스캔, 혈관, 안면 스캔 및/또는 DNA와 같은 사용자의 신체적 특징과 관련되어 있다.
어떤 사용자 동작 (Motion)은 습관적이거나 사용자 동작 레퍼토리의 일부이다. 예를 들어, 문서에 서명하는 것은 사용자의 행위 습관을 만들어가는 동작(Motion)이다. 일반적으로 필기구를 사용하여 서명을 하는 동작은 매크로 모션(Macro motion) 또는 큰 규모 모션(Large scale motion)이다. 이러한 동작은 대부분 사용자의 의식 또는 의도에 따른 움직임이므로 의도적인 동작(voluntary movement)이라고 할 수 있다. 예를 들어, 서명된 서명의 큰 움직임으로부터, 서명을 한 사람이 왼손잡이인지 또는 오른 손잡이인지를 눈으로 결정할 수 있다.
이러한 큰 동작이 유용할 수도 있지만, 사용자가 서명하거나 다른 동작을 만들거나 단순히 동작을 하지 않을 때 만드는 매우 작은 동작인 마이크로 모션(Micro motion) 이 있다. 이러한 마이크로 모션은 신경에서 유도되거나 신경에 기반을 두고 눈에 보이지 않는다. 따라서 사용자의 의식이나 의도에 따른 동작이 아닌 무의식적인 움직임(involuntary movement)에 속한다. 사용자의 이러한 마이크로 모션은 각각의 인간의 고유한 신경근 해부학에 기인하며, 본 개시(present disclosure)에서 신경유도 마이크로 모션(neuro-derived micro motion)으로도 지칭 될 수 있다. 이 마이크로 모션은, 또한, 개인의 운동 피질에서 손까지의 모터 제어 과정과 연결되어 있다. 적어도 하나 이상의 센서, 신호 처리 알고리즘 및/또는 필터를 사용하여 사용자의 신경유도 마이크로 모션을 포함하는 전자 신호("모션 신호"및 "마이크로 모션 신호")를 획득할 수 있다. 특히 관심의 대상은 모션 신호 내에서 사용자의 마이크로 모션을 나타내는 마이크로 모션 전자 신호이다
사용자의 마이크로 모션은 뇌 또는 기타 인체의 신경계의 운동 활동에 대한 대뇌 피질 및 피질 하부 제어와 관련이 있다. 기계적 필터처럼 개인의 특정한 해부학적 근골격계는 사용자의 마이크로 모션에 영향을 미칠 수 있으며 사용자의 마이크로 모션을 포함하는 동작 신호에 기여할 수 있다. 이렇게 기여된 신호는 신경 신호에 의한 근육의 동작 신호로 신경근육톤(neuro muscular tone)이라고 할 수 있다. 사용자로부터 획득된 모션 신호는 사용자의 인체에 존재하는 뇌 및 고유 수용체를 포함하는 고유 수용 제어 루프의 일부를 반영 할 수도 있다.
모션 신호가 사용자의 마이크로 모션을 나타내는 마이크로 모션 신호에 대해 적절히 분석될 때, 결과 데이터는 독창적이고 안정된 생리학적 식별자, 특히 신경학적 식별자를 생성 할 수 있으며 이 식별자는 암호화되지 않은 서명으로 사용될 수 있다. 이 고유한 식별자는 사용자의 신경역학지문(Neuro-Mechanical Fingerprint)이라고 할 수 있다. 신경역학지문은 또한 본 개시에서 "신경지문 (NeuroFingerPrints, NFP)"이라는 용어로 사용될 수 있다.
도 2는 본 개시(present disclosure)의 일 실시 예에 따른 전자장치들의 동작환경을 나타내는 블록도 이다.
도 2에 도시된 바와 같이, 전자장치(201)는, 프로세싱 유닛(210), 센서(220), 입출력 인터페이스(230), 디스플레이(240), 신경지문(NFP)가속기(250), 메모리(260), 파워 시스템(270), 통신 인터페이스(280)등을 포함할 수 있다.
이는 단지 본 개시의 실시 예의 하나의 예시라는 것으로 이해될 수 있다. 전자장치(201, 202, 203, 204, 205)는 도시된 수보다 더 많거나 더 적은 구성요소들로 이루어질 수 있으며, 두 개 또는 그 이상의 구성요소가 결합되어 이루어지거나, 구성요소의 설정이나 배치는 다르게 구성될 수도 있다. 도시된 다양한 구성요소는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 전자장치(201, 202, 203, 204, 205)들은 네트워크(206) 또는 통신인터페이스(280)를 통해서 서로 연결될 수 있다.
프로세싱 유닛(210)은, 적어도 하나의 중앙처리장치(Central Processing Unit)를 포함할 수 있고 상기 적어도 하나의 중앙처리장치는 하나 또는 그 이상의 프로세싱 코어를 포함할 수 있다. 상기 프로세싱 유닛(210)은 중장처리 장치 외에도 적어도 하나 이상의 보조프로세서, 통신전용 프로세서, 신호처리 프로세서, 그래픽 처리 프로세서, 저전력의 센서 컨트롤 프로세서 또는 특수 목적의 컨트롤러를 포함할 수 있다. 또한 다양한 계층 구조의 내부 휘발성 및 비휘발성 메모리들을 구비하여 전자장치의 초기 부팅 동작, 외부 전자장치와의 통신을 위한 동작, 외부 전자장치로부터 초기 부팅 또는 로딩 관련 프로그램을 다운로드하는 동작, 인터럽트 동작, 프로그램 실행중의 성능향상을 위한 동작 등의 기능을 수행할 수 있다. 상기 프로세싱유닛은 프로그램 형태의 명령어를 메모리, 통신모듈 등을 통해 수신하여, 수신된 명령어를 해독하고, 해독된 명령어에 따른 연산, 데이터 처리, 결과 저장, 연관된 주변장치를 제어하는 동작 수행을 통해 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행할 수 있다. 상기 프로세싱 유닛은, 통상의 기술자들에 의해, 프로세서(processor), 애플리케이션 프로세서(Application Processor, AP), 중앙처리장치(Central Processing Unit, CPU), MCU(Micro Controller Unit), 컨트롤러(Controller) 등으로 혼용되어 사용되는 경우가 종종 있다.
센서(220)는, 전자장치의 상태, 물리량 등을 감지하거나 계측하여 전기신호로 변환할 수 있다. 상기 센서(220)는 광학센서, RGB센서, IR센서, UV센서, 지문센서, 근접센서, 나침반, 가속도 센서, 자이로 센서, 기압계, 그립센서, 마그네틱센서, 홍채센서, GSR(Galvanic Skin Response)센서, 뇌전도(EEG, Electroencephalography)센서 등을 포함할 수 있다. 상기 센서(220)는 사용자 신체의 부분에서 모션신호를 수집하여 전자장치의 프로세싱 유닛(210), 신경지문(NFP) 가속기(250) 등을 포함한 전자장치(201)의 적어도 하나의 구성요소에 전달하여 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행할 수 있다.
입출력인터페이스(230)는, 사용자 또는 전자장치(201)의 외부로부터 신호 및/또는 명령을 포함한 입력형태로 받아 전자장치 내부로 전달하는 입력 인터페이스와, 사용자 또는 전자장치(201)의 외부로 신호 또는 명령을 포함한 출력의 형태로 변환하는 인터페이스 역할을 수행할 수 있다. 예를 들어, 입력 버튼, LED, 진동모터, 다양한 시리얼 인터페이스(예를 들어, USB(Universal Serial Bus), UART(Universal asynchronous receiver/transmitter), HDMI(High Definition Multimedia Interface), MHL(Mobile High-definition Link), IrDA(Infra-red Data Association)등)등을 포함할 수 있다.
디스플레이(240)는, 사용자에게 이미지, 텍스트, 비디오 등의 각종 콘텐츠를 표시할 수 있다. 상기 디스플레이(240)는 액정디스플레이(Liquid Crystal Display, LCD), 유기발광다이오드(Organic Light Emitting Diode, OLED) 디스플레이 또는 홀로그램 출력장치 일 수 있다. 상기 디스플레이(355)는 디스플레이 구동회로(DDI), 디스플레이 패널을 포함할 수 있으며, 디스플레이 구동회로는 프로세싱 유닛(301)으로부터 전달받은 영상 정보에 대응하는 영상 구동신호를 디스플레이 패널에 전달하여 미리 설정된 프레임 레이트(Frame Rate)에 따라 영상을 표시할 수 있다. 디스플레이 구동회로는 IC 형태로 구현될 수 있으며 영상정보를 저장할 수 있는 비디오 메모리, 이미지 프로세싱 유닛, 디스플레이 타이밍 컨트롤러, 멀티플렉서등의 구성요소를 포함할 수 있다. 상기 디스플레이(240)는 터치 스크린, 전자펜 입력 패널, 지문센서, 압력센서등의 입력기능을 수행하는 장치 및/또는 햅틱 피드백등의 출력장치등을 포함할 수 있다. 상기 전자장치(201)의 사양에 따라서 상기 디스플레이(240)는 선택적으로 구비되지 않을 수도 있으며, 매우 간단한 형태의 적어도 하나의 발광다이오드(Light Emitting Diode)로 구성될 수 있다. 상기 디스플레이(220)는 사용자 신체의 부분에서 모션신호를 수집하기 위하여 사용자에게 상기 전자장치(201)에 사용자의 신체 일부를 접촉을 하는 위치, 모션신호의 획득 시작 상태, 모션신호의 획득 중인 상태, 모션신호의 획득 완료 상태등의 수집시작 상태등을 표시하는 기능을 수행하여 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행할 수 있다.
신경지문가속기(250)는, 사용자의 신체 일부에서 획득된 신호를 처리하는 연산 수행의 속도를 높이거나 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행하는 데 있어서의 연산의 일부 또는 전체를 수행하여 전체적인 시스템의 성능을 높이는 기능을 수행한다.
메모리(260)는, 휘발성 메모리(262) (예를 들어, DRAM(Dynamic RAM), SRAM(Static RAM) 또는 SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(264) (예를 들어, NOR 플래쉬 메모리, NAND 플래쉬 메모리, EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), HDD(Hard Disk Drive), SSD(Solid State Drive), SD(Secure Digital) 카드 메모리, 마이크로 SD 메모리, MMC(Multimedia Card) 메모리 등) 중 적어도 하나 이상을 포함할 수 있다. 비휘발성 메모리(264)에는 적어도 하나 이상의 부트로더, 운영체제(291), 통신기능(292) 라이브러리, 디바이스 드라이버(293), 신경지문(NFP) 라이브러리(294), 애플리케이션(295), 사용자 데이터(296)등을 저장할 수 있다. 휘발성 메모리(262)에는 전자장치에 전원이 인가되어 동작하기 시작한다. 프로세싱 유닛(210)은 비휘발성 메모리에 저장된 프로그램들 또는 데이터들을 휘발성 메모리(2620)에 로드하는 동작을 수행하고, 전자장치의 동작 중에 프로세싱 유닛(210)과 인터페이스하는 일련의 동작을 통해 메인 메모리의 역할을 수행할 수 있다.
파워시스템(270)은, 전자장치(201)에 전력을 공급하고 제어하고 관리하는 등의 역할을 수행할 수 있다. 파워시스템은 PMIC(Power Management Integrated Circuit), 배터리(272), 충전 IC, 연료 게이지(Fuel Gauge)등을 포함할 수 있다. 파워시스템은 교류 또는 직류 전원을 입력으로 받을 수 있다. 공급된 전원을 배터리(272)에 충전할 수 있는 유선 충전, 무선 충전기능을 포함할 수 있다.
무선통신인터페이스(280)는, 예를 들어, 셀룰러 통신, 와이파이 통신, 블루투스, GPS, RFID, NFC 등을 포함할 수 있고 무선통신을 위한 RF부를 구성할 수 있다. RF부는 트랜시버(Transceiver), PAM(Power Amp Module), 주파수 필터, LNA(Low Noise Amplifier) 또는 안테나 등을 포함할 수 있다.
도 3는 본 개시(present disclosure)의 일 실시 예에 따른 전자장치의 구성을 나타내는 블록도이다.
도 3에 도시한 바와 같이, 전자장치(300)는, 프로세싱 유닛(301), 카메라(350), 입출력 인터페이스(353), 햅틱피드백 컨트롤러(354), 디스플레이(355), 근거리무선통신(356), 외장 메모리 슬롯(357), 센서(370), 메모리(390), 파워 시스템(358), 클락 소스(361), 오디오 회로(362), SIM 카드(363), 무선통신 프로세서(364), RF 회로(365), 신경지문(NFP)가속기(366) 등을 포함할 수 있다.
이는 단지 본 개시의 실시 예의 하나의 예시라는 것으로 이해될 수 있다. 전자장치는 도시된 수보다 더 많거나 더 적은 구성요소로 이루어질 수 있으며, 두 개 또는 그 이상의 구성요소가 결합되어 이루어지거나, 구성요소의 설정이나 배치는 다르게 구성될 수도 있다. 도시된 다양한 구성요소는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어 모두로 구현될 수 있다.
프로세싱 유닛(301)은, 적어도 하나의 중앙처리 장치(Central Processing Unit)(302)를 포함할 수 있고 상기 적어도 하나의 중앙처리장치는 하나 또는 그 이상의 프로세싱 코어를 포함할 수 있다. 상기 프로세싱 유닛(301)은 중장처리 장치 외에도 적어도 하나 이상의 보조프로세서, 통신전용 프로세서, 신호처리 프로세서, 그래픽 처리 프로세서, 저전력의 센서 컨트롤 프로세서 또는 특수 목적의 컨트롤러를 포함할 수 있다. 상기 프로세싱 유닛(301)은 반도체 칩(Chip)의 형태로, 다양한 구성요소를 포함하여 SoC(System On Chip)로 구현될 수 있다. 일 실시 예에서, 상기 프로세싱 유닛(301)은 GPU (Graphics Processing Unit) (320), 디지털신호처리(DSP, Digital Signal Processing) (321), 인터럽트 컨트롤러(322), 카메라 인터페이스(323), 클락 컨트롤러(324), 디스플레이 인터페이스 (325), 센서코어(326), 위치 컨트롤러(327), 보안 가속기(328), 멀티미디어 인터페이스(329), 메모리 컨트롤러(330), 주변장치 인터페이스(331), 통신/커넥티비티(332), 내부메모리(340)등을 포함할 수 있다. 또한, 다양한 계층 구조의 내부 휘발성 및 비휘발성 메모리들을 구비하여 전자장치의 초기 부팅 동작, 외부 전자장치와의 통신을 위한 동작, 외부 전자장치로부터 초기 부팅 또는 로딩 관련 프로그램을 다운로드하는 동작, 인터럽트 동작, 프로그램 실행중의 성능향상을 위한 동작 등의 기능을 수행할 수 있다. 상기 프로세싱 유닛(301)은 프로그램 형태의 명령어를 메모리(390), 통신/커넥티비티(332) 또는 무선통신프로세서(364) 등을 통해 수신하여, 수신된 명령어를 해독하고, 해독된 명령어에 따른 연산, 데이터 처리, 결과 저장, 연관된 주변장치를 제어하는 동작 수행을 통해 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행할 수 있다. 상기 프로세싱 유닛은, 통상의 기술자들에 의해, 프로세서(processor), 애플리케이션 프로세서(Application Processor, AP), 중앙처리장치(Central Processing Unit, CPU), MCU(Micro Controller Unit), 컨트롤러(Controller) 등으로 혼용되어 사용되는 경우가 종종 있다.
중앙처리장치(302)는, 적어도 하나 이상의 프로세서 코어(304, 305, 306)를 포함할 수 있다. 상기 중앙처리장치(302)는 상대적으로 전력소모가 적은 프로세서 코어들과 전력소모는 많으나 고성능의 프로세서 코어를 함께 포함할 수 있고 복수개의 코어들을 묶어 제1클러스터(303), 제2클러스터(314)등의 적어도 하나 이상의 클러스터들을 포함할 수 있다. 이러한 구조는 멀티코어 환경에서 계산량, 소모전류등을 고려하여 동적으로 코어를 할당함으로써 전자장치의 성능과 전력소모의 이득을 향상시키기 위해 사용되고 있는 기술이라고 할 수 있다. 프로세서 코어는 보안 강화를 위한 기술이 적용되어 있을 수 있다. 잘 알려진 모바일 프로세서 중 하나인 ARM®사의 프로세서에서는, 이러한 보안기술을 자사의 프로세서에 탑재하여 TrustZone®이라고 명명하고 있다. 예를 들어, 하나의 물리적인 프로세서 코어인 제1코어(304)는 일반모드(307)와 보안모드(308)로 나뉘어 동작할 수 있다. 프로세서의 레지스터와 인터럽트 처리등이 분리되어, 보안이 요구되는 자원(예를 들어, 주변장치 또는 메모리영역 등)에 대한 접근을 보안모드에서만 접근 가능하도록 할 수 있다. 모니터 모드(313)는 일반모드(307)와 보안모드(308)간의 모드전환이 될 수 있도록 하는 역할을 한다. 일반모드(307)에서 특별한 명령어를 통해서 보안모드(308)로 전환되거나 또는 인터럽트등의 발생으로 일반모드(307)에서 보안모드(308)로 전환될 수 있다. 일반모드(307)와 보안모드(308)에서 수행되는 애플리케이션은 각각의 모드에서 수행되는 애플리케이션에 영향을 끼칠 수 없도록 분리되어 있어, 높은 신뢰성이 요구되는 애플리케이션을 보안모드(308)에서 수행하게 함으로써 보안신뢰성을 높일 수 있다. 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행하는 데 있어서의 연산의 일부를 보안모드(308)에서 동작할 수 있도록 하여 보안성을 높일 수 있다.
카메라(350)는, 이미지를 획득하기 위한 렌즈, 광학센서, 이미지 처리 프로세서(ISP) 등을 포함할 수 있으며, 정지영상 및 동영상을 획득할 수 있다. 다양한 기능을 제공하기 위해 복수의 카메라(제1카메라(351), 제2카메라(352) 등)를 포함할 수 있다.
입출력인터페이스(353)는, 사용자 또는 전자장치(300)의 외부로부터 신호 및/또는 명령을 포함한 입력형태로 받아 전자장치 내부로 전달하는 입력 인터페이스와, 사용자 또는 전자장치(300)의 외부로 신호 또는 명령을 포함한 출력의 형태로 변환하는 인터페이스 역할을 수행할 수 있다. 예를 들어, 입력 버튼, LED, 진동모터, 다양한 시리얼 인터페이스(예를 들어, USB(Universal Serial Bus), UART(U Universal asynchronous receiver/transmitter), HDMI(High Definition Multimedia Interface), MHL(Mobile High-definition Link), IrDA(Infra-red Data Association)등)등을 포함할 수 있다.
햅틱피드백 컨트롤러(354)는, 사용자에게 촉각을 통해 특정한 감각을 느낄 수 있는 기능을 제공하기 위해, 예를 들어 액추에이터(actuator)로 불려지는 진동모터를 포함하여 사용자에게 진동을 느끼게 하여 촉각을 제공할 수 있다.
디스플레이(터치센서티브 디스플레이)(355)는, 사용자에게 이미지, 텍스트, 비디오 등의 각종 콘텐츠를 표시할 수 있다. 상기 디스플레이(355)는 액정디스플레이(Liquid Crystal Display, LCD), 유기발광다이오드(Organic Light Emitting Diode, OLED)디스플레이 또는 홀로그램 출력장치 일 수 있다. 상기 디스플레이(355)는 디스플레이 구동회로(DDI), 디스플레이 패널을 포함할 수 있으며, 디스플레이 구동회로는 프로세싱 유닛(301)으로부터 전달받은 영상 정보에 대응하는 영상 구동신호를 디스플레이 패널에 전달하여 미리 설정된 프레임 레이트(Frame Rate)에 따라 영상을 표시할 수 있다. 디스플레이 구동회로는 IC 형태로 구현될 수 있으며 영상정보를 저장할 수 있는 비디오 메모리, 이미지 프로세싱 유닛, 디스플레이 타이밍 컨트롤러, 멀티플렉서등의 구성요소를 포함할 수 있다. 상기 전자장치(300)의 사양에 따라서 상기 디스플레이(355)는 선택적으로 구비되지 않을 수도 있으며, 매우 간단한 형태의 적어도 하나의 발광다이오드(Light Emitting Diode)로 구성될 수 있다. 상기 디스플레이(355)는 터치 스크린, 전자펜 입력 패널, 지문센서, 압력센서등의 입력기능을 수행하는 장치 및/또는 햅틱 피드백등의 출력장치등을 더 포함할 수 있다. 상기 디스플레이(355)는 사용자 신체의 부분에서 모션신호를 수집하기 위하여 사용자에게 상기 전자장치(300)에 사용자의 신체 일부를 접촉을 하는 위치, 모션신호의 획득 시작 상태, 모션신호의 획득 중인 상태, 모션신호의 획득 완료 상태등의 수집시작 상태등을 표시하는 기능을 수행하여 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행할 수 있다.
근거리무선통신(356)은, 전자장치(300)와 가까운 거리에 있는 다른 전자장치들과 통신을 수행을 하기 위해, 예를 들어, NFC(Near Field Communication), RFID(Radio Frequency Identification), MST(Magetic Secure Transmission)등을 포함할 수 있다.
외장메모리슬롯(257)은, 전자장치(300)의 저장공간의 확장을 할 수 있도록 메모리 카드(예를 들어, SD 카드, Micro SD카드 등)등을 장착할 수 있는 인터페이스를 포함할 수 있다.
파워시스템(358)은, 전자장치(300)에 전력을 공급하고 제어하고 관리하는 등의 역할을 수행할 수 있다. 파워시스템은 PMIC(Power Management Integrated Circuit), 배터리(359), 충전IC(360), 연료 게이지(Fuel Gauge)등을 포함할 수 있다. 파워시스템은 교류 또는 직류 전원을 입력으로 받을 수 있다. 공급된 전원을 배터리(359)에 충전할 수 있는 유선 충전, 무선 충전기능을 포함할 수 있다.
클락소스(361)는, 전자장치(300)의 동작에 기준이 되는 시스템 클락(clock), RF 신호 송수신을 위한 주파수 발진기를 적어도 하나 이상 포함할 수 있다.
오디오 회로(362)는, 오디오 입력부(예를 들어, 마이크)과 오디오 출력부(리시버, 스피커 등), 오디오 신호와 전기신호 간의 변환을 수행하는 코덱(Codec)을 포함할 수 있고, 이를 통해 사용자와 전자장치간의 인터페이스를 제공할 수 있다. 오디오 입력부를 통해 획득된 오디오 신호를 아날로그 전기신호로 변환하여 샘플링을 수행하여 디지털 데이터화하여 전자장치(300)내의 다른 구성요소(예를 들어, 프로세싱 유닛)로 전달하여 오디오 처리를 수행할 수 있고, 전자장치(300)내의 다른 구성요소로부터 전달받은 디지털 오디오 데이터를 아날로그 전기신호로 변환하여 오디오 출력부를 통해 오디오 신호를 발생시킬 수 있다.
SIM 카드((63)는, 셀룰라 통신에서 가입자를 식별하기 위한 것으로 가입자 식별모듈(Subscriber Identification Module)을 구현한 IC 카드이다. 전자장치(310)에 구비된 슬롯에 SIM 카드를 장착하는 경우가 대부분이며, 전자장치의 종류에 따라서는 전자장치 내부에 결합된 형식의 임베디드 SIM의 형태로도 구현될 수 있다. SIM카드에는 각자의 고유한 번호가 기록될 수 있으며 고정된 번호인 ICCI(Integrated Circuit Card Identifier)와 가입자 회선마다 달라지는 IMSI(International Mobile Subscriber Identity) 정보를 포함할 수 있다.
무선통신프로세서(364)는, 예를 들어, 셀룰러 통신, 와이파이 통신, 블루투스, GPS 등을 포함할 수 있다. 상기 무선통신프로세서(364)를 통해서 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 네트워크를 통해 적어도 하나 이상의 다른 전자장치(서버 포함)등과의 협력을 통해 수행할 수 있다.
RF 회로(365)는, 트랜시버(Transceiver), PAM(Power Amp Module), 주파수 필터, LNA(Low Noise Amplifier) 또는 안테나 등을 포함할 수 있다. 무선통신프로세서와 프로세싱 유닛과 제어정보 및 사용자 데이터를 교환하여 무선환경으로 무선주파수를 통해 송수신을 수행할 수 있다.
신경지문가속기(366)는, 사용자의 신체 일부에서 획득된 신호를 처리하는 연산 수행의 속도를 높이거나 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행하는 데 있어서의 연산의 일부 또는 전체를 수행하여 전체적인 시스템의 성능을 높이는 기능을 수행한다.
센서(370)는, 전자장치의 상태, 물리량 등을 감지하거나 계측하여 전기신호로 변환할 수 있다. 상기 센서(370)는 나침반(371), 광학센서(372), 지문센서(373), 근접센서(374), 자이로 센서(375), RGB센서(376), 기압계(378), UV센서(379), 그립센서(380), 마그네틱센서(381), 가속도 센서(382), 홍채센서(383)등을 포함할 수 있다. 상기 센서(370)은 도면에는 표시되지 않은 IR센서, GSR(Galvanic Skin Response)센서, 뇌전도(EEG, Electroencephalography)센서 등을 더 포함할 수 있다.
상기 센서(370)는 사용자 신체의 부분에서 모션신호를 수집하여 전자장치의 프로세싱 유닛(301), 신경지문(NFP) 가속기(366) 등을 포함한 전자장치(300)의 적어도 하나의 구성요소에 전달하여 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행할 수 있다.
메모리(390)는, 휘발성 메모리(391) (예를 들어, DRAM(Dynamic RAM), SRAM(Static RAM) 또는 SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(392) (예를 들어, NOR 플래쉬 메모리, NAND 플래쉬 메모리, EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), HDD(Hard Disk Drive), SSD(Solid State Drive), SD(Secure Digital) card 메모리, Micro SD 메모리, MMC(Multimedia Media Card) 메모리 등) 중 적어도 하나 이상을 포함할 수 있다. 비휘발성 메모리(392)에는 적어도 하나 이상의 부트로더, 운영체제(393), 통신기능(394) 라이브러리, 디바이스 드라이버(395), 신경지문(NFP) 라이브러리(396), 애플리케이션(397), 사용자 데이터(398)등을 저장할 수 있다. 휘발성 메모리(391)에는 전원이 인가되어 동작하기 시작하며, 비휘발성에 저장된 프로그램들 또는 데이터들을 프로세싱 유닛(301)등이 로드하는 동작을 수행하여 전자장치의 동작 중에 프로세싱 유닛(301)과 인터페이스하는 일련의 동작을 통해 메인 메모리의 역할을 수행할 수 있다.
전자장치(300)는, 사용자 신체의 일부분으로부터 센서(370)를 통해 신호를 획득할 수 있고, 획득된 신호를 프로세싱유닛(301), 신경지문가속기(366), 메모리(390) 중 적어도 하나 이상의 상호 동작을 통해 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행할 수 있다. 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능은 상기 전자장치(300)가 독자적으로 수행할 수 있고, 네트워크를 통해 적어도 하나 이상의 다른 전자장치(서버 포함)등과의 협력을 통해 수행할 수 있다.
도 4는 일 실시 예에 따른 신경지문(NFP) 활용예시를 나타내는 도면이다.
도 4를 참조하면, 사용자가 전자장치를 손으로 잡고 있을 때, 사람의 손의 움직임에 대한 모션신호를 전자장치의 센서에 의해 획득하여 전기신호로 변환하고, 변환된 신호에서 신경유도 마이크로 모션(neuro-derived micro motion) 또는 신경근육톤(neuro muscular tone)을 추출할 수 있다.
추출된 신경유도 마이크로 모션 또는 신경근육톤을 적절히 분석할 경우, 독창적이고 안정된 생리학적 식별자, 특히 신경학적 식별자를 생성할 수 있으며 이는 사용자별로 고유한 신경지문(NFP) 식별자라고 할 수 있다. 즉, 사용자의 전자장치의 파지에 의해 신경지문을 인식할 수 있으며 이를 통해 전자장치의 보안영역에 기 저장된 사용자의 신경지문과의 비교를 수행하여 허가된 사용자인지 여부를 판단하고, 허가된 사용자인 경우를 판단할 수 있다.
세부적으로는, 모션센서(motion sensor)로부터 사용자 신체의 부분에서 모션신호를 수집하고, 상기 모션신호로부터 원치 않는 신호를 필터링하고, 상기 필터링된 모션신호로부터 신경근육 마이크로 모션(neuro-muscular micro- motion) 데이터를 추출하고, 상기 신경근육 마이크로 모션 데이터를 신호처리와 피쳐 추출을 수행하여 고유한 특성을 추출하고, 상기 고유한 특성을 기초로 신경역학적 식별자(neuro-mechanical identifier) 생성을 수행할 수 있다.
또한, 인증된 사용자를 국부적으로 인증하고 전자장치에 대한 접근을 제어하기 위해, 상기 전자장치를 사용하여 사용자의 신체 부분에서 감지된 마이크로 모션 신호에 응답하여 사용자를 위한 신경역학적 지문을 생성하고, 인증된 사용자 교정 파라미터에 응답하여 상기 신경역학적 지문의 일치 비율을 생성하고, 상기 일치 비율에 응답하여 상기 전자장치에 대한 사용자 접근 제어를 수행할 수 있다. 이러한 동작들은 신용카드 결재, 의료장치의 의료정보 수집 및 가공, 보안칩셋의 인증키등의 인증 또는 암호화 수단, 클라우드 환경에서의 사용자 로그인 등의 인증 또는 암호화, 웨어러블 장치에 탑재되어 인증 또는 암호화, 각종 잠금장치(도어락, 화면잠금 해제, 자동차의 키, 각종 장치의 잠금해제)의 해제등의 분야에 다양하게 활용될 수 있다.
도 5a 내지 5f는 일 실시 예에 따른 신경역학적 식별자 생성 방법을 예시적으로 나타내는 순서도 또는 동작의 흐름에 대한 도시이다. 도 6은 일 실시 예에 따른 사용자별 푸앵카레의 위상 도표를 나타내는 그래프이다. 도 7은 일 실시 예에 따른 서로 다른 사용자의 캡스트럼(Cepstrum) 분석결과를 나타내는 그래프이다. 이해를 돕기 위해 도 5a 내지 도 5f는 도 3에 도시된 전자장치를 가정하여 설명하기로 한다.
도 5a를 참조하면, 전자장치(300)는 모션센서(motion sensor)로부터 사용자 신체의 부분에서 모션신호를 수집할 수 있다(510). 상기 모션센서는 사용자의 움직임이나 진동을 감지할 수 있는 센서를 포함할 수 있다. 예를 들어 모션센서는 나침반(371), 자이로센서(375), 가속도 센서(382), 카메라(350), 광학센서, 테치센서티브 디스플레이(355)의 터치센서등 일 수 있다. 전자장치는 사용자의 신체 일부분과 접촉된 부분에서 발생하는 움직임, 진동등을 감지하여 모션센서등을 통해 전기적 신호로 변환하고 샘플링과 양자화를 거쳐 신호처리 가능한 디지털 신호로 변환을 수행할 수 있다. 상기 모션센서로 카메라를 구동시킬 경우 안구 움직임 신호를 수집할 수 있다. 상기 모션센서는 미리 정해진 시간 범위(예를 들어, 5, 10, 20, 30초 등)에 걸쳐, 미리 정해진 샘플링 주파수로 샘플링하여 신호를 수집할 수 있다.
샘플링 주파수는, 신경에서 유도되거나 신경에 기반을 둔 인간의 고유한 신경근 해부학에 기인하는 신경 근육 마이크로 모션의 주파수가 주로 관찰되는 주파수 범위인 3Hz에서 30Hz를 고려하여, 예를 들어, 30Hz 주파수의 두 배 이상인 60Hz, 200Hz, 250Hz, 330Hz 등이 될 수 있다. 주로 관찰되는 주파수의 범위는 신경지문을 사용하는 애플리케이션에 따라 다르게 주파수 범위를 정하여 관찰할 수 있고, 또한 정확도나 성능 향상등을 위해 필요한 다른 주파수 범위의 신호를 사용할 수도 있다. 상기 모션센서는 디지털 신호의 품질을 높이기 위해 노이즈를 제거하거나 신호 품질을 개선하는 동작을 더 수행할 수도 있다. 전자장치(300)가 휴대용 기기로 구현될 경우에는 전력소모의 문제가 중요해 질 수 있다. 이를 위해 전자장치(300)는 슬립모드로 동작할 수 있고, 전자장치(300)는 수집되어 디지털로 변환된 모션신호를 센서코어(326)를 통해 프로세싱 유닛(301)으로 전달받을 수 있다. 상기 센서코어(326)는 모션센서로 부터 전달받은 디지털 신호의 품질을 높이기 위해 노이즈를 제거하거나 신호를 품질을 개선하는 동작을 더 수행할 수도 있다. 프로세싱 유닛은 상기 전자장치(300)의 전력소모의 효율성을 높이기 위해 종종 슬립모드에 진입하는 동작을 할 수 있다. 일반적으로 슬립모드에서는 최소한의 전력소모를 위해 상기 전자장치(300)내의 일부 구성요소들의 전력을 차단하거나, 저전력모드로의 전환하거나, 동작 클락의 주파수를 낮추는 등의 다양한 방법들이 적용될 수 있다. 상기 프로세싱 유닛(301)이 슬립모드에 진입할 경우 전력 소모의 효율은 높아진다고 할 수 있으나, 사용자와 전자기기간의 상호 응답 측면에서는 지연이 발생 할 수 있기 때문에, 상기 센서코어(326)와 같은 보조프로세서가 프로세싱 유닛 내부 또는 전자장치에 구비될 수 있다. 상기 프로세싱 유닛(301)이 슬립모드에 진입하더라도, 상기 센서코어(326)는 상기 센서(370)들로부터 신호감지를 관찰하여, 상시 프로세싱 유닛(301)의 처리가 요구되는 상황으로 판단되는 경우, 버스 또는 인터럽트 신호를 통해 상기 프로세싱 유닛(301)의 슬립모드에서 깨어날 수 있도록 하는 동작을 수행할 수 있다. 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능은 보안이 요구되는 동작이라고 할 수 있다. 이 경우 상기 모션센서의 데이터 수집을 제어하는 동작은 예를 들어, 상기 프로세서 유닛(301) 내의 제1코어(304)는 보안모드(308)로 전환되어 동작할 수 있다. 상기 모션센서 또는 상기 센서코어(326)에 의해 버스 또는 인터럽트를 통해 전달되는 신호는 모니터모드(313)에 입력되어 상기 제1 코어(304)를 보안모드(308)로 전환하게 할 수 있다. 보안모드(308)로 진입한 코어는 기 설정된 보안모드에서만 접근 가능한 전자장치의 시스템 자원을 접근하거나 제어할 수 있다.
전자장치(300)는, 상기 모션센서로부터 수집된 모션신호로부터 신경근육 마이크로 모션 데이터를 추출할 수 있다(520). 모션신호로부터 신호를 추출하는 동작은 프로세싱 유닛(301)의 중앙처리장치(302)에서 모두 처리하거나, GPU(320), 디지털신호처리(DSP) (321), 신경지문(NFP)가속기 등과 협력하여 신호를 추출할 수 있다.
수집된 모션신호로부터 마이크로 모션 데이터 추출을 위해 불필요한 신호를 제거하는 필터링을 수행할 수 있다(522). 불필요한 신호들은 예를 들어, 잡음, 매크로 모션 신호, 중력으로 인한 왜곡 등을 포함할 수 있다. 모션센서로부터 획득된 신호에 있어서, 신호 수집 초기 또는 신호 수집 마지막 부분의 일정 기간(예를 들어, 약 1~2초까지)의 신호는 사용자의 매크로 모션의 신호가 매우 많이 포함될 수 있고 전자장치의 흔들림이 있을 수 있으므로 모두 버릴 수 있다. 전자장치가 충전 중인 경우에 수집된 신호에 있어서는 전원 잡음이 발생할 수 있으므로 전원잡음으로 인한 특성을 고려하여 신호의 필터링을 할 수 있다. 신경에서 유도되거나 신경에 기반을 둔 인간의 고유한 신경근 해부학에 기인하는 신경 근육 마이크로 모션의 주파수는 주로 3Hz 에서 30Hz의 범위에 관찰된다. 따라서 수집된 모션신호로부터 3Hz에서 30Hz 또는 4Hz에서 30Hz범위의 신호를 신호처리알고리즘을 수행하여 추출할 수 있다. 제거해야 할 원치 않는 신호의 특성에 따라 신호처리알고리즘의 대역 필터의 차단주파수에 대한 변경을 가할 수 있다. 예를 들어, 일 실시 예에서는 4Hz에서 30Hz 범위의 신호를 추출할 수 있고, 다른 일 실시 예에서는 8Hz에서 30Hz 범위의 신호를 추출할 수 있다. 또 다른 일 실시 예에서는, 4Hz에서 12Hz 또는 8Hz에서 12Hz 범위의 신호를 추출할 수 있다.
일 실시 예에서는, 수집된 모션신호로부터 매크로 모션(사용자 신체의 큰 움직임, 팔을 움직이거나 걷는 동작, 달리기, 조깅, 손동작 등의 큰 규모의 움직임)을 제거하기 위해 마이크로 모션의 작은 신호 진폭으로부터 분리하여 분류하는 신호 해석 방법을 사용할 수 있다. 예를 들어, "Time Series Classification Using Gaussian Mixture Models of Reconstructed Phase Spaces"(by Richard J. Povinelli et al., IEEE Transactions on Knowledge and Data Engineering, Vol. 16 , No. 6, June 2004 )의 해석 방법, 또는 자발적인 움직임으로 인한 신호의 분리를 위해 "Estimation of Physiological Tremor from Accelerometers for Real-Time Applications" (by Kalyana C. Veluvolu et al., Sensors 2011, vol. 11, pages 3020-3036, attached hereto in the appendix)의 해석 방법을 사용하여 매크로 모션 신호를 제거하고 마이크로 모션 신호를 추출 할 수 있다.
전자장치(300)는, 추출된 신경근육 마이크로 모션 데이터에서 고유한 특성을 추출할 수 있다(530). 푸앵카레의 위상 정보, 캡스트럼(CEPSTRUM) 분석, 혼돈분석(Chaos analytics)의 발산지수(Lyapunov exponent)를 활용한 분석, Reconstructed Phase Space(RPS)를 기반으로 한 분석 등과 각종의 신호처리 기술 등을 통한 성분들의 적어도 하나 이상의 선형조합으로도 고유한 특성 값들이 구성될 수 있다. 도 6에 도시된 바와 같이, 사용자 별 푸앵카레의 위상 도표를 보면, 사용자 별로(610, 620, 630, 640) 각각 고유하고 상이한 신호패턴을 갖고 있고 각 사용자 별 패턴의 질량 중심(612, 622, 632, 642)도 각 사용자 별 고유하고 상이한 것을 알 수 있다. 이때 마이크로 모션 데이터에서 사용자 별 고유한 특성을 추출하기 위해 신호처리와 피쳐추출(feature extraction)을 수행할 수 있다(532). 각 사용자 별 마이크로 모션 내의 은닉되어 있는 패턴을 추출하기 위해서는 신호의 스펙트럼 분석, 신호의 역스펙트럼 분석 등을 통해 검출될 수 있다. 예를 들어, 잘 알려진 캡스트럼(CEPSTRUM) 분석을 통해 반복되는 주기의 패턴과 주파수 간격을 감지할 수 있다. 도 7에서, 일 실시 예의 서로 다른 사용자의 캡스트럼(CEPSTRUM) 분석결과를 보면, 사용자1(710)에서 추출된 5개의 캡스트럼 진폭(CEPSTRUM Amplitude) 피크값(P1, P2, P3, P4, P5)과 사용자 2(720)에서 추출된 5개의 캡스트럼 진폭(CEPSTRUM Amplitude) 피크값(P1, P2, P3, P4, P5)이 서로 다르고, 사용자1(710)에서 추출된 5개의 큐프렌시(Quefrency) (F1, F2, F3, F4, F5)와 사용자 2(720)에서 추출된 5개의 큐프렌시(Quefrency) (F1, F2, F3, F4, F5)의 값과 간격이 다른 사용자 별 고유한 특성을 보여 주고 있는 것을 알 수 있어, 이러한 결과를 사용자별로 고유한 패턴 정보에 포함할 수 있다.
전자장치(300)는, 상기 신경근육 마이크로 모션 데이터에서 신경역학적 식별자를 생성할 수 있다(540). 일 실시 예에서, 상기 추출된 신경근육 마이크로 모션 데이터에서 고유한 특성을 추출(530)하는 동작에의 결과값들의 집합을 다차원의 값을 갖는 자료구조 형태로 신경역학적 식별자로 생성하여 비휘발성 메모리에 저장한다. 상기 신경역학적 식별자는 사용자별로 고유한 신경지문으로 불려질 수 있다.
일 실시 예에서, 신경역학적 식별자 생성 방법(510, 520, 530, 540)의 동작 수행 시 상기 동작들은, 전자장치(300)는 고성능의 프로세서 코어의 클러스터(예를 들어, 제1 클러스터(303)가 고성능 코어들의 클러스터일 경우, 제1 클러스터(303)를 할당 )에 할당되어 수행될 수 있다.
일 실시 예에서, 신경역학적 식별자 생성 방법(510, 520, 530, 540)의 동작 수행 시 상기 동작들은, 상기 프로세서 유닛(301) 내의 코어의 보안모드 (예를 들어, 상기 동작들이 제1코어(304)에 할당되는 경우 보안모드(308)로 전환)로 전환되어 동작할 수 있다. 보안모드(308)로 진입한 코어는 기 설정된 보안모드에서만 접근 가능한 전자장치의 시스템 자원을 접근하거나 제어하여, 상기 신경역학적 식별자 생성 방법(510, 520, 530, 540)의 동작을 수행할 수 있다.
일 실시 예에서, 신경역학적 식별자 생성 방법(510, 520, 530, 540)의 동작 수행시 상기 동작들의 수행이 시작될 때, 전자장치(300)가 슬립모드 상태에 있는 경우, 센서코어(326)에서 센서(370)들로부터의 신호를 감지하고 버스 또는 인터럽트 신호를 통해 상기 프로세싱 유닛(301)의 슬립모드에서 깨어날 수 있도록 하여, 상기 신경역학적 식별자 생성 방법(510, 520, 530, 540)의 동작을 수행할 수 있다.
일 실시 예에서, 신경역학적 식별자 생성 방법(510, 520, 530, 540)의 동작 수행시 상기 동작들은, 모션센서로 카메라 또는 광학센서를 구동하여 안구의 움직임 신호를 수집하여 신경역학적 식별자(예를 들어, 신경안구 식별자)를 생성할 수 있다.
도 5b를 참조하면, 전자장치(300)는 전자장치(300) 내부의 센서로부터 전자장치(300)의 외부로부터 접촉 또는 근거리로부터 신호를 센싱(551)할 수 있다. 외부 신호 발생원(550)으로는 사람의 뇌의 작용으로 인하여 신경을 통해 유도된 근육의 움직임을 발생시키는 신체의 일부분일 수 있고, 전자장치(300)와 근거리에 위치한 신호를 발생시키는 물체일 수 있다.
센서는 사람의 신체로부터 접촉 또는 근거리의 비접촉을 통해 신호를 센싱(551)할 수 있으며, 도 3의 센서(370)의 일부 또는 전체로 구성될 수 있거나 센서(370)을 구성하는 센서들의 적어도 하나 이상의 조합으로 구성되어 실시될 수 있다. 또한 센서(370)에 기술되지 않는 센서들을 포함할 수 있다. 센서에서는 측정되는 신호를 전기적인 신호로 변환하여 디지털 기술을 활용하여 미리 설정된 샘플링 주파수에 의해 신호의 샘플링과 양자화를 수행하여 디지털 처리에 용이한 디지털 신호로 변환하는 기능을 수행한다. 이때 샘플링 주파수는, 신경에서 유도되거나 신경에 기반을 둔 인간의 고유한 신경근 해부학에 기인하는 신경 근육 마이크로 모션의 주파수가 주로 관찰되는 주파수 범위인 3Hz에서 30Hz를 고려하여, 예를 들어, 30Hz 주파수의 두 배 이상인 60Hz, 200Hz, 250Hz, 330Hz 등이 될 수 있다. 주로 관찰되는 주파수의 범위는 신경지문을 사용하는 애플리케이션에 따라 다르게 주파수 범위를 정하여 관찰할 수 있고, 또한 정확도나 성능 향상등을 위해 필요한 다른 주파수 범위의 신호를 사용할 수도 있다. 상기 모션센서는 디지털 신호의 품질을 높이기 위해 노이즈를 제거하거나 신호 품질을 개선하는 동작을 더 수행할 수도 있다. 전자장치(300)가 휴대용 기기로 구현될 경우에는 전력소모의 문제가 중요해 질 수 있다. 이를 위해 전자장치(300)는 슬립모드로 동작할 수 있고, 전자장치(300)는 수집되어 디지털로 변환된 모션신호를 센서코어(326)를 통해 프로세싱 유닛(301)으로 전달받을 수 있다. 상기 센서코어(326)는 모션센서로부터 전달받은 디지털 신호의 품질을 높이기 위해 노이즈를 제거하거나 신호를 품질을 개선하는 동작을 더 수행할 수도 있다. 프로세싱 유닛은 상기 전자장치(300)의 전력소모의 효율성을 높이기 위해 종종 슬립모드에 진입하는 동작을 할 수 있다. 일반적으로 슬립모드에서는 최소한의 전력소모를 위해 상기 전자장치(300)내의 일부 구성요소들의 전력을 차단하거나, 저전력모드로 전환하거나, 동작 클락의 주파수를 낮추는 등의 다양한 방법들이 적용될 수 있다. 상기 프로세싱 유닛(301)이 슬립모드에 진입할 경우 전력 소모의 효율은 높아진다고 할 수 있으나, 사용자와 전자기기간의 상호 응답 측면에서는 지연이 발생 할 수 있기 때문에, 상기 센서코어(326)와 같은 보조프로세서가 프로세싱 유닛 내부 또는 전자장치에 구비될 수 있다. 상기 프로세싱 유닛(301)이 슬립모드에 진입하더라도, 상기 센서코어(326)는 상기 센서(370)들로부터 신호감지를 관찰하여, 상시 프로세싱 유닛(301)의 처리가 요구되는 상황으로 판단되는 경우, 버스 또는 인터럽트 신호를 통해 상기 프로세싱 유닛(301)의 슬립모드에서 깨어날 수 있도록 하는 동작을 수행할 수 있다. 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능은 보안이 요구되는 동작이라고 할 수 있다. 이 경우 상기 모션센서의 데이터 수집을 제어하는 동작은 예를 들어, 상기 프로세서 유닛(301) 내의 제1코어(304)는 보안모드(308)로 전환되어 동작할 수 있다. 상기 모션센서 또는 상기 센서코어(326)에 의해 버스 또는 인터럽트를 통해 전달되는 신호는 모니터모드(313)에 입력되어 상기 제1 코어(304)를 보안모드(308)로 전환하게 할 수 있다. 보안모드(308)로 진입한 코어는 기 설정된 보안모드에서만 접근 가능한 전자장치의 시스템 자원을 접근하거나 제어할 수 있다.
전처리(552) 과정에서는, 센서로부터 센싱(551)되어 획득된 신호 또는 저장장치(557)에 저장된 데이터를 이후 단계에서 처리의 성능과 효율을 높이기 위해 사전 처리과정을 수행한다. 신호 획득 초기와 마지막 부분의 일정 구간의 신호를 제거하거나, 노이즈 성분을 억제하거나, 처리에 불필요하다고 판단되는 특징의 성분 등을 억제할 수 있다. 또한 불필요하게 중복되는 성분이나, 신호 간의 상관관계가 높은 경우의 성분은 불필요할 수 있으므로 신호 성분을 억제할 수 있다. 또한, 신호가 활용되는 애플리케이션에 기반하여, 디지털 필터 혹은 차원축소기법등을 통해 저차원의 부분공간으로 압축을 수행할 수 있다. 불필요한 신호들은 예를 들어, 잡음, 매크로 모션 신호, 중력으로 인한 왜곡 등을 포함할 수 있다. 센서로부터 획득된 신호에 있어서, 신호 수집 초기 또는 신호 수집 마지막 부분의 일정 기간(예를 들어, 약 1~2초까지)의 신호는 사용자의 매크로 모션의 신호가 매우 많이 포함될 수 있고 전자장치의 흔들림이 있을 수 있으므로 모두 버릴 수 있다. 전자장치가 충전 중인 경우에 수집된 신호에 있어서는 전원 잡음이 발생할 수 있으므로 전원잡음으로 인한 특성을 고려하여 신호의 필터링을 할 수 있다. 신경에서 유도되거나 신경에 기반을 둔 인간의 고유한 신경근 해부학에 기인하는 신경 근육 마이크로 모션의 주파수는 주로 3Hz에서 30Hz의 범위에 관찰된다. 따라서 수집된 모션신호로부터 3Hz에서 30Hz 또는 4Hz에서 30Hz범위의 신호를 신호처리알고리즘을 수행하여 추출할 수 있다. 제거해야 할 원치 않는 신호의 특성에 따라 신호처리알고리즘의 대역 필터의 차단주파수에 대한 변경을 가할 수 있다. 예를 들어, 일 실시 예에서는 4Hz에서 30Hz 범위의 신호를 추출할 수 있고, 다른 일 실시 예에서는 8Hz에서 30Hz 범위의 신호를 추출할 수 있다. 또 다른 일 실시 예에서는, 4Hz에서 12Hz 또는 8Hz에서 12Hz 범위의 신호를 추출할 수 있다. 일 실시 예에서는, 수집된 신호로부터 매크로 모션(사용자 신체의 큰 움직임, 팔을 움직이거나 걷는 동작, 달리기, 조깅, 손동작등의 큰 규모의 움직임)을 제거하기 위해 마이크로 모션의 작은 신호 진폭으로부터 분리하여 분류하는 신호 해석 방법을 사용할 수 있다. 전처리(552) 과정에서는 센서로부터 수집된 신호로부터 신경근육 마이크로 모션과 관련된 신호를 추출할 수 있다. 센서로 부터 획득된 신호로부터의 신경근육 마이크로 모션과 관련된 신호를 추출하는 동작은 프로세싱 유닛(301)의 중앙처리장치(302)에서 모두 처리하거나, GPU(320), 디지털신호처리(DSP) (321), 신경지문(NFP)가속기 등과 협력하여 신호를 추출할 수 있다.
피쳐추출(553) 과정에서는 전처리(552) 과정을 통해 전달된 신호 성분에서 의미가 있는 고유한 특성들을 추출하는 과정을 수행한다. 이러한 특성들은 사용자의 특징을 명백하게 구분할 수 있는 수학적 속성을 갖는 측정 가능한 다차원의 벡터 형태의 자료구조 형태의 값을 갖을 수 있고 편의상 피쳐벡터로 불리우기도 한다. 푸앵카레의 위상 정보, 캡스트럼(CEPSTRUM) 분석, 혼돈분석(Chaos analytics)의 발산지수(Lyapunov exponent)를 활용한 분석, Reconstructed Phase Space(RPS)를 기반으로 한 분석 등과 각종의 신호처리 기술 등을 통한 성분들의 적어도 하나 이상의 선형조합으로도 피쳐벡터가 구성될 수 있다. 도 6에 도시된 바와 같이, 사용자 별 푸앵카레의 위상 도표를 보면, 사용자 별로(610, 620, 630, 640) 각각 고유하고 상이한 신호패턴을 갖고 있고 각 사용자 별 패턴의 질량 중심(612, 622, 632, 642)도 각 사용자 별 고유하고 상이한 것을 알 수 있다. 각 사용자 별 마이크로 모션 내의 은닉되어 있는 패턴을 추출하기 위해서는 신호의 스펙트럼 분석, 신호의 역스펙트럼 분석 등을 통해 검출될 수 있다. 예를 들어, 잘 알려진 캡스트럼(CEPSTRUM) 분석을 통해 반복되는 주기의 패턴과 주파수 간격을 감지할 수 있다. 도 7에서, 일 실시 예의 서로 다른 사용자의 캡스트럼(CEPSTRU 분석결과를 보면, 사용자1(710)에서 추출된 5개의 캡스트럼 진폭(CEPSTRUM Amplitude) 피크값(P1, P2, P3, P4, P5)와 사용자 2(720)에서 추출된 5개의 캡스트럼 진폭(CEPSTRUM 폭) 피크값(P1, P2, P3, P4, P5)이 서로 다르고, 사용자1(710)에서 추출된 5개의 큐프렌시(Quefrency) (F1, F2, F3, F4, F5)와 사용자 2(720)에서 추출된 5개의 큐프렌시(Quefrency) (F1, F2, F3, F4, F5)의 값과 간격이 다른 사용자 별 고유한 특성을 보여 주고 있는 것을 알 수 있어, 이러한 결과를 사용자 별로 고유한 패턴 정보인 피쳐벡터에 포함할 수 있다. 피쳐벡터는 다음 단계의 학습(553)을 위한 훈련데이터로 사용이 된다. 훈련데이터에만 학습알고리즘 성능이 우수하지 않고, 일반 데이터에도 일반화가 잘 되는지 여부를 위한 테스트 데이터가 필요하다. 저장장치(557)는 사전에 개발되어 검증된 테스트 데이터로 쓰일 테스트 피쳐벡터도 사전에 준비되어 있어서 다음 단계인 학습(553) 단계로 흐름의 제어가 넘어갈 수 있다.
학습(554) 단계에서는 추출된 피쳐벡터와 미리 준비된 테스트 피쳐벡터를 입력으로 사용하여 피쳐벡터를 가장 잘 표현할 수 있는 모델을 선택하고 모델을 예측하는 단계이다. 이러한 학습 단계는 일반적으로 지도학습(Supervised learning)과 비지도학습(unsupervised learning), 강화학습(Reinforcement learning)등으로 크게 분류될 수 있고 더 구체적으로는 k-최근접 이웃(k-Neareast Neighbors), 선형회기(Linear Regression), 로지스틱 회기(Logistic Regression), 서포트 벡터 머신(Support Vector Machine, SVM), 결정트리(Decision Tree, 랜덤 포레스트(Random Forestes), 신경망(Neural Network), k-평균(k-Means), 계층 군집 분석(Hierachical Cluster Analysis, HCA), 기댓값 최대화(Extraction Maximization), 주성분 분석(Principle Component Analysis, PCA), 커널 PCA(Kernal PCA), 지역적 선형 임베딩(Locally-Linear Embedding, LLE), t-SNE(t-distributed Stochastic Neighbor Embedding), 어프라이어리(Apriori), 이클렛(Eclat) 등의 알고리즘이 존재한다. 학습(554) 단계에서는 상기 다양한 알고리즘을 포함하여 적어도 하나 이상의 학습 알고리즘의 조합을 통해 학습을 수행하여 모델 예측을 수행한다. 단일의 모델 예측 알고리즘을 사용할 수도 있으며, 여러가지 알고리즘들의 조합을 통해 더 우수한 성능을 갖게 할 수 있는 앙상블 학습 방법을 수행할 수도 있다. 각 알고리즘들의 결과에 미리 설정된 가중치를 적용한 최종 점수를 부과하여 최종 모델을 예측할 수 있다. 추출된 피쳐벡터들과 학습을 통해 선택된 모델들과 모델들의 파라미터들의 적어도 하나 이상의 조합을 저장장치에 저장하여 사용자 별로 구별이 가능한 신경지문으로 사용될 수 있다.
평가(555) 단계에서는 훈련 피쳐벡터로부터 선택된 모델에 대한 평가를 수행할 수 있다. 이때 아직 사용되지 않은 피쳐벡터에 대해서는 어느 정도의 성능이 나오는지 일반화 오차를 추정하기 위해 테스트 피쳐벡터를 사용할 수 있다. 경우에 따라서는 모델 선택을 위한 학습 단계에서도 테스트 피쳐벡터의 전부 또는 일부를 사용할 수도 있다. 이 경우에는 테스트 피쳐벡터에 대한 복수의 집합 형태로 미리 저장장치에 저장되어 구비되어 있을 수 있다. 그 성능이 요구된 수준을 만족할 경우 학습단계에서 선택된 모델과 모델 파라미터를 향후 새로운 미래의 데이터를 예측하는데 사용할 수 있게 된다.
결정(556) 단계에서는 학습단계에서 선택된 모델 또는 모델 파라미터를 사용하여 신규로 센싱된 데이터에 대해 모델을 예측하여 신규 데이터에 대한 결정을 내릴 수 있다. 도 5b의 단계는 경우에 따라 단계의 진행 순서가 다르게 수행될 수도 있다. 도 5b의 과정을 통해 학습이 완료되어 신경지문에 대한 선택된 모델들과 모델 파라미터 데이터가 준비된 경우에는, 센서등의 장치로부터 신호를 센싱하고(551), 전처리를 수행하고(552), 전처리 된 신호 데이터로부터 피쳐벡터를 추출하고(553), 미리 선택된 예측모델을 통해서 결정(575) 단계를 수행할 수 있게 된다. 전자장치(300)의 허가된 사용자에 대한 신경지문에 이미 학습되어 예측 모델들이 선택되고, 예측 모델들에 대한 파라미터가 결정되어 있는 경우에는, 결정(556)단계에서 학습된 모델인지 여부에 대한 일치 비율(Match Percentage)이 특정 수치 이상이 되어 허가된 사용자의 신경지문인지를 판단할 수 있게 된다. 만일 신규로 센싱된 신경지문과 연관된 데이터가 일치 비율(Match Percentage)이 특정 수치보다 낮은 경우는 허가된 사용자의 신경지문이 아닌지를 판단할 수 있게 된다. 결정(556) 단계의 결과를 디스플레이를 통해 보고하거나, 인증의 결과를 애플리케이션에 알려주어 원하지 않는 전자기기의 사용을 차단할 수 있다.
일 실시 예에서, 신경역학적 식별자 생성 방법의 동작(551, 552, 553, 554, 555, 556) 수행시, 각 동작의 전체 또는 일부에 있어서, 전자장치(300)는 고성능의 프로세서 코어의 클러스터(예를 들어, 제1 클러스터(303)가 고성능 코어들의 클러스터일 경우, 제1 클러스터(303)를 할당 )에 할당되어 수행될 수 있다.
일 실시 예에서, 신경역학적 식별자 생성 방법의 동작(551, 552, 553, 554, 555, 556) 수행시, 각 동작의 전체 또는 일부에 있어서, 상기 프로세서 유닛(301) 내의 코어의 보안모드 (예를 들어, 상기 동작들이 제1코어(304)에 할당되는 경우 보안모드(308)로 전환)로 전환되어 동작할 수 있다. 보안모드(308)로 진입한 코어는 기 설정된 보안모드에서만 접근 가능한 전자장치의 시스템 자원을 접근하거나 제어하여, 상기 신경역학적 식별자 생성의 동작을 수행할 수 있다.
일 실시 예에서, 신경역학적 식별자 생성 방법의 동작(551, 552, 553, 554, 555, 556) 수행시, 각 동작의 전체 또는 일부에 있어서, 상기 동작들의 수행이 시작될 때, 전자장치(300)가 슬립모드 상태에 있는 경우, 센서코어(326)에서 센서(370)들로 부터의 신호를 감지하고 버스 또는 인터럽트 신호를 통해 상기 프로세싱 유닛(301)의 슬립모드에서 깨어날 수 있도록 하여, 상기 신경역학적 식별자 생성의 동작을 수행할 수 있다.
일 실시 예에서, 신경역학적 식별자 생성 방법의 동작(551, 552, 553, 554, 555, 556) 수행시, 각 동작의 전체 또는 일부에 있어서, 상기 센싱(551)은 카메라 또는 광학센서를 구동하여 안구의 움직임 신호를 수집하여 신경역학적 식별자(예를 들어, 신경안구 식별자)를 생성할 수 있다.
도 5c를 참조하면, 전자장치(300)의 센서 등의 장치로부터 사용자 신체의 부분에서 감지된 전기적인 신호를 미리 설정된 구간 동안에 미리 설정된 샘플링 주파수로 신호의 샘플링과 양자화를 수행하여 전자장치가 처리할 수 있는 디지털 신호로 생성하고(570), 신호의 처음 부분 또는 마지막 부분의 일정 구간의 데이터를 제거하고 잡음, 중력에 의한 신호성분, 의도적인 동작에 의한 신호성분들을 억제하고(571), 다양한 방법 또는 알고리즘의 적어도 하나 이상의 조합을 통해 사용자의 신경근육 기능과 연관되어 사용자를 구별할 수 있는 특징을 나타내는 수학적인 성질을 포함한 미리 설정된 측정가능한 피쳐벡터를 추출하고(572), 추출된 피쳐벡터로 부터 하나 이상의 학습 알고리즘의 조합을 선택하고 앙상블 방법으로 예측 모델들을 선택하고 선택된 에측 모델들의 파라미터를 추출하고(573), 미리 준비된 테스트 피쳐벡터를 통해 선택되고 선택된 예측모델들의 성능을 평가하여(574) 최종 모델을 결정한다. 추출된 피쳐벡터들과 학습을 통해 선택된 모델들과 모델들의 파라미터들의 적어도 하나 이상의 조합을 저장장치에 저장하여 사용자 별로 구별이 가능한 신경지문으로 사용될 수 있다. 도 5c의 단계는 경우에 따라 단계를 일부 단계를 생략하고 수행될 수 있다. 도 5c의 과정을 통해 학습이 완료되어 선택된 모델들과 모델 파라미터 데이터가 준비된 경우에는, 센서등의 장치로 부터 신호를 센싱하고(570), 전처리를 수행하고(571), 전처리된 신호 데이터로 부터 피쳐벡터를 추출하고(572), 미리 선택된 예측모델을 통해서 예측 또는 결정(575)을 수행할 수 있게 된다. 예측 또는 결정(575) 단계에서는 학습단계에서 선택된 모델 또는 모델 파라미터를 사용하여 신규로 센싱된 데이터에 대해 모델을 예측하여 신규 데이터에 대한 결정을 내릴 수 있다. 전자장치(300)의 허가된 사용자에 대한 신경지문에 이미 학습되어 예측 모델들이 선택되고, 예측 모델들에 대한 파라미터가 결정되어 있는 경우에는, 예측 또는 결정(575)단계에서 학습된 모델인지 여부에 대한 일치 비율(Match Percentage)이 특정 수치 이상이 되어 허가된 사용자의 신경지문인지를 판단할 수 있게 된다. 만일 신규로 센싱된 신경지문과 연관된 데이터가 일치 비율(Match Percentage)이 특정 수치보다 낮은 경우는 허가된 사용자의 신경지문이 아닌지를 판단할 수 있게 된다. 예측 또는 결정(575) 단계의 결과를 디스플레이를 통해 보고하거나, 인증의 결과를 애플리케이션에 알려주어 원하지 않는 전자기기의 사용을 차단할 수 있다.
도 5a 내지 도 5c의 방법에 의해 생성된 신경지문은 전자기기의 사용자 인증, 사용자의 접근제어, 데이터의 암호화(Encryption) 또는 복호화(Decryption), 사용자의 건강에 대한 변화를 감지하는 등의 용도로 활용될 수 있다. 신경지문을 센싱하는 센서를 카메라등의 광학 센서를 통해 안구의 무의식적인 움직임을 센싱하여 활용할 경우에는, 안구의 움직임을 통해 신경지문을 추출하여 신경지문을 활용한 사용자 식별, 인증, 암호화 등에 활용할 수 있다.
도 5d를 참조하면, 도 5a 내지 도 5c의 방법에 의해 신경지문 또는 신경역학지문(Neuro-mechanical fingerprint)을 생성(576)하고, 사용자로 부터 획득된 신호에 대응되는 신경역학적지문의 일치 비율을 생성(577)하고, 일치 비율에 대응하여 사용자의 전자장치에 대한 접근을 제어(578)하고, 일치 비율이 접근수준의 이상의 값을 갖는 경우, 사용자를 인증된 사용자로 식별하고, 인증된 사용자의 전자장치에 대한 접근을 허가(579)하고, 일치 비율이 미리 설정된 수준보다 작은 값을 갖는 경우 인증된 사용자에 대한 훈련과 학습을 다시 수행하여 예측 모델들의 선택과 선택된 모델들의 파라미터의 업데이트를 수행(580)할 수 있다. 일치 비율을 여러구간으로 나누어, 구간별로 훈련과 학습을 재수행해야 하는 단계를 구분할 수 있다. 일치 비율이 제1 특정구간에 속할 경우 사용자에게 표시하지 않고 전자기기 자발적으로 훈련과 학습을 재수행 하여 신경지문과 연관된 파라미터 등의 값을 갱신할 수 있다. 일치 비율이 제2 특정구간에 속할 경우에는 사용자에게 훈련과 학습의 재수행이 필요하다고 디스플레이나 입출력 장치를 통해 표시하거나 알려줄 수 있다. 이때 제1특정구간과 제2 특정구간의 설정은 다양한 조합에 의해 미리 설정될 수 있다.
도 5e를 참조하면, 건물이나 기계 등의 구조물의 문(Door) 또는 건물이나 기계 등의 구조물의 일부분에 부착된 전자장치의 센서를 사용하여 사용자의 신체 일부로부터 도 5a 내지 도 5c의 방법에 의해 신경지문 또는 신경역학지문(Neuro-mechanical fingerprint)을 생성(581)하고, 문(Door) 또는 건물이나 기계 등의 구조물의 일부분에 부착된 전자장치의 센서로부터 사용자의 신체 일부로부터 동작신호를 획득(582)하고, 사용자로부터 획득된 신호를 신경역학적지문을 위한 신호와 사용자의 의도적인 제스쳐 동작의 구분을 수행(583)하고, 신경역학적지문의 일치 비율과 의도적인 제스쳐의 동작이 기설정 된 동작인지 판단(584)하고, 의도적인 제스쳐 동작이 기설정 된 동작이고, 신경역학적지문의 일치 비율이 접근수준의 이상의 값을 갖는 경우, 사용자를 인증된 사용자로 식별하고 제스쳐 동작에 따른 문열림 또는 잠금을 수행(580)할 수 있다. 이때 기설정 된 동작이 잠금 제스쳐 이면 잠금을 수행하고 기설정 된 동작이 열림 동작인 경우 열림을 수행할 수 있다. 신경역학적지문의 일치 비율이 접근수준보다 낮은 값을 갖는 경우는 접근을 허가하지 않을 수 있다.
도 5f를 참조하면, 전자장치의 센서를 사용하여 사용자의 신체 일부로부터 도 5a 내지 도 5c의 방법에 의해 신경지문 또는 신경역학지문(Neuro-mechanical fingerprint)을 생성(586)하고, 신경역학적지문의 값의 전부 또는 일부분의 조합으로 암호화키를 생성(587)하고, 암호화키를 이용하여 전자장치의 데이터에 대한 암호화(Encryption)를 수행하여 저장장치에 저장(588)하고, 암호화된 데이터의 접근을 인증된 사용자의 신경역학적지문의 값을 이용하여 접근(589)을 수행할 수 있다.
도 8은 일 실시 예에 따른 신경안구 식별자 생성 방법을 예시적으로 보여주는 순서도 이다. 이해를 돕기 위해 도 8은 도 3에 도시된 전자장치를 가정하여 설명하기로 한다.
도 8에 도시된 바와 같이, 전자장치(300)는 광학센서(예를 들어, RGB센서(376), 홍채센서(383), 카메라(350) 등)로 사용자 안구의 움직임의 영상을 획득하고 안구의 움직임 신호를 추출하여 샘플링과 양자화를 거쳐 신호처리 가능한 디지털 신호로 변환을 수행할 수 있다. 상기 안구 움직임을 수집하기 위해 미리 정해진 시간 범위(예를 들어, 5, 10, 20, 30초 등)에 걸쳐, 미리 정해진 샘플링 주파수로 샘플링하여 신호를 수집할 수 있다. 샘플링 주파수는, 신경에서 유도되거나 신경에 기반을 둔 인간의 고유한 신경근 해부학에 기인하는 무의식적 안구 움직임의 주파수가 주로 관찰되는 주파수 범위인 3Hz에서 30Hz를 고려하여, 예를 들어, 30Hz 주파수의 두 배 이상인 60Hz, 200Hz, 250Hz, 330Hz 등이 될 수 있다. 주로 관찰되는 주파수의 범위는 애플리케이션에 따라 다르게 주파수 범위를 정하여 관찰할 수 있고, 또한 정확도나 성능향상등을 위해 필요한 다른 주파수 범위의 신호를 사용할 수도 있다. 상기 광학센서는 디지털 신호의 품질을 높이기 위해 노이즈를 제거하거나 신호 품질을 개선하는 동작을 더 수행할 수도 있다. 전자장치(300)가 휴대용 기기로 구현될 경우에는 전력소모의 문제가 중요해 질 수 있다. 이를 위해 전자장치는 슬립모드로 동작할 수 있고, 전자장치(300)는 수집되고 디지털로 변환된 안구 움직임 신호를 센서코어(326)를 통해 프로세싱 유닛(301)으로 전달받을 수 있다. 상기 센서코어(326)는 광학센서로부터 전달받은 디지털 신호의 품질을 높이기 위해 노이즈를 제거하거나 신호를 품질을 개선하는 동작을 더 수행할 수도 있다. 프로세싱 유닛은 상기 전자장치(300)의 전력소모의 효율성을 높이기 위해 종종 슬립모드에 진입하는 동작을 할 수 있다. 일반적으로 슬립모드에서는 최소한의 전력소모를 위해 상기 전자장치(300)내의 일부 구성요소들의 전력을 차단하거나, 저전력모드로의 전환하거나, 동작 클락의 주파수를 낮추는 등의 다양한 방법들이 적용될 수 있다. 상기 프로세싱 유닛(301)이 슬립모드에 진입할 경우 전력 소모의 효율은 높아진다고 할 수 있으나, 사용자와 전자기기간의 상호 응답 측면에서는 지연이 발생 할 수 있기 때문에, 상기 센서코어(326)와 같은 보조프로세서가 프로세싱 유닛 내부 또는 전자장치에 구비될 수 있다. 상기 프로세싱 유닛(301)이 슬립모드에 진입하더라도, 상기 센서코어(326)는 상기 센서(370)들로부터 신호감지를 관찰하여, 상시 프로세싱 유닛(301)의 처리가 요구되는 상황으로 판단되는 경우, 버스 또는 인터럽트 신호를 통해 상기 프로세싱 유닛(301)의 슬립모드에서 깨어날 수 있도록 하는 동작을 수행할 수 있다. 신경지문(NFP) 또는 신경안구지문(NEP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능은 보안이 요구되는 동작이라고 할 수 있다. 이 경우 상기 광학센서의 데이터 수집을 제어하는 동작은 예를 들어, 상기 프로세서 유닛(301) 내의 제1코어(304)는 보안모드(308)로 전환되어 동작할 수 있다. 상기 모션센서 또는 상기 센서코어(326)에 의해 버스 또는 인터럽트를 통해 전달되는 신호는 모니터모드(313)에 입력되어 상기 제1 코어(304)를 보안모드(308)로 전환하게 할 수 있다. 보안모드(308)로 진입한 코어는 기 설정된 보안모드에서만 접근 가능한 전자장치의 시스템 자원을 접근하거나 제어할 수 있다.
전자장치(300)는, 상기 광학센서로부터 수집된 안구 움직임 신호로부터 무의식적 안구 움직임 데이터를 추출할 수 있다(820). 안구 움직임 신호로부터의 신호를 추출하는 동작은 프로세싱 유닛(301)의 중앙처리장치(302)에서 모두 처리하거나, GPU(320), 디지털신호처리(DSP) (321), 신경지문(NFP)가속기 등과 협력하여 신호를 추출할 수 있다. 수집된 안구 움직임 신호로부터 무의식적 안구 움직임 데이터 추출을 위해 불필요한 신호를 제거하는 필터링을 수행할 수 있다(822). 불필요한 신호들은 예를 들어, 잡음, 의식적인 안구 움직임 신호, 매크로 모션 신호, 중력으로 인한 왜곡 등을 포함할 수 있다. 광학센서로부터 획득된 신호에 있어서, 신호 수집 초기 또는 신호 수집 마지막 부분의 일정 기간(예를 들어, 약 1~2초까지)신호는 사용자의 의식적인 안구 움직임 신호 또는 매크로 모션의 신호가 매우 많이 포함될 수 있고 전자장치의 흔들림이 있을 수 있으므로 모두 버릴 수 있다. 전자장치가 충전 중인 경우에 수집된 신호에 있어서는 전원 잡음이 발생할 수 있으므로 전원잡음으로 인한 특성을 고려하여 신호의 필터링을 할 수 있다. 신경에서 유도되거나 신경에 기반을 둔 인간의 고유한 신경근 해부학에 기인하는 무의식적 안구 움직임의 주파수는 주로 3Hz 에서 30Hz의 범위에 관찰된다. 따라서 수집된 안구 움직임 신호로부터 3Hz에서 30Hz 또는 4Hz에서 30Hz범위의 신호를 신호처리알고리즘을 수행하여 추출할 수 있다. 제거해야 할 원치 않는 신호의 특성에 따라 신호처리알고리즘의 대역 필터의 차단주파수에 대한 변경을 가할 수 있다. 예를 들어, 일 실시 예에서는 4Hz에서 30Hz 범위의 신호를 추출할 수 있고, 다른 일 실시 예에서는 8Hz에서 30Hz 범위의 신호를 추출할 수 있다. 또 다른 일 실시 예에서는, 4Hz에서 12Hz 또는 8Hz에서 12Hz 범위의 신호를 추출할 수 있다.
일 실시 예에서는, 수집된 안구 움직임 신호로부터 의식적인 안구 움직임 신호를 제거하기 위해 무의식적 안구 움직임의 작은 신호 진폭으로부터 분리하여 분류하는 신호 해석 방법을 사용할 수 있다. 예를 들어, "Time Series Classification Using Gaussian Mixture Models of Reconstructed Phase Spaces"(by Richard J. Povinelli et al., IEEE Transactions on Knowledge and Data Engineering, Vol. 16 , No. 6, June 2004 )의 해석 방법, 또는 자발적인 움직임으로 인한 신호의 분리를 위해 "Estimation of Physiological Tremor from Accelerometers for Real-Time Applications" (by Kalyana C. Veluvolu et al., Sensors 2011, vol. 11, pages 3020-3036, attached hereto in the appendix)의 해석 방법을 사용하여 의식적인 안구 움직임 신호를 제거하고 무의식적인 안구 움직임 신호를 추출 할 수 있다.
전자장치는, 추출된 무의식적 안구 움직임 데이터에서 고유한 특성을 추출할 수 있다(830).
전자장치는, 상기 무의식적 안구 움직임 데이터에서 신경안구 식별자를 생성할 수 있다(840). 일 실시 예에서, 상기 추출된 무의식적 안구 움직임 데이터에서 고유한 특성을 추출(830)하는 동작에의 결과값들의 집합을 다차원의 값을 갖는 자료구조 형태로 신경안구 식별자로 생성하여 비휘발성 메모리에 저장한다.
일 실시 예에서, 신경안구 식별자 생성 방법(810, 820, 830, 840)의 동작 수행시 상기 동작들은, 전자장치(300)는 고성능의 프로세서 코어의 클러스터(예를 들어, 제1 클러스터(303)가 고성능 코어들의 클러스터일 경우, 제1 클러스터(303)를 할당 )에 할당되어 수행될 수 있다.
일 실시 예에서, 신경안구 식별자 생성 방법(810, 820, 830, 840)의 동작 수행시 상기 동작들은, 상기 프로세서 유닛(301) 내의 코어의 보안모드 (예를 들어, 상기 동작들이 제1코어(304)에 할당되는 경우 보안모드(308)로 전환)로 전환되어 동작할 수 있다. 보안모드(308)로 진입한 코어는 기 설정된 보안모드에서만 접근 가능한 전자장치의 시스템 자원을 접근하거나 제어하여, 상기 신경안구 식별자 생성 방법(810, 820, 830, 840)의 동작을 수행할 수 있다.
일 실시 예에서, 신경안구 식별자 생성 방법(810, 820, 830, 840)의 동작 수행 시 상기 동작 수행 시 상기 동작들의 수행이 시작될 때, 전자장치(300)가 슬립모드 상태에 있는 경우, 센서코어(326)에서 센서(370)들로 부터의 신호를 감지하고 버스 또는 인터럽트 신호를 통해 상기 프로세싱 유닛(301)의 슬립모드에서 깨어날 수 있도록 하여, 상기 신경안구 식별자 생성 방법(810, 820, 830, 840)의 동작을 수행할 수 있다.
일 실시 예에서, 신경안구 식별자 생성방법은 도 5a 내지 도 5c의 방법 중에서 센싱 부분을 광학센서 또는 카메라를 이용하여 신경지문 또는 신경역학지문(Neuro-mechanical fingerprint)을 생성하는 방법과 동일하게 생성할 수 있다.
도 9는 사람의 두개골 내에 위치한 안구의 단면도를 도시한다.
도 9을 참조하면, 두개골(902) 내의 사람의 안구(Eyeball)(900)에 대한 단면도가 도시되어 있다. 사람의 안구(900)는 복수의 근육에 의해 두개골(902) 내에서 이동할 수 있는 불완전한 구형(imperfect glob)이다. 두개골(902) 내의 사람의 안구(900)의 위치 변화의 작용 또는 프로세스는 안구 움직임(eye movement) 또는 안구 모션(eye motion)으로 지칭된다.
안구(900)는 뇌에 의한 처리를 위해 컬러 이미지를 획득하기 위해 상호 작용하는 망막(retina)(910), 동공(pupil)(912), 홍채(iris)(914), 중심와(fovea)(916) 및 수정체(lens)(918)를 포함한다. 안구의 각막(cornea)(922)은 동공(912), 홍채(914) 및 수정체(918)를 통해 망막(910)으로 상이 맺히도록 한다. 동공(912)은 망막(910)에 의해 수용된 광량을 조절하기 위해 그 직경을 변경한다. 안구의 망막(910)은 두 가지 종류의 광 수용체인, 간상(rod) 세포 및 원추(cone) 세포를 포함한다. 망막에는 약 1억 2천만 개의 원추(cone)세포와 6 ~ 7백만 개의 간상(rod)세포가 있다. 간상세포는 망막 중심부 또는 황반 (망막 중심)이라고 불리는 망막의 간상세포가 없는 영역에 집중되어 있어 최대의 시력과 색감을 제공한다. 원추세포는 망막(910)의 다른 곳보다 작고 밀집되어 있다. 신경(926)은 안구에 결합 된 신경 섬유의 케이블로서, 망막의 간상세포 및 원추세포로부터 전기 신호를 뇌로 전달한다. 시신경이 망막을 통해 안구를 떠나는 지점에는 간상세포와 원추세포가 없다. 따라서, 시신경은 망막에서 "사각 지대"를 형성한다.
도 10a 내지 도 10c는 안구의 다양한 안구 운동을 유발하는, 안구에 연결된 다양한 근육을 나타내는 다이어그램이다.
도 10a에서, 좌측 직근(1001L)과 우측 직근(1001R)은 화살표(1011)에 의해 도시된 바와 같이 안구(900)를 좌우로 수평으로 움직이게 한다.
도 10b에서, 상부 선상의 상직근(1001T)과 하부의 하직근(1001B)은 화살표(212)에 의해 도시된 바와 같이 안구(9100)를 위쪽과 아래쪽으로 움직이게 한다.
도 10c에서, 상부 경사 근육(1002S) 및 하부 경사 근육(1002I)은 굴곡된 화살표(1013)에 의해 도시된 바와 같이 안구(900)를 굴리며 움직이게 한다. 이들 근육은 인간의 의지에 따라 자발적인 안구 움직임을 일으킬 수 있으며, 인간이 알지도 못하는 무의식적인 안구 움직임이 발생할 수 있다. 안구(900) 주위의 다른 근육들은 또한 자발적이고 무의식적인 안구 움직임에 기여할 수 있다. 근육은 뇌를 포함한 신체의 신경계의 통제하에 있다.
무의식적인 안구 움직임은 자발적인 안구 움직임과 달리 안과 의사에 의해 관찰될 때 종종 병리학적인 것으로 간주된다. 그러나, 눈이 어떤 대상에 고정되어 있는 경우 정상적, 생리학적, 미세한 무의식적 움직임이 일어나는 것이 종종 더 자주 관찰된다. 이러한 아주 작은 무의식적인 안구 움직임은 안구 내 망막 표면의 초점 지점에서 간상세포와 원추세포의 피로를 방지하기 위한 신체의 정상적인 생리 기능이다. 무의식적인 안구 움직임은 일반적으로 교란으로 간주되거나 연구 목적으로 분석되어 왔다.
인간 안구(900)의 망막(910)은 다양한 목적으로 스캔 될 수 있다. 눈의 망막 해부학적 이차원 지도를 획득하는 망막 스캐너가 알려져 있다. 망막 스캐너는 무의식적인 안구 움직임을 측정하기 위한 것이 아니다.
각종 안구 추적 시스템은 다양한 목적을 위해 의식적인 안구 움직임을 검출하기 위해 사용되어 왔다. 예를 들어, 게임용 가상 현실 헤드셋은 비디오 게임의 게임 플레이에서 의식적인 안구 움직임을 추적할 수 있다. 또 다른 예로 군대 시스템의 헤드업 디스플레이(Heads-up Display)는 군사 목적을 위해 의식적인 안구 움직임을 추적할 수 있다. 그러나 안구 추적 시스템은 중심와의 시야 및 피사체의 초점 주시(focal attention)를 평가하기 위한 것으로, 무의식적인 안구 움직임이 방해가 되거나 연구 목적으로만 사용된 경우이어서, 무의식적인 안구 움직임을 측정하지 않았다.
빛(광자)에 대한 망막 민감도는 안구 모션(안구 움직임), 안구 근육 및 특정한 뇌의 배선(wiring)에 의한 전체 시스템의 통합에 의한 유전 인자에 의해 정의된다. 안구(900)의 아주 작은 무의식적 안구 움직임은 인체의 정상적인 생리 기능이다. 임의의 신경학적으로 조정 과정은 개인에게 고유한 특징을 생성할 것이고, 따라서 한 개인을 다른 개인으로부터 식별하는데 잠재적으로 유용할 수 있다. 따라서, 안구(900)의 무의식적 안구 움직임은 개인에게 고유하고, 사용자 식별과 사용자 인증에 사용될 수 있다.
도 11은 안구의 무의식적인 안구 움직임을 획득하기 위한 고정 프로세서의 다이어그램이다. 이해를 돕기 위해 도 9에 도시된 안구의 단면도와 함께 설명하기로 한다.
도 11을 참조하면, 안구(900)의 작거나 미세한 무의식적인 안구 움직임은 목적물의 이미지에 눈을 고정하는 과정에 의해 획득될 수 있다. 목적물 이미지는 안구(900)의 망막(910)상의 망막 이미지(1102)가 될 수 있다. 목적물 이미지는 디스플레이 장치(1110)상의 목적물(1104)에 의해 생성될 수 있다. 사용자는 디스플레이 디바이스(1110)상의 타겟(1104)을 일정 시간 (예를 들어, 10 초 내지 15 초) 동안 응시하거나 고정한다. 무의식적인 움직임은 육안으로 직접 관찰하여 볼 때 너무 작고 포착하기 힘들다. 비디오 카메라(1112)는 고정하는 과정 동안 안구(900)의 움직임의 일련의 이미지를 획득한다.
고정 과정(fixation process) 동안 의식적인 눈 움직임을 획득하는 것을 방지하기 위해, 카메라(1112)를 안구(900)에 연결시킬 수 있다. 그러나, 이것은 인증 목적으로는 비실용적이다. 의식적인 안구 움직임은 촬영된 안구 움직임 데이터로부터 실질적으로 걸러내어 무의식적인 안구 움직임 데이터를 생성할 수 있다.
또한, 미세한 무의식적인 안구 움직임 (본 개시에서는 무의식적인 안구의 마이크로 모션이라고도 함)이 일반적으로는 고정 과정(fixation process) 중에 획득되지만, 눈이 보기 위해 움직이는 때에도 큰 규모의 의식적인 안구 움직임을 통해서도, 관심부분의 초점지점에 관계없이, 획득될 수 있다. 비디오 카메라는 작은 규모 또는 미세한 무의식적인 안구 움직임을 포함하는 큰 규모의 안구 움직임의 이미지 시퀀스를 획득하는데 사용할 수 있다. 미세한 무의식적 안구 움직임은, 무의식적인 움직임과 의식적인 움직임을 모두 포함하여 획득된 이미지 시퀀스에서 추출될 수 있다.
도 12a 및 도 12b는 일정시간 동안 타겟을 고정하는 사용자에 응답하여 원추세포대의 영역에 걸친 무의식적 안구 움직임 그래프를 갖는 망막의 확대된 부분의 다이어그램이다. 도 15는 사용자의 무의식적 안구 움직임 신호를 직접 생성하기 위한 안전도기록(electrooculography) 시스템의 블록도이다. 도 16b는 사용자의 안구 움직임 이미지를 획득하는데 사용될 수 있는 도 16a에 도시된 비디오 카메라를 구비한 전자장치의 블록도이다. 도 16b의 전자장치(1600)는 도 2의 전자장치(200) 또는 도 3의 전자장치(300)일 수 있으며 도 2의 전자장치(200)와 도 3의 전자장치(300)의 구성 부분의 일부의 조합 또는 전부를 포함하거나 본 개시(present disclosure)에 도시 되지 않은 구성요소를 포함할 수 있다. 이해를 돕기 위해 전자장치(1600)는 도 12a 및 도 12b와 이를 이용한 도 15의 시스템을 함께 설명하기로 한다.
도 12a에서, 원추형 영역(1200)은 망막(910)의 중앙 중심와의 확대된 부분으로 도시되어 있다. 도 12a는 또한 사용자가 약 10초간의 목적물에 고정하는 것에 대응하는 원추형 영역의 무의식적인 안구 움직임의 그래프를 도시한다. 도 12a는 망막(910)의 약 5 미크론 직경 내의 복수의 원추를 나타낸다.
무의식적인 안구의 움직임은 사용자가 정지된 물체에 고정하는 동작 여부에 관계없이 존재한다. 다양한 종류의 안구 움직임을 포함한 미세한 무의식적 안구 움직임은 사용자를 식별하는데 사용할 수 있다.
도 12a에서는, 단속성운동(saccade, 미세한 단속성 운동이라고도 함) (1201A-1201F), 곡선 형상의 드리프트(1203A-1202E) 및 지그재그 형상의 떨림(1203A-1203E)을 포함한, 작은 무의식적 안구 움직임의 다양한 종류를 도시한다.
도 12b는 단속성운동(1201F), 곡선 형태의 드리프트(1202E) 및 지그재그 형상의 떨림(1203E)의 확대도를 도시한다. 상기 지그재그 형상의 떨림(1203E)은 상기 곡선 형상의 드리프트(1202E)에 겹쳐졌다.
드리프트 안구 움직임(1202A-1202E)은 눈이 특히 어떤 것에도 초점을 맞추지 않을 때 어떤 정확한 목표가 없는 랜덤한 자취와 같다. 이러한 안구 움직임은 20~40 Hz 정도의 주파수를 갖는 방향을 바꾸며 작은 진폭의 특징을 갖는다. 떨리는 안구의 움직임은 매우 작은 진폭 (예를 들어, 0.2 내지 2-3 도의 각도) 및 높은 주파수 (예를 들어, 40Hz 내지 150Hz, 90Hz가 전형적인 값)에 의해 특징 지워진다. 상기 단속성운동의 안구 움직임은 15-20도 각도 사이의 진폭, 빠른 움직임(200-500도/초) 및 비교적 낮은 주파수(예를 들어, 0.1Hz 내지 1-5Hz)를 특징으로 한다
미세한 무의식적 안구 움직임은 안구 내 망막 표면상의 초점에서 간상 및 원추의 피로를 방지하기 위한 신체의 정상적인 생리적 기능이다. 눈의 망막에 있는 대상이나 물체의 이미지는 무의식적인 안구 움직임으로 인해 끊임없이 움직인다. 드리프트 안구 움직임(1202A-1202E)은 이미지가 중심부의 중심으로부터 바깥쪽으로 천천히 드리프트 되도록 한다. 드리프트 안구 움직임은 단속성 안구 움직임의 시작 시 종료된다. 단속성운동의 안구 움직임(1201A-1201F)은 이미지를 중심와를 향해 다시 가져온다. 드리프트 안구 움직임(1202A-1202E)에 중첩된 떨림 안구 움직임(1203A-1203E)은, 응시하거나 물체를 고정할 때, 단일 원추의 피로를 방지하기 위해 복수의 원추를 가로 지르는 진폭을 갖는다.
이러한 작은 무의식적인 안구 움직임은 망막 피로를 방지하는 것으로 생각된다. 망막 피로는 망막 세포에 의해 광자를 획득하는 데 필수적인 몇 가지 중요한 생화학 물질의 고갈이다. 작은 무의식적인 안구 움직임은 육안으로는 감지할 수 없다. 그러나, 도 11 및 도 16b와 같이 눈의 움직임을 기록하기에 충분한 속도의 망막 스캐너 및 비디오 카메라로 무의식적인 안구의 움직임을 획득하고 감지/주시/인식할 수 있다.
무의식적인 안구 모션 또는 움직임은 적외선 발광 다이오드 (LED), 동공 스캐닝 방법, 심지어 굴절계를 사용하는 것과 같은 다양한 수단 또는 방법에 의해, 적절한 시간 또는 주파수 및 무의식적인 안구 모션 또는 움직임을 획득하기 위한 변위해상도를 수정함으로써, 감지 될 수 있다.
무의식적인 안구 움직임은 무의식적인 안구 움직임을 나타내는 안전도기록 (electroculogram : EOG)을 생성하기에 충분한 감도를 갖는 안전도기록을 사용하여 선택적으로 감지될 수 있다. 원시 EOG 신호는 안구 각막과 망막 사이의 쌍극자에서 발생한다.
전기 신호는 눈이 안구 움직임을 발생하게 할 때 안구 운동 근육에서 발생한다. 안구 운동 근육에서 발생된 이러한 전기 신호는 눈의 근전도 (EMG)와 유사한 눈 움직임을 나타내는 것으로 감지 될 수 있다.
도 15를 참조하면, 안전도기록은 망막 (접지)과 눈의 각막 사이의 전위차 (전압)를 측정함으로써 전기 신호를 감지하는 것을 포함한다. 일반적으로 전극은 눈 주위에 배치되어 하나 이상의 접지 전극에 대해 위, 아래, 왼쪽 및 오른쪽 전압을 측정한다. 수평 눈 움직임을 나타내는 신호를 생성하기 위해 좌우 전압 측정 간의 차이를 만들 수 있다. 상향 및 하향 전압 측정의 차이는 수직 눈 움직임을 나타내는 신호를 생성하기 위해 만들어질 수 있다. 신호 처리가 이루어지기 전에 신호를 증폭하고 필터링 할 수 있다. 아날로그 신호는 디지털 신호로 변환되어 디지털 신호 처리가 사용자의 무의식적인 안구 운동에서 패턴에 대한 EOG 신호를 분석 할 수 있다.
무의식적인 안구 움직임 패턴은 상기 개인의 특정한 신경-근육-망막 해부체와 관련되기 때문에 개인의 생리학적 생체 인식을 수행하는 방법으로서 이용된다. 안구의 무의식적인 안구 움직임의 미세 동작을 획득하면 개인에게 고유한 패턴을 추출 할 수 있으며 개인의 신원을 인증하는 데 사용할 수 있다. 추출된 패턴을 분석하여 각 개인의 고유한 식별자를 제공하는 특징을 추출할 수 있다. 일 실시 예에서, 동공은 고속의 고해상도 카메라를 사용하여 식별되고 추적될 수 있다. 이미지는 이미지 처리 소프트웨어를 실행하는 프로세서로 처리되어 사용자를 고유하게 식별하는 무의식적인 안구 움직임에서 피쳐(feature)를 추출할 수 있다.
무의식적인 안구 움직임은 독자적인 인증 방법 또는 안구의 망막 해부학 이미지를 획득하는 망막 스캐너와 함께 사용될 수 있다. 무의식적인 안구 움직임은 안구의 홍채 해부학 이미지를 획득하는 홍채 스캐너와 함께 인증 방법으로 사용할 수도 있다. 무의식적인 안구 움직임은 안구 해부학 이미지를 촬영하는 망막 및/또는 홍채 스캐너와 함께 인증 방법으로 사용할 수도 있다.
무의식적인 안구 움직임 및 망막 및/또는 홍채를 사용하여 이중 또는 삼중 인증을 제공할 수 있다. 망막 및 홍채 스캐닝 기술에는 신경학적 요소가 포함되어 있지 않다. 망막 스캐닝 기술은 이차원 (2D) 스캔 이미지를 기반으로 인증을 수행하기 위해 망막의 해부학적 구조를 단순히 매핑한다. 무의식적인 안구 움직임은 현재의 안구 스캐닝 기술에 생체학적 생체 파라미터를 추가할 수 있다.
버크(Birk) 등이 출원 한 미국 특허공보 제 2014/0331315 호는, 인증 프로토콜에서 사용하기 위해 안구 움직임으로부터 생체 측정 파라미터를 도출하는 방법을 개시한다. 초록에 기술 된 "사용자에게 알려진 암호 또는 다른 정보", "디스플레이에 내장 된 정보 조각을 시각적으로 파악 "와 같은 눈의 초점을 활발하게 움직이는 행동 레퍼토리에 기초한 눈 움직임과 같은 종래의 인증 방법을 결합하고 있다. 버크(Birk)의 행동 레퍼토리는 안구 운동의 경로이거나, 사용자가 알고 있는 비밀번호나 코드와 일치하는 일련의 숫자/문자를 순차적으로 위치시키는 사용자의 안구 운동의 특징 일 수 있다고 한다.
버크(Birk)는 의식적 및 무의식적인 두 가지 유형의 안구 움직임이 있음을 인지하고 있다. 그러나, 버크(Birk)는 유일하고 능동적이고 의식적인 안구 움직임을 인식 기술의 입력으로 사용한다고 기술하고 있다. 버크(Birk)는 필수적으로 정의된 그리드를 사용하는데, 사용자 눈은 특정 순서를 갖고 돌아 다니면서 인식되어야 한다. 버크(Birk)는 사용자의 특정한 동작(습관)의 레퍼토리를 이용하고 있다.
버크(Birk)와는 대조적으로, 본 개시의 실시 예에서는 뇌간 및 대뇌 피질에 의해 제어되는 보통의 생리학적 눈의 무의식적인 움직임만을 이용한다. 실시 예에 의해 획득된 무의식적인 안구 움직임은 사용자가 하는 일에 기초하지 않고 사용자가 무엇인지에 기초하는 것이다.
Mikio Kamada에게 2004 년 8 월 31 일에 허여된 미국 특허 제 6,785,406 호 (이하, 카마다(Kamada))는, 이미지나 다른 신체 부위가 아닌, 안구의 움직임 및 홍채 수축을 이용하여 사용자로부터 데이터가 수집되도록 하는 홍채 인증 장치를 기술하고 있다. 카마다(Kamada)에서 사용되는 안구 움직임은 머리가 움직이는 동안 대상을 볼 때 눈-머리 좌표를 보장하는 눈의 전정 제어와 관련된 동작을 이용한다. 카마다(Kamada)는 또한 옵토키네틱 안진증(Optokinetic Nystagmus) 안구 동작을 사용하는데, 이는 대상이 시야에서 벗어나 망막의 중심을 다시 중심으로 가져 오는 큰 큐모의 단속성운동이다.
카마다(Kamada)에 기재된 안구 동작은 망막 피로 및 사용자 특유의 미동 동작과 관련이 없다. 카마다(Kamada)에 기술된 안구 동작은 반사적인 동작이다. 카마다(Kamada)는 사용자를 식별하는 데 안구 움직임을 사용하지 않고 획득된 데이터가 실제 사용자로부터 획득된 것인지 여부를 확인한다. 카마다(Kamada)에서 설명한 안구 동작은 사용자 별로 다르므로 반사적이기 때문에 사용자를 식별하는 데 사용할 수 없으므로 무릎 반사와 같으며 무릎 반사와 같은 모든 사람에게 서 나타나는 것이다. 카마다(Kamada)에서는 서로 다른 정도의 수준이 인정될 수 있지만, 신원을 제공하기 위해 개인을 구별할 만큼 충분하지는 않다.
2014 년 12 월 12 일에 Brandon Lousi Migdal에게 허여된 미국 특허 제 8,899,748 호는 개인의 전정 조절 (평형)과 관련된 안구 안진 운동을 검출하는 방법을 기술한다. 그러나, 전정 안진 안구 움직임은 수직 또는 수평 안구 동작일 수 있으며 일반적인 위치 반사로 시작된다. 더욱이, 전정 안진 안구 움직임은 본 개시의 실시 예에 의해 개개인을 구별하는데 유용한 무의식적 안구 운동의 정밀한 세분성이 결여되어 있다.
2015 년 11 월 24 일에 James R. Bergen에게 허여 된 미국 특허 제 9,195,890 호 (이하, 베르겐(Bergen))는 홍채 화상 비교에 기초한 생체 인식 방법을 개시한다. 베르겐(Bergen)의 비교는 눈의 홍채에서 추출된 독특한 해부학적 특징을 기반으로 한다. 홍채의 특징은 베르겐(Bergen)이 다양하고 세부적으로 묘사하고 있다. 조리개를 저장된 홍채 패턴에 정렬하고 일치시키려면, 베르겐(Bergen)은 다른 이미지 왜곡을 보정할 뿐 아니라 틸트/위치 및 모션을 보정해야 한다. 베르겐(Bergen)에서 언급한 안구 운동은 큰 규모이며 베르겐(Bergen)의 홍채 인식 시스템에서 품질 데이터를 수집하는 데 방해가 되기 때문에 바람직하지 않다 이것은 본 개시의 실시 예와는 상반된다고 할 수 있다.
Schonberg 등에게 허여 된 미국 특허 제 7,336,806 호는(이하 숀버그(Schonberg)), 고리 둘레가 열쇠인 사용자의 홍채 기반 인식을 개시한다. 숀 버그 (Schonberg)는 안구 동작을 포함한 다른 특징들을 제거되어야 할 잡음으로 간주하고 있다.
Kiderman 등에게 허여 된 미국 특허 제7,665,845 호는(이하 키더만(Kiderman)), 경량 고글을 기반으로 한 비디오 오큘로 그래픽 (VOG) 시스템을 설명한다. 키더만(Kiderman)의 고글은 측정 장비의 무게로 인해 임상 측정을 방해하지 않도록 고안되었다. 그러나, 키더만(Kiderman)은 본 개시의 실시 예에서 관심의 대상인 무의식적인 안구 움직임을 사용하는 것을 개시하지 않고 있다. 더욱이, 본 개시의 실시 예와 관련하여 공간 해상도에 대한 명백한 요구도 없다.
안전도기록(Electrooculography)은 무의식적인 안구의 움직임 신호를 직접 생성할 수 있다. 획득된 비디오 이미지를 사용하여 안구 움직임을 추적할 때, 비디오 이미지에서 안구의 가시적인 특징이 사용된다. 패턴 인식은 비디오 이미지의 각각의 이미지에서 가시적 인 특징을 검출하는데 사용될 수 있다.
도 14a 내지 도 14c는 무의식적 안구 움직임을 검출하는데 사용될 수 있는 안구의 비디오 이미지에서 볼 수 있는 특징에 대한 다이어그램이다.
도 14a를 참조하면, 안구의 이미지의 가시적인 특징은 홍채(914), 동공(912) 또는 중심와(916)일 수 있다. 에지 검출은 안구(900)의 비디오 이미지로부터 무의식적인 안구 움직임을 추적하는데 사용될 수 있다 사용자가 목적물을 고정하는 동안 획득될 수 있다. 엣지 검출은 홍채(1414)의 둘레(614), 동공(912)의 둘레(1412), 또는 중심부와(916)의 위치로부터 수행될 수 있다.
도 14b에 도시된 바와 같이, 홍채(914)의 둘레(1414)는 잘 정의되고 일관성이 있기 때문에 무의식적인 안구 움직임을 추적하는데 유용하다. 동공(912)의 둘레(1412)는, 선택적으로, 무의식적인 안구 움직임을 추적하는데 사용될 수 있다. 그러나, 동공의 크기와 위치는 광도에 따라 변한다.
도 14c에 도시된 바와 같이, 중심와(916)는 선택적으로 무의식적 안구 움직임을 추적하는데 사용될 수 있다. 그러나, 중심와(916)를 추적하는 것은 전형적으로 안구(900)의 망막(910)을 조명하기 위해 수정체(918)를 통해 빛나는 광원을 필요로 한다.
도 13a 내지 도 13c는 사용자 식별 및 인증을 위해 사용될 수 있는 무의식적 안구 움직임의 다양한 조합을 나타내는 다이어그램이다. 도 15는 사용자의 무의식적 안구 움직임 신호를 직접 생성하기 위한 안전도기록(electrooculography) 시스템의 블록도이다. 이해를 돕기 위해 도 13a 내지 도 13c와 이를 이용한 도 15의 시스템을 함께 설명하기로 한다.
도 13a에서, 단속성운동의 궤적, 드리프트 및 떨림을 포함한 3 가지 유형의 무의식적인 안구 움직임이 각 사용자의 고유 식별자를 결정하는 데 사용될 수 있다. 일 실시 예에서, 각 사용자를 고유하게 식별하기 위해 3개의 모든 무의식적인 안구 움직임으로부터 특징이 추출된다. 이 시스템은 각 사용자에 대해 동일한 기능을 계속해서 반복해서 추출한다.
도 13b에서, 단속성운동의 궤적 및 드리프트와 같은 2개의 무의식적인 안구 움직임이 각 사용자의 고유 식별자를 결정하는데 사용될 수 있다. 다른 실시 예에서는, 특징들은 각 사용자를 고유하게 식별하도록 단속성운동의 궤적들 및 드리프트로 부터 추출된다. 이 시스템은 각 사용자에 대해 동일한 기능을 계속해서 반복해서 추출한다.
도 13c에서, 떨림 성분과 같은 하나의 무의식적인 안구 움직임은 각 사용자의 고유 식별자를 결정하는데 사용될 수 있다. 또 다른 실시 예에서는, 각 사용자를 고유하게 식별하기 위해 안구 움직임의 떨림 성분으로부터 피쳐가 추출된다. 이 시스템은 각 사용자에 대해 동일한 기능을 계속해서 반복해서 추출한다.
도 15를 참조하면, 사용자(1599)의 무의식적인 안구의 움직임 신호를 직접 생성하는 안전도기록 시스템(1500)의 예시를 도시하고 있다. 복수의 전극 (1501A-1501E)은 안구 움직임 중의 각 안구의 전압을 획득하도록 사용자의 머리/얼굴 주변의 눈 부위에 위치한다. 전극은 사용자의 머리/얼굴의 표면에 전극을 연결하기 위해 후드 또는 얼굴 수신 장치의 일부일 수 있다. 전극(1501A-1501B)은 안구(900)의 상하 움직임을 획득한다. 전극(1501C-1501D)은 안구(900)의 좌우 움직임을 획득한다. 하나 이상의 전극(1501E)은 각 전극(1501 -1501D)에 접지 또는 제로 전압 레퍼런스를 제공한다.
전극(1501A-1501D)은, 고정 과정(fixation process) 동안 발생되는 무의식적인 안구 움직임을, 하나 이상의 접지 전극(1501E)에 대해 상하, 좌우, 및 전압을 측정한다.
필터링이 있거나 없는 전극(1501A-1501B)의 상측 및 하측 전압은 차동 증폭기(1504A)의 음 및 양 입력에 연결되어 상측 및 하측 전압 간의 차이를 증폭 및 계산한다. 이는 수직 안구 움직임 신호를 형성한다. 수직 안구 움직임 신호는 노이즈 및 다른 원치 않는 신호를 제거하여 수직 안구 움직임 신호를 추가적으로 강화하기 위해 아날로그 필터(1506A)에 연결될 수 있다. 필터링된 수직 안구 움직임 신호, 즉 아날로그 신호는 아날로그 형태를 디지털 형태의 신호로 변환하기 위해 A/D 컨버터 (1508A)에 연결될 수 있다. 디지털 필터링된 수직 안구 움직임 신호는 디지털 신호 프로세서(1510)의 제 1 병렬 디지털 입력에 연결될 수 있다. 다른 실시 예에서, 신호 프로세서는 혼합된 아날로그 및 디지털 신호를 지원하도록 제조될 수 있다. 따라서, 신호 처리기 (1510)는 포함될 수 있다.
유사하게, 필터링이 있거나 없는 필터링된 전극(1501C-1501D)의 좌측 및 우측 전압은 차동 증폭기(1504B)의 음 및 양 입력에 연결되어 좌우 전압 간의 차이를 증폭 및 계산한다. 이는 수평 안구 움직임 신호를 형성한다. 수평 안구 움직임 신호는 노이즈 및 다른 원치 않는 신호를 제거하여 수평 안구 움직임 신호를 추가적으로 강화하기 위해 아날로그 필터(1506B)에 연결될 수 있다. 필터링된 수평 안구 움직임 신호, 즉 아날로그 신호는 아날로그 형태를 디지털 형태의 신호로 변환하기 위해 A/D 컨버터(1508B)에 연결된다. 디지털 필터링된 수평 안구 움직임 신호는 디지털 신호 프로세서(1510)의 제 2 병렬 디지털 입력에 연결될 수 있다.
디지털 신호 프로세서(1510)는 디지털 필터링된 수평 안구 움직임 신호 및 디지털 필터링된 수직 안구 움직임 신호 모두를 사용하여 디지털 신호 처리를 수행하여 사용자의 무의식적인 안구 움직임으로부터 분석하고, 특징을 추출하고, 고유한 식별 패턴을 생성한다. 이 경우, 무의식적인 안구 움직임의 고유한 식별 패턴은 비디오 카메라 또는 스캐너를 사용하고 이미지를 분석없이 사용자의 머리/얼굴에서 직접 획득된다.
도 16a는 사용자의 안구 움직임 이미지를 획득하는데 사용될 수 있는 비디오 카메라를 구비한 전자장치의 다이어그램이다. 도 16b의 전자장치(1600)는 도 2의 전자장치(200) 또는 도 3의 전자장치(300)일 수 있으며 도 2의 전자장치(200)와 도 3의 전자장치(300)의 구성 부분의 일부의 조합 또는 전부를 포함하거나 본 개시(present disclosure)에 도시 되지 않은 구성요소를 포함할 수 있다. 도 16b는 사용자의 안구 움직임 이미지를 획득하는데 사용될 수 있는 도 16a에 도시된 비디오 카메라를 구비한 전자장치(1600)의 블록도이다.
도 16a 및16B를 참조하면, 비디오 카메라를 갖는 전자장치(1600)는 고정 과정(fixation process) 동안 사용자(1699)의 안구 움직임의 이미지를 획득하는 데 사용된다.
도 16b에서, 전자장치(1600)는 프로세서, 마이크로 컴퓨터 또는 마이크로 프로세서(1601)에 연결된 디스플레이 장치(1607) 및 비디오 카메라(1612)를 포함한다. 전자장치(1600)는 프로그램 명령 및 사용자 관련 데이터를 저장하는 메모리(1602)를 더 포함한다. 전자장치(1600)는 전자장치(1600)와 다른 장치 (무선 주파수 송신기/수신기) 사이의 통신을 제공하기 위해 하나 이상의 (무선 주파수 송신기/수신기) 라디오(1609) 및 하나 이상의 유선 커넥터(1622, 1624) (예를 들어, USB 포트 (1622) 및/또는 네트워크 인터페이스 포트를 포함한다. 전자장치(1600)는 전자장치(1600)를 사용하여 사용자에게 디스플레이 가능한 사용자 인터페이스 UI를 제공하는 터치 스크린 디스플레이 장치(1607)를 더 포함한다. 소프트웨어 제어는 사용자가 전자장치를 제어 할 수 있도록 터치 스크린 디스플레이 장치(1607) 상에 디스플레이될 수 있다. 전자장치(1600)는 사용자가 전자장치를 더 제어 할 수 있게 하는 하나 이상의 하드웨어 버튼(1604)을 선택적으로 포함할 수 있다.
안구 움직임을 획득하기 위해, 프로세서(1601)는 디스플레이 장치(1607)에 의해 디스플레이되는 고정 타겟(1650)을 생성한다. 비디오 카메라(1612)가, 프로세서(1601)의 제어 하에, 이미지, 비디오, 사용자의 눈의 시계열적인 시퀀스를 획득하는 동안 사용자는 시선을 타겟(1650)에 고정하도록 요청을 받을 수 있다. 비디오 카메라는 프레임단위로 사용자의 한쪽 또는 양쪽 안구의 무의식적인 안구 움직임을 획득한다. 3D 가속도계 데이터는 비디오와 함께 획득되어 카메라(1612) 및 전자장치(1600)의 물리적 움직임을 제거하여 안구의 움직임을 결정한다.
프로세서(1601)는 신호 프로세서 기능을 제공하거나 포함할 수 있다. 어떤 경우이든, 프로세서는 패턴 인식 소프트웨어 및 신호 처리 소프트웨어의 명령을 실행하여 사용자의 한쪽 또는 양쪽 안구의 무의식적인 안구 움직임을 획득한 비디오를 분석한다. 패턴 인식 소프트웨어는 비디오의 안구 및 홍채 및 동공을 식별하는 데 사용될 수 있다.
시계열적인 시퀀스의 이미지에서 사용자가 눈을 깜박거렸는지 여부 및 안구 움직임을 검출하기에 충분한 시퀀스가 포착되었는지 여부에 대해 획득된 비디오는 분석된다. 그렇지 않은 경우, 사용자는 고정 과정(fixation process)을 반복하도록 사용자 인터페이스에 요청 받는다.
충분한 이미지 시퀀스가 획득되면, 이미지들로부터 안구 움직임을 결정하기 위해 추가 분석이 수행된다. 홍채 또는 눈동자와 같은 안구의 기준점은 고정 또는 응시 과정에서 획득한 비디오의 무의식적인 움직임을 결정하는 데 사용된다. 3D 가속도계 데이터는 실제의 안구 움직임 데이터를 형성하기 위해 원시 안구 움직임 데이터로부터 비디오에 획득된 카메라(16812)의 물리적 움직임을 배제하는데 사용된다.
안구 움직임 데이터는 사용자의 인증 및/또는 고유하게 식별하는데 사용되는 무의식적 안구 움직임 데이터의 유형을 추출하기 위해 추가로 분석된다.
사용자는 전자장치(1600)로 초기화되어, 초기에 획득된 무의식적인 안구 움직임 데이터의 초기 데이터 세트를 저장한다. 초기 데이터 세트로부터, 무의식적인 안구 움직임의 시계열에 링크된 특징이 추출되어 사용자와 연관되어 분류된다.
새롭게 획득된 무의식적인 안구 움직임 데이터의 획득된 데이터 세트로부터 추출된 특징은 사용자를 식별하기 위해 초기 획득된 무의식적인 움직임 데이터로부터 추출되어 저장된 특징과 비교된다. 사용자가 전자장치를 사용할 권한이 있는지를 판별하기 위해 일치 비율을 계산할 수 있다.
새롭게 획득된 무의식적인 안구 움직임 데이터는 일치된 결과를 결정하기 위해 초기 획득된 무의식적인 움직임데이터와 비교된다. 일치 결과가 일치 비율 내에 있으면 사용자가 식별되어 장치 사용 권한이 부여된다. 일치 결과가 일치 비율을 벗어나면 사용자는 알 수 없으며 기기 사용 권한이 없게 된다.
무의식적인 안구 움직임 (예를 들어, 떨림)은 약 150 헤르츠 (Hz)의 최대 주파수를 발생할 수 있다. 원추 형상의 직경은 0.5 ~ 4 마이크로 미터이다.
무의식적인 안구 움직임을 포착하기 위해, 전자장치(1600)의 프로세서(1601)에 연결된 비디오 카메라(1612)와 같은 시스템의 적절한 기록 장치는, 최소 프레임 레이트(초당 프레임 수)는 적어도 300 Hz-450 Hz의 범위이거나 최적으로 프레임 레이트가 1000Hz 이상으로 동작한다.
기 존재하는 전자장치에 있는 카메라 및 프로세서는 소프트웨어 응용 프로그램이나 드라이버에서 재구성하여 일반적인 설정보다 빠르게 실행할 수 있다. 보통 (큰규모의 단속성 운동)은 초당 300도 정도를 보장하며 1/3 초 내에 눈을 다시 정렬 할 수 있다. 무의식적 미세 단속성 운동은 초당 몇 도에서 0.2도 아래까지의 진폭을 보장한다. 따라서, 0.1-0.2 도의 범위 내로 분해될 수 있는 기록 장치의 공간 해상도는 원하는 무의식적 안구 움직임을 획득하는데 최적일 수 있다.
원하는 무의식적인 안구 움직임을 획득하기 위해, 일 유형의 전자장치(1600)가 도 8A 및 도 8B에 도시되어 있지만, 다른 유형의 전자장치가 무의식적인 안구 움직임을 포착하기 위해 사용될 수 있다.
도 17a 내지 도 17c는 사용자 안구 움직임 이미지를 획득하는데 사용될 수 있는 비디오 카메라를 구비한 전자안경의 다이어그램 및 타겟에 대해 도시한다.
도 17a 및 도 17b를 참조하면, 사용자의 안구 움직임의 이미지를 획득하는데 사용될 수 있는 전자안경(1700)이 도시되어 있다. 눈 움직임의 획득된 이미지에서, 작은 규모의 무의식적인 안구 움직임을 추출할 수 있다. 전자안경(1700)은 시스템 또는 장치에 대한 사용자를 식별하고, 인증하고, 인증하기 위해 사용자에 의해 일시적으로 착용 될 수 있다.
전자안경(1700)은 한 쌍의 아이 와이어에 좌측 렌즈(1704L)와 우측 렌즈(1704R)가 장착 된 아이 글래스 프레임(1702)을 포함한다. 일 실시 예에서, 안경테(1702)는 브릿지(1707), 좌측절(1708L), 우측절(1708R), 코 패드, 코 패드 암 및 한 쌍의 아이 와이어를 포함한다. 이들 전자안경(1700)은 안경 처방전에 착용 할 수 있는 안경 클립 일 수 있다. 렌즈(1704L-1704R)는 처방 렌즈 일 수도 있고 아닐 수 도 있다.
작은 타겟(1706)은 비디오 카메라를 향해 사용자의 눈을 향하게 하기 위해 좌측 렌즈(1704L)의 우측 상부 모서리에 형성될 수 있다. 선택적으로, 타겟(1706)은 사용자의 눈을 비디오 카메라쪽으로 향하게 하기 위해 우측 렌즈(1704R)의 상부 좌측 코너에 형성될 수 있다. 타겟(1706)은 렌즈의 표면 상에 타겟 이미지를 프린트함으로써, 타겟 이미지를 렌즈에 새김으로써, 렌즈의 표면 상에 타겟 광을 비추어서 형성될 수 있다. 또는 투명 표면 상에 이미지를 적용하는 다른 공지 된 수단에 의해 수행 될 수 있다.
도 17c를 참조하면, 타겟(1706)은 중심 개구 또는 홀(1707)을 갖는 짧은 심도의 타겟이다. 렌즈(1704L 또는 1704R)상의 타겟(1706)은 사용자가 초점을 맞추는 데 너무 가까울 수 있다. 그러나, 사용자는 타겟(1706)의 중심 개구(907)를 통해 초점을 맞출 수 있다. 중심 개구(1707)를 갖는 타겟(1706)은 광학 테더와 같이 작용하여 동공이 비디오 카메라와 일직선상에 위치하여 눈 움직임을 더 잘 획득할 수 있다.
도 17b를 참조하면, 전자안경(1700)은 비디오 카메라(1710), 프로세서(1712), 메모리 장치(1714), 무선 송/수신기(1716) 및 안경 프레임(1702)에 부착된 전원공급부(예를 들어, 배터리)(1720)를 포함할 수 있다. 전자안경(1700)은 프레임(1702) 또는 코 패드 암(1722)에 장착된 선택적인 발광 다이오드(LED)(1718)를 더 포함할 수 있다.
비디오 카메라(1710)는 타겟을 갖고 있는 렌즈, 예를 들어 타겟(1706)을 갖는 좌측 렌즈(1704L), 방향으로 약간 경사진 구조이다. 따라서 타겟에 초점을 맞출 때 눈과 더 정렬될 수 있다. 비디오 카메라(1710) 및 프로세서(1712)는 최대 주파수 150 Hz에서 무의식적인 안구 움직임을 획득하기 위해 초당 300 내지 1000 프레임 범위의 프레임 레이트로 함께 동작한다.
무선부(Radio)(1716)는 컴퓨터 또는 서버에 사용자를 인증하기 위해 컴퓨터 또는 서버와 통신하기 위해 프로세서에 의해 사용될 수 있다. 메모리(1714)는 획득된 안구 움직임으로부터 추출 된 초기 무의식적인 안구 움직임의 특징을 포함하는 초기화 데이터를 저장하는데 사용될 수 있다.
전자안경(1700)은 일시적으로 사용자가 착용하여 사용자를 시스템에 인증할 수 있다. 선택적으로, 전자 고글을 사용할 수 있다.
도 18a 및 도 18b는 사용자의 안구 움직임의 이미지를 획득하는데 사용될 수 있는 비디오 카메라를 구비한 VR(Virtual Reality) 기기의 다이어그램이다.
도 18a 및 도 18b를 참조하면, 사용자의 눈의 안구 운동을 포착하는데 사용될 수 있는 비디오 카메라를 포함하는 전자 가상 현실 헤드셋 또는 고글(1800)이 도시된다. 전자 가상 현실 헤드셋은 사용자 헤드에 부착된 헤드셋을 유지하기 위해 프레임(1802) 및 헤드 스트랩(1803)을 포함한다. 프레임(1802)은 외부 광이 들어오지 못하도록 두건 영역(1899)을 제공하기 위해 사용자의 눈 주위에 얼굴을 수용하도록 구성된 상측, 하측, 좌측 및 우측의 플렉서블 커튼 또는 블라인더(1804)를 포함한다. 하부 커튼 또는 블라인더(1804B)는 사용자의 코를 수용하기 위한 코 개구(1805)를 포함한다.
도 18b에서, 헤드셋(1800)은 프레임(1802)에 연결된 비디오 카메라(1810), 좌측 디스플레이 장치(1812L) 및 우측 디스플레이 장치(1812R)를 더 포함한다. 헤드셋(1800)은 함께 연결된 프로세서(1811) 및 메모리(1814)를 더 포함한다. 비디오 카메라(1810) 및 좌측 및 우측 디스플레이 장치(1812L, 1812R)는 프로세서(1811)에 연결된다. 좌측 디스플레이 장치(1812L) 및 우측 디스플레이 장치(1812R)는 다양한 깊이로 인식되는 스테레오 3 차원 이미지를 사용자에게 제공할 수 있다. 비디오 카메라(1810)는 눈 움직임을 포착하기 위해 상이한 위치에서 후드 영역(1899) 내의 프레임(1802)에 연결될 될 수 있다. 비디오 카메라(1810)는 좌측 및 우측 디스플레이 장치(1812L, 1812R)에 의해 디스플레이된 비디오 이미지와의 간섭을 피하기 위해 눈 움직임을 포착하기 위해 도시된 바와 같이 우측에 위치될 수 있다. 다른 실시 예에서, 한쪽 또는 양쪽 눈으로부터 무의식적인 안구의 미세 움직임이 사용자를 인증하는데 사용되도록 좌우 한 쌍의 안구의 움직임을 획득하기 위해 한 쌍의 비디오 카메라(1810)가 반대쪽에 위치될 수 있다.
좌측 타겟(1806L) 및 우측 타겟(1806R)을 포함하는 스테레오 3 차원 타겟은 프로세서(1811)에 의해 생성되어 좌측 디스플레이 장치(1812L) 및 우측 디스플레이 장치(1812R) 상에 각각 디스플레이될 수 있다. 좌측 타겟(1806L) 및 우측 타겟 (1806R)은 눈을 먼 거리에 집중시키도록 타겟을 멀리 보이게 할 수 있고, 비디오 카메라(1810)로 무의식적 안구 움직임을 더 잘 획득하기 위해 눈을 고정시킬 수 있다.
프로세서(1811)는 케이블(1850) 및 플러그(1852)에 의해 다른 시스템에 배선 될 수 있다. 선택적으로, 무선 송신기/수신기(1816)는 프로세서 및 헤드셋/고글 헤드셋/고글(1800)의 인증 성능을 사용하기 위해 무선으로 다른 시스템에 연결될 수 있도록 프로세서(1811)에 연결될 수 있다.
도 19a는 사용자의 안구 움직임에 관한 데이터 획득을 돕는 이미터 장치를 구비한 콘택트 렌즈를 포함한 안구의 다이어그램이다. 도 19b 내지 도 19d는 사용자의 안구 움직임에 관한 데이터 획득을 돕는데 사용될 수 있는 다양한 이미터 장치를 구비한 콘택트 렌즈의 다이어그램이다. 도 19e는 능동 이미터 장치의 기능 블록도이다. 도 19f는 사용자의 안구 움직임에 관한 데이터를 획득하는데 사용될 수 있는 안구에 장착된 콘택트 렌즈 근처의 감지장치의 측면도이다.
도 19f를 참조하면, 안구 움직임은 렌즈(918) 위의 사용자의 한쪽 또는 양쪽 눈(900)에 장착된 콘택트 렌즈(1900)를 사용함으로써 다른 방식으로 획득될 수 있다. 콘택트 렌즈(1900)는 렌즈 물질(1104)과 연결된(예를 들어, 내장되거나 프린트 되어 연결) 하나 이상의 이미터(1902)를 포함할 수 있다.
이미터(emitter)(1902)는, 발광다이오드(LED) 또는 드라이빙 회로와 연관된 무선 비콘(예를 들어, 라디오 송신기/수신기, 다이오드 드라이버)과 같은 능동 장치일 수 있거나, 리플렉터(reflector), 리트로 리플렉터(retro-reflector), 또는 거울과 같은 수동 장치일 수 있다.
능동 이미터 장치의 경우에, 방출된 광 또는 무선 신호를 수신하여 하나의 시점에서 다음 시점까지의 눈의 위치를 결정하여 일정 시간 동안 눈의 움직임을 직접 획득하는 하나 이상의 센서가 사용된다. 전력은 눈 주위의 베이스 안테나로부터 콘택트 렌즈의 능동 이미터 장치에 연결된 안테나로 무선으로 연결될 수 있다. 무선 신호는 또한 능동 집적 회로 장치에 연결된 베이스 안테나와 안테나 사이에 연결될 수 있다. 무의식적인 안구의 미세 움직임을 포함하여 눈 움직임을 포착하기 위해 집적 회로의 일부로서 3 차원 모션 센서가 포함될 수 있다.
수동 이미터 장치의 경우, 광원의 광은 수동 이미터 장치로 보내져서 안구 주위의 하나 이상의 포토 다이오드 센서로 다시 광을 반사 시키도록 활성화시킨다. 능동 이미터 장치와 수동 이미터 장치의 조합은 동일한 콘택트 렌즈에서 사용되어 어느 한쪽 또는 양쪽 방법으로 안구 운동을 획득할 수 있다.
도 19b-19d는 각각 콘택트 렌즈(1900A-1900C)에 내장 된 하나의 이미터(1902A), 두 개의 이미터(1902B-11\902C) 및 네 개의 이미터(1902D-1902G)를 도시한다.
도 19b에서, 능동 이미터(1902A)는 콘텍트 렌즈(1900A)의 둘레의 가장자리 부분의 둘 이상의 안테나 라인(1905A-1905B)에 연결된 것으로 도시되어 있다. 능동 이미터(1902A)는 프로세서/제어기 및 그 외부에 결합 된 또는 집적 회로상에 내부적으로 통합된 다른 회로를 갖는 집적 회로(1906)를 포함한다. 선택적으로, 이미터(1902A)는 능동 이미터일 수 있다.
도 19c에서, 한 쌍의 수동 이미터(1902B-1902C)는 컨택드 렌즈(1900B)의 둘레의 가장자리의 부분 주변에 배치되어 도시된다. 선택적으로, 이미터들(1902B-1902C)은 콘택트 렌즈(1900B)의 둘레 가장자리 부근의 부분에서 둘 이상의 안테나 피드(1905A-1905B)를 갖는 능동 이미터일 수 있다.
도 19d에서, 한 쌍의 능동 이미터들(1902D-1902E) 및 한 쌍의 수동 이미터들(1902F-1902G)이 콘택트 렌즈(1900C)의 둘레의 가장자리 부근에 도시 되어있다. 선택적으로, 모든 이미터(1902D-1902G)는 능동 이미터 또는 수동 이미터일 수 있으며; 단지 다른 하나는 수동적 일 수 있다. 다른 하나는 수동적으로 활성화 될 수 있다.
도 19e를 참조하면, 능동 이미터(1902)의 예시의 추가 세부 사항이 도시된다. 능동 이미터(1902A)는 프로세서/제어기(1910) 및 그 외부에 연결되거나 프로세서/제어기(1910)에 연결된 집적 회로 상에 내부적으로 집적된 다른 회로를 갖는 집적 회로(1906)를 포함한다.
집적 회로(1906)는 안테나(1905A-1905B)를 통해 프로세서(1910)에 연결된 전력 변환 회로(1912)로 전력을 수신할 수 있다. 발진 무선 주파수 (RF) 신호로부터의 무선 주파수 에너지는 근접한 베이스 안테나에 의해 더 많은 안테나 피드들(1905A-1905B)을 생성한다. 전력 변환 회로(1912)는 AC RF 신호들을 IC(1906) 내의 다른 회로들 뿐만 아니라 IC(1906)에 연결된 회로들에 대한 DC 전원으로 정류(rectify) 및 조절(regulate) 할 수 있다.
집적 회로(1906)에 연결된 발광 다이오드(LED)(1908)에 의해, 내부의 다이오드 드라이버(1918)가 프로세서(1910)와 발광 다이오드(LED)(1908) 사이에 연결된다. 전력이 전력 변환 프로세서는 다이오드 드라이버(1918)를 활성화시키기 위한 신호를 생성 할 수 있다. 프로세서는 전원을 사용하여 다이오드 드라이버(19118)를 활성화시켜 발광 다이오드(1908)에 전력을 공급하여 사용자의 눈으로부터 빛을 방출한다.
선택적으로 또는 부가적으로, 집적 회로(1906)는 안구 움직임을 직접 감지하는 프로세서에 연결된 3D 동작 센서(1917)를 가질 수 있다. 전력으로, 무선 송신기/ 수신기(트랜시버)(1909)에 연결된 프로세서는 안테나 라인(1905A-1195B)을 통해 무선 송수신기(1919)로 무선 신호를 송신 및 수신할 수 있다. 무선 송수신기를 갖는 기본 유닛은 눈 움직임 데이터를 수집하고 추가로 처리할 수 있다
도 19f를 참조하면, 능동 이미터의 경우, 프레임(1921), 렌즈(1922), 및 렌즈(1922) 둘레에 감겨진 베이스 안테나(1924A-1924B)의 폴을 포함하는 베이스 유닛 (1999)이 도시된다. 베이스 안테나(1924A-1924B)는 베이스 라디오 수신기/송신기 (미도시)에 연결되고, 획득된 안구 움직임 신호를 처리하는 베이스 프로세서 (미도시)에 연결된다.
콘택트 렌즈의 안테나 라인들(1905A-1905B) 근처의 베이스 안테나(1124A-1124B)를 가지고, 베이스 유닛(1199)과 콘택트 렌즈(1900C)사이에서 무선 주파수 전력/에너지/무선 주파수 신호들을 함께 전달하도록 유도적으로 연결될(inductively coupled to) 수 있다.
전원이 인가되면, 모션 센서 (1917)에 의해 획득된 안구 움직임은 각각의 무선 송수신기에 의해 콘택트 렌즈 (1900C)로부터 베이스 유닛(1999)으로 전달 될 수 있다.
수동 이미터의 경우, 베이스 유닛(1999) (부가적으로 또는 선택적으로)은 렌즈(1912)의 가장자리 근처에서 연결된 하나 이상의 포토 다이오드 센서(1934A-1934B)를 포함한다. 베이스 유닛(1999)은 하나 이상의 수동 이미터(1902F, 1902G)를 향해 빛을 비추기 위해 디스플레이 장치와 같은 광원(1932)을 더 포함할 수 있다. 하나 이상의 수동 이미터(1902F, 1902G)에서 반사되는 빛은 하나 이상의 포토 다이오드 센서(1934A-1934B)에 의해 획득되어 시간 경과에 따른 눈의 위치 및 움직임을 결정한다. 포토 다이오드 센서들(1934A-1134B)로 부터의 와이어들(1914)은 획득된 안구 움직임 신호들을 처리하기 위해 베이스 프로세서 (미도시)에 연결된다.
베이스 유닛(1999)은 안경, VR 고글, 독립적인 안구스캐너, 또는 벽에 장착된 안구스캐너의 형태일 수 있다.
전자장치는 안경, 고글, 콘택트 렌즈의 경우와 같이 사용자의 눈 또는 눈에 인접한 사용자에 의해 착용 될 수 있지만, 눈 움직임을 획득하기 위한 전자장치는 사용자가 비디오 카메라, 센서 또는 안테나 근처에 눈 또는 눈을 위치시키면서 무의식적인 안구 움직임을 포함하는 구조 또는 시스템에 의해 처리될 수 있다.
도 20a 내지 도 20b는 건물구조물의 접근 제어를 위해 부착되어 안구 움직임을 획득하는 장치를 도시한다.
도 20a는 사용자의 무의식적 안구 미세 움직임에 응답하여 하나 이상의 도어(2002)에 대한 접근을 제어하기 위해 건물 구조물(2000)에 부착 된 안구 움직임 획득장치(2001)를 도시한다. 안구 움직임 획득 장치(2001)는 구조물(2000)의 하나 이상의 도어(2002)에 대한 접근을 제어하기 위해 접근(Access) 시스템(2003)에 연결된다. 접근 시스템(2003)은 허가된 사용자의 무의식적 안구의 미세 움직임에 응답하여 하나 이상의 도어 (2002) 잠금해제 제어를 수행할 수 있다.
도 20b는 좌측 눈 또는 우측 눈 주위의 사용자의 얼굴 영역을 수신하는 눈 움직임 획득장치(2001)의 확대도를 도시한다. 도 18b를 참조하여 앞서 논의 된 바와 같이, 안구 움직임 획득 장치(2001)는 비디오 카메라(1810), 디스플레이 장치(1812R) 및 프로세서에 연결된 메모리(1814)뿐만 아니라 프로세서(1811)의 일부 유사한 구조 및 기능을 포함할 수 있다. 프로세서(1811)는 케이블 및 플러그에 의해 접근 시스템 (2003)에 배선될 수 있다. 선택적으로, 프로세서(1811)는 프로세서(1811)에 결합 된 무선장치(1816)에 의해 접근 시스템(2003)에 무선으로 결합 될 수 있다.
도 21a 및 도 21b는 사용자를 시스템에 인증하기 위한 독립적인 안구스캐너를 도시한다.
도 21a는 케이블 연결 또는 각각의 무선 송신기/수신기로 무선으로 시스템 (2102)에 연결된 독립형 안구스캐너(2101)를 도시한다. 시스템(2102)은 서버 (2106)에 연결될 수 있다. 서버는 원격일 수 있고 인터넷과 같은 광역 네트워크 (2104)를 통해 접근될 수 있다. 독립형 안구스캐너(2101)는 사용자의 한쪽 또는 양쪽 눈의 안구 미세 움직임에 응답하여 시스템(2102) 및 서버(2106)에 대해 사용자를 비침습적으로 인증하는데 사용될 수 있다.
도 21b는 사용자 얼굴의 눈 영역을 수용하는 독립형 안구스캐너(2101)의 확대도를 도시한다. 도 18b를 참조하여 앞서 논의 된 바와 같이, 안구 움직임 획득 장치(2101)는 프로세서(1811)뿐만 아니라 하나 이상의 비디오 카메라(1810), 좌측 디스플레이 디바이스(1812L), 우측 디스플레이 디바이스(1812R) 및 프로세서에 연결된 메모리(1814)를 포함한다. 프로세서(1811)는 케이블(1850) 및 플러그(1852)에 의해 시스템(2102)에 배선될 수 있다. 좌측 및/또는 우측 디스플레이 장치(1812L, 1812R) 상에 좌측 및/또는 우측 타겟(1806L, 1806R)이 유사하게 생성되어 독립형 안구스캐너(2101)가 사용자의 한쪽 또는 양쪽 눈의 안구 미세 움직임에 응답하여 사용자를 비침습적으로 인증할 수 있다.
Claims (20)
- 생체 인식 기술을 활용한 전자 장치로서,
사전 설정된 샘플링 주파수로 사용자 안구 움직임(eye movement)에서 신경 근육톤(neuro-muscular tone)을 포함하는 사용자의 적어도 하나의 움직임(movement) 정보를 획득(capture)하는 안구 움직임 정보 획득 장치;
상기 안구 움직임 정보 획득 장치와 전기적으로 연결되는 프로세서; 및
상기 프로세서와 전기적으로 연결되고, 사용자를 식별하기 위한 고유한 특성값과 연관된 정보를 저장하도록 구성된 저장 장치를 포함하며,
상기 저장 장치는, 실행시에, 상기 프로세서가,
상기 안구 움직임 정보 획득 장치를 이용하여 제 1 사전 설정된 시간 범위 동안 사전 설정된 샘플링 주파수로 안구 움직임(eye movement)에서 신경 근육톤을 포함하는 사용자의 적어도 하나의 제 1 움직임 정보를 획득하게 하고,
상기 획득된 사용자의 적어도 하나의 제 1 움직임 정보들 중에서, 제 1 움직임 정보 획득 초기 부분의 정보 중에서 제 2 사전 설정된 시간 범위 동안의 신호 정보를 제거하게 하고,
제 2 사전 설정된 시간 범위 동안의 신호 정보가 제거된 적어도 하나의 제 1 움직임 정보들로부터, 신경 근육톤의 의식적인 움직임(voluntary movement)과 연관된 신호 성분을 억제하여, 신경 근육톤의 제 1 무의식적인 움직임(non-voluntary movement) 정보를 획득하게 하고,
상기 획득된 신경 근육톤의 제 1 무의식적인 움직임 정보에 기초하여 신경 근육톤과 연관된, 미리 측정 가능하고 사용자를 식별할 수 있는 수학적 성질을 포함하는 적어도 하나의 제 1 고유한 특성값을 추출하게 하고,
상기 적어도 하나의 제 1 고유한 특성값을 다차원 벡터 형태의 자료로 형성하게 하고,
상기 적어도 하나의 제 1 고유한 특성값에 기초하여 적어도 하나 이상의 예측 모델들을 선택하고, 적어도 하나 이상의 예측 모델들의 제 1 파라미터를 추출하게 하고,
사전에 준비된 고유한 특성값들을 기반으로 하여 상기 적어도 하나 이상의 예측 모델들의 성능 평가를 수행하게 하는
명령어들을 저장하는
생체 인식 기술을 활용한 전자 장치.
- 제 1 항에 있어서,
상기 저장 장치는, 실행시에, 상기 프로세서가,
상기 제 1 고유한 특성값에 기초하여 제 1 신경-역학적 지문(neuro-mechanical fingerprint)을 생성하게 하는 명령어를 추가로 저장하는
생체 인식 기술을 활용한 전자 장치.
- 제 1 항에 있어서,
상기 프로세서는, 적어도 하나 이상의 전력 모드를 구비한
생체 인식 기술을 활용한 전자 장치.
- 제 1 항에 있어서,
상기 저장 장치는, 실행시에, 상기 프로세서가,
상기 예측 모델의 파라미터를 저장하게 하는 명령어를 추가로 저장하는
생체 인식 기술을 활용한 전자 장치.
- 제 3 항에 있어서,
상기 프로세서는, 실행시에, 상기 프로세서가,
사전 설정된 시간 동안의 사용자로 부터의 입력 감지에 기반하여 저전력 모드로 진입하는 명령어를 추가로 구비한
생체 인식 기술을 활용한 전자 장치.
- 제 2 항에 있어서,
상기 저장 장치는, 실행시에, 상기 프로세서가,
상기 안구 움직임 정보 획득 장치를 이용하여 제 3 사전 설정된 시간 범위 동안 사전 설정된 샘플링 주파수로 안구 움직임(eye movement)에서 신경 근육톤을 포함하는 사용자의 적어도 하나의 제 2 움직임 정보를 획득하게 하고,
상기 획득된 사용자의 적어도 하나의 제 2 움직임 정보들 중에서 제 4 사전 설정된 시간 범위 동안의 신호 정보를 제거하게 하고,
제 4 사전 설정된 시간 범위 동안의 신호 정보가 제거된 적어도 하나의 제 2 움직임 정보들로부터, 신경 근육톤의 의식적인 움직임과 연관된 신호 성분을 억제하여, 신경 근육톤의 제 2 무의식적인 움직임 정보를 획득하게 하고,
상기 획득된 신경 근육톤의 제 2 무의식적인 움직임 정보에 기초하여, 신경 근육톤과 연관된, 미리 측정 가능하고 사용자를 식별할 수 있는 수학적 성질을 포함하는 적어도 하나의 제 2 고유한 특성값을 추출하게 하고,
상기 적어도 하나의 제 2 고유한 특성값에 기초하여 예측 모델의 제 2 파라미터를 추출하게 하고,
상기 적어도 하나의 제 2 고유한 특성값에 기초하여 제 2 신경-역학적 지문을 생성하게 하는,
명령어들을 추가로 저장하는
생체 인식 기술을 활용한 전자 장치.
- 제 6 항에 있어서,
상기 저장 장치는, 실행시에, 상기 프로세서가,
상기 제 1 신경-역학적 지문과 연관된 정보와 상기 제 2 신경-역학적 지문과 연관된 정보와의 일치 비율(matching percentage)을 결정하게 하는 명령어를 추가로 저장하는
생체 인식 기술을 활용한 전자 장치.
- 제 7 항에 있어서,
상기 저장 장치는, 실행시에, 상기 프로세서가,
상기 일치 비율이 사전에 설정된 접근(access) 일치 비율과 같거나 높은 경우에 응답하여, 상기 사용자가 사전에 인증된 사용자인지의 여부를 결정하게 하는 명령어를 추가로 저장하는
생체 인식 기술을 활용한 전자 장치.
- 제 8 항에 있어서,
상기 저장 장치는, 실행시에, 상기 프로세서가,
상기 인증된 사용자에게 전자 장치에 대한 접근(access)을 허가하게 하는 명령어를 추가로 저장하는
생체 인식 기술을 활용한 전자 장치.
- 제 2 항에 있어서,
상기 저장 장치는, 실행시에, 상기 프로세서가,
상기 제 1 신경-역학적 지문에 기초한 암호화 키(encryption key)를 사용하여 암호화 알고리즘(encryption algorithm)으로 암호화된 데이터(encryption data)를 생성하게 하는 명령어를 추가로 저장하는
생체 인식 기술을 활용한 전자 장치.
- 제 10 항에 있어서,
상기 저장 장치는, 실행시에, 상기 프로세서가,
상기 안구 움직임 정보 획득 장치를 이용하여 제 3 사전 설정된 시간 범위 동안 사전 설정된 샘플링 주파수로주파수로 안구 움직임(eye movement)에서 신경 근육톤을 포함하는 사용자의 적어도 하나의 제 2 움직임 정보를 획득하게 하고,
상기 획득된 사용자의 적어도 하나의 제 2 움직임 정보들 중에서 제 4 사전 설정된 시간 범위 동안의 신호 정보를 제거하게 하고,
제 4 사전 설정된 시간 범위 동안의 신호 정보가 제거된 적어도 하나의 제 2 움직임 정보들로부터, 신경 근육톤의 의식적인 움직임과 연관된 신호 성분을 억제하여, 신경 근육톤의 제 2 무의식적인 움직임 정보를 획득하게 하고,
상기 획득된 신경 근육톤의 제 2 무의식적인 움직임 정보에 기초하여, 신경 근육톤과 연관된 미리 측정 가능하고 사용자를 식별할 수 있는 수학적 성질을 포함하는 적어도 하나의 제 2 고유한 특성값을 추출하게 하고,
상기 적어도 하나의 제 2 고유한 특성값에 기초하여 예측 모델의 제 2 파라미터를 추출하게 하고,
상기 제 2 고유한 특성값에 기초하여 제 2 신경-역학적 지문을 생성하게 하는,
명령어들을 추가로 저장하는
생체 인식 기술을 활용한 전자 장치.
- 제 11 항에 있어서,
상기 저장 장치는, 실행시에, 상기 프로세서가,
상기 제 1 신경-역학적 지문과 연관된 정보와 상기 제 2 신경-역학적 지문과 연관된 정보와의 일치 비율을 결정하게 하는 명령어를 추가로 저장하는
생체 인식 기술을 활용한 전자 장치.
- 제 12 항에 있어서,
상기 저장 장치는, 실행시에, 상기 프로세서가,
상기 일치 비율이 사전에 설정된 접근 일치 비율과 같거나 높은 경우에, 상기 제 1 신경-역학적 지문을 사용하여 상기 암호화된 데이터를 해독(decryption)하게 하는 명령어를 추가로 저장하는
생체 인식 기술을 활용한 전자 장치.
- 제 13 항에 있어서,
상기 저장 장치는, 실행시에, 상기 프로세서가,
상기 암호화된 데이터를 원격 서버에 전송하게 하는 명령어를 추가로 저장하는
생체 인식 기술을 활용한 전자 장치.
- 제 14 항에 있어서,
상기 저장 장치는, 실행시에, 상기 프로세서가,
상기 암호화된 데이터를 원격 서버로부터 수신하게 하는 명령어를 추가로 저장하는
생체 인식 기술을 활용한 전자 장치.
- 제 8 항에 있어서,
도어(door)의 잠금(locking) 또는 잠금 해제(door unlocking)를 제어하는 접근 장치를 더 구비하고,
상기 저장 장치는, 실행시에, 상기 프로세서가,
상기 인증된 사용자인지의 여부에 응답하여, 도어의 잠금 또는 잠금 해제를 제어하게 하는 명령어를 추가로 저장하는
생체 인식 기술을 활용한 전자 장치.
- 생체 인식 기술을 활용하여 사용자를 인증하는 사용자 인증 장치를 이용한 사용자 인증 방법으로서,
상기 사용자 인증 장치가, 안구 움직임 정보 획득 장치를 이용하여 제 1 사전 설정된 시간 범위 동안 사전 설정된 샘플링 주파수로주파수로 안구 움직임(eye movement)에서 신경 근육톤(neuro-muscular tone)을 포함하는 사용자의 적어도 하나의 제 1 움직임 정보를 획득하고,
상기 사용자 인증 장치가, 상기 획득된 사용자의 적어도 하나의 제 1 움직임 정보들 중에서, 제 1 움직임 정보 획득 초기 부분의 정보 중에서 제 2 사전 설정된 시간 범위 동안의 신호 정보를 제거하고,
상기 사용자 인증 장치가, 상기 제 2 사전 설정된 시간 범위 동안의 신호 정보가 제거된 적어도 하나의 제 1 움직임 정보들로부터, 신경 근육톤의 의식적인 움직임(voluntary movement)과 연관된 신호 성분을 억제하여, 신경 근육톤의 제 1 무의식적인 움직임(non-voluntary movement) 정보를 획득하고,
상기 사용자 인증 장치가, 상기 획득된 신경 근육톤의 제 1 무의식적인 움직임 정보에 기초하여, 신경 근육톤과 연관된, 미리 측정 가능하고 사용자를 식별할 수 있는 수학적 성질을 포함하는 적어도 하나의 제 1 고유한 특성값을 추출하고,
상기 사용자 인증 장치가, 상기 적어도 하나의 제 1 고유한 특성값을 다차원 벡터 형태의 자료로 형성하고,
상기 사용자 인증 장치가, 상기 적어도 하나의 제 1 고유한 특성값에 기초하여 적어도 하나 이상의 예측 모델들을 선택하고, 적어도 하나 이상의 예측 모델들의 파라미터를 추출하고,
사전에 준비된 고유한 특성값들을 기반으로 하여 상기 적어도 하나 이상의 예측 모델들의 성능 평가를 수행하는
생체 인식 기술을 활용한 사용자 인증 방법.
- 제 17 항에 있어서,
상기 사용자 인증 장치가, 상기 제 1 고유한 특성값에 기초하여 제 1 신경-역학적 지문(neuro-mechanical fingerprint)을 생성하는 것을 더 포함하는
생체 인식 기술을 활용한 사용자 인증 방법.
- 제 17 항에 있어서,
상기 사용자 인증 장치가, 사전 설정된 시간 동안의 사용자로 부터의 입력 감지에 기반하여 저전력 모드로 진입하는 것을 더 포함하는
생체 인식 기술을 활용한 사용자 인증 방법.
- 제 18 항에 있어서,
상기 사용자 인증 장치가, 상기 예측 모델의 파라미터를 저장하는 것을 더 포함하는
생체 인식 기술을 활용한 사용자 인증 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230023286A KR102558210B1 (ko) | 2019-01-28 | 2023-02-22 | 생체 인식 기술을 활용한 사용자 식별, 인증 및 암호화 장치 및 그의 동작 방법 |
| KR1020230092171A KR102611467B1 (ko) | 2019-01-28 | 2023-07-17 | 생체 인식 기술을 활용한 사용자 식별, 인증 및 암호화장치 및 그의 동작 방법 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190010816A KR102504526B1 (ko) | 2019-01-28 | 2019-01-28 | 생체 인식 기술을 활용한 사용자 식별, 인증 및 암호화 장치 및 그의 동작 방법 |
| KR1020230023286A KR102558210B1 (ko) | 2019-01-28 | 2023-02-22 | 생체 인식 기술을 활용한 사용자 식별, 인증 및 암호화 장치 및 그의 동작 방법 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190010816A Division KR102504526B1 (ko) | 2019-01-28 | 2019-01-28 | 생체 인식 기술을 활용한 사용자 식별, 인증 및 암호화 장치 및 그의 동작 방법 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230092171A Division KR102611467B1 (ko) | 2019-01-28 | 2023-07-17 | 생체 인식 기술을 활용한 사용자 식별, 인증 및 암호화장치 및 그의 동작 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230040962A KR20230040962A (ko) | 2023-03-23 |
| KR102558210B1 true KR102558210B1 (ko) | 2023-07-21 |
Family
ID=72041807
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190010816A KR102504526B1 (ko) | 2019-01-28 | 2019-01-28 | 생체 인식 기술을 활용한 사용자 식별, 인증 및 암호화 장치 및 그의 동작 방법 |
| KR1020230023286A KR102558210B1 (ko) | 2019-01-28 | 2023-02-22 | 생체 인식 기술을 활용한 사용자 식별, 인증 및 암호화 장치 및 그의 동작 방법 |
| KR1020230092171A KR102611467B1 (ko) | 2019-01-28 | 2023-07-17 | 생체 인식 기술을 활용한 사용자 식별, 인증 및 암호화장치 및 그의 동작 방법 |
| KR1020230172456A KR102646298B1 (ko) | 2019-01-28 | 2023-12-01 | 생체 인식 기술을 활용한 사용자 식별, 인증 및 암호화 장치 및 그의 동작 방법 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190010816A KR102504526B1 (ko) | 2019-01-28 | 2019-01-28 | 생체 인식 기술을 활용한 사용자 식별, 인증 및 암호화 장치 및 그의 동작 방법 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230092171A KR102611467B1 (ko) | 2019-01-28 | 2023-07-17 | 생체 인식 기술을 활용한 사용자 식별, 인증 및 암호화장치 및 그의 동작 방법 |
| KR1020230172456A KR102646298B1 (ko) | 2019-01-28 | 2023-12-01 | 생체 인식 기술을 활용한 사용자 식별, 인증 및 암호화 장치 및 그의 동작 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (4) | KR102504526B1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003533801A (ja) | 2000-05-16 | 2003-11-11 | スイスコム・モバイル・アクチエンゲゼルシヤフト | 生物測定学的な身元確認方法及び認証方法 |
| US20160241554A1 (en) * | 2015-02-04 | 2016-08-18 | Aerendir Mobile Inc. | Local user authentication with neuro and neuro-mechanical fingerprints |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11544359B2 (en) * | 2016-11-08 | 2023-01-03 | Proprius Technolgies S.A.R.L | Unique patterns extracted from involuntary eye motions to identify individuals |
| KR102655737B1 (ko) * | 2016-11-30 | 2024-04-05 | 삼성전자주식회사 | 생체 성분 추정 장치 및 방법 |
-
2019
- 2019-01-28 KR KR1020190010816A patent/KR102504526B1/ko active IP Right Grant
-
2023
- 2023-02-22 KR KR1020230023286A patent/KR102558210B1/ko active IP Right Grant
- 2023-07-17 KR KR1020230092171A patent/KR102611467B1/ko active IP Right Grant
- 2023-12-01 KR KR1020230172456A patent/KR102646298B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003533801A (ja) | 2000-05-16 | 2003-11-11 | スイスコム・モバイル・アクチエンゲゼルシヤフト | 生物測定学的な身元確認方法及び認証方法 |
| US20160241554A1 (en) * | 2015-02-04 | 2016-08-18 | Aerendir Mobile Inc. | Local user authentication with neuro and neuro-mechanical fingerprints |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230169039A (ko) | 2023-12-15 |
| KR20200093392A (ko) | 2020-08-05 |
| KR102611467B1 (ko) | 2023-12-08 |
| KR20230040962A (ko) | 2023-03-23 |
| KR102504526B1 (ko) | 2023-02-28 |
| KR102646298B1 (ko) | 2024-03-11 |
| KR20230121964A (ko) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230083361A1 (en) | Unique patterns extracted from involuntary eye motions to identify individuals | |
| EP4024351B1 (en) | Biometric system | |
| TWI726864B (zh) | 本機鑑認經授權使用者及對電子裝置之控制存取之方法、使用者鑑認之方法、電子裝置、生理鑑認控制器、產生使用者之唯一生理識別之方法及登入至系統或應用程式中之方法 | |
| Li et al. | Whose move is it anyway? Authenticating smart wearable devices using unique head movement patterns | |
| Luo et al. | OcuLock: Exploring human visual system for authentication in virtual reality head-mounted display | |
| CN113572729B (zh) | 使用神经及神经机械指纹的数据加密/解密 | |
| AU2015255652B2 (en) | Systems and methods for using eye signals with secure mobile communications | |
| US20180103917A1 (en) | Head-mounted display eeg device | |
| US20150294149A1 (en) | Multivariate Dynamic Biometrics System | |
| TWI708205B (zh) | 用於監測使用者之神經變性疾病、飲酒和心率變異性之方法、系統及電子裝置 | |
| KR102132613B1 (ko) | 생체인식기술을 활용한 사용자 인증방법 및 인증장치 | |
| KR20230058440A (ko) | 데이터 분석을 이용한 베이핑 및 점화 시동에 대한 연령 차단을 포함하는 외부 상황에 대한 정적 인공 지능 모델을 가진 전자 디바이스 및 그의 동작 방법 | |
| KR102558210B1 (ko) | 생체 인식 기술을 활용한 사용자 식별, 인증 및 암호화 장치 및 그의 동작 방법 | |
| JP2012529331A (ja) | 生体認証のためのシステム及び方法 | |
| Luo | Understanding User Privacy in Immersive Multimedia Platforms | |
| Ashwash et al. | Eye gestures recognition: a mechanism for hands-free computer control | |
| CN116830124A (zh) | 具有使用数据分析的用于包括对吸电子烟和点火启动进行年龄分段的上下文情境的静态人工智能模型的电子装置及其操作方法 | |
| CN117332256A (zh) | 意图识别方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |