KR101977895B1 - 감정정보를 이용한 사용자 인증시스템 - Google Patents
감정정보를 이용한 사용자 인증시스템 Download PDFInfo
- Publication number
- KR101977895B1 KR101977895B1 KR1020170137255A KR20170137255A KR101977895B1 KR 101977895 B1 KR101977895 B1 KR 101977895B1 KR 1020170137255 A KR1020170137255 A KR 1020170137255A KR 20170137255 A KR20170137255 A KR 20170137255A KR 101977895 B1 KR101977895 B1 KR 101977895B1
- Authority
- KR
- South Korea
- Prior art keywords
- authentication
- user
- module
- emotion
- voice
- Prior art date
Links
- 230000002996 emotional effect Effects 0.000 title claims abstract description 19
- 230000008451 emotion Effects 0.000 claims abstract description 92
- 230000008921 facial expression Effects 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 54
- 230000008909 emotion recognition Effects 0.000 claims description 29
- 238000010195 expression analysis Methods 0.000 claims description 13
- 238000004886 process control Methods 0.000 claims description 11
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000001149 cognitive effect Effects 0.000 claims 1
- 210000004556 brain Anatomy 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000013475 authorization Methods 0.000 abstract 1
- 238000000537 electroencephalography Methods 0.000 description 49
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000010926 purge Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- A61B5/0476—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/45—Structures or tools for the administration of authentication
- G06F21/46—Structures or tools for the administration of authentication by designing passwords or checking the strength of passwords
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G06K9/00268—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Bioethics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychology (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Psychiatry (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 감정정보를 이용한 사용자 인증시스템을 제공한다. 이와 같은 본 발명에 따른 감정정보를 이용한 사용자 인증시스템은 종래의 아이디와 패스워드를 이용하여 인증을 수행함에 있어 발생할 수 있는 악의적인 목적을 가진 사용자나 다른 사람의 강요나 강압에 의해 인증을 수행하는 사용자의 감정상태를 파악하여 불법적인 요소가 있는 경우에 보다 더 강화된 인증수단을 요구하여 휴대기기나 서버의 자원 사용에 있어 보다 더 향상된 안정성을 확보하고, 기본인증에 이어 추가인증으로 통해 휴대기기나 서버에서 사용할 수 있는 자원의 접근을 제한함으로써, 사용자의 보안 등급에 따라서 휴대기기 및 서버에서 구동되는 프로세스 등에 대한 제어를 수행함으로써 보안의 강도를 높일 수 있으며, 인증 수단을 추가할 수 있는 모듈화를 통해 새로운 기술에 대한 접근이 용이하고, 인증절차에 있어서도 다양하고 유연한 인증 및 접근 제어 서비스를 제공할 수 있으며, 또한 자원 및 사용자 등급에 따른 인증 절차의 다양화로 인증시 발생하는 비용을 최소화할 수 있도록 인증을 수행하는 사용자의 뇌파, 얼굴표정 및 음성 등 감정상태를 정량적으로 수치화하여 퍼지알고리즘을 이용하여 감정상태를 추론한 후, 비퍼지화를 통해 일정한 수치를 통해 사용자의 감정상태를 인식하는 기술(뇌파측정, 얼굴표정 및 음성, Fuzzy)과 기본인증(아이디와 패스워드) 및 추가인증(MR인증, VR인증, AR인증)기술 및 인증에 기반한 자원의 접근제어 기술(RABC, GRBAC)을 접목하여 유연하고 자동화된 보안 시스템을 제안함은 물론 상황인식 기반의 통합 인증 및 접근제어와 프로세스 관리가 가능한 새로운 감정정보를 이용한 사용자 인증시스템에 관한 것인다.
Description
본 발명은 감정정보를 이용한 사용자 인증 서비스 시스템에 관한 것으로서, 더욱 상세하게는 사용자가 휴대기기나 PC 등을 이용하여 금융서비스나 인터넷 쇼핑몰 또는 서버에 접속하는데 있어, 사용자는 해당 서비스를 이용하기 위해서 사용자 인증을 수행하게 되는데 악의적인 목적이나 불법적인 방법에 의해 사용자가 강요를 당하거나 불안한 상태에 있는 경우 인증을 수행하는 사용자의 감정정보를 수집하여 수집된 감정정보에 대하여 수치화하여 일정기준이상이면 추가적인 인증방안을 제시하여 향상된 인증을 수행할 수 있도록 통합인증 기술 및 서비스 및 자원의 접근제어 기술을 접목하여 감정정정보 기반의 통합 인증 및 접근제어와 프로세스 관리를 할 수 있는 새로운 감정정보를 이용한 사용자 인증시스템에 관한 것이다.
종래의 사용자 인증시스템은 사용자가 지정한 아이디와 패스워드를 이용하여 인증을 수행하는 경우가 일반적이다. 하지만 이러한 인증방법은 다양한 해킹기술이나 툴 또는 가짜 사이트를 이용하여 아이디와 패스워드를 도용하는 경우가 많아지고, 이를 보안하기 위하여 보다 복잡한 패스워드를 권유하거나 보안카드 혹은 OTP를 이용하여 접근하도록 하고 있다.
최근에는 다양한 모바일 플랫폼의 출현과 이동통신의 발전으로 스마트폰을 이용한 사용자들이 증가하고 있다. 이러한 스마트폰은 단순한 통화기능뿐만 아니라 통신기술을 이용한 이메일, 인터넷 쇼핑, 홈쇼핑, 금융서비스 등을 활용할 수 있는 소형 컴퓨터 기능을 갖추고 있는 멀티 휴대기기로서 그 이동성 및 사용상의 편리성으로 인하여 그 사용이 급증하고 있으나, 개인별로 휴대하고 있는 특징으로 인하여 개인정보에 관한 많은 데이터를 보유하고 있는데도 불구하고 보안성에 있어서는 상대적으로 취약한 단점이 있다. 특히, 스마트폰에 대한 보안 사고는 개인정보 유출이나 직접적으로 이용자의 금전적인 피해 등을 야기하기 때문에 그 심각성이 더욱 커지고 있는 실정이다.
보안 문제에 있어 취약한 문제점을 안고 있는 휴대기기에서 대부분의 사용자들이 사용하는 신원을 확인하는 인증수단으로 1차적으로 아이디와 패스워드를 이용한 인증 방식을 사용하고 있어, 사용하는 다양한 서비스의 수만큼 아이디와 패스워드를 생성 및 관리해야 하는 많은 불편함이나 다양한 서비스에 대하여 동일하거나 유사한 아이디 및 패스워드의 이용으로 한번 아이디와 패스워드를 분실하거나 도용당하게 되면 많은 서비스에서 문제가 발생하는 한계가 있다.
이러한 문제점을 해결하기 위해서 보다 다양한 멀티 팩(Multi Fact) 기반의 인증 방식 및 접근제어 모델이 필요한 현실이다.
종래 공개특허번호 제10-2014-0133762호 스마트폰의 근거리 홍채 촬영용 카메라를 이용한 홍채 인식 방법 및 장치는 스마트폰의 근거리 홍채 촬영용 카메라를 통해 촬영한 홍채영상을 2진 데이터로 처리함으로써 데이터량을 줄여 인식속도를 향상시킬 뿐만 아니라 홍채의 패턴 및 경로의 변화를 통해 오인식률을 줄일 수 있으며, 낮은 사양의 시스템을 통해서도 처리할 수 있어 소형화 및 휴대성이 증대될 수 있고, 밤낮 및 조명에 따른 패턴의 진하기에 관계없이 인식률을 높일 수 있도록 한다.
이러한 홍채를 이용한 인증방식은 종래의 아이디와 패스워드가 아닌 사용자의 신체 일부의 특징을 이용한 것으로 새로운 인증방식에 해당하나, 렌즈를 끼거나 홍채를 복사하는 도용의 가능성이 있으며, 강요나 협박에 의한 사람의 감정상 변화를 감지하지 못하는 문제가 있다.
종래 등록특허번호 제10-1779358호 스마트폰 기반 음성인식 어플리케이션 제어 방법은 스마트폰에서 입력받은 사용자 음성을 서버 프로그램에서 수신된 아나운서 등의 정확한 표준 발음과 비교하여 발음 정확도, 말의 속도, 목소리 크기, 억양 유사도와 얼마나 유사한지 발음 분석 알고리즘을 통해 분석하고 사용자가 발음하기 힘든 유형을 분류해 발음 연습을 효과적으로 할 수 있도록 하여 사용자의 다양한 음성의 차이를 보완한 측면이 있다.
하지만 상기 종래 특허는 사용자의 일반적인 경우의 음성 차이에 따른 구별을 통한 인증방법으로서, 새로운 인증수단에 해당하나 상황에 따른 사람의 음성상의 차이를 정확하게 구별하지 못하는 한계가 있다.
특히, 1차적인 인증수단으로서 새로운 인증방식이나 그에 기반한 자원의 접근에 대한 제어에 대한 연구가 많이 이루어지고 있으나, 최근 문제가 되고 있는 불법적인 보이스 피싱과 같은 강압이나 강요에 의한 상황 등과 같이 언제든지 보안상 위협을 받고 있으므로 인하여 추가적인 인증수단을 제시하여 보안에 있어, 향상된 통합인증 기술 및 이에 기반한 자원의 접근제어에 대한 모델방식이 절실히 요구되고 있는 실정이다.
따라서 본 발명은 이와 같은 종래 기술의 문제점을 개선하여, 클라우드 컴퓨팅 환경인 휴대기기 또는 PC 등을 이용하여 다양한 자원에 접속할 경우 통합적으로 관리 및 제어가 가능한 인증 및 접근제어 모델이 필요하게 되는데, 이를 해결하기 위해서 휴대기기 또는 PC 등을 이용하여 서버에 접속하여 감정정보(뇌파정보, 얼굴표정정보 및 음성정보)를 수집하여 통합하여 감정상태를 정량적으로 수치화하여 퍼지알고리즘을 이용하여 감정상태를 추론한 후, 비퍼지화를 통해 일정한 수치를 통해 사용자의 감정상태를 인식하는 기술(뇌파측정, 얼굴표정 및 음성, Fuzzy)과 기본인증(아이디와 패스워드) 및 추가인증(MR인증, VR인증, AR인증)기술 및 인증에 기반한 자원의 접근제어 기술(RABC, GRBAC)을 접목하여 유연하고 자동화된 보안 시스템을 제안함은 물론 상황인식 기반의 통합 인증 및 접근제어와 프로세스 관리가 가능한 감정정보를 이용한 사용자 인증시스템을 제공하는 것을 목적으로 한다.
그리고, 본 발명에서는 단순하게 접근제어 수단인 RBAC나 GRBAC를 적용함에 있어서도, 서버에 접근하는 인증을 수행하는 사용자의 보안 등급에 따라 접근가능한 자원의 레벨을 제한하고, 보안 레벨에 따라 스마트폰이나 서버에 동작중인 다른 프로세스를 제어(permit, block)함으로써 보안의 강도를 강화할 수 있다.
또한, 본 발명은 사용자의 다양한 감정상태에 대하여 추가적으로 확인할 수 있는 수단을 자유롭게 추가 및 삭제가 가능하도록 하며, 사용자의 상황에 따른 다양한 인증 방법도 추가적으로 제공할 수 있어 사용자의 편의성 및 시스템 안정성을 보장할 수 있는 감정정보를 이용한 사용자 인증시스템를 구현하고자 한다.
상술한 목적을 달성하기 위한 본 발명의 특징에 의하면, 본 발명은 인증을 수행하는 사용자에 대하여 뇌파를 측정한 뇌파정보를 클라이언트(100)에 전송하는 뇌파 수집장치(10);와 인증을 수행하는 사용자의 얼굴표정정보를 수집하여 클라이언트(100)에 전송하는 얼굴표정 수집장치(20);와 인증을 수행하는 사용자의 음성정보를 수집하여 클라이언트(100)에 전송하는 음성 수집장치(30);와 상기 뇌파 수집장치(10), 얼굴표정 수집장치(20) 및 음성 수집장치(30)를 통해 입력받은 인증하는 사용자의 감정정보를 분석한 뇌파수치, 얼굴표정수치, 음성수치로 이루어진 감정수치를 서버(200)에 전송하고, 서버(200)로부터 전송된 인증결과를 사용자에게 출력하는 클라이언트(100); 및 상기 클라이언트(100)로부터 수신되는 아이디와 패스워드 및 추가인증에 따른 인증을 수행하고, 결과와 감정수치를 퍼지화하여 분석한 결과에 따른 추가인증여부를 결정하며, 인증된 사용자의 보안등급을 확정하여 그 결과를 클라이언트(100)에 전송하는 서버(200);를 포함하는 구성으로 이루어지는 것을 특징으로 하는 감정정보를 이용한 사용자 인증시스템을 제공한다.
이와 같은 본 발명에 따른 감정정보를 이용한 사용자 인증시스템의 클라이언트(100)는, 사용자 인증을 위한 기본인증으로 아이디와 패스워드를 입력하는 웹페이지 를 제공하고, 서버(200)로부터 추가적인 사용자 인증이 필요한 경우, 인증수단으로 융합현실장치, 가상현실장치 및 증강현실장치를 이용한 인터페이스모듈(121)을 구동하는 클라이언트UI매니저(110);와 상기 뇌파수집장치, 얼굴표정수집장치 및 음성수집장치를 통해 인증하는 사용자의 감정정보를 분석한 결과를 보안에이전트(130)에 전송하는 감정인지매니저(120); 및 상기 클라이언트UI매니저(110)로부터 수신된 아이디와 패스워드 및 감정인지매니저(120)로부터 전송된 감정수치를 서버(200)에 전송하고, 서버(200)로부터 전송된 인증결과를 수신하여 클라이언트UI매니저(110) 및 프로세스제어모듈(133)에 전송하는 보안에이전트(130);를 포함하는 구성으로 이루어지는 것을 특징으로 한다.
이와 같은 본 발명에 따른 감정정보를 이용한 사용자 인증시스템의 서버(200)는, 서버(200)를 관리하는 관리자에게 서버(200)의 사용과 관련된 설정 및 변경을 수행할 수 있도록 인터페이스를 제공하는 서버UI매니저(210);와 상기 클라이언트(100)로부터 전송된 아이디와 패스워드 및 추가인증데이터를 수신하여 인증을 수행하고, 감정수치를 수신하여 감정분석매니저(230)에 전송하여 결과에 따라 클라이언트(100)에 추가인증을 요청하며, 사용자 인증결과에 따라 등급별 자원의 접근 제어, 인증절차 및 프로세스 허용여부를 결정하여 클라이언트(100)에 전송하는 보안게이트웨이(220); 및 상기 보안게이트웨이(220)로부터 전송된 감정수치를 수신하여 퍼지화한 후, 분석된 결과에 따른 추가인증여부를 상기 보안게이트웨이(220)에 전송하는 감정분석매니저(230);를 포함하는 구성으로 이루어지는 것을 특징으로 한다.
이와 같은 본 발명에 따른 감정정보를 이용한 사용자 인증시스템의 감정인지매니저(120)는, 상기 뇌파수집장치, 얼굴표정수집장치 및 음성수집장치와 각각 연결되어 각 장치로부터 수집한 뇌파정보, 얼굴표정정보 및 음성정보를 각각 수신하여 뇌파분석모듈(122), 얼굴표정분석모듈(123) 및 음성분석모듈(124)에 전송하는 인터페이스모듈(121);와 상기 인터페이스모듈(121)로부터 전송된 인증을 수행하는 사용자의 뇌파상태를 측정한 주파수를 통해 분석한 뇌파수치를 감정인지모듈(125)에 전송하는 뇌파분석모듈(122);와 상기 인터페이스모듈(121)로부터 전송된 인증을 수행하는 사용자의 얼굴표정으로부터 사용자의 감정상태를 분석한 얼굴표정수치를 감정인지모듈(125)에 전송하는 얼굴표정분석모듈(123);와 상기 인터페이스모듈(121)로부터 전송된 인증을 수행하는 사용자의 음성정보를 분석하여 수치화한 음성수치를 감정인지모듈(125)에 전송하는 음성분석모듈(124); 및 상기 뇌파분석모듈(122), 얼굴표정분석모듈(123) 및 음성분석모듈(124)로부터 전송된 각 수치를 포함하는 감정수치에 대하여 관리자가 설정한 정상범위여부를 판단하고, 정상범위가 아닌 경우에 감정수치를 보안에이전트(130)에 전송하는 감정인지모듈(125);를 포함하는 구성으로 이루어지는 것을 특징으로 한다.
이와 같은 본 발명에 따른 감정정보를 이용한 사용자 인증시스템의 보안에이전트(130)는, 상기 클라이언트UI매니저(110)로부터 수신된 아이디와 패스워드와 상기 감정인지매니저(120)로부터 전송된 감정수치를 수신하여 서버(200)에 전송하기 위하여 암호화하여 어댑터모듈(132)에 전송하거나 상기 어댑터모듈(132)로부터 전송된 서버(200)의 암호화되어 전송된 데이터를 수신하여 복호화한 후, 클라이언트UI매니저(110)에 전송하는 데이터암복호화모듈(131);와 상기 데이터암복호화모듈(131)로부터 수신된 암호화된 아이디와 패스워드 및 상기 감정인지모듈(125)로부터 전송된 감정수치를 수신하여 서버(200)에 전송하고, 서버(200)로부터 전송된 데이터를 수신하여 상기 데이터암복호화모듈(131)에 전송하는 어댑터모듈(132);와 상기 서버(200)로부터 정의된 사용자의 보안 등급에 따라 클라이언트(100)에서 사용가능한 프로세스를 제어하는 프로세스제어모듈(133) 및 보안에이전트(130)에 필요한 환경을 설정하는 에이전트설정모듈(134);를 포함하는 구성으로 이루어지는 것을 특징으로 한다.
이와 같은 본 발명에 따른 감정정보를 이용한 사용자 인증시스템의 보안게이트웨이(220)는, 서버UI매니저(210)을 통해 관리자로부터 보안게이트웨이(220)의 사용에 필요한 환경을 설정하는 게이트웨이설정모듈(221);와 상기 클라이언트(100)로부터 전송되는 아이디와 패스워드, 추가인증데이터 및 감정수치를 수신하여 데이터암복호화모듈(223)에 전송하고, 상기 서버(200)에서 인증한 결과, 추가인증요청 및 프로세스 허용여부 결과 등을 클라이언트(100)에 전송하는 인터페이스모듈(222);와 상기 인터페이스모듈(222)로부터 수신된 아이디와 패스워드, 추가인증데이터 및 감정수치를 수신하여 복호화하여 어댑터모듈(132)에 전송하고, 상기 인증모듈(225)로부터 전송된 인증결과에 따른 결과와 상기 접근제어모듈(226)에 의해 정의된 프로세스 허용정보를 암호화한 후 어댑터모듈(132)에 전송하는 데이터암복호화모듈(223);와 상기 서버(200)에서 수행하는 사용자 인증 및 접근제어 처리 절차를 정의하는 보안처리규칙모듈(224);와 상기 데이터암복호화모듈(223)로부터 수신한 아이디와 패스워드에 대한 기본인증을 수행하고, 상기 감정분석매니저(230)로부터 추론된 감정상태에 따른 사용자에 대한 추가인증 요청과 사용자가 수행한 추가인증을 실시하여 결과에 따라 사용자의 등급을 지정하는 인증모듈(225); 및 상기 보안처리규칙모듈(224)에 정의된 사용자의 등급에 따른 자원의 접근여부에 따라 서버(200)의 자원에 대한 제어를 수행하는 접근제어모듈(226);를 포함하는 구성으로 이루어지는 것을 특징으로 한다.
이와 같은 본 발명에 따른 감정정보를 이용한 사용자 인증시스템의 감정분석매니저(230)는, 상기 데이터암복호화모(223)로부터 전송된 감정수치에 포함된 뇌파수치, 얼굴표정수치 및 음성수치를 수신하여 로그저장모듈(232)와 퍼지모듈(233)에 전송하고, 상기 퍼지모듈(233)로부터 비퍼지화된 감정결과수치로부터 추가인증여부결과를 상기 인증모듈(225)에 요청하는 감정분석모듈(231);와 상기 감정분석모듈(231)로부터 전송된 인증을 수행하는 사용자의 감정수치에 해당하는 뇌파수치, 얼굴표정수치 및 음성수치를 아이디와 함께 저장하는 로그저장모듈(232);와 상기 감정분석모듈(231)로부터 전송된 인증을 수행하는 사용자의 뇌파수치, 얼굴표정수치 및 음성수치에 대하여 퍼지알고리즘을 적용하여 퍼지화된 데이터를 비퍼지화를 통해 사용자의 감정(긴장도)값을 추론하여 상기 감정분석모듈(231)에 전송하는 퍼지모듈(233);를 포함하는 구성으로 이루어지는 것을 특징으로 한다.
본 발명에 의한 감정정보를 이용한 사용자 인증시스템에 의하면, 종래의 아이디와 패스워드를 이용하여 인증을 수행함에 있어 발생할 수 있는 악의적인 목적을 가진 사용자나 다른 사람의 강요나 강압에 의해 인증을 수행하는 사용자의 감정상태를 파악하여 불법적인 요소가 있는 경우에 보다 더 강화된 인증수단을 요구하여 휴대기기나 서버의 자원 사용에 있어 보다 더 향상된 안정성을 확보하고, 기본인증에 이어 추가인증으로 통해 휴대기기나 서버에서 사용할 수 있는 자원의 접근을 제한함으로써, 사용자의 보안 등급에 따라서 휴대기기 및 서버에서 구동되는 프로세스 등에 대한 제어를 수행함으로써 보안의 강도를 높일 수 있는 장점이 있다.
그리고 본 발명은 사용자에 대한 감정 상태를 측정하는 대상에 있어 추가적인 인증 수단을 추가할 수 있는 모듈화를 통해 새로운 기술에 대한 접근이 용이하고, 인증절차에 있어서도 다양하고 유연한 인증 및 접근 제어 서비스를 제공할 수 있으며, 또한 자원 및 사용자 등급에 따른 인증 절차의 다양화로 인증시 발생하는 비용을 최소화할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 감정정보를 이용한 사용자 인증시스템의 구성도;
도 2는 본 발명의 실시예에 따른 뇌파 수집장치로부터 수집된 뇌파의 종류와 그에 해당하는 주파수 및 일반적인 정신상태에 관한 예시도;
도 3은 본 발명의 실시예에 따른 뇌파분석모듈, 얼굴표정분석모듈 및 음성분석모듈에서 검출한 뇌파수치, 얼굴표정수치 및 음성수치에 관한 예시도;
도 4는 본 발명의 실시예에 따른 검출한 뇌파수치, 얼굴표정수치 및 음성수치를 퍼지화하는 예시도;
도 5는 본 발명의 실시예에 따른 감정분석모듈부터 전송된 퍼지화된 뇌파수치(EEG), 얼굴표정수치 및 음성수치를 이용한 감정상태추론과정에 관한 절차도;
도 6은 본 발명의 실시예에 따른 퍼지화 과정을 나타내는 구성도;
도 7은 본 발명의 실시예에 따른 퍼지화된 3가지 수치를 통합하여 감정(긴장도)값을 추론하여 출력하는 프로그램 예시도이다.
도 2는 본 발명의 실시예에 따른 뇌파 수집장치로부터 수집된 뇌파의 종류와 그에 해당하는 주파수 및 일반적인 정신상태에 관한 예시도;
도 3은 본 발명의 실시예에 따른 뇌파분석모듈, 얼굴표정분석모듈 및 음성분석모듈에서 검출한 뇌파수치, 얼굴표정수치 및 음성수치에 관한 예시도;
도 4는 본 발명의 실시예에 따른 검출한 뇌파수치, 얼굴표정수치 및 음성수치를 퍼지화하는 예시도;
도 5는 본 발명의 실시예에 따른 감정분석모듈부터 전송된 퍼지화된 뇌파수치(EEG), 얼굴표정수치 및 음성수치를 이용한 감정상태추론과정에 관한 절차도;
도 6은 본 발명의 실시예에 따른 퍼지화 과정을 나타내는 구성도;
도 7은 본 발명의 실시예에 따른 퍼지화된 3가지 수치를 통합하여 감정(긴장도)값을 추론하여 출력하는 프로그램 예시도이다.
본 발명을 충분히 이해하기 위해서 본 발명의 바람직한 실시예를 첨부된 도면 도 1 내지 도 7에 의거하여 상세히 설명한다. 본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시예로 한정되는 것으로 해석되어서는 안 된다. 본 실시예는 당업계에서 통상적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공 되는 것이다. 따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. 각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 한편, 도면과 상세한 설명에서 뇌파측정, 얼굴표정인식, 음성검출 및 인증시스템 등 이 분야의 종사자들이 용이하게 알 수 있는 구성 및 작용에 대한 도시 및 언급은 간략히 하거나 생략하였다. 특히, 도면의 도시 및 상세한 설명에 있어서 본 발명의 기술적 특징과 직접적으로 연관되지 않는 요소의 구체적인 기술적 구성 및 작용에 대한 상세한 설명 및 도시는 생략하고, 본 발명과 관련되는 기술적 구성만을 간략하게 도시하거나 설명하였다.
이하, 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 감정정보를 이용한 사용자 인증시스템의 구성도이다.
도 1에 도시된 바와 같이, 감정정보를 이용한 사용자 인증시스템은 뇌파 수집장치(10), 얼굴표정 수집장치(20), 음성 수집장치(30), 클라이언트(100) 및 서버(200)를 포함하는 구성으로 이루어진다.
뇌파 수집장치(10)는 인증을 수행하는 사용자에 대하여 뇌파측정기 등을 이용하여 측정한 뇌파정보를 클라이언트(100)에 전송한다. 얼굴표정 수집장치(20)는 인증을 수행하는 사용자에 대하여 카메라 등의 영상장치를 이용하여 획득한 얼굴표정정보를 수집하여 클라이언트(100)에 전송한다. 음성 수집장치(30)는 인증을 수행하는 사용자에 대하여 녹음기 등의 음성장치를 이용하여 획득한 사용자의 음성정보를 수집하여 클라이언트(100)에 전송한다.
클라이언트(100)는 클라이언트UI매니저(110), 감정인지매니저(120) 및 보안에이전트(130)를 포함하는 구성으로 이루어져 사용자로부터 기본적인 인증수단인 아이디와 패스워드를 입력받아 서버(200)에 전송하며, 상기 뇌파 수집장치(10), 얼굴표정 수집장치(20) 및 음성 수집장치(30)를 통해 입력받은 인증하는 사용자의 감정정보를 분석한 뇌파수치, 얼굴표정수치, 음성수치를 서버(200)에 전송하고, 서버(200)로부터 전송된 인증결과를 사용자에게 출력한다.
클라이언트UI매니저(110)는 클라이언트(100)에서 사용자 인증을 위한 기본적으로 아이디와 패스워드를 입력할 수 있도록 하는 웹페이지를 제공한다. 클라이언트UI매니저(110)는 서버(200)로부터 추가적인 사용자 인증이 필요한 경우, OTP, PKI, SPKI, 융합현실장치, 가상현실장치 및 증강현실장치 등의 추가인증 UI를 제공한다. 클라이언트UI매니저(110)는 서버(200)로부터 기본인증이 실패함에 따른 자원의 접근에 대한 거부페이지나 추가인증의 실패에 따른 자원의 접근제한에 관한 안내 페이지를 제공한다.
감정인지매니저(120)는 인터페이스모듈(121), 뇌파분석모듈(122), 얼굴표정분석모듈(123), 음성분석모듈(124) 및 감정인지모듈(125)을 포함하는 구성으로 이루어져 상기 뇌파수집장치(10), 얼굴표정수집장치(20) 및 음성수집장치(30)를 통해 인증하는 사용자의 감정정보를 분석한 결과를 보안에이전트(130)에 전송한다.
인터페이스모듈(121)은 상기 뇌파수집장치(10), 얼굴표정수집장치(20) 및 음성수집장치(30)와 각각 연결되는 인터페이스를 제공하여 각 장치로부터 수집한 뇌파정보, 얼굴표정정보 및 음성정보를 각각 수신하여 뇌파분석모듈(122), 얼굴표정분석모듈(123) 및 음성분석모듈(124)에 전송한다.
도 2는 본 발명의 실시예에 따른 뇌파 수집장치로부터 수집된 뇌파의 종류와 그에 해당하는 주파수 및 일반적인 정신상태에 관한 예시도이다.
도 2에 도시된 바와 같이, 뇌파분석모듈(122)은 상기 인터페이스모듈(121)로부터 전송된 인증을 수행하는 사용자의 뇌파상태를 측정한 주파수를 통해 분석한 뇌파수치를 감정인지모듈(125)에 전송한다. 뇌파의 종류에는 깊은 수면인 델타파, 얕은 수면상태의 세타파, 안정된 상태인 알파파, 문제를 쉽게 해결하고 있는 SMR파, 집중력이 최고이며, 긴장, 불안 또는 흥분상태인 베타파로 분류된다.
얼굴표정분석모듈(123)은 상기 인터페이스모듈(121)로부터 전송된 인증을 수행하는 사용자의 얼굴표정에 대하여 휴대기기나 PC에 부착된 영상장치를 통해 수집한 얼굴표정으로부터 사용자의 감정상태를 분석한 얼굴표정수치를 감정인지모듈(125)에 전송한다. 얼굴표정에는 이마에 주름살이 지거나 입술을 굳게 다물거나 눈이 커지는 등 다양한 표정에서 두려움에 대한 얼굴표정을 중심으로 수치가 높을수록 긴장도 점수가 올라간다.
예를 들어, 얼굴표정에 대하여 마이크로소프트사에서 제공하는 감정 API에서는 [표 1]과 같이, 두려움에 관한 표정에 대하여 값을 제시하고 있다.
| 감정 | 수치 |
| 분노 | 0.0000 |
| 경멸 | 0.0000 |
| 역겨움 | 0.0000 |
| 두려움 | 0.9500 |
| 행복 | 0.0000 |
| 중립 | 0.0400 |
| 슬픔 | 0.0000 |
| 놀람 | 0.0100 |
음성분석모듈(124)은 상기 인터페이스모듈(121)로부터 전송된 인증을 수행하는 사용자의 발성의 높이 및 속도, 발음간의 길이, 의성어 표현 등 감정을 추출할 수 있는 요소에 따른 음성정보를 분석하여 수치화한 음성수치를 감정인지모듈(125)에 전송한다.
도 3은 본 발명의 실시예에 따른 뇌파분석모듈, 얼굴표정분석모듈 및 음성분석모듈에서 검출한 뇌파수치, 얼굴표정수치 및 음성수치에 관한 예시도이다.
도 3에 도시된 바와 같이, 뇌파분석모듈(122), 얼굴표정분석모듈(123) 및 음성분석모듈(124)로부터 검출하여 수치화된 뇌파수치(EEG, electroencephalography), 얼굴표정수치(FACE), 음성수치(VOICE)가 결정된다.
감정인지모듈(125)은 상기 뇌파분석모듈(122), 얼굴표정분석모듈(123) 및 음성분석모듈(124)로부터 전송된 각 수치를 분석하여 관리자가 설정한 정상범위의 경우에는 클라이언트UI매니저에서 입력된 아이디와 패스워드가 일치하는 경우에는 정상적으로 인증을 수행한다. 하지만 정상범위에 해당하지 않으면 세 가지 수치를 보안에이전트(130)에 전송한다. 감정인지모듈(125)에서 정상범위에 대한 기준은 관리자의 설정에 따라 달라진다.
예를 들어, 보안의 필요성이 높은 경우에는 세 가지의 수치가 모두 LOW의 범위에 있다면 정상범위이지만, 하나라도 MIDDLE범위에 있는 경우라도 정상범위가 아닐 수 있고, 반대로 보안의 낮은 경우에는 세 가지의 수치 중 모두가 HIGH인 경우에만 비정상범위로 할 수도 있다. 다만 본 발명의 실시예에서는 세 가지 수치 중 하나라도 HIGH가 발생하면 비정상범위에 해당하여 세 가지 수치를 모두 보안에이전트(130)에 전송한다.
보안에이전트(130)는 데이터암복호화모듈(131), 어댑터모듈(132), 프로세스제어모듈(133) 및 에이전트설절모듈(134)을 포함하는 구성으로 이루어져 상기 서버(200)와 통신을 수행하고, 상기 클라이언트(100)의 환경에서 보안 기능을 수행하도록 프로세스에 대한 제어를 수행한다. 보안에이전트(130)는 상기 클라이언트UI매니저(110)로부터 수신된 아이디와 패스워드 및 감정인지매니저(120)로부터 전송된 감정수치를 서버에 전송하고, 서버로부터 전송된 인증결과를 수신하여 클라이언트UI매니저(120) 및 프로세스제어모듈(133)에 전송한다.
데이터암복호화모듈(131)은 상기 클라이언트UI매니저(110)로부터 수신된 아이디와 패스워드와 상기 감정인지모듈(125)로부터 전송된 감정수치를 수신하여 서버(200)에 전송하기 위하여 암호화하여 어댑터모듈(132)에 전송하거나 상기 어댑터모듈(132)로부터 전송된 서버(200)의 암호화되어 전송된 데이터를 수신하여 복호화한 후, 클라이언트UI매니저(110)에 전송한다.
어댑터모듈(132)은 상기 데이터암복호화모듈(131)로부터 수신된 암호화된 아이디와 패스워드 및 상기 감정인지모듈(125)로부터 전송된 감정수치를 수신하여 서버(200)에 전송한다.
프로세스제어모듈(133)은 상기 서버(200)로부터 정의된 사용자의 보안 등급에 따라 클라이언트(100)에서 사용가능한 프로세스를 제어한다. 사용자의 보안 등급에 따라 클라이언트(100)에서 사용할 수 있는 서비스도 달라질 수 있다. 그리고 프로세스제어모듈(133)은 사용자 인증에서 추가인증이 필요한 상황으로 판단한 경우, 사용자의 추가인증이 실패한 경우, 클라이언트(100)의 일정자원의 사용을 제한할 수 있다. 예를 들어 카메라를 사용하지 못하게 한다든지 채팅앱을 구동시키지 못하게 하는 형태로 프로세스제어모듈(133)은 클라이언트(100)의 프로세스를 제어한다.
에이전트설정모듈(134)은 보안에이전트(130)에 필요한 환경을 설정한다. 에이전트설정모듈(134)은 데이터암복호화모듈(131)에서 수행하는 데이터를 송신 및 수신에 필요한 암호화 및 복호화로 이용되는 보안알고리즘, 예를 들어 SEED나 AES(Advanced Encryption Standard) 등을 설정하는 등 보안에이전트(130)에 필요한 환경을 설정한다.
서버(200)는 서버UI매니저(210), 보안게이트웨이(220) 및 감정분석매니저(230)를 포함하는 구성으로 이루어져 상기 클라이언트(100)로부터 수신되는 아이디와 패스워드 및 추가인증에 따른 인증을 수행하고, 결과와 감정수치를 퍼지화하여 분석한 결과에 따른 추가인증여부를 결정하며, 인증된 사용자의 보안등급을 확정하여 그 결과를 클라이언트(100)에 전송한다.
서버UI매니저(210)는 서버를 관리하는 관리자에게 서버의 사용과 관련된 설정 및 변경을 수행할 수 있도록 인터페이스를 제공한다. 관리자는 서버UI매니저(210)를 통해 보안게이트(220)에서 사용자 등급별로 인증절차 및 허용 불가능한 프로세스를 정의한다.
보안게이트웨이(220)는 게이트웨이설정모듈(221), 인터페이스모듈(222), 데이터암복호화모듈(223), 보안처리규칙모듈(224), 인증모듈(225) 및 접근제어모듈(226)을 포함하는 구성으로 이루어진다. 보안게이트웨이(220)는 클라이언트(100)로부터 전송된 아이디와 패스워드 및 추가인증데이터를 수신하여 인증을 수행하고, 감정수치를 수신하여 감정분석매니저(230)에 전송하여 결과에 따라 클라이언트(100)에 추가인증을 요청하며, 사용자 인증결과에 따라 등급별 자원의 접근 제어, 인증절차 및 프로세스 허용여부를 결정하여 클라이언트(100)에 전송한다.
게이트웨이설정모듈(221)은 보안게이트웨이(220)의 환경설정을 관리한다. 게이트웨이설정모듈(221)은 서버UI매니저(210)을 통해 관리자로부터 보안게이트웨이(220)의 사용에 필요한 환경을 설정하도록 한다.
인터페이스모듈(222)은 상기 클라이언트(100)로부터 전송되는 아이디와 패스워드, 추가인증데이터 및 감정수치를 수신하여 데이터암복호화모듈(223)에 전송한다. 그리고 인터페이스모듈(222)은 데이터암복호화모듈(223)로부터 전송된 서버(200)에서 인증한 결과, 추가인증요청 및 프로세스 허용여부 결과 등을 클라이언트(100)에 전송한다.
데이터암복호화모듈(223)은 상기 인터페이스모듈(222)로부터 수신된 아이디와 패스워드, 추가인증데이터 및 감정수치를 수신하여 복호화하여 어댑터모듈(132)에 전송한다. 또한 데이터암복호화모듈(223)은 상기 인증모듈(225)로부터 전송된 인증결과에 따른 추가인증여부, 프로세스 허용여부 결과 등의 데이터와 상기 접근제어모듈(226)에 의해 정의된 프로세스 허용정보를 암호화한 후 어댑터모듈(132)에 전송한다.
보안처리규칙모듈(224)은 상기 서버(200)에서 수행하는 사용자 인증 및 접근제어 처리 절차를 정의한다. 보안처리규칙모듈(224)은 인증을 수행한 사용자에 대한 등급 및 접근권한을 설정하여 등급에 따른 서버(200)에 있는 여러 가지 자원 및 클라이언트(100)의 사용가능한 프로세스를 지정한다.
인증모듈(225)은 상기 데이터암복호화모듈(223)로부터 수신한 아이디와 패스워드에 대한 기본인증을 수행한다. 인증모듈(225)은 상기 감정분석매니저(230)로부터 추론된 감정상태에 따른 사용자에 대한 추가인증 요청과 사용자가 수행한 추가인증을 실시하여 결과에 따라 사용자의 등급을 지정한다. 인증모듈(225)은 인증이 되면 상기 보안처리규칙모듈(224)에서 규칙화한 사용자에 대한 등급을 지정받고, 경우에 따라 그 등급 정보를 사용자가 확인할 수 있도록 데이터암복호화모듈(223)에 전송하여 클라이언트UI인터페이스를 통해 제공할 수도 있다.
접근제어모듈(226)은 상기 보안처리규칙모듈(224)에 정의된 사용자의 등급에 따른 자원의 접근여부에 따라 서버의 자원에 대한 제어를 수행한다. 접근제어모듈(226)은 클라이언트(100)에서 수행할 수 있는 프로세스의 접근 여부에 대해서도 정의하여 상기 데이터암복호화모듈(223)에 전송한다.
감정분석매니저(230)는 감정분석모듈(231), 로그저장모듈(232) 및 퍼지모듈(233)을 포함하는 구성으로 이루어져 상기 보안게이트웨이(220)로부터 전송된 감정수치를 수신하여 퍼지화한 후, 분석된 결과에 따른 추가인증여부를 상기 보안게이트웨이(220)에 전송한다.
감정분석모듈(231)은 상기 데이터암복호화모(223)로부터 전송된 감정수치에 포함된 뇌파수치(EEG), 얼굴표정수치(FACE) 및 음성수치(VOICE)를 수신하여 로그저장모듈(232)와 퍼지모듈(233)에 전송한다.
감정분석모듈(231)은 상기 퍼지모듈(233)로부터 비퍼지화된 감정결과수치로부터 인증을 수행하는 사용자에 대하여 추가인증여부를 분석하여 추가인증여부결과를 상기 인증모듈(225)에 요청한다. 추가인증이 필요한 경우에는 상기 인증모듈(225)이 추가인증을 수행하고, 추가인증이 필요 없는 경우에 상기 인증모듈(225)은 기본인증에 의한 사용자의 등급을 지정한다.
로그저장모듈(232)은 상기 감정분석모듈(231)로부터 전송된 인증을 수행하는 사용자의 감정수치에 해당하는 뇌파수치(EEG), 얼굴표정수치(FACE) 및 음성수치(VOICE)를 아이디와 함께 저장한다. 로그저장모듈(232)에 저장된 정보는 인증을 수행하는 동일한 사용자에 대하여 뇌파수치(EEG), 얼굴표정수치(FACE) 및 음성수치(VOICE)에 대한 정보를 지속적으로 업데이트하여 사용자 개인별로 가지고 있는 차이에 특성에 적응할 수 있도록 개인화를 수행한다. 예를 들어 아이디와 패스워드를 통해 확인된 특정 사용자의 베타파의 범위가 일반적인 14~30Hz보다 높은 25~30Hz인 경우에는 베타파의 설정범위를 25~30Hz로 수정한다.
도 4는 본 발명의 실시예에 따른 검출한 뇌파수치, 얼굴표정수치 및 음성수치를 퍼지화하는 예시도이다.
도 4에 도시된 바와 같이, 퍼지모듈(233)은 뇌파수치를 LOW, MIDDLE, HIGH로 구분하고, 그 구분된 범위를 다시 3등분하여 LOW[0 3 6], MIDDLE[6 10 14], HIGH[14 30 44]값으로 퍼지화한다. 그리고 퍼지모듈(233)은 얼굴표정에 대해서도 LOW, MIDDLE, HIGH로 구분하고, 그 구분된 범위를 다시 3등분하여 LOW[0.0 0.3 0.6], MIDDLE[0.61 0.75 0.89], HIGH[0.9 0.95 1.0]값으로 퍼지화한다.
또한 퍼지모듈(233)은 음성의 변화를 LOW, MIDDLE, HIGH로 구분하고, 그 구분된 범위를 다시 3등분하여 LOW[0 20 40], MIDDLE[41 50 60], HIGH[61 80 100]값으로 퍼지화한다.
도 5는 본 발명의 실시예에 따른 감정분석모듈부터 전송된 퍼지화된 뇌파수치(EEG), 얼굴표정수치 및 음성수치를 이용한 감정상태추론과정에 관한 절차도이고, 도 6은 본 발명의 실시예에 따른 퍼지화 과정을 나타내는 구성도이다.
도 5 및 도 6에 도시된 바와 같이, 퍼지모듈(233)은 상기 감정분석모듈(231)로부터 전송된 인증을 수행하는 사용자의 뇌파수치(EEG), 얼굴표정수치(FACE) 및 음성수치(VOICE)에 대한 퍼지화된 데이터를 바탕으로 퍼지알고리즘을 적용하여 인증 사용자의 감정(긴장도)값을 추론하여 상기 감정분석모듈(231)에 전송한다.
퍼지모듈(233)에서 먼저 각 뇌파수치(EEG), 얼굴표정수치(FACE) 및 음성수치(VOICE)에 대하여 퍼지화를 수행한다. 그리고 퍼지추론 방법으로서 Mamdani 추론에 의해 퍼지연산자로 AND 연산자를 적용하고, 퍼지관계연산자로 MIN을 이용하여 규칙 평가를 수행한다. 그리고 전체 출력값을 통합하기 위하여 MAX 연산자를 이용한 후, 최종적으로 비퍼지화를 통해 감정(긴장도)값을 추론한다.
퍼지모듈(233)은 상기 퍼지화된 뇌파수치(EEG), 얼굴표정수치(FACE) 및 음성수치(VOICE)를 분석하기 위하여 특정 상태 집합에 어느 정도 포함되는지를 정의한 퍼지화는 [식 1]과 같이, 퍼지 소속도 함수를 사용한다.
여기서 
: 환경 변수 x의 상태이고, 
: 상태에 대한 퍼지 소속도 함수이다.
예를 들면, 어떤 집합 X에 있어서 퍼지 소속도 함수 A란, 멤버쉽 함수(membership funtion) μA(X)에 의해 특정주어진 집합니다. 이때, μA(X): X→[0,1]이다. 또한, 원소 x∈X에 대한 값 μA(X)∈[0,1]은 x가 퍼지 집합 A에 속하는 정도로 멤버쉽 함수가 1에 가까우면 x가 A에 속하는 정도가 높다는 것을 나타내고, 반대로 0에 가까우면 낮다는 것을 나타낸다.
그리고 입력변수는 뇌파수치(EEG)로 LOW[0 3 6], MIDDLE[6 10 14], HIGH[14 30 44]이고, 얼굴표정수치(FACE)로 LOW[0.0 0.3 0.6], MIDDLE[0.61 0.75 0.89], HIGH[0.9 0.95 1.0]이며, 음성수치(VOICE)로 LOW[0 20 40], MIDDLE[41 50 60], HIGH[61 80 100]를 사용하며, 출력되는 출력변수는 인증을 수행하는 사용자의 감정(긴장도)로 LOW[0 0 0.2 0.25], MIDDLE[0.25 0.5 0.75], HIGH[0.76 0.8 1]이다.
도 7은 본 발명의 실시예에 따른 퍼지화된 3가지 수치를 통합하여 감정(긴장도)값을 추론하여 출력하는 프로그램 예시도이다.
도 7에 도시된 바와 같이, 퍼지모듈(233)은 상기 뇌파수치, 얼굴표정수치 및 음성수치로부터 퍼지화한 후, 이들의 조합에 의한 감정(긴장도)값을 추론하여 나온 결과를 상기 감정분석모듈(231)에 전송한다.
10 : 뇌파 수집장치 20 : 얼굴표정 수집장치
30 : 음성 수집장치 100 : 클라이언트
110 : 클라이언트UI매니저 120 : 감정인지매니저
121 : 인터페이스모듈 122 : 뇌파분석모듈
123 : 얼굴표정분석모듈 124 : 음성분석모듈
125 : 감정인지모듈 130 : 보안에이전트
131 : 데이터암복호화모듈 132 : 어댑터모듈
133 : 프로세스제어모듈 134 : 에이전트설정모듈
200 : 서버 210 : 서버UI매니저
220 : 보안게이트웨이 221 : 게이트웨이설정모듈
222 : 인터페이스모듈 223 : 데이터암복호화모듈
224 : 보안처리규칙모듈 225 : 인증모듈
226 : 접근제어모듈 230 : 감정분석매니저
231 : 감정분석모듈 232 : 로그저장모듈
233 : 퍼지모듈
30 : 음성 수집장치 100 : 클라이언트
110 : 클라이언트UI매니저 120 : 감정인지매니저
121 : 인터페이스모듈 122 : 뇌파분석모듈
123 : 얼굴표정분석모듈 124 : 음성분석모듈
125 : 감정인지모듈 130 : 보안에이전트
131 : 데이터암복호화모듈 132 : 어댑터모듈
133 : 프로세스제어모듈 134 : 에이전트설정모듈
200 : 서버 210 : 서버UI매니저
220 : 보안게이트웨이 221 : 게이트웨이설정모듈
222 : 인터페이스모듈 223 : 데이터암복호화모듈
224 : 보안처리규칙모듈 225 : 인증모듈
226 : 접근제어모듈 230 : 감정분석매니저
231 : 감정분석모듈 232 : 로그저장모듈
233 : 퍼지모듈
Claims (7)
- 인증을 수행하는 사용자에 대하여 뇌파를 측정한 뇌파정보를 클라이언트(100)에 전송하는 뇌파 수집장치(10);
인증을 수행하는 사용자의 얼굴표정정보를 수집하여 클라이언트(100)에 전송하는 얼굴표정 수집장치(20);
인증을 수행하는 사용자의 음성정보를 수집하여 클라이언트(100)에 전송하는 음성 수집장치(30);
상기 뇌파 수집장치(10), 얼굴표정 수집장치(20) 및 음성 수집장치(30)를 통해 입력받은 인증하는 사용자의 감정정보를 분석한 뇌파수치, 얼굴표정수치, 음성수치로 이루어진 감정수치를 서버(200)에 전송하고, 서버(200)로부터 전송된 인증결과를 사용자에게 출력하는 클라이언트(100); 및
상기 클라이언트(100)로부터 수신되는 아이디와 패스워드 및 추가인증에 따른 인증을 수행하고, 결과와 감정수치를 퍼지화하여 분석한 결과에 따른 추가인증여부를 결정하며, 인증된 사용자의 보안등급을 확정하여 그 결과를 클라이언트(100)에 전송하는 서버(200);를 포함하는 구성으로 이루어지는 것을 특징으로 하는 감정정보를 이용한 사용자 인증시스템. - 제 1항에 있어서,
상기 클라이언트(100)는,
사용자 인증을 위한 기본인증으로 아이디와 패스워드를 입력하는 웹페이지 를 제공하고, 서버(200)로부터 추가적인 사용자 인증이 필요한 경우, 인증수단으로 융합현실장치, 가상현실장치 및 증강현실장치를 이용한 인터페이스모듈(121)을 구동하는 클라이언트UI매니저(110);
상기 뇌파수집장치, 얼굴표정수집장치 및 음성수집장치를 통해 인증하는 사용자의 감정정보를 분석한 결과를 보안에이전트(130)에 전송하는 감정인지매니저(120); 및
상기 클라이언트UI매니저(110)로부터 수신된 아이디와 패스워드 및 감정인지매니저(120)로부터 전송된 감정수치를 서버(200)에 전송하고, 서버(200)로부터 전송된 인증결과를 수신하여 클라이언트UI매니저(110) 및 프로세스제어모듈(133)에 전송하는 보안에이전트(130);를 포함하는 구성으로 이루어지는 것을 특징으로 하는 감정정보를 이용한 사용자 인증시스템. - 제 1항에 있어서,
상기 서버(200)는,
서버(200)를 관리하는 관리자에게 서버(200)의 사용과 관련된 설정 및 변경을 수행할 수 있도록 인터페이스를 제공하는 서버UI매니저(210);
상기 클라이언트(100)로부터 전송된 아이디와 패스워드 및 추가인증데이터를 수신하여 인증을 수행하고, 감정수치를 수신하여 감정분석매니저(230)에 전송하여 결과에 따라 클라이언트(100)에 추가인증을 요청하며, 사용자 인증결과에 따라 등급별 자원의 접근 제어, 인증절차 및 프로세스 허용여부를 결정하여 클라이언트(100)에 전송하는 보안게이트웨이(220); 및
상기 보안게이트웨이(220)로부터 전송된 감정수치를 수신하여 퍼지화한 후, 분석된 결과에 따른 추가인증여부를 상기 보안게이트웨이(220)에 전송하는 감정분석매니저(230);를 포함하는 구성으로 이루어지는 것을 특징으로 하는 감정정보를 이용한 사용자 인증시스템. - 제 2항에 있어서,
상기 감정인지매니저(120)는,
상기 뇌파수집장치, 얼굴표정수집장치 및 음성수집장치와 각각 연결되어 각 장치로부터 수집한 뇌파정보, 얼굴표정정보 및 음성정보를 각각 수신하여 뇌파분석모듈(122), 얼굴표정분석모듈(123) 및 음성분석모듈(124)에 전송하는 인터페이스모듈(121);
상기 인터페이스모듈(121)로부터 전송된 인증을 수행하는 사용자의 뇌파상태를 측정한 주파수를 통해 분석한 뇌파수치를 감정인지모듈(125)에 전송하는 뇌파분석모듈(122);
상기 인터페이스모듈(121)로부터 전송된 인증을 수행하는 사용자의 얼굴표정으로부터 사용자의 감정상태를 분석한 얼굴표정수치를 감정인지모듈(125)에 전송하는 얼굴표정분석모듈(123);
상기 인터페이스모듈(121)로부터 전송된 인증을 수행하는 사용자의 음성정보를 분석하여 수치화한 음성수치를 감정인지모듈(125)에 전송하는 음성분석모듈(124); 및
상기 뇌파분석모듈(122), 얼굴표정분석모듈(123) 및 음성분석모듈(124)로부터 전송된 각 수치를 포함하는 감정수치에 대하여 관리자가 설정한 정상범위여부를 판단하고, 정상범위가 아닌 경우에 감정수치를 보안에이전트(130)에 전송하는 감정인지모듈(125);를 포함하는 구성으로 이루어지는 것을 특징으로 하는 감정정보를 이용한 사용자 인증시스템. - 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170137255A KR101977895B1 (ko) | 2017-10-23 | 2017-10-23 | 감정정보를 이용한 사용자 인증시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170137255A KR101977895B1 (ko) | 2017-10-23 | 2017-10-23 | 감정정보를 이용한 사용자 인증시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190044836A KR20190044836A (ko) | 2019-05-02 |
| KR101977895B1 true KR101977895B1 (ko) | 2019-05-13 |
Family
ID=66581314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170137255A KR101977895B1 (ko) | 2017-10-23 | 2017-10-23 | 감정정보를 이용한 사용자 인증시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101977895B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102564423B1 (ko) | 2021-10-27 | 2023-08-07 | 목포대학교산학협력단 | 뇌파 및 이미지를 이용한 보안 인증 방법 및 장치 |
| KR102547000B1 (ko) * | 2022-07-07 | 2023-06-23 | 주식회사 액션파워 | 화자 감정 분석에 기초하여 화자 인증을 개선하는 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101119867B1 (ko) * | 2009-01-22 | 2012-03-14 | 한국산업기술대학교산학협력단 | 다중 감정 센싱 기반으로 사용자의 감정정보를 제공하는 장치 |
| KR101551169B1 (ko) * | 2012-08-30 | 2015-09-08 | 한국과학기술원 | 생체신호를 이용한 보안 서비스 제공 방법 및 장치 |
| KR101894273B1 (ko) | 2013-05-24 | 2018-09-06 | 주식회사 나조산업 | 스마트폰의 근거리 홍채 촬영용 카메라를 이용한 홍채 인식 방법 |
| KR101779358B1 (ko) | 2016-11-30 | 2017-09-18 | 동서대학교산학협력단 | 스마트폰 기반 음성인식 어플리케이션 제어 방법 |
-
2017
- 2017-10-23 KR KR1020170137255A patent/KR101977895B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190044836A (ko) | 2019-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3108397B1 (en) | Trust broker authentication method for mobile devices | |
| US10440019B2 (en) | Method, computer program, and system for identifying multiple users based on their behavior | |
| Ali et al. | Edge-centric multimodal authentication system using encrypted biometric templates | |
| KR102132507B1 (ko) | 생체 인식 데이터에 기초한 리소스 관리 기법 | |
| US20220075856A1 (en) | Identifying and authenticating users based on passive factors determined from sensor data | |
| US8904480B2 (en) | Social authentication of users | |
| US8752146B1 (en) | Providing authentication codes which include token codes and biometric factors | |
| US20220147602A1 (en) | System and methods for implementing private identity | |
| KR101613233B1 (ko) | 개선된 생체 인증 및 신원확인 | |
| US20240185660A1 (en) | System and method for providing credential activation layered security | |
| US20220094550A1 (en) | User movement and behavioral tracking for security and suspicious activities | |
| EP3005215B1 (en) | Passive security of applications | |
| US20220147607A1 (en) | System and methods for implementing private identity | |
| US20220028200A1 (en) | Roaming user password based on human identity analytic data | |
| US20220164424A1 (en) | Bedside user device and id and user performance | |
| US20160292408A1 (en) | Continuously authenticating a user of voice recognition services | |
| US20170279799A1 (en) | Biometric metadata bureau | |
| US10230723B2 (en) | Method and system for authenticating a session on a communication device | |
| US20220036905A1 (en) | User identity verification using voice analytics for multiple factors and situations | |
| US20220092164A1 (en) | Machine learning lite | |
| US20220092163A1 (en) | Ad-hoc human identity analtyics prior to transactions | |
| US20220277064A1 (en) | System and methods for implementing private identity | |
| US20220092162A1 (en) | User identity based on human breath analytics | |
| US20220092161A1 (en) | Document signing and digital signatures with human as the password | |
| US10482225B1 (en) | Method of authorization dialog organizing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |