KR102132613B1 - 생체인식기술을 활용한 사용자 인증방법 및 인증장치 - Google Patents

생체인식기술을 활용한 사용자 인증방법 및 인증장치 Download PDF

Info

Publication number
KR102132613B1
KR102132613B1 KR1020190136444A KR20190136444A KR102132613B1 KR 102132613 B1 KR102132613 B1 KR 102132613B1 KR 1020190136444 A KR1020190136444 A KR 1020190136444A KR 20190136444 A KR20190136444 A KR 20190136444A KR 102132613 B1 KR102132613 B1 KR 102132613B1
Authority
KR
South Korea
Prior art keywords
user
eye movement
eye
user authentication
authentication device
Prior art date
Application number
KR1020190136444A
Other languages
English (en)
Other versions
KR20190125267A (ko
Inventor
지지 마틴
에버트 브라이언
샤키 휴
이기태
Original Assignee
에어런딜 모바일 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에어런딜 모바일 인코포레이티드 filed Critical 에어런딜 모바일 인코포레이티드
Publication of KR20190125267A publication Critical patent/KR20190125267A/ko
Application granted granted Critical
Publication of KR102132613B1 publication Critical patent/KR102132613B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G06F21/46—Structures or tools for the administration of authentication by designing passwords or checking the strength of passwords
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06K9/00604—
    • G06K9/0061—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Bioethics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 기존기술보다 더 개선되고 편리한 생체인식기술 등을 활용할 수 있는 생체인식기술을 활용한 사용자 인증방법, 인증장치 및 전자장치 액세스 제어 방법을 제공하고자 한다. 상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 생체인식기술을 활용한 사용자 인증 방법은 무의식적인 안구 움직임(involuntary eye movement)을 포함하는 사용자의 안구 움직임을 획득(capture)하고, 상기 획득(capture)된 무의식적인 안구 움직임에 기초하여 상기 사용자를 식별하기 위한 고유패턴을 생성하고, 상기 고유패턴을 보안영역의 비휘발성 저장장치에 저장하고, 상기 저장된 고유패턴에 기초하여 상기 전자장치로 상기 사용자를 인증하는 것을 포함할 수 있다.

Description

생체인식기술을 활용한 사용자 인증방법 및 인증장치{USER AUTHENTICATION METHOD USING BIOMETRICS TECHNOLOGY AND AUTHENTICATION DEVICE}
본 특허 문헌은 일반적으로 사용자 식별, 인증, 암호화와 관련된 전자장치 및 그의 동작 방법에 관한 것이다. 특히, 다양한 생체인식기술을 활용한 사용자 인증방법, 인증장치 및 전자장치 액세스 제어 방법에 관한 것이다.
전자장치와 데이터베이스로의 사용자 접속은 주로 로그인 이름과 비밀번호를 통해 이루어진다. 최근, 랩탑 컴퓨터와 스마트폰 등과 같은 휴대용 전자장치의 사용이 증가하면서, 허가된 사용과 잘못된 데이터 사용에 대한 위험을 줄이기 위해 전자장치와 사용자에 대한 정확한 인증의 필요성이 더욱 중요해지고 있다. 예를 들어, 많은 종류의 헬스케어 전자장치가 출현함에 따라, 모바일 헬스케어 전자장치에 획득된 건강 데이터의 프라이버시가 중요해 지고 있다. 또한, 모바일 전자장치를 사용한 은행업무와 지불(payment)이 증가함에 따라, 인증된 사용의 중요성이 증가하고 있다.
본 발명은 기존기술보다 더 개선되고 편리한 생체인식기술 등을 활용할 수 있는 생체인식기술을 활용한 사용자 인증방법, 인증장치 및 전자장치 액세스 제어 방법을 제공하고자 한다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 생체인식기술을 활용한 사용자 인증 방법은 무의식적인 안구 움직임(involuntary eye movement)을 포함하는 사용자의 안구 움직임을 획득(capture)하고, 상기 획득(capture)된 무의식적인 안구 움직임에 기초하여 상기 사용자를 식별하기 위한 고유패턴을 생성하고, 상기 고유패턴을 보안영역의 비휘발성 저장장치에 저장하고, 상기 저장된 고유패턴에 기초하여 상기 전자장치로 상기 사용자를 인증하는 것을 포함할 수 있다.
상기 과제를 해결하기 위한 본 발명은 생체인식기술 등을 활용하여 기존기술보다 더 개선되고 편리한 생체인식기술을 활용한 사용자 인증방법, 인증장치 및 전자장치 액세스 제어 방법을 제공할 수 있다.
도 1은 식별방법의 범주를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 전자장치의 동작환경을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 전자장치의 구성을 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 신경지문 활용예시를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 신경 역학적 식별자 생성 방법을 나타내는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 사용자별 푸앵카레의 위상 도표를 나타내는 그래프이다.
도 7은 본 발명의 일 실시예에 따른 서로 다른 사용자의 켑스트럼 분석결과를 나타내는 그래프이다.
도 8은 본 발명의 일 실시예에 따른 신경안구 식별자 생성 방법을 나타내는 순서도이다.
도 9는 사람의 두개골 내에 위치한 안구의 단면도를 도시한다.
도 10a 내지 도 10c는 안구의 다양한 안구 운동을 유발하는, 안구에 연결된 다양한 근육을 나타내는 다이어그램이다.
도 11은 안구의 무의식적인 안구 움직임을 획득하기 위한 고정 프로세스의 다이어그램이다.
도 12a 및 도 12b는 일정시간동안 타겟을 고정하는 사용자에 응답하여 원추세포대의 영역에 걸친 무의식적 안구 움직임 그래프를 갖는 망막의 확대된 부분의 다이어그램이다.
도 13a 내지 도 13b는 사용자 식별 및 인증을 위해 사용될 수 있는 무의식적 안구 움직임의 다양한 조합을 나타내는 다이어그램이다.
도 14a 내지 도 14c는 무의식적 안구 움직임을 검출하는데 사용될 수 있는 안구의 비디오 이미지에서 볼 수 있는 특징에 대한 다이어그램이다.
도 15는 사용자의 무의식적 안구 움직임 신호를 직접 생성하기 위한 안전도 기록(electrooculography) 시스템의 블록도이다.
도 16a는 사용자의 안구 움직임 이미지를 획득하는데 사용될 수 있는 비디오 카메라를 구비한 전자장치의 다이어그램이다.
도 16b는 사용자의 안구 움직임 이미지를 획득하는데 사용될 수 있는 도 16a에 도시된 비디오 카메라를 구비한 전자장치의 블록도이다.
도 17a 및 도 17b는 사용자 안구 움직임의 이미지를 획득하는데 사용될 수 있는 비디오 카메라를 구비한 전자안경의 다이어그램이다.
도 18a 및 도 18b는 사용자의 안구 움직임의 이미지를 획득하는데 사용될 수 있는 비디오 카메라를 구비한 VR기기의 다이어그램이다.
도 19a는 사용자의 안구 움직임에 관한 데이터 획득을 돕는 이미터 장치를 구비한 콘택트 렌즈를 포함한 안구의 다이어그램이다.
도 19b 내지 도 19d는 사용자의 안구 움직임에 관한 데이터 획득을 돕는데 사용될 수 있는 다양한 이미터 장치를 구비한 콘택트 렌즈의 다이어그램이다.
도 19e는 능동 이미터 장치의 기능 블록도이다.
도 19f는 사용자의 안구 움직임에 관한 데이터를 획득하는데 사용될 수 있는 안구에 장착된 콘택트 렌즈 근처의 감지장치의 측면도이다.
도 20a 내지 도 20b는 건물구조물의 액세스 제어를 위해 부착되어 안구 움직임을 획득하는 장치를 도시한다.
도 21a 및 도 21b는 사용자를 시스템에 인증하기 위한 독립적인 안구 스캐너를 도시한다.
본 발명의 실시예들에 대한 다음의 상세한 설명에서, 충분한 이해를 위해 구체적이고 다양한 예시들이 전개된다. 해당 기술이 속하는 분야에서의 통상의 기술자들에게는 이러한 구체적인 상세함이 없이도 실시될 수 있고, 본 개시의 범위 내에서 다양한 변경이나 수정을 통해 실시될 수 있음도 명확하고 분명하다. 특정한 예시에서는, 본 발명의 실시예시들은 잘 알려진 방법, 절차, 컴포넌트(부품, 부분), 기능, 회로, 잘 알려지거나 전형적인 상세한 내용에 대해서는 자세히 기술하지 않기로 한다.
본 발명의 실시예들에서 기술된 용어, 단어, 표현은 단순히 본 발명의 실시예들을 설명하기 위함이고, 본 발명의 범위를 제한하려는 것이 아니다. 즉, 다른의미로 정의되지 않았다면, 기술 및 과학 용어를 포함한 모든 표현(또는 용어)은 해당 기술이 속하는 분야에서의 통상의 기술자들이 이해하는 것과 문맥상 같거나 유사한 의미를 가질 수 있다. 경우에 따라서는, 표현(또는 용어)에 대해 본 발명에서 정의되어 있다 하더라도, 본 발명의 실시예의 범위를 제한하거나 배제되도록 해석되지 않는다.
본 발명의 실시예들은 장치, 방법, 서버-클라이언트 장치 및/또는 방법, 장치 및/또는 방법의 협동, 칩셋, 컴퓨터 프로그램 또는 상기 기술된 것들의 어느 조합 등으로 구현될 수 있다. 따라서, 실시예는 전체 하드웨어(칩셋 포함)로 구현되거나, 전체 소프트웨어(펌웨어, 소프트웨어의 어떠한 형태 등)로 구현되거나 소프트웨어와 하드웨어가 결합된 형태로 구현될 수 있다. 소프트웨어와 하드웨어 형태는 모듈, 유닛(부 또는 구성단위), 컴포넌트(부품, 부분), 블락, 구성요소, 멤버(member), 시스템, 서브시스템 등으로 기술될 수 있다. 또한, 본 실시예는 미디어에 구현된 컴퓨터에서 사용가능한 프로그램 코드(컴퓨터 파일을 포함)의 형태로 구현될 수도 있다.
"하나의 실시예", "일 실시예", "실시예", "어떤 실시예", "하나의 예시", "예시"라는 표현은 본 개시의 예 또는 실시예와 연관되어 기술된 특정특징, 구조 또는 특성을 의미할 수 있다. 따라서, 본 명세서에서 사용된 이러한 표현은 모두 반드시 동일한 실시예 또는 예를 지칭하는 것은 아니다. 또한, 특정기능, 구조 또는 특성은 하나 이상의 실시예 또는 예에서 임의의 적절한 조합 및/또는 서브 조합으로 조합될 수 있다.
단수 형태의 "하나" 또는 "한" 이라는 표현은 본문에서 분명하게 다른 뜻으로 표현되지 않는 한 복수 형태를 포함 할 수 있다. 예를 들어, "한 센서"는 하나 또는 복수개의 센서들을 나타낼 수 있다.
어떤 경우, "제1", "제2", "첫째", "둘째", "첫 번째" 또는 "두 번째" 등의 표현은 다양한 구성요소를 설명하기 위해서 사용되었지만, 이들 구성요소는 이러한 표현에 의해 제한되지 않는다. 이러한 표현은 한 구성요소를 다른 구성요소와 구별하기 위해 사용될 수 있고 구성요소들의 순서 또는 중요도와는 무관할 수 있다. 예를 들어, 제1 센서는 제2 센서로 지칭 될 수 있고, 마찬가지로, 제2 센서는 제1 센서로 지칭 될 수 있다. 첫 번째 센서와 두 번째 센서는 둘 다 센서지만 동일한 센서가 아닐 수 있다.
"및/또는" 이라는 표현은 하나 또는 그 이상의 열거된 항목들의 가능한 모든 조합을 포함할 수 있다. 예를 들어, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A 또는 B 중 하나 또는 그 이상", "A및B 중 하나 또는 그 이상", "A 및/또는 B", "A및/또는B 중 적어도 하나" 또는 " A 및/또는 B 중 하나 또는 그 이상"이라는 표현은 "적어도 하나의 A를 포함", "적어도 하나의 B를 포함", 또는 "적어도 하나의 A 및 적어도 하나의 B를 모두 포함"하는 경우를 모두 나타낼 수 있다.
"있다(가진다) ", "있는(가지는)", "있을 수 있다(가질 수 있다) ", "포함한다", "포함하는", "포함할 수 있다", "구성된다", "구성되는", 또는 "구성될 수 있다" 또는 "포함하다"라는 표현은 구성요소, 특징, 단계, 동작, 기능, 수치적인 값, 컴포넌트(부품, 부분)들, 멤버 또는 이들의 조합이 있음을 나타내지만, 구성요소, 특징, 단계, 동작, 기능, 수치적인 값, 컴포넌트(부품, 부분)들 멤버 또는 이들의 조합의 하나 또는 그 이상의 부가 또는 있음을 배제하는 것은 아니다. 예를 들어, 구성요소들의 나열 또는 열거로 구성된 방법 또는 장치는 반드시 이 구성요소들로 만으로 구성된 것으로 한정되는 것이 아니라, 상기 방법 또는 장치에 명시적으로 기재되지 않은 구성요소를 포함할 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있거나 "결합되어"되어 있다고 할 때는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 적어도 하나 또는 그 이상의 또 다른 구성요소를 통하여 연결되거나 결합되었다고 할 수 있다. 반면, 어떤 구성요소가 다른 구성요소와 "직접적으로 연결되어" 있거나 "직접적으로 결합되어" 있다고 할 때는, 또 다른 구성요소를 통하지 않고 연결되거나 결합되었다고 할 수 있다.
먼저, 본 실시예의 전자장치는 스마트폰, 태블릿 컴퓨터, 전화기, 이동전화기, 전화기, 전자책 리더(e-book reader), 네비게이션 장치, 데스크탑 컴퓨터, 랩탑 컴퓨터, 워크스테이션 컴퓨터 서버 컴퓨터, 카메라, 캠코더, 전자펜, 무선 통신장비, 액세스포인트(AP or 무선공유기), 프로젝터, 전자보드, 복사기, 시계, 안경, 헤드마운트장치, 무선 헤드셋/이어폰, 전자옷, 다양한 종류의 웨어러블장치, TV, DVD 플레이어, 오디오 플레이어, 디지털 멀티미디어 플레이어, 전자 액자, 셋탑박스, TV 박스, 게임기, 리모트컨트롤러, 은행의 ATM, 지불시스템 장치(POS, 카드리더 포함), 냉장고, 오픈, 전자렌지, 에어컨, 진공청소기, 세탁기, 식기세척기, 공기청정기, 홈오토메이션 제어장치, 스마트홈 장치, 다양한 종류의 가전기기, 보안제어 장치, 전자 잠금/열림 장치(열쇠, 자물쇠 포함), 전자 서명 수신장치, 다양한 종류의 보안시스템 장치, 혈압측정장치, 혈당모니터링장치, 심박모니터링장치, 체온측정장치, 자기공명영상장치, 컴퓨터단층촬영장치, 다양한 종류의 의료측정장치, 다양한 종류의 의료장치, 수도계량기, 전기계량기, 가스계량기, 전자파계량기, 온도계, 다양한 종류의 측정장치, 인공지능(AI) 장치, 인공지능 스피커 또는 인공지능 로봇 등을 포함하는 다양한 종류의 사물인터넷 장치 또는 이와 유사한 것일 수 있다. 또한, 본 실시예에 따른 전자장치는 전술한 장치들의 조합 또는 부분일 수 있다. 또한, 본 실시예에 따른 전자장치는 가구, 건물, 구조물 또는 기계(운송수단, 자동차, 비행기 또는 선박을 포함)의 부분이거나 임베디드보드, 칩셋, 컴퓨터 파일 또는 어떤 종류의 센서 등의 형태일 수 있다. 본 실시에 따른 전자장치는 전술한 장치들에 한정되지 않고 기술개발이 발전함에 따라 새로운 형태의 전자장치일 수 있다.
도 1은 식별방법의 범주를 도시한 도면이다.
도 1을 참조하면, 다양한 알려진 해부학적(Anatomical) 및 행위적(Behavioral) 식별방법을 확인할 수 있다. 행위적 식별 방법은 사용자의 행위나 습관과 관련이 있을 수 있다. 알려진 해부학적 식별 방법은 지문, 홍채 안구 스캔, 혈관, 안면 스캔 및/또는 DNA와 같은 사용자의 신체적 특징과 관련될 수 있다.
어떤 사용자 동작(Motion)은 습관적이거나 사용자 동작 레퍼토리의 일부일 수 있다. 예를 들어, 문서에 서명하는 것은 사용자의 행위 습관을 만들어가는 동작(Motion)이다. 일반적으로, 필기구를 사용하여 서명을 하는 동작은 매크로 모션(Macro motion) 또는 큰 규모 모션(Large scale motion)이다. 예를 들어, 서명의 큰 움직임으로부터, 서명을 한 사람이 왼손잡이인지 또는 오른손잡이인지를 눈으로 결정할 수 있다.
이러한 큰 동작이 유용할 수도 있지만, 사용자가 서명하거나 다른 동작을 만들거나 단순히 동작을 하지 않을 때 만드는 매우 작은 동작인 마이크로 모션(Micro motion)이 있다. 이러한 마이크로 모션은 신경에서 유도되거나 신경에 기반을 두고 눈에 보이지 않는다. 사용자의 이러한 마이크로 모션은 각각의 인간의 고유한 신경근 해부학에 기인하며, 본 실시예에서 신경-유도 마이크로 모션(neuro-derived micro motion)으로도 지칭 될 수 있다. 이 마이크로 모션은 또한, 개인의 운동 피질에서 손까지의 모터 제어 과정과 연결되어 있다. 적어도 하나 이상의 센서, 신호 처리 알고리즘 및 / 또는 필터를 사용하여 사용자의 신경 유도 마이크로 모션을 포함하는 전자 신호 ("모션 신호"및 "마이크로 모션 신호")를 획득할 수 있다. 특히 관심의 대상은 모션 신호 내에서 사용자의 마이크로 모션을 나타내는 마이크로 모션 전자 신호이다.
사용자의 마이크로 모션은 뇌 또는 기타 인체의 신경계의 운동 활동에 대한 대뇌 피질 및 피질 하부 제어와 관련이 있다. 기계적 필터처럼 개인의 특정한 해부학적 근골격계는 사용자의 마이크로 모션에 영향을 미칠 수 있으며, 사용자의 마이크로 모션을 포함하는 동작 신호에 기여할 수 있다. 사용자로부터 획득된 모션 신호는 사용자의 인체에 존재하는 뇌 및 고유 수용체를 포함하는 고유 수용 제어 루프의 일부를 반영할 수도 있다.
모션 신호가 사용자의 마이크로 모션을 나타내는 마이크로 모션 신호에 대해 적절히 분석될 때, 결과 데이터는 독창적이고 안정된 생리학적 식별자, 특히 신경학적 식별자를 생성할 수 있으며, 이 식별자는 암호화되지 않은 서명으로 사용될 수 있다. 이 고유한 식별자는 사용자의 신경-역학 지문이라고 할 수 있다. 신경-역학 지문은 또한 본 실시예에서 "신경지문(NeuroFingerPrints, NFP)"이라는 용어로 사용될 수 있다.
도 2는 본 발명의 일 실시예에 따른 전자장치의 동작환경을 나타내는 블록도이다.
도 2에 도시된 바와 같이, 전자장치(201)는, 프로세싱 유닛(210), 센서(220), 입출력 인터페이스(230), 디스플레이(240), 신경지문(NFP)가속기(250), 메모리(260), 파워 시스템(270), 통신 인터페이스(280)등을 포함할 수 있다.
전자장치(201, 202, 203, 204, 205)들은 도시된 수보다 더 많거나 더 적은 구성요소로 이루어질 수 있고, 두 개 또는 그 이상의 구성요소가 결합되어 이루어지거나, 구성요소의 설정이나 배치가 다르게 구성될 수도 있다. 도시된 다양한 구성요소는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 전자장치(201, 202, 203, 204, 205)들은 네트워크(206) 또는 통신인터페이스(280)를 통해서 서로 연결될 수 있다.
프로세싱 유닛(210)은, 적어도 하나의 중앙처리 장치(Central Processing Unit)를 포함할 수 있다. 프로세싱 유닛(210)은 중앙처리 장치 외에도 적어도 하나 이상의 보조프로세서, 통신전용 프로세서, 신호처리 프로세서, 그래픽 처리 프로세서, 저전력의 센서 컨트롤 프로세서 또는 특수 목적의 컨트롤러를 포함할 수 있다. 또한, 다양한 계층 구조의 내부 휘발성 및 비휘발성 메모리들을 구비하여 전자장치의 초기 부팅 동작, 인터럽트 동작, 성능향상을 위한 동작 등의 기능을 수행할 수 있다. 프로세싱 유닛(210)은 프로그램 형태의 명령어를 메모리, 통신모듈 등을 통해 수신하여, 수신된 명령어를 해독하고, 해독된 명령어에 따른 연산, 데이터 처리, 결과 저장, 연관된 주변장치를 제어하는 동작 수행을 통해 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행할 수 있다. 프로세싱 유닛(210)은 통상의 기술자들에 의해 애플리케이션 프로세서(Application Processor, AP), 중앙처리장치(Central Processing Unit, CPU), MCU(Micro Controller Unit) 등으로 혼용되어 사용될 수 있다.
센서(220)는, 전자장치의 상태, 물리량 등을 감지하거나 계측하여 전기신호로 변환할 수 있다. 센서(220)는 나침반, 광학센서, 지문센서, 근접센서, 자이로 센서, RGB센서, 기압계, UV센서, 그립센서, 마그네틱센서, 가속도 센서, 홍채센서등을 포함할 수 있다. 센서(220)는 사용자 신체의 부분에서 모션신호를 수집하여 전자장치의 프로세싱 유닛(210), 신경지문(NFP) 가속기(250) 등을 포함한 전자장치(201)의 적어도 하나의 구성요소에 전달하여 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행할 수 있다.
입출력인터페이스(230)는, 사용자 또는 전자장치(201)의 외부로부터 신호 및/또는 명령을 포함한 입력형태로 받아 전자장치 내부로 전달하는 입력 인터페이스와, 사용자 또는 전자장치(201)의 외부로 신호 또는 명령을 포함한 출력의 형태로 변환하는 인터페이스 역할을 수행할 수 있다. 예를 들어, 입력 버튼, LED, 진동모터, 다양한 시리얼 인터페이스(예를 들어, USB(Universal Serial Bus), UART(U Universal asynchronous receiver/transmitter), HDMI(High Definition Multimedia Interface), MHL(Mobile High-definition Link), IrDA(Infra-red Data Association)등)등을 포함할 수 있다.
디스플레이(240)는, 사용자에게 이미지, 텍스트, 비디오 등의 각종 콘텐츠를 표시할 수 있다. 디스플레이(240)는 액정디스플레이(Liquid Crystal Display, LCD), 유기발광다이오드(Organic Light Emitting Diode, OLED)디스플레이 또는 홀로그램 출력장치 일 수 있다. 디스플레이(240)는 터치 스크린, 전자펜 입력 패널, 지문센서, 압력센서등의 입력기능을 수행하는 장치 및/또는 햅틱 피드백등의 출력장치등을 포함할 수 있다. 전자장치(201)의 사양에 따라서 디스플레이(240)는 선택적으로 구비되지 않을 수도 있으며, 매우 간단한 형태의 적어도 하나의 발광다이오드(Light Emitting Diode)로 구성될 수 있다. 디스플레이(240)는 사용자 신체의 부분에서 모션신호를 수집하기 위하여 사용자에게 전자장치(201)에 사용자의 신체 일부를 접촉을 하는 위치, 모션신호의 획득 시작 상태, 모션신호의 획득 중인 상태, 모션신호의 획득 완료 상태등의 수집시작 상태 등을 표시하는 기능을 수행하여 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행할 수 있다.
신경지문가속기(250)는, 사용자의 신체 일부에서 획득된 신호를 처리하는 연산 수행의 속도를 높이거나 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행하는 데 있어서의 연산의 일부 또는 전체를 수행하여 전체적인 시스템의 성능을 높이는 기능을 수행한다.
메모리(260)는, 휘발성 메모리(262)(예를 들어, DRAM(Dynamic RAM), SRAM(Static RAM) 또는 SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(264)(예를 들어, NOR 플래쉬 메모리, NAND 플래쉬 메모리, EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), HDD(Hard Disk Drive), SSD(Solid State Drive), SD(Secure Digital) card 메모리, Micro SD 메모리, MMC(Multimedia Media Card) 메모리 등) 중 적어도 하나 이상을 포함할 수 있다. 비휘발성 메모리(264)에는 적어도 하나 이상의 부트로더, 운영체제(291), 통신기능(292), 디바이스 드라이버(293), 신경지문(NFP) 라이브러리(294), 애플리케이션(295), 사용자 데이터(296) 등을 저장할 수 있다. 휘발성 메모리(262)에는 전원이 인가되어 동작하기 시작하며, 비휘발성에 저장된 프로그램들 또는 데이터들을 프로세싱 유닛(210) 등이 로드하는 동작을 수행하여 전자장치의 동작 중에 프로세싱 유닛(210)과 인터페이스하는 일련의 동작을 통해 메인 메모리의 역할을 수행할 수 있다.
파워시스템(270)은, 전자장치(201)에 전력을 공급하고 제어하고 관리하는 등의 역할을 수행할 수 있다. 파워시스템은 PMIC(Power Management Integrated Circuit), 배터리(272), 충전IC, 연료 게이지(Fuel Gauge) 등을 포함할 수 있다. 파워시스템은 교류 또는 직류 전원을 입력으로 받을 수 있다. 공급된 전원을 배터리(272)에 충전할 수 있는 유선 충전, 무선 충전기능을 포함할 수 있다.
무선통신인터페이스(280)는, 예를 들어, 셀룰러 통신, 와이파이 통신, 블루투스, GPS, RFID, NFC 등을 포함할 수 있고 무선통신을 위한 RF부를 구성할 수 있다. RF부는 트랜시버(Transceiver), PAM(Power Amp Module), 주파수 필터, LNA(Low Noise Amplifier) 또는 안테나 등을 포함할 수 있다.
전자장치(201, 202, 203, 204, 205)들은 서버기능을 수행할 수도 있고 휴대용 전자장치일 수도 있다.
전자장치(201)는 사용자 신체의 일부분으로부터 센서(220)를 통해 신호를 획득할 수 있고, 획득된 신호를 프로세싱유닛(210), 신경지문가속기(250), 메모리(260) 중 적어도 하나 이상의 상호 동작을 통해 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행할 수 있다. 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능은 상기 전자장치(201)가 독자적으로 수행할 수 있고, 네트워크(206) 또는 통신인터페이스(280)를 통해 적어도 하나 이상의 다른 전자장치(202, 203, 204, 205) 등 과의 협력을 통해 수행할 수 있다.
도 3은 본 발명의 일 실시예에 따른 전자장치의 구성을 나타내는 블록도이다.
도 3에 도시된 바와 같이, 전자장치(300)는 프로세싱 유닛(301), 카메라(350), 입출력 인터페이스(353), 햅틱피드백 컨트롤러(354), 디스플레이(355), 근거리무선통신(356), 외장 메모리 슬롯(357), 센서(370), 메모리(390), 파워 시스템(358), 클락 소스(361), 오디오 회로(362), SIM 카드(363), 무선통신 프로세서(364), RF 회로(365), 신경지문(NFP)가속기(366) 등을 포함할 수 있다.
프로세싱 유닛(301)은, 적어도 하나의 중앙처리 장치(Central Processing Unit)(302)를 포함할 수 있다. 프로세싱 유닛(301)은 중장처리 장치 외에도 적어도 하나 이상의 보조프로세서, 통신전용 프로세서, 신호처리 프로세서, 그래픽 처리 프로세서, 저전력의 센서 컨트롤 프로세서 또는 특수 목적의 컨트롤러를 포함할 수 있다. 프로세싱 유닛(301)은 반도체 칩(Chip)의 형태로, 다양한 구성요소를 포함하여 SoC(System On Chip)로 구현될 수 있다. 일 실시예에서, 프로세싱 유닛(301)은 GPU(Graphics Processing Unit)(320), 디지털신호처리(DSP, Digital Signal Processing)(321), 인터럽트 컨트롤러(322), 카메라 인터페이스(323), 클락 컨트롤러(324), 디스플레이 인터페이스(325), 센서코어(326), 위치 컨트롤러(327), 보안 가속기(328), 멀티미디어 인터페이스(329), 메모리 컨트롤러(330), 주변장치 인터페이스(331), 통신/커넥티비티(332), 내부메모리(340) 등을 포함할 수 있다. 프로세싱 유닛(301)은 프로그램 형태의 명령어를 메모리(390), 통신/커넥티비티(332) 또는 무선통신프로세서(364) 등을 통해 수신하여, 수신된 명령어를 해독하고, 해독된 명령어에 따른 연산, 데이터 처리, 결과 저장, 연관된 주변장치를 제어하는 동작 수행을 통해 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행할 수 있다. 프로세싱 유닛(310)은, 통상의 기술자들에 의해 애플리케이션 프로세서(Application Processor, AP), 중앙처리장치(Central Processing Unit, CPU), MCU(Micro Controller Unit) 등으로 혼용되어 사용될 수 있다.
중앙처리장치(302)는 적어도 하나 이상의 프로세서 코어(304, 305, 306)를 포함할 수 있다. 중앙처리장치(302)는 상대적으로 전력소모가 적은 프로세서 코어들과 전력소모는 많으나 고성능의 프로세서 코어를 함께 포함할 수 있고 복수개의 코어들을 묶어 제1클러스터(303), 제2클러스터(314)등의 적어도 하나 이상의 클러스터들을 포함할 수 있다. 이러한 구조는 멀티코어 환경에서 계산량, 소모전류 등을 고려하여 동적으로 코어를 할당함으로써 전자장치의 성능과 전력소모의 이득을 향상시키기 위해 사용되고 있는 기술이라고 할 수 있다. 프로세서 코어는 보안 강화를 위한 기술이 적용되어 있을 수 있다. 잘 알려진 모바일 프로세서 중 하나인 ARM®사의 프로세서에서는, 이러한 보안기술을 자사의 프로세서에 탑재하여 TrustZone®이라고 명명하고 있다. 예를 들어, 하나의 물리적인 프로세서 코어인 제1코어(304)는 일반모드(307)와 보안모드(308)로 나뉘어 동작할 수 있다. 프로세서의 레지스터와 인터럽트 등이 분리되어, 보안이 요구되는 자원(예를 들어, 주변장치 또는 메모리영역 등)에 대한 접근을 보안모드에서만 접근 가능하도록 할 수 있다. 모니터 모드(313)는 일반모드(307)에서 특별한 명령어 또는 인터럽트 등의 발생으로 진입할 수 있으며, 일반모드(307)와 보안모드(308)로의 전환을 할 수 있도록 하게 해 줄 수 있다. 일반모드(307)와 보안모드(308)에서 수행되는 애플리케이션은 각각의 모드에서 수행되는 애플리케이션에 영향을 끼칠 수 없도록 분리되어 있어, 높은 신뢰성이 요구되는 애플리케이션을 보안모드(308)에서 수행하게 함으로써 보안신뢰성을 높일 수 있다. 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행하는 데 있어서의 연산의 일부를 보안모드(308)에서 동작할 수 있도록 하여 보안성을 높일 수 있다.
카메라(350)는, 이미지를 획득하기 위한 렌즈, 광학센서, 이미지 처리 프로세서(ISP) 등을 포함할 수 있으며, 정지영상 및 동영상을 획득할 수 있다. 다양한 기능을 제공하기 위해 복수의 카메라(제1카메라(351), 제2카메라(352) 등)를 포함할 수 있다.
입출력인터페이스(353)는, 사용자 또는 전자장치(300)의 외부로부터 신호 및/또는 명령을 포함한 입력형태로 받아 전자장치 내부로 전달하는 입력 인터페이스와, 사용자 또는 전자장치(300)의 외부로 신호 또는 명령을 포함한 출력의 형태로 변환하는 인터페이스 역할을 수행할 수 있다. 예를 들어, 입력 버튼, LED, 진동모터, 다양한 시리얼 인터페이스(예를 들어, USB(Universal Serial Bus), UART(U Universal asynchronous receiver/transmitter), HDMI(High Definition Multimedia Interface), MHL(Mobile High-definition Link), IrDA(Infra-red Data Association) 등) 등을 포함할 수 있다.
햅틱피드백 컨트롤러(354)는, 사용자에게 촉각을 통해 특정한 감각을 느낄 수 있는 기능을 제공하기 위해, 예를 들어 액추에이터(actuator)로 불려지는 진동모터를 포함하여 사용자에게 진동을 느끼게 하여 촉각을 제공할 수 있다.
디스플레이(터치센서티브 디스플레이)(355)는, 사용자에게 이미지, 텍스트, 비디오 등의 각종 콘텐츠를 표시할 수 있다. 디스플레이(355)는 액정디스플레이(Liquid Crystal Display, LCD), 유기발광다이오드(Organic Light Emitting Diode, OLED)디스플레이 또는 홀로그램 출력장치 일 수 있다. 디스플레이(355)는 디스플레이 구동회로(DDI), 디스플레이 패널을 포함할 수 있으며, 디스플레이 구동회로는 프로세싱 유닛(301)으로부터 전달받은 영상 정보에 대응하는 영상 구동신호를 디스플레이 패널에 전달하여 미리 설정된 프레임률(Frame Rate)에 따라 영상을 표시할 수 있다. 디스플레이 구동회로는 IC 형태로 구현될 수 있으며 영상정보를 저장할 수 있는 비디오 메모리, 이미지 프로세싱 유닛, 디스플레이 타이밍 컨트롤러, 멀티플렉서 등의 구성요소를 포함할 수 있다. 디스플레이(355)는 터치 스크린, 전자펜 입력 패널, 지문센서, 압력센서 등의 입력기능을 수행하는 장치 및/또는 햅틱 피드백 등의 출력장치 등을 더 포함할 수 있다. 디스플레이(355)는 사용자 신체의 부분에서 모션신호를 수집하기 위하여 사용자에게 전자장치(300)에 사용자의 신체 일부를 접촉을 하는 위치, 모션신호의 획득 시작 상태, 모션신호의 획득 중인 상태, 모션신호의 획득 완료 상태 등의 수집시작 상태 등을 표시하는 기능을 수행하여 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행할 수 있다.
근거리무선통신(356)은, 전자장치(300)와 가까운 거리에 있는 다른 전자장치들과 통신을 수행을 하기 위해, 예를 들어, NFC(Near Field Communication), RFID(Radio Frequency Identification), MST(Magetic Secure Transmission)등을 포함할 수 있다.
외장메모리슬롯(357)은, 전자장치(300)의 저장공간의 확장을 할 수 있도록 메모리 카드(예를 들어, SD 카드, Micro SD카드 등)등을 장착할 수 있는 인터페이스를 포함할 수 있다.
파워시스템(358)은, 전자장치(300)에 전력을 공급하고 제어하고 관리하는 등의 역할을 수행할 수 있다. 파워시스템은 PMIC(Power Management Integrated Circuit), 배터리(359), 충전IC(360), 연료 게이지(Fuel Gauge) 등을 포함할 수 있다. 파워시스템(358)은 교류 또는 직류 전원을 입력으로 받을 수 있다. 공급된 전원을 배터리(359)에 충전할 수 있는 유선 충전, 무선 충전기능을 포함 할 수 있다.
클락소스(361)는, 전자장치(300)의 동작에 기준이 되는 시스템 클락(clock), RF 신호 송수신을 위한 주파수 발진기를 적어도 하나 이상 포함할 수 있다.
오디오 회로(362)는, 오디오 입력부(예를 들어, 마이크)과 오디오 출력부(리시버, 스피커 등), 오디오 신호와 전기신호 간의 변환을 수행하는 코덱(Codec)을 포함할 수 있고, 이를 통해 사용자와 전자장치간의 인터페이스를 제공할 수 있다. 오디오 입력부를 통해 획득된 오디오 신호를 아날로그 전기신호로 변환하여 샘플링을 수행하여 디지털 데이터화 하여 전자장치(300) 내의 다른 구성요소(예를 들어, 프로세싱 유닛)로 전달하여 오디오 처리를 수행할 수 있고, 전자장치(300) 내의 다른 구성요소로부터 전달받은 디지털 오디오 데이터를 아날로그 전기신호로 변환하여 오디오 출력부를 통해 오디오 신호를 발생시킬 수 있다.
SIM 카드(363)는, 셀룰러 통신에서 가입자를 식별하기 위한 것으로 가입자 식별모듈(Subscriber Identification Module)을 구현한 IC 카드이다. 전자장치(310)에 구비된 슬롯에 SIM 카드를 장착하는 경우가 대부분이며, 전자장치의 종류에 따라서는 전자장치 내부에 결합된 형식의 임베디드 SIM의 형태로도 구현될 수 있다. SIM카드에는 각자의 고유한 번호가 기록될 수 있으며 고정된 번호인 ICCI(Integrated Circuit Card Identifier)와 가입자 회선마다 달라지는 IMSI(International Mobile Subscriber Identity) 정보를 포함할 수 있다.
무선통신프로세서(364)는, 예를 들어, 셀룰러 통신, 와이파이 통신, 블루투스, GPS 등을 포함할 수 있다. 무선통신프로세서(364)를 통해서 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 네트워크를 통해 적어도 하나 이상의 다른 전자장치(서버 포함)등과의 협력을 통해 수행할 수 있다.
RF 회로(365)는, 트랜시버(Transceiver), PAM(Power Amp Module), 주파수 필터, LNA(Low Noise Amplifier) 또는 안테나 등을 포함할 수 있다. 무선통신프로세서와 프로세싱 유닛과 제어정보 및 사용자 데이터를 교환하여 무선환경으로 무선주파수를 통해 송수신을 수행할 수 있다.
신경지문가속기(366)는, 사용자의 신체 일부에서 획득된 신호를 처리하는 연산 수행의 속도를 높이거나 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행하는 데 있어서의 연산의 일부 또는 전체를 수행하여 전체적인 시스템의 성능을 높이는 기능을 수행한다.
센서(370)는, 전자장치의 상태, 물리량 등을 감지하거나 계측하여 전기신호로 변환할 수 있다. 센서(370)는 나침반(371), 광학센서(372), 지문센서(373), 근접센서(374), 자이로 센서(375), RGB센서(376), 기압계(378), UV센서(379), 그립센서(380), 마그네틱센서(381), 가속도 센서(382), 홍채센서(383) 등을 포함할 수 있다. 센서(370)는 사용자 신체의 부분에서 모션신호를 수집하여 전자장치의 프로세싱 유닛(301), 신경지문(NFP) 가속기(366) 등을 포함한 전자장치(300)의 적어도 하나의 구성요소에 전달하여 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행할 수 있다.
메모리(390)는, 휘발성 메모리(391)(예를 들어, DRAM(Dynamic RAM), SRAM(Static RAM) 또는 SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(392)(예를 들어, NOR 플래쉬 메모리, NAND 플래쉬 메모리, EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), HDD(Hard Disk Drive), SSD(Solid State Drive), SD(Secure Digital) card 메모리, Micro SD 메모리, MMC(Multimedia Media Card) 메모리 등) 중 적어도 하나 이상을 포함할 수 있다. 비휘발성 메모리(392)에는 적어도 하나 이상의 부트로더, 운영체제(393), 통신기능(394) 라이브러리, 디바이스 드라이버(395), 신경지문(NFP) 라이브러리(396), 애플리케이션(397), 사용자 데이터(398) 등을 저장할 수 있다. 휘발성 메모리(391)에는 전원이 인가되어 동작하기 시작하며, 비휘발성에 저장된 프로그램들 또는 데이터들을 프로세싱 유닛(301) 등이 로드하는 동작을 수행하여 전자장치의 동작 중에 프로세싱 유닛(301)과 인터페이스하는 일련의 동작을 통해 메인 메모리의 역할을 수행할 수 있다.
전자장치(300)는, 사용자 신체의 일부분으로부터 센서(370)를 통해 신호를 획득할 수 있고, 획득된 신호를 프로세싱유닛(301), 신경지문가속기(366), 메모리(390) 중 적어도 하나 이상의 상호 동작을 통해 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능을 수행할 수 있다. 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능은 전자장치(300)가 독자적으로 수행할 수 있고, 네트워크를 통해 적어도 하나 이상의 다른 전자장치(서버 포함) 등과의 협력을 통해 수행할 수 있다.
도 4는 본 발명의 일 실시예에 따른 신경지문 활용예시를 나타내는 도면이다.
도 4를 참조하면, 사용자가 전자장치를 손으로 잡고 있을 때, 사람의 손의 움직임에 대한 모션신호를 전자장치의 센서에 의해 획득하여 전기신호로 변환하고, 변환된 신호에서 신경-유도 마이크로 모션(neuro-derived micro motion)을 추출할 수 있다.
추출된 신경-유도 마이크로 모션을 적절히 분석할 경우, 독창적이고 안정된 생리학적 식별자, 특히 신경학적 식별자를 생성할 수 있으며 이는 사용자별로 고유한 신경지문(NFP) 식별자라고 할 수 있다. 즉, 사용자의 전자장치의 파지에 의해 신경지문을 인식할 수 있으며, 이를 통해 전자장치의 보안영역에 기 저장된 사용자의 신경지문과의 비교를 수행하여 허가된 사용자인지 여부를 판단하고, 허가된 사용자인 경우를 판단할 수 있다.
세부적으로는, 모션센서(motion sensor)로 부터 사용자 신체의 부분에서 모션신호를 수집하고, 상기 모션신호로부터 원치 않는 신호를 필터링하고, 필터링 된 모션신호로부터 신경-근육 마이크로 모션(neuro-muscular micro- motion) 데이터를 추출하고, 신경근육 마이크로 모션 데이터를 신호처리와 피쳐추출을 수행하여 고유한 특성을 추출하고, 고유한 특성을 기초로 신경-역학적 식별자(neuro-mechanical identifier) 생성을 수행할 수 있다.
또한, 인증된 사용자를 국부적으로 인증하고 전자장치에 대한 액세스를 제어하기 위해, 전자장치를 사용하여 사용자의 신체 부분에서 감지된 마이크로 모션 신호에 응답하여 사용자를 위한 신경-역학적 지문을 생성하고, 인증된 사용자 교정 파라미터에 응답하여 신경-역학적 지문의 일치 비율을 생성하고, 일치 비율에 응답하여 전자장치에 대한 사용자 액세스 제어를 수행할 수 있다. 이러한 동작들은 신용카드 결재, 의료장치의 의료정보 수집 및 가공, 보안칩셋의 인증키등의 인증 또는 암호화 수단, 클라우드 환경에서의 사용자 로그인 등의 인증 또는 암호화, 웨어러블 장치에 탑재되어 인증 또는 암호화, 각종 잠금장치(도어락, 화면잠금 해제, 자동차의 키, 각종 장치의 잠금해제)의 해제등의 분야에 다양하게 활용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 신경 역학적 식별자 생성 방법을 나타내는 순서도이다. 도 6은 본 발명의 일 실시예에 따른 사용자별 푸앵카레의 위상 도표를 나타내는 그래프이다. 도 7은 본 발명의 일 실시예에 따른 서로 다른 사용자의 켑스트럼(CEPSTRUM) 분석결과를 나타내는 그래프이다. 이해를 돕기위해 도 5는 도 3에 도시된 전자장치를 가정하여 설명하기로 한다.
도 5를 참조하면, 전자장치(300)는 모션센서(motion sensor)로부터 사용자 신체의 부분에서 모션신호를 수집할 수 있다(510). 모션센서는 사용자의 움직임이나 진동을 감지할 수 있는 센서를 포함할 수 있다. 예를 들어, 모션센서는 나침반(371), 자이로센서(375), 가속도 센서(382), 카메라(350), 광학센서(372), 터치센서티브 디스플레이(355)의 터치센서 등 일 수 있다. 전자장치는 사용자의 신체 일부분과 접촉된 부분에서 발생하는 움직임, 진동 등을 감지하여 모션센서 등을 통해 전기적 신호로 변환하고 신호처리 가능한 디지털 신호로 변환을 수행할 수 있다. 모션센서로 카메라를 구동시킬 경우, 안구 움직임 신호를 수집할 수 있다. 모션센서는 미리 정해진 시간 범위(예를 들어, 5, 10, 20, 30초 등)에 걸쳐, 미리 정해진 샘플링 주파수로 샘플링하여 신호를 수집할 수 있다.
샘플링 주파수는, 신경에서 유도되거나 신경에 기반을 둔 인간의 고유한 신경근 해부학에 기인하는 신경 근육 마이크로 모션의 주파수가 주로 관찰되는 주파수 범위인 3Hz에서 30Hz를 고려하여, 예를 들어, 30Hz 주파수의 두 배 이상인 60Hz, 200Hz, 250Hz, 330Hz 등이 될 수 있다. 모션센서는 디지털 신호의 품질을 높이기 위해 노이즈를 제거하거나 신호 품질을 개선하는 동작을 더 수행할 수도 있다. 전자장치(300)가 휴대용 기기로 구현될 경우에는 전력소모의 문제가 중요해 질 수 있다. 이를 위해 전자장치는 슬립모드로 동작할 수 있고, 전자장치(300)는 수집되고 디지털로 변환된 모션신호를 센서코어(326)을 통해 프로세싱 유닛(301)로 전달 받을 수 있다. 센서코어(326)는 모션센서로부터 전달받은 디지털 신호의 품질을 높이기 위해 노이즈를 제거하거나 신호를 품질을 개선하는 동작을 더 수행할 수도 있다. 프로세싱 유닛은 전자장치(300)의 전력소모의 효율성을 높이기 위해 종종 슬립모드에 진입하는 동작을 할 수 있다. 일반적으로 슬립모드에서는 최소한의 전력소모를 위해 전자장치(300) 내의 일부 구성요소들의 전력을 차단하거나, 저전력모드로 전환하거나, 동작 클락의 주파수를 낮추는 등의 다양한 방법들이 적용될 수 있다. 프로세싱 유닛(301)이 슬립모드에 진입할 경우 전력 소모의 효율은 높아진다고 할 수 있으나, 사용자와 전자기기간의 상호 응답 측면에서는 지연이 발생할 수 있기 때문에, 센서코어(326)와 같은 보조프로세서가 프로세싱 유닛 내부 또는 전자장치에 구비될 수 있다. 프로세싱 유닛(301)이 슬립모드에 진입하더라도, 센서코어(326)는 센서(370)들로부터의 신호감지를 관찰하여, 프로세싱 유닛(301)의 처리가 요구되는 상황으로 판단되는 경우, 버스 또는 인터럽트 신호를 통해 프로세싱 유닛(301)의 슬립모드에서 깨어날 수 있도록 하는 동작을 수행할 수 있다. 신경지문(NFP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능은 보안이 요구되는 동작이라고 할 수 있다. 이 경우 모션센서의 데이터 수집을 제어하는 동작은 예를 들어, 프로세서 유닛(301) 내의 제1코어(304)는 보안모드(308)로 전환되어 동작할 수 있다. 모션센서 또는 센서코어(326)에 의해 버스 또는 인터럽트를 통해 전달되는 신호는 모니터모드(313)에 입력되어 제1 코어(304)를 보안모드(308)로 전환하게 할 수 있다. 보안모드(308)로 진입한 코어는 기 설정된 보안모드에서만 접근 가능한 전자장치의 시스템 자원을 액세스하거나 제어할 수 있다.
전자장치(300)는 모션센서로부터 수집된 모션신호로부터 신경근육 마이크로 모션 데이터를 추출할 수 있다(520). 모션신호로부터의 신호를 추출하는 동작은 프로세싱 유닛(301)의 중앙처리장치(302)에서 모두 처리하거나, GPU(320), 디지털신호처리(DSP)(321), 신경지문(NFP)가속기 등과 협력하여 신호를 추출할 수 있다.
수집된 모션신호로부터 마이크로 모션 데이터 추출을 위해 불필요한 신호를 제거하는 필터링을 수행할 수 있다(522). 불필요한 신호들은 예를 들어, 잡음, 매크로 모션 신호, 중력으로 인한 왜곡 등을 포함할 수 있다. 모션센서로부터 획득된 신호에 있어서, 신호 수집 초기의 약 5~6초까지의 신호는 사용자의 매크로 모션의 신호가 매우 많이 포함될 수 있고 전자장치의 흔들림이 있을 수 있으므로 모두 버릴 수 있다. 전자장치가 충전 중인 경우에 수집된 신호에 있어서는 전원 잡음이 발생할 수 있으므로 전원잡음으로 인한 특성을 고려하여 신호의 필터링을 할 수 있다. 신경에서 유도되거나 신경에 기반을 둔 인간의 고유한 신경근 해부학에 기인하는 신경 근육 마이크로 모션의 주파수는 주로 3Hz 에서 30Hz의 범위에 관찰된다. 따라서, 수집된 모션신호로부터 3Hz에서 30Hz 또는 4Hz에서 30Hz범위의 신호를 신호처리알고리즘을 수행하여 추출할 수 있다. 제거해야 할 원치 않는 신호의 특성에 따라 신호처리알고리즘의 대역필터의 차단주파수에 대한 변경을 가할 수 있다. 예를 들어, 일 실시예에서는 4Hz에서 30Hz 범위의 신호를 추출할 수 있고, 다른 일 실시예에서는 8Hz에서 30Hz 범위의 신호를 추출할 수 있다. 또 다른 일 실시예에서는, 4Hz에서 12Hz 또는 8Hz에서 12Hz 범위의 신호를 추출할 수 있다.
일 실시예에서는, 수집된 모션신호로부터 매크로 모션(사용자 신체의 큰 움직임, 팔을 움직이거나 걷는 동작, 달리기, 조깅, 손동작 등의 큰 규모의 움직임)을 제거하기 위해 마이크로 모션의 작은 신호 진폭으로부터 분리하여 분류하는 신호 해석 방법을 사용할 수 있다. 예를 들어, "Time Series Classification Using Gaussian Mixture Models of Reconstructed Phase Spaces"(by Richard J. Povinelli et al., IEEE Transactions on Knowledge and Data Engineering, Vol. 16 , No. 6, June 2004)의 해석 방법, 또는 의식적인 움직임으로 인한 신호의 분리를 위해 "Estimation of Physiological Tremor from Accelerometers for Real-Time Applications" (by Kalyana C. Veluvolu et al., Sensors 2011, vol. 11, pages 3020-3036, attached hereto in the appendix)의 해석 방법을 사용하여 매크로 모션 신호를 제거하고 마이크로 모션 신호를 추출 할 수 있다.
전자장치(300)는, 추출된 신경근육 마이크로 모션 데이터에서 고유한 특성을 추출할 수 있다(530). 도 6에 도시된 바와 같이, 사용자별 푸앵카레의 위상 도표를 보면, 사용자 별로(610, 620, 630, 640) 각각 고유하고 상이한 신호패턴을 갖고 있고, 각 사용자별 패턴의 질량 중심(612, 622, 632, 642)도 각 사용자별 고유하고 상이한 것을 알 수 있다. 이때, 마이크로 모션 데이터에서 사용자별 고유한 특성을 추출하기 위해 신호처리와 피처추출을 수행할 수 있다(532).
각 사용자별 마이크로 모션 내의 은닉되어 있는 패턴을 추출하기 위해서는 신호의 스펙트럼 분석, 신호의 역스펙트럼 분석등을 통해 검출 될 수 있다. 예를 들어, 잘 알려진 켑스트럼(CEPSTRUM) 분석을 통해 반복되는 주기의 패턴과 주파수 간격을 감지할 수 있다. 도 7에 도시된 바와 같이, 서로 다른 사용자의 켑스트럼(CEPSTRUM) 분석결과를 보면, 사용자1(710)에서 추출된 5개의 켑스트럼 진폭(CEPSTRUM AMPLITUDE)의 피크값(P1, P2, P3, P4, P5)과 사용자 2(720)에서 추출된 5개의 켑스트럼 진폭의 피크값(P1, P2, P3, P4, P5)이 서로 다르고, 사용자1(710)에서 추출된 5개의 큐프렌시(Quefrency) (F1, F2, F3, F4, F5)와 사용자 2(720)에서 추출된 5개의 큐프렌시(Quefrency) (F1, F2, F3, F4, F5)의 값과 간격이 다른 사용자별 고유한 특성을 보여 주고 있는 것을 알 수 있어, 이러한 결과를 사용자 별로 고유한 패턴 정보에 포함할 수 있다.
전자장치(300)는, 신경근육 마이크로 모션 데이터에서 신경-역학적 식별자를 생성할 수 있다(540). 일 실시예에서, 추출된 신경근육 마이크로 모션 데이터에서 고유한 특성을 추출(530)하는 동작에의 결과값들의 집합을 다차원의 값을 갖는 자료구조 형태로 신경-역학적 식별자로 생성하여 비휘발성 메모리에 저장한다. 신경-역학적 식별자는 사용자별로 고유한 신경지문으로 불려질 수 있다.
신경 역학적 식별자 생성 방법(510, 520, 530, 540)의 동작 수행시, 전자장치(300)는 고성능의 프로세서 코어의 클러스터(예를 들어, 제1 클러스터(303)이 고성능 코어들의 클러스터일 경우, 제1 클러스터(303)를 할당)에 할당 되어 수행될 수 있다.
또한, 신경 역학적 식별자 생성 방법(510, 520, 530, 540)의 동작은 프로세서 유닛(301) 내의 코어의 보안모드(예를 들어, 상기 동작들이 제1코어(304)에 할당되는 경우 보안모드(308)로 전환)로 전환되어 동작할 수 있다. 보안모드(308)로 진입한 코어는 기 설정된 보안모드에서만 접근 가능한 전자장치의 시스템 자원을 액세스하거나 제어하여, 신경 역학적 식별자 생성 방법(510, 520, 530, 540)의 동작을 수행할 수 있다.
또한, 신경 역학적 식별자 생성 방법(510, 520, 530, 540)의 동작 수행이 시작될 때, 전자장치(300)가 슬립모드 상태에 있는 경우, 센서코어(326)에서 센서(370)들로 부터의 신호를 감지하고 버스 또는 인터럽트 신호를 통해 프로세싱 유닛(301)의 슬립모드에서 깨어날 수 있도록 하여, 신경 역학적 식별자 생성 방법(510, 520, 530, 540)의 동작을 수행할 수 있다.
또한, 신경 역학적 식별자 생성 방법(510, 520, 530, 540)의 동작 수행시 모션센서로 카메라 또는 광학센서를 구동하여 안구의 움직임 신호를 수집하여 신경 역학적 식별자(예를 들어, 신경안구 식별자)를 생성할 수 있다.
도 8은 본 발명의 일 실시예에 따른 신경안구 식별자 생성 방법을 나타내는 순서도이다. 이해를 돕기위해 도 8은 도 3에 도시된 전자장치를 가정하여 설명하기로 한다.
도 8에 도시된 바와 같이, 전자장치(300)는 광학센서(예를 들어, RGB센서(376), 홍채센서(383), 카메라(350) 등)로 사용자 안구의 움직임의 영상을 획득하고 안구의 움직임 신호를 추출하여 신호처리 가능한 디지털 신호로 변환을 수행할 수 있다. 특히, 안구 움직임을 수집하기 위해 미리 정해진 시간 범위(예를 들어, 5, 10, 20, 30초 등)에 걸쳐, 미리 정해진 샘플링 주파수로 샘플링하여 신호를 수집할 수 있다. 샘플링 주파수는, 신경에서 유도되거나 신경에 기반을 둔 인간의 고유한 신경근 해부학에 기인하는 무의식적 안구 움직임의 주파수가 주로 관찰되는 주파수 범위인 3Hz 에서 30Hz를 고려하여, 예를 들어, 30Hz 주파수의 두 배 이상인 60Hz, 200Hz, 250Hz, 330Hz 등이 될 수 있다. 광학센서는 디지털 신호의 품질을 높이기 위해 노이즈를 제거하거나 신호 품질을 개선하는 동작을 더 수행할 수도 있다. 전자장치(300)가 휴대용 기기로 구현될 경우에는 전력소모의 문제가 중요해 질 수 있다. 이를 위해 전자장치(300)는 슬립모드로 동작할 수 있고, 전자장치(300)는 수집되고 디지털로 변환된 안구 움직임 신호를 센서코어(326)을 통해 프로세싱 유닛(301)으로 전달 받을 수 있다. 센서코어(326)는 광학센서로부터 전달받은 디지털 신호의 품질을 높이기 위해 노이즈를 제거하거나 신호를 품질을 개선하는 동작을 더 수행할 수도 있다. 프로세싱 유닛은 전자장치(300)의 전력소모의 효율성을 높이기 위해 종종 슬립모드에 진입하는 동작을 할 수 있다. 일반적으로 슬립모드에서는 최소한의 전력소모를 위해 상기 전자장치(300) 내의 일부 구성요소들의 전력을 차단하거나, 저전력모드로의 전환하거나, 동작 클락의 주파수를 낮추는 등의 다양한 방법들이 적용될 수 있다. 프로세싱 유닛(301)이 슬립모드에 진입할 경우 전력 소모의 효율은 높아진다고 할 수 있으나, 사용자와 전자기기간의 상호 응답 측면에서는 지연이 발생할 수 있기 때문에, 센서코어(326)와 같은 보조프로세서가 프로세싱 유닛 내부 또는 전자장치에 구비될 수 있다. 프로세싱 유닛(301)이 슬립모드에 진입하더라도, 센서코어(326)는 센서(370)들로부터의 신호감지를 관찰하여, 프로세싱 유닛(301)의 처리가 요구되는 상황으로 판단되는 경우, 버스 또는 인터럽트 신호를 통해 프로세싱 유닛(301)의 슬립모드에서 깨어날 수 있도록 하는 동작을 수행할 수 있다.
한편, 신경지문(NFP) 또는 신경안구지문(NEP)과 연관된 식별, 인증, 암호화 또는 이들을 활용한 기능은 보안이 요구되는 동작이라고 할 수 있다. 이 경우, 광학센서의 데이터 수집을 제어하는 동작은 예를 들어, 프로세서 유닛(301) 내의 제1코어(304)는 보안모드(308)로 전환되어 동작할 수 있다. 모션센서 또는 센서코어(326)에 의해 버스 또는 인터럽트를 통해 전달되는 신호는 모니터모드(313)에 입력되어 제1 코어(304)를 보안모드(308)로 전환하게 할 수 있다. 보안모드(308)로 진입한 코어는 기 설정된 보안모드에서만 접근 가능한 전자장치의 시스템 자원을 액세스하거나 제어할 수 있다.
전자장치(300)는 광학센서로부터 수집된 안구 움직임 신호로부터 무의식적 안구 움직임 데이터를 추출할 수 있다(820). 안구 움직임 신호로부터의 신호를 추출하는 동작은 프로세싱 유닛(301)의 중앙처리장치(302)에서 모두 처리하거나, GPU(320), 디지털신호처리(DSP)(321), 신경지문(NFP)가속기 등과 협력하여 신호를 추출할 수 있다.
수집된 안구 움직임 신호로부터 무의식적 안구 움직임 데이터 추출을 위해 불필요한 신호를 제거하는 필터링을 수행할 수 있다(822). 불필요한 신호들은 예를 들어, 잡음, 의식적인 안구 움직임 신호, 매크로 모션 신호, 중력으로 인한 왜곡 등을 포함할 수 있다. 광학센서로부터 획득된 신호에 있어서, 신호 수집 초기의 약 5~6초까지의 신호는 사용자의 의식적인 안구 움직임 신호 또는 매크로 모션의 신호가 매우 많이 포함될 수 있고 전자장치의 흔들림이 있을 수 있으므로 모두 버릴 수 있다. 전자장치가 충전 중인 경우에 수집된 신호에 있어서는 전원 잡음이 발생할 수 있으므로 전원잡음으로 인한 특성을 고려하여 신호의 필터링을 할 수 있다. 신경에서 유도되거나 신경에 기반을 둔 인간의 고유한 신경근 해부학에 기인하는 무의식적 안구 움직임의 주파수는 주로 3Hz 에서 30Hz의 범위에 관찰된다. 따라서 수집된 안구 움직임 신호로부터 3Hz에서 30Hz 또는 4Hz에서 30Hz범위의 신호를 신호처리알고리즘을 수행하여 추출할 수 있다. 제거해야 할 원치 않는 신호의 특성에 따라 신호처리알고리즘의 대역필터의 차단주파수에 대한 변경을 가할 수 있다. 예를 들어, 일 실시예에서는 4Hz에서 30Hz 범위의 신호를 추출할 수 있고, 다른 일 실시예에서는 8Hz에서 30Hz 범위의 신호를 추출할 수 있다. 또 다른 일 실시예에서는, 4Hz에서 12Hz 또는 8Hz에서 12Hz 범위의 신호를 추출할 수 있다.
일 실시예에서는, 수집된 안구 움직임 신호로부터 의식적인 안구 움직임 신호를 제거하기 위해 무의식적 안구 움직임의 작은 신호 진폭으로부터 분리하여 분류하는 신호 해석 방법을 사용할 수 있다. 예를 들어, "Time Series Classification Using Gaussian Mixture Models of Reconstructed Phase Spaces"(by Richard J. Povinelli et al., IEEE Transactions on Knowledge and Data Engineering, Vol. 16 , No. 6, June 2004 )의 해석 방법, 또는 의식적인 움직임으로 인한 신호의 분리를 위해 "Estimation of Physiological Tremor from Accelerometers for Real-Time Applications" (by Kalyana C. Veluvolu et al., Sensors 2011, vol. 11, pages 3020-3036, attached hereto in the appendix)의 해석 방법을 사용하여 의식적인 안구 움직임 신호를 제거하고 무의식적인 안구 움직임 신호를 추출 할 수 있다.
전자장치(300)는, 추출된 무의식적 안구 움직임 데이터에서 고유한 특성을 추출할 수 있다(830). 전자장치(300)는 무의식적 안구 움직임 데이터 에서 신경안구 식별자를 생성할 수 있다(840). 추출된 무의식적 안구 움직임 데이터에서 고유한 특성을 추출(830)하는 동작에의 결과값들의 집합을 다차원의 값을 갖는 자료구조 형태로 신경안구 식별자로 생성하여 비휘발성 메모리에 저장할 수 있다.
신경안구 식별자 생성 방법(810, 820, 830, 840)의 동작 수행시 전자장치(300)는 고성능의 프로세서 코어의 클러스터(예를 들어, 제1 클러스터(303)이 고성능 코어들의 클러스터일 경우, 제1 클러스터(303)를 할당)에 할당되어 수행될 수 있다.
또한, 신경안구 식별자 생성 방법(810, 820, 830, 840)의 동작들은 프로세서 유닛(301) 내의 코어의 보안모드 (예를 들어, 상기 동작들이 제1코어(304)에 할당되는 경우 보안모드(308)로 전환)로 전환되어 동작할 수 있다. 보안모드(308)로 진입한 코어는 기 설정된 보안모드에서만 접근 가능한 전자장치의 시스템 자원을 액세스하거나 제어하여, 신경안구 식별자 생성 방법(810, 820, 830, 840)의 동작을 수행할 수 있다.
또한, 신경안구 식별자 생성 방법(810, 820, 830, 840)의 동작 수행이 시작될 때, 전자장치(300)가 슬립모드 상태에 있는 경우, 센서코어(326)에서 센서(370)들로 부터의 신호를 감지하고 버스 또는 인터럽트 신호를 통해 상기 프로세싱 유닛(301)의 슬립모드에서 깨어날 수 있도록 하여, 신경안구 식별자 생성 방법(810, 820, 830, 840)의 동작을 수행할 수 있다.
도 9는 사람의 두개골 내에 위치한 안구의 단면도를 도시한다.
도 9를 참조하면, 두개골(902) 내의 사람의 안구(900) 에 대한 단면도가 도시되어 있다. 사람의 안구(900)는 복수의 근육에 의해 두개골(902) 내에서 이동할 수 있는 불완전한 구형(imperfect glob)이다. 두개골(902) 내의 사람의 안구(900)의 위치 변화의 작용 또는 프로세스는 안구 움직임(eye movement) 또는 안구 모션(eye motion)으로 지칭된다.
안구(900)는 뇌에 의한 처리를 위해 컬러 이미지를 획득하기 위해 상호 작용하는 망막(retina)(910), 동공(pupil)(912), 홍채(iris)(914), 중심와(fovea)(916) 및 수정체(lens)(918)를 포함한다. 안구의 각막(cornea)(922)은 동공(912), 홍채(914) 및 수정체(918)를 통해 망막(910)으로 상이 맺히도록 한다. 동공(912)은 망막(910)에 의해 수용된 광량을 조절하기 위해 그 직경을 변경한다. 안구의 망막 (910)은 두 가지 종류의 광 수용체인, 간상(rod)세포 및 원추(cone)세포를 포함한다. 망막에는 약 1 억 2 천만 개의 원추(cone)세포와 6 ~ 7 백만 개의 간상(rod)세포가 있다. 간상세포는 망막 중심부 또는 황반 (망막 중심)이라고 불리는 망막의 간상세포가 없는 영역에 집중되어있어 최대의 시력과 색감을 제공한다. 원추세포는 망막(910)의 다른 곳보다 작고 밀집되어있다. 신경(926)은 안구에 결합된 신경 섬유의 케이블로서, 망막의 간상세포 및 원추세포로부터 전기 신호를 뇌로 전달한다. 시신경이 망막을 통해 안구를 떠나는 지점에는 간상세포와 원추세포가 없다. 따라서, 시신경은 망막에서 "사각 지대"를 형성한다.
도 10a 내지 도 10c는 안구의 다양한 안구 운동을 유발하는, 안구에 연결된 다양한 근육을 나타내는 다이어그램이다.
도 10a에 도시된 바와 같이, 좌측 직근(1001L)과 우측 직근(1001R)은 화살표(1011)와 같이 안구(900)를 좌우로 수평으로 움직이게 한다.
도 10b에서, 상부 선상의 상직근(1001T)과 하부의 하직근(1001B)은 화살표(1012)와 같이 안구(900)를 위쪽과 아래쪽으로 움직이게 한다.
도 10c에서, 상부 경사 근육(1002S) 및 하부 경사 근육(1002I)은 굴곡된 화살표(1013)와 같이 안구(900)를 굴리며 움직이게 한다. 이들 근육은 인간의 의지에 따라 의식적인 안구 움직임을 일으킬 수 있으며, 인간이 알지도 못하는 무의식적인 안구 움직임이 발생할 수 있다. 안구(900) 주위의 다른 근육들은 또한 의식적이고 무의식적인 안구 움직임에 기여할 수 있다. 근육은 뇌를 포함한 신체의 신경계의 통제하에 있다.
무의식적인 안구 움직임은 의식적인 안구 움직임과 달리 안과 의사에 의해 임상적으로 관찰될 때 종종 병리학적인 것으로 간주된다. 그러나, 눈이 어떤 대상에 고정되어 있는 경우 정상적, 생리학적, 미세한 무의식적 움직임이 일어나는 것이 종종 더 자주 관찰된다. 이러한 아주 작은 무의식적인 안구 움직임은 안구 내 망막 표면의 초점 지점에서 간상세포와 원추세포의 피로를 방지하기 위한 신체의 정상적인 생리 기능이다. 무의식적인 안구 움직임은 일반적으로 교란으로 간주되거나 연구 목적으로 분석되어 왔다.
인간 안구(900)의 망막(910)은 다양한 목적으로 스캔될 수 있다. 눈의 망막 해부학적 이차원 지도를 획득하는 망막 스캐너가 알려져 있다. 망막 스캐너는 무의식적인 안구 움직임을 측정하기 위한 것이 아니다.
각종 안구 추적 시스템은 다양한 목적을 위해 의식적인 안구 움직임을 검출하기 위해 사용되어 왔다. 예를 들어, 게임용 가상 현실 헤드셋은 비디오 게임의 게임 플레이에서 의식적인 안구 움직임을 추적할 수 있다. 또 다른 예로, 군대 시스템의 헤드업 디스플레이(Heads-up Display)는 군사 목적을 위해 의식적인 안구 움직임을 추적할 수 있다. 그러나, 안구 추적 시스템은 중심와의 시야 및 피사체의 초점 주시(focal attention)를 평가하기 위한 것으로, 무의식적인 안구 움직임이 방해가 되거나 연구 목적으로만 사용된 경우이어서, 무의식적인 안구 움직임을 측정하지 않았다.
빛(광자)에 대한 망막 민감도는 안구 모션(안구 움직임), 안구 근육 및 특정한 뇌의 배선(wiring)에 의한 전체 시스템의 통합에 의한 유전 인자에 의해 정의된다. 안구(900)의 아주 작은 무의식적 안구 움직임은 인체의 정상적인 생리 기능이다. 임의의 신경학적으로 조정 과정은 개인에게 고유한 특징을 생성할 것이고, 따라서, 한 개인을 다른 개인으로부터 식별하는데 잠재적으로 유용할 수 있다. 따라서, 안구(900)의 무의식적 안구 움직임은 개인에게 고유하고, 사용자 식별과 사용자 인증에 사용될 수 있다.
도 11은 안구의 무의식적인 안구 움직임을 획득하기 위한 고정 프로세스의 다이어그램이다. 이해를 돕기위해 도 9에 도시된 안구의 단면도와 함께 설명하기로 한다.
도 11을 참조하면, 안구(900)의 작거나 미세한 무의식적인 안구 움직임은 목적물의 이미지에 눈을 고정하는 과정에 의해 획득될 수 있다. 목적물 이미지는 안구(900)의 망막(910) 상의 망막 이미지(1102)가 될 수 있다. 목적물 이미지는 디스플레이 장치(1110) 상의 목적물(1104)에 의해 생성될 수 있다. 사용자는 디스플레이 장치(1110) 상의 목적물(1104)을 일정 시간 (예를 들어, 10 초 내지 15 초)동안 응시하거나 고정한다. 무의식적인 움직임은 육안으로 직접 관찰하여 볼 때 너무 작고 포착하기 힘들다. 비디오 카메라(1112)는 고정하는 과정 동안 안구(900)의 움직임의 일련의 이미지를 획득한다.
고정 과정(fixation process) 동안 의식적인 눈 움직임을 획득하는 것을 방지하기 위해, 비디오 카메라(1112)를 안구(900)에 연결시킬 수 있다. 그러나, 이것은 인증 목적으로는 비실용적이다. 의식적인 안구 움직임은 촬영된 안구 움직임 데이터로부터 실질적으로 걸러내어 무의식적인 안구 움직임 데이터를 생성할 수 있다.
또한, 미세한 무의식적인 안구 움직임(본 실시예에서는 무의식적인 안구의 마이크로 모션이라고도 함)이 일반적으로는 고정 과정(fixation process) 중에 획득되지만, 눈이 보기 위해 움직이는 때에도 큰 규모의 의식적인 안구 움직임을 통해서도, 관심부분의 초점지점에 관계없이, 획득될 수 있다. 비디오 카메라는 작은 규모 또는 미세한 무의식적인 안구 움직임을 포함하는 큰 규모의 안구 움직임의 이미지 시퀀스를 획득하는데 사용할 수 있다. 미세한 무의식적 안구 움직임은, 무의식적인 움직임과 의식적인 움직임을 모두 포함하여 획득된 이미지 시퀀스에서 추출될 수 있다.
도 12a 및 도 12b는 일정시간동안 타겟을 고정하는 사용자에 응답하여 원추세포대의 영역에 걸친 무의식적 안구 움직임 그래프를 갖는 망막의 확대된 부분의 다이어그램이다. 도 15는 사용자의 무의식적 안구 움직임 신호를 직접 생성하기 위한 안전도 기록(electrooculography) 시스템의 블록도이다. 도 16b는 사용자의 안구 움직임 이미지를 획득하는데 사용될 수 있는 도 16a에 도시된 비디오 카메라를 구비한 전자장치의 블록도이다. 이해를 돕기위해 도 12a 및 도 12b와 이를 이용한 도 15의 시스템을 함께 설명하기로 한다.
도 12a는, 원추형 영역(1200)이 망막(910)의 중앙 중심와의 확대된 부분으로 도시되어 있으며, 사용자가 약 10초간의 목적물에 고정하는 것에 대응하는 원추형 영역의 무의식적인 안구 움직임의 그래프를 도시하는 것으로, 망막(910)의 약 5 미크론 직경내의 복수의 원추를 나타낸다.
무의식적인 안구의 움직임은 사용자가 정지된 물체에 고정하는 동작 여부에 관계없이 존재한다. 다양한 종류의 안구 움직임을 포함한 미세한 무의식적 안구 움직임은 사용자를 식별하는데 사용할 수 있다.
도 12a에서는, 단속성운동(saccade, 미세한 단속성 운동이라고도함)(1201A-1201F), 곡선 형상의 드리프트(1203A-1202E) 및 지그재그 형상의 떨림(1203A-1203E)을 포함한, 작은 무의식적 안구 움직임의 다양한 종류를 도시한다.
도 12b는, 단속성운동(1201F), 곡선 형태의 드리프트(1202E) 및 지그재그 형상의 떨림(1203E)의 확대도를 도시한다. 지그재그 형상의 떨림(1203E)은 곡선형상의 드리프트(1202E)에 겹쳐져있다.
드리프트 안구 움직임(1202A-1202E)은 눈이 특히 어떤 것에도 초점을 맞추지 않을 때 어떤 정확한 목표가 없는 랜덤한 자취와 같다. 이러한 안구 움직임은 20~40Hz 정도의 주파수를 갖고, 방향을 바꾸며 작은 진폭의 특징을 갖는다. 떨리는 안구의 움직임은 매우 작은 진폭(예를 들어, 0.2 내지 2-3 도의 각도) 및 높은 주파수(예를 들어, 40Hz 내지 150Hz, 90Hz가 전형적인 값)에 의해 특징 지워진다. 단속성운동의 안구 움직임은 15-20도 각도 사이의 진폭, 빠른 움직임(200-500도 / 초) 및 비교적 낮은 주파수(예를 들어, 0.1Hz 내지 1-5Hz)를 특징으로 한다.
미세한 무의식적 안구 움직임은 안구 내 망막 표면상의 초점에서 간상 및 원추의 피로를 방지하기 위한 신체의 정상적인 생리적 기능이다. 눈의 망막에 있는 대상이나 물체의 이미지는 무의식적인 안구 움직임으로 인해 끊임없이 움직인다. 드리프트 안구 움직임(1202A-1202E)은 이미지가 중심부의 중심으로부터 바깥쪽으로 천천히 드리프트 되도록 한다. 드리프트 안구 움직임은 단속성 안구 움직임의 시작시 종료된다. 단속성운동의 안구 움직임(1201A - 1201F)는 이미지를 중심와를 향해 다시 가져온다. 드리프트 안구 움직임(1202A-1202E)에 중첩된 떨림 안구 움직임 (1203A-1203E)은, 응시하거나 물체를 고정할 때, 단일 원추의 피로를 방지하기 위해 복수의 원추를 가로지르는 진폭을 갖는다.
이러한 작은 무의식적인 안구 움직임은 망막 피로를 방지하는 것으로 생각된다. 망막 피로는 망막 세포에 의해 광자를 획득하는 데 필수적인 몇 가지 중요한 생화학 물질의 고갈이다. 작은 무의식적인 안구 움직임은 육안으로는 감지할 수 없다. 그러나, 도 11 및 도16b와 같이 눈의 움직임을 기록하기에 충분한 속도의 망막 스캐너 및 비디오 카메라로 무의식적인 안구의 움직임을 획득하고 감지/주시/인식할 수 있다.
무의식적인 안구 모션/움직임은 적외선 발광 다이오드(LED), 동공 스캐닝 방법, 심지어 굴절계를 사용하는 것과 같은 다양한 수단 / 방법에 의해, 적절한 시간 / 주파수 및 무의식적인 안구 모션/움직임을 획득하기 위한 변위해상도를 수정함으로써, 감지될 수 있다.
무의식적인 안구 움직임은 무의식적인 안구 움직임을 나타내는 안전도기록 (electroculogram : EOG)을 생성하기에 충분한 감도를 갖는 안전도기록을 사용하여 선택적으로 감지될 수 있다. 원시 EOG 신호는 안구 각막과 망막 사이의 쌍극자에서 발생한다.
전기 신호는 눈이 안구 움직임을 발생하게 할 때 안구 운동 근육에서 발생한다. 안구 운동 근육에서 발생된 이러한 전기 신호는 눈의 근전도(EMG)와 유사한 눈 움직임을 나타내는 것으로 감지될 수 있다.
도 15를 참조하면, 안전도기록은 망막(접지)과 눈의 각막 사이의 전위차(전압)를 측정함으로써 전기 신호를 감지하는 것을 포함한다. 일반적으로 전극은 눈 주위에 배치되어 하나 이상의 접지 전극에 대해 위, 아래, 왼쪽 및 오른쪽 전압을 측정한다. 수평 눈 움직임을 나타내는 신호를 생성하기 위해 좌우 전압 측정 간의 차이를 만들 수 있다. 상향 및 하향 전압 측정의 차이는 수직 눈 움직임을 나타내는 신호를 생성하기 위해 만들어질 수 있다. 신호 처리가 이루어지기 전에 신호를 증폭하고 필터링 할 수 있다. 아날로그 신호는 디지털 신호로 변환되어 디지털 신호 처리가 사용자의 무의식적인 안구 운동에서 패턴에 대한 EOG 신호를 분석할 수 있다.
무의식적인 안구 움직임 패턴은 개인의 특정한 신경 - 근육 - 망막 해부체와 관련되기 때문에 개인의 생리학적 생체 인식을 수행하는 방법으로서 이용된다. 안구의 무의식적인 안구 움직임의 미세동작을 획득하면 개인에게 고유한 패턴을 추출할 수 있으며 개인의 신원을 인증하는 데 사용할 수 있다. 추출된 패턴을 분석하여 각 개인의 고유한 식별자를 제공하는 특징을 추출할 수 있다. 일 실시 예에서, 동공은 고속의 고해상도 카메라를 사용하여 식별되고 추적될 수 있다. 이미지는 이미지 처리 소프트웨어를 실행하는 프로세서로 처리되어 사용자를 고유하게 식별하는 무의식적인 안구 움직임에서 피처(feature)를 추출할 수 있다.
무의식적인 안구 움직임은 독자적인 인증 방법 또는 안구의 망막 해부학 이미지를 획득하는 망막 스캐너와 함께 사용될 수 있다. 무의식적인 안구 움직임은 안구의 홍채 해부학 이미지를 획득하는 홍채 스캐너와 함께 인증 방법으로 사용할 수도 있다. 무의식적인 안구 움직임은 안구 해부학 이미지를 촬영하는 망막 및 / 또는 홍채 스캐너와 함께 인증 방법으로 사용할 수도 있다.
무의식적인 안구 움직임 및 망막 및 / 또는 홍채를 사용하여 이중 또는 삼중 인증을 제공할 수 있다. 망막 및 홍채 스캐닝 기술에는 신경학적 요소가 포함되어 있지 않다. 망막 스캐닝 기술은 이차원(2D) 스캔 이미지를 기반으로 인증을 수행하기 위해 망막의 해부학적 구조를 단순히 매핑한다. 무의식적인 안구 움직임은 현재의 안구 스캐닝 기술에 생체학적 생체 파라미터를 추가할 수 있다.
버크(Birk) 등이 출원 한 미국 특허공보 제 2014/0331315호는, 인증 프로토콜에서 사용하기 위해 안구 움직임으로부터 생체 측정 파라미터를 도출하는 방법을 개시한다. 초록에 기술된 "사용자에게 알려진 암호 또는 다른 정보", "디스플레이에 내장된 정보 조각을 시각적으로 파악"과 같은 눈의 초점을 활발하게 움직이는 행동 레퍼토리에 기초한 눈 움직임과 같은 종래의 인증방법을 결합하고 있다. 버크(Birk)의 행동 레퍼토리는 안구운동의 경로이거나, 사용자가 알고 있는 비밀번호 나 코드와 일치하는 일련의 숫자 / 문자를 순차적으로 위치시키는 사용자의 안구 운동의 특징 일 수 있다.
버크 (Birk)는 의식적 및 무의식적인 두 가지 유형의 안구 움직임이 있음을 인지하고 있다. 그러나, 버크(Birk)는 유일하고 능동적이고 의식적인 안구 움직임을 인식 기술의 입력으로 사용한다고 기술하고 있다. 버크(Birk)는 필수적으로 정의된 그리드를 사용하는데, 사용자 눈은 특정 순서를 갖고 돌아다니면서 인식되어야 한다. 버크(Birk)는 사용자의 특정한 동작(습관)의 레퍼토리를 이용하고 있다.
버크 (Birk)와는 대조적으로, 본 개시의 실시 예에서는 뇌간 및 대뇌 피질에 의해 제어되는 보통의 생리학적 눈의 무의식적인 움직임만을 이용한다. 실시예에 의해 획득된 무의식적인 안구 움직임은 사용자가 하는 일에 기초하지 않고 사용자가 무엇인지에 기초하는 것이다.
Mikio Kamada에게 2004 년 8 월 31 일에 허여된 미국특허 제 6,785,406 호 (이하, 카마다(Kamada))는, 이미지나 다른 신체 부위가 아닌, 안구의 움직임 및 홍채 수축을 이용하여 사용자로부터 데이터가 수집되도록 하는 홍채 인증 장치를 기술하고 있다. 카마다(Kamada)에서 사용되는 안구 움직임은 머리가 움직이는 동안 대상을 볼 때 눈-머리 좌표를 보장하는 눈의 전정 제어와 관련된 동작을 이용한다. 카마다(Kamad)는 또한 옵토키네틱 안진증(Optokinetic Nystagmus) 안구 동작을 사용하는데, 이는 대상이 시야에서 벗어나 망막의 중심을 다시 중심으로 가져 오는 큰 큐모의 단속성운동이다.
카마다(Kamada)에 기재된 안구 동작은 망막 피로 및 사용자 특유의 미동 동작과 관련이 없다. 카마다(Kamada)에 기술된 안구 동작은 반사적인 동작이다. 카마다(Kamada)는 사용자를 식별하는 데 안구 움직임을 사용하지 않고 획득된 데이터가 실제 사용자로부터 획득된 것인지 여부를 확인한다. 카마다(Kamada)에서 설명한 안구 동작은 사용자별로 다르므로 반사적이기 때문에 사용자를 식별하는 데 사용할 수 없으므로 무릎 반사와 같으며 무릎 반사와 같은 모든 사람에게 서 나타나는 것이다. 카마다(Kamada)에서는 서로 다른 정도의 수준이 인정 될 수 있지만, 신원을 제공하기 위해 개인을 구별할 만큼 충분하지는 않다.
2014 년 12 월 12 일에 Brandon Lousi Migdal에게 허여된 미국특허 제 8,899,748 호는 개인의 전정 조절 (평형)과 관련된 안구 안진 운동을 검출하는 방법을 기술한다. 그러나, 전정 안진 안구 움직임은 수직 또는 수평 안구 동작일 수 있으며 일반적인 위치 반사로 시작된다. 더욱이, 전정 안진 안구 움직임은 본 개시의 실시 예에 의해 개개인을 구별하는데 유용한 무의식적 안구 운동의 정밀한 세분성이 결여되어있다.
2015 년 11 월 24 일에 James R. Bergen에게 허여 된 미국 특허 제 9,195,890 호 (이하, 베르겐(Bergen))는 홍채 화상 비교에 기초한 생체 인식 방법을 개시한다. 베르겐(Bergen)의 비교는 눈의 홍채에서 추출된 독특한 해부학적 특징을 기반으로 한다. 홍채의 특징은 베르겐(Bergen)이 다양하고 세부적으로 묘사하고 있다. 조리개를 저장된 홍채 패턴에 정렬하고 일치 시키려면, 베르겐(Bergen)은 다른 이미지 왜곡을 보정할 뿐 아니라 틸트 / 위치 및 모션을 보정해야한다. 베르겐(Bergen)에서 언급한 안구 운동은 큰규모이며 베르겐(Bergen)의 홍채 인식 시스템에서 품질 데이터를 수집하는 데 방해가 되기 때문에 바람직하지 않다 이것은 본 개시의 실시 예와는 상반된다고 할 수 있다.
Schonberg 등에게 허여 된 미국 특허 제 7,336,806 호는, (이하 숀버그(Schonberg); 고리 둘레가 열쇠인 사용자의 홍채 - 기반 인식을 개시한다. 숀 버그 (Schonberg)는 안구 동작을 포함한 다른 특징들을 제거되어야 할 잡음으로 간주하고 있다.
Kiderman 등에 게 허여 된 미국특허 제7,665,845 호는(이하 키더만(Kiderman)), 경량 고글을 기반으로 한 비디오 - 오큘로 그래픽 (VOG) 시스템을 설명한다. 키더만(Kiderman)의 고글은 측정 장비의 무게로 인해 임상 측정을 방해하지 않도록 고안되었다. 그러나, 키더만(Kiderman)은 본 개시의 실시 예에서 관심의 대상인 무의식적인 안구 움직임을 사용하는 것을 개시하지 않고 있다. 더욱이, 본 개시의 실시 예와 관련하여 공간 해상도에 대한 명백한 요구도 없다.
안전도기록(Electrooculography)은 무의식적인 안구의 움직임 신호를 직접 생성 할 수 있다. 획득된 비디오 이미지를 사용하여 안구 움직임을 추적할 때, 비디오 이미지에서 안구의 가시적인 특징이 사용된다. 패턴 인식은 비디오 이미지의 각각의 이미지에서 가시적 인 특징을 검출하는데 사용될 수 있다.
도 14a 내지 도 14c는 무의식적 안구 움직임을 검출하는데 사용될 수 있는 안구의 비디오 이미지에서 볼 수 있는 특징에 대한 다이어그램이다.
도 14a에 도시된 바와 같이, 안구의 이미지의 가시적인 특징은 홍채(914), 동공 (912) 또는 중심와(916) 일 수 있다. 에지 검출은 안구(900)의 비디오 이미지로부터 무의식적인 안구 움지직임을 추적하는데 사용될 수 있다. 사용자가 목적물을 고정하는 동안 획득될 수 있다. 엣지 검출은 홍채 (1414)의 둘레(614), 동공 (912)의 둘레(1412), 또는 중심부와(916)의 위치로부터 수행될 수 있다.
도 14b에 도시된 바와 같이, 홍채(914)의 둘레(1414)는 잘 정의되고 일관성이 있기 때문에 무의식적인 안구 움직임을 추적하는데 유용하다. 동공(912)의 둘레(612)는, 선택적으로, 무의식적인 안구 움직임을 추적하는데 사용될 수 있다. 그러나, 동공의 크기와 위치는 광도에 따라 변한다.
도 14c에 도시된 바와 같이, 중심와(916)는 선택적으로 무의식적 안구 움직임을 추적하는데 사용될 수 있다. 그러나, 중심와(916)을 추적하는 것은 전형적으로 안구(900)의 망막(910)을 조명하기 위해 수정체(918)를 통해 빛나는 광원을 필요로 한다.
도 13a 내지 도 13c는 사용자 식별 및 인증을 위해 사용될 수 있는 무의식적 안구 움직임의 다양한 조합을 나타내는 다이어그램이다. 도 15는 사용자의 무의식적 안구 움직임 신호를 직접 생성하기 위한 안전도기록(electrooculography) 시스템의 블록도이다. 이해를 돕기위해 도 13a 내지 도 13c와 이를 이용한 도 15의 시스템을 함께 설명하기로 한다.
도 13a에서, 단속성운동의 궤적, 드리프트 및 떨림을 포함한 3가지 유형의 무의식적인 안구 움직임이 각 사용자의 고유 식별자를 결정하는 데 사용될 수 있다. 일 실시 예에서, 각 사용자를 고유하게 식별하기 위해 3개의 모든 무의식적인 안구 움직임으로부터 특징이 추출된다. 이 시스템은 각 사용자에 대해 동일한 기능을 계속해서 반복해서 추출한다.
도 13b에서, 단속성운동의 궤적 및 드리프트와 같은 2개의 무의식적인 안구 움직임이 각 사용자의 고유 식별자를 결정하는데 사용될 수 있다. 다른 실시 예에서는, 특징들은 각 사용자를 고유하게 식별하도록 단속성운동의 궤적들 및 드리프트로부터 추출된다. 이 시스템은 각 사용자에 대해 동일한 기능을 계속해서 반복해서 추출한다.
도 13c에서, 떨림 성분과 같은 하나의 무의식적인 안구 움직임은 각 사용자의 고유 식별자를 결정하는데 사용될 수 있다. 또 다른 실시 예에서는, 각 사용자를 고유하게 식별하기 위해 안구 움직임의 떨림 성분으로부터 피쳐가 추출된다. 이 시스템은 각 사용자에 대해 동일한 기능을 계속해서 반복해서 추출한다.
도 15를 참조하면, 사용자(1599)의 무의식적인 안구의 움직임 신호를 직접 생성하는 안전도기록 시스템(1500)의 예시를 도시하고 있다. 복수의 전극 (1501A-1501E)은 안구 움직임 중의 각 안구의 전압을 획득하도록 사용자의 머리/얼굴 주변의 눈 부위에 위치한다. 전극은 사용자의 머리 / 얼굴의 표면에 전극을 연결하기 위해 후드 또는 얼굴 수신 장치의 일부일 수 있다. 전극 (1501A-1501B)은 안구 (900)의 상하 움직임을 획득한다. 전극 (1501C-1501D)은 안구 (900)의 좌우 움직임을 획득한다. 하나 이상의 전극 (1501E)은 각 전극 (1501 -1501D)에 접지 또는 제로 전압 레퍼런스를 제공한다.
전극 (1501A-1501D)은, 고정 과정(fixation process) 동안 발생되는 무의식적인 안구 움직임을, 하나 이상의 접지 전극 (1501E)에 대해 상하, 좌우, 및 전압을 측정한다.
필터링이 있거나 없는 전극 (1501A-1501B)의 상측 및 하측 전압은 차동 증폭기 (1504A)의 음 및 양 입력에 연결되어 상측 및 하측 전압 간의 차이를 증폭 및 계산한다. 이는 수직 안구 움직임 신호를 형성한다. 수직 안구 움직임 신호는 노이즈 및 다른 원치 않는 신호를 제거하여 수직 안구 움직임 신호를 추가적으로 강화하기 위해 아날로그 필터 (1506A)에 연결될 수 있다. 필터링된 수직 안구 움직임 신호, 즉 아날로그 신호는 아날로그 형태를 디지털 형태의 신호로 변환하기 위해 아날로그 - 디지털 변환기(A/D 변환기)(1508A)에 연결될 수 있다. 디지털 필터링된 수직 안구 움직임 신호는 디지털 신호 프로세서 (1510)의 제 1 병렬 디지털 입력에 연결될 수 있다. 다른 실시 예에서, 신호 프로세서는 혼합된 아날로그 및 디지털 신호를 지원하도록 제조 될 수 있다. 따라서, 신호 처리기 (1510)는 포함될 수 있다.
유사하게, 필터링이 있거나 없는 필터링 된 전극 (1501C-1501D)의 좌측 및 우측 전압은 차동 증폭기 (1504B)의 음 및 양 입력에 연결되어 좌우 전압 간의 차이를 증폭 및 계산한다. 이는 수평 안구 움직임 신호를 형성한다. 수평 안구 움직임 신호는 노이즈 및 다른 원치 않는 신호를 제거하여 수평 안구 움직임 신호를 추가적으로 강화하기 위해 아날로그 필터 (1506B)에 연결될 수 있다. 필터링된 수평 안구 움직임 신호, 즉 아날로그 신호는 아날로그 형태를 디지털 형태의 신호로 변환하기 위해 아날로그 - 디지털 변환기(A/D 변환기)(1508B)에 연결된다. 디지털 필터링된 수평 안구 움직임 신호는 디지털 신호 프로세서 (1510)의 제 2 병렬 디지털 입력에 연결될 수 있다.
디지털 신호 프로세서 (1510)는 디지털 필터링된 수평 안구 움직임 신호 및 디지털 필터링된 수직 안구 움직임 신호 모두를 사용하여 디지털 신호 처리를 수행하여 사용자의 무의식적인 안구 움직임으로부터 분석하고, 특징을 추출하고, 고유한 식별 패턴을 생성한다. 이 경우, 무의식적인 안구 움직임의 고유한 식별 패턴은 비디오 카메라 또는 스캐너를 사용하고 이미지를 분석없이 사용자의 머리 / 얼굴에서 직접 획득된다.
도 16a는 사용자의 안구 움직임 이미지를 획득하는데 사용될 수 있는 비디오 카메라를 구비한 전자장치의 다이어그램이다. 도 16b는 사용자의 안구 움직임 이미지를 획득하는데 사용될 수 있는 도 16a에 도시된 비디오 카메라를 구비한 전자장치의 블록도이다.
도 16a 및 16b는, 비디오 카메라를 갖는 전자장치(1600)는 고정 과정(fixation process) 동안 사용자(1699)의 안구 움직임의 이미지를 획득하는 데 사용될 수 있다.
도 16b에서, 전자장치(1600)는 프로세서, 마이크로 컴퓨터 또는 마이크로 프로세서(1601)에 연결된 디스플레이 장치(1607) 및 비디오 카메라(1612)를 포함한다. 전자장치(1600)는 프로그램 명령 및 사용자 관련 데이터를 저장하는 메모리(1602)를 더 포함한다. 전자장치(1600)는 전자장치(1600)와 다른 장치(무선 주파수 송신기 / 수신기) 사이의 통신을 제공하기 위해 하나 이상의 (무선 주파수 송신기 / 수신기) 라디오(1608) 및 하나 이상의 유선 커넥터(1622, 1624)(예를 들어, USB 포트 (1622)및 / 또는 네트워크 인터페이스 포트(Network Interface Port;NIC)(1624)를 포함한다. 전자장치(1600)는 전자장치(1600)를 사용하여 사용자에게 디스플레이 가능한 사용자 인터페이스 UI를 제공하는 터치 스크린 디스플레이 장치(1607)를 더 포함한다. 소프트웨어 제어는 사용자가 전자장치를 제어할 수 있도록 터치 스크린 디스플레이 장치(1607) 상에 디스플레이될 수 있다. 전자장치(1600)는 사용자가 전자장치를 더 제어할 수 있게 하는 하나 이상의 하드웨어 버튼(1604)을 선택적으로 포함할 수 있다.
안구 움직임을 획득하기 위해, 프로세서(1601)는 디스플레이 장치(1607)에 의해 디스플레이 되는 고정 타겟(1650)을 생성한다. 비디오 카메라(1612)가, 프로세서(1601)의 제어 하에, 이미지, 비디오, 사용자의 눈의 시계열적인 시퀀스를 획득하는 동안 사용자는 시선을 타겟(1650)에 고정하도록 요청받을 수 있다. 비디오 카메라는 프레임단위로 사용자의 한쪽 또는 양쪽 안구의 무의식적인 안구 움직임을 획득한다. 3D 가속도계 데이터는 비디오와 함께 획득되어 카메라(1612) 및 전자장치(1600)의 물리적 움직임을 제거하여 안구의 움직임을 결정한다.
프로세서(1601)는 신호 프로세서 기능을 제공하거나 포함할 수 있다. 어떤 경우이든, 프로세서는 패턴 인식 소프트웨어 및 신호 처리 소프트웨어의 명령을 실행하여 사용자의 한쪽 또는 양쪽 안구의 무의식적인 안구 움직임을 획득한 비디오를 분석한다. 패턴 인식 소프트웨어는 비디오의 안구 및 홍채 및 동공을 식별하는 데 사용될 수 있다.
시계열적인 시퀀스의 이미지에서 사용자가 눈을 깜박거렸는지 여부 및 안구 움직임을 검출하기에 충분한 시퀀스가 포착되었는지 여부에 대해 획득된 비디오는 분석된다. 그렇지 않은 경우, 사용자는 고정 과정(fixation process)을 반복하도록 사용자 인터페이스에 요청 받는다.
충분한 이미지 시퀀스가 획득되면, 이미지들로부터 안구 움직임을 결정하기 위해 추가 분석이 수행된다. 홍채 또는 눈동자와 같은 안구의 기준점은 고정 또는 응시 과정에서 획득한 비디오의 무의식적인 움직임을 결정하는 데 사용된다. 3D 가속도계 데이터는 실제의 안구 움직임 데이터를 형성하기 위해 원시 안구 움직임 데이터로부터 비디오에 획득된 카메라(1612)의 물리적 움직임을 배제하는데 사용된다.
안구 움직임 데이터는 사용자의 인증 및/또는 고유하게 식별하는데 사용되는 무의식적 안구 움직임 데이터의 유형을 추출하기 위해 추가로 분석된다.
사용자는 전자장치(1600)로 초기화되어, 초기에 획득된 무의식적인 안구 움직임 데이터의 초기 데이터 세트를 저장한다. 초기 데이터 세트로부터, 무의식적인 안구 움직임의 시계열에 링크된 특징이 추출되어 사용자와 연관되어 분류된다.
새롭게 획득된 무의식적인 안구 움직임 데이터의 획득된 데이터 세트로부터 추출 된 특징은 사용자를 식별하기 위해 초기 획득된 무의식적인 움직임 데이터로부터 추출 되어 저장된 특징과 비교된다. 사용자가 전자장치를 사용할 권한이 있는지를 판별하기 위해 일치 비율을 계산할 수 있다.
새롭게 획득된 무의식적인 안구 움직임 데이터는 일치된 결과를 결정하기 위해 초기 획득된 무의식적인 움직임데이터와 비교된다. 일치 결과가 일치 비율 내에 있으면 사용자가 식별되어 장치 사용 권한이 부여된다. 일치 결과가 일치 비율을 벗어나면 사용자는 알 수 없으며 기기 사용 권한이 없게 된다.
무의식적인 안구 움직임 (예를 들어, 떨림)은 약 150 헤르츠 (Hz)의 최대 주파수를 발생할 수 있다. 원추 형상의 직경은 0.5 ~ 4 마이크로 미터이다.
무의식적인 안구 움직임을 포착하기 위해, 전자장치(1600)의 프로세서 (1601)에 연결된 비디오 카메라(1612)와 같은 시스템의 적절한 기록 장치는, 최소 프레임 레이트(초당 프레임 수)는 적어도 300Hz-450Hz의 범위이거나 최적으로 프레임 레이트가 1000Hz 이상으로 동작한다.
기 존재하는 전자장치에 있는 카메라 및 프로세서는 소프트웨어 응용 프로그램이나 드라이버에서 재구성하여 일반적인 설정보다 빠르게 실행할 수 있다. 보통 (큰규모의 단속성 운동)은 초당 300도 정도를 보장하며 1/3 초 내에 눈을 다시 정렬 할 수 있다. 무의식적 미세 단속성 운동은 초당 몇도에서 0.2도 아래까지의 진폭을 보장한다. 따라서, 0.1-0.2 도의 범위 내로 분해될 수 있는 기록 장치의 공간 해상도는 원하는 무의식적 안구 움직임을 획득하는데 최적일 수 있다.
원하는 무의식적인 안구 움직임을 획득하기 위해, 일 유형의 전자장치(1600)가 상술한 도 8a 및 8b에 도시되어 있지만, 다른 유형의 전자장치가 무의식적인 안구 움직임을 포착하기 위해 사용될 수 있다.
도 17a 내지 도 17c는 사용자 안구 움직임의 이미지를 획득하는데 사용될 수 있는 비디오 카메라를 구비한 전자안경의 다이어그램 및 타겟이다.
도 17a 내지 17b를 참조하면, 눈 움직임의 획득된 이미지에서, 작은 규모의 무의식적인 안구 움직임을 추출할 수 있다. 전자 안경(1700)은 시스템 또는 장치에 대한 사용자를 식별하고, 인증하고, 인증하기 위해 사용자에 의해 일시적으로 착용 될 수 있다.
전자 안경(1700)은 한 쌍의 아이 와이어에 좌측 렌즈(1704L)와 우측 렌즈(1704R)가 장착 된 아이 글래스 프레임(1702)을 포함한다. 일 실시 예에서, 안경테(1702)는 브릿지(1707), 좌측절(1708L), 우측절(1708R), 코 패드, 코 패드 암 및 한 쌍의 아이 와이어를 포함한다. 이들 전자 안경(1700)은 안경 처방 전에 착용할 수 있는 안경 클립 일 수 있다. 렌즈(1704L-1704R)는 처방 렌즈 일 수도 있고 아닐 수 도 있다.
작은 타겟(1706)은 비디오 카메라를 향해 사용자의 눈을 향하게 하기 위해 좌측 렌즈(1704L)의 우측 상부 모서리에 형성될 수 있다. 선택적으로, 타겟 (1706)은 사용자의 눈을 비디오 카메라쪽으로 향하게 하기 위해 우측 렌즈(1704R)의 상부 좌측 코너에 형성될 수 있다. 타겟(1706)은 렌즈의 표면 상에 타겟 이미지를 프린트함으로써, 타겟 이미지를 렌즈에 새김으로써, 렌즈의 표면 상에 타겟 광을 비추어서 형성 될 수 있다. 또는 투명 표면 상에 이미지를 적용하는 다른 공지 된 수단에 의해 수행 될 수 있다.
도 17c를 참조하면, 타겟(1706)은 중심 개구 또는 홀(1707)을 갖는 짧은 심도의 타겟이다. 렌즈(1704L 또는 1704R)상의 타겟(1706)은 사용자가 초점을 ??추는데 너무 가까울 수 있다. 그러나, 사용자는 타겟(1706)의 중심 개구(907)를 통해 초점을 맞출 수 있다. 중심 개구(1707)를 갖는 타겟(1706)은 광학 테더와 같이 작용하여 동공이 비디오 카메라와 일직선 상에 위치하여 눈 움직임을 더 잘 획득할 수 있다.
도 17b를 참조하면, 전자 안경(1700)은 비디오 카메라(1710), 프로세서(1712), 메모리 장치(1714), 무선 송수신기(송수신기)(1716) 및 안경 프레임(1702)에 부착된 전원공급부(예를 들어, 배터리)(1720)를 포함할 수 있다. 전자 안경(1700)은 프레임(1702) 또는 코 패드 암(1722)에 장착된 선택적인 발광 다이오드(LED)(1718)를 더 포함할 수 있다.
비디오 카메라(1710)는 타겟을 갖고 있는 렌즈, 예를 들어 타겟(1706)을 갖는 좌측 렌즈(1704L), 방향으로 약간 경사진 구조이다. 따라서 타겟에 초점을 맞출 때 눈과 더 정렬될 수 있다. 비디오 카메라(1710) 및 프로세서(1712)는 최대 주파수 150 Hz에서 무의식적인 안구 움직임을 획득하기 위해 초당 300 내지 1000 프레임 범위의 프레임 레이트로 함께 동작한다.
무선부(Radio)(1716)는 컴퓨터 또는 서버에 사용자를 인증하기 위해 컴퓨터 또는 서버와 통신하기 위해 프로세서에 의해 사용될 수 있다. 메모리(1714)는 획득된 안구 움직임으로부터 추출 된 초기 무의식적인 안구 움직임의 특징을 포함하는 초기화 데이터를 저장하는데 사용될 수 있다.
전자 안경 (1700)은 일시적으로 사용자가 착용하여 사용자를 시스템에 인증 할 수 있다. 선택적으로, 전자 고글을 사용할 수 있다.
도 18a 및 도 18b는 사용자의 안구 움직임의 이미지를 획득하는데 사용될 수 있는 비디오 카메라를 구비한 VR기기의 다이어그램이다.
도 18a 및 도 18b를 참조하면, 사용자의 눈의 안구 운동을 포착하는데 사용될 수 있는 비디오 카메라를 포함하는 전자 가상 현실 헤드셋 또는 고글(1800)이 도시된다. 전자 가상 현실 헤드셋은 사용자 헤드에 부착된 헤드셋을 유지하기 위해 프레임(1802) 및 헤드 스트랩(1803)을 포함한다. 프레임(1802)은 외부 광이 들어오지 못하도록 두건 영역(1899)을 제공하기 위해 사용자의 눈 주위에 얼굴을 수용하도록 구성된 상측, 하측, 좌측 및 우측의 플렉서블 커튼 또는 블라인더(1804)를 포함한다. 하부 커튼 또는 블라인더(1804B)는 사용자의 코를 수용하기 위한 코 개구(1805)를 포함한다.
도 18b에서, 헤드셋(1800)은 프레임(1802)에 연결된 비디오 카메라(1810), 좌측 디스플레이 장치(1812L) 및 우측 디스플레이 장치(1812R)를 더 포함한다. 헤드셋(1800)은 함께 연결된 프로세서(1811) 및 메모리(1814)를 더 포함한다. 비디오 카메라(1810) 및 좌측 및 우측 디스플레이 장치(1812L, 1812R)는 프로세서(1811)에 연결된다. 좌측 디스플레이 장치(1812L) 및 우측 디스플레이 장치(1812R)는 다양한 깊이로 인식되는 스테레오 3차원 이미지를 사용자에게 제공할 수 있다. 비디오 카메라(1810)는 눈 움직임을 포착하기 위해 상이한 위치에서 후드 영역(1899) 내의 프레임(1802)에 연결될 될 수 있다. 비디오 카메라(1810)는 좌측 및 우측 디스플레이 장치(1812L, 1812R)에 의해 디스플레이된 비디오 이미지와의 간섭을 피하기 위해 눈 움직임을 포착하기 위해 도시된 바와 같이 우측에 위치될 수 있다. 다른 실시 예에서, 한쪽 또는 양쪽 눈으로부터의 무의식적인 안구의 미세 움직임이 사용자를 인증하는데 사용되도록 좌우 한 쌍의 안구의 움직임을 획득하기 위해 한 쌍의 비디오 카메라(1810)가 반대쪽에 위치될 수 있다.
좌측 타겟(1806L) 및 우측 타겟(1806R)을 포함하는 스테레오 3 차원 타겟은 프로세서(1811)에 의해 생성되어 좌측 디스플레이 장치(1812L) 및 우측 디스플레이 장치(1812R) 상에 각각 디스플레이될 수있다. 좌측 타겟(1806L) 및 우측 타겟(1806R)은 눈을 먼 거리에 집중 시키도록 타겟을 멀리 보이게 할 수 있고, 비디오 카메라(1810)로 무의식적 안구 움직임을 더 잘 획득하기 위해 눈을 고정시킬 수 있다.
프로세서(1811)는 케이블(1850) 및 플러그(1852)에 의해 다른 시스템에 배선 될 수 있다. 선택적으로, 무선 송신기 / 수신기 (송수신기)(1816)는 프로세서 및 헤드셋 / 고글이 헤드셋 / 고글(1800)의 인증 성능을 사용하기 위해 무선으로 다른 시스템에 연결될 수 있도록 프로세서(1811)에 연결될 수 있다.
도 19a는 사용자의 안구 움직임에 관한 데이터 획득을 돕는 이미터 장치를 구비한 콘택트 렌즈를 포함한 안구의 다이어그램이다. 도 19b 내지 도 19d는 사용자의 안구 움직임에 관한 데이터 획득을 돕는데 사용될 수 있는 다양한 이미터 장치를 구비한 콘택트 렌즈의 다이어그램이다. 도 19e는 능동 이미터 장치의 기능 블록도이다. 도 19f는 사용자의 안구 움직임에 관한 데이터를 획득하는데 사용될 수 있는 안구에 장착된 콘택트 렌즈 근처의 감지장치의 측면도이다.
도 19a를 참조하면, 안구 움직임은 렌즈(918) 위의 사용자의 한쪽 또는 양쪽 눈(900)에 장착된 콘택트 렌즈(1900)를 사용함으로써 다른 방식으로 획득될 수 있다. 콘택트 렌즈(1900)는 렌즈 물질(1904)와 연결된(예를 들어, 내장되거나 프린트 되어 연결) 하나 이상의 이미터(1902)를 포함할 수 있다.
이미터(emitter)(1902)는, 발광다이오드(LED) 또는 드라이빙 회로와 연관된 무선 비콘(예를 들어, 라디오 송신기 / 수신기, 다이오드 드라이버)과 같은 능동 장치일 수 있거나, 리플렉터(reflector), 리트로 리플렉터(retro-reflector), 또는 거울과 같은 수동 장치일 수 있다.
능동 이미터 장치의 경우에, 방출된 광 또는 무선 신호를 수신하여 하나의 시점에서 다음 시점까지의 눈의 위치를 결정하여 일정 시간동안 눈의 움직임을 직접 획득하는 하나 이상의 센서가 사용된다. 전력은 눈 주위의 베이스 안테나로부터 콘택트 렌즈의 능동 이미터 장치에 연결된 안테나로 무선으로 연결될 수 있다. 무선 신호는 또한 능동 집적 회로 장치에 연결된 베이스 안테나와 안테나 사이에 연결될 수 있다. 무의식적인 안구의 미세 움직임을 포함하여 눈 움직임을 포착하기 위해 집적 회로의 일부로서 3 차원 모션 센서가 포함될 수 있다.
수동 이미터 장치의 경우, 광원의 광은 수동 이미터 장치로 보내져서 안구 주위의 하나 이상의 포토 다이오드 센서로 다시 광을 반사 시키도록 활성화시킨다. 능동 이미터 장치와 수동 이미터 장치의 조합은 동일한 콘택트 렌즈에서 사용되어 어느 한쪽 또는 양쪽 방법으로 안구 운동을 획득할 수 있다.
도 19b 내지 19d는 각각 콘택트 렌즈(1900A-1900C)에 내장된 하나의 이미터(1902A), 두 개의 이미터 (1902B-1902C) 및 네 개의 이미터(1902D-1902G)를 도시한다.
도 19b에서, 능동 이미터(1902A)는 콘텍트 렌즈(1900A)의 둘레의 가장자리 부분의 둘 이상의 안테나 라인(1905A-1905B)에 연결된 것으로 도시되어있다. 능동 이미터(1902A)는 프로세서 / 제어기 및 그 외부에 결합 된 또는 집적 회로 상에 내부적으로 통합된 다른 회로를 갖는 집적 회로(1906)를 포함한다. 선택적으로, 이미터(1902A)는 능동 이미터일 수 있다.
도 19c에서, 한 쌍의 수동 이미터(1902B-1902C)는 컨택드 렌즈(1900B)의 둘레의 가장자리의 부분 주변에 배치되어 도시된다. 선택적으로, 이미터들(1902B-1902C)은 콘택트 렌즈(1900B)의 둘레 가장자리 부근의 부분에서 둘 이상의 안테나 피드 (1905A-1905B)를 갖는 능동 이미터일 수 있다.
도 19d에서, 한 쌍의 능동 이미터들(1902D-1902E) 및 한 쌍의 수동 이미터들(1902F-1902G)이 콘택트 렌즈(1900C)의 둘레의 가장자리 부근에 도시되어있다. 선택적으로, 모든 이미터(1902D-1902G)는 능동 이미터 또는 수동 이미터일 수 있으며, 단지 다른 하나는 수동적 일 수 있다. 다른 하나는 수동적으로 활성화될 수 있다.
도 19e를 참조하면, 능동 이미터(1902)의 예시의 추가 세부 사항이 도시된다. 능동 이미터(1902A)는 프로세서 / 제어기(1910) 및 그 외부에 연결되거나 프로세서 / 제어기(1910)에 연결된 집적 회로 상에 내부적으로 집적된 다른 회로를 갖는 집적 회로(1906)를 포함한다.
집적 회로 (IC)(1906)는 안테나(1905A-1905B)를 통해 프로세서(1910)에 연결된 전력 변환 회로(1912)로 전력을 수신할 수 있다. 발진 무선 주파수 (RF) 신호로부터의 무선 주파수 에너지는 근접한 베이스 안테나에 의해 더 많은 안테나 피드들(1905A-1905B)을 생성한다. 전력 변환 회로(1912)는 AC RF 신호들을 IC(1906) 내의 다른 회로들뿐만 아니라 IC(1906)에 연결된 회로들에 대한 DC 전원으로 정류(rectify) 및 조절(regulate) 할 수 있다.
집적 회로(1906)에 연결된 발광 다이오드(LED)(1908)에 의해, 내부의 다이오드 드라이버(1918)가 프로세서(1910)와 발광 다이오드(LED)(1908) 사이에 연결된다. 전력이 전력 변환 프로세서는 다이오드 드라이버(1918)를 활성화시키기 위한 신호를 생성 할 수 있다. 프로세서는 전원을 사용하여 다이오드 드라이버(1918)를 활성화시켜 발광 다이오드(1908)에 전력을 공급하여 사용자의 눈으로부터 빛을 방출한다.
선택적으로 또는 부가적으로, 집적 회로(1906)는 안구 움직임을 직접 감지하는 프로세서에 연결된 3D 동작 센서(1917)를 가질 수 있다. 전력으로, 무선 송신기 / 수신기 (송수신기)(1919)에 연결된 프로세서는 안테나 라인(1905A-1905B)을 통해 무선 송수신기(1919)로 무선 신호를 송신 및 수신할 수 있다. 무선 송수신기를 갖는 기본 유닛은 눈 움직임 데이터를 수집하고 추가로 처리할 수 있다.
도 19f를 참조하면, 능동 이미터의 경우, 프레임(1921), 렌즈(1922), 및 렌즈(1922) 둘레에 감겨진 베이스 안테나(1924A-1924B)의 폴을 포함하는 베이스 유닛(1999)이 도시된다. 베이스 안테나(1924A-1924B)는 베이스 라디오 수신기 / 송신기 (송수신기)(도시되지 않음)에 연결되고, 획득된 안구 움직임 신호를 처리하는 베이스 프로세서(도시되지 않음)에 연결된다.
콘택트 렌즈의 안테나 라인들(1905A-1905B) 근처의 베이스 안테나(1924A-1924B)를 가지고, 베이스 유닛(1999)과 콘택트 렌즈(1900C) 사이에서 무선 주파수 전력/에너지/무선 주파수 신호들을 함께 전달하도록 유도적으로 연결될 수 있다.
전원이 인가되면, 모션 센서(1917)에 의해 획득된 안구 움직임은 각각의 무선 송수신기에 의해 콘택트 렌즈(1900C)로부터 베이스 유닛(1999)으로 전달 될 수 있다.
수동 이미터의 경우, 베이스 유닛(1999)(부가적으로 또는 선택적으로)은 렌즈(1912)의 가장자리 근처에서 연결된 하나 이상의 포토 다이오드 센서(1934A-1934B)를 포함한다. 베이스 유닛(1999)은 하나 이상의 수동 이미터(1902F, 1902G)를 향해 빛을 비추기 위해 디스플레이 장치와 같은 광원(1932)을 더 포함 할 수 있다. 하나 이상의 수동 이미터(1902F, 1902G)에서 반사되는 빛은 하나 이상의 포토 다이오드 센서(1934A-1934B)에 의해 획득되어 시간 경과에 따른 눈의 위치 및 움직임을 결정한다. 포토 다이오드 센서들(1934A-1134B)로부터의 와이어들(1914)은 획득된 안구 움직임 신호들을 처리하기 위해 베이스 프로세서 (미도시)에 연결된다.
베이스 유닛 (1999)은 안경, VR 고글, 독립적인 안구 스캐너, 또는 벽에 장착된 안구 스캐너의 형태 일 수 있다.
전자장치는 안경, 고글 및 콘택트 렌즈의 경우와 같이 사용자의 눈 또는 눈에 인접한 사용자에 의해 착용 될 수 있지만, 눈 움직임을 획득하기 위한 전자장치는 사용자가 비디오 카메라, 센서 또는 안테나 근처에 눈 또는 눈을 위치시키면서 무의식적인 안구 움직임을 포함하는 구조 또는 시스템에 의해 처리될 수 있다.
도 20a 내지 도 20b는 건물구조물의 액세스 제어를 위해 부착되어 안구 움직임을 획득하는 장치를 도시한다.
도 20a는, 사용자의 무의식적 안구 미세 움직임에 응답하여 하나 이상의 도어(2002)에 대한 액세스를 제어하기 위해 건물 구조물 (2000)에 부착된 안구 움직임 획득장치(2001)를 도시한다. 안구 움직임 획득 장치(2001)는 구조물(2000)의 하나 이상의 도어(2002)에 대한 액세스를 제어하기 위해 액세스 시스템(2003)에 연결된다. 액세스 시스템(2003)은 허가된 사용자의 무의식적 안구의 미세 움직임에 응답하여 하나 이상의 도어(2002) 잠금해제 제어를 수행할 수 있다.
도 20b는, 좌측 눈 또는 우측 눈 주위의 사용자의 얼굴 영역을 수신하는 눈 움직임 획득장치(2001)의 확대도를 도시한다. 상술한 도 18B를 참조하면, 안구 움직임 획득 장치(2001)는 비디오 카메라(1810), 디스플레이 장치(1812R) 및 프로세서에 연결된 메모리(1814)뿐만 아니라 프로세서(1811)의 일부 유사한 구조 및 기능을 포함 할 수 있다. 프로세서(1811)는 케이블 및 플러그에 의해 액세스 시스템 (2003)에 배선 될 수 있다. 선택적으로, 프로세서(1811)는 프로세서에 결합된 무선 장치(1816)에 의해 액세스 시스템(2003)에 무선으로 결합 될 수 있다.
도 21a 및 도 21b는 사용자를 시스템에 인증하기 위한 독립적인 안구 스캐너를 도시한다.
도 21a는, 케이블 연결 또는 각각의 무선 송신기 / 수신기로 무선으로 시스템(2102)에 연결된 독립형 안구 스캐너(2101)를 도시한다. 시스템(2102)은 서버(2106)에 연결될 수 있다. 서버는 원격일 수 있고 인터넷과 같은 광역 네트워크(2104)를 통해 액세스 될 수 있다. 독립형 안구 스캐너(2101)는 사용자의 한쪽 또는 양쪽 눈의 안구 미세 움직임에 응답하여 시스템(2102) 및 서버(2106)에 대해 사용자를 비침습적으로 인증하는데 사용될 수 있다.
도 21b는, 사용자 얼굴의 눈 영역을 수용하는 독립형 안구 스캐너(2101)의 확대도를 도시한다. 상술한 도 18B를 참조하면, 안구 움직임 획득 장치(2101)는 프로세서(1811)뿐만 아니라 하나 이상의 비디오 카메라(1810), 좌측 디스플레이 디바이스(1812L), 우측 디스플레이 디바이스(1812R) 및 프로세서에 연결된 메모리(1814)를 포함한다. 프로세서(1811)는 케이블(1850) 및 플러그(1852)에 의해 시스템(2102)에 배선될 수 있다. 좌측 및 / 또는 우측 디스플레이 장치(1812L, 1812R) 상에 좌측 및 / 또는 우측 타겟(1806L, 1806R)이 유사하게 생성되어 독립형 안구 스캐너(2101)가 사용자의 한쪽 또는 양쪽 눈의 안구 미세 움직임에 응답하여 사용자를 비침습적으로 인증할 수 있다.
이상으로 해결하고자 하는 과제를 위한 다양한 실시예들이 기재되었으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자진 자라면 본 발명의 기술사상의 범위 내에서 다양한 변경 및 수정이 이루어질 수 있음은 명백하다.
300 : 전자장치 301 : 프로세싱 유닛
302 : 중앙처리 장치 303 : 제1클러스터
304 : 제1코어 340 : 내부메모리
350: 카메라 358 : 파워 시스템
370 : 센서 390 : 메모리

Claims (10)

  1. 생체인식기술을 활용하여 사용자를 인증하는 사용자 인증 장치를 이용한 사용자 인증 방법으로서,
    상기 사용자 인증 장치가, 무의식적인 안구 움직임(involuntary eye movement) 성분을 포함하는 사용자의 제1 안구 움직임 정보를 획득(capture)하고;
    상기 사용자 인증 장치가, 상기 획득(capture)된 사용자의 적어도 하나의 제1 안구 움직임 정보로부터 의식적인 안구의 움직임 성분을 필터링(filtering)하여 제1 무의식적인 안구 움직임 정보를 형성하고;
    상기 사용자 인증 장치가, 상기 획득(capture)된 제1 무의식적인 안구 움직임 정보에 기초하여 상기 사용자를 식별하기 위한, 신경지문(Neuro-Fingerprint, NFP)과 연관된 적어도 하나의 측정 가능한 제1 고유한 특성 값을 추출하고;
    상기 사용자 인증 장치가, 상기 제1 고유한 특성 값을 기초로 제1 신경안구지문(neurological eye print, NEP)을 생성하고; 및
    상기 사용자 인증 장치가, 상기 제1 신경안구지문을 암호화 키 (encryption key)로 사용하여 암호화 알고리즘 (encryption algorithm)으로 암호화된 데이터(encrypted data)를 생성하는 것을 포함하는 것을
    특징으로 하는 생체인식기술을 활용한 사용자 인증 방법.
  2. 제 1항에 있어서,
    상기 사용자 인증 장치가, 무의식적인 안구 움직임(involuntary eye movement) 성분을 포함하는 사용자의 제2 안구 움직임 정보를 획득(capture)하고;
    상기 사용자 인증 장치가, 상기 획득(capture)된 사용자의 적어도 하나의 제2 안구 움직임 정보로부터 의식적인 안구의 움직임 성분을 필터링(filtering)하여 제2 무의식적인 안구 움직임 정보를 형성하고;
    상기 사용자 인증 장치가, 상기 획득(capture)된 제2 무의식적인 안구 움직임 정보에 기초하여 상기 사용자를 식별하기 위한, 신경지문(Neuro-Fingerprint, NFP)과 연관된 적어도 하나의 측정 가능한 제2 고유한 특성 값을 추출하고;
    상기 사용자 인증 장치가, 상기 제2 고유한 특성 값을 기초로 제2 신경안구지문(neurological eye print, NEP)을 생성하고;
    상기 사용자 인증 장치가, 상기 제1 신경안구지문과 연관된 정보와 상기 제2 신경안구지문과 연관된 정보와의 일치 비율 (Matching Percentage)을 결정하는 것을 더 포함하는 것을
    특징으로 하는 생체인식기술을 활용한 사용자 인증 방법.
  3. 제 2항에 있어서,
    상기 사용자 인증 장치가, 상기 일치 비율이 사전에 설정된 액세스 일치 비율과 같거나 높은 경우에 응답하여, 상기 암호화된 데이터(encrypted data)를 상기 제 1 신경안구지문을 사용하여 해독(decryption) 하는 것을 더 포함하는 것을
    특징으로 하는 생체인식기술을 활용한 사용자 인증 방법.
  4. 제 3항에 있어서,
    상기 사용자 인증 장치에 의해, 상기 암호화된 데이터(encrypted data)가 원격 서버에 저장되는 것을 더 포함하는 것을
    특징으로 하는 생체인식기술을 활용한 사용자 인증 방법.
  5. 제 4항에 있어서,
    상기 사용자 인증 장치가, 상기 암호화된 데이터(encrypted data)를 원격 서버로 전송하고;
    상기 사용자 인증 장치가, 상기 암호화된 데이터(encrypted data)를 원격 서버로부터 수신하는 것을 더 포함하는 것을
    특징으로 하는 생체인식기술을 활용한 사용자 인증 방법.
  6. 생체인식기술을 활용하여 사용자를 인증하는 사용자 인증 장치로서,
    적어도 하나 이상의 프로세서;
    상기 적어도 하나 이상의 프로세서와 전기적으로 연결된 전력 회로;
    상기 적어도 하나 이상의 프로세서와 전기적으로 연결된 이미지 센서; 및
    상기 프로세서에 전기적으로 연결된 적어도 하나 이상의 저장장치를 포함하며,
    상기 저장장치는, 실행 시에, 상기 프로세서가,
    무의식적인 안구 움직임(involuntary eye movement) 성분을 포함하는 사용자의 제1 안구 움직임 정보를 획득(capture)하게 하고,
    상기 획득(capture)된 사용자의 적어도 하나의 제1 안구 움직임 정보로부터 의식적인 안구의 움직임 성분을 필터링(filtering)하여 제1 무의식적인 안구 움직임 정보를 형성하게 하고,
    상기 획득(capture)된 제1 무의식적인 안구 움직임 정보에 기초하여 상기 사용자를 식별하기 위한, 신경지문(Neuro-Fingerprint, NFP)과 연관된 적어도 하나의 측정 가능한 제1 고유한 특성 값을 추출하게 하고,
    상기 제1 고유한 특성 값을 기초로 제1 신경안구지문(neurological eye print, NEP)을 생성하게 하고,
    상기 제1 신경안구지문을 암호화 키 (encryption key)로 사용하여 암호화 알고리즘 (encryption algorithm)으로 암호화된 데이터(encrypted data)를 생성하게 하는 명령어들을 저장하는 것을
    특징으로 하는 생체인식기술을 활용한 사용자 인증 장치.
  7. 제 6항에 있어서,
    상기 저장장치는, 실행 시에, 상기 프로세서가,
    무의식적인 안구 움직임(involuntary eye movement) 성분을 포함하는 사용자의 제2 안구 움직임 정보를 획득(capture)하게 하고,
    상기 획득(capture)된 사용자의 적어도 하나의 제2 안구 움직임 정보로부터 의식적인 안구의 움직임 성분을 필터링(filtering)하여 제2 무의식적인 안구 움직임 정보를 형성하게 하고,
    상기 획득(capture)된 제2 무의식적인 안구 움직임 정보에 기초하여 상기 사용자를 식별하기 위한, 신경지문(Neuro-Fingerprint, NFP)과 연관된 적어도 하나의 측정 가능한 제2 고유한 특성 값을 추출하게 하고,
    상기 제2 고유한 특성 값을 기초로 제2 신경안구지문(neurological eye print, NEP)을 생성하게 하고,
    상기 제1 신경안구지문과 연관된 정보와 상기 제2 신경안구지문과 연관된 정보와의 일치 비율 (Matching Percentage)을 결정하게 하는 명령어들을 더 저장하는 것을
    특징으로 하는 생체인식기술을 활용한 사용자 인증 장치.
  8. 제 7항에 있어서,
    상기 저장장치는, 실행 시에, 상기 프로세서가,
    상기 일치 비율이 사전에 설정된 액세스 일치 비율과 같거나 높은 경우에 응답하여, 상기 암호화된 데이터(encrypted data)를 상기 제 1 신경안구지문을 사용하여 해독(decryption) 하는 명령어를 더 저장하는 것을
    특징으로 하는 생체인식기술을 활용한 사용자 인증 장치.
  9. 제 8항에 있어서,
    상기 암호화된 데이터(encrypted data)가 원격 서버에 저장되는 것을
    특징으로 하는 생체인식기술을 활용한 사용자 인증 장치.
  10. 제 9항에 있어서,
    상기 저장장치는, 실행 시에, 상기 프로세서가,
    상기 암호화된 데이터(encrypted data)를 원격 서버로 전송하게 하고,
    상기 암호화된 데이터(encrypted data)를 원격 서버로 부터 수신하게 하는 명령어들을 더 저장하는 것을
    특징으로 하는 생체인식기술을 활용한 사용자 인증 장치.

KR1020190136444A 2018-01-18 2019-10-30 생체인식기술을 활용한 사용자 인증방법 및 인증장치 KR102132613B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180006638 2018-01-18
KR20180006638 2018-01-18

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180051854A Division KR102042422B1 (ko) 2018-01-18 2018-05-04 생체인식기술을 활용한 사용자 인증방법, 인증장치 및 전자장치 액세스 제어 방법

Publications (2)

Publication Number Publication Date
KR20190125267A KR20190125267A (ko) 2019-11-06
KR102132613B1 true KR102132613B1 (ko) 2020-07-10

Family

ID=67469884

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020180051854A KR102042422B1 (ko) 2018-01-18 2018-05-04 생체인식기술을 활용한 사용자 인증방법, 인증장치 및 전자장치 액세스 제어 방법
KR1020190136427A KR102132612B1 (ko) 2018-01-18 2019-10-30 생체인식기술을 활용한 사용자 인증방법 및 인증장치
KR1020190136444A KR102132613B1 (ko) 2018-01-18 2019-10-30 생체인식기술을 활용한 사용자 인증방법 및 인증장치

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020180051854A KR102042422B1 (ko) 2018-01-18 2018-05-04 생체인식기술을 활용한 사용자 인증방법, 인증장치 및 전자장치 액세스 제어 방법
KR1020190136427A KR102132612B1 (ko) 2018-01-18 2019-10-30 생체인식기술을 활용한 사용자 인증방법 및 인증장치

Country Status (1)

Country Link
KR (3) KR102042422B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429632A (zh) * 2020-03-11 2020-07-17 四川花间阁文化传媒有限责任公司 一种防疫应急管控双面智慧门设备及系统
CN111429630A (zh) * 2020-03-11 2020-07-17 四川花间阁文化传媒有限责任公司 一套防疫应急管控门服系统及设备
KR20220009220A (ko) * 2020-07-15 2022-01-24 삼성전자주식회사 인증을 수행하는 방법 및 이를 지원하는 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003533801A (ja) 2000-05-16 2003-11-11 スイスコム・モバイル・アクチエンゲゼルシヤフト 生物測定学的な身元確認方法及び認証方法
JP2008522652A (ja) 2004-12-06 2008-07-03 パルチ−ワッセルマン，ダフナ 多変量ダイナミック生体測定システム
JP2010061576A (ja) 2008-09-05 2010-03-18 Fujitsu Ltd 指紋認証装置、指紋認証プログラムおよび指紋認証方法
JP2015045943A (ja) 2013-08-27 2015-03-12 一行 竹原 まばたき検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003533801A (ja) 2000-05-16 2003-11-11 スイスコム・モバイル・アクチエンゲゼルシヤフト 生物測定学的な身元確認方法及び認証方法
JP2008522652A (ja) 2004-12-06 2008-07-03 パルチ−ワッセルマン，ダフナ 多変量ダイナミック生体測定システム
JP2010061576A (ja) 2008-09-05 2010-03-18 Fujitsu Ltd 指紋認証装置、指紋認証プログラムおよび指紋認証方法
JP2015045943A (ja) 2013-08-27 2015-03-12 一行 竹原 まばたき検出装置

Also Published As

Publication number Publication date
KR20190125266A (ko) 2019-11-06
KR20190125267A (ko) 2019-11-06
KR102042422B1 (ko) 2019-11-27
KR102132612B1 (ko) 2020-07-10
KR20190088373A (ko) 2019-07-26

Similar Documents

Publication Publication Date Title
EP3586266B1 (en) Biometric system
AU2015255652B2 (en) Systems and methods for using eye signals with secure mobile communications
US20230083361A1 (en) Unique patterns extracted from involuntary eye motions to identify individuals
TWI726864B (zh) 本機鑑認經授權使用者及對電子裝置之控制存取之方法、使用者鑑認之方法、電子裝置、生理鑑認控制器、產生使用者之唯一生理識別之方法及登入至系統或應用程式中之方法
KR102132613B1 (ko) 생체인식기술을 활용한 사용자 인증방법 및 인증장치
Luo et al. OcuLock: Exploring human visual system for authentication in virtual reality head-mounted display
US20150294149A1 (en) Multivariate Dynamic Biometrics System
KR20170138475A (ko) 시선 정보를 사용하는 사용자의 식별 및/또는 인증
US20180052983A1 (en) Pulse sensors for biometric identification
KR20230058440A (ko) 데이터 분석을 이용한 베이핑 및 점화 시동에 대한 연령 차단을 포함하는 외부 상황에 대한 정적 인공 지능 모델을 가진 전자 디바이스 및 그의 동작 방법
KR20220119161A (ko) 뇌-컴퓨터 인터페이스
KR102558210B1 (ko) 생체 인식 기술을 활용한 사용자 식별, 인증 및 암호화 장치 및 그의 동작 방법
KR101281852B1 (ko) 뇌 신호를 이용한 생체 인증 장치 및 방법
JP2012529331A (ja) 生体認証のためのシステム及び方法
US11995236B2 (en) Brain-computer interface
KR20230009903A (ko) 생체 인식 기술을 이용한 생리학적 인증서와 연관된 전자 디바이스들 및 그들의 동작 방법들
CN116830124A (zh) 具有使用数据分析的用于包括对吸电子烟和点火启动进行年龄分段的上下文情境的静态人工智能模型的电子装置及其操作方法
Alharbi An Authentication Framework for Wearable Devices

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant