KR20170135563A - A neuromotor device in the form of a wearable device and a method of processing biometric information using the neuromotor device - Google Patents

A neuromotor device in the form of a wearable device and a method of processing biometric information using the neuromotor device Download PDF

Info

Publication number
KR20170135563A
KR20170135563A KR1020160067681A KR20160067681A KR20170135563A KR 20170135563 A KR20170135563 A KR 20170135563A KR 1020160067681 A KR1020160067681 A KR 1020160067681A KR 20160067681 A KR20160067681 A KR 20160067681A KR 20170135563 A KR20170135563 A KR 20170135563A
Authority
KR
South Korea
Prior art keywords
sensor
information
bio
wearer
information processing
Prior art date
Application number
KR1020160067681A
Other languages
Korean (ko)
Inventor
신영수
이건재
조성호
김대식
양경훈
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020160067681A priority Critical patent/KR20170135563A/en
Publication of KR20170135563A publication Critical patent/KR20170135563A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0476—
    • A61B5/0488—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G06K9/00302—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records

Abstract

The present invention is a novel neuromorphic device in the form of a wearable device. This is a device that can be applied to infants who cannot speak, patients and elderly people who need care. This is a device that recognizes the face of a subject used depending on a situation. The device according to the invention comprises a ReRAM and a neuron circuit that can store data, an image sensor and a voice sensor, a bios sensor; a big data information processing algorithm through deep learning; and a mobile artificial intelligence small device including a step of outputting processed information.

Description

웨어러블 디바이스 형태의 뉴로모픽 기기 및 상기 뉴로모픽 기기를 이용한 생체 정보 처리 방법{.}[0001] The present invention relates to a novelrometer device in the form of a wearable device, and a method of processing biological information using the novelrometer device.

본 발명은 웨어러블 디바이스 형태의 뉴로모픽 장치에 관한 것으로, 자세하게는 뉴로모픽 시스템을 적용하여 생체 신호 센서 모듈로부터 획득된 생체 신호를 통하여 착용자의 건강 상태를 파악할 수 있는 일체화된 디바이스에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a neuromotor device in the form of a wearable device, and more particularly, to an integrated device capable of grasping a health condition of a wearer through a bio-signal obtained from a bio-

다가오는 미래의 사물 인터넷 시대에는 수많은 웨어러블 디바이스가 존재하게 될 것이며, 개인적인 용도 또는 사회 전반적인 시스템에서도 사용될 것이다. Upcoming Future Things There will be a number of wearable devices in the Internet era and will also be used for personal or social systems.

한편, 기존의 컴퓨팅 방식을 이용하는 경우에는 단순한 계산이 아닌 고차원의 정보처리 방식을 적용해야 하는바, 많은 에너지와 시간이 소요되기 때문에 미래의 웨어러블 디바이스에 적용하기엔 무리가 따른다. 따라서, 새로운 방식의 접근이 필요한데 인간의 두뇌를 모방하는 새로운 컴퓨팅 방식인 '뉴로모픽 컴퓨팅'이 부상하고 있다. On the other hand, in the case of using the existing computing method, it is difficult to apply to the wearable device of the future because it takes a lot of energy and time to apply the high-dimensional information processing method instead of simple calculation. Therefore, a new approach is needed, and a new computing method called 'Nyomopics Computing' is imitating the human brain.

상기한 뉴로모픽 컴퓨팅을 이용한 뉴로모픽 시스템은 복잡한 데이터 처리는 물론, 학습을 가능하게 한다는 점 및 저전력 방식이라는 점에서 기존의 컴퓨팅 방식에서 해결이 불가능했던 문제들을 해결할 수 있다는 장점이 있다.The neuromotorpic system using the above mentioned neuromotorpic is advantageous in that it can not only solve complicated data but also can solve the problems that can not be solved in the conventional computing system because it enables learning and low power consumption.

뉴로모픽 시스템과 관련한 기술을 개시한 종래의 문헌으로는 등록특허 제10-1443271호 및 공개특허 제10-2016-0005500호을 들 수 있는데, 상기 문헌들은 별도의 선택소자 없이도 시냅스 동작이 가능한 RRAM소자 기반의 크로스 어레이를 이용한 전자소자 내지 뉴로모픽 시스템의 특징적인 동작방법에 관한 내용을 기술한다. The conventional literature disclosing the technology related to the Nyomoplite system includes Registration No. 10-1443271 and No. 10-2016-0005500, which disclose an RRAM device capable of synapse operation without a separate selection device A description will be given of a characteristic operation method of an electronic device or a novelcompick system using a cross-based array.

한편, 말을 할 수 없는 영유아들과 보살핌이 필요한 노약자에게 적용이 가능한 디바이스로서 웨어러블 디바이스 형태의 뉴로모픽 장치를 제시하는 데에는 부족한 측면이 있다.On the other hand, there is a shortcoming in presenting wearable device type neuromorphic devices as devices that can be applied to infants who can not talk and caregivers who need care.

(특허문헌 1) KR 10-1443271 B(Patent Document 1) KR 10-1443271 B

(특허문헌 1) KR 10-2016-0005500호 A(Patent Document 1) KR 10-2016-0005500 Issue A

본 발명은 상기 종래의 문제점을 해소하고자 하는 것으로서, 크로스바 형태의 어레이 구조를 갖는 멤리스터 소자와 뉴런 회로를 결합한 하드웨어에 CNN(convolution Neural Network) 또는 SNN(Spike Neural Network) 알고리즘 및 stochastic computing 방식을 적용하여 하나의 일체화된 디바이스 및 이를 이용한 생체 정보 처리 방법을 제공하는 것이 목적이다.Disclosure of Invention Technical Problem [8] The present invention has been made to solve the above-described conventional problems, and it is an object of the present invention to provide a neural network system that uses CNN (convolutional neural network) or SNN (Spike Neural Network) algorithm and stochastic computing And to provide a biometric information processing method using the same integrated device.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 웨어러블 디바이스 형태의 뉴로모픽 장치는 According to an aspect of the present invention, there is provided a wearable device,

상술한 바와 같은 본 발명인 The present invention as described above

도 1은 갑작스런 증상에 따른 생체신호 변화와 간질 발작 시의 EEG 변화 및 심실 세동 시의 ECG 변화를 보인다.
도 2는 사용자의 감성과 외부 상황과의 연관관계 분석도이다.
도 3은 본 발명에 따라 일체화된 디바이스의 데이터 처리 과정도이다.
도 4는 CNN(Convolution Neural Network) 알고리즘을 이용한 데이터 처리 과정도를 보인다.
도 5는 크로스바 어레이 형태의 ReRAM 단면도를 보인다.
도 6은 SNN 알고리즘을 사용한 데이터 처리 과정을 보이는 것으로서, 간단한 Spiking neuron 모델을 보인다.
도 7은 SNN 알고리즘을 사용한 데이터 처리 과정을 보이는 것으로서, 뉴로모픽 장치에 기반한 SNN 기반 생체 신호 인식 과정을 보인다.FIG. 1 shows changes in the biological signal due to sudden symptoms, changes in EEG during epileptic seizures, and changes in ECG during ventricular fibrillation.
FIG. 2 is a diagram showing the relationship between the user's emotions and the external situation.
3 is a data processing diagram of a device integrated according to the present invention.
FIG. 4 shows a data processing process using a CNN (Convolution Neural Network) algorithm.
Figure 5 shows a ReRAM cross section in the form of a crossbar array.
FIG. 6 shows a data processing process using the SNN algorithm, and shows a simple Spiking neuron model.
FIG. 7 shows a data processing process using an SNN algorithm. FIG. 7 shows a SNN-based bio-signal recognition process based on a nylomic device.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 더욱 상세히 설명하기로 한다. 그러나, 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면 상에서 동일 부호는 동일한 요소를 지칭한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. It should be understood, however, that the invention is not limited to the disclosed embodiments, but is capable of other various forms of implementation, and that these embodiments are provided so that this disclosure will be thorough and complete, It is provided to let you know completely. Wherein like reference numerals refer to like elements throughout.

각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.It should be noted that, in adding reference numerals to the constituent elements of the drawings, the same constituent elements are denoted by the same reference symbols as possible even if they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In describing the components of the present invention, terms such as first, second, A, B, (a), and (b) may be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. When a component is described as being "connected", "coupled", or "connected" to another component, the component may be directly connected or connected to the other component, Quot; may be "connected," "coupled," or "connected. &Quot;

이하, 도 1 내지 도 7을 참조하여, 본 발명의 실시예에 따른 웨어러블 디바이스 형태의 뉴로모픽 장치 및 상기 장치를 이용한 생체신호 데이터 처리 방법을 설명한다.Hereinafter, with reference to FIG. 1 to FIG. 7, a description will be given of a neuromotor device in the form of a wearable device according to an embodiment of the present invention and a method of processing biometric signal data using the device.

먼저, 본 발명에서 구현하고 하는 뉴로모픽 시스템 기반의 웨어러블 디바이스는 크게 세가지 부분으로 나눌 수 있다. First, the wearable device based on the novel Lomocopic system implemented in the present invention can be largely divided into three parts.

첫째로는, 뇌의 시냅스와 비슷한 기능을 하는 시냅스 소자로써 ReRAM을 사용하며 이는 데이터를 저장하는 기능을 한다. 시냅스 소자로는 크로스바 형태의 ReRAM이 사용되는데, 그 이유로는 크로스바 형태의 ReRAM은 2-단자(two terminal) 형태인 소자의 어레이로써 여타 다른 메모리들과 달리 집적도가 훨씬 높고 저전력으로 구동이 가능하기 때문이다. First, ReRAM is used as a synaptic element that functions like a brain synapse, and it functions to store data. A crossbar-type ReRAM is used as a synapse element because the crossbar-type ReRAM is an array of two-terminal devices, which is much higher in density and can be driven with low power to be.

하지만, 크로스바 형태의 소자로 구현하게 되면 선택한 소자 이외의 소자에도 전류가 흘러서 원하지 않는 시냅스가 작동이 되는 누설전류(leakage current) 문제가 생길 수 있다. However, when implemented as a crossbar-type device, current may flow to devices other than the selected device, resulting in a leakage current problem in which unwanted synapses are activated.

이런 문제를 해결하기 위해서 저전압에서 소자의 구동을 억제할 수 있는 선택소자(selector)가 필요하다. 따라서, 선택소자를 크로스바 어레이 형태의 ReRAM 소자 중간에 삽입하여 선택소자가 결합된 ReRAM을 제작하면 누설전류로 인한 문제를 해결할 수 있다. 뉴런 회로는 CMOS 기반의 회로로써 시냅스로부터 전달받은 신호를 다른 시냅스로 전달하는 역할을 하는 회로이다.In order to solve this problem, a selector that can suppress the driving of the device at a low voltage is needed. Therefore, the problem caused by the leakage current can be solved by inserting the selection element into the middle of the cross-bar array type ReRAM device and fabricating the ReRAM combined with the selection device. The neuron circuit is a CMOS-based circuit that transmits signals from synapses to other synapses.

둘째로는, 뉴런 회로의 작동을 위한 컴퓨팅 방식으로써, Stochastic computing 방식을 사용한다. Second, it uses stochastic computing as a computing method for the operation of neuron circuits.

기존의 컴퓨팅 방식은 32bit 곱셈기를 사용하여 약 5000개의 gate가 필요하며, 한 장의 사진을 처리하기 위해서 곱셈과 덧셈을 1 Giga번 동작해야 한다. In the conventional computing method, about 5000 gates are needed by using a 32-bit multiplier, and multiplication and addition must be performed 1 Giga times in order to process one picture.

반면에, Stochastic computing 기법을 통한 계산은 1개의 gate로 동일한 동작을 할 수 있다. 따라서, 집적도 문제를 해결할 수 있으며 곱셈기 수백 개를 병렬할 수 있어서 속도 문제도 해결이 가능하다.On the other hand, the calculation using the stochastic computing technique can perform the same operation with one gate. Therefore, the problem of integration can be solved and the speed problem can be solved by having hundreds of multipliers in parallel.

셋째로는, 데이터를 처리하는 알고리즘이며, 이는 CNN 또는 SNN 방식으로 진행된다. CNN의 경우 sparse weight, tied weight 및 equivariant representation이라는 세 가지 아이디어를 기반으로 모델의 complexity는 최소화하면서 vision에 최적화되어있는 형태의 모델일 수 있다.Third, it is an algorithm for processing data, which proceeds in a CNN or SNN manner. CNN can be a model optimized for vision, minimizing the complexity of the model based on three ideas: sparse weight, tied weight, and equivariant representation.

본 발명에 의한 장치는 달려있는 생체 신호 센서 모듈로부터 얻은 체온, 맥박, 뇌전도, 근전도, 혈압, 시선 추적 등의 생체 신호를 통하여 현재 장치 착용자의 건강 상태를 파악할 수 있다.The device according to the present invention can grasp the health condition of the wearer at present through bio-signals such as body temperature, pulse, electroencephalogram, electromyogram, blood pressure, and eye tracking obtained from the mounted bio-sensor module.

이는 다시 크게 두 가지로 나눌 수 있는데 경련, 간질, 급격한 혈압 상승, 심실세동, 심정지 등 다양한 급작스러운 증상이 발생했을 시 이에 따라 변하는 생체신호를 기계학습 기반의 인공지능을 통하여 인식하는 것으로 착용자의 육체적 건강상태를 파악하는 것이 첫 번째이다.This can be divided into two broad categories: seizure, epilepsy, sudden increase in blood pressure, ventricular fibrillation, cardiac arrest, and other sudden changes in the biological signals that change with the recognition of artificial intelligence based on machine learning based on the physical The first is to identify the health status.

두 번째는 착용자의 감정 상태에 연동하여 변화하는 생체신호를 기계학습 기반의 인공지능을 통하여 착용자의 감정을 기록하는 동시에 당시 처했던 외부상황을 기록하여 이를 기록하는 라이프 로깅시스템으로서 착용자의 정신적 건강상태를 파악한다.The second is a lifelogging system that records the emotions of the wearer through the artificial intelligence based on the machine learning based on the changing biological signals linked to the emotional state of the wearer, I understand.

본 발명에 의한 뉴로모픽 장치는 특정 dataset을 이용하여 데이터를 저장시킬 수 있으며, 이는 학습에 비유된다. 이후 CNN(Convolution Neural Network) 알고리즘을 이용하여 학습된 데이터 값과 입력된 데이터를 비교하여 결과를 도출 후 출력한다.A neuromotry device according to the present invention can store data using a specific dataset, which is analogous to learning. Then, the CNN (Convolution Neural Network) algorithm is used to compare the learned data value with the input data, and output the result.

상기 CNN 네트워크는 3개의 convolution layer와 2개의 fully connected layer로 이루어져있다.The CNN network consists of three convolution layers and two fully connected layers.

상기 CNN 네트워크는 Kaggle FER(Facial Expression Recognition) challenge databalse이라는 표정 dataset으로 학습시킨다.The CNN network learns with facial expression dataset called Kaggle FER (Facial Expression Recognition) challenge databalse.

상기 CNN 네트워크는 이미지 데이터를 일정한 사이즈로 자른 후 feed forward 방식으로 데이터를 다음 레이어에 전달한다.The CNN network cuts the image data to a predetermined size and then transmits the data to the next layer in a feed forward manner.

상기 CNN 네트워크의 Output layer에서는 입력된 cost값을 측정하며, class를 분류하여 정확도를 측정한다. 이후 backpropagation을 통해서 네트워크 전체 weights를 새롭게 업데이트 시킨다. 그리고 특정 cost값에 도달하게 되면 정지하게 된다. In the output layer of the CNN network, the input cost value is measured and the class is classified to measure the accuracy. We then update the entire network weights via backpropagation. And when it reaches a certain cost value, it stops.

SNN 네트워크를 사용할 경우 다음과 같은 순서를 통해 생체 신호로부터 착용자의 건강상태 인식한다.When the SNN network is used, the health state of the wearer is recognized from the bio-signals in the following order.

1. Gaussian receptive field, BSA 등의 neural coding 알고리즘을 통하여 각종 생체 신호를 일련의 spike train으로 변환한다.1. Convert various bio-signals into a series of spike trains through neural coding algorithm such as Gaussian receptive field and BSA.

2. 뉴로모픽 장치 기반 SNN은 서로 synapse로 연결된 대량의 spiking neuron의 다층구조로 이루어져있으며 임의의 spike train을 입력받아 synapse 값에 따라 spike train을 출력한다.2. Nyomolik device-based SNN consists of a multilayered structure of a large number of spiking neurons connected to each other in synapse, and outputs spike trains according to the synapse value by inputting any spike train.

3. 생체신호를 변환한 spike train과 착용자의 건강상태에 대응되게 SNN을 이루고 있는 synapse 값들을 STDP, Tempotron, ReSuMe 등의 학습 알고리즘을 통하여 학습한다. 3. The spine train transforming the bio-signal and the synapse values forming the SNN corresponding to the wearer's health state are learned through learning algorithms such as STDP, Tempotron, and ReSuMe.

4. 학습 후 착용자의 생체 신호 변화 시 뉴로모픽 기반 SNN을 통하여 착용자의 건강상태를 파악, 문제 발생 시 긴급사태에 대한 적절 처리를 수행한다.4. Understanding the health condition of the wearer through neuromotor-based SNN in case of change of the wearer's bio-signal after learning, and to deal with the emergency in case of trouble.

본 발명에 의한 뉴로모픽 장치의 시냅스에 해당하는 ReRAM의 경우 CMOS 트랜지스터로 구성된 회로인 뉴런과 연결 되어 있다. 한 개의 시냅스는 프리 시냅틱 뉴런 및 포스트 시냅틱 뉴런과 연결 되어 있으며 한쪽 단자에 입력되는 신호와 다른 쪽의 단자에 입력되는 신호의 시간 간격에 의해서 저항 값이 변화될 수 있다. The ReRAM, which corresponds to the synapse of the neurometer device according to the present invention, is connected to a neuron which is a circuit composed of CMOS transistors. One synapse is connected to a pre-synaptic neuron and a post-synaptic neuron, and the resistance value can be changed by a time interval between a signal input to one terminal and a signal input to the other terminal.

이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.It is to be understood that the terms "comprises", "comprising", or "having" as used in the foregoing description mean that the constituent element can be implanted unless specifically stated to the contrary, But should be construed as further including other elements. All terms, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

Claims (13)

펜던트 또는 부착형 형태를 가지며, 사용자의 표정 변화를 감지하고, 감지한 표정 데이터를 기존의 학습되어 저장된 데이터와 비교한 후, 사용자의 주변 환경과 결합하여 사용자의 건강 상황을 관리해주는 뉴로모픽 장치;
얼굴의 표정 인식 영상센서 및 음성센서, 생체센서를 포함하는 생체 신호 센서 모듈;
빅데이터를 딥러닝 알고리즘으로 처리하는 정보 처리부;
처리된 정보를 저장할 수 있는 뉴로모픽 소자; 및
처리된 정보를 출력하는 출력부;를 포함하는 모바일 인공지능 소형장치.
A pendant or an attachment type, which detects a change in the user's facial expression, compares sensed facial expression data with existing learned and stored data, and then combines it with the user's surrounding environment to manage the user's health condition ;
A facial expression recognizing image sensor, a voice sensor, and a bio sensor;
An information processing unit for processing big data by a deep learning algorithm;
A neuromorph element capable of storing processed information; And
And outputting the processed information.
제1항에 있어서,
상기 얼굴을 인식하고 정보처리하는 영상센서 장치; CMOS 기반의 CPU 또는 GPU 소자를 이용한 장치.
The method according to claim 1,
An image sensor device for recognizing and processing the face; A device using a CMOS-based CPU or GPU device.
제1항에 있어서,
음성 인식을 통하여 정보처리를 음성 센서; CMOS 기반의 CPU 또는 GPU 소자를 이용한 장치.
The method according to claim 1,
Through the speech recognition, the information processing is performed by the voice sensor; A device using a CMOS-based CPU or GPU device.
제1항에 있어서,
상기 생체 신호 센서 모듈은
착용자의 현재 건강 상태를측정하기 위한 체온, 맥박, 뇌전도, 근전도, 혈압, 시선 추적 등의 생체 신호 습득 장치.
The method according to claim 1,
The bio-signal sensor module
A bio-signal acquisition device such as body temperature, pulse, electroencephalogram, electromyogram, blood pressure, and eye tracking for measuring the current health state of a wearer.
제1항에 있어서,
상기 뉴로모픽 소자는; 뉴런회로 및 ReRAM으로 구성된 멤리스터 어레이가 결합된 소자.
The method according to claim 1,
The neomorphic device comprising: A neuron circuit and a ReRAM.
제5항에 있어서,
상기 멤리스터 어레이는; 멤리스터 단위 소자가 크로스바 형태의 구조를 가지는 어레이.
6. The method of claim 5,
The memristor array comprising: An array in which the memristor unit element has a crossbar-like structure.
제6항에 있어서,
상기 멤리스터 단위 소자는: 상부 전극, 저항변화물질층, 하부 전극으로 구성된 소자.The method according to claim 6,
Wherein the MEMSIR unit element comprises: an upper electrode, a resistance change material layer, and a lower electrode. 제7항에 있어서,
상기 멤리스터는; 알루미늄 전극, 중간 티타늄산화물층, 하부 알루미늄 전극으로 구성된 소자8. The method of claim 7,
Wherein the memristor comprises: An element composed of an aluminum electrode, a middle titanium oxide layer, and a lower aluminum electrode 제8항에 있어서,
상기 멤리스터는, 누설 전류를 방지하기 위한 선택 소자가 집적된 구조9. The method of claim 8,
The memristor has a structure in which a selection element for preventing a leakage current is integrated 제1항에 있어서,
상기 딥러닝 알고리즘은,
상기 영상 센서, 상기 음성 센서, 상기 생체 신호 센서 모듈로부터의 데이터에서 CNN (Convolution Neuron Network) 또는 SNN (Spiking Neural Network)을 사용하여 특징점을 추출하는 단계; 및 추출된 정보를 바탕으로 CNN 또는 SNN을 사용하여 착용자의 주변 환경과 신체 상태를 인식하는 단계;
를 포함하는 정보 처리 단계.The method according to claim 1,
The deep learning algorithm includes:
Extracting feature points using CNN (Convolution Neuron Network) or SNN (Spiking Neural Network) from data from the image sensor, the voice sensor, and the bio-sensor module; And recognizing the wearer's environment and body condition using CNN or SNN based on the extracted information;
Information processing step. 제1항에 있어서,
상기 정보 처리 단계는 bit string을 활용한 Stochastic computing을 기반으로 한다. The method according to claim 1,
The information processing step is based on stochastic computing using a bit string. 제1항에 있어서,
출력된 정보는, 외부에 착용하여 처리된 정보를 기반으로 하는 사람의 표정인식, 주변 환경 인지, 음성인식 과 생체 내 삽입을 통한 사용자의 건강 상태 측정.The method according to claim 1,
The output information is a measurement of the user's health condition by recognizing a person's facial expression based on the information worn by the outside, perception of the surrounding environment, voice recognition and in-vivo insertion. 제10항에 있어서,
상기 정보 처리 단계를 통해 인식한 착용자의 주변 환경과 신체 상태 정보를 복합적으로 사용하여 착용자가 처해있는 사태를 판단하여 긴급 사태 시 자동으로 대처해주는 모바일 인공지능 소형장치.
11. The method of claim 10,
A mobile artificial intelligent small device that uses a combination of the wearer's surrounding environment and physical condition information recognized through the information processing step to determine the situation of the wearer and automatically cope with an emergency situation.
KR1020160067681A 2016-05-31 2016-05-31 A neuromotor device in the form of a wearable device and a method of processing biometric information using the neuromotor device KR20170135563A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160067681A KR20170135563A (en) 2016-05-31 2016-05-31 A neuromotor device in the form of a wearable device and a method of processing biometric information using the neuromotor device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160067681A KR20170135563A (en) 2016-05-31 2016-05-31 A neuromotor device in the form of a wearable device and a method of processing biometric information using the neuromotor device

Publications (1)

Publication Number Publication Date
KR20170135563A true KR20170135563A (en) 2017-12-08

Family

ID=60919723

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160067681A KR20170135563A (en) 2016-05-31 2016-05-31 A neuromotor device in the form of a wearable device and a method of processing biometric information using the neuromotor device

Country Status (1)

Country Link
KR (1) KR20170135563A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200054741A (en) * 2018-11-12 2020-05-20 주식회사 다누시스 Smart lonely deate protecting system and method thereof
WO2020111356A1 (en) * 2018-11-26 2020-06-04 전자부품연구원 Spiking neural network device and intelligent device including same
KR20200101779A (en) * 2019-02-20 2020-08-28 충북대학교 산학협력단 Apparatus for retinal prostheses based reram-cmos

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200054741A (en) * 2018-11-12 2020-05-20 주식회사 다누시스 Smart lonely deate protecting system and method thereof
WO2020111356A1 (en) * 2018-11-26 2020-06-04 전자부품연구원 Spiking neural network device and intelligent device including same
KR20200101779A (en) * 2019-02-20 2020-08-28 충북대학교 산학협력단 Apparatus for retinal prostheses based reram-cmos

Similar Documents

Publication Publication Date Title
Ceolini et al. Hand-gesture recognition based on EMG and event-based camera sensor fusion: A benchmark in neuromorphic computing
Oniga et al. Human activity recognition using neural networks
Ma et al. EMG-based gestures classification using a mixed-signal neuromorphic processing system
Dargazany et al. WearableDL: wearable internet-of-things and deep learning for big data analytics—concept, literature, and future
Mansoor et al. Deep learning algorithm for brain-computer interface
KR20170135563A (en) A neuromotor device in the form of a wearable device and a method of processing biometric information using the neuromotor device
Bhatti et al. Attentive cross-modal connections for deep multimodal wearable-based emotion recognition
KR102146973B1 (en) Apparatus and method for learning user's operation intention using artificial neural network
Liu et al. Cognitive neuroscience and robotics: Advancements and future research directions
Hekmatmanesh Investigation of EEG signal processing for rehabilitation robot control
Sharma et al. DepCap: a smart healthcare framework for EEG based depression detection using time-frequency response and deep neural network
Taori et al. Cross-task cognitive load classification with identity mapping-based distributed CNN and attention-based RNN using gabor decomposed data images
Abdulghani et al. A drone flight control using brain computer interface and artificial intelligence
Fonseca et al. Artificial neural networks applied to the classification of hand gestures using eletromyographic signals
Krishnan Relearning toward motor recovery in stroke, spinal cord injury, and cerebral palsy: a cognitive neural systems perspective
CN113476817B (en) Cognitive rehabilitation training system based on neural network algorithm
Mirzabagherian et al. Classification of raw spinal cord injury EEG data based on the temporal-spatial inception deep convolutional neural network
Barbosa et al. Mental tasks classification for a noninvasive bci application
Chervyakov et al. EEG Neuro-processing for the development of neurointerfaces
Mekruksavanich et al. Refined lstm network for sensor-based human activity recognition in real world scenario
Elbohy et al. Analysis of electroencephalography signals using particle swarm optimization
Lubrano Transfer Learning strategies for time robust neural decoding in a Brain-machine interface
López et al. CNN-LSTM and post-processing for EMG-based hand gesture recognition
Partovi et al. A Convolutional Neural Network Model for Decoding EEG signals in a Hand-Squeeze Task
SOROUSHMOJDEHI et al. Classification of EMG signals for hand movement intention detection