KR102991663B1 - Rehabilitation contents for cognitive impairment based on health care system - Google Patents

Rehabilitation contents for cognitive impairment based on health care system

Info

Publication number
KR102991663B1
KR102991663B1 KR1020230192808A KR20230192808A KR102991663B1 KR 102991663 B1 KR102991663 B1 KR 102991663B1 KR 1020230192808 A KR1020230192808 A KR 1020230192808A KR 20230192808 A KR20230192808 A KR 20230192808A KR 102991663 B1 KR102991663 B1 KR 102991663B1
Authority
KR
South Korea
Prior art keywords
brainwave
brainwave signal
unit
content
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020230192808A
Other languages
Korean (ko)
Other versions
KR20250101305A (en
Inventor
한형섭
한용석
Original Assignee
주식회사 에이치에이치에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치에이치에스 filed Critical 주식회사 에이치에이치에스
Priority to KR1020230192808A priority Critical patent/KR102991663B1/en
Publication of KR20250101305A publication Critical patent/KR20250101305A/en
Application granted granted Critical
Publication of KR102991663B1 publication Critical patent/KR102991663B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/683—Means for maintaining contact with the body
    • A61B5/6831—Straps, bands or harnesses
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Neurology (AREA)
  • Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Neurosurgery (AREA)
  • Physiology (AREA)
  • Social Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 발명은 인지장애 재활 콘텐츠 기반 건강 관리시스템에 관한 것으로, 보다 구체적으로는 개인별 생체신호를 기반으로 개인별 인지능력 장애 정도와 등급을 파악하고 이에 대응하는 개인별 맞춤형 인지장애 재활 콘텐츠를 제공함으로써, 종래 획일적인 교육방식에서 벗어나 개인별 최적화된 맞춤형 콘텐츠를 제공할 수 있으며, 이로 인해 인지장애 재활 콘텐츠에 대한 흥미와 몰입도 향상시킬 뿐만 아니라 인지기능 재활 효율을 더욱 향상시킬 수 있도록 하는, 인지장애 재활 콘텐츠 기반 건강 관리시스템에 관한 것이다.The present invention relates to a health management system based on cognitive impairment rehabilitation content, and more specifically, to a health management system based on cognitive impairment rehabilitation content that identifies the degree and grade of individual cognitive impairment based on individual biosignals and provides personalized cognitive impairment rehabilitation content corresponding thereto, thereby moving away from conventional uniform educational methods and providing personalized content optimized for each individual, which not only enhances interest and immersion in cognitive impairment rehabilitation content but also further improves the efficiency of cognitive function rehabilitation.

Description

인지장애 재활 콘텐츠 기반 건강 관리시스템{REHABILITATION CONTENTS FOR COGNITIVE IMPAIRMENT BASED ON HEALTH CARE SYSTEM}Rehabilitation Contents for Cognitive Impairment Based on Health Care System

본 발명은 개인별 생체신호를 기반으로 개인별 인지능력 장애 정도와 등급을 파악하고 이에 대응하는 개인별 맞춤형 인지장애 재활 콘텐츠를 제공함으로써, 종래 획일적인 교육방식에서 벗어나 개인별 최적화된 맞춤형 콘텐츠를 제공할 수 있으며, 이로 인해 인지장애 재활 콘텐츠에 대한 흥미와 몰입도 향상시킬 뿐만 아니라 인지기능 재활 효율을 더욱 향상시킬 수 있도록 하는, 인지장애 재활 콘텐츠 기반 건강 관리시스템에 관한 것이다.The present invention relates to a health management system based on cognitive impairment rehabilitation content that identifies the degree and grade of individual cognitive impairment based on individual biosignals and provides personalized cognitive impairment rehabilitation content corresponding thereto, thereby moving away from conventional uniform educational methods and providing personalized content optimized for each individual, which not only enhances interest and immersion in cognitive impairment rehabilitation content but also further improves the efficiency of cognitive function rehabilitation.

일반적으로 인지장애란 기억력, 주의력, 언어능력, 시공간능력과 판단력 등이 저하된 상태를 말한다. 그 정도는 아주 경미한 경우에서 심한 경우까지 다양하며, 인지기능장애가 심할 경우 일상생활이나 사회생활 자체에 지장을 줄 수 있다.Generally, cognitive impairment refers to a state in which memory, attention, language ability, visuospatial ability, and judgment are impaired. The severity varies from very mild to severe, and in cases of severe cognitive dysfunction, it can interfere with daily life and social activities.

즉, 인지장애란 의식이 청명한 상태에서 전반적인 인지기능의 장애를 나타내는 뇌질환으로 보통 만성 또는 진행성 뇌질환에 의해서 발생되며 기억, 사고, 이해, 계산, 학습, 언어 판단 등 다수의 고위 대뇌기능에 장애가 나타나는 증후군이다. In other words, cognitive impairment is a brain disorder characterized by impairment of overall cognitive function while conscious, usually caused by chronic or progressive brain disease, and is a syndrome in which impairment occurs in multiple higher cerebral functions such as memory, thinking, understanding, calculation, learning, and language judgment.

반면에 동일 연령대에 비해 인지기능, 특히 기억력이 떨어져 있으나 일상생활을 수행하는 능력은 보존되어 있는 경우를 경도 인지장애라고 한다. 이는 정상 인지장애와 고도 인지장애의 중간단계라고 할 수 있는 것으로서 검사를 통해 발견할 수 있는 가장 초기 단계로 치료 효과를 극대화시킬 수 있다고 알려져 있다.On the other hand, mild cognitive impairment refers to a condition where cognitive function, particularly memory, is lower than that of the same age group, but the ability to perform daily activities is preserved. This can be considered an intermediate stage between normal and severe cognitive impairment; as the earliest stage detectable through testing, it is known to maximize the effectiveness of treatment.

최근들어 이러한 인지장애 관련 질환 예방 및 치료를 위한 조치로서 뇌를 활성화하기 위한 퍼즐게임, 그림 그리기, 이야기하기 등 다양한 프로그램이 제시되고 있다.Recently, various programs such as puzzle games, drawing, and storytelling to activate the brain have been proposed as measures to prevent and treat cognitive impairment-related diseases.

하지만, 이러한 노력에도 불구하고 종래의 각종 인지장애 예방 및 치료를 목적으로 하는 인지훈련 프로그램들은 환자들의 흥미를 유발하지 못하고 있으며 대부분 획일적인 교육방식으로 진행되고 있어 실효를 거두지 못하고 있는 실정이다.However, despite these efforts, conventional cognitive training programs aimed at preventing and treating various cognitive impairments are failing to generate interest among patients and are mostly conducted using uniform educational methods, so they are not achieving effective results.

특허문헌 1 : 대한민국 공개특허 제10-2019-0074563호Patent Document 1: Korean Published Patent No. 10-2019-0074563

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 개인별 생체신호를 기반으로 개인별 인지능력 장애 정도와 등급을 파악하고 이에 대응하는 개인별 맞춤형 인지장애 재활 콘텐츠를 제공함으로써, 종래 획일적인 교육방식에서 벗어나 개인별 최적화된 맞춤형 콘텐츠를 제공할 수 있으며, 이로 인해 인지장애 재활 콘텐츠에 대한 흥미와 몰입도 향상시킬 뿐만 아니라 인지기능 재활 효율을 더욱 향상시킬 수 있도록 함을 과제로 한다.The present invention aims to solve the above-mentioned problems by identifying the degree and grade of individual cognitive impairment based on individual biosignals and providing personalized cognitive impairment rehabilitation content corresponding thereto, thereby moving away from conventional uniform educational methods and providing personalized content optimized for each individual. As a result, it is possible to not only improve interest and immersion in cognitive impairment rehabilitation content but also further enhance the efficiency of cognitive function rehabilitation.

본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제로 제한되지 않으며, 여기에 언급되지 않은 본 발명이 해결하고자 하는 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problems that the present invention aims to solve are not limited to those mentioned above, and other problems that the present invention aims to solve that are not mentioned herein will be clearly understood by those skilled in the art to which the present invention belongs from the description below.

본 발명은 사용자의 뇌파신호를 측정하는 뇌파신호 측정부(100); 상기 뇌파신호 측정부(100)에서 측정된 뇌파신호를 전달받고, 전달받은 뇌파신호를 기반으로 사용자의 인지능력을 판단하는 상태 판단부(200); 및 상기 상태 판단부(200)에서 판단된 정보를 기반으로 인지장애 재활 콘텐츠를 생성하고, 이를 사용자 단말기(160)로 제공하는 건강관리 서버(300);를 포함하되, 상기 뇌파신호 측정부(100)는, 사용자의 뇌파신호를 측정하는 뇌파 측정수단(110); 상기 뇌파 측정수단(110)에서 뇌파신호를 수신받는 뇌파신호 수신부(120); 상기 뇌파신호 수신부(120)에서 수신된 뇌파신호를 뇌파신호 저장부(140)로 공급하는 뇌파신호 처리부(130); 상기 뇌파신호 처리부(130)에서 공급된 뇌파신호를 수신 후 데이터화하여 저장하는 뇌파신호 저장부(140); 및 상기 상태 판단부(200)와 통신하고 상기 뇌파신호 저장부(140)에 저장된 뇌파신호를 상태 판단부(200)로 제공하는 제1 통신부(150);를 포함하고, 상기 상태 판단부(200)는, 상기 제1 통신부(150)와 통신하고 뇌파신호를 수신받는 제2 통신부(210); 상기 수신되는 뇌파신호를 기반으로 사용자의 인지능력을 판단하는 판단부(220); 및 상기 건강관리 서버(300)와 통신하고 상기 판단부(220)에서 판단된 사용자 인지능력 정보를 건강관리 서버(300)로 제공하는 제3 통신부(230);를 포함하며, 상기 건강관리 서버(300)는, 상기 상태 판단부(200)의 제3 통신부(230)와 통신하고 상기 상태 판단부(200)에서 판단된 사용자 인지능력 정보를 수신하는 제4 통신부(310); 상기 수신된 인지능력 정보를 기반으로, 기분류된 상태 정보별 콘텐츠 생성 분류 정보에 따라 인지장애 재활 콘텐츠를 생성하는 콘텐츠 생성부(320); 및 상기 생성된 인지장애 재활 콘텐츠를 사용자 단말기(160)로 제공하는 제5 통신부(330);를 포함하는 것을 특징으로 하는, 인지장애 재활 콘텐츠 기반 건강 관리시스템을 과제의 해결 수단으로 한다.The present invention comprises: a brainwave signal measuring unit (100) for measuring a user's brainwave signal; a state judgment unit (200) for receiving a brainwave signal measured by the brainwave signal measuring unit (100) and determining the user's cognitive ability based on the received brainwave signal; and a health management server (300) for generating cognitive impairment rehabilitation content based on information determined by the state judgment unit (200) and providing it to a user terminal (160). The brainwave signal measuring unit (100) comprises: a brainwave measuring means (110) for measuring a user's brainwave signal; a brainwave signal receiving unit (120) for receiving a brainwave signal from the brainwave measuring means (110); a brainwave signal processing unit (130) for supplying the brainwave signal received from the brainwave signal receiving unit (120) to a brainwave signal storage unit (140); and a brainwave signal storage unit (140) for receiving the brainwave signal supplied from the brainwave signal processing unit (130), converting it into data, and storing it. and a first communication unit (150) that communicates with the state determination unit (200) and provides the brainwave signal stored in the brainwave signal storage unit (140) to the state determination unit (200); wherein the state determination unit (200) includes: a second communication unit (210) that communicates with the first communication unit (150) and receives the brainwave signal; a determination unit (220) that determines the user's cognitive ability based on the received brainwave signal; and a third communication unit (230) that communicates with the health management server (300) and provides the user cognitive ability information determined by the determination unit (220) to the health management server (300); and wherein the health management server (300) includes a fourth communication unit (310) that communicates with the third communication unit (230) of the state determination unit (200) and receives the user cognitive ability information determined by the state determination unit (200); A health management system based on cognitive impairment rehabilitation content is provided as a means of solving the problem, characterized by comprising: a content generation unit (320) that generates cognitive impairment rehabilitation content according to content generation classification information for each pre-classified state information based on the received cognitive ability information; and a fifth communication unit (330) that provides the generated cognitive impairment rehabilitation content to a user terminal (160).

여기서 상기 뇌파 측정수단(110)은, 사용자의 이마에 접촉되도록 반원형으로 형성된 바디부(111); 상기 바디부(111) 양측 구비되어, 바디부(111)를 머리에 고정하기 위한 밴드부재를 체결시킬 수 있도록 하는 밴드체결부(112); 및 상기 바디부(111) 내측의 이마 접촉부위에 일렬 등간격으로 복수개가 부착되는 뇌파센서(113);를 포함할 수 있다.Here, the brainwave measuring means (110) may include: a body part (111) formed in a semicircular shape to contact the user's forehead; a band fastening part (112) provided on both sides of the body part (111) to allow a band member to be fastened to secure the body part (111) to the head; and a plurality of brainwave sensors (113) attached at equal intervals in a row on the forehead contact area inside the body part (111).

그리고 상기 판단부(220)는, 일정 기간동안 상기 뇌파신호 측정부(100)가 측정한 뇌파신호 정보를 저장하고 학습하는 학습모듈(221); 및 상기 학습모듈(221)이 학습한 뇌파신호 정보와 상기 뇌파신호 측정부(100)에서 실시간 생성되는 뇌파신호 정보를 대조하여 사용자의 인지능력을 판단하는 판단모듈(222);을 포함할 수 있다.And the above judgment unit (220) may include: a learning module (221) that stores and learns brainwave signal information measured by the brainwave signal measuring unit (100) for a certain period; and a judgment module (222) that determines the user's cognitive ability by comparing the brainwave signal information learned by the learning module (221) with the brainwave signal information generated in real time by the brainwave signal measuring unit (100).

아울러 상기 판단모듈(222)은, 학습된 뇌파신호 정보와 실시간 생성되는 뇌파신호 정보가 저장되는 뇌파신호 데이터 저장부(222-1); 상기 학습된 뇌파신호 정보에 실시간 생성되는 뇌파신호 정보를 대입하여 변화값을 산출하는 변화값 산출부(222-2); 및 상기 변화값을 기 학습된 상태 분류정보에 대입하여 사용자의 인지능력을 등급별로 판단하는 상태 도출부(222-3);를 포함할 수 있다.In addition, the judgment module (222) may include: a brainwave signal data storage unit (222-1) in which learned brainwave signal information and real-time generated brainwave signal information are stored; a change value calculation unit (222-2) that calculates a change value by substituting the real-time generated brainwave signal information into the learned brainwave signal information; and a state derivation unit (222-3) that determines the user's cognitive ability by grade by substituting the change value into previously learned state classification information.

한편 상기 인지장애 재활 콘텐츠는, 상기 콘텐츠 생성부(320)에 기저장된 공간지각력 향상 콘텐츠, 기억력 향상 콘텐츠, 주의력 향상 콘텐츠, 연상 능력 향상 콘텐츠, 수리력 향상 콘텐츠 및 그림 그리기 콘텐츠를 포함하며, 상기 각 콘텐츠는 상기 인지능력 등급별로 복수의 난이도를 가질 수 있다.Meanwhile, the above-mentioned cognitive impairment rehabilitation content includes spatial perception enhancement content, memory enhancement content, attention enhancement content, association ability enhancement content, numerical ability enhancement content, and drawing content that are stored in the above-mentioned content generation unit (320), and each of the above-mentioned content may have multiple difficulty levels according to the cognitive ability grade.

아울러 상기 뇌파 측정수단(110)은, 상기 바디부(111)의 내부에 상기 뇌파센서(113)가 센싱한 신호를 뇌파신호 수신부(120)로 송신하는 제어부(111a)가 구비되며, 상기 제어부(111a)는, 상기 뇌파센서(113)가 취득한 뇌파신호를 밴드패스필터를 이용하여 유효구간 범위로 필터하고, 사용자의 목과 얼굴의 움직임으로 인하여 발생된 근전도 노이즈가 기 설정된 기준을 초과하여 뇌파신호 정보에 혼합되는 경우 해당 시간의 뇌파신호 정보 전체를 노이즈로 취급하여 삭제하고, 상기 사용자의 움직임으로 인해 상기 뇌파센서(113)가 일시적으로 탈착되거나 접촉이 불량한 경우, 일시적 탈착으로 해석하여 해당 시간의 뇌파신호 정보 전체를 노이즈로 취급하여 삭제하는 노이즈제거모듈(111a-1); 노이즈제거모듈(111a-1)을 통해 노이즈가 제거된 뇌파신호를 증폭하는 증폭모듈(111a-2); 및 상기 증폭모듈(111a-2)을 통해 증폭된 뇌파신호를 디지털 뇌파신호로 변환하는 ADC 모듈(111a-3);을 포함할 수 있다.In addition, the brainwave measuring means (110) is equipped with a control unit (111a) that transmits a signal sensed by the brainwave sensor (113) inside the body part (111) to a brainwave signal receiving unit (120). The control unit (111a) filters the brainwave signal acquired by the brainwave sensor (113) into an effective range using a bandpass filter, and if electromyography noise generated by the movement of the user's neck and face exceeds a preset standard and is mixed into the brainwave signal information, it treats the entire brainwave signal information for that time as noise and deletes it; and if the brainwave sensor (113) is temporarily detached or has poor contact due to the user's movement, it interprets it as temporary detachment and treats the entire brainwave signal information for that time as noise and deletes it. It also includes a noise removal module (111a-1); and an amplification module (111a-2) that amplifies the brainwave signal from which noise has been removed through the noise removal module (111a-1). and may include an ADC module (111a-3) that converts the brainwave signal amplified through the amplification module (111a-2) into a digital brainwave signal.

또한, 상기 바디부(111)는 피부 접촉방향으로 돌기(111b) 및 공기유동로(111c)가 교차로 병용되어 형성되되, 상기 돌기(111b)는 높이(L)가 1 ~ 5mm로 형성될 수 있다.Additionally, the body part (111) is formed by using a protrusion (111b) and an air flow path (111c) in an alternating manner in the direction of skin contact, and the protrusion (111b) may be formed with a height (L) of 1 to 5 mm.

또한, 상기 바디부(111)는 피부 접촉방향으로 실리콘 소재의 패드가 부착되되, 상기 패드에는 피부 접촉방향으로 돌기(111b) 및 공기유동로(111c)가 교차로 병용되어 형성되고, 상기 돌기(111b)는 높이(L)가 1 ~ 5mm로 형성되며, 상기 돌기(111b)의 내부에는 복수의 공기셀(111b-1)이 형성될 수 있다.Additionally, the body part (111) has a silicone pad attached in the direction of skin contact, and the pad has a protrusion (111b) and an air flow path (111c) formed in an alternating manner in the direction of skin contact, and the protrusion (111b) is formed with a height (L) of 1 to 5 mm, and a plurality of air cells (111b-1) may be formed inside the protrusion (111b).

본 발명은 개인별 생체신호를 기반으로 개인별 인지능력 장애 정도와 등급을 파악하고 이에 대응하는 개인별 맞춤형 인지장애 재활 콘텐츠를 제공함으로써, 종래 획일적인 교육방식에서 벗어나 개인별 최적화된 맞춤형 콘텐츠를 제공할 수 있으며, 이로 인해 인지장애 재활 콘텐츠에 대한 흥미와 몰입도 향상시킬 뿐만 아니라 인지기능 재활 효율을 더욱 향상시킬 수 있는 효과가 있다.The present invention identifies the degree and grade of individual cognitive impairment based on individual biosignals and provides personalized cognitive impairment rehabilitation content corresponding thereto, thereby moving away from conventional uniform educational methods and providing personalized content optimized for each individual. As a result, it has the effect of not only improving interest and immersion in cognitive impairment rehabilitation content but also further enhancing the efficiency of cognitive function rehabilitation.

도 1은 본 발명에 따른 인지장애 재활 콘텐츠 기반 건강 관리시스템의 전체 구성을 나타낸 블럭도
도 2는 본 발명에 따른 인지장애 재활 콘텐츠 기반 건강 관리시스템을 구체화한 블럭도
도 3은 본 발명에 따른 뇌파 측정수단을 구체화한 블럭도
도 4는 본 발명에 따른 제어부를 구체화한 블럭도
도 5는 본 발명에 따른 바디부를 구체화한 단면도
도 6은 본 발명에 따른 돌기부를 구체화한 단면도
도 7은 본 발명에 따른 판단부를 구체화한 블럭도
도 8은 본 발명에 따른 판단모듈을 구체화한 블럭도
도 9는 본 발명에 따른 각 콘텐츠의 예를 나타낸 도면
FIG. 1 is a block diagram showing the overall configuration of a health management system based on cognitive impairment rehabilitation content according to the present invention.
FIG. 2 is a block diagram illustrating a health management system based on cognitive impairment rehabilitation content according to the present invention.
FIG. 3 is a block diagram embodying a brainwave measurement means according to the present invention.
FIG. 4 is a block diagram illustrating a control unit according to the present invention.
FIG. 5 is a cross-sectional view illustrating a body portion according to the present invention.
FIG. 6 is a cross-sectional view illustrating a projection according to the present invention.
FIG. 7 is a block diagram embodying a judgment unit according to the present invention.
FIG. 8 is a block diagram embodying a judgment module according to the present invention.
FIG. 9 is a drawing showing examples of each content according to the present invention.

본 발명의 실시예들에 대한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.The advantages and features of the embodiments of the present invention, and the methods for achieving them, will become clear by referring to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below but may be implemented in various different forms. These embodiments are provided merely to ensure that the disclosure of the present invention is complete and to fully inform those skilled in the art of the scope of the invention, and the present invention is defined only by the scope of the claims. Throughout the specification, the same reference numerals refer to the same components.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, specific descriptions of known functions or configurations will be omitted if it is determined that such detailed descriptions could unnecessarily obscure the essence of the invention. Furthermore, the terms described below are defined in consideration of their functions in the embodiments of the present invention, and these definitions may vary depending on the intentions or practices of the user or operator. Therefore, such definitions should be based on the content throughout this specification.

이하, 첨부된 도면을 참고로 본 발명의 바람직한 실시예에 대하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the attached drawings.

도 1은 본 발명에 따른 인지장애 재활 콘텐츠 기반 건강 관리시스템의 전체 구성을 나타낸 블럭도이고, 도 2는 본 발명에 따른 인지장애 재활 콘텐츠 기반 건강 관리시스템을 구체화한 블럭도이며, 도 3은 본 발명에 따른 뇌파 측정수단을 구체화한 블럭도이고, 도 4는 본 발명에 따른 제어부를 구체화한 블럭도이며, 도 5는 본 발명에 따른 바디부를 구체화한 단면도이고, 도 6은 본 발명에 따른 돌기부를 구체화한 단면도이며, 도 7은 본 발명에 따른 판단부를 구체화한 블럭도이고, 도 8은 본 발명에 따른 판단모듈을 구체화한 블럭도이며, 도 9는 본 발명에 따른 각 콘텐츠의 예를 나타낸 도면이다.FIG. 1 is a block diagram showing the overall configuration of a health management system based on cognitive impairment rehabilitation content according to the present invention, FIG. 2 is a block diagram showing the health management system based on cognitive impairment rehabilitation content according to the present invention, FIG. 3 is a block diagram showing the brainwave measurement means according to the present invention, FIG. 4 is a block diagram showing the control unit according to the present invention, FIG. 5 is a cross-sectional view showing the body unit according to the present invention, FIG. 6 is a cross-sectional view showing the protrusion unit according to the present invention, FIG. 7 is a block diagram showing the judgment unit according to the present invention, FIG. 8 is a block diagram showing the judgment module according to the present invention, and FIG. 9 is a diagram showing examples of each content according to the present invention.

도 1 내지 도 9를 참조하면, 본 발명에 따른 인지장애 재활 콘텐츠 기반 건강 관리시스템은 뇌파신호 측정부(100), 상태 판단부(200) 및 건강관리 서버(300)를 포함한다.Referring to FIGS. 1 to 9, the cognitive impairment rehabilitation content-based health management system according to the present invention includes a brainwave signal measuring unit (100), a state determination unit (200), and a health management server (300).

상기 뇌파신호 측정부(100)는 사용자의 뇌파신호를 측정하는 수단으로 뇌파 측정수단(110), 뇌파신호 수신부(120), 뇌파신호 처리부(130), 뇌파신호 저장부(140) 및 제1 통신부(150)를 포함하며, 보다 구체적으로 뇌파 측정수단(110)에서 사용자의 뇌파신호를 측정하며, 상기 뇌파 측정수단(110)에서 뇌파신호를 뇌파신호 수신부(120)에서 수신받는 후, 상기 뇌파신호 수신부(120)에서 수신된 뇌파신호를 뇌파신호 처리부(130)를 통해 뇌파신호 저장부(140)로 공급한다. 그리고 상기 뇌파신호 처리부(130)에서 공급된 뇌파신호를 뇌파신호 저장부(140)에서 수신 후 데이터화하여 저장하고, 상기 뇌파신호 저장부(140)에 저장된 뇌파신호를 상기 상태 판단부(200)와 통신하는 제1 통신부(150)를 통해 상태 판단부(200)로 제공한다.The above brainwave signal measuring unit (100) is a means for measuring a user's brainwave signal and includes a brainwave measuring means (110), a brainwave signal receiving unit (120), a brainwave signal processing unit (130), a brainwave signal storage unit (140), and a first communication unit (150). More specifically, the brainwave signal of the user is measured at the brainwave measuring means (110), and after the brainwave signal from the brainwave measuring means (110) is received at the brainwave signal receiving unit (120), the brainwave signal received at the brainwave signal receiving unit (120) is supplied to the brainwave signal storage unit (140) through the brainwave signal processing unit (130). Then, the brainwave signal supplied from the brainwave signal processing unit (130) is received, converted into data, and stored in the brainwave signal storage unit (140), and the brainwave signal stored in the brainwave signal storage unit (140) is provided to the state determination unit (200) through the first communication unit (150) which communicates with the state determination unit (200).

여기서, 상기 뇌파 측정수단(110)은, 사용자의 이마에 접촉되도록 반원형으로 형성된 바디부(111)와, 상기 바디부(111) 양측 구비되어, 바디부(111)를 머리에 고정하기 위한 밴드부재를 체결시킬 수 있도록 하는 밴드체결부(112) 및, 상기 바디부(111) 내측의 이마 접촉부위에 일렬 등간격으로 복수개가 부착되는 뇌파센서(113)로 구성될 수 있다.Here, the brainwave measuring means (110) may be composed of a body part (111) formed in a semicircular shape to contact the user's forehead, a band fastening part (112) provided on both sides of the body part (111) to allow a band member to be fastened to secure the body part (111) to the head, and a plurality of brainwave sensors (113) attached at equal intervals in a row on the forehead contact area inside the body part (111).

보다 구체적으로 상기 뇌파 측정수단(110)은 상기 바디부(111)의 내부에 상기 뇌파센서(113)가 센싱한 신호를 뇌파신호 수신부(120)로 송신하는 제어부(111a)가 구비되며, 상기 제어부(111a)는 노이즈제거모듈(111a-1), 증폭모듈(111a-2) 및 ADC 모듈(111a-3)을 포함한다.More specifically, the brainwave measuring means (110) is equipped with a control unit (111a) that transmits a signal sensed by the brainwave sensor (113) to a brainwave signal receiving unit (120) inside the body part (111), and the control unit (111a) includes a noise removal module (111a-1), an amplification module (111a-2), and an ADC module (111a-3).

보다 구체적으로 상기 노이즈제거모듈(111a-1)은 뇌파신호에 포함될 수 있는 노이즈를 제거하여 그 신뢰성을 향상시키기 위한 것으로, 상기 뇌파센서(113)가 취득한 뇌파를 밴드패스필터를 이용하여 유효구간 범위로 필터하고, 사용자의 목과 얼굴의 움직임으로 인하여 발생된 근전도 노이즈가 기 설정된 기준을 초과하여 뇌파신호 정보에 혼합되는 경우 해당 시간의 뇌파신호 정보 전체를 노이즈로 취급하여 삭제하고, 상기 사용자의 움직임으로 인해 상기 뇌파센서(113)가 일시적으로 탈착되거나 접촉이 불량한 경우, 일시적 탈착으로 해석하여 해당 시간의 뇌파신호 정보 전체를 노이즈로 취급하여 삭제한다.More specifically, the noise removal module (111a-1) is intended to improve reliability by removing noise that may be included in the brainwave signal. It filters the brainwave acquired by the brainwave sensor (113) into an effective range using a bandpass filter. If electromyography noise generated by the user's neck and face movements exceeds a preset standard and is mixed into the brainwave signal information, the entire brainwave signal information for that time is treated as noise and deleted. Additionally, if the brainwave sensor (113) is temporarily detached or has poor contact due to the user's movement, it is interpreted as temporary detachment, and the entire brainwave signal information for that time is treated as noise and deleted.

그리고 상기 노이즈제거모듈(111a-1)을 통해 노이즈가 제거된 뇌파신호는 증폭모듈(111a-2)을 통해 증폭된 후 ADC 모듈(Analog Digital Converter, 111a-3)을 통해 디지털 뇌파신호로 변환하여 뇌파신호 수신부(120)로 송신한다.Then, the brainwave signal from which noise has been removed through the noise removal module (111a-1) is amplified through the amplification module (111a-2) and then converted into a digital brainwave signal through the ADC module (Analog Digital Converter, 111a-3) and transmitted to the brainwave signal receiving unit (120).

한편 상기 바디부(111)는 피부 접촉방향으로 실리콘 소재의 패드가 부착되어 착용감을 향상시킨다.Meanwhile, the above body part (111) has a silicone pad attached in the direction of skin contact to improve the wearing comfort.

이때, 상기 뇌파 측정수단(110)의 장시간 착용 시 땀 등에 의해 착용 위치가 벗어나거나 또는 불쾌감이 생길 수 있으므로 통기성을 부여할 필요가 있다.At this time, when the above-mentioned brainwave measuring means (110) is worn for a long time, the wearing position may shift or discomfort may occur due to sweat, etc., so it is necessary to provide breathability.

따라서 상기 피부 접촉방향으로 실리콘 소재의 패드의 표면에는 돌기(111b) 및 공기유동로(111c)가 교차로 병용되어 형성됨으로써 공기 유동을 통해 착용 시 쾌적성을 향상시킨다.Accordingly, protrusions (111b) and air flow paths (111c) are formed in an alternating manner on the surface of the silicone pad in the direction of skin contact, thereby improving comfort during wear through air flow.

이를 위해 상기 돌기(111b)는 높이(L)가 1 ~ 5mm로 형성되는 것이 바람직하며, 높이(L)가 1mm 미만일 경우 통기성 부여 효과가 미비해질 우려가 있으며, 5mm를 초과할 경우 오히려 착용감을 저하시킬 우려가 있다.To this end, it is preferable that the above-mentioned protrusion (111b) be formed with a height (L) of 1 to 5 mm. If the height (L) is less than 1 mm, there is a concern that the breathability effect may be insufficient, and if it exceeds 5 mm, there is a concern that the wearing comfort may be reduced.

한편, 상기 돌기(111b)의 내부에는 복수의 공기셀(111b-1)이 형성됨으로써 돌기(111b)의 경도를 물리적으로 낮출 수 있으며, 이로 인해 착용감을 더욱 향상시킬 수 있다.Meanwhile, a plurality of air cells (111b-1) are formed inside the above-mentioned protrusion (111b), thereby physically lowering the hardness of the protrusion (111b) and further improving the wearing comfort.

여기서 상기 공기셀(111b-1)의 형성을 위해 실리콘 수지 100 중량부에 대하여 가교제인 디큐밀퍼옥사이드(dicumylperoxide)와 발포제인 아조디카본아미드(azodicarbonamide)를 각각 1 ~ 4 중량부 첨가할 수 있으며, 상기 함량을 벗어날 경우 발포효율이 저하되어 공기셀(111b-1)이 제대로 형성되지 못할 우려가 있다.Here, to form the air cell (111b-1), 1 to 4 parts by weight of dicumyl peroxide, a crosslinking agent, and azodicarbonamide, a foaming agent, can be added to 100 parts by weight of silicone resin, respectively. If the above content is exceeded, the foaming efficiency may decrease, and there is a concern that the air cell (111b-1) may not be properly formed.

상기 상태 판단부(200)는 상기 뇌파신호 측정부(100)에서 측정된 뇌파신호를 전달받고, 전달받은 뇌파신호를 기반으로 사용자의 인지능력을 판단하는 것으로 제2 통신부(210), 판단부(220) 및 제3 통신부(230)를 포함하며, 보다 구체적으로 상기 제1 통신부(150)와 통신하는 제2 통신부(210)를 통해 뇌파신호를 수신받고, 상기 수신되는 뇌파신호를 기반으로 판단부(220)에서 사용자의 인지능력을 판단하며, 상기 판단부(220)에서 판단된 사용자 인지능력 정보를 상기 건강관리 서버(300)와 통신하는 제3 통신부(230)를 통해 건강관리 서버(300)로 제공한다.The above state determination unit (200) receives a brainwave signal measured by the brainwave signal measurement unit (100) and determines the user's cognitive ability based on the received brainwave signal, and includes a second communication unit (210), a determination unit (220), and a third communication unit (230). More specifically, it receives a brainwave signal through the second communication unit (210) which communicates with the first communication unit (150), determines the user's cognitive ability in the determination unit (220) based on the received brainwave signal, and provides the user cognitive ability information determined by the determination unit (220) to the health management server (300) through the third communication unit (230) which communicates with the health management server (300).

한편, 상기 판단부(220)는, 학습모듈(221) 및 판단모듈(222)을 통해 사용자의 인지능력을 판단하며, 보다 구체적으로 일정 기간동안 상기 뇌파신호 측정부(100)가 측정한 뇌파신호 정보를 저장하고 학습모듈(221)을 통해 학습한 후, 상기 학습모듈(221)이 학습한 뇌파신호 정보와 상기 뇌파신호 측정부(100)에서 실시간 생성되는 뇌파신호 정보를 판단모듈(222)에서 대조하여 사용자의 인지능력을 판단한다.Meanwhile, the judgment unit (220) determines the user's cognitive ability through the learning module (221) and the judgment module (222). More specifically, it stores brainwave signal information measured by the brainwave signal measuring unit (100) for a certain period and learns through the learning module (221), and then compares the brainwave signal information learned by the learning module (221) with the brainwave signal information generated in real time by the brainwave signal measuring unit (100) in the judgment module (222) to determine the user's cognitive ability.

그리고 상기 판단모듈(222)은, 뇌파신호 데이터 저장부(222-1), 변화값 산출부(222-2) 및 상태 도출부(222-3)를 포함하는데, 보다 구체적으로 상기 학습된 뇌파신호 정보와 실시간 생성되는 뇌파신호 정보를 뇌파신호 데이터 저장부(222-1)를 통해 저장하고, 상기 학습된 뇌파신호 정보에 실시간 생성되는 뇌파신호 정보를 변화값 산출부(222-2)에서 대입하여 변화값을 산출한 후, 상기 변화값을 기 학습된 상태 분류정보에 대입하여 상태 도출부(222-3)에서 사용자의 인지능력을 등급별로 판단한다.The above judgment module (222) includes a brainwave signal data storage unit (222-1), a change value calculation unit (222-2), and a state derivation unit (222-3). More specifically, the learned brainwave signal information and the real-time generated brainwave signal information are stored through the brainwave signal data storage unit (222-1), and the real-time generated brainwave signal information is substituted into the learned brainwave signal information in the change value calculation unit (222-2) to calculate a change value. Then, the change value is substituted into the previously learned state classification information to determine the user's cognitive ability by grade in the state derivation unit (222-3).

여기서, 상기 분류정보는 변화값에 따라, 변화값의 범위가 A일 경우 A 상태로 분류하여 상태를 판단하도록 미리 학습된 정보로써 예를 들면, 변화값이 5일 경우 '사용자 인지능력 B등급' 등의 상태를 분류한 정보를 의미한다.Here, the classification information is information that is pre-learned to classify a state into A state when the range of the change value is A according to the change value, for example, when the change value is 5, it refers to information that classifies a state such as 'user cognitive ability grade B'.

한편, 상기 학습모듈(221)과 판단모듈(222)은 공지된 인공지능(Artificial Intelligence, AI) 모듈의 사용이 가능하다. 즉, 상기 각종 센서와 인공지능 모듈의 융합을 통해 AIoT(Artificial Intelligence of Things) 기반 시스템의 구축이 가능하다.Meanwhile, the learning module (221) and the judgment module (222) can use known Artificial Intelligence (AI) modules. That is, it is possible to build an AIoT (Artificial Intelligence of Things) based system through the fusion of the various sensors and the AI modules.

여기서, 상기 인공지능 모듈은 GAP(Global Average Pooling) 레이어에 Inception 모듈을 포함한 CNN(Convolutional Neural Networks) 모델일 수 있다.Here, the artificial intelligence module may be a CNN (Convolutional Neural Networks) model that includes an Inception module in a GAP (Global Average Pooling) layer.

인공지능 모듈은 딥러닝을 통하여 복수 개의 입력들의 가중치(weight)를 학습을 통하여 원하는 데이터를 산출할 수 있다. 또한, 이러한 학습을 위하여 활용되는 인공지능망 모델로는 RNN(Recurrent Neural Network), DNN(Deep Neural Network) 및 DRNN(Dynamic Recurrent Neural Network) 등 다양한 모델들을 활용할 수 있을 것이다. The artificial intelligence module can produce desired data by learning the weights of multiple inputs through deep learning. In addition, various models such as RNN (Recurrent Neural Network), DNN (Deep Neural Network), and DRNN (Dynamic Recurrent Neural Network) can be utilized as artificial intelligence network models for this learning.

여기서 RNN은 현재의 데이터와 과거의 데이터를 동시에 고려하는 딥러닝 기법으로서, 순환 신경망(RNN)은 인공 신경망을 구성하는 유닛 사이의 연결이 방향성 사이클(directed cycle)을 구성하는 신경망을 나타낸다. 나아가, 순환 신경망(RNN)을 구성할 수 있는 구조에는 다양한 방식이 사용될 수 있는데, 예컨대, 완전순환망(Fully Recurrent Network), 홉필드망(Hopfield Network), 엘만망(Elman Network), ESN(Echo state network), LSTM(Long short term memory network), 양방향(Bi-directional) RNN, CTRNN(Continuous-time RNN), 계층적 RNN, 2차 RNN 등이 대표적인 예이다. 또한, 순환 신경망(RNN)을 학습시키기 위한 방법으로서, 경사 하강법, Hessian Free Optimization, Global Optimization Method 등의 방식이 사용될 수 있다.Here, RNN is a deep learning technique that considers current and past data simultaneously, and a Recurrent Neural Network (RNN) represents a neural network in which the connections between units constituting the artificial neural network form a directed cycle. Furthermore, various methods can be used for structures that can construct a Recurrent Neural Network (RNN); for example, representative examples include the Fully Recurrent Network, Hopfield Network, Elman Network, Echo State Network (ESN), Long Short-Term Memory Network (LSTM), Bi-directional RNN, Continuous-Time RNN (CTRNN), Hierarchical RNN, and Second-Order RNN. Additionally, methods such as Gradient Descent, Hessian Free Optimization, and Global Optimization Method can be used to train the Recurrent Neural Network (RNN).

또한, 일반적인 CNN은 처리속도나 연산량이 많다는 문제점이 있다. 본 발명에서는 즉각적인 추가 데이터를 통해 반복적인 연산이 필요한바 이보다 가벼운 알고리즘이 필요하다. 따라서, CNN 모델에는 GAP(Global Average Pooling)레이어와 Inception 모듈이 적용될 수 있다. 일반적으로 CNN에는 많은 convolution layer를 쌓기 때문에 필터의 수가 많다. 필터가 많다는 것은 그만큼 feature map들이 쌓이게 된다는 뜻이다. 즉, CNN의 차원이 매우 크다는 뜻이다.Furthermore, conventional CNNs suffer from the problem of high processing speed and computational load. Since the present invention requires iterative computation using immediate additional data, a lighter algorithm is necessary. Therefore, Global Average Pooling (GAP) layers and Inception modules can be applied to the CNN model. Generally, CNNs stack many convolution layers, resulting in a large number of filters. A large number of filters implies that feature maps accumulate accordingly. In other words, it means that the dimensionality of the CNN is very high.

높은 차원을 다루려면 그 차원을 다룰 수 있는 많은수의 파라미터들을 필요로 한다. 하지만 파라미터가 너무 많아지면 학습 시 over fitting이 발생할 수 있는 문제가 발생하곤 한다. 따라서 필터에 사용된 파라미터 수를 줄여서 차원을 감소시킬 방법이 필요하다. 이런 역할을 CNN에서 해 주는 레이어가 pooling layer이다.Handling high dimensions requires a large number of parameters capable of handling them. However, if the number of parameters becomes too large, problems such as overfitting can occur during training. Therefore, a method is needed to reduce dimensionality by decreasing the number of parameters used in the filters. The layer in CNNs that performs this role is the pooling layer.

이때, GAP는 각각의 feature에서 대표값(average)을 추출해 바로 classification단으로 옮기면서 이런 문제를 해결한다. 결과적으로 이전 feature map들이 가지고 있는 spatial information을 유지하면서 category로 직접 연관시키는 역할을 하기 때문에 얻어낸 feature map 중 어느 부분이 해당 class로 분류되는데 주요한 역할을 했는지를 알 수 있는 confidence map(= feature map)을 얻어낼 수 있다. 별도의 parameter optimization을 필요로 하지 않기 때문에 연산량이 적을 뿐 아니라, over-fitting 문제도 차단할 수 있다는 장점이 있다.In this case, GAP solves this problem by extracting the average from each feature and moving it directly to the classification layer. Consequently, because it directly associates features with categories while preserving the spatial information of the previous feature maps, it can generate a confidence map (= feature map) that indicates which parts of the obtained feature maps played a major role in classifying them into a specific class. Since it does not require separate parameter optimization, it has the advantage of low computational load and the ability to prevent overfitting.

Inception 구조는 신경망 내부에 작은 신경망을 추가한 형태로써, 내부의 작은 신경망을 Inception 모듈이라 한다. Inception 모듈은 1x1 컨볼루션을 통하여 feature map을 줄일 수 있어, 처리속도나 연산량 측면에서 효과적인 특징이 있다.The Inception architecture is a form in which a small neural network is added inside a neural network, and the small neural network inside is called the Inception module. The Inception module can reduce the feature map through 1x1 convolution, making it effective in terms of processing speed and computational load.

이에 따라 상기 인공지능모듈은, GAP(Global Average Pooling) 레이어에 Inception 모듈을 포함한 CNN 모델이 적용될 수 있다.Accordingly, the above artificial intelligence module may apply a CNN model including an Inception module to the GAP (Global Average Pooling) layer.

아울러, 상기 또는 후술되어질 각 통신부는 블루투스(Bluetooth), 지그비(ZigBee), UWB(Ultra WideBand) 또는 Wi-Fi를 적용할 수 있다.In addition, each communication unit described above or below may utilize Bluetooth, ZigBee, Ultra WideBand (UWB), or Wi-Fi.

상기 건강관리 서버(300)는 상기 상태 판단부(200)에서 판단된 정보를 기반으로 인지장애 재활 콘텐츠를 생성하고, 이를 사용자 단말기(160)로 제공하는 수단으로, 제4 통신부(310), 콘텐츠 생성부(320) 및 제5 통신부(330)를 포함하며, 보다 구체적으로 The above health management server (300) is a means for generating cognitive impairment rehabilitation content based on information determined by the state determination unit (200) and providing it to a user terminal (160), and includes a fourth communication unit (310), a content generation unit (320), and a fifth communication unit (330), more specifically

상기 상태 판단부(200)의 제3 통신부(230)와 통신하는 제4 통신부(310)에서 상기 상태 판단부(200)에서 판단된 사용자 인지능력 정보를 수신하고, 상기 수신된 인지능력 정보를 기반으로, 기분류된 상태 정보별 콘텐츠 생성 분류 정보에 따라 콘텐츠 생성부(320)에서 인지장애 재활 콘텐츠를 생성하며, 제5 통신부(330)를 통해 상기 생성된 인지장애 재활 콘텐츠를 사용자 단말기(160)로 제공한다.A fourth communication unit (310) communicating with a third communication unit (230) of the above-mentioned state determination unit (200) receives user cognitive ability information determined by the state determination unit (200), and based on the received cognitive ability information, a content creation unit (320) creates cognitive impairment rehabilitation content according to the content creation classification information for each classified state information, and provides the created cognitive impairment rehabilitation content to a user terminal (160) through a fifth communication unit (330).

여기서, 기분류된 상태 정보별 콘텐츠 생성 분류 정보는 상태 정보에 따라, A 상태일 경우 A 난이도의 A 콘텐츠 를 표시하도록 하는 것으로 예를 들면 상태 정보가 '사용자 인지능력 B등급'일 경우 '5 난이도의 공간지각력 향상 콘텐츠'를 생성 및 제공하도록 분류한 정보를 의미한다.Here, the content creation classification information based on the classified state information means information classified to display content of difficulty level A when the state is A according to the state information, for example, to create and provide 'spatial perception enhancement content of difficulty level 5' when the state information is 'user cognitive ability grade B'.

이를 위해 상기 인지장애 재활 콘텐츠는, 상기 콘텐츠 생성부(320)에 기저장된 공간지각력 향상 콘텐츠, 기억력 향상 콘텐츠, 주의력 향상 콘텐츠, 연상 능력 향상 콘텐츠, 수리력 향상 콘텐츠 및 그림 그리기 콘텐츠를 포함하며, 상기 각 콘텐츠는 상기 인지능력 등급별로 복수의 난이도를 가진다.To this end, the cognitive impairment rehabilitation content includes spatial perception enhancement content, memory enhancement content, attention enhancement content, association ability enhancement content, numerical ability enhancement content, and drawing content stored in the content generation unit (320), and each of the content has multiple difficulty levels according to the cognitive ability grade.

즉, 본 발명은 상기와 같이 개인별 생체신호를 기반으로 개인별 인지능력 장애 정도와 등급을 파악하고 이에 대응하는 개인별 맞춤형 인지장애 재활 콘텐츠를 제공함으로써, 종래 획일적인 교육방식에서 벗어나 개인별 최적화된 맞춤형 콘텐츠를 제공할 수 있으며, 이로 인해 인지장애 재활 콘텐츠에 대한 흥미와 몰입도 향상시킬 뿐만 아니라 인지기능 재활 효율을 더욱 향상시킬 수 있는 것이다.In other words, the present invention identifies the degree and grade of individual cognitive impairment based on individual biosignals as described above and provides personalized cognitive impairment rehabilitation content corresponding thereto, thereby moving away from conventional uniform educational methods and providing personalized content optimized for each individual. As a result, it is possible to not only improve interest and immersion in cognitive impairment rehabilitation content but also further enhance the efficiency of cognitive function rehabilitation.

본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이다.The present invention is not limited to the embodiments described above and has a diverse scope of application. Furthermore, it is understood that anyone with ordinary knowledge in the field to which the present invention pertains can make various modifications without departing from the essence of the invention as claimed in the claims.

100 : 뇌파신호 측정부
110 : 뇌파 측정수단
111 : 바디부
111a : 제어부
111a-1 : 노이즈제거모듈
111a-2 : 증폭모듈
111a-3 : ADC 모듈
111b : 돌기
111b-1 : 공기셀
111c : 공기유동로
112 : 밴드체결부
113 : 뇌파센서
120 : 뇌파신호 수신부
130 : 뇌파신호 처리부
140 : 뇌파신호 저장부
150 : 제1 통신부
160 : 사용자 단말기
200 : 상태 판단부
210 : 제2 통신부
220 : 판단부
221 : 학습모듈
222 : 판단모듈
222-1 : 뇌파신호 데이터 저장부
222-2 : 변화값 산출부
222-3 : 상태 도출부
230 : 제3 통신부
300 : 건강관리 서버
310 : 제4 통신부
320 : 콘텐츠 생성부
330 : 제5 통신부
100 : Brainwave signal measurement unit
110: Brainwave measuring means
111 : Body
111a : Control unit
111a-1 : Noise removal module
111a-2 : Amplification Module
111a-3: ADC Module
111b : projection
111b-1 : Air cell
111c: Air flow path
112 : Band fastening part
113 : Brainwave sensor
120 : Brainwave signal receiver
130 : Brainwave signal processing unit
140 : Brainwave signal storage unit
150 : 1st Communications Unit
160 : User terminal
200 : State determination unit
210 : 2nd Communications Unit
220 : Judgment section
221 : Learning Module
222 : Judgment Module
222-1 : Brainwave signal data storage unit
222-2 : Change Value Calculation Unit
222-3 : State Derivation Section
230 : 3rd Communications Division
300 : Health Management Server
310: 4th Communications Division
320 : Content Creation Section
330 : 5th Communications Division

Claims (7)

사용자의 뇌파신호를 측정하는 뇌파신호 측정부(100);
상기 뇌파신호 측정부(100)에서 측정된 뇌파신호를 전달받고, 전달받은 뇌파신호를 기반으로 사용자의 인지능력을 판단하는 상태 판단부(200); 및
상기 상태 판단부(200)에서 판단된 정보를 기반으로 인지장애 재활 콘텐츠를 생성하고, 이를 사용자 단말기(160)로 제공하는 건강관리 서버(300);를 포함하되,
상기 뇌파신호 측정부(100)는,
사용자의 뇌파신호를 측정하는 뇌파 측정수단(110);
상기 뇌파 측정수단(110)에서 뇌파신호를 수신받는 뇌파신호 수신부(120);
상기 뇌파신호 수신부(120)에서 수신된 뇌파신호를 뇌파신호 저장부(140)로 공급하는 뇌파신호 처리부(130);
상기 뇌파신호 처리부(130)에서 공급된 뇌파신호를 수신 후 데이터화하여 저장하는 뇌파신호 저장부(140); 및
상기 상태 판단부(200)와 통신하고 상기 뇌파신호 저장부(140)에 저장된 뇌파신호를 상태 판단부(200)로 제공하는 제1 통신부(150);를 포함하고,
상기 상태 판단부(200)는,
상기 제1 통신부(150)와 통신하고 뇌파신호를 수신받는 제2 통신부(210);
상기 수신되는 뇌파신호를 기반으로 사용자의 인지능력을 판단하는 판단부(220); 및
상기 건강관리 서버(300)와 통신하고 상기 판단부(220)에서 판단된 사용자 인지능력 정보를 건강관리 서버(300)로 제공하는 제3 통신부(230);를 포함하며,
상기 건강관리 서버(300)는,
상기 상태 판단부(200)의 제3 통신부(230)와 통신하고 상기 상태 판단부(200)에서 판단된 사용자 인지능력 정보를 수신하는 제4 통신부(310);
상기 수신된 인지능력 정보를 기반으로, 기분류된 상태 정보별 콘텐츠 생성 분류 정보에 따라 인지장애 재활 콘텐츠를 생성하는 콘텐츠 생성부(320); 및
상기 생성된 인지장애 재활 콘텐츠를 사용자 단말기(160)로 제공하는 제5 통신부(330);를 포함하며,
상기 뇌파 측정수단(110)은,
사용자의 이마에 접촉되도록 반원형으로 형성된 바디부(111);
상기 바디부(111) 양측 구비되어, 바디부(111)를 머리에 고정하기 위한 밴드부재를 체결시킬 수 있도록 하는 밴드체결부(112); 및
상기 바디부(111) 내측의 이마 접촉부위에 일렬 등간격으로 복수개가 부착되는 뇌파센서(113);를 포함하고,
상기 판단부(220)는,
일정 기간동안 상기 뇌파신호 측정부(100)가 측정한 뇌파신호 정보를 저장하고 학습하는 학습모듈(221); 및
상기 학습모듈(221)이 학습한 뇌파신호 정보와 상기 뇌파신호 측정부(100)에서 실시간 생성되는 뇌파신호 정보를 대조하여 사용자의 인지능력을 판단하는 판단모듈(222);를 포함하며,
상기 판단모듈(222)은,
학습된 뇌파신호 정보와 실시간 생성되는 뇌파신호 정보가 저장되는 뇌파신호 데이터 저장부(222-1);
상기 학습된 뇌파신호 정보에 실시간 생성되는 뇌파신호 정보를 대입하여 변화값을 산출하는 변화값 산출부(222-2); 및
상기 변화값을 기 학습된 상태 분류정보에 대입하여 사용자의 인지능력을 등급별로 판단하는 상태 도출부(222-3);를 포함하고,
상기 인지장애 재활 콘텐츠는,
상기 콘텐츠 생성부(320)에 기저장된 공간지각력 향상 콘텐츠, 기억력 향상 콘텐츠, 주의력 향상 콘텐츠, 연상 능력 향상 콘텐츠, 수리력 향상 콘텐츠 및 그림 그리기 콘텐츠를 포함하며,
상기 각 콘텐츠는 인지능력 등급별로 복수의 난이도를 가지고,
상기 뇌파 측정수단(110)은,
상기 바디부(111)의 내부에 상기 뇌파센서(113)가 센싱한 신호를 뇌파신호 수신부(120)로 송신하는 제어부(111a)가 구비되며,
상기 제어부(111a)는,
상기 뇌파센서(113)가 취득한 뇌파신호를 밴드패스필터를 이용하여 유효구간 범위로 필터하고, 사용자의 목과 얼굴의 움직임으로 인하여 발생된 근전도 노이즈가 기 설정된 기준을 초과하여 뇌파신호 정보에 혼합되는 경우 해당 시간의 뇌파신호 정보 전체를 노이즈로 취급하여 삭제하고, 상기 사용자의 움직임으로 인해 상기 뇌파센서(113)가 일시적으로 탈착되거나 접촉이 불량한 경우, 일시적 탈착으로 해석하여 해당 시간의 뇌파신호 정보 전체를 노이즈로 취급하여 삭제하는 노이즈제거모듈(111a-1);
노이즈제거모듈(111a-1)을 통해 노이즈가 제거된 뇌파신호를 증폭하는 증폭모듈(111a-2); 및
상기 증폭모듈(111a-2)을 통해 증폭된 뇌파신호를 디지털 뇌파신호로 변환하는 ADC 모듈(111a-3);을 포함하고,
상기 바디부(111)는
피부 접촉방향으로 실리콘 소재의 패드가 부착되되,
상기 패드에는 피부 접촉방향으로 돌기(111b) 및 공기유동로(111c)가 교차로 병용되어 형성되고,
상기 돌기(111b)는 높이(L)가 1 ~ 5mm로 형성되며,
상기 돌기(111b)의 내부에는 복수의 공기셀(111b-1)이 형성되는 것을 특징으로 하는, 인지장애 재활 콘텐츠 기반 건강 관리시스템.
A brainwave signal measuring unit (100) that measures the user's brainwave signal;
A state determination unit (200) that receives a brainwave signal measured by the brainwave signal measurement unit (100) and determines the user's cognitive ability based on the received brainwave signal; and
A health management server (300) that generates cognitive impairment rehabilitation content based on information determined by the above-mentioned state determination unit (200) and provides it to a user terminal (160); wherein
The above brainwave signal measuring unit (100) is,
Brainwave measuring means (110) for measuring the user's brainwave signal;
A brainwave signal receiving unit (120) that receives a brainwave signal from the above brainwave measuring means (110);
A brainwave signal processing unit (130) that supplies the brainwave signal received from the brainwave signal receiving unit (120) to the brainwave signal storage unit (140);
A brainwave signal storage unit (140) that receives a brainwave signal supplied from the brainwave signal processing unit (130), converts it into data, and stores it; and
A first communication unit (150) that communicates with the above-mentioned state determination unit (200) and provides the brainwave signal stored in the above-mentioned brainwave signal storage unit (140) to the state determination unit (200);
The above state determination unit (200) is,
A second communication unit (210) that communicates with the first communication unit (150) and receives brainwave signals;
A judgment unit (220) that determines the user's cognitive ability based on the received brainwave signal; and
It includes a third communication unit (230) that communicates with the health management server (300) and provides user cognitive ability information determined by the judgment unit (220) to the health management server (300).
The above health management server (300) is,
A fourth communication unit (310) that communicates with the third communication unit (230) of the above-mentioned state determination unit (200) and receives user cognitive ability information determined by the above-mentioned state determination unit (200);
A content generation unit (320) that generates cognitive impairment rehabilitation content based on the received cognitive ability information and according to the content generation classification information for each previously classified state information; and
It includes a fifth communication unit (330) that provides the above-mentioned cognitive impairment rehabilitation content to a user terminal (160);
The above brainwave measuring means (110) is,
A body part (111) formed in a semicircular shape to contact the user's forehead;
A band fastening portion (112) provided on both sides of the body portion (111) to allow a band member to be fastened for fixing the body portion (111) to the head; and
It includes a plurality of brainwave sensors (113) attached at equal intervals in a row to the forehead contact area on the inner side of the body part (111), and
The above judgment unit (220) is,
A learning module (221) that stores and learns brainwave signal information measured by the brainwave signal measuring unit (100) for a certain period; and
It includes a judgment module (222) that determines the user's cognitive ability by comparing the brainwave signal information learned by the learning module (221) with the brainwave signal information generated in real time by the brainwave signal measurement unit (100).
The above judgment module (222) is,
Brainwave signal data storage unit (222-1) that stores learned brainwave signal information and real-time generated brainwave signal information;
A change value calculation unit (222-2) that calculates a change value by substituting real-time generated brainwave signal information into the above-mentioned learned brainwave signal information; and
It includes a state derivation unit (222-3) that determines the user's cognitive ability by grade by applying the above change value to pre-learned state classification information, and
The above cognitive impairment rehabilitation content is,
It includes spatial perception enhancement content, memory enhancement content, attention enhancement content, association ability enhancement content, numerical ability enhancement content and drawing content stored in the above-mentioned content generation unit (320), and
Each of the above contents has multiple difficulty levels according to cognitive ability grades, and
The above brainwave measuring means (110) is,
A control unit (111a) is provided inside the body part (111) to transmit the signal sensed by the brainwave sensor (113) to the brainwave signal receiving unit (120).
The above control unit (111a) is,
A noise removal module (111a-1) that filters the brainwave signal acquired by the brainwave sensor (113) into an effective range using a bandpass filter, and if electromyography noise generated by the user's neck and face movement exceeds a preset standard and is mixed into the brainwave signal information, treats the entire brainwave signal information for that time as noise and deletes it, and if the brainwave sensor (113) is temporarily detached or has poor contact due to the user's movement, interprets it as temporary detachment and treats the entire brainwave signal information for that time as noise and deletes it;
An amplification module (111a-2) that amplifies the brainwave signal from which noise has been removed through the noise removal module (111a-1); and
It includes an ADC module (111a-3) that converts the brainwave signal amplified through the amplification module (111a-2) into a digital brainwave signal; and
The above body part (111)
A silicone pad is attached in the direction of skin contact,
On the pad above, protrusions (111b) and air flow paths (111c) are formed in an alternating manner in the direction of skin contact, and
The above-mentioned protrusion (111b) is formed with a height (L) of 1 to 5 mm, and
A health management system based on cognitive impairment rehabilitation content, characterized in that a plurality of air cells (111b-1) are formed inside the above-mentioned protrusion (111b).
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020230192808A 2023-12-27 2023-12-27 Rehabilitation contents for cognitive impairment based on health care system Active KR102991663B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230192808A KR102991663B1 (en) 2023-12-27 2023-12-27 Rehabilitation contents for cognitive impairment based on health care system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230192808A KR102991663B1 (en) 2023-12-27 2023-12-27 Rehabilitation contents for cognitive impairment based on health care system

Publications (2)

Publication Number Publication Date
KR20250101305A KR20250101305A (en) 2025-07-04
KR102991663B1 true KR102991663B1 (en) 2026-07-15

Family

ID=96389473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230192808A Active KR102991663B1 (en) 2023-12-27 2023-12-27 Rehabilitation contents for cognitive impairment based on health care system

Country Status (1)

Country Link
KR (1) KR102991663B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102210908B1 (en) * 2017-10-17 2021-02-03 주식회사 네오펙트 Method, apparatus and computer program for providing cognitive training
KR102257291B1 (en) * 2018-09-14 2021-05-28 주식회사 아이메디신 Cognitive impairment discrimination method and computer program
KR102271378B1 (en) * 2020-01-07 2021-06-29 재단법인 대구경북첨단의료산업진흥재단 Method, Apparatus and System Improvement of Cognitive Function Using Head Mount Display
KR102492368B1 (en) * 2020-10-22 2023-01-27 주식회사 하이 digital cognitive reinforcement training apparatus for reinforcing cognitive reserve ability and method therefor
KR102502269B1 (en) * 2021-07-02 2023-02-23 주식회사 에스알파테라퓨틱스 Digital Devices and Applications for the Treatment of Mild Cognitive Impairment and Dementia

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102106399B1 (en) 2017-12-20 2020-05-04 대구보건대학교산학협력단 Evaluation and training method for high-patient with dementia and mild cognitive impairment using motion recognition and virtual reality

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102210908B1 (en) * 2017-10-17 2021-02-03 주식회사 네오펙트 Method, apparatus and computer program for providing cognitive training
KR102257291B1 (en) * 2018-09-14 2021-05-28 주식회사 아이메디신 Cognitive impairment discrimination method and computer program
KR102271378B1 (en) * 2020-01-07 2021-06-29 재단법인 대구경북첨단의료산업진흥재단 Method, Apparatus and System Improvement of Cognitive Function Using Head Mount Display
KR102492368B1 (en) * 2020-10-22 2023-01-27 주식회사 하이 digital cognitive reinforcement training apparatus for reinforcing cognitive reserve ability and method therefor
KR102502269B1 (en) * 2021-07-02 2023-02-23 주식회사 에스알파테라퓨틱스 Digital Devices and Applications for the Treatment of Mild Cognitive Impairment and Dementia

Also Published As

Publication number Publication date
KR20250101305A (en) 2025-07-04

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

Q12 Application published

Free format text: ST27 STATUS EVENT CODE: A-1-1-Q10-Q12-NAP-PG1501 (AS PROVIDED BY THE NATIONAL OFFICE)

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-3-3-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D21 Rejection of application intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D21-EXM-PE0902 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13 Pre-grant limitation requested

Free format text: ST27 STATUS EVENT CODE: A-2-3-E10-E13-LIM-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11 Amendment of application requested

Free format text: ST27 STATUS EVENT CODE: A-2-2-P10-P11-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

D22 Grant of ip right intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D22-EXM-PE0701 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

Q13 Ip right document published

Free format text: ST27 STATUS EVENT CODE: A-4-4-Q10-Q13-NAP-PG1601 (AS PROVIDED BY THE NATIONAL OFFICE)

P14 Amendment of ip right document requested

Free format text: ST27 STATUS EVENT CODE: A-5-5-P10-P14-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000