KR102014176B1 - 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템 - Google Patents

행동모방학습 기반의 뇌 훈련 시뮬레이션시스템 Download PDF

Info

Publication number
KR102014176B1
KR102014176B1 KR1020170046691A KR20170046691A KR102014176B1 KR 102014176 B1 KR102014176 B1 KR 102014176B1 KR 1020170046691 A KR1020170046691 A KR 1020170046691A KR 20170046691 A KR20170046691 A KR 20170046691A KR 102014176 B1 KR102014176 B1 KR 102014176B1
Authority
KR
South Korea
Prior art keywords
user
rehabilitation
training
intention
rehabilitation training
Prior art date
Application number
KR1020170046691A
Other languages
English (en)
Other versions
KR20180114692A (ko
Inventor
안진웅
진상현
이승현
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020170046691A priority Critical patent/KR102014176B1/ko
Priority to US16/500,955 priority patent/US20200135042A1/en
Priority to PCT/IB2018/052223 priority patent/WO2018189614A1/ko
Publication of KR20180114692A publication Critical patent/KR20180114692A/ko
Application granted granted Critical
Publication of KR102014176B1 publication Critical patent/KR102014176B1/ko
Priority to US18/446,885 priority patent/US20240062671A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • A61B5/04012—
    • A61B5/0476—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4866—Evaluating metabolism
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass

Abstract

사용자의 동작 의도를 뇌 신호를 이용하여 인식하고, 인식된 연속적인 동작 의도에 따라 재활 훈련기를 동작시키며, 뉴로피드백을 통해 자극에 따른 동기 유발로 재활 훈련을 극대화할 수 있도록 한 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템에 관한 것으로서, 측정한 뇌 신호 데이터를 기초로 사용자의 동작 의도를 인식하는 사용자 동작의도 해독부, 인식한 사용자 동작 의도에 따라 재활 훈련기를 동작시키고, 재활 훈련 콘텐츠를 제시하는 사용자 의도 표현부, 제시한 재활 훈련 콘텐츠에 따라 뇌 활성을 유도하기 위한 뉴로 피드백을 제시하는 재활 훈련 상태 피드백부, 재활 훈련 상태 모니터링부, 모니터링된 훈련상태 정보를 분석하여 훈련 상태 평가를 위한 판단정보로 제공해주는 사용자 분석부, 사용자 훈련 상태 정보와 치료사가 실시간으로 재활 훈련 상태 모니터링부를 통해 분석한 결과를 환자군 또는 정상인의 재활훈련 데이터베이스에 저장하고, 재활 훈련 모드의 변경을 위한 피드백을 제시하는 훈련상태 평가부, 뉴로 피드백 정보를 기초로 재활 훈련 모드를 결정하여 재활 훈련기를 동작시키는 재활 훈련 모드 결정부를 포함하여, 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템을 구현한다.

Description

행동모방학습 기반의 뇌 훈련 시뮬레이션시스템{Brain training simulation system based on behavior modeling}
본 발명은 행동모방학습(behavior modeling) 기반의 뇌 훈련 시뮬레이션시스템에 관한 것으로, 특히 사용자의 동작 의도를 뇌 신호를 이용하여 인식하고, 인식된 동작 의도에 따라 재활 훈련기를 동작시키며, 뉴로피드백(neurofeedback)을 통해 자극에 따른 동기 유발로 재활 훈련을 극대화할 수 있도록 한 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템에 관한 것이다.
재활 치료란, 질병, 사고 또는 재해 등으로 인하여 신체 부위에 손상을 입거나 심한 수술을 받고 회복기에 접어든 환자가 손상 부위 또는 기능이 약화된 부위의 기능적 회복을 위하여 수행하는 일련의 처치 과정을 의미한다.
일반적인 재활 치료는 치료사, 로봇 또는 전기 자극기 등에 의하여 실시되고 있어, 환자에게 일방적이고 수동적으로 실시되는 것이 일반적이며, 단순 반복의 재활운동 치료인 상향식(bottom-up) 방식을 이용한다.
재활 치료 기술은 최근 급격히 발전하고 있으며, 현재 임상으로 전환되는 과도기에 있다. 뇌질환 환자나 장애인의 신체장애를 제거하기 위해서는 궁극적으로 물리치료에 관한 연구와 뇌 가소성 치료에 관한 연구의 조합이 필요하다.
2010년 이후에는 병원에서 벗어나 가정에서도 재활할 수 있는 제품들이 출시되고 있으며, 근전도 신호를 측정하는 패치를 통해 사람의 움직임 의도를 파악하여 재활치료를 돕는 의도감지기술이 도입되고 있다.
하지 재활치료로봇 기술에서는 뇌-컴퓨터 인터페이스(Brain-Computer Interface; BCI) 기술 접목과 지상보행(over ground) 타입의 로봇 시스템을 이용한다. 2009년 개발된 HAL은 근전도 신호를 피드백 받아 로봇에 반영하는 최초의 상용화 외 골격형 보행보조 및 재활 치료 로봇이다.
한편, 재활 훈련에 대한 또 다른 종래 기술이 하기의 <특허문헌 1> 내지 <특허문헌 2> 에 개시되어 있다.
<특허문헌 1> 에 개시된 종래기술은 환자에게 재활 관련 정보를 제공하여 환자의 재활 의도를 유발하고, 환자의 생체신호를 지속적으로 측정하여 상태를 모니터링함으로써, 능동적이고 환자의 상태에 적합한 재활 훈련을 제공한다.
또한, <특허문헌 2> 에 개시된 종래기술은 환자의 뇌 신호를 측정하여 재활 운동의 시간 또는 세기 등을 조절해줌으로써, 환자가 능동적인 환경에서 재활운동을 할 수 있도록 도모한다.
대한민국 공개특허 10-2014-0061170호(2014.05.21. 공개)(재활 훈련 시스템 및 방법) 대한민국 등록특허 10-1501524호(2015.03.05. 등록)(뇌 신호와 기능적 전기자극을 결합한 자기주도형 재활 훈련 장치)
그러나 상기와 같은 일반적인 재활 치료 방법은 신체를 움직일 수 있는 환자에 대하여 상향식 재활 훈련 방법으로서, 뇌신경학적 관점에서 볼 때 완전한 감각-운동 선순환 재활이 이루어지지 않고 있으므로, 재활의 정체기(plateau)를 겪는 만성기 환자에게는 적합하지 않는 단점이 있다.
또한, <특허문헌 1> 에 개시된 종래기술은 근전도, 족압 센서와 같은 생체신호를 이용한 바이오피드백(biofeedback) 재활 훈련 방법으로서, 근전도 신호가 미약하거나 신체를 움직이는 것이 어려운 환자에게는 적용할 수 없는 단점이 있다.
또한, <특허문헌 2> 에 개시된 종래기술은 뇌 신호를 이용하여 재활 운동의 시간 및 세기 등을 조절하여, 재활 훈련의 효율성 향상을 도모할 수는 있지만, 사용자의 재활 의도 인식이 단일 동작 인식으로만 이루어지고, 재활 훈련 상태를 피드백하는 것은 불가능하여, 최적의 재활 훈련 시스템이라고는 볼 수 없는 단점이 있다.
따라서 본 발명은 상기와 같은 종래기술에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서, 사용자의 동작 의도를 뇌 신호를 이용하여 인식하고, 인식된 동작 의도에 따라 재활 훈련기를 동작시키며, 뉴로피드백(neurofeedback)을 통해 자극에 따른 동기 유발로 재활 훈련을 극대화할 수 있도록 한 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템을 제공하는 데 그 목적이 있다.
본 발명의 다른 목적은 치매 등의 퇴행성 뇌질환이나 뇌졸중 등의 뇌병변 장애 환자의 경우, 뇌 가소성 촉진/향상 및 뇌 신호 강화를 위한 재활 훈련을 할 수 있도록 하여, 다양한 환자군에 적용 가능한 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 뇌 신호 기반의 사용자 의도인식을 통한 재활훈련을 수행함으로써, 마비로 인해 근전도 신호가 미약하거나 치매 등의 퇴행성 뇌질환이나 뇌졸중 등의 뇌병변 장애 환자에게도 재활 훈련이 가능하도록 한 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 연속적인 사용자 의도 인식을 수행함으로써, 재활 훈련의 난이도(속도, 강도, 시간, 등) 조절 또는 동작 모드 변경 등의 다양한 동작으로 재활훈련을 수행하도록 한 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템은 비침습적인 뇌 활성화 측정 방법으로 환자의 뇌 신호를 획득 및 처리하는 뇌 신호 획득 및 처리부; 상기 뇌 신호 획득 및 처리부에서 처리된 뇌 신호 데이터를 기초로 사용자의 동작 의도를 인식하는 사용자 동작의도 해독부; 상기 사용자 동작의도 해독부에 의해 인식한 사용자 동작 의도에 따라 재활 훈련기를 동작시키고, 재활 훈련 콘텐츠를 제시하는 사용자 의도 표현부; 상기 사용자 의도 표현부에서 제시한 재활 훈련 콘텐츠에 따라 뇌 활성을 유도하기 위한 뉴로 피드백을 제시하는 재활 훈련 상태 피드백부; 상기 뇌 신호 획득 및 처리부와 상기 사용자 동작의도 해독부 및 상기 사용자 의도 표현부에서 각각 획득한 훈련상태 정보를 실시간으로 모니터링하는 재활 훈련 상태 모니터링부; 상기 재활 훈련 상태 모니터링부에 의해 모니터링된 훈련상태 정보를 분석하여 훈련 상태 평가를 위한 판단정보로 제공해주는 사용자 분석부; 상기 사용자 분석부에 의해 제공된 사용자 훈련 상태 정보와 치료사가 실시간으로 재활 훈련 상태 모니터링부를 통해 분석한 결과를 환자군 또는 정상인의 재활훈련 데이터베이스에 저장하고, 이를 기초로 재활 동작 모드의 변경 여부를 판단하여, 상기 판단 결과를 기초로 재활 훈련 모드의 변경을 위한 피드백을 제시하는 훈련상태 평가부; 상기 훈련 상태 평가부 및 상기 재활 훈련 상태 피드백부에서 제시된 피드백 정보를 기초로 재활 훈련 모드를 결정하여 재활 훈련기를 동작시키는 재활 훈련 모드 결정부를 포함하는 것을 특징으로 한다.
상기에서 사용자 동작의도 해독부는 상기 뇌 신호 데이터를 전처리법 및 웨이블릿 변환을 통해 잡음을 제거하고, 인공지능 기반의 기계학습방법을 통해 사용자 연속적인 동작의도를 인식하며, 의도 인식 횟수 정보를 상기 재활 훈련 상태 모니터링부에 제공하는 것을 특징으로 한다.
상기에서 사용자 의도 표현부는 인식된 사용자의 연속적인 동작의도에 따라 재활훈련기를 동작시키며, 상기 재활 훈련기의 동작에 따른 사용자의 운동 정보를 획득하는 재활 훈련기 작동부; 상기 획득한 사용자의 운동 정보를 재활 훈련 콘텐츠를 통해 사용자에게 제공하는 재활 훈련 콘텐츠 제시부를 포함하는 것을 특징으로 한다.
상기에서 사용자의 운동 정보는 재활 훈련 거리, 재활 훈련 시간, 걸음 수, 보행 패턴, 의도인식에 의한 재활 훈련 거리, 의도인식에 의한 재활 훈련 시간 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 한다.
상기에서 재활 훈련기 작동부는 상기 재활 훈련기 동작 시 연속적인 사용자 의도 인식에 따라 재활 훈련기의 난이도(속도, 강도, 시간) 또는 동작 모드 변경을 제어하는 것을 특징으로 한다.
상기에서 재활 훈련기 작동부는 의도 인식 상태 천이도를 기초로 연속적인 사용자 의도 인식에 따라 재활훈련기의 동작을 제어하는 것을 특징으로 한다.
상기에서 재활 훈련 콘텐츠 제시부는 가상의 아바타를 동작시켜 사용자가 운동심상 또는 동작관찰과 같은 행동모방학습을 수월하게 할 수 있도록 유도하며, 사용자의 재활 훈련 의도에 따라 가상의 아바타를 동작시켜 인지능력 향상을 위한 재활 훈련 콘텐츠를 제공하는 것을 특징으로 한다.
상기에서 재활 훈련 콘텐츠는 재활훈련 몰입을 위한 메시지, 훈련 상태에 대한 텍스트 또는 음성, 훈련의 성적 향상에 따라 뇌 활성의 보상을 유도하기 위한 전기적인 촉각 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 한다.
상기에서 재활 훈련 상태 모니터링부는 재활 훈련기의 동작에 따른 사용자의 운동 정보, 생리 정보, 뇌 신호, 의도 인식 정보를 종합적인 소견 작성과 위험상황 대처 가능한 정보로 피드백해주는 것을 특징으로 한다.
또한, 본 발명에 따른 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템은 상기 재활 훈련 상태 모니터링부에 의해 획득된 사용자 재활 훈련 정보를 개인 데이터베이스에 저장하고, 개인별 재활 훈련 정보는 환자군으로 분류된 전체 재활 데이터베이스에 저장하는 정보 데이터베이스를 더 포함하는 것을 특징으로 한다.
상기에서 훈련상태 평가부는 재활 훈련 중 실시간으로 획득한 뇌 신호를 분석하여 사용자의 진단 및 질환의 조기감지에 활용하고, 상기 정보 데이터베이스에 축적된 정보를 이용하여 현재 재활중인 사용자의 재활 효과를 평가하며, 현재 실시간 획득한 재활 훈련 데이터와 정보 데이터베이스에 축적된 재활 훈련 정보를 비교하여 현재 사용자에게 적합한 훈련 프로토콜을 피드백하는 것을 특징으로 한다.
본 발명에 따르면 사용자의 동작 의도를 뇌 신호를 이용하여 인식하고, 인식된 동작 의도에 따라 재활 훈련장치를 동작시키며, 연속적인 사용자 동작의도 인식에 따라 재활 훈련 속도 조절 또는 동작 모드를 변경함으로써, 다양한 동작으로 재활 훈련을 수행할 수 있도록 도모해주는 장점이 있다.
또한, 본 발명에 따르면 뇌 신호를 이용한 사용자 의도 인식을 기반으로 재활 훈련을 실행하기 때문에, 치매 등의 퇴행성 뇌질환이나 뇌졸중 등의 뇌병변 장애 환자도 뇌 가소성 촉진/향상 및 뇌 신호 강화를 위한 재활 훈련을 할 수 있도록 함으로써, 다양한 환자군의 재활 훈련에 적용할 수 있는 장점이 있다.
또한, 본 발명에 따르면 뇌 신호 기반의 사용자 의도인식을 통한 재활훈련을 수행함으로써, 신체 마비로 인해 근전도 신호가 미약하거나 치매 등의 퇴행성 뇌질환이나 뇌졸중 등의 뇌병변 장애 환자의 재활에도 적용 가능한 장점이 있다.
도 1은 본 발명에 따른 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템의 블록 구성도,
도 2는 본 발명에서 뇌 훈련 시뮬레이터의 개략 구성도,
도 3은 본 발명에서 재활 훈련 콘텐츠의 화면 예시도,
도 4는 본 발명에서 재활 훈련 상태 모니터링 화면 예시도,
도 5는 본 발명에서 사용자 의도 인식 기반의 재활 훈련 전과 재활 훈련 후의 뇌 사진 예시도,
도 6은 본 발명에서 사용자 의도 인식 기반의 재활 훈련 전과 재활 훈련 후의 뇌 활성 상태 비교도,
도 7은 본 발명에서 의도 인식 상태 천이 예시도,
도 8은 본 발명에서 사용자 의도 인식을 위한 인식 모델별 데이터 수집 프로토콜 예시도.
이하 본 발명의 바람직한 실시 예에 따른 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 바람직한 실시 예에 따른 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템의 블록 구성도로서, 뇌 신호 획득 및 처리부(10), 사용자 동작의도 해독부(20), 사용자 의도 표현부(30), 재활훈련상태 피드백부(40), 재활훈련상태 모니터링부(50), 사용자 분석부(60), 정보 데이터베이스(70), 훈련 상태 평가부(60) 및 재활 훈련 모드 결정부(90)를 포함한다.
상기 뇌 신호 획득 및 처리부(10)는 비침습적인 뇌 활성화 측정 방법으로 사용자(환자)(1)의 뇌 신호를 획득 및 처리하는 역할을 한다. 정량적으로 처리된 뇐 신호 데이터는 사용자 동작의도 해독부(20)에 전달하고, 뇌 신호 기반 획득한 훈련 정보는 재활 훈련 상태 모니터링부(50)에 전달한다. 뇌 신호 측정은 뇌전도(EEG), 뇌자도(MEG), 근적외선 분광법(NIRS; near infrared spectroscopy), 자기공명영상(MRI), 뇌피질전도(ECoG) 등의 방법을 이용할 수 있다.
상기 사용자 동작의도 해독부(20)는 상기 뇌 신호 획득 및 처리부(10)에서 처리된 뇌 신호 데이터를 기초로 사용자의 동작 의도를 인식하는 역할을 한다.
이러한 사용자 동작의도 해독부(20)는 상기 뇌 신호 데이터를 전처리법(혈류역학적 반응 함수(hemodynamic response function; HRF)) 및 웨이블릿 변환(Wavelet Transform)을 통해 잡음을 제거하고, 인공지능 기반의 기계학습방법(SVM; support vector machine, DNN; Deep Neural Network, GP; Genetic programming)을 통해 사용자 동작의도를 인식하는 것이 바람직하다.
여기서 사용자 동작의도 인식 횟수 정보는 상기 재활 훈련 상태 모니터링부(50)에 제공한다.
다음으로, 상기 사용자 의도 표현부(30)는 상기 사용자 동작의도 해독부(20)에 의해 인식한 사용자 동작 의도에 따라 재활 훈련기(2)를 동작시키고, 재활 훈련 콘텐츠를 제시하는 역할을 한다.
여기서 재활 훈련기(2)는 트레드밀, 보행보조훈련기, 무릎 훈련기, 발목 운동기, 보행재활 로봇 훈련기, 상지 재활훈련기 등 다양하나, 본 발명에서는 설명의 편의를 위해 재활 훈련기로 트레드밀을 사용하는 것으로 설명한다.
이러한 사용자 의도 표현부(30)는 인식된 사용자의 동작의도에 따라 재활훈련기(2)를 동작시키며, 상기 재활 훈련기(2)의 동작에 따른 사용자의 운동 정보를 획득하는 재활 훈련기 작동부(31), 상기 획득한 사용자의 운동 정보를 재활 훈련 콘텐츠를 통해 사용자에게 제공하는 재활 훈련 콘텐츠 제시부(32)를 포함한다.
여기서 사용자의 운동 정보는 재활 훈련 거리, 재활 훈련 시간, 걸음 수, 보행 패턴, 의도인식에 의한 재활 훈련 거리, 의도인식에 의한 재활 훈련 시간 중 적어도 어느 하나 이상을 포함할 수 있다.
또한, 상기 재활 훈련기 작동부(31)는 상기 재활 훈련기(2)의 동작 시 연속적인 사용자 의도 인식에 따라 재활 훈련기(2)의 난이도(속도, 강도, 시간, 기타) 또는 동작 모드 변경을 제어하는 것이 바람직하며, 재활 훈련기(2)의 동작에 따라 사용자의 재활 훈련 정보(운동 정보)를 획득하여 상기 재활 훈련 상태 모니터링부(50)에 전달한다.
여기서 재활 훈련기 작동부(31)는 도 7과 같은 의도 인식 상태 천이 도를 기초로 연속적인 사용자 의도 인식에 따라 재활 훈련기(2)의 동작을 제어하는 것이 바람직하다. 상기 의도 인식 상태 천이는 정지 상태(S1), 보행의도 인식상태(S2), 천천히 걷기 상태(S3), 보행 의도인식 상태(S4), 빠르게 걷기 상태(S5)를 순서로 천이하되, 의도 인식에 성공하면 다음 단계로 천이하고, 의도 인식에 실패하면 이전 단계로 천이한다.
아울러 상기 재활 훈련 콘텐츠 제시부(32)는 가상의 아바타를 동작시켜 사용자가 운동 심상 또는 동작관찰과 같은 행동모방학습을 수월하게 할 수 있도록 유도하며, 사용자의 재활 훈련 의도에 따라 가상의 아바타를 동작시켜 인지능력 향상을 위한 재활 훈련 콘텐츠를 제공하는 역할을 한다. 여기서 재활 훈련 콘텐츠는 재활훈련 몰입을 위한 메시지, 훈련 상태에 대한 텍스트 또는 음성, 훈련의 성적 향상에 따라 뇌 활성의 보상을 유도하기 위한 전기적인 촉각 중 적어도 어느 하나 이상을 포함하는 것이 바람직하다.
또한, 재활 훈련 상태 피드백부(40)는 상기 사용자 의도 표현부(30)에서 제시한 재활 훈련 콘텐츠에 따라 뇌 활성을 유도하기 위한 뉴로 피드백을 제시하는 역할을 한다.
또한, 상기 재활 훈련 상태 모니터링부(50)는 상기 뇌 신호 획득 및 처리부(10)와 상기 사용자 동작의도 해독부(20) 및 상기 사용자 의도 표현부(30)에서 각각 획득한 훈련상태 정보를 실시간으로 모니터링하는 역할을 한다.
예컨대, 상기 재활 훈련 상태 모니터링부(50)는 재활 훈련기의 동작에 따른 사용자의 운동 정보, 생리 정보, 뇌 신호, 의도 인식 정보(의도 인식 횟수)를 종합적인 소견 작성과 위험상황 대처 가능한 정보로 피드백해주는 것이 바람직하다.
아울러 재활 훈련 상태 모니터링부(50)는 뇌 신호 기반 훈련 정보, 재활 훈련 거리, 재활 훈련 시간, 의도인식에 의한 재활 훈련 거리, 의도인식에 의한 재활 훈련 시간, 뇌 활성 상태를 사용자 진단 및 처방을 위한 평가 정보로 피드백해주는 것이 바람직하다.
다음으로, 상기 사용자 분석부(60)는 상기 재활 훈련 상태 모니터링부(50)에 의해 모니터링된 훈련상태 정보를 분석하여 훈련 상태 평가를 위한 판단정보로 제공해주는 역할을 한다. 여기서 훈련 상태 평가를 위한 판단정보는 의사가 진단 및 처방을 하기 위한 정보이므로, 전문성 있는 정보라고 할 수 있다.
상기 정보 데이터베이스(70)는 상기 재활 훈련 상태 모니터링부(50)에 의해 획득된 사용자 재활 훈련 정보를 개인 데이터베이스에 저장하고, 개인별 재활 훈련 정보는 환자군으로 분류된 전체 재활 데이터베이스에 저장하는 역할을 한다. 예컨대, 정보 데이터베이스(70)는 현재 재활을 하는 사용자의 개인 재활 정보를 저장하는 개인 데이터베이스와 상기 개인 데이터베이스에 저장된 사용자의 개인 재활 정보를 포함하고 다수의 재활 환자들의 재활 정보를 환자군으로 분류한 전체 재활 정보가 저장된 전체 재활 데이터베이스를 포함한다.
상기 훈련상태 평가부(80)는 상기 사용자 분석부(60)에 의해 제공된 사용자 훈련 상태 정보와 치료사가 실시간으로 재활 훈련 상태 모니터링부(50)를 통해 분석한 결과를 환자군 또는 정상인의 재활훈련 데이터베이스에 저장하고, 이를 기초로 기초로 재활 동작 모드의 변경 여부를 판단하여, 상기 판단 결과를 기초로 재활 훈련 모드의 변경을 위한 피드백을 제시하는 역할을 한다.
이러한 훈련상태 평가부(80)는 재활 훈련 중 실시간으로 획득한 뇌 신호를 분석하여 사용자의 진단 및 질환의 조기감지에 활용하고, 상기 정보 데이터베이스(70)에 축적된 정보를 이용하여 현재 재활중인 사용자의 재활 효과를 평가하며, 현재 실시간 획득한 재활 훈련 데이터와 정보 데이터베이스(70)에 축적된 재활 훈련 정보를 비교하여 현재 사용자에게 적합한 훈련 프로토콜을 피드백하는 것이 바람직하다.
또한, 상기 재활 훈련 모드 결정부(90)는 상기 훈련 상태 평가부(80) 및 상기 재활 훈련 상태 피드백부(40)에서 제시된 뉴로 피드백 정보를 기초로 재활 훈련 모드를 결정하여 재활 훈련기(2)를 동작시키는 역할을 한다.
이와 같이 구성된 본 발명의 바람직한 실시 예에 따른 행동모방학습 기반의 뇌 신호 시뮬레이션시스템의 동작을 구체적으로 설명하면 다음과 같다.
본 발명은 행동모방학습 기반으로 재활훈련이 이루어진다. 여기서 행동모방학습은 동작관찰, 운동 심상, 동작 관찰에 따른 운동 심상을 하여 새로운 행동을 학습하는 것을 의미한다. 이를 적용한 본 발명에서는 사용자(환자)의 뇌 신호를 이용하여 사용자의 동작 의도를 인식하고 이를 통해 재활 훈련기의 속도나 동작 모드를 변경하여 재활 훈련을 수행하고, 이때 사용자의 뇌 신호를 관찰하여 사용자의 동작 의도를 연속으로 인식하는 것을 행동모방 학습으로 정의한다. 여기서 사용자의 동작 의도란 가상으로 제공한 콘텐츠에 대하여 반응하는 것을 의미하는 것으로서, 뇌 신호 분석을 통해 확인한다.
먼저, 재활 대상자인 사용자(환자)(1)가 도 2에 도시한 바와 같은 재활 훈련 시뮬레이터를 이용하여 재활 훈련을 준비한 상태에서, 사용자에게 재활 정보를 제공해주는 모니터(디스플레이장치)를 통해 재활 예정을 알려준다. 이어, 도 3에 도시한 바와 같이, 아바타와 같은 콘텐츠를 이용하여 초기 보행 동작(예들 들어, 아바타 0.7km/h 보행 동작)을 시각적으로 보여주고, 상기 아바타가 먼저 뛰는 콘텐츠를 시각적으로 보여주면서 아바타를 따라오도록 상상력을 유발시킨다.
도 3은 본 발명에서 재활훈련 콘텐츠를 이용하여 재활 훈련을 실행하는 화면 예시이다.
사용자는 상기 모니터에 디스플레이되는 아바타를 보고 반응을 하면, 뇌 신호 획득 및 처리부(10)에서 사용자의 뇌 신호를 측정한다.
도 2와 같은 재활 훈련 시뮬레이터는 재활 훈련기의 트레드밀(Treadmill)을 이용하였으며, 트레드밀 매니저는 도 1의 재활 훈련기 작동부(31)를 의미하고, 콘텐츠 매니저는 도 1의 재활 훈련 콘텐츠 제시부(32)를 나타내며, 신호 처리(signal processing)는 도 1의 뇌 신호 획득 및 처리부(10)와 사용자 동작의도 해독부(20)를 의미한다.
뇌 신호 측정은 뇌전도(EEG), 뇌자도(MEG), 근적외선 분광법(NIRS), 자기공명영상(MRI), 뇌피질전도(ECoG) 등의 방법을 이용할 수 있다.
본 발명에서는 사용자의 운동 심상 또는 동작 관찰을 하는 동안 근적외선 분광법(NIRS)을 이용하여 대뇌피질의 운동 조절 관련대사 뇌 신호(Metabolism) 또는 헤모글로빈(hemoglobin)의 산소 농도를 사용자의 뇌 신호로 획득한다.
그리고 사용자의 뇌 신호 획득 시에는 이를 뇌 신호 기반 훈련 정보로 획득하여 재활 훈련 상태 모니터링부(50)에 제공한다. 아울러 획득된 뇌 신호는 정량화된 뇌 신호 데이터로 처리되어 사용자 동작의도 해독부(20)에 전달된다.
상기 사용자 동작의도 해독부(20)는 상기 뇌 신호 획득 및 처리부(10)에서 처리된 정량화된 뇌 신호 데이터를 다양한 전처리법(혈류역학적 반응 함수(hemodynamic response function; HRF)) 및 웨이블릿 변환(Wavelet Transform)을 통해 사용자의 호흡, 혈액 순환 및 움직임 등과 같은 잡음 성분을 제거한다. 이어, 잡음 성분이 제거된 뇌 신호를 인공지능 기반의 기계학습방법(SVM; support vector machine, DNN; Deep Neural Network, GP; Genetic programming)을 통해 처리하여 그 결과 신호로 사용자 동작의도를 인식한다.
여기서 사용자 동작의도 인식을 위해 도 8의 제1 인식 모델(Typa A)과 같은 훈련 데이터 수집 프로토콜을 이용한 인식 모델을 이용하여 사용자의 동작의도를 인식한다.
이어, 사용자의 동작의도 인식이 정상적으로 이루어지면 이를 의도 인식 성공 횟수로 카운트하고, 이를 재활 훈련 상태 모니터링부(50)에 전달하며, 동시에 사용자 의도 표현부(30)에 초기 보행 동작에 따른 동작 제어 명령을 제공한다. 만약, 사용자의 동작의도 인식이 실패하면, 다시 소정 시간 휴식(예를 들어, 30초)을 갖은 후 전술한 과정을 다시 수행하여 사용자의 동작의도를 인식한다.
상기 사용자 의도 표현부(30)의 재활 훈련기 작동부(31)는 사용자의 동작의도 인식에 의해 초기 보행 동작 제어 명령이 전달되면, 트레드밀(2)을 초기 보행 동작(0.7km/h)으로 동작을 시킨다. 이어, 재활 훈련 콘텐츠 제시부(32)를 통해 음성이나 텍스트 등을 이용하여 칭찬이나 격려에 대한 메시지를 제공한다. 그리고 계속 따라오는 상상을 하도록 유도한다.
다음으로, 일정 시간의 지난 후 상기 재활 훈련 콘텐츠(아바타)를 이용하여 다음 보행 동작(예들 들어, 아바타 1.2km/h 보행 동작)을 시각적으로 보여주고, 상기 아바타를 조금 더 빨리 뛰는 콘텐츠를 시각적으로 보여주면서 아바타를 따라오도록 상상력을 유발시킨다.
사용자는 상기 모니터에 디스플레이되는 아바타를 보고 반응을 하면, 뇌 신호 획득 및 처리부(10)에서 사용자의 뇌 신호를 획득한다.
이어, 사용자 동작의도 해독부(20)는 상기 뇌 신호 획득 및 처리부(10)에서 처리된 정량화된 뇌 신호 데이터를 처리하여 그 결과 신호로 사용자 동작의도를 인식한다. 여기서 사용자 동작의도 인식을 위해 도 8의 Type B와 같은 훈련 데이터 수집 프로토콜을 이용한 인식 모델을 이용하여 사용자의 동작의도를 인식한다.
이어, 사용자의 동작의도 인식이 정상적으로 이루어지면 이를 의도 인식 성공 횟수로 카운트하고, 이를 재활 훈련 상태 모니터링부(50)에 전달하며, 동시에 사용자 의도 표현부(30)에 다음 보행 동작에 따른 동작 제어 명령을 제공한다. 만약, 사용자의 동작의도 인식이 실패하면, 다시 소정 시간 휴식(예를 들어, 30초)을 갖은 후 이전 과정으로 천이하여 아바타를 초기 동작 모드로 보행시키고 천천히 걷는다는 메시지를 보여 주어 사용자의 재활 동작을 이전 단계로 후퇴한다.
이와 같이 본 발명은 사용자의 재활 의도 인식 시 단일 동작이 아닌 연속적인 동작의도에 대해 인식을 수행하여, 재활 훈련의 난이도(속도, 강도, 시간, 등)를 조절하고 동작 모드를 변경하는 등 다양한 동작으로 재활훈련을 수행한다.
도 7은 상기와 같은 연속적인 동작의도에 따른 상태 천이의 일 예를 나타낸 것이다.
초기 상태인 정지 상태(S1)에서 아바타를 통한 재활 훈련 콘텐츠를 제시하고, 다음 상태인 사용자의 보행 의도 인식상태(S2)에서 도 8과 같은 제1 인식 모델(Type A)을 사용하여 사용자의 보행 의도를 인식한다. 이때 인식 실패가 발생하면 상기 정지 상태(S1)로 천이하고, 인식이 성공하면 다음 상태인 천천히 걷기 상태(S3)로 천이를 한다. 상기 천천히 걷기 상태로 천이한 상태에서 일정 시간 후에 다시 보행 의도 인식상태(S4)로 천이하여 도 8과 같은 제2 인식 모델(Type B)을 사용하여 보행 의도를 인식한다. 이때 인식 실패가 발생하면 이전 상태인 천천히 걷기 상태(S3)로 천이를 하고, 인식이 성공하면 다음 상태인 빠르게 걷기 상태(S5)로 천이를 한다.
상기와 같은 상태 천이는 본 발명의 연속적인 동작의도에 따른 상태 천이를 설명하기 위한 일 예이며, 본 발명은 이것에 한정되는 것은 아니고, 상기 상태 천이의 순서를 변경하거나 상태 천이 내용을 가변하는 상태 천이를 모두 포함할 수 있음을 당해 분야의 통상의 지식을 가진 자라면 자명하다 할 것이다.
이와 같이 본 발명은 연속적인 동작 의도에 대해 인식을 수행하여, 재활 훈련의 난이도(속도, 강도, 시간, 등) 조절이나 동작 모드 등을 변경하면서 다양한 동작으로 재활 훈련을 수행한다.
상기 재활 훈련 상태 피드백부(40)는 상기 사용자 의도 표현부(30)와 연동하여, 재활 훈련 상태에 따라 칭찬/격려와 같은 메시지, 훈련 속도 등을 텍스트 또는 음성의 형태로 사용자 모니터링 장치인 모니터(3)를 통해 시/청각으로 자극을 제시한다. 여기서 모니터(3)에는 스피커와 같은 음성 출력 장치가 구비된 것으로 가정한다. 이와 같이 재활 훈련 상태 피드백부(40)는 재활 훈련의 성적 향상에 따라 뇌 활성을 유도하기 위한 뉴로피드백을 제시해주는 역할을 하며, 이로써 뇌 가소성 촉진/향상 및 뇌 신호 강화를 위한 재활 훈련이 가능해지게 되는 것이다.
한편, 상기와 같은 재활 훈련을 수행하는 도중에 실시간으로 사용자 동작의도 해독부(20)는 의도 인식이 정상적으로 이루어질 때마다 의도 인식 성공에 대한 횟수를 재활 훈련 상태 모니터링부(50)에 제공한다.
아울러 사용자 의도 표현부(30)의 재활 훈련기 작동부(31)는 재활 훈련 시작 시점부터 실시간으로 사용자의 운동 정보를 측정하여 상기 재활 훈련 상태 모니터링부(50)에 전달한다.
여기서 사용자의 운동 정보는 재활 훈련 거리, 재활 훈련 시간, 걸음 수, 보행 패턴, 의도인식에 의한 재활 훈련 거리, 의도인식에 의한 재활 훈련 시간 등을 포함한다. 재활 훈련 거리나 재활 훈련 시간 등은 재활 훈련기를 통해 획득할 수 있으며, 보행 패턴은 족압 센서, 관성(Inertial Measurement Unit, IMU) 센서, 광(Photo) 센서, 적외선(Infrared Ray, IR) 센서와 같은 센서를 이용하여 획득할 수 있으며, 훈련 몰입 정도는 사용자의 의도 인식 결과 정보(성공에 대한 횟수 또는 의도 인식 성공률)로부터 획득할 수 있다. 아울러 의도 인식시 재활 훈련 거리와 재활 훈련 시간도 의도 인식 정보를 기반으로 용이하게 추출할 수 있다.
치료사는 상기 재활 훈련 상태 모니터링부(50)를 통해 실시간으로 사용자(환자)의 재활 훈련 상태를 감시하게 된다. 아울러 상기와 같은 재활 훈련 상태 모니터링부(50)를 통해 실시간으로 사용자의 안전 모니터링을 수행함으로써, 재활 훈련을 수행하는 도중에 위급상황에 실시간으로 대응할 수 있게 되는 것이다.
여기서 치료사는 실시간으로 사용자의 재활 훈련 상태를 모니터링함과 동시에 환자의 상태에 대한 소견을 추가로 작성할 수 있다. 예를 들어, 실시간 모니터링으로 나오지 않는 보행 질(quality)에 대한 정성적, 정량적 소견을 작성한 후 DB에 저장한다. 실제 임상에서도 재활훈련이 끝나면 그날의 환자를 상태를 기록한다.
아울러 상기 실시간으로 감시되는 재활 훈련 정보는 환자 개인 데이터베이스에 저장되고, 사용자 분석부(60)를 통해 분석된다.
예컨대, 상기 사용자 분석부(60)는 상기 재활 훈련 상태 모니터링부(50)에 의해 모니터링된 훈련 상태 정보를 분석하여 훈련 상태 평가를 위한 판단정보로 제공해준다. 여기서 훈련 상태 평가를 위한 판단정보는 의사가 진단 및 처방을 하기 위한 정보이므로, 전문성 있는 정보라고 할 수 있다. 도 4는 상기 재활 훈련 상태 정보를 분석한 결과를 보여주는 화면 예시이다. 이러한 분석 정보는 전문성이 있는 정보이므로, 일반 사용자(환자)가 이해하기에는 어려움이 있다.
다음으로, 상기와 같이 재활 훈련이 이루어지는 상황에서, 의료진(의사, 치료사)은 상기 사용자 분석부(60)에서 분석한 재활 훈련 정보와 정보 데이터베이스(70)에 축적된 환자군별 재활 환자의 전체 재활 훈련 정보를 실시간으로 분석하여, 환자의 진단 및 질환의 조기 감지를 수행한다. 특히, 장기간 축적된 환자군 재활 훈련 정보를 이용하여 해당 환자의 재활 효과 평가 등 임상적 관리를 수행한다. 새로운 환자일 경우, 현재 실시간으로 획득한 재활 데이터와 정보 데이터베이스(70)에 축적된 환자군별 재활 훈련 정보를 비교하여, 해당 환자에게 적합한 훈련 프로토콜을 제시하여 효과적인 재활 훈련을 수행하도록 도모할 수 있다.
이러한 의료진의 훈련 상태 평가에 따른 뉴로 피드백 정보는 재활 훈련 모드 결정부(90)에 전달된다.
예컨대, 의료진은 실시간으로 재활이 이루어지는 상황에서 환자의 재활 훈련 상태를 분석하여 재활 동작 모드의 변경 여부를 결정하고, 그 결정 결과를 뉴로 피드백 방식으로 재활 훈련 모드 결정부(90)에 전달한다. 다시 말해, 재활 훈련을 하는 도중에 재활 훈련 상태를 실시간으로 분석하여, 해당 환자의 재활 훈련 강도를 높이는 것이 좋은지 아니면 낮추는 것이 좋은지, 현재 상태를 유지하는 것이 좋은지 등을 결정하고, 이를 뉴로 피드백 방식으로 재활 훈련 모드 결정부(90)에 온라인 등을 이용하여 실시간으로 제공한다.
상기 재활 훈련 모드 결정부(90)는 상기 재활 훈련 상태 피드백부(40)에 의해 피드백된 재활 훈련 정보와 상기 훈련 상태 평가부(80)에 의해 실시간으로 뉴로 피드백되는 평가 정보를 기초로 재활 훈련 모드를 결정하고, 결정한 재활 훈련 모드에 따라 현재 상태를 유지하거나 재활 훈련 모드를 변경하여 최적의 재활 훈련이 이루어지도록 한다.
본 발명자는 뇌 가소성 촉진을 위한 재활훈련 시스템의 성능을 시험하였으며, 그 결과는 도 5 및 도 6과 같다.
도 5는 상기 사용자 의도에 따른 재활 훈련 이전과 사용자 의도를 반영한 재활 훈련 후 뇌 사진 결과 예시이며, 도 6은 상기 사용자 의도에 따른 재활 훈련 이전과 사용자 의도를 반영한 재활 훈련 후 뇌 활성 상태 비교도이다.
도 5 및 도 6에서 왼쪽 사진 또는 그래프가 훈련 전 걷기 동작(motor execution, ME)을 하는 동안 동작관찰을 통한 운동 심상(motor imagery, MI)을 수행한 결과이며, 오른쪽 사진 또는 그래프가 사용자 의도를 반영하면서 재활 훈련을 수행한 후 걷기 동작을 하는 동안 동작관찰을 통한 운동 심상(MI)을 수행한 결과이다.
시험 결과에 따르면, 도 5에 도시한 바와 같이, 트레드밀을 이용하여 사용자 의도를 반영한 재활 훈련 시 인지 기능 및 집중, 계획, 생각과 판단에 따른 몸의 움직임을 담당하는 전두엽에서 유의한 활성이 나타남을 알 수 있다.
또한, 도 6에 도시한 바와 같이, 훈련 전 전두엽의 24번 채널에서 활성이 나타났으며, 훈련 후 24번 채널 외 22번 채널에서도 활성이 나타남을 확인하였다. 훈련 후 특정 영역에서 뇌 활성 상태가 증가하였으며, 산화 헤모글로빈 또한 훈련 전에 비하여 증가하는 양상을 보임을 알 수 있다.
결과적으로 사용자 의도를 인식하고, 이를 기반으로 재활 훈련기를 가변하면서 피드백을 통해 사용자의 의도 인식을 통해 수행한 재활 훈련은, 운동 심상을 이용하여 의도인식을 하고 의도인식 결과에 따라 트레드밀이 동작하는 뉴로 피드백을 이용함으로써, 다양한 환자군에 최적의 재활 훈련을 도모해줄 수 있음을 알 수 있다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명하다.
본 발명은 사용자 의도 인식을 통한 재활 훈련 기술로서, 뇌 가소성 촉진 및 향상, 뇌 신호 강화를 위한 재활 훈련을 할 수 있어 다양한 환자군의 재활 훈련에 활용할 수 있다.
10: 뇌 신호 측정 및 처리부
20: 사용자 동작의도 해독부
30: 사용자 의도 표현부
31: 재활 훈련기 작동부
32: 재활훈련 콘텐츠 제시부
40: 재활 훈련상태 피드백부
50: 재활훈련상태 모니터링부
60: 사용자 분석부
70: 정보 데이터베이스
80: 훈련상태 평가부
90: 재활 훈련 모드 결정부

Claims (12)

  1. 행동모방학습 기반으로 사용자 의도 인식을 통해 재활훈련을 수행하는 뇌 훈련 시뮬레이션시스템으로서,
    비침습적인 뇌 활성화 측정 방법으로 사용자의 뇌 신호를 획득 및 처리하는 뇌 신호 획득 및 처리부;
    상기 뇌 신호 획득 및 처리부에서 처리된 뇌 신호 데이터를 기초로 사용자의 동작 의도를 인식하는 사용자 동작의도 해독부;
    상기 사용자 동작의도 해독부에 의해 인식한 사용자 동작 의도에 따라 재활 훈련기를 동작시키고, 재활 훈련 콘텐츠를 제시하는 사용자 의도 표현부; 및
    상기 사용자 의도 표현부에서 제시한 재활 훈련 콘텐츠에 따라 뇌 활성을 유도하기 위한 뉴로 피드백을 제시하는 재활 훈련 상태 피드백부를 포함하고,
    상기 사용자 동작의도 해독부는 상기 뇌 신호 데이터를 전처리법 및 웨이블릿 변환을 통해 잡음을 제거하고, 인공지능 기반의 기계학습방법을 통해 사용자의 연속적인 동작의도를 인식하며, 의도 인식 횟수 정보를 상기 재활 훈련 상태 모니터링부에 제공하며,
    상기 사용자 동작의도 해독부는 초기 상태인 정지 상태에서 아바타를 통한 재활 훈련 콘텐츠를 제시하고, 다음 상태인 사용자의 보행 의도 인식상태에서 제1 인식 모델을 사용하여 사용자의 보행 의도를 인식하며, 인식 결과 인식 실패가 발생하면 상기 정지 상태로 천이하고, 인식이 성공하면 다음 상태인 천천히 걷기 상태로 천이를 하고, 상기 천천히 걷기 상태로 천이한 상태에서 일정 시간 후에 다시 보행 의도 인식상태로 천이하여 제2 인식 모델을 사용하여 보행 의도를 인식하며, 이때 인식 실패가 발생하면 이전 상태인 천천히 걷기 상태로 천이를 하고, 인식이 성공하면 다음 상태인 빠르게 걷기 상태로 천이하는 인식 과정을 통해 연속적인 동작 의도를 인식하며,
    상기 재활 훈련 상태 피드백부는 재활 훈련 상태에 따라 칭찬 및 격려 메시지, 훈련 속도를 텍스트 또는 음성 형태로 사용자 모니터링 장치인 모니터를 통해 시/청각으로 제공하여 뇌 활성을 유도하기 위한 뉴로피드백을 제시해주는 것을 특징으로 하는 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템.
  2. 행동모방학습 기반으로 사용자 의도 인식을 통해 재활훈련을 수행하는 뇌 훈련 시뮬레이션시스템으로서,
    비침습적인 뇌 활성화 측정 방법으로 사용자의 뇌 신호를 획득 및 처리하는 뇌 신호 획득 및 처리부;
    상기 뇌 신호 획득 및 처리부에서 처리된 뇌 신호 데이터를 기초로 사용자의 동작 의도를 인식하는 사용자 동작의도 해독부;
    상기 사용자 동작의도 해독부에 의해 인식한 사용자 동작 의도에 따라 재활 훈련기를 동작시키고, 재활 훈련 콘텐츠를 제시하는 사용자 의도 표현부;
    상기 사용자 의도 표현부에서 제시한 재활 훈련 콘텐츠에 따라 뇌 활성을 유도하기 위한 뉴로 피드백을 제시하는 재활 훈련 상태 피드백부;
    상기 뇌 신호 획득 및 처리부와 상기 사용자 동작의도 해독부 및 상기 사용자 의도 표현부에서 각각 획득한 훈련상태 정보를 실시간으로 모니터링하는 재활 훈련 상태 모니터링부;
    상기 재활 훈련 상태 모니터링부에 의해 모니터링된 훈련상태 정보를 분석하여 훈련 상태 평가를 위한 판단정보로 제공해주는 사용자 분석부;
    상기 사용자 분석부에 의해 제공된 사용자 훈련 상태 정보와 치료사가 실시간으로 재활 훈련 상태 모니터링부를 통해 분석한 결과를 환자군 또는 정상인의 재활훈련 데이터베이스에 저장하고, 이를 기초로 재활 동작 모드의 변경 여부를 판단하여, 상기 판단 결과를 기초로 재활 훈련 모드의 변경을 위한 피드백을 제시하는 훈련상태 평가부;
    상기 훈련 상태 평가부 및 상기 재활 훈련 상태 피드백부에서 제시된 뉴로 피드백 정보를 기초로 재활 훈련 모드를 결정하여 재활 훈련기를 동작시키는 재활 훈련 모드 결정부를 포함하고,
    상기 사용자 동작의도 해독부는 상기 뇌 신호 데이터를 전처리법 및 웨이블릿 변환을 통해 잡음을 제거하고, 인공지능 기반의 기계학습방법을 통해 사용자의 연속적인 동작의도를 인식하며, 의도 인식 횟수 정보를 상기 재활 훈련 상태 모니터링부에 제공하며,
    상기 사용자 동작의도 해독부는 초기 상태인 정지 상태에서 아바타를 통한 재활 훈련 콘텐츠를 제시하고, 다음 상태인 사용자의 보행 의도 인식상태에서 제1 인식 모델을 사용하여 사용자의 보행 의도를 인식하며, 인식 결과 인식 실패가 발생하면 상기 정지 상태로 천이하고, 인식이 성공하면 다음 상태인 천천히 걷기 상태로 천이를 하고, 상기 천천히 걷기 상태로 천이한 상태에서 일정 시간 후에 다시 보행 의도 인식상태로 천이하여 제2 인식 모델을 사용하여 보행 의도를 인식하며, 이때 인식 실패가 발생하면 이전 상태인 천천히 걷기 상태로 천이를 하고, 인식이 성공하면 다음 상태인 빠르게 걷기 상태로 천이하는 인식 과정을 통해 연속적인 동작 의도를 인식하며,
    상기 재활 훈련 상태 피드백부는 재활 훈련 상태에 따라 칭찬 및 격려 메시지, 훈련 속도를 텍스트 또는 음성 형태로 사용자 모니터링 장치인 모니터를 통해 시/청각으로 제공하여 뇌 활성을 유도하기 위한 뉴로피드백을 제시해주는 것을 특징으로 하는 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템.
  3. 삭제
  4. 청구항 1 또는 청구항 2에서, 상기 사용자 의도 표현부는 인식된 사용자의 연속적인 동작의도에 따라 재활훈련기를 동작시키며, 상기 재활 훈련기의 동작에 따른 사용자의 운동 정보를 획득하는 재활 훈련기 작동부; 상기 획득한 사용자의 운동 정보를 재활 훈련 콘텐츠를 통해 사용자에게 제공하는 재활 훈련 콘텐츠 제시부를 포함하는 것을 특징으로 하는 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템.
  5. 청구항 4에서, 상기 사용자의 운동 정보는 재활 훈련 거리, 재활 훈련 시간, 걸음 수, 보행 패턴, 의도인식에 의한 재활 훈련 거리, 의도인식에 의한 재활 훈련 시간 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템.
  6. 청구항 4에서, 상기 재활 훈련기 작동부는 상기 재활 훈련기 동작 시 연속적인 사용자 의도 인식에 따라 재활 훈련기의 난이도(속도, 강도, 시간) 또는 동작 모드 변경을 제어하는 것을 특징으로 하는 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템.
  7. 청구항 6에서, 상기 재활 훈련기 작동부는 의도 인식 상태 천이도를 기초로 연속적인 사용자 의도 인식에 따라 재활 훈련기의 동작을 제어하는 것을 특징으로하는 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템.
  8. 청구항 4에서, 상기 재활 훈련 콘텐츠 제시부는 가상의 아바타를 동작시켜 사용자가 운동심상 또는 동작관찰과 같은 행동모방학습을 수월하게 할 수 있도록 유도하며, 사용자의 재활 훈련 의도에 따라 가상의 아바타를 동작시켜 인지능력 향상을 위한 재활 훈련 콘텐츠를 제공하는 것을 특징으로 하는 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템.
  9. 청구항 8에서, 상기 재활 훈련 콘텐츠는 재활훈련 몰입을 위한 메시지, 훈련 상태에 대한 텍스트 또는 음성, 훈련의 성적 향상에 따라 뇌 활성의 보상을 유도하기 위한 전기적인 촉각 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템.
  10. 청구항 2에서, 상기 재활 훈련 상태 모니터링부는 재활 훈련기의 동작에 따른 사용자의 운동 정보, 생리 정보, 뇌 신호, 의도 인식 정보를 종합적인 소견 작성과 위험상황 대처 가능한 정보로 피드백해주는 것을 특징으로 하는 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템.
  11. 청구항 2에서, 상기 재활 훈련 상태 모니터링부에 의해 획득된 사용자 재활 훈련 정보를 개인 데이터베이스에 저장하고, 개인별 재활 훈련 정보는 환자군으로 분류된 전체 재활 데이터베이스에 저장하는 정보 데이터베이스를 더 포함하는 것을 특징으로 하는 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템.
  12. 청구항 11에서, 상기 훈련상태 평가부는 재활 훈련 중 실시간으로 획득한 뇌 신호를 분석하여 사용자의 진단 및 질환의 조기감지에 활용하고, 상기 정보 데이터베이스에 축적된 정보를 이용하여 현재 재활중인 사용자의 재활 효과를 평가하는 것을 특징으로 하는 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템.








KR1020170046691A 2017-04-11 2017-04-11 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템 KR102014176B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170046691A KR102014176B1 (ko) 2017-04-11 2017-04-11 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템
US16/500,955 US20200135042A1 (en) 2017-04-11 2018-03-30 Simulator and simulation system for brain training based on behavior modeling
PCT/IB2018/052223 WO2018189614A1 (ko) 2017-04-11 2018-03-30 행동모방학습 기반의 뇌 훈련 시뮬레이터 및 시뮬레이션 시스템
US18/446,885 US20240062671A1 (en) 2017-04-11 2023-08-09 Simulator and simulation system for brain training based on behavior modeling

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170046691A KR102014176B1 (ko) 2017-04-11 2017-04-11 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템

Publications (2)

Publication Number Publication Date
KR20180114692A KR20180114692A (ko) 2018-10-19
KR102014176B1 true KR102014176B1 (ko) 2019-08-26

Family

ID=63792364

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170046691A KR102014176B1 (ko) 2017-04-11 2017-04-11 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템

Country Status (3)

Country Link
US (2) US20200135042A1 (ko)
KR (1) KR102014176B1 (ko)
WO (1) WO2018189614A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210961B2 (en) 2018-03-12 2021-12-28 Neurological Rehabilitation Virtual Reality, LLC Systems and methods for neural pathways creation/reinforcement by neural detection with virtual feedback
US10705596B2 (en) * 2018-05-09 2020-07-07 Neurolofical Rehabilitation Virtual Reality, LLC Systems and methods for responsively adaptable virtual environments
US11243083B2 (en) * 2018-06-11 2022-02-08 International Business Machines Corporation Implementing route generation with augmented reality
KR102276991B1 (ko) * 2018-11-06 2021-07-13 고려대학교 산학협력단 뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 장치 및 방법
CN109859570A (zh) * 2018-12-24 2019-06-07 中国电子科技集团公司电子科学研究院 一种大脑训练方法及系统
JP7200851B2 (ja) * 2019-06-27 2023-01-10 トヨタ自動車株式会社 学習装置、リハビリ支援システム、方法、プログラム、及び学習済みモデル
US11508253B1 (en) * 2020-02-12 2022-11-22 Architecture Technology Corporation Systems and methods for networked virtual reality training
CN111603160A (zh) * 2020-05-21 2020-09-01 江苏学典教育科技有限公司 一种基于儿童脑电生理参数采集与情绪检测的专注力训练方法
US11474596B1 (en) 2020-06-04 2022-10-18 Architecture Technology Corporation Systems and methods for multi-user virtual training
CN113952160A (zh) * 2020-11-26 2022-01-21 深圳华鹊景医疗科技有限公司 融合脑机接口的康复外骨骼控制方法、装置及康复机器人
CN113391701B (zh) * 2021-06-15 2021-12-07 国家康复辅具研究中心 一种融合虚拟现实游戏和意图识别的康复训练方法及系统
KR102379132B1 (ko) * 2021-06-30 2022-03-30 액티브레인바이오(주) 디지털 컨텐츠 기반 치료 정보 제공 장치 및 방법
CN113398422B (zh) * 2021-07-19 2022-08-19 燕山大学 基于运动想象-脑机接口和虚拟现实的康复训练系统及方法
CN114756137B (zh) * 2022-06-15 2022-09-27 深圳市心流科技有限公司 一种针对肌电信号与脑电信号的训练模式调整方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010527086A (ja) * 2007-07-23 2010-08-05 ソウル大学校産学協力団 キャラクタシミュレーション方法およびシステム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101221046B1 (ko) * 2010-11-26 2013-02-13 주식회사 바이오닉스 지능형 외골격 로봇기반의 일상생활 보조 및 재활훈련 시스템
KR101320624B1 (ko) * 2012-01-27 2013-10-23 주식회사 넷블루 통합형 인지 재활 시스템 및 통합형 인지 재활 서비스 제공 방법
KR20140061170A (ko) 2012-11-13 2014-05-21 재단법인대구경북과학기술원 재활 훈련 시스템 및 방법
KR101501524B1 (ko) 2013-01-11 2015-03-18 재단법인대구경북과학기술원 뇌신호와 기능적 전기자극을 결합한 자기주도형 재활 훈련 장치
KR101518575B1 (ko) * 2013-09-06 2015-05-07 세종대학교산학협력단 Bci를 위한 사용자 의도인지 분석 방법
KR101618186B1 (ko) * 2014-05-23 2016-05-04 대한민국 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템 및 제어방법
KR101553854B1 (ko) * 2014-10-01 2015-09-17 계명대학교 산학협력단 뇌파 집중도 피드백을 활용한 게임 기반 운동 재활 시스템 및 방법
KR20170014704A (ko) * 2015-07-31 2017-02-08 전남대학교산학협력단 사용자 의도 인식방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010527086A (ja) * 2007-07-23 2010-08-05 ソウル大学校産学協力団 キャラクタシミュレーション方法およびシステム

Also Published As

Publication number Publication date
KR20180114692A (ko) 2018-10-19
US20200135042A1 (en) 2020-04-30
WO2018189614A1 (ko) 2018-10-18
US20240062671A1 (en) 2024-02-22

Similar Documents

Publication Publication Date Title
KR102014176B1 (ko) 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템
Khan et al. Review on motor imagery based BCI systems for upper limb post-stroke neurorehabilitation: From designing to application
Gordleeva et al. Real-time EEG–EMG human–machine interface-based control system for a lower-limb exoskeleton
US11944446B2 (en) Apparatus, method, and system for pre-action therapy
Deligianni et al. From emotions to mood disorders: A survey on gait analysis methodology
Do et al. Brain-computer interface controlled robotic gait orthosis
JP5320543B2 (ja) 脳機能亢進支援装置および脳機能亢進支援方法
US8938289B2 (en) Motor training with brain plasticity
Koenig et al. Psychological state estimation from physiological recordings during robot-assisted gait rehabilitation
KR20140061170A (ko) 재활 훈련 시스템 및 방법
Sorbello et al. A human–humanoid interaction through the use of BCI for locked-in ALS patients using neuro-biological feedback fusion
RU2622206C2 (ru) Способ реабилитации больных после инсульта или травмы с использованием роботизированного комплекса, включающего экзоскелет конечности человека, управляемый через интерфейс мозг-компьютер посредством воображения движений
JP2009297059A (ja) 脳訓練支援装置
Guerrero et al. Bio cooperative robotic platform for motor function recovery of the upper limb after stroke
US20220187913A1 (en) Neurorehabilitation system and neurorehabilitation method
JP5870465B2 (ja) 脳機能訓練装置および脳機能訓練プログラム
JP5681917B2 (ja) 脳機能亢進支援装置および脳機能亢進支援方法
Deniz et al. Prediction of Lifted Weight Category Using EEG Equipped Headgear
Jeyakumar et al. Virtual Reality-Based Rehabilitation Gaming System
Rodrigues et al. Physiological Self-regulation Using Biofeedback Training: From Concept to Clinical Applicability
PANCINO Development of an EEG-based recurrent neural network for online gait decoding
Kaur et al. Virtual Reality and Movement Disorders
Torres Inherent Noise Hidden in Nervous Systems’ Rhythms Leads to New Strategies for Detection and Treatments of Core Motor Sensing Traits in ASD
Hernández A Brain-Computer Interface for walking using EEG
König Human-in-the-loop control during robot-assisted gait rehabilitation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant