KR20230051962A - 압력 중심 정보를 활용한 감각계 지수 평가 장치 및 그 방법 - Google Patents

압력 중심 정보를 활용한 감각계 지수 평가 장치 및 그 방법 Download PDF

Info

Publication number
KR20230051962A
KR20230051962A KR1020210134980A KR20210134980A KR20230051962A KR 20230051962 A KR20230051962 A KR 20230051962A KR 1020210134980 A KR1020210134980 A KR 1020210134980A KR 20210134980 A KR20210134980 A KR 20210134980A KR 20230051962 A KR20230051962 A KR 20230051962A
Authority
KR
South Korea
Prior art keywords
cop
balance score
artificial intelligence
data
intelligence model
Prior art date
Application number
KR1020210134980A
Other languages
English (en)
Other versions
KR102585275B1 (ko
Inventor
최안렬
Original Assignee
가톨릭관동대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭관동대학교산학협력단 filed Critical 가톨릭관동대학교산학협력단
Priority to KR1020210134980A priority Critical patent/KR102585275B1/ko
Publication of KR20230051962A publication Critical patent/KR20230051962A/ko
Application granted granted Critical
Publication of KR102585275B1 publication Critical patent/KR102585275B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4005—Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
    • A61B5/4023—Evaluating sense of balance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1036—Measuring load distribution, e.g. podologic studies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Neurosurgery (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Dentistry (AREA)
  • Neurology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명의 일 실시예는 압력 중심 정보를 활용하여 감각계 지수를 평가하는 장치에 있어서, 사용자의 동작에 따른 COP(Center of pressure) 데이터를 측정할 수 있으며 회전가능한 COP 데이터 측정부; 상기 COP 데이터를 수신하고, 수신한 상기 COP 데이터를 인공 지능 모델의 입력으로 하여 균형 스코어 추정값을 생성하는 균형 스코어 추정부; 및 상기 균형 스코어 추정값을 기반으로 상기 감각계 지수를 계산하고 평가할 수 있는 감각계 지수 평가부;를 포함하며, 상기 균형 스코어 추정부는 상기 COP 데이터 측정부 회전 여부, 배경벽 회전 여부 및 상기 사용자의 폐안 여부에 따라 설정되는 복수의 조건에 대응하는 균형 스코어를 산출하고, 상기 감각계 지수 평가부는, 체성 감각계, 시각계 및 전정계 중 적어도 하나에 관한 지수에 대해 상기 복수의 조건별 균형 스코어의 적어도 일부를 이용하여 계산하는 것인 감각계 지수 평가 장치를 제공한다.

Description

압력 중심 정보를 활용한 감각계 지수 평가 장치 및 그 방법{APPARATUS FOR EVALUATING SENSORIMOTOR SYSTEM INDEX USING CENTER OF PRESSURE INFORMATION AND METHOD OF THE SAME}
본 발명은 감각계 지수 평가 장치에 관한 것으로, 더욱 상세하게는 서있기 자세의 압력 중심 정보를 이용하여 균형 스코어를 추정하고 감각계 지수를 평가할 수 있는 장치 및 그 방법에 관한 것이다.
어지럼증으로 알려져 있는 현훈은 자신이나 주위 사물이 정지해있음에도 불구하고 움직이는 것 같은 느낌을 받는 지각 현상을 의미한다. 대표적으로 내림프수종에 의해 발생하는 메니에르병과 신경 변성인 전정신경염이 있으며, 이는 어지러움으로 인하여 서있거나 보행 시 올바른 자세를 제어하는데 어려움을 겪는다.
한편, 어지러움 없이 균형된 자세를 유지하는 것은 시각, 전정계 및 체성 감각계의 조화로운 협응 및 통합에 의하여 이루어진다. 시각 시스템은 외부 환경과의 정보 피드백을 통하여 자세를 유지하며, 전정계는 머리의 위치와 움직임을 제어해서 자세를 유지한다. 또한, 체성 감각계는 신경계에 의한 근육 활성을 조절하여 관절의 안정성을 높이고, 그로 인한 안정된 자세를 유지하도록 도움을 준다. 각 감각계는 독립적으로 자세 변화를 감지하고, 중추 신경계는 감각계의 통합된 정보를 기반으로 자세 제어를 위하여 적절하게 근육을 활성화하게 된다. 따라서, 어지러움을 개선하기 위해서는 각 감각계의 균형 능력치를 평가하고, 재활 경과를 정량적으로 확인할 수 있는 과정이 필요하다.
종래에는 어지럼증을 평가하기 위하여 가만히 서있는 자세에서 균형 동요를 발생시키고 밸런스를 평가하는 동적 자세 검사 방법이 있다. 대표적인 동적 자세 검사 방법으로 인체 감각계 입력을 변경하여 자세 제어를 유도하도록 구성된 검사로서 감각계 및 운동 요소를 고립시켜 균형 능력을 평가하는 감각 구성 검사 방법이 있다. 따라서, 체성 감각계 또는 시각 감각계 중 적어도 하나를 조작하여 인체 전/후 방향의 동요량을 측정하고, 정량화된 자세 제어에 미치는 각 감각계의 기여도를 추정할 수 있다.
그러나, 배경벽 및 움직이는 발판을 포함하는 동적 자세 검사기는 큰 사이즈로 공간 활용이 어렵다는 문제가 있다. 또한, 인위적인 조작을 통하여 각 감각계를 평가하는 것은 자세 제어를 위한 통합된 감각계의 기여도를 동시에 평가할 수 없다는 한계가 존재한다.
또 다른 방법으로, 외부의 인위적인 동요 없이 가만히 서 있는 자세에서 압력 중심 궤적을 분석하여 어지럼증을 평가하는 방법이 있다. 압력 중심 궤적은 인체가 균형을 유지하기 위하여 몸체가 어떻게 움직이는 것이지를 반영하는 변수로써, 압력 중심 궤적의 이동 면적 및 속도 등과 같은 시계열 변수를 활용하여 균형 능력을 평가할 수 있다. 이러한 방식은, 압력 중심 주파수 대역을 나누어 감각계의 기여를 분석하기 때문에, 평가자가 설정하는 주파수 대역에 따라서 다르게 표현되어 변동성이 크게 발생한다는 문제점이 있다. 즉, 명확하게 자세 제어에 영향을 미치는 감각계 능력치를 결정할 수 없다는 한계가 존재한다.
이로써, 다양하고 복잡한 압력 중심 주파수와 감각계의 기여도에 대한 관련성을 파악하여, 감각계의 기여도를 정확하게 추정할 수 있는 기술이 필요한 실정이다.
본 발명이 이루고자 하는 기술적 과제는 상세하게는 서있기 자세의 압력 중심 정보를 이용하여 균형 스코어를 추정하고 감각계 지수를 평가할 수 있는 장치 및 그 방법을 제공하는 것이다.
또한, 본 발명이 이루고자 하는 기술적 과제는 비교적 간단한 구성으로 감각계별 균형을 유지하는데 기여하는 정도를 정확하게 파악할 수 있는 감각계 지수 평가 장치 및 그 방법을 제공하는 것이다.
또한, 본 발명이 이루고자 하는 기술적 과제는 복잡한 압력 중심 주파수가 필요없이 균형 스코어를 추정할 수 있는 감각계 지수 평가 장치 및 그 방법을 제공하는 것이다.
또한, 본 발명이 이루고자 하는 기술적 과제는 추정되는 균형 스코어를 부호화/복호화함으로써 분류 정확성을 향상시킬 수 있는 감각계 지수 평가 장치 및 그 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 압력 중심 정보를 활용하여 감각계 지수를 평가하는 장치는, 사용자의 동작에 따른 COP(Center of pressure) 데이터를 측정할 수 있으며 회전가능한 COP 데이터 측정부 및 상기 COP 데이터를 수신하고, 수신한 상기 COP 데이터를 인공 지능 모델의 입력으로 하여 균형 스코어 추정값을 생성하는 균형 스코어 추정부 및 상기 균형 스코어 추정값을 기반으로 상기 감각계 지수를 계산하고 평가할 수 있는 감각계 지수 평가부를 포함하며, 상기 균형 스코어 추정부는 상기 COP 데이터 측정부 회전 여부, 배경벽 회전 여부 및 상기 사용자의 폐안 여부에 따라 설정되는 복수의 조건에 대응하는 균형 스코어를 산출하고, 상기 감각계 지수 평가부는, 체성 감각계, 시각계 및 전정계 중 적어도 하나에 관한 지수에 대해 상기 복수의 조건별 균형 스코어의 적어도 일부를 이용하여 계산할 수 있다.
한편, 상기 인공 지능 모델은 상기 COP 데이터를 입력으로하여, 상기 COP 데이터 측정부 회전 여부, 배경벽 회전 여부 및 상기 사용자의 폐안 여부의 따라 설정되는 복수의 조건별로 상기 균형 스코어 추정값을 출력할 수 있다.
상기 균형 스코어 추정부는 상기 COP 데이터를 국소시간 마다 쪼갠 윈도우 마다 푸리에 변환을 수행하는 Short time Fourier transform (STFT) 과정을 통하여 주파수 영역으로 변환하고, 주파수 영역으로 변환된 상기 COP 데이터를 이용하여 상기 인공 지능 모델을 학습할 수 있다.
상기 인공 지능 모델은 ResNet(Residual Network) 아키텍처를 포함하며, 초키 컨볼루션 레이어를 제외한 나머지 층은 3 X 3 사이즈의 컨볼루션 필터가 적용되고, 컨볼루션 스트라이드 크기는 2로 설정될 수 있다.
또한, 상기 인공 지능 모델은 완전 연결 레이어(Fully connected layer)를 이용하여 상기 균형 스코어 추정값을 부호화/복호화하는 분류기가 적용될 수 있다.
또한, 본 발명의 실시예에 따른 압력 중심 정보를 활용하여 감각계 지수를 평가하는 방법은, a) COP 데이터 측정부 회전 여부, 배경벽 회전 여부 및 사용자의 폐안 여부의 따라 설정되는 복수의 조건별로 COP 데이터를 수집하고, 수집된 상기 COP 데이터를 기초로 균형 스코어를 추출하여 인공 지능 모델을 구축하는 단계, b) 상기 COP 데이터 측정부로부터 COP 데이터를 수신하는 단계, c) 상기 수신한 COP 데이터를 상기 구축된 인공 지능 모델에 입력하는 단계, d) 입력된 상기COP 데이터를 기반으로 상기 복수의 조건별로 대응되는 균형 스코어 추정값을 생성하는 단계 및 e) 상기 복수의 조건별로 생성된 상기 균형 스코어 추정값으로 상기 감각계 지수를 계산하고 평가하는 단계를 포함할 수 있다.
여기서, 상기 a) 단계는, 수집된 상기 COP 데이터를 국소시간 마다 쪼갠 윈도우 마다 푸리에 변환을 수행하는 Short time Fourier transform (STFT) 과정을 통하여 주파수 영역으로 변환하고, 주파수 영역으로 변환된 상기 COP 데이터를 이용하여 상기 인공 지능 모델을 학습할 수 있다.
본 발명의 실시예에 따르면, 사용자가 가만히 서있는 자세에서 획득한 압력 중심 데이터를 기반으로 다양한 설정 조건별 균형 스코어를 추정할 수 있기 때문에 복잡한 장비와 넓은 실험 공간을 필요로 하지 않는다.
또한, 본 발명의 실시예에 따르면, 균형 동요를 발생시키기 위한 인위적인 조작과 별도의 장비를 필요로 하지 않으므로 관리 인력 없이도 감각계 평가가 가능하다.
또한, 본 발명의 실시예에 따르면, 다양하고 복잡한 COP 주파수와 각 감각계별 균형을 유지하는데 기여하는 정도에 관한 관련성을 인공 지능 모델의 입력 및 출력으로 모델링하고 학습함으로써, 감각계를 통합적으로 평가할 수 있다.
또한, 본 발명의 실시예에 따르면, 인공 지능 모델의 출력을 부호화/복화하는 분류기를 적용함으로써, 분류 정확도를 향상시키고 인공 지능 모델의 학습 성능을 극대화할 수 있다.
또한, 본 발명의 실시예에 따르면, 감각계에 문제가 있는 환자들은 수치화된 감각계별 평가 결과를 지속적으로 확인함으로써, 재활 경과를 정량적으로 평가할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도1은 본 발명의 실시예에 따른 감각계 지수 평가 장치를 도시하는 도면이다.
도2는 본 발명의 실시예에 따른 COP 데이터를 획득하는 것을 도시하는 도면이다.
도3은 본 발명의 실시예에 따른 인공 지능 모델을 구축하는 방법을 도시하는 도면이다.
도4는 본 발명의 실시예에 따른 COP 데이터 및 인공 지능 모델을 설정하는 방법을 도시하는 도면이다.
도 5는 본 발명의 실시예에 따른 인공 지능 모델의 ResNet의 아키텍처를 도시하는 도면이다.
도6은 본 발명의 실시예에 따른 인공 지능 모델을 이용하여 균형 스코어를 추정하고 감각계 지수를 계산하는 방법을 도시하는 도면이다.
도7은 본 발명의 실시예에 따른 정상인의 감각계 검사에 대한 6가지 조건에서 전/후방 및 내/외측 COP 데이터 변이를 도시하는 도면이다.
도 8은 본 발명의 실시예에 따른 COP 데이터의 대표 전/후방 시계열 파워 스펙트럼을 도시하는 도면이다.
도 9는 본 발명의 따른 인공 지능 모델을 이용하여 추정된 균형 스코어 추정값을 도시하는 도면이다.
도10은 본 발명의 실시예에 따른 인공 지능 모델을 기반으로 추정한 균형 스코어 추정값에 대한 혼동 행렬을 도시하는 도면이다.
도 11은 본 발명의 실시예에 따른 감각계의 지수를 계산한 결과를 도시하는 도면이다.
도 12는 본 발명의 실시예에 따른 인공 지능 모델을 이용하여 추정한 균형 스코어와 실측정된 균형 스코어를 구체적으로 비교한 것을 도시하는 도면이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도1은 본 발명의 실시예에 따른 감각계 지수 평가 장치를 도시하는 도면이다.
도1을 참조하면, 감각계 지수 평가 장치(100)는 COP 데이터 측정부(110), 배터리(120), 통신 모듈(130), 마이크로 컨트롤러(MCU: Micro Controller Unit)(140), 균형 스코어 추정부(150) 및 감각계 지수 평가부(160)를 포함할 수 있다.
먼저, COP 데이터 측정부(110)는 사용자의 족저면의 하부에 위치하여, 가만히 서있을 시, 좌우 발에 분산되는 COP(Center Of Pressure) 데이터를 검출할 수 있다. COP 데이터는 사용자의 발이 COP 데이터 측정부(110)에 닿는 접촉면 전체 중에 발을 통해 지면에 가해지는 힘의 합력이 작용되는 위치이다.
또한, COP 데이터 측정부(110)는 설정에 따라 고정되거나 회전할 수 있다. 이 때, 사용자는 가만히 서있는 자세를 COP 데이터 측정부(110) 위에서 수행할 수 있다.
배터리(120)는 감각계 지수 평가 장치(100)에 구비된 구성요소에 전원을 공급할 수 있다.
통신 모듈(130)은 감각계 지수 데이터를 노트북(T). 스마트폰(P) 등 기기로 송수신할 수 있다. 노트북(T), 스마트폰(P) 등 기기는 감각계 지수 데이터 및 재활 경과 등을 표시할 수 있다.
마이크로 컨트롤러(MCU)(140)는 COP 데이터 측정부(110) 및 통신 모듈(130)을 제어할 수 있다. 일 예로, 마이크로 컨트롤러는 I2C(Inter-Integrated Circuit), SPI(Serial Peripheral Interface), SCI(Serial Communication Interface), ECAN(Enhanced Controller Area Network) 등의 통신 방식을 이용해 COP 데이터 측정부(110)를 제어할 수 있으며, 통신 모듈(130)과 노트북(T), 스마트폰(P) 등 기기 간의 송수신을 제어할 수 있다.
균형 스코어 추정부(150)는 COP 데이터 측정부(110)로부터 COP 데이터를 수신할 수 있으며, 수신한 COP 데이터를 이용하여 균형 스코어를 출력할 수 있다.
구체적으로, 균형 스코어 추정부(150)에 인공 지능 모델을 저장할 수 있으며, 인공 지능 모델은 COP 데이터를 입력으로 하여 균형 스코어를 추정할 수 있다.
인공 지능 모델은 인공 신경망의 층이 깊어질수록 파라미터 수가 늘어남에 따라 발생하는 에러를 해결하기 위하여 중간 층을 뛰어넘음으로써 입력과 출력이 같도록 학습할 수 있는 Shortcut connection 방식을 이용한 인공 지능 모델 RestNet(Residual Network)로 구현될 수 있다.
또한, 데이터 처리 장치(150)는 노트북(T) 또는 스마트폰(P)와 같은 스마트 장치에 구현되거나, 원격 서버에 구현되어 데이터 통신을 통해 동일한 기능을 수행하는 것도 가능할 수 있다.
감각계 지수 평가부(160)는 균형 스코어 추정부(150)에서 추정된 균형 스코어를 기반으로 각 감각계의 지수를 평가할 수 있다.
일 예로, 감각계 지수 평가부(160)는 추정된 균형 스코어를 기초로 하여 체성 감각계, 시각계, 전정계 및 시각 의존비를 계산할 수 있다. 체성 감각계는 시각이 제거되었을 때 자세 안정성을 의미하며, 시각계는 체성의 변화에 따른 자세 안정성을 의미한다. 전정계는 체성과 시각의 변화에 따라 나타나는 자세 안정성을 의미하며, 시각 의존비는 시각에 대한 과도한 의존 정도를 수치화해서 나타낸 것을 의미한다.
도2는 본 발명의 실시예에 따른 COP 데이터를 획득하는 것을 도시하는 도면이다.
도2를 참조하면, COP 데이터 측정부(110)와 배경벽(S)의 설정에 따른 사용자의 COP 데이터를 획득할 수 있다.
예를 들어, 사용자는 COP 데이터 측정부(110) 와 배경벽(S)의 설정에 따른 6가지 조건에서 가만히 서있는 자세를 수행할 수 있다. 이 때, COP 데이터 측정부
(110)와 배경벽(S)는 6가지 조건에 따라서 1회에 20초씩, 각 3회 동작할 수 있다.
COP 데이터 측정부(110)는 COP 데이터 측정부(110)와 배경벽(S)은 고정되어 있고 사용자는 눈을 뜬 상태(조건1), COP 데이터 측정부(110)와 배경벽(S)은 고정되어 있고 사용자는 눈을 감은 상태(조건 2), COP 데이터 측정부(110)는 고정되어 있고 배경벽(S)는 상하 회전하고 있는 상황에서 사용자는 눈을 감은 상태(조건 3), 배경벽(S)은 고정되어 있지만 COP 데이터 측정부(110)는 상하 회전하는 상황에서 사용자는 눈을 뜬 상태(조건 4), 배경벽(S)은 고정되어 있고 COP 데이터 측정부(110)은 상하 회전하는 상황에서 사용자는 눈을 감은 상태(조건 5) 및 COP 데이터 측정부(110)와 배경벽(S)이 모두 상하 회전하는 상황에서 사용자는 눈을 뜬 상태(조건 6)에서 COP 데이터를 측정할 수 있다. 여기서, COP 데이터 측정부(110)와 배경벽(S)의 상하 회전량은 COP의 전후 방향 이동량을 기반으로 계산될 수 있다.
또한, 인공 지능 모델 구축부(200)는 COP 데이터 측정부(110)에서 측정된 6가지 조건의 COP 데이터를 수신할 수 있다. 인공 지능 모델 구축부(200)는 수신한 COP 데이터를 인공 지능 모델의 학습 데이터 및 검증 데이터로 사용할 수 있다.
따라서, 조건 2와 조건 5를 기반으로 폐안으로 인한 균형 유지의 체성이나 전정계의 역할을 확인할 수 있으며, 조건 4, 조건 5 및 조건 6으로 체성의 기능을 억제한 시각과 전정계의 역할을 확인할 수 있다. 또한, 조건 3과 조건 6으로 부적절한 각의 영향을 억제할 수 있는지에 대한 것을 확인할 수 있다.
도3은 본 발명의 실시예에 따른 인공 지능 모델을 구축하는 방법을 도시하는 도면이다.
단계(S110)에서, 인공 지능 모델의 입력으로 사용될 COP 데이터를 수집할 수 있다. 도2에서 전술한 바와 같이, COP 데이터 측정부(110)와 배경벽(S)의 설정에 따른 6가지 조건에서의 COP 데이터를 수집할 수 있다. 예컨대, COP 데이터 측정부(110) 및 배경벽(S)의 회전 유무와 사용자의 폐안 여부를 설정함으로써 측정된 COP 데이터를 수집할 수 있다.
단계(S120)에서, 수집된 데이터들을 전처리 할 수 있다. 일 예로, 수집된 COP 데이터를 기반으로 COP 궤적을 도출할 수 있다. COP 궤적은 인체가 균형을 유지하기 위하여 몸체가 어떻게 움직이는 것인지를 반영하는 것으로써, 사용자의 자세 제어 능력을 평가하기 위한 인공 지능 모델의 입력으로 사용될 수 있다.
또한, 도출된 COP 궤적의 선형 추세선을 제거하고, 추세선이 제거된 COP 궤적에 저역 통과 필터를 적용하여 노이즈를 제거할 수 있다.
단계(S130)에서, 전처리된 데이터를 기초로 하여 부호화된 균형 스코어를 추출할 수 있다. 일 예로, COP 데이터 처리부 및 배경벽의 회전 유무와 사용자의 폐안 여부에 따라 측정되는 COP 데이터에 대응되는 균형 스코어를 계산할 수 있다. 즉, 6가지 조건에서 측정된 COP 데이터를 기초로 하여 각 조건별로 균형 스코어를 계산할 수 있다.
또한, 계산된 균형 스코어를 일정한 간격으로 분류하는 부호화 과정이 수행될 수 있다. 균형 스코어를 부호화함으로써, 균형 스코어를 분류하는 클래스 수를 줄일 수 있기 때문에 분류 정확도를 높일 수 있다.
단계(S140)에서는, 수집된 COP 데이터와 부호화된 균형 스코어를 이용하여 인공 지능 모델을 설정할 수 있다. 인공 지능 모델 설정의 상세 구성은 도 4 및 도 5를 참조하여 상술하기로 한다.
일 예로, 사용된 CNN ResNet 인공 지능 모델은 학습 알고리즘을 최적화하기 위하여 Stochastic gradient descent (SGD) optimizer를 적용할 수 있다. 해당 인공 지능 모델은 초기 컨볼루션 층을 제외한 나머지 층은 3 by 3 사이즈의 컨볼루션 필터를 사용할 수 있으며, 피쳐 맵의 사이즈를 줄이기 위해서 풀링 레이어 대신 컨볼루션 스트라이드의 크기를 2로 설정될 수 있다. feature map의 사이즈가 반으로 줄어들 때 피쳐 맵의 깊이를 2배로 높일 수 있도록 설정될 수 있다. 검증 데이터 세트 20%, 학습 데이터 세트 80%로 데이터를 구성할 수 있다.
또한, COP 데이터를 이용하여 균형 스코어 추정 값을 출력할 수 있는 인공 지능 모델을 설정할 수 있다.
단계(S150)에서, 설정된 인공 지능 모델로 COP 데이터를 이용하여 복호화된 균형 스코어 추정값을 출력할 수 있다. 인공 지능 모델은 COP 데이터의 COP 궤적을 균형 스코어 추정값을 추정하는데 필요한 입력값으로 사용할 수 있다. 또한, 인공 지능 모델의 학습 결과인 균형 스코어 추정값을 테스트하기 위하여 부호화된 균형 스코어 추정값을 복호화할 수 있다.
단계(S160)에서, 출력된 균형 스코어 추정값의 정확도를 평가할 수 있다. 인공 지능 모델에서 추정한 균형 스코어 추정값을 실측정값과 비교할 수 있다. 또한, 인공 지능 모델의 균형 스코어 추정값을 기초로 하여 계산된 각 감각계별 지수와 실측정되어 도출된 균형 스코어값을 기초로 하여 계산된 각 감각계별 지수를 비교하여 정확도를 평가할 수 있다.
도4는 본 발명의 실시예에 따른 COP 데이터 및 인공 지능 모델을 설정하는 방법을 도시하는 도면이다.
전처리 단계(S120)에서 수집된 COP 데이터를 전처리 할 수 있다. COP 데이터는 전후방향으로 측정된 로우(Raw)데이터일 수 있다. 또한, 수십된 COP 데이터를 이용하여 COP 궤적을 도출할 수 있다. COP 궤적은 COP데이터의 회전 각도를 기반으로 도출할 수 있다. 또한, 전처리 단계(S120)은 추세선 제거 및 필터링 단계(S121), 데이터 증강 단계(S122) 및 주파수 분석 단계(S123)를 포함할 수 있다.
먼저, 단계(S121)에서, 도출된 COP 궤적의 선형 추세선을 제거할 수 있다. 또한, 추세선이 제거된 COP 궤적은 저역 통과 필터를 적용하여 노이즈를 제거할 수 있다. 이 때, 저역 통과 필터는 4차 버터워스 필터를 활용할 수 있으며, 컷오프 주파수는 5Hz로 세팅할 수 있다.
데이터 증강 단계(S122)는 인공 지능 모델의 학습 성능을 높이기 위하여 충분한 학습 데이터를 확보하도록 수행될 수 있다. 일 예로, 랜덤 노이즈를 추가하는 지터링(Jittering)과 데이터 세트의 데이터 분포가 일정하도록 변경하는 스케일(Scaling) 기법을 활용하여, COP 데이터의 10% 이내에서 증강되도록 할 수 있다.
단계(S123)에서, COP 데이터를 주파수 영역으로 변환할 수 있다. 일 예로, Short time Fourier transform (STFT) 과정을 수행하여 COP 데이터를 주파수 영역으로 변환할 수 있다. 또한, STFT 과정은 시간에 대한 정보를 표현할 수 없는 일반적인 푸리에 변환과 달리 국소 시간 단위로 쪼갠 뒤 쪼개진 윈도우(Window)마다 푸리에 변환을 하는 것이다. 따라서, COP 데이터를 주파수 영역으로 변환하기 위하여STFT 과정을 수행함으로써 시간에 따른 COP 주파수 변화를 관찰할 수 있다.
이로써, 시간에 따른COP 주파수 대역으로 변환된 COP 데이터를 인공 지능 모델을 학습하기 위한 입력 데이터로 사용할 수 있기 때문에, 종래의 각 감각계를 평가하기 위해서 다양하고 복잡한 COP주파수 대역을 필요로 하고, 연구자마다 설정하는 COP 주파수 대역이 다름으로써 발생하는 불명확성의 문제점을 해결할 수 있다.
단계(S130)에서, 전처리된 데이터를 기반으로 균형 스코어를 추출할 수 있다. 이 때, 추출된 균형 스코어는 부호화될 수 있다. 일 예로, 균형 스코어의 1부터 100까지의 점수를 5점 간격으로 분류하여 20개의 클래스로 나눌 수 있다. 균형 스코어를 부호화함으로써 클래스의 수가 감소되어 분류 정확도를 향상시킬 수 있다.
단계(S140)에서, 인공 지능 모델을 설정할 수 있다. 단계(S140)은 데이터 세트 분할 단계(S141), 특징 추출 단계(S142), 인공 지능 모델 학습 단계(S143) 및 인공 지능 모델 테스트 단계(S144)를 포함할 수 있다.
먼저, 단계(S140)은 COP 데이터를 학습 데이터 세트와 검증 데이터 세트로 분할할 수 있다. 학습 데이터 세트와 검증 데이터 세트를 분할함으로써 학습 데이터에서만 높은 예측력을 보이는 과적합(overfitting)을 방지할 수 있다. 일 예로, 학습 데이터 세트 80% 및 검증 데이터 세트 20%로 데이터 세트를 구성할 수 있다.
단계(S142)에서, 인공 지능 모델의 학습에 필요한 특징을 학습 데이터 세트에서 추출할 수 있다.
단계(S143)에서, 인공 지능 모델은 추출된 특징을 학습하여 균형 스코어를 추정할 수 있다. 예를 들어, 인공 지능 모델은 균형 스코어를 추정하기 위하여 데이터의 특징을 추출하여 학습하는 딥러닝 모델을 사용할 수 있다. 일 예로, 인공 지능 모델은 ResNet(Residual Network) 아키텍처로 구현될 수 있다. ResNet은 입력과 출력이 같도록 학습하여 잔차를 최소화할 수 있는 인공 지능 모델로서, 특징을 추출하여 이미지를 분류 및 인식하는 것이 가능한 CNN(Convolutional Neural Network) 모델의 하나이다.
단계(S144)에서, 인공 지능 모델을 테스트할 수 있다. 학습 데이터 세트로 학습된 인공 지능 모델을 검증 데이터 세트를 이용하여 실측정값과 추정값을 평가할 수 있다. 또한, 평가 결과에 따라 인공 지능 모델의 수정 여부를 판단할 수 있다. 인공 지능 모델의 수정이 필요하다고 판단된 경우, 실측정값과 추정값의 오차가 감소되도록 인공 지능 모델을 수정할 수 있다. 즉, 인공 지능 모델의 오차를 감소하기 위하여 단계(S141) 내지 단계(S144)를 반복적으로 수행할 수 있다.
일 예로, 인공 지능 모델을 5-fold cross validation 방식으로 테스트할 수 있다. 이는 검증 데이터 세트가 달라질 때마다 정확도가 변하는 문제를 보완하기 위한 방법으로써 학습 데이터 세트 테스트 검증 세트를 5번 나누어 테스트하는 방식이다. 구체적으로 학습 데이터 세트 검증 데이터 세트를 부분적으로 번갈아 바꿔가며 여러 개의 학습 데이터 세트와 검증 데이터 세트를 만들고, 이로 인해 만들어진 각각의 데이터 세트에 대한 결과를 출력하여 인공 지능 모델을 검증하는 것에 활용할 수 있는 방법이다.
단계(S150)에서, 추정된 균형 스코어를 복호화할 수 있다. 후술하겠지만, 복호화된 균형 스코어 추정값은 정확도를 평가하는데 사용될 수 있다.
단계(S160)에서 복호화된 균형 스코어 추정값과 실측정값을 비교하여 평가할 수 있다. 예를 들어, 각 조건별 균형 스코어 추정값과 실측정값의 차이를 평가하기 위하여 일원분산분석을 수행함으로써 인공 신경 모델의 정확도를 평가할 수 있다. 또한, 분산분석의 귀무가설을 기각할 시 사후 감정으로 집단간 차이를 분석할 수 있다. 균형 스코어 추정값과 실측값의 오차간 차이는 두 그룹간의 평균 또는 한 그룹의 평균과 특정값의 차이가 존재하는지 검정하는 방법인t 검정을 통하여 평가될 수 있다.
도 5는 본 발명의 실시예에 따른 인공 지능 모델의 ResNet의 아키텍처를 도시하는 도면이다.
먼저, ResNet은 CNN 인공 지능 모델의 하나로, 일반적으로 컨볼루션 레이어, 풀링 레이어, 완전 연결 레이어 (Fully connected layer) 로 구성된다. CNN은 특징을 추출하고 학습을 통해 데이터들을 특정 클래스로 분류할 수 있다. 또한, ResNet 아키텍처는 레이어간의 연결이 연속된 것뿐만 아니라 중간을 뛰어넘어 입력 데이터를 그대로 전달하는 Skip connnection을 할 수 있다. 즉, ResNet은 Skip connnection을 적용하여 서로 떨어져 있는 층과의 연결을 허용할 수 있다. 따라서, 이와 같은 방법은 입력과 출력이 같도록 학습함으로써, 잔차를 최소화할 수 있고, 연산이 비교적 간단하기 때문에 빠르게 학습할 수 있다는 효과가 존재한다.
도5를 참조하면, 조건 1의 COP 궤적을 푸리에 변환을 통하여 구한 주파수당 에너지 분포인 파워 스펙트럼 밀도 (Power spectral density)를 인공 지능 모델에 입력할 수 있다. 일 예로, 파워 스펙트럼 밀도는 RGB 3채널 영상으로 변환되고, 영상 사이즈는 224 by 244의 해상도로 리사이징 될 수 있다.
또한, 인공 지능 모델은 초기2 D 컨볼루션 레이어 및 초기 풀링 레이어에서 입력 데이터로 사용한 파워 스펙트럼 밀도의 특징을 추출할 수 있다. 초기 2D 컨볼루션 레이어는 7 by 7 필터가 적용되어 데이터의 특징을 추출할 수 있다. 2D 컨볼루션 레이어는 여러 형태의 층을 형성할 수 있으며, 초기 2D 컨볼루션 레이어를 제외한 나머지 레이어는 3 by 3 사이즈의 컨볼루션 필터를 사용할 수 있다. 이 때, 필터가 입력 데이터를 지정된 간격(스트라이드, Stride)으로 순회하며 채널별 합성 곱을 합한 피처 맵(Feature Map)의 사이즈를 반으로 축소하는 경우, 피처 맵의 깊이를 2배 높일 수 있다. 또한, 피처 맵의 사이즈를 줄이기 위하여 필터가 입력 데이터를 순회하는 간격인 컨볼루션 스트라이드의 크기를 2로 설정할 수 있다. 즉, 스트라이드 크기가 2로 설정되어 필터는 2칸씩 이동하며 입력데이터의 합성곱을 계산할 수 있다.
또한, 풀링 레이어는 2D 컨볼루션 레이어 다음에 위치할 수 있으며, 공간을 축소함으로써 오버피팅이 발생하는 것을 방지할 수 있다. 오버피팅은 인공 지능 모델이 학습 데이터만 최적화되어 학습 데이터 정확도가 높지만, 새로 입력 받는 검증 데이터의 정확도가 낮아지는 현상이다. 인공 지능 모델은 평균 풀링(Average pooling) 방식이 적용되어, 대상 영역의 평균값을 구함으로써 공간을 축소할 수 있다.
또한, 최종 완전 연결 레이어(Fully connected layer)는 클래스를 20개로 분류하기 위하여20개로 설정될 수 있다. 완전 연결 레이어는 1차원 배열의 형태로 평탄화된 행렬을 통해 분류를 결정하는 레이어로, 출력을 부호화하기 위한 클래스를 설정할 수 있다. 이는, 1점 내지 100점으로 출력되는 균형 스코어를 100개의 클래스로 정확히 분류하는 것은 어렵기 때문에, 균형 스코어를 5점 단위로 부호화하여 20개의 클래스로 분류하기 위한 것이다. 따라서, 완전 연결 레이어를 통해 분류 정확도를 향상시킬 수 있다.
또한, 인공 지능 모델의 활성 함수로 비선형 함수인Rectified Linear Units(ReLU)를 사용할 수 있다. 이는, 기본 선형 특성을 나타내는 레이어에 비선형을 증가시켜 줄 수 있기 때문에, 입력 값이 음수인 경우에는 0으로, 양수인 경우에는 입력 값을 그대로 출력할 수 있다. 따라서, 역방향으로 가중치를 조정하여 오차를 최소화할 수 있는 방법인 오류 역전파(Backpropagation of errors)를 수행할 시, 종래의 Sigmoid 활성 함수에서 나타나는 경사도가 사라지는 문제를 해결할 수 있으며 결과에 빠르게 수렴할 수 있다.
소프트 맥스는 입력 데이터를 복수의 클래스로 분류하는데 쓰일 수 있으며, 분류하고 싶은 클래스의 수만큼 출력으로 구성하는 것이 가능하다. 또한, 소프트 맥스는 출력의 총합이 1이 되도록, 입력 데이터가 각 클래스에 대응되는 확률을 0과 1사이의 실수로 출력할 수 있다. 따라서, 소프트 맥스를 이용하여 균형 스코어 추정값이 각 20개의 클래스에 대응되는 확률을 출력할 수 있다. 즉, 소프트 맥스를 기반으로 균형 스코어 추정값이 클래스 1에 대응될 확률 내지 클래스 20에 대응될 확률을 출력할 수 있다.
도6은 본 발명의 실시예에 따른 인공 지능 모델을 이용하여 균형 스코어를 추정하고 감각계 지수를 계산하는 방법을 도시하는 도면이다.
단계(S210)에서, COP 데이터를 인공 지능 모델에 입력할 수 있다. 예를 들어, 인공 지능 모델은 COP 데이터 측정부와 배경벽이 고정되어 있고 사용자가 눈을 뜬 상태로 가만히 서있는 상태에서 획득된 COP 데이터를 인공 지능 모델의 입력으로 사용할 수 있다. 즉, 도 2에 도시된 감각계 지수를 평가하기 위한 6가지 조건 중 조건 1의 COP 데이터를 인공 지능 모델의 입력 데이터로 사용하여 조건 2 내지 조건 6의 균형 스코어를 추정할 수 있다.
단계(S220)에서, 입력된 데이터를 이용하여 균형 스코어를 추정할 수 있다. 일 예로, 입력된 COP 데이터로부터 COP 궤적을 도출하고, 도출된 COP 궤적을 기반으로하여 각 조건별 균형 스코어를 추정할 수 있다.
또한, COP 궤적을 기반으로 인체 무게 중심의 회전 각도를 계산할 수 있다. 사용자가 서 있는 상태에서 무게 중심의 최대 각도를 12.5도로 설정하고, 이를 100%로 정규화할 수 있다. 즉, 사용자의 무게 중심의 각도가 0도이면 가장 안정된 상태로서 균형 스코어는 100점이며, 각도가 12.5도이면 0점이 부여되도록 설정할 수 있다.
또한, 1점 내지 100점으로 부여된 균형 스코어 추정값은 분류 정확도를 향상시키기 위하여 5점 단위로 부호화될 수 있다. 즉, 균형 스코어 추정값을 부호화하여 20개의 클래스로 분류할 수 있다.
단계(S230)에서, 각 조건별로 추정된 균형 스코어를 이용하여 감각계 지수를 계산할 수 있다. 예를 들어, 체성 감각계는 조건 2에 대응되는 균형 스코어 추정값을 조건1에 대응되는 균형 스코어 추정값으로 나누어 계산될 수 있다. 이는 시각이 제거되었을 때의 자세 안정성을 의미한다. 또한, 시각계는 조건4에 대응되는 균형 스코어 추정값을 조건 1에 대응되는 균형 스코어 추정값으로 나누어 계산될 수 있다. 전정계는 조건 5에 대응되는 균형 스코어 추정값을 조건 1에 대응되는 균형 스코어 추정값으로 나눈 값이며, 체성과 시각의 입력이 변경되었을 나타나는 자세 안정성을 의미한다. 그리고, 시각 의존비는 조건 3에 대응되는 균형 스코어와 추정값과 조건 6에 대응되는 균형 스코어 추정값의 합을 조건 2에 대응되는 균형 스코어 추정값과 조건 5에 대응되는 균형 스코어 추정값의 합으로 나누어 계산할 수 있다. 즉, 시각 의존비는 시각 정보에 대한 과도한 의존 정도를 수치화한 것이다. 이로써, 감각계 지수 평가 장치는 인공 지능 모델을 이용하여 각 조건별 균형 스코어를 추정하고, 추정된 균형 스코어를 기반으로 감각계별 지수를 계산할 수 있다.
단계(S240)에서, 계산된 감각계 지수를 출력함으로써, 체성감각계, 시각 및 전정계가 균형을 유지하는데 기여하는 정도를 분석하고 시각이 균형을 유지하는 것에 의존하는 정도를 평가할 수 있다.
도7은 본 발명의 실시예에 따른 정상인의 감각계 검사에 대한 6가지 조건에서 전/후방 및 내/외측 COP 데이터 변이를 도시하는 도면이다.
일 예로, 정상인은 말초성 현훈 질환 메니에르 및 전정신경염 환자에 해당하지 않는 사용자를 포함할 수 있다. 이 때, 말초성 현훈 질환 메니에르는 내림프수종(endolymphatic hydrops)에 의해 발생하는 막미로(membranous labyrinth) 질환으로, 회전감 있는 어지럼증 증상과 청력 저하 증상이 나타나는 증상이다. 메니에르는 청력검사, 전정기능 검사 등을 통하여 진단될 수 있다. 또한, 전정신경염은 말초 전정기관이나 전정신경에 염증이 일어난 것으로 전정신경에 발생하는 염증으로 인해 심한 어지럼증이 나타난다. 이로써, 전정신경염 환자는 몸의 평형을 감지하는 전정기관에 발생한 염증으로 인해 수집된 평형 감각의 정보를 뇌로 전달하지 못할 수 있다.
또한, 감각계 검사에 대한 6가지 조건은 도2에 도시된 체성감각계, 시각계 및 전정계가 균형을 유지하기 것에 기여하는 정도를 확인위해 설정된 조건이다.
도7을 참조하면, 정상인의 COP 데이터 변위 패턴은 각 조건별로 다르게 나타나는 것을 확인할 수 있다. 또한, 정상인의 COP데이터 변위는 조건 1내지 조건 3에 비하여 조건 4 내지 조건 6에서 전/후방 및 내/외측의 변위 크기와 변동이 증가하는 것을 확인할 수 있다. 이로써, 정상인의 COP데이터 변위는 조건이 어려워질수록 시각계나 체성감각계 등을 없애거나 교란시켰을 때 남은 감각계만으로 자세 제어를 해야 되기 때문에 모든 감각계가 동원된 조건 1에 비하여 더 많은 흔들림이 발생한 것으로 판단할 수 있다.
도 8은 본 발명의 실시예에 따른 COP 데이터의 대표 전/후방 시계열 파워 스펙트럼을 도시하는 도면이다.
도 8을 참조하면, (A)는 도 2에 도시된 감각계 검사에 대한 6가지 조건에서 정상인의 COP 데이터에 대한 전/후방 시계열 파워 스펙트럼을 도시한 그래프이다. (B)는 6가지 조건애서 메니에르 환자의 COP 데이터에 대한 전/후방 시계열 파워 스펙트럼을 도시한 그래프이다. (C)는 6가지 조건에서 전정신경염 환자의 COP 데이터에 대한 전/후방 시계열 파워 스펙트럼을 도시한 그래프이다.
(A), (B) 및 (C)에 도시된 바와 같이, 저역통과필터 컷오프 주파수를 기준으로 5Hz보다 작은 주파수 대역에서 집중된 파워 스펙트럼 밀도가 나타났다. 또한, 정상인, 메니에르 환자 및 전정신경염 환자는 조건 1로부터 조건 5 또는 조건 6으로 진행될수록 5Hz 이하의 파워 스펙트럼 밀도가 증가하는 것을 확인할 수 있다.
정상인, 메니에르 환자 및 전정신경염 환자의 파워 스펙트럼 밀도는 조건이 어려워질수록 저주파 대역에서 더 크게 나타났으며, 정상인에 비해서 메니에르 환자 및 전정신경염 환자의 파워 스펙트럼 밀도가 저주파 대역에서 더 높게 나타나는 것을 확인할 수 있다.
또한, 메니에르 환자 및 전정신경염 환자의 전력 스팩트럼 밀도는 정상인의 파워 스펙트럼 밀도에 비해 조건 1 및 조건 2 보다 조건 4 내지 조건6에서 더 집중된 것으로 파악할 수 있다. 조건 4 내지 조건 6은 체성 감각계의 교란으로 인하여 시각계와 전정계로 제어하거나 전정계만으로 제어를 해야 하기 때문에, 이와 같은 결과는 전정계가 자세 제어를 위하여 적절하게 기여하고 있지 못하는 것으로 판단할 수 있다. 특히, 조건 5 및 조건 6은 시각을 제외하거나 교란시켰기 때문에 전정계의 역할이 매우 중요하며, 이로 인하여 저주파 대역에서 파워 스펙트럼 밀도가 집중되는 것을 확인할 수 있다.
감각구성검사 조건이 어려워질수록 더 큰 파워 스펙트럼이 나타난다는 선행 연구와 부합되며, 교란된 감각계로 인하여 균형된 자세를 제어하기 위하여 다른 감각계에서 더 많은 에너지가 사용된다는 결과와 상응하는 내용이다.
도 9는 본 발명의 따른 인공 지능 모델을 이용하여 추정된 균형 스코어 추정값을 도시하는 도면이다.
도9를 참조하면, 인공 지능 모델을 이용하여 도2에 도시된 감각계 검사에 대한 6가지 조건별 정상인, 메니에르 환자 및 전정신경염 환자의 균형 스코어 추정값을 확인할 수 있다.
먼저, 정상인, 메니에르 환자 및 전정신경염 환자에 대한 조건 1의 균형 스코어 추정값의 평균이 약 93으로 가장 높게 나타났으며, 조건 5 및 조건 6의 균형 스코어 추정값의 평군이 84로서 가장 작게 나타난 것을 확인할 수 있다.
또한, 조건1에서부터 조건 6으로 진행될수록 균형 스코어 추정값이 작아지고 표준편차가 증가하는 것을 확인할 수 있다.
정상인, 메니에르 환자 및 전정신경염 환자의 균형 스코어 추정값은 조건 1 내지 조건 3에서 최대 2.3 이내로 차이가 나타났다. 그러나, 조건 4에서는 정상인의 균형 스코어 추정값 보다 전정신경염 환자의 균형 스코어 추정값이 약 7점 작게 나타났으며, 조건 5 및 조건 6에서는 메니에르 환자 및 전정신경염 환자의 균형 스코어 추정값보다 약 12~13 % 높게 나타난 것을 확인할 수 있다. 즉, 조건 5 및 조건 6은 전정계의 역할이 중요하므로, 조건 5 및 조건 6의 메니에르 환자 및 전정신경염 환자의 균형 스코어 추정값이 정상인의 균형 스코어 추정값보다 저하된 것으로 판단할 수 있다.
도10은 본 발명의 실시예에 따른 인공 지능 모델을 기반으로 추정한 균형 스코어 추정값에 대한 혼동 행렬을 도시하는 도면이다.
도 10은 도2에 도시된 감각계 검사에 대한 6가지 조건 중 조건 1의 COP 데이터의 파워 스펙트럼 밀도를 입력으로 하여 조건 2 내지 조건 6의 균형 스코어를 추정한 결과를 혼동 행렬을 통하여 나타낸 것이다. 혼동 행렬(Confusion Matrix)은 분류 모델의 학습 성능을 평가하는 지표로 실제값과 인공 지능 모델이 예측한 값을 한눈에 알아볼 수 있게 행렬로 배열한 것이다.
이 때, 혼동 행렬의 정확도를 0에서 1로 정규화하고 색상 농도로 표현할 수 있다. 도 10을 참조하면, 각 조건별 정확도는 95% 와 97% 사이로 나타났으며, 조건 2에서의 정확도가 가장 높게 나타난 것을 확인할 수 있다. 또한, 모든 조건에서 대각선이 두드러지게 나타난 것으로 보아 조건 1의 COP 데이터의 파워 스펙트럼 밀도를 입력으로 조건 2 내지 조건 6의 균형 스코어를 추정할 수 있는 인공 지능 모델이 우수한 것으로 판단할 수 있다.
또한, 추정된 균형 스코어의 오차가 1.1 내지 2.2 수준으로 나타난 것을 확인할 수 있다. 이는, 인공 지능 모델에 균형 스코어를 부호화/복호화 할 수 있는 분류기가 적용됨으로써, 균형 스코어를 분류하는 클래스의 수가 감소하여 분류 정확도가 높아졌기 때문이다.
도 11은 본 발명의 실시예에 따른 감각계의 지수를 계산한 결과를 도시하는 도면이다.
일 예로, 인공 지능 모델을 기반으로 추정된 균형 스코어를 이용하여 계산된 감각계 지수를 평가하기 위하여, 실측정된 균형 스코어 실측정값 및 인공 지능 모델을 이용하여 추정된 균형 스코어 추정값을 활용할 수 있다.
실측정된 균형 스코어 실측정값을 이용하여 계산된 체성감각계의 평균은 96, 시각계의 평균은 83.4, 전정계의 평균은 63.4 및 시각의존도의 평균은 94.2으로 나타난 것을 확인할 수 있다.
또한, 인공 지능 모델을 기반으로 추정된 균형 스코어 추정값을 이용하여 계산된 각 감각계별 지수와 실측정된 균형 스코어 실측정값을 이용하여 계산된 각 감각계별 지수의 오차가 평균적으로 약 1%인 수준인 것을 확인할 있다.
즉, 감각계 지수를 계산하기 위하여 실측정된 균형 스코어 실측정값을 활용한 경우와 인공 지능 모델을 기반으로 추정된 균형 스코어 추정값을 활용한 경우의 통계적 차이는 나타나지 않은 것으로 판단할 수 있다.
도 12는 본 발명의 실시예에 따른 인공 지능 모델을 이용하여 추정한 균형 스코어와 실측정된 균형 스코어를 구체적으로 비교한 것을 도시하는 도면이다.
도12를 참조하면, 도 2에 도시된 감각계 구성 검사에 관한 6가지 조건 중 조건 3에서 정상인의 균형 스코어 추정값과 실측정 균형 스코어 추정값의 상관 계수는 0.87인 것을 확인할 수 있다. 또한, 조건 2 내지 조건 6에서 정상인의 균형 스코어 추정값과 실측정 균형 스코어 추정값의 상관 계수는 모두 0.90 이상이고, 절대 오차는 1.1에서 2.2 사이의 값인 것을 확인할 수 있다. 또한, 조건 2에서 조건 5 및 조건 6으로 갈수록 절대 오차가 점점 증가하는 경향이 보이지만, 정상인의 절대 오차는 1.7, 메니에르의 절대 오차는 1.7 및 전정신경염 절대 오차는 1.6으로 비슷한 수준으로 나타난 것을 확인할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100. 감각계 지수 평가 장치
110. COP 데이터 측정부
120. 배터리
130. 통신 모듈
140. MCU
150. 균형 스코어 추정부
160. 감각계 지수 평가부
200. 인공 지능 모델 구축부

Claims (10)

  1. 압력 중심 정보를 활용하여 감각계 지수를 평가하는 장치에 있어서,
    사용자의 동작에 따른 COP(Center of pressure) 데이터를 측정할 수 있으며 회전가능한 COP 데이터 측정부;
    상기 COP 데이터를 수신하고, 수신한 상기 COP 데이터를 인공 지능 모델의 입력으로 하여 균형 스코어 추정값을 생성하는 균형 스코어 추정부; 및
    상기 균형 스코어 추정값을 기반으로 상기 감각계 지수를 계산하고 평가할 수 있는 감각계 지수 평가부;를 포함하며,
    상기 균형 스코어 추정부는 상기 COP 데이터 측정부 회전 여부, 배경벽 회전 여부 및 상기 사용자의 폐안 여부에 따라 설정되는 복수의 조건에 대응하는 균형 스코어를 산출하고,
    상기 감각계 지수 평가부는, 체성 감각계, 시각계 및 전정계 중 적어도 하나에 관한 지수에 대해 상기 복수의 조건별 균형 스코어의 적어도 일부를 이용하여 계산하는 것인 감각계 지수 평가 장치.




  2. 제1항에 있어서,
    상기 인공 지능 모델은 상기 COP 데이터를 입력으로하여, 상기 COP 데이터 측정부 회전 여부, 배경벽 회전 여부 및 상기 사용자의 폐안 여부의 따라 설정되는 복수의 조건별로 상기 균형 스코어 추정값을 출력하는 것인 감각계 지수 평가 장치.
  3. 제1항에 있어서,
    상기 균형 스코어 추정부는 상기 COP 데이터를 국소시간 마다 쪼갠 윈도우 마다 푸리에 변환을 수행하는 Short time Fourier transform (STFT) 과정을 통하여 주파수 영역으로 변환하고,
    주파수 영역으로 변환된 상기 COP 데이터를 이용하여 상기 인공 지능 모델을 학습하는 것인 감각계 지수 평가 장치.
  4. 제1항에 있어서,
    상기 인공 지능 모델은 ResNet(Residual Network) 아키텍처를 포함하며,
    초키 컨볼루션 레이어를 제외한 나머지 층은 3 X 3 사이즈의 컨볼루션 필터가 적용되고, 컨볼루션 스트라이드 크기는 2로 설정되는 것인 감각계 지수 평가 장치.
  5. 제1항에 있어서,
    상기 인공 지능 모델은 완전 연결 레이어(Fully connected layer)를 이용하여 상기 균형 스코어 추정값을 부호화/복호화하는 분류기가 적용되는 것인 감각계 지수 평가 장치.
  6. 압력 중심 정보를 활용하여 감각계 지수를 평가하는 방법에 있어서,
    a) COP 데이터 측정부 회전 여부, 배경벽 회전 여부 및 사용자의 폐안 여부의 따라 설정되는 복수의 조건별로 COP 데이터를 수집하고, 수집된 상기 COP 데이터를 기초로 균형 스코어를 추출하여 인공 지능 모델을 구축하는 단계;
    b) 상기 COP 데이터 측정부로부터 상기 COP 데이터를 수신하는 단계;
    c) 수신한 상기 COP 데이터를 상기 구축된 인공 지능 모델에 입력하는 단계;
    d) 입력된 상기COP 데이터를 기반으로 상기 복수의 조건별로 대응되는 균형 스코어 추정값을 생성하는 단계; 및
    e) 상기 복수의 조건별로 생성된 상기 균형 스코어 추정값으로 상기 감각계 지수를 계산하고 평가하는 단계를 포함하는 것인 감각계 지수 평가 방법.



  7. 제6항에 있어서,
    상기 a) 단계는,
    수집된 상기 COP 데이터를 국소시간 마다 쪼갠 윈도우 마다 푸리에 변환을 수행하는 Short time Fourier transform (STFT) 과정을 통하여 주파수 영역으로 변환하고,
    주파수 영역으로 변환된 상기 COP 데이터를 이용하여 상기 인공 지능 모델을 학습하는 것인 감각계 지수 평가 방법.
  8. 제6항에 있어서,
    상기 인공 지능 모델은 ResNet(Residual Network) 아키텍처를 포함하며,
    초키 컨볼루션 레이어를 제외한 나머지 층은 3 X 3 사이즈의 컨볼루션 필터가 적용되고, 컨볼루션 스트라이드 크기는 2로 설정되는 것인 감각계 지수 평가 방법.
  9. 제6항에 있어서,
    상기 인공 지능 모델은 완전 연결 레이어(Fully connected layer)를 이용하여 상기 균형 스코어 추정값을 부호화/복호화하는 분류기가 적용되는 것인 감각계 지수 평가 방법.
  10. 제6항에 있어서,
    상기 감각계 지수는 체성감각계, 시각계 또는 전정계 중 적어도 하나에 관한 지수를 포함하는 감각계 지수 평가 방법.

KR1020210134980A 2021-10-12 2021-10-12 압력 중심 정보를 활용한 감각계 지수 평가 장치 및 그 방법 KR102585275B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210134980A KR102585275B1 (ko) 2021-10-12 2021-10-12 압력 중심 정보를 활용한 감각계 지수 평가 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210134980A KR102585275B1 (ko) 2021-10-12 2021-10-12 압력 중심 정보를 활용한 감각계 지수 평가 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20230051962A true KR20230051962A (ko) 2023-04-19
KR102585275B1 KR102585275B1 (ko) 2023-10-05

Family

ID=86142077

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210134980A KR102585275B1 (ko) 2021-10-12 2021-10-12 압력 중심 정보를 활용한 감각계 지수 평가 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102585275B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200084101A (ko) * 2019-01-02 2020-07-10 주식회사 비엠이코리아 평형감각 측정장치 및 이를 이용한 평형검사 시스템
JP2020124536A (ja) * 2015-06-30 2020-08-20 ジブリオ， インク 機械学習アルゴリズムを用いた転倒リスクの識別
KR102270146B1 (ko) 2020-06-29 2021-06-28 재단법인 오송첨단의료산업진흥재단 족저압 및 와이어 로드를 바탕으로 피검자의 평형기능을 측정하는 자세 측정시스템 및 이를 이용한 자세 측정방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020124536A (ja) * 2015-06-30 2020-08-20 ジブリオ， インク 機械学習アルゴリズムを用いた転倒リスクの識別
KR20200084101A (ko) * 2019-01-02 2020-07-10 주식회사 비엠이코리아 평형감각 측정장치 및 이를 이용한 평형검사 시스템
KR102270146B1 (ko) 2020-06-29 2021-06-28 재단법인 오송첨단의료산업진흥재단 족저압 및 와이어 로드를 바탕으로 피검자의 평형기능을 측정하는 자세 측정시스템 및 이를 이용한 자세 측정방법

Also Published As

Publication number Publication date
KR102585275B1 (ko) 2023-10-05

Similar Documents

Publication Publication Date Title
Aşuroğlu et al. Parkinson's disease monitoring from gait analysis via foot-worn sensors
US11589781B2 (en) Assessing diseases by analyzing gait measurements
CN110659677A (zh) 一种基于可移动传感器组合设备的人体跌倒检测方法
JP6327926B2 (ja) 階層型ニューラルネットワークの学習システム及び方法
TWI726574B (zh) 模型訓練方法與電子裝置
US20230081715A1 (en) Neuromorphic Analog Signal Processor for Predictive Maintenance of Machines
Dorschky et al. Perspective on “in the wild” movement analysis using machine learning
Setiawan et al. Development of neuro-degenerative diseases’ gait classification algorithm using convolutional neural network and wavelet coherence spectrogram of gait synchronization
WO2021142532A1 (en) Activity recognition with deep embeddings
Choi et al. Determination of input variables for the development of a gait asymmetry expert system in patients with idiopathic scoliosis
Zhen et al. Hybrid Deep‐Learning Framework Based on Gaussian Fusion of Multiple Spatiotemporal Networks for Walking Gait Phase Recognition
Huang et al. Activity classification and analysis during a sports training session using a fuzzy model
Banowati et al. Cholesterol level detection based on iris recognition using convolutional neural network method
JP2023524526A (ja) 運動の変動性、疾病および傷害の予測、ならびに回復準備状態を判定するためのシステム、デバイス、および方法
Kim et al. Wearable sensor-based gait classification in idiopathic toe walking adolescents
Aguilar et al. Assessing dynamic balance performance during exergaming based on speed and curvature of body movements
KR102585275B1 (ko) 압력 중심 정보를 활용한 감각계 지수 평가 장치 및 그 방법
KR20200144996A (ko) 근육시너지 라이브러리를 이용한 운동 코칭 시스템 및 근육시너지 라이브러리를 이용한 근육시너지 특성 산출방법
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
KR20200141751A (ko) 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법 및 시스템
CN114327045B (zh) 基于类别不平衡信号的跌倒检测方法及系统
Lim et al. GAIT ANALYSIS AND CLASSIFICATION ON SUBJECTS WITH PARKINSON’ S DISEASE
KR20240020502A (ko) 자세 제어를 위한 감각계 기여도 추정 장치 및 그 방법
Joshy et al. Neuro-Inspired Spiking Classifier for Trajectory-Optimized Diastasis Recti Rehabilitation with Wearable IMU Sensors (June 2024)
Zhou et al. The role of sensory uncertainty in simple perceptual organization

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant