KR102545358B1 - 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법 - Google Patents

보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법 Download PDF

Info

Publication number
KR102545358B1
KR102545358B1 KR1020210046442A KR20210046442A KR102545358B1 KR 102545358 B1 KR102545358 B1 KR 102545358B1 KR 1020210046442 A KR1020210046442 A KR 1020210046442A KR 20210046442 A KR20210046442 A KR 20210046442A KR 102545358 B1 KR102545358 B1 KR 102545358B1
Authority
KR
South Korea
Prior art keywords
pedestrian
parkinson
syndrome
length
data
Prior art date
Application number
KR1020210046442A
Other languages
English (en)
Other versions
KR102545358B9 (ko
KR20220140224A (ko
Inventor
강성우
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020210046442A priority Critical patent/KR102545358B1/ko
Priority to PCT/KR2022/005088 priority patent/WO2022216102A1/ko
Publication of KR20220140224A publication Critical patent/KR20220140224A/ko
Application granted granted Critical
Publication of KR102545358B1 publication Critical patent/KR102545358B1/ko
Publication of KR102545358B9 publication Critical patent/KR102545358B9/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4082—Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Neurology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Neurosurgery (AREA)
  • Developmental Disabilities (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법에 관한 발명으로 구체적으로 촬영부와 서버를 포함하는 보행데이터 기반 파킨슨 증후군 중증단계 판별 시스템 및 방법에 관한 발명으로, 본 발명의 일 실시예는 파킨슨 증후군 환자들의 무릎을 벌리고 걷는 특징을 이용하여 연산 된 5가지의 검출요소를 이용하여 파킨슨 증후군 환자의 중증단계를 더욱 정확하게 판별할 수 있다.

Description

보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법 {PEDESTRIAN DATA-BASED PARKINSON'S SYNDROME SEVERE PHASE IDENTIFICATION SYSTEM AND METHOD}
본 발명은 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법에 관한 발명으로 구체적으로 촬영부와 서버를 포함하는 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법에 관한 발명이다.
파킨슨병은 뇌에서 도파민이라는 신경전달 물질을 분비하는 신경 세포들이 죽어감으로써 도파민 부족으로 인해 느린 운동, 정지 시 떨림, 근육 강직, 질질 끌며 걷기, 굽은 자세와 같은 여러 증세를 나타내는 신경퇴행성 질환이다. 반면에 파킨슨 증후군은 파킨슨 복합체증후군이라고도 불리며, 파킨슨병 증상에 다른 증상들이 복합적으로 있다는 의미이기도 하다.
또한, 약물 치료가 가능한 파킨슨병과 달리 약물치료에도 반응이 좋지 않고, 병의 진행도 빨라서 전반적인 경과가 파킨슨 병과는 다르다.
따라서, 빠른 약물치료 및 수술치료를 위해 파킨슨 증후군 환자의 중증 단계를 판별해야 할 필요성이 있다.
이와 관련하여 한국 특허 출원번호 제10-2017-0122419호에서는 파킨슨병 환자에서 보행동결(freezing of gait)의 정량적 측정을 위한 장치 및 측정방법에 대해서 게시하고 있지만, 상기 기술은 파킨슨 병 환자의 보행 동결을 측정하기 위해, 환자의 발목에 장치를 부착하고 생활해야한다는 번거로움도 있을뿐더러, 파킨슨 병을 포함하고, 다른 증상까지 포함하여 병의 진행도도 빠른 파킨슨 증후군 환자들의 중증 단계를 판별하지 못한다는 문제점이 있다.
따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.
한편 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명의 일실시예는 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법을 제공하는 데에 목적이 있다.
전술한 목적을 해결하기 위해서 본 발명의 일 실시예는 보행자가 전방을 향해 보행할 때, 보행자의 측면을 촬영하는 촬영부 및 상기 촬영부에서 촬영된 사진 데이터를 전달받아 중증단계를 판별하는 서버, 상기 서버는 촬영된 사진 데이터로부터 보행자의 스켈레톤 데이터를 추출하는 추출부,
Figure 112021041789848-pat00001
를 기준으로 보행자의 각 무릎의 z좌표의 차이의 평균편차/골반길이를 연산하고,
Figure 112021041789848-pat00002
에 기준으로 보행자의 각 발목의 z좌표의 차이의 평균편차/골반길이를 연산하는 연산부 및 상기 보행자의 각 무릎의 z좌표의 차이의 평균편차/골반길이 및 보행자의 각 발목의 z좌표의 차이의 평균편차/골반길이로부터 보행자의 파킨슨 증후군 상태가 기 설정된 범위내에 포함되는지 판별하는 판별부를 포함하는 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템을 포함할 수 있다.
또한, 상기 연산부는 상기 스켈레톤 데이터로부터,
Figure 112021041789848-pat00003
를 기준으로 보행속도/다리길이를 연산하고, 상기 판별부는 상기 보행속도/다리길이로부터 보행자의 파킨슨 증후군 상태 상태가 기 설정된 범위내에 포함되는지 판별하는 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템을 포함할 수 있다.
또한, 상기 연산부는 스켈레톤 데이터로부터,
Figure 112021041789848-pat00004
를 기준으로 측면에서 바라본 보행중인 보행자 양 발의 평균 발길이/보행자의 발길이를 연산하고, 상기 판별부는 상기 측면에서 바라본 보행중인 보행자 양 발의 평균 발길이/보행자의 발길이로부터 보행자의 파킨슨 증후군 상태가 기 설정된 범위내에 포함되는지 판별하는 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템을 포함할 수 있다.
또한, 상기 연산부는 상기 스켈레톤 데이터로부터,
Figure 112021041789848-pat00005
에 기준으로 보행중인 양 무릎의 굽힘 각 평균을 연산하고, 상기 판별부는 보행중인 양 무릎의 굽힘 각 평균으로부터 보행자의 파킨슨 증후군 상태가 기 설정된 범위내에 포함되는지 판별하는 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템을 포함할 수 있다.
또한, 상기 판별부는 상기 연산부에서 연산된 상기 보행속도/다리길이, 상기 보행자의 각 무릎의 z좌표의 차이의 평균편차/골반길이, 상기 보행자의 각 발목의 z좌표의 차이의 평균편차/골반길이, 상기 측면에서 바라본 보행중인 보행자 양 발의 평균 발길이/보행자의 발길이 및 상기 보행중인 양 무릎의 굽힘 각 평균의 값인 파킨슨 판별 데이터를 이용하여 보행자의 파킨슨 증후군 상태가 기 설정된 범위내에 포함되는지 판별하고, 상기 서버는 상기 파킨슨 판별 데이터를 딥러닝 하는 학습부를 포함하는 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템을 포함할 수 있다.
또한, 파킨슨 판별 데이터를 딥러닝하는 제1단계, 보행자가 전방을 향해 보행할 때, 보행자의 측면을 촬영하는 제2단계, 촬영된 사진데이터로부터 보행자의 스켈레톤 데이터를 추출하고, 상기 스켈레톤 데이터로부터 상기 파킨슨 판별 데이터로 연산하는 제3단계 및 딥러닝 된 상기 파킨슨 판별데이터에 기초하여 기 설정된 기준보다 높은 지 판별하여 보행자의 파킨슨 증후군을 판별하는 제4단계를 포함하는 보행데이터 기반 파킨슨 증후군 중증 단계 판별 방법을 포함할 수 있다.
또한, 상기 제3단계는 상기 스켈레톤 데이터로부터,
Figure 112021041789848-pat00006
를 기준으로 보행자의 각 무릎의 z좌표의 차이의 평균편차/골반길이를 연산하는 단계를 포함하고, 상기 제 4단계는 상기 보행자의 각 무릎의 z좌표의 차이의 평균편차/골반길이로부터 기 설정된 기준내에 포함되는지 판별하는 단계를 포함하는 보행데이터 기반 파킨슨 증후군 중증 단계 판별 방법을 포함할 수 있다.
또한, 상기 제3단계는 상기 스켈레톤 데이터로부터,
Figure 112021041789848-pat00007
를 기준으로 보행자의 각 발목의 z좌표의 차이의 평균편차/골반길이를 연산하는 단계를 더 포함하고, 제 4단계는 상기 보행자의 각 발목의 z좌표의 차이의 평균편차/골반길이로부터 기 설정된 기준내에 포함되는지 판별하는 단계를 더 포함하는 보행데이터 기반 파킨슨 증후군 중증 단계 판별 방법을 포함할 수 있다.
또한, 상기 제3단계는 상기 스켈레톤 데이터로부터,
Figure 112021041789848-pat00008
를 기준으로 보행속도/다리길이를 연산하는 단계를 더 포함하고, 상기 제 4단계는 상기 보행속도/다리길이로부터 기 설정된 기준내에 포함되는지 판별하는 단계를 더 포함하는 보행데이터 기반 파킨슨 증후군 중증 단계 판별 방법을 포함할 수 있다.
또한, 상기 제3단계는 상기 스켈레톤 데이터로부터,
Figure 112021041789848-pat00009
를 기준으로 측면에서 바라본 보행중인 보행자 양 발의 평균 발길이/보행자의 발 길이를 연산하는 단계를 더 포함하고, 상기 제 4단계는 상기 측면에서 바라본 보행중인 보행자 양 발의 평균 발길이/보행자의 발 길이로부터 기 설정된 기준내에 포함되는지 판별하는 단계를 더 포함하는 보행데이터 기반 파킨슨 증후군 중증 단계 판별 방법을 포함할 수 있다.
또한, 상기 제3단계는 상기 스켈레톤 데이터로부터,
Figure 112021041789848-pat00010
를 기준으로 보행중인 양 무릎의 굽힘 각 평균을 연산하는 단계를 더 포함하고, 상기 제 4단계는 상기 보행중인 양 무릎의 굽힘 각 평균으로부터 기 설정된 기준내에 포함되는지 판별하는 단계를 더 포함하는 보행데이터 기반 파킨슨 증후군 중증 단계 판별 방법을 포함할 수 있다.
본 발명의 일실시예는 파킨슨 증후군 환자의 보행 중인 모습을 촬영하여, 파킨슨 증후군 환자의 걸음걸이만으로도 자율신경계 검사나 뇌 MRI 등 다양한 기능 검사를 안하고 파킨슨 증후군 환자들의 중증 단계를 판별할 수 있다.
또한, 본 발명의 일실시예는 연산된 검출요소 1인 보행자의 각 무릎의 z좌표의 평균편차/골반길이와 연산된 검출요소 2인 보행자의 각 발목의 z좌표의 평균편차/골반길이를 이용하여 파킨슨 증후군 환자의 파킨슨 증후군 중증단계를 판별할 수 있다.
또한, 본 발명의 일실시예는 연산된 검출요소 3인 보행속도/다리길이를 이용하여 파킨슨 증후군 환자의 파킨슨 증후군 중증단계를 판별할 수 있다.
또한, 본 발명의 일실시예는 연산된 검출요소 4인 측면에서 바라본 보행중인 보행자 양 발의 평균 발길이/보행자의 발길이를 이용하여 파킨슨 증후군 환자의 파킨슨 증후군 중증단계를 판별할 수 있다.
또한, 본 발명의 일실시예는 연산된 검출요소 5인 보행중인 양 무릎의 굽힘 각 평균을 이용하여 파킨슨 증후군 환자의 파킨슨 증후군 중증단계를 판별할 수 있다.
또한, 본 발명의 일실시예는 5가지의 검출요소를 이용하여 보다 파킨슨 증후군 환자의 중증 단계를 더욱 정확하게 판별할 수 있다는 효과가 있다.
또한, 파킨슨 증후군 환자의 중증 단계를 판별하여, 판별된 내용을 환자뿐만 아니라 의료진에게도 전송하여, 파킨슨 증후군 환자의 상태를 빠르게 확인하여 신속한 치료가 가능하다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시예에 따른 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템에 기초하여 전방을 향해 걷고 있는 보행자를 측면에서 촬영하는 상황을 도시한 개념도이다.
도 2는 본 발명의 일실시예에 따른 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템의 구성을 구체적으로 도시화한 도면이다.
도 3은 본 발명의 일실시예에 따른 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법에서 사용되는 검출요소 1을 연산하기 위해 보행자를 촬영하는 상황을 개략적으로 도시한 개념도이다.
도 4는 본 발명의 일실시예에 따른 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법에서 사용되는 검출요소 2를 연산하기 위해 보행자를 촬영하는 상황을 개략적으로 도시한 개념도이다.
도 5는 본 발명의 일실시예에 따른 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법에서 사용되는 검출요소3을 연산하기 위해 보행자를 촬영하는 상황을 개략적으로 도시한 개념도이다.
도 6은 본 발명의 일실시예에 따른 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법에서 사용되는 검출요소 4를 연산하기 위해 보행자를 촬영하는 상황을 개략적으로 도시한 개념도이다.
도 7은 본 발명의 일실시예에 따른 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법에서 사용되는 검출요소 5를 연산하기 위해 보행자를 촬영하는 상황을 개략적으로 도시한 개념도이다.
도 8은 본 발명의 일실시예에 따른 보행데이터 기반 파킨슨 증후군 중증 단계 판별 방법에 대한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 “연결”되어 있다고 할 때, 이는 “직접적으로 연결” 되어 있는 경우뿐만 아니라 그 중간에 다른 소자를 두고 “전기적으로 연결”되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 “포함” 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명에서 사용되는 카메라는 카메라 내부에 ToF(Time of Flight; 비행시간) 모듈이 포함할 수 있다. 카메라가 촬영을 하면 상기 ToF(Time of Flight) 모듈은 피사체를 향해 빛을 발사해, 발사한 빛이 피사체에 부딪힌 후 반사되어 돌아오는 시간을 거리로 계산할 수 있다.
본 발명에서 사진데이터란 본 발명에서 사용되는 카메라를 이용하여 촬영된 보행자가 보해중인 영상의 프레임 단위의 장면을 뜻한다. 촬영된 사진데이터에서 보행자의 뼈대의 각 지점을 하나의 포인트로 지정하여 총 31개의 특성을 추출한 것이 스켈레톤 데이터이다. 추출된 스켈레톤 데이터가 포함하고 있는 31개의 특성에는 코, 양쪽 눈, 양쪽 귀, 머리, 목, 팔꿈치, 팔목, 가슴, 허리, 골반, 엉덩이, 무릎, 발 등이 포함되어 있으며, 본 발명의 일실시예는 골반, 양쪽 엉덩이, 양쪽 무릎, 양쪽 발목, 양쪽 발의 지점을 포함한 9개의 특성만 사용된다.
이하에서는 도 1 및 도 2에 기초하여 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템에 대해서 구체적으로 설명하기로 한다. 도1은 본 발명의 일실시예에 따른 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템을 개략적으로 도시한 개념도이고, 도2는 본 발명의 일실시예에 따른 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템의 구성을 구체적으로 도시화한 도면이다.
본 발명의 일 실시예인 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템은 정면으로 걷는 파킨슨 증후군 환자의 측면으로 촬영하여 촬영된 데이터를 이용하여 파킨슨 증후군 환자의 중증 단계를 판별하는 시스템이다.
본 발명의 일 실시예인 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템은 촬영부(100), 서버(200), 단말(300)을 포함할 수 있다.
촬영부(100)은 전방을 향해 보행자의 측면을 촬영하는 카메라를 포함할 수 있다. 서버(200)는 추출부(210), 연산부(220), 학습부(230) 및 판별부(240)를 포함할 수 있다. 단말(300)은 디스플레이부(310)을 포함할 수 있다. 디스플레이부(310)은 파킨슨 증후군 환자(p)의 정보를 화면에 표시하는 디스플레이 패널(display panel)등을 포함할 수 있다. 다만, 이에 한정되지 않고 디스플레이부(310)는 정보의 출력을 지원하는 다양한 구성을 포함할 수 있다. 또한, 촬영부(100), 서버(200), 단말(300)은 DMR과 WiFi, 저에너지블루투스(BLE), 블루투스(Bluetooth), 3G(3rd Generation), 3GPP(3rdGeneration Partnership Project), LTE(Long Term Evolution), LTE-A, 4G(4th Generation), 5G(5th Generation) 중 적어도 하나의 통신 모듈을 통해 외부장치와 무선 통신할 수 있다.
추출부(210)는 촬영부(100)에서 촬영된 사진 데이터에서 보행자의 스켈레톤 데이터를 추출할 수 있다. 연산부(220)는 추출부에서 추출한 보행자의 스켈레톤 데이터에 기초하여 파킨슨 증후군 환자의 중증 단계를 판별하기 위해 사용될 검출요소 5가지를 연산할 수 있다. 이하, 연산 된 5가지의 검출요소는 파킨슨 판별 데이터라 한다. 검출요소 5가지에 대해서는 후술하기로 한다. 학습부(230)는 상기 연산부(230)에서 파킨슨 판별 데이터로부터 딥러닝을 할 수 있고, 판별부(240)는 딥러닝 된 파킨슨 판별 데이터를 바탕으로 기 설정된 기준을 통해 보행자의 파킨슨 증후군 중증 단계를 판별할 수 있다. 본 발명의 일 실시예에 따르면, 보행자(p)는 전방을 향해(x축) 보행을 하면, 보행자의 측면을 카메라(c)를 이용하여 촬영할 수 있다.
구체적으로, 파킨슨 증후군 환자(p)가 기 설정된 거리를 정면을 향해 보행을 하면, 파킨슨 증후군 환자(p)의 측면에 위치한 카메라(c)가 파킨슨 증후군 환자의 보행을 촬영한다. 이 촬영된 사진데이터 중에서 파킨슨 증후군 환자(p)의 연산에 사용될 하반신의 스켈레톤 데이터만 추출한다. 추출된 스켈레톤 데이터를 이용하여 서버(200)에서 후술할 파킨슨 판별 데이터를 연산한다. 파킨슨 판별데이터를 연산하는 과정은 후술하기로 한다. 연산 된 파킨슨 판별 데이터는 학습부(230)에서 또 다른 파킨슨 증후군 환자들의 파킨슨 판별데이터와 함께 딥러닝이 된다. 딥러닝된 파킨슨 판별데이터는 판별부(240)에서 기 설정된 기준보다 높은 지 판별하고 파킨슨 증후군 환자(p)의 파킨슨 증후군 중증 단계를 판별한다. 판별된 파킨슨 증후군 환자(p)의 중증 단계는 디스플레이부(310)을 통해 파킨슨 증후군 환자(p)에게 보여지고, 파킨슨 증후군 환자(p)뿐만 아니라 의료진한테도 전달될 수 있다.
이하에서는 도 3내지 도 7에 기초하여 파킨슨 판별 데이터에 대해서 구체적으로 설명하기로 한다. 도 3은 본 발명의 일실시예에 따른 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법에서 사용되는 검출요소 1을 연산하기 위해 보행자를 촬영하는 상황을 개략적으로 도시한 개념도이고, 도 4는 본 발명의 일실시예에 따른 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법에서 사용되는 검출요소 2를 연산하기 위해 보행자를 촬영하는 상황을 개략적으로 도시한 개념도이고, 도5는 본 발명의 일실시예에 따른 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법에서 사용되는 검출요소3을 연산하기 위해 보행자를 촬영하는 상황을 개략적으로 도시한 개념도이고, 도 6은 본 발명의 일실시예에 따른 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법에서 사용되는 검출요소 4를 연산하기 위해 보행자를 촬영하는 상황을 개략적으로 도시한 개념도이고, 도 7은 본 발명의 일실시예에 따른 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법에서 사용되는 검출요소 5를 연산하기 위해 보행자를 촬영하는 상황을 개략적으로 도시한 개념도이다.
검출요소 1은 보행자의 각 무릎의 z 좌표의 차이의 평균편차/골반길이이다. 검출요소1을 연산하는 식은
Figure 112021041789848-pat00011
이다.
Figure 112021041789848-pat00012
에서
Figure 112021041789848-pat00013
는 왼쪽 무릎의 z좌표를,
Figure 112021041789848-pat00014
는 오른쪽 무릎의 z좌표를 의미한다.
Figure 112021041789848-pat00015
는 보행자가 기 설정된 거리를 보행한 시간을 의미한다.
Figure 112021041789848-pat00016
는 촬영되는 보행자(p)의 골반 길이이다. 보행자(p)의 골반길이로 보행중인 보행자(p)의 각 무릎의 z좌표의 차의 평균편차를 나누는 이유는 촬영되는 보행자(p)마다 키가 커서 보행 속도의 차이가 나기도 하고, 골반이 넓은 것에 의해 기본적으로 무릎이 벌어지는 것에 차이가 나기 때문에 표준화하기 위해서이다. 또한, 상기 검출요소 1을 연산하는 식에서 보행자(p)의 각 무릎의 z좌표만 사용하는 이유는 x좌표는 보행자(p)가 전진하거나 후진하는 것으로 바뀌는 값으로 보행중인 무릎의 특징을 짓기에는 어렵다고 판단하여 포함되지 않았고, 각 무릎의 y 좌표 또한 보행자(p)의 신체좌표가 위 아래로 움직일 때 변화하는 값이므로 x 좌표와 마찬가지로 포함되지 않는다. 파킨슨 증후군 환자의 보행에서 일반인의 보행과 다른 점은 무릎을 벌리고 걷는다는 특징이 있다. 무릎을 벌리고 걷는 특징을 이용하기 위해서 도2의 표시된 3차원 좌표계에서 z좌표를 이용해야 한다. 앞에서 서술했듯이, x좌표는 보행자가 앞 뒤로 걸을 때 바뀌는 값이며, y좌표는 보행자가 위 아래 움직일 때 변화하는 값이므로 z좌표가 카메라를 기준으로 하여금 가깝거나 먼 거리를 나타내는 값이 된다. 따라서 전면을 향해 보행하는 보행자를 측면에서 촬영하기 때문에 무릎의 벌어지는 값은 z좌표로 나타낼 수 있는 것이다. 따라서 보행자(p)의 각 무릎의 z좌표를 이용하는 것이다.
검출요소2는 보행자의 각 발목의 z좌표의 차이의 평균편차/골반길이이다. 검출요소 2를 연산하는 식은
Figure 112021041789848-pat00017
이다. 검출요소 1과 비슷하지만 다른 점은 검출요소 1은 보행자(p)의 무릎의 z좌표를 사용하는 식이고, 검출요소 2는 보행자(p)의 발목의 z 좌표를 사용한다. 상기 식의
Figure 112021041789848-pat00018
에서
Figure 112021041789848-pat00019
는 왼쪽 발목의 z좌표를
Figure 112021041789848-pat00020
는 오른쪽 발목의 z좌표를 의미한다.
Figure 112021041789848-pat00021
는 보행자가 기 설정된 거리를 보행한 시간을 의미한다. 상기 식의
Figure 112021041789848-pat00022
는 촬영되는 보행자(p)의 골반 길이이다. 검출요소 2를 연산하는 식에서
Figure 112021041789848-pat00023
로
Figure 112021041789848-pat00024
를 나누는 이유도 검출요소 1를 연산하는 식에서 보행중인 보행자(p)의 각 무릎의 z좌표의 평균편차를 보행자(p)의 골반 길이로 나누는 이유와 동일하게 촬영되는 보행자 마다 키가 커서 보행 속도의 차이가 나고, 골반이 넓은 것에 의해 기본적으로 무릎이 벌어져 양 발목 사이가 멀어지는 것에서 차이가 나기 때문에 표준화하기 위해서이다. 앞서 서술했듯이 파킨슨 증후군 환자와 일반인과의 보행에서 다른 점으로는 무릎을 벌리고 걷는 특징이 있다. 따라서 무릎이 벌리고 걸어, 양 발목의 사이도 멀어진다. 보행자(p)의 양 발목 사이의 거리를 측정하기 위해서는 보행자(p)의 측면에서 촬영하는 카메라(c)를 기준으로 원근을 나타낼 수 있는 z좌표를 이용해야 한다.
검출요소 3은 보행속도/다리길이이다. 검출요소 3을 연산하는 식은
Figure 112021041789848-pat00025
이다.
Figure 112021041789848-pat00026
에서
Figure 112021041789848-pat00027
는 보행자(p)의 허리의 x 좌표를 의미하고,
Figure 112021041789848-pat00028
는 보행자가 기 설정된 거리를 보행한 시간을 의미한다. 또한,
Figure 112021041789848-pat00029
는 보행자(p)의 다리 길이를 의미한다. 앞서 서술했듯이, x좌표는 보행자가 앞 뒤로 이동할 때 변화하는 값으로 보행자가 시작지점에서 끝지점까지 보행한 거리를 나타내는 좌표가 되는 것이다. 따라서 검출요소 3을 연산하는 식
Figure 112021041789848-pat00030
에서
Figure 112021041789848-pat00031
는 보행자가 촬영 중 보행한 총 거리를 보행한 시간으로 나눈것이므로 보행자가 보행한 속도를 의미한다.
Figure 112021041789848-pat00032
를
Figure 112021041789848-pat00033
로 나누는 이유는 다리 길이에 따라서 보폭에 크기가 달라져 같은 거리를 걷더라도 속도가 달라지기 때문에 표준화하기 위해서이다.
검출요소 4는 측면에서 바라본 보행중인 보행자 양 발의 평균 발길이/보행자의 발길이이다. 검출요소 4를 연산하는 식은
Figure 112021041789848-pat00034
이다. 검출요소 4를 연산하는 식에서
Figure 112021041789848-pat00035
는 왼발의 x좌표이고
Figure 112021041789848-pat00036
는 왼 발목의 x좌표를 의미한다. 또한,
Figure 112021041789848-pat00037
는 오른발의 x좌표를 의미하고
Figure 112021041789848-pat00038
는 오른발목의 x좌표를 의미한다. 또한, 상기 검출요소 4를 연산하는 식에서
Figure 112021041789848-pat00039
는 보행자의 발길이를 의미하고,
Figure 112021041789848-pat00040
는 보행자가 기 설정된 거리를 보행한 시간을 의미한다. 정상적인 일반인이 걸었을 때 측면에서 바라본 발길이는 본인의 발길이와 동일하지만 파킨슨 증후군 환자는 무릎을 벌리고 걷기 때문에 발목이 밖을 향하여 걷는다 따라서 본인의 발길이보다 측면에서 바라본 발길이가 더 짧을 수 있다. 검출 요소 4를 구하는 식에서
Figure 112021041789848-pat00041
는, 측면에서 바라본 양 발의 발길이를 구하여 2로 나눈 것이다. 구체적으로, 측면에서 바라본 왼발의 발길이는
Figure 112021041789848-pat00042
로 연산 할 수 있다. 측면에서 바라본 보행중인 보행자의 왼발의 앞 지점(
Figure 112021041789848-pat00043
에서 왼발의 발목 지점(
Figure 112021041789848-pat00044
을 빼면 측면에서 바라본 왼발의 발길이가 나온다. 또한, 측면에서 바라본 오른발의 발길이는
Figure 112021041789848-pat00045
로 연산할 수 있다. 측면에서 바라본 보행중인 보행자의 오른발의 앞 지점(
Figure 112021041789848-pat00046
)에서 오른발의 발목 지점(
Figure 112021041789848-pat00047
)을 빼면 측면에서 바라본 오른발의 발길이가 나온다.
검출요소 5는 보행중인 양 무릎의 굽힘 각 평균이다. 검출요소 5를 연산하는 식은
Figure 112021041789848-pat00048
이다. 상기 검출요소 5를 연산하는 식에서
Figure 112021041789848-pat00049
는 왼쪽 엉덩이, 왼 무릎, 왼 발목의 x좌표와 y좌표로 삼각형 세변의 길이를 계산 후 cos법칙을 이용하여 연산 한 왼 다리의 무릎의 굽힘 각을 의미한다. 또한,
Figure 112021041789848-pat00050
는 오른쪽 엉덩이, 오른 무릎, 오른 발목의 x좌표와 y좌표로 삼각형 세변의 길이를 계산 후 cos법칙을 이용하여 연산한 오른다리의 무릎의 굽힘 각을 의미한다.
Figure 112021041789848-pat00051
는 보행자가 기 설정된 거리를 보행한 시간을 의미한다.
파킨슨 증후군 환자들은 중증 단계가 심해질수록 무릎을 더 많이 벌려 걷게 된다. 무릎을 더 많이 벌리면 벌릴수록, 발목도 더 많이 밖을 향하게 되고, 무릎도 많이 굽히게 된다. 보행속도도 많이 느려 진다. 앞서 설명한 검출요소 5가지는 이러한 특징들을 이용하여 파킨슨 증후군 환자들의 중증단계를 판별하는 지표로 이용된다.
이하에서는 도8에 기초하여 보행데이터 기반 파킨슨 중증 단계 판별 방법에 대해서 구체적으로 설명하기로 한다. 도 8은 본 발명의 일실시예에 따른 보행데이터 기반 파킨슨 증후군 중증 단계 판별 방법에 대한 순서도이다.
본 발명의 일실시예에 따른 보행데이터 기반 파킨슨 증후군 중증 단계 판별 방법은 파킨슨 판별 데이터를 딥러닝하는 제1단계(s100), 보행자가 전방을 향해 보행할 때, 보행자의 측면을 촬영하는 제2단계(s200), 촬영된 사진데이터로부터 보행자의 스켈레톤 데이터를 추출하고, 상기 스켈레톤 데이터로부터 상기 파킨슨 판별데이터로 연산하는 제 3단계(s300), 딥러닝 된 상기 파킨슨 판별 데이터에 기초하여 기 설정된 기준보다 높은 지 판별하여 보행자의 파킨슨 증후군 중증단계를 판별하는 제 4단계(s400)를 포함 할 수 있다.
파킨슨 판별 데이터를 딥러닝하는 제1단계(s100)는 중증 단계를 판별할 파킨슨 증후군 환자의 보행을 촬영하기 전, 다른 파킨슨 증후군 환자의 파킨슨 판별 데이터를 미리 딥러닝 할 수 있는 단계이다. 예를 들어, 미리 다른 파킨슨 증후군 환자들의 파킨슨 판별데이터가 딥러닝이 되어있다. 중증 단계를 판별할 파킨슨 증후군 환자는 본 발명의 기 설정된 거리를 보행하고, 이를 측면에서 카메라로 파킨슨 증후군 환자를 촬영한다. 촬영한 데이터와 미리 딥러닝된 파킨슨 판별데이터로부터 파킨슨 증후군 환자의 파킨슨 중증단계를 더욱 빠르게 판별할 수 있다.
보행자가 전방을 향해 보행할 때, 보행자의 측면을 촬영하는 제2단계(s200)은 보행자가 기 설정된 거리를 보행하면, ToF모듈을 포함하고 있는 카메라로 보행자의 측면을 촬영할 수 있는 단계이다.
촬영된 사진데이터로부터 보행자의 스켈레톤 데이터를 추출하고, 상기 스켈레톤 데이터로부터 파킨슨 판별 데이터로 연산하는 제3단계(s300)는 촬영된 사진데이터 중 보행자의 스켈레톤 데이터를 추출하는 단계(s310)를 포함 할 수 있다. 또한, 촬영된 사진데이터로부터 보행자의 스켈레톤 데이터를 추출하고, 상기 스켈레톤 데이터로부터 파킨슨 판별 데이터로 연산하는 제3단계(s300)는 검출요소 1을 연산하는 단계(s321), 검출요소 2를 연산하는 단계(s322), 검출요소 3을 연산하는 단계(s323), 검출요소 4를 연산하는 단계(s324) 및 검출요소 5를 연산하는 단계(s325)를 포함 할 수 있다.
검출요소 1을 연산하는 단계(s321)는 상기 스켈레톤 데이터로부터,
Figure 112021041789848-pat00052
를 기준으로 보행자의 각 무릎의 z좌표의 차이의 평균편차/골반길이를 연산하는 단계이다. 검출요소 1을 연산하는 식에서
Figure 112021041789848-pat00053
는 왼 무릎의 z좌표를 의미하고
Figure 112021041789848-pat00054
는 오른 무릎의 z좌표를 의미한다. 또한,
Figure 112021041789848-pat00055
는 보행자의 골반길이를 의미한다. 보행자의 골반길이로 보행중인 보행자의 각 무릎의 z좌표의 차의 평균편차를 나누는 이유는 촬영되는 보행자마다 키가 커서 보행 속도의 차이가 나기도 하고, 골반이 넓은 것에 의해 기본적으로 무릎이 벌어지는 것에 차이가 나기 때문에 표준화하기 위해서이다. 파킨슨 증후군 환자는 무릎 및 허리 등의 통증으로 인하여 보행할 때, 무릎을 벌리고 걷는다. 일반인들은 보행할 때 무릎이 벌려 걷지 않기 때문에 보행하는 일반인의 양 무릎의 z좌표를 측정하여 검출요소 1을 연산하면 양 무릎의 차가 일정할 것이다. 하지만 파킨슨 증후군 환자의 보행을 촬영하면 무릎을 계속 벌리고 걷고, 통증 때문에 걸음걸이가 일정하지 않는다. 따라서 보행중인 보행자의 무릎의 z좌표를 이용하여 연산된 검출요소1에서 보행자의 골반길이 대비 보행자의 무릎의 벌림 정도를 알 수 있다.
후술할 본 발명의 보행자의 파킨슨 증후군 중증 단계를 판별하는 제4단계(s400)는 검출요소 1을 연산하는 단계(s321)에서 연산된 검출요소 1을 이용하여 보행자의 파킨슨 증후군 중증 단계를 판별할 수 있다. 일반인의 보행과는 다르게 파킨슨 증후군 환자의 보행은 무릎을 벌리고 걷는 특징을 가지고 있다. 보행중인 보행자의 무릎의 z좌표를 이용하여 연산된 검출 요소 1은 골반길이 대비 무릎 사이의 벌림 정도를 내포하고 있다. 따라서, 검출요소 1에 내포되어 있는 골반길이 대비 무릎 사이의 벌림 정도를 가지고 보행자의 파킨슨 증후군 중증단계(s400)에서 보행자의 파킨슨 증후군 중증 단계를 판별할 수 있는 것이다.
검출요소 2를 연산하는 단계(s322) 상기 스켈레톤 데이터로부터,
Figure 112021041789848-pat00056
를 기준으로 보행자의 각 발목의 z좌표의 차이의 평균편차/골반길이를 연산하는 단계이다. 검출요소 2를 연산하는 식에서
Figure 112021041789848-pat00057
는 왼 발목의 z좌표를 의미하고
Figure 112021041789848-pat00058
는 오른 발목의 z좌표를 의미한다. 또한,
Figure 112021041789848-pat00059
는 보행자의 골반길이를 의미한다.
Figure 112021041789848-pat00060
로
Figure 112021041789848-pat00061
를 나누는 이유도 검출요소 1를 연산하는 식에서 보행중인 보행자의 각 무릎의 z좌표의 평균편차를 보행자의 골반 길이로 나누는 이유와 동일하게 촬영되는 보행자마다 키가 커서 보행 속도의 차이가 나고, 골반이 넓은 것에 의해 기본적으로 무릎이 벌어져 양 발목 사이가 멀어지는 것에서 차이가 나기 때문에 표준화하기 위해서이다. 앞서 서술했듯이 파킨슨 증후군 환자와 일반인과의 보행에서 다른 점으로는 무릎을 벌리고 걷는 특징이 있다. 따라서 무릎이 벌리고 걸어, 양 발목의 사이도 멀어진다. 따라서 보행중인 보행자의 발목의 z좌표를 이용하여 연산된 검출요소2에서 보행자의 골반길이 대비 보행자의 발목 사이의 벌림 정도를 알 수 있다.
후술할 본 발명의 보행자의 파킨슨 증후군 중증 단계를 판별하는 제4단계(s400)는 검출요소 2를 연산하는 단계(s322)에서 연산된 검출요소 2를 이용하여 보행자의 파킨슨 증후군 중증 단계를 판별할 수 있다. 일반인의 보행과는 다르게 파킨슨 증후군 환자의 보행은 무릎을 벌리고 걷는 특징이 있다. 무릎을 벌리고 걷기 때문에 발목 사이의 거리도 멀어진다. 따라서 보행중인 보행자의 발목의 z좌표를 이용하여 연산된 검출 요소 2는 골반길이 대비 발목 사이의 벌림 정도를 내포하고 있다. 따라서, 검출요소 2에 내포되어 있는 골반길이 대비 발목 사이의 벌림 정도를 가지고 보행자의 파킨슨 증후군 중증단계(s400)에서 보행자의 파킨슨 증후군 중증 단계를 판별할 수 있는 것이다.
검출요소 3을 연산하는 단계(s323)는 상기 스켈레톤 데이터로부터,
Figure 112021041789848-pat00062
를 기준으로 보행속도/다리길이를 연산하는 단계이다.
Figure 112021041789848-pat00063
에서
Figure 112021041789848-pat00064
는 보행자(p)의 허리의 x 좌표를 의미하고,
Figure 112021041789848-pat00065
는 보행자가 기 설정된 거리를 보행한 시간을 의미한다. 또한,
Figure 112021041789848-pat00066
는 보행자(p)의 다리 길이를 의미한다.
Figure 112021041789848-pat00067
를
Figure 112021041789848-pat00068
로 나누는 이유는 다리 길이에 따라서 보폭에 크기가 달라져 같은 거리를 걷더라도 속도가 달라지기 때문에 표준화하기 위해서이다. 앞서 서술했듯이, 파킨슨 증후군 환자는 허리, 무릎 등 통증으로 인하여 무릎을 벌리고 걷는 특징을 가지고 있다. 하지만 무릎을 벌리고 걷는 특징 외에도 파킨슨 증후군 환자는 통증으로 인하여 빠르게 걸을 수가 없다. 그렇기 때문에 보폭이 큰 파킨슨 증후군 환자여도 같은 보폭을 가지고 있는 일반인과는 걷는 속도에서 차이가 날 수 있다.
후술할 본 발명의 보행자의 파킨슨 증후군 중증 단계를 판별하는 제4단계(s400)는 검출요소 3을 연산하는 단계(s323)에서 연산된 검출요소 3을 이용하여 보행자의 파킨슨 증후군 중증 단계를 판별할 수 있다. 일반인의 보행과는 다르게 파킨슨 증후군 환자의 보행은 속도가 느리다는 특징이 있다. 따라서, 검출요소 3에 내포되어 있는 다리길이 대비 보행속도를 가지고 보행자의 파킨슨 증후군 중증단계(s400)에서 보행자의 파킨슨 증후군 중증 단계를 판별할 수 있는 것이다.
검출요소 4를 연산하는 단계(s324)는 상기 스켈레톤 데이터로부터,
Figure 112021041789848-pat00069
를 기준으로 측면에서 바라본 보행중인 보행자의 발길이/보행자의 발 길이를 연산하는 단계이다. 검출요소 4를 연산하는 식에서
Figure 112021041789848-pat00070
는 왼발의 x좌표이고
Figure 112021041789848-pat00071
는 왼 발목의 x좌표를 의미한다. 또한,
Figure 112021041789848-pat00072
는 오른발의 x좌표를 의미하고
Figure 112021041789848-pat00073
는 오른발목의 x좌표를 의미한다. 또한, 상기 검출요소 4를 연산하는 식에서
Figure 112021041789848-pat00074
는 보행자의 발길이를 의미하고,
Figure 112021041789848-pat00075
는 보행자가 기 설정된 거리를 보행한 시간을 의미한다. 정상적인 일반인이 걸었을 때 측면에서 바라본 발길이는 본인의 발길이와 동일하지만 파킨슨 증후군 환자는 무릎을 벌리고 걷기 때문에 발목이 밖을 향하여 걷는다 따라서 본인의 발길이보다 측면에서 바라본 발길이가 더 짧을 수 있다.
후술할 본 발명의 보행자의 파킨슨 증후군 중증 단계를 판별하는 제4단계(s400)는 검출요소 4를 연산하는 단계(s324)에서 연산된 검출요소 4를 이용하여 보행자의 파킨슨 증후군 중증 단계를 판별할 수 있다. 일반인의 보행에서 측면에서 바라본 발길이와 일반인의 발길이는 같다. 하지만 파킨슨 증후군 환자의 보행에서 측면에서 바라본 발길이와 파킨슨 증후군 환자의 발길이는 다르다. 이러한 특징을 이용하여 보행할 때 측면에서 바라본 발길이와 보행자의 발길이를 이용하여 검출요소 4를 연산한다. 따라서, 검출요소 4에 내포되어 있는 발길이 대비 보행할 때 측면에서 바라본 발길이를 가지고 보행자의 파킨슨 증후군 중증단계(s400)에서 보행자의 파킨슨 증후군 중증 단계를 판별할 수 있는 것이다.
검출요소 5를 연산하는 단계(s325)는 상기 스켈레톤 데이터로부터,
Figure 112021041789848-pat00076
를 기준으로 보행중인 양 무릎 굽힘 각 평균을 연산하는 단계이다. 상기 검출요소 5를 연산하는 식에서
Figure 112021041789848-pat00077
는 왼쪽 엉덩이, 왼 무릎, 왼 발목의 x좌표와 y좌표로 삼각형 세변의 길이를 계산 후 cos법칙을 이용하여 연산 한 왼 다리의 무릎의 굽힘 각을 의미한다. 또한,
Figure 112021041789848-pat00078
는 오른쪽 엉덩이, 오른 무릎, 오른 발목의 x좌표와 y좌표로 삼각형 세변의 길이를 계산 후 cos법칙을 이용하여 연산한 오른다리의 무릎의 굽힘 각을 의미한다.
Figure 112021041789848-pat00079
는 보행자가 기 설정된 거리를 보행한 시간을 의미한다. 앞서 서술했듯이 파킨슨 증후군 환자와 일반인과의 보행에서 다른 점으로는 무릎을 벌리고 걷는 특징이 있다. 따라서 파킨슨 증후군 환자는 중증단계가 심해질수록 무릎을 양쪽으로 더 많이 벌리면서, 무릎도 더 많이 굽히게 된다. 따라서 무릎의 굽힘 각 평균을 이용하여 연산된 검출요소5에서 보행할 때 보행자가 무릎을 굽힌 정도를 알 수 있다.
후술할 본 발명의 보행자의 파킨슨 증후군 중증 단계를 판별하는 제4단계(s400)는 검출요소 5를 연산하는 단계(s325)에서 연산된 검출요소 5를 이용하여 보행자의 파킨슨 증후군 중증 단계를 판별할 수 있다. 일반인이 보행할 때 무릎을 아예 펴고 걷지 않는다. 하지만, 파킨슨 증후군 환자와 비교했을 때 무릎을 굽힌 각도에서 차이가 난다. 따라서, 검출요소 5에 내포되어 있는 보행할 때 파킨슨 증후군 환자의 엉덩이와 무릎 및 발목이 이루고 있는 각도를 가지고 보행자의 파킨슨 증후군 중증단계(s400)에서 보행자의 파킨슨 증후군 중증 단계를 판별할 수 있는 것이다.
보행자의 파킨슨 증후군 중증단계를 판별하는 제4단계(s400)는 촬영된 사진데이터로부터 보행자의 스켈레톤 데이터를 추출하고, 상기 스켈레톤 데이터로부터 파킨슨 판별 데이터로 연산하는 제 3단계(s300)에서 연산 된 파킨슨 판별 데이터에 기초하여 기 설정된 기준보다 높은 지 판별하여 보행자의 파킨슨 증후군 중증 단계를 판별할 수 있다. 앞서 서술한, 5개의 검출요소는 보행자의 파킨슨 증후군 중증단계를 판별하는 제4단계(s400)에서 보행자의 파킨슨 증후군 중증단계를 판별하는 각각의 지표로도 쓰인다. 또한, 보행자의 파킨슨 증후군 중증단계를 판별하는 제4단계(s400)에서 5개의 검출요소 전부를 이용하여 보행자의 파킨슨 증후군 중증단계를 판별할 수 있다.
예를 들어, 파킨슨 증후군 환자(p)가 있다. 파킨슨 증후군 환자(p)는 기 설정된 거리를 전방을 향해 걷는다. 이때, 파킨슨 증후군 환자(p)의 측면을 촬영한다. 이 촬영된 사진데이터에서 파킨슨 증후군 환자(p)의 스켈레톤 데이터를 추출해 내는데, 이때 추출되는 스켈레톤 특성은 하반신에 위치한 9개의 특성만 사용한다. 파킨슨 증후군 환자들은 중증 정도가 심할수록 무릎을 많이 벌리고 걷는다. 무릎을 많이 벌리면 벌릴수록 발목이 밖을 향하게 되고, 무릎을 더 많이 굽히게 되며, 걸음 속도도 느려지게 된다. 촬영된 사진데이터에서 추출한 스켈레톤 데이터에서 무릎과 발목, 속도 등의 특징을 알아볼 수 있는 검출요소 5가지를 지정하여 이를 연산한다. 파킨슨 증후군 환자(p)의 연산 된 검출요소 5가지는 다른 파킨슨 증후군 환자들의 검출요소들과 비교하여 기 설정된 기준 이상보다 높은 지 판별하여 파킨슨 증후군 환자(p)의 중증 단계를 판별한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 촬영부
200: 서버
210: 추출부
220: 연산부
230: 학습부
240: 판별부
300: 단말
310: 디스플레이부
c: 카메라
p: 보행자
p1: 정상 보행자
p2: 파킨슨 증후군 환자

Claims (11)

  1. 보행자가 전방을 향해 보행할 때, 보행자의 측면을 촬영하는 촬영부; 및
    상기 촬영부에서 촬영된 사진 데이터를 전달받아 중증단계를 판별하는 서버;
    상기 서버는 촬영된 사진 데이터로부터 보행자의 스켈레톤 데이터를 추출하는 추출부;
    Figure 112023016628338-pat00080
    를 기준으로 보행자의 각 무릎의 z좌표의 차이의 평균편차/골반길이를 연산하고,
    Figure 112023016628338-pat00081
    에 기준으로 보행자의 각 발목의 z좌표의 차이의 평균편차/골반길이를 연산하는 연산부; 및
    상기 보행자의 각 무릎의 z좌표의 차이의 평균편차/골반길이 및 상기 보행자의 각 발목의 z좌표의 차이의 평균편차/골반길이로부터 보행자의 파킨슨 증후군 상태가 기 설정된 범위내에 포함되는지 판별하는 판별부;를 포함하는 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템.
    (
    Figure 112023016628338-pat00082
    는 왼쪽 무릎의 z좌표를,
    Figure 112023016628338-pat00083
    는 오른쪽 무릎의 z좌표를 의미한다.
    Figure 112023016628338-pat00084
    는 보행자가 기 설정된 거리를 보행한 시간을 의미한다.
    Figure 112023016628338-pat00085
    는 촬영되는 보행자(p)의 골반 길이이며, t는 시간을 의미한다)
  2. 제1항에 있어서,
    상기 연산부는,
    상기 스켈레톤 데이터로부터,
    Figure 112023016628338-pat00086
    를 기준으로 보행속도/다리길이를 연산하고, 상기 판별부는 상기 보행속도/다리길이로부터 보행자의 파킨슨 증후군 상태 상태가 기 설정된 범위내에 포함되는지 판별하는 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템
    (
    Figure 112023016628338-pat00087
    는 보행자(p)의 허리의 x 좌표를 의미하고,
    Figure 112023016628338-pat00088
    는 보행자가 기 설정된 거리를 보행한 시간을 의미한다. 또한,
    Figure 112023016628338-pat00089
    는 보행자(p)의 다리 길이를 의미한다.)
  3. 제2항에 있어서,
    상기 연산부는,
    상기 스켈레톤 데이터로부터,
    Figure 112023016628338-pat00090
    를 기준으로 측면에서 바라본 보행중인 보행자 양 발의 평균 발길이/보행자의 발길이를 연산하고, 상기 판별부는 상기 측면에서 바라본 보행중인 보행자의 양 발의 평균 발길이/보행자의 발길이로부터 보행자의 파킨슨 증후군 상태가 기 설정된 범위내에 포함되는지 판별하는 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템
    (
    Figure 112023016628338-pat00091
    는 왼발의 x좌표이고
    Figure 112023016628338-pat00092
    는 왼 발목의 x좌표를 의미한다. 또한,
    Figure 112023016628338-pat00093
    는 오른발의 x좌표를 의미하고
    Figure 112023016628338-pat00094
    는 오른발목의 x좌표를 의미한다. 또한,
    Figure 112023016628338-pat00095
    는 보행자의 발길이를 의미하고,
    Figure 112023016628338-pat00096
    는 보행자가 기 설정된 거리를 보행한 시간을 의미한다.)
  4. 제3항에 있어서,
    상기 연산부는,
    상기 스켈레톤 데이터로부터,
    Figure 112023016628338-pat00097
    에 기준으로 보행중인 양 무릎의 굽힘 각 평균을 연산하고, 상기 판별부는 상기 보행중인 양 무릎의 굽힘 각 평균으로부터 보행자의 파킨슨 증후군 상태가 기 설정된 범위내에 포함되는지 판별하는 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템
    (
    Figure 112023016628338-pat00098
    는 왼쪽 엉덩이, 왼 무릎, 왼 발목의 x좌표와 y좌표로 삼각형 세변의 길이를 계산 후 cos법칙을 이용하여 연산 한 왼 다리의 무릎의 굽힘 각을 의미한다. 또한,
    Figure 112023016628338-pat00099
    는 오른쪽 엉덩이, 오른 무릎, 오른 발목의 x좌표와 y좌표로 삼각형 세변의 길이를 계산 후 cos법칙을 이용하여 연산한 오른다리의 무릎의 굽힘 각을 의미한다.
    Figure 112023016628338-pat00100
    는 보행자가 기 설정된 거리를 보행한 시간을 의미한다. )
  5. 제4항에 있어서,
    상기 판별부는,
    상기 연산부에서 연산된 상기 보행속도/다리길이, 상기 보행자의 각 무릎의 z좌표의 차이의 평균편차/골반길이, 상기 보행자의 각 발목의 z좌표의 차이의 평균편차/골반길이, 상기 측면에서 바라본 보행중인 보행자 양 발의 평균 발길이/보행자의 발길이 및 상기 보행중인 양 무릎의 굽힘 각 평균의 값인 파킨슨 판별 데이터를 이용하여 보행자의 파킨슨 증후군 상태가 기 설정된 범위내에 포함되는지 판별하고, 상기 서버는 상기 파킨슨 판별 데이터를 딥러닝 하는 학습부;를 포함하는 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
KR1020210046442A 2021-04-09 2021-04-09 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법 KR102545358B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210046442A KR102545358B1 (ko) 2021-04-09 2021-04-09 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법
PCT/KR2022/005088 WO2022216102A1 (ko) 2021-04-09 2022-04-08 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210046442A KR102545358B1 (ko) 2021-04-09 2021-04-09 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법

Publications (3)

Publication Number Publication Date
KR20220140224A KR20220140224A (ko) 2022-10-18
KR102545358B1 true KR102545358B1 (ko) 2023-06-21
KR102545358B9 KR102545358B9 (ko) 2023-10-12

Family

ID=83546505

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210046442A KR102545358B1 (ko) 2021-04-09 2021-04-09 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102545358B1 (ko)
WO (1) WO2022216102A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101606768B1 (ko) * 2014-06-24 2016-03-28 (주)이튜 모션 추출기반의 보행 자세 교정장치
CN104598722B (zh) * 2014-12-25 2017-04-19 中国科学院合肥物质科学研究院 一种基于步态时空参数和三维力特征的帕金森患者行走能力评估方法
KR101688016B1 (ko) * 2015-12-11 2016-12-20 강신현 보행 분석기능을 갖춘 보행 재활기구
KR20180058999A (ko) * 2016-11-25 2018-06-04 알바이오텍 주식회사 보행 분석 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
KR20200120365A (ko) * 2019-04-12 2020-10-21 울산대학교 산학협력단 파킨슨 환자 영상의 구분 동작으로부터 중증 정도를 자동으로 채점하는 학습 방법 및 장치

Also Published As

Publication number Publication date
KR102545358B9 (ko) 2023-10-12
WO2022216102A1 (ko) 2022-10-13
KR20220140224A (ko) 2022-10-18

Similar Documents

Publication Publication Date Title
JP6675462B2 (ja) 動作情報処理装置
US10657366B2 (en) Information processing apparatus, information processing method, and storage medium
JP6381918B2 (ja) 動作情報処理装置
JP6334925B2 (ja) 動作情報処理装置及び方法
CN104274182B (zh) 动作信息处理装置以及方法
KR101118654B1 (ko) 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법
US11950901B2 (en) Systems and methods for assessing gait, stability, and/or balance of a user
Hanley et al. Differences between motion capture and video analysis systems in calculating knee angles in elite-standard race walking
WO2014112631A1 (ja) 動作情報処理装置及びプログラム
JP2014138661A (ja) 医用画像表示装置及びプログラム
KR102582154B1 (ko) 깊이 카메라를 이용한 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
KR102556001B1 (ko) 보행데이터 기반 파킨슨 증후군 중증도 판별 시스템 및 방법
JP6056107B2 (ja) 運動補助装置、運動補助方法、プログラム
KR102545358B1 (ko) 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법
KR101118372B1 (ko) 가상 마커 방식을 이용한 비만/체형을 평가하는 시스템 및 방법
KR101501446B1 (ko) 관성센서와 적외선 카메라를 이용한 보행 측정 장치.
KR102556002B1 (ko) 스켈레톤 데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법
JP6598422B2 (ja) 医用情報処理装置、システム及びプログラム
KR20230102297A (ko) 보행데이터 기반 근감소증 중증도 판별 시스템 및 방법
KR102483387B1 (ko) 손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법 및 손가락 재활 훈련 시스템
JP6127302B2 (ja) 運動補助装置、運動補助方法、プログラム
KR20230102308A (ko) 보행데이터 기반 근감소증 최적화 판별 시스템 및 방법
KR20230102262A (ko) 스켈레톤 데이터 기반 근감소증 최적화 판별 시스템 및 방법
CN113544736A (zh) 下肢肌肉力量估计系统、下肢肌肉力量估计方法及程序
Ng et al. Towards a mobility diagnostic tool: Tracking rollator users' leg pose with a monocular vision system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
G170 Re-publication after modification of scope of protection [patent]