KR102644942B1 - 상지 편마비 환자의 운동 프로그램 추천 장치 및 방법 - Google Patents
상지 편마비 환자의 운동 프로그램 추천 장치 및 방법 Download PDFInfo
- Publication number
- KR102644942B1 KR102644942B1 KR1020220092560A KR20220092560A KR102644942B1 KR 102644942 B1 KR102644942 B1 KR 102644942B1 KR 1020220092560 A KR1020220092560 A KR 1020220092560A KR 20220092560 A KR20220092560 A KR 20220092560A KR 102644942 B1 KR102644942 B1 KR 102644942B1
- Authority
- KR
- South Korea
- Prior art keywords
- exercise
- subject
- hemiplegia
- degree
- processor
- Prior art date
Links
- 210000001364 upper extremity Anatomy 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims abstract description 23
- 206010019468 Hemiplegia Diseases 0.000 claims abstract description 116
- 230000033001 locomotion Effects 0.000 claims abstract description 31
- 238000010801 machine learning Methods 0.000 claims abstract description 25
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 206010033799 Paralysis Diseases 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 208000007542 Paresis Diseases 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 206010019465 hemiparesis Diseases 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 101100004280 Caenorhabditis elegans best-2 gene Proteins 0.000 description 1
- 208000035473 Communicable disease Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1124—Determining motor skills
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Primary Health Care (AREA)
- Theoretical Computer Science (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Physical Education & Sports Medicine (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Veterinary Medicine (AREA)
- Dentistry (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Rehabilitation Tools (AREA)
Abstract
본 개시의 일 실시 예는 상지 편마비 환자에게 운동 프로그램을 추천하는 방법으로서, 각 단계의 적어도 일부가 프로세서에 의해 수행되고, 기 설정된 촬영 조건에 따라 대상자의 움직임을 촬영한 동영상을 제공 받는 단계, 3차원 컨볼루션 레이어를 포함하는 머신 러닝 기반의 제1 학습 모델에 동영상을 입력하여 대상자의 상지 편마비 정도를 판단하는 단계 및 대상자의 상지 편마비 정도에 기반하여 운동 프로그램을 결정하는 단계를 포함한다.
Description
본 개시는, 상지 편마비 환자에게 운동 프로그램을 추천할 수 있는 장치 및 방법에 관한 것으로서, 더욱 상세하게는 동영상의 환자의 움직임에 기초하여 상지 편마비 정도를 판단하여 운동 프로그램을 추천하는 장치 및 방법에 관한 것이다.
이하에서 기술되는 내용은 본 개시의 실시 예와 관련되는 배경 정보를 제공할 목적으로 기재된 것일 뿐이고, 기술되는 내용들이 당연하게 종래기술을 구성하는 것은 아니다.
편마비(hemiplegia)는 오른쪽 또는 왼쪽의 상지와 하지의 근력이 모두 저하하여 운동을 수행할 수 없는 상태로서, 일반적으로 뇌졸중, 뇌종양 등에 의하여 발생한다.
의학용어로 편마비 환자의 아픈 측(마비된 영역)은 환측(Affected Side)이라 하고, 손상 받지 않은 반대측은 건측(Unaffected Side)이라 하며, 편마비 치료 시, 일반적으로 건측 보다는 환측에 대해서만 재활 운동이 수행된다.
편마비 치료를 위한 상지(upper limb) 재활 운동은 대부분 치료사가 환자의 마비 상태를 직접 확인하고 치료하고 있는 것이 대부분이다. 그러나 최근에 들어 전염병에 따른 비대면 치료가 필요한 시점에서 편마비 환자의 상지 재활 운동이 어렵다는 한계가 있었다.
이를 위해 환자의 보호자나 환자와 비대면(예: 전화, 온라인 등)을 통해 환자 상태를 간접적으로 이해하여 환자가 실행할 수 있는 운동 프로그램을 제안하고 있다. 그러나, 비대면을 통한 운동 프로그램 추천은 환자의 마비 상태를 정확하게 파악하기 어렵고, 그로 인해 실제 환자에 맞는 운동 프로그램이 수행되는지 여부를 확인하는데도 한계가 있었다.
즉, 편마비 환자의 마비 상태를 객관적으로 판단하고, 판단된 기준에 기초하여 환자에게 적합한 운동 프로그램을 제안할 수 있는 기술이 필요하다.
전술한 배경기술은 개시자가 본 개시의 도출을 위해 보유하고 있었거나, 본 개시의 도출 과정에서 습득한 기술 정보로서, 반드시 본 개시의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 개시의 일 실시 예는 편마비 환자의 마비 상태에 따라 적절한 운동 프로그램을 추천할 수 있는 상지 편마비 환자의 운동 프로그램 추천 장치 및 방법을 제공하는 것이다.
또한, 본 개시의 일 실시 예는 편마비 환자를 치료하는 치료사와 환자가 직접 대면하지 않고도 편마비 환자에게 운동을 제안하여 치료가 가능할 수 있도록 하는 상지 편마비 환자의 운동 프로그램 추천 장치 및 방법을 제공하는 것이다.
본 개시의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 개시의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 개시의 실시 예에 의해보다 분명하게 이해될 것이다. 또한, 본 개시의 목적 및 장점들은 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 개시의 일 실시 예에 따라 대상자의 움직임에 기초하여 대상자에게 프로그램을 제안하는 방법은, 기 설정된 촬영 조건에 따라 대상자의 움직임을 촬영한 동영상을 제공 받고, 3차원 컨볼루션 레이어를 포함하는 머신 러닝 기반의 제1 학습 모델에 상기 동영상을 입력하여 상기 대상자의 상지 편마비 정도를 판단하여 상기 대상자의 상기 상지 편마비 정도에 기반하여 운동 프로그램을 결정하는 과정으로 수행될 수 있다.
본 개시의 일 실시 예에 따르면, 저장매체에서 상기 상지 편마비 정도에 관련된 복수의 운동 정보를 확인하고, 복수의 상기 운동 정보를 복수의 일자에 배분하여 상기 대상자의 운동 스케줄 정보를 생성하기 위한 것일 수 있다.
본 개시의 일 실시 예에 따르면, 복수의 상기 운동 정보는 균형 운동, 체간 운동, 관절 운동, 근력 운동 및 과제 지향 운동 중 적어도 하나의 분류에 속하고, 상기 운동 스케줄 정보는 상기 대상자에 의해 입력 받거나 또는 상기 상지 편마비 정도에 관련되어 미리 설정된 운동 기간 내에 균형 운동, 체간 운동, 관절 운동, 근력 운동 및 과제 지향 운동에 분류된 운동들이 모두 포함되도록 하여 생성할 수 있다.
본 개시의 일 실시 예에 따르면, 상기 운동 기간 내에 포함된 상기 운동 스케줄 정보의 수행 여부를 확인고, 상기 운동 스케줄 정보의 수행 여부가 완료로 판단된 경우, 상기 대상자에게 상기 상지 편마비 정도를 재 판단하도록 디스플레이, 스피커 및 광 LED 중 적어도 어느 하나로 가이드하는 메시지를 출력할 수 있다.
본 개시의 일 실시 예에 따르면, 상기 동영상의 최초 프레임으로부터 미리 설정된 구간 내의 적어도 하나의 프레임을 머신 러닝 기반의 제2 학습 모델에 입력하여 상기 대상자의 자세를 추정하고, 상기 대상자의 상기 자세가 상기 상지 편마비 정도를 판단할 수 있는 자세인지를 판단할 수 있다.
본 개시의 일 실시 예에 따르면, 상기 프레임에서 인식된 상기 대상자의 몸통의 면적 및 팔의 면적의 상대 비율에 기반하거나, 상기 프레임에서 인식된 상기 대상자의 얼굴에서 눈, 코 및 입의 위치에 기반할 수 있다.
본 개시의 일 실시 예에 따르면, 카메라를 구동하고 상기 카메라로부터 실시간으로 제공 받은 영상을 머신 러닝 기반의 제2 학습 모델에 입력하여 상기 대상자의 자세를 추정하고, 상기 대상자의 상기 자세가 상기 상지 편마비 정도를 판단할 수 있는 자세인지를 판단한 후, 디스플레이, 스피커 및 광 LED 중 적어도 어느 하나로 상기 카메라의 촬영 방향의 변경을 가이드하는 메시지를 출력할 수 있다.
본 개시의 일 실시 예에 따르면, 카메라를 구동하고 상기 카메라로부터 실시간으로 제공 받은 영상을 객체를 인식하는 머신 러닝 기반의 제3 학습 모델에 입력하여 상기 대상자 및 대상 오브젝트를 인식하고, 상기 대상자와 상기 대상 오브젝트와의 거리가 상기 상지 편마비 정도를 판단할 수 있는 거리인지 판단할 수 있다.
본 개시의 일 실시 예의 대상자의 움직임에 기초하여 대상자에게 프로그램을 추천하는 장치는, 프로세서 및 상기 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고, 상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가 3차원 컨볼루션 레이어를 포함하는 머신 러닝 기반의 제1 학습 모델에 기 설정된 촬영 조건에 따라 대상자의 움직을 촬영하여 제공 받은 동영상을 입력하여 상기 대상자의 상지 편마비 정도를 판단하고, 판단된 상기 대상자의 상지 편마비 정도에 기반하여 운동 프로그램을 결정하도록 야기하는 코드들을 저장할 수 있다.
전술한 것 외의 다른 측면, 특징, 및 이점이 이하의 도면, 청구범위 및 개시의 상세한 설명으로부터 명확해질 것이다.
본 개시의 실시 예는 상지 편마비 환자가 움직이는 움직임 정도에 따라 환자의 마비 정도를 판단하고, 판단된 마비 정도를 기초로 환자에게 적합한 운동 프로그램을 제안할 수 있도록 한다.
이를 위해 환자의 움직임을 촬영한 동영상을 머신 러닝 기반의 학습 모델에 입력하여 환자의 상지 편마비 정도를 자동적으로 판단하고, 판단된 마비 정도에 따라 환자에게 맞는 운동 프로그램을 자동적으로 결정할 수 있다.
또한, 치료사와 환자와의 대면 치료가 어려운 경우 촬영된 동영상으로 환자의 마비 정도를 판단할 수 있다. 즉, 대면 치료가 어려운 시점에서도 환자에게 적절한 운동 프로그램을 제안할 수 있고, 환자는 비대면 상황에서도 지속적으로 재활 치료를 수행할 수 있다.
본 개시의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시 예에 따른 상지 편마비 환자의 운동 프로그램 추천 장치의 환경을 개략적으로 나타낸 도면이다.
도 2는 본 개시의 일 실시 예에 따른 상지 편마비 환자의 운동 프로그램을 추천하는 장치의 구성을 나타낸 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 상지 편마비 정도를 판단하는 학습 모델을 훈련하는 서버의 구성을 나타낸 블록도이다.
도 4 및 도 5는 본 개시의 일 실시 예에 따른 상지 편마비 정도를 판단하는 학습 모델의 구성을 설명하는 도면이다.
도 6은 본 개시의 일 실시 예에 따른 상지 편마비 환자에게 운동 프로그램을 추천하는 장치의 인터페이스를 설명하는 도면이다.
도 7 내지 도 9는 본 개시의 일 실시 예에 따른 상지 편마비 환자의 운동 프로그램 추천 방법을 도시한 흐름도이다.
도 10은 본 개시의 일 실시 예에 따른 상지 편마비 환자의 자세가 적합한지를 판단하는 방법을 설명하는 도면이다.
도 2는 본 개시의 일 실시 예에 따른 상지 편마비 환자의 운동 프로그램을 추천하는 장치의 구성을 나타낸 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 상지 편마비 정도를 판단하는 학습 모델을 훈련하는 서버의 구성을 나타낸 블록도이다.
도 4 및 도 5는 본 개시의 일 실시 예에 따른 상지 편마비 정도를 판단하는 학습 모델의 구성을 설명하는 도면이다.
도 6은 본 개시의 일 실시 예에 따른 상지 편마비 환자에게 운동 프로그램을 추천하는 장치의 인터페이스를 설명하는 도면이다.
도 7 내지 도 9는 본 개시의 일 실시 예에 따른 상지 편마비 환자의 운동 프로그램 추천 방법을 도시한 흐름도이다.
도 10은 본 개시의 일 실시 예에 따른 상지 편마비 환자의 자세가 적합한지를 판단하는 방법을 설명하는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수개의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 개시의 일 실시 예에 따른 상지 편마비 환자의 운동 프로그램 추천 장치 및 상지 편마비 환자의 운동 프로그램 추천 장치의 통신을 개략적으로 나타낸 도면이다.
도 1을 참고하면, 상지 편마비 환자의 운동 프로그램 추천 장치(이하 추천 장치_100)는 환자인 대상자(이하 환자_50)의 움직임에 기초하여 환자에게 운동 프로그램을 추천할 수 있는 장치이다.
본 명세서의 실시 예들은 추천 장치가 머신 러닝 기반의 학습 모델을 다운로드 받은 사용자 단말(100)에서 동작하는 것을 전제로 하여 설명하지만, 서버(200)에서도 구현 가능하다.
구체적으로, 추천 장치(100)는 환자의 움직임을 촬영한 동영상을 서버(200)로부터 다운로드 받은 머신 러닝 기반의 학습 모델에 입력하여 환자의 상지 운동 상태를 판단한 뒤, 환자의 상지 편마비 정도를 판단하고, 판단된 상지 편마비 정도에 기반하여 환자에게 적합한 운동을 제안할 수 있다.
아래의 실시 예들은 추천 장치가 사용자 단말로 구현되어 사용자 단말(100)에서 환자(50)의 움직임을 촬영한 뒤, 촬영한 환자(50)의 동영상을 서버(200)로부터 다운로드 받은 학습 모델에 입력하여 획득한 상지 편마비 정도에 기반하여 단말에서 환자(50)에게 적합한 운동을 제안하는 예를 들어 설명한다.
이와 다르게, 사용자 단말(100)에서 촬영한 환자(50)의 동영상을 서버(200)로 전송하고, 서버(200)로 구현된 추천 장치가 환자(50)의 상지 편마비 정도를 판단한 뒤 사용자 단말(100)에서 환자(50)에게 적합한 운동을 제안할 수도 있다.
추천 장치(100)는 환자에게 적합한 운동 프로그램을 추천하기 위해서, 환자(50)를 촬영한 동영상을 학습 모델에 입력하여 환자(50)의 상지 편마비 정도를 단계별로 판단(추정)할 수 있다.
구체적으로, 추천 장치(100)는 환자(50)의 움직임을 촬영할 수 있다. 다른 실시 예로서, 환자(50)를 촬영할 수 있는 별도의 카메라 등의 촬영장치를 이용하여 촬영한 환자(50)의 동영상을 추천 장치(100)가 카메라로부터 전송 받을 수 있다. 여기서 환자(50)의 움직임이란 예를 들어 환자(50)가 컵을 잡는 동작과 같이 특정 타겟을 잡을 때 상지의 움직임을 의미할 수 있다.
추천 장치(100)는 환자(50)를 촬영한 동영상을 도 4 및 도 5와 같은 머신 러닝 기반의 학습 모델에 입력하여 환자(50)의 편마비 정도(=운동 수준 정도)를 추정할 수 있다. 학습 모델은 아래에서 도 4 및 도 5를 참조하여 설명한다.
도 2 및 도 3을 참조하여 본 개시의 일 실시 예에 따른 추천 장치(100) 및 학습 모델을 배포하는 서버(200)의 구성을 설명한다.
도 2는 본 개시의 일 실시 예에 따른 상지 편마비 환자의 운동 프로그램을 추천하는 장치(100)의 구성을 나타낸 블록도이고, 도 3은 본 개시의 일 실시 예에 따른 상지 편마비 환자의 운동 프로그램 추천 장치(100)와 통신 연결되고 환자의 동영상을 입력 받아 상지 편마비 정도를 판단(추정)하는 학습 모델을 배포하는 서버(200)의 구성을 나타낸 블록도이다.
도면의 설명에 앞서 본 개시의 일 실시 예에 따른 환자(50)를 촬영한 동영상을 학습 모델에 입력하여 환자의 상지 편마비 정도를 판단하고, 판단된 편마비 정도에 기반하여 상지 편마비 환자의 운동 프로그램을 추천하는 장치(100)는 설명한 바와 같이 사용자 단말을 통해 구현되는 예를 들어 설명하기로 한다.
앞에서 설명한 것처럼, 이외에도 서버(200)가 학습 모델에 기반하여 환자의 편마비 정도를 판단하고, 판단된 정도 또는 판단된 정도에 따른 운동 프로그램을 사용자 단말에 전송하여 사용자 단말이 환자(50)에게 운동 프로그램을 제시하도록 구현할 수도 있다.
도 2를 참고하면, 추천 장치(100)는 서버(200)로부터 학습 모델을 배포 받거나 다른 장치와 데이터 교환을 위한 통신을 수행하는 통신부(110), 학습 모델을 이용하여 추론을 수행하는 프로세서(130), 학습 모델 및 입력 데이터를 로딩하여 일시적으로 저장하고, 프로세서(130)의 수행을 야기하는 코드를 저장하는 메모리(120), 배포 받은 학습 모델 등을 저장하는 저장 장치(150)를 포함한다.
일 실시 예에서, 추천 장치(100)는 머신 러닝에 기반한 학습 모델의 연산을 전문적으로 수행하는 머신 러닝 프로세서(140)를 포함할 수 있고, 본 명세서에서 프로세서라는 표현은 범용 프로세서 및 머신 러닝 전용 프로세서를 포함하는 개념으로 사용한다.
일 실시 예에서, 추천 장치(100)는 상지 편마비 판단 정도 또는 상지 편마비 정도에 따른 운동 프로그램을 표시하는 디스플레이(170)를 포함할 수 있다. 예를 들어 디스플레이(140)는 환자(50)의 상지 편마비 정도에 따라 추천되는 복수의 운동 정보가 표시될 수 있다. 추천 장치(100)는 복수의 운동 정보를 여러 날짜에 배분하여 환자(50)의 운동 스케줄 정보를 생성할 수 있다. 또는 동일한 운동 정보를 여러 날짜에 배분하여 환자(50)의 운동 스케줄 정보를 생성할 수 있다.
일 실시 예에서, 통신부(110)는 무선 통신부 또는 유선 통신부를 포함할 수 있다.
무선 통신부는, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.
이동통신 모듈은, 이동통신을 위한 통신방식인 LTE(Long Term Evolution) 등에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈로서, 추천 장치(100)에 내장되거나 외장될 수 있고, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance) 등이 사용될 수 있다.
근거리 통신 모듈은 근거리 통신을 통하여 데이터 송수신을 위한 모듈로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication) 등을 사용할 수 수 있다.
위치정보 모듈은 추천 장치(100)의 위치를 획득하기 위한 모듈로서, 위성 항법 기술에 기반한 GPS(Global Positioning System) 모듈이거나, 무선 통신 기지국, 무선 액세스 포인트와의 무선 통신에 기반하여 위치를 획득하는 모듈일 수 있다. 위치정보 모듈은 WiFi 모듈을 포함할 수 있다.
일 실시 예에서, 추천 장치(100)는 사용자의 입력을 위한 인터페이스(160)를 포함할 수 있고, 인터페이스(160)는 입력부를 포함할 수 있다.
입력부는 마이크로폰, 디스플레이(170)에 표시된 인터페이스를 통해 사용자로부터 정보를 입력 받는 터치 인터페이스를 포함하는 사용자 인터페이스(UI: User Interface)를 포함하고, 사용자 인터페이스는 마우스, 키보드뿐만 아니라 장치에 구현된 기계식, 전자식 인터페이스 등을 포함할 수 있고 사용자의 명령을 입력 가능한 것이라면 특별히 그 방식과 형태를 한정하지 않는다. 전자식 인터페이스는 터치 입력 가능한 디스플레이를 포함한다.
디스플레이(170)는 추천 장치(100)의 출력을 외부에 표출하여 사용자에게 정보를 전달하거나 사용자로부터 입력을 받기 위한 인터페이스를 표시하는 것으로서, 시각적 출력, 청각적 출력 또는 촉각적 출력을 표출하기 위한 시각적 디스플레이, LED, 스피커 등을 포함할 수 있다.
일 실시 예에서, 추천 장치(100)는 다양한 종류의 연결된 외부 기기와의 데이터 전송을 위한 주변 장치 인터페이스부를 포함할 수 있고, 메모리 카드(memory card) 포트, 외부 장치 I/O(Input/Output) 포트(port) 등을 포함할 수 있다.
메모리(160)는 학습 모델의 배포 장치인 서버(200)로부터 전송 받아 저장 장치(150)에 저장된 학습 모델 및 학습 모델의 파라미터 정보들을 로딩할 수 있다. 학습 모델은 서로 다른 복수의 학습 모델일 수 있다. 예를 들어, 제1 학습 모델은 동영상을 입력 받아 동영상에 촬영된 환자의 편마비 정도를 판단하도록 훈련된 학습 모델일 수 있고, 제2 학습 모델은 동영상의 일부 프레임 또는 추천 장치(100)에 마운트된 카메라가 촬영하는 실시간 영상을 입력으로 하여 환자의 자세가 상지 편마비 정도를 판단할 수 있는 자세인지 판단하도록 훈련된 학습 모델일 수 있다.
메모리(160)는 그 밖에 프로세서(130)를 제어하기 위한 코드(code) 및 학습 모델의 중간 연산 결과 등의 데이터를 저장한다.
프로세서(130)는 추천 장치(100)의 전반적인 동작을 제어할 수 있다. 프로세서(130)는 앞서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(120)에 저장된 응용 프로그램을 구동하도록 하여 환자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있도록 한다.
도 3을 참고하면, 서버(200)는 추천 장치(100) 또는/및 기타 촬영장치에서 촬영하여 수신한 환자(50)의 움직임 동영상을 기초로 환자(50)의 상지 편마비 정도를 추정하는 학습 모델 등을 훈련시킬 수 있다.
서버(200)는 통신부(220), 메모리(230), 러닝 프로세서(250) 및 프로세서(240) 등을 포함하여 구성될 수 있다. 도 2를 참조하여 설명한 추천 장치(100)와 유사한 구성은 자세한 설명을 생략한다.
서버(200)의 통신부(220)는 앞서 설명한 추천 장치(100)와 통신 연결을 통하여 학습 모델을 추천 장치(100)로 전송하거나, 서버(200)에서 추천 장치가 구현되는 경우 사용자 단말(100) 또는/및 기타 촬영장치를 통해 촬영한 환자(50)의 움직임 동영상을 수신 받을 수 있다.
저장 장치(260)는 러닝 프로세서(250)를 통해 학습된 학습 모델(261)을 저장할 수 있다. 학습 모델(261) 동영상을 입력으로 받는 경우 3차원 해당 학습 모델은 3차원 컨볼루션(convolution) 레이어를 포함할 수 있다.
러닝 프로세서(250)는 훈련 데이터를 이용하여 학습 모델(261)을 학습(훈련)시킬 수 있다. 훈련 데이터는 환자를 촬영한 동영상이 환자의 상지 편마비 정도(=운동 수준 정도)로 레이블링(labeling)된 데이터일 수 있다. 상지 편마비 정도는 [표 1]과 같을 수 있다.
| 단계 | 의미 |
| 1 | 최상 |
| 2 | 중상 |
| 3 | 중하 |
| 4 | 최하 |
[표 1]을 살펴보면 운동 수준 정도는 환자(50)가 타겟이 되는 물체를 잡는 행위를 촬영하여 분석된 환자(50)의 관절 변화, 근력, 자세 및 체간의 변화 등을 수치적으로 구분한 것이다. 환자를 촬영한 동영상은 의료진의 판단으로 운동 수준 정도를 최상부터 최하까지 단계 1부터 단계 4까지 총 4단계로 구분하여 레이블링될 수 있다.
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction) 또는 파라미터는 저장 장치(260)에 저장될 수 있다.
본 개시의 학습 모델은 3차원 컨볼루션 레이어를 포함하는 머신 러닝을 기반으로 하는 제1 학습 모델일 수 있다. 즉, 환자(50)의 균형 운동, 체간 운동, 관절 운동, 근력 운동 및 과제 지향 운동 등에 대한 움직임을 촬영한 동영상을 통해 환자(50)의 상지 편마비 정도로 레이블링한 훈련 데이터로하여 훈련한 제1 학습 모델을 이용함으로써, 촬영된 동영상에 기반해서 제1 학습 모델이 환자(50)의 상지 편마비 정도를 자동적으로 추정할 수 있다.
구체적으로 제1 학습 모델에 적용하는 환자(50)의 움직임 동영상은 환자가 타겟이 되는 물체(예: 컵)을 잡는 과정의 환자(50)의 움직임을 촬영한 동영상일 수 있다.
서버(200)는 훈련한 제1 학습 모델을 추천 장치(100)에 배포하고, 추천 장치(100)는 제공 받은 동영상을 제1 학습 모델에 입력하여 환자의 상지 편마비 정도를 판단할 수 있다.
일 실시예에서, 서버(200)는 동영상을 제1 학습 모델에 입력하기 전에 촬영된 동영상의 최초 프레임으로부터 미리 설정된 구간의 프레임을 입력으로 하여 환자(50)의 자세를 추정하는 머신 러닝 기반의 제2 학습 모델을 훈련하고, 역시 추천 장치(100)로 배포할 수 있다.
제2 학습 모델은 동영상의 프레임 또는 영상을 입력 받아 환자의 자세를 적합 또는 부적합으로 판단하도록 훈련된 학습 모델일 수 있다. 예를 들어, 제2 학습 모델은 환자의 상지 편마비 정도를 판단할 수 있는 자세인 경우 적합으로 레이블링되고, 판단하기 어려운 자세인 경우 부적합으로 레이블링된 훈련 데이터로 훈련될 수 있다.
도 4 및 도 5는 본 개시의 일 실시 예에 따른 동영상을 입력으로 하여 환자의 상지 편마비 정도를 추정하도록 훈련된 학습 모델의 구성을 설명하는 도면이다.
도 4를 참고하면 머신 러닝에 기반하는 제1 학습 모델의 3차원 컨볼루션 레이어를 포함하는 구조가 개시되어 있다.
제1 학습 모델은 3차원 컨볼루션 레이어 및 복수의 블록을 포함하고, 환자들의 움직임이 촬영된 영상을 입력으로 받아 복수의 컨볼루션 레이어들을 거쳐 상지 편마비 정도를 출력하도록 구성될 수 있다.
일 실시 예에서, 도 4의 각 블록은 도 5와 같은 구조를 가질 수 있다. 특히 제1 학습 모델은 3차원 컨볼루션 레이어를 포함함으로써 동영상의 각 프레임의 특성뿐만 아니라, 시간 축에 따른 인접한 프레임들간의 시간적 특징 변화를 특징맵으로 추출함으로써 동영상을 분석할 수 있다.
일반적으로 이미지를 분석할 때 사용되는 2차원 컨볼루션 레이어에 기반한 신경망은 영상 한 장의 공간적 특성을 특징맵으로 추출함으로써 시간에 대한 정보를 전달할 수 없다는 한계가 있었다. 이를 위해 본 개시의 일 실시 예에서는 3차원 컨볼루션 신경망을 이용하여 시간 축에 대한 정보를 함께 학습할 수 있다. 또한, 제1 학습 모델은 학습시 레이어를 많이 통과할수록 동영상 본연의 특징을 잃어버리는 단점을 보완하기 위해 각 블록 통과 전의 값을 블록 통과 후의 값에 스킵 커넥션(skip connection)으로 추가시킴으로써 시간적 흐름에 따른 특징들을 잃지 않도록 할 수 있다. 따라서, 동영상에 포함된 시간에 따른 환자의 움직임 변화를 기반으로 상지 편마비 정도를 정확히 판단할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 상지 편마비 환자에게 운동 프로그램을 추천하는 장치의 인터페이스를 도시한 예시도이다.
설명한 바와 같이 본 개시의 일 실시 예에서 추론 장치(100)는 환자(50)의 움직임을 촬영한 동영상을 제공 받고, 제공 받은 동영상에서 환자의 상지 편마비 정도를 판단한 뒤, 판단된 환자(50)의 상지 편마비 정도에 기반하여 디스플레이를 통해 환자(50)에게 적합한 운동을 제안할 수 있다.
추천 장치(100)는 도 8과 같은 방법을 통하여 저장 장치에 저장된 상지 편마비 정도에 맵핑되어 저장된 복수의 운동 정보를 확인하고(S142), 판단된 환자의 상지 편마비 정도에 맵핑된 운동 정보를 복수의 일자에 균일하게 또는 높은 강도의 운동을 시간 흐름상 뒤쪽에 배분함으로써 환자(50)의 운동 스케줄 정보를 생성할 수 있다(S144).
추천 장치(100)는 생성된 운동 스케줄 정보에 따라 운동을 수행한 환자(50)의 기록은 도 6의 (a)와 같이 디스플레이에 표시하고 서버(200)로 전송할 수 있다.
특히 복수의 운동 정보는 균형 운동, 체간 운동, 관절 운동, 근력 운동 및 과제 지향 운동 등 중 어느 하나일 수 있으며, 운동 정보는 도 6의 (b)와 같은 인터페이스를 통해 환자(50)나 환자 보호자가 확인하여 운동 방법을 습득할 수 있다.
추천 장치(100)는 운동 스케줄 정보를 생성할 때, 판단된 환자(50)의 상지 편마비 정도에 맵핑된 균형 운동, 체간 운동, 관절 운동, 근력 운동 및 과제 지향 운동의 각 종류의 운동들이 모두 포함되도록 운동 스케줄 정보를 생성할 수 있다. 따라서, 환자(50)로 하여금 종합적인 재활 운동 수행을 스스로 할 수 있도록 도움을 줄 수 있다.
추천 장치(100)는 저장된 운동 기간 내에 환자(50)가 운동을 수행하였는지 여부를 확인할 수 있다. 즉, 환자(50) 또는 환자 보호자의 입력을 통해 환자(50)가 운동 스케줄 정보에 따라 운동을 수행하였는지(수행 여부 완료)를 확인하면, 환자(50)의 상지 편마비 정도를 재 판단하도록 동영상을 재 촬영하여 입력하도록 안내할 수 있다. 여기서 환자(50) 동영상을 재 촬영하여 상지 편마비 정도를 재 판단하도록 안내하는 방법으로는 추천 장치(100)를 통한 디스플레이, 스피커 안내(음성 알람), 광LED 등을 이용하여 안내할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 추천 장치의 상지 편마비 환자의 운동 프로그램 추천 방법을 도시한 흐름도이다.
도 7을 참고하면 본 개시의 일 실시 예에 따른 추천 장치의 상지 편마비 환자의 운동 프로그램 추천 방법은 환자(50)의 움직임 동영상을 획득하고(S120), 획득한 환자(50)의 움직임 동영상을 3차원 컨볼루션 신경망을 포함하는 머신 러닝 기반의 제1 학습 모델에 입력하여 환자(50)의 상지 편마비 정도를 판단할 수 있다(S140). 판단된 환자(50)의 상지 편마비 정도에 따라 환자(50)에게 적합한 운동 프로그램을 제안(S160)하여 환자(50)가 의료진과 대면이 불가능한 상황에도 정확한 상지 편마비 정도의 판단과 적합한 운동 수행이 이루어질 수 있도록 도움을 줄 수 있다.
한편, 본 개시의 일 실시 예에서 환자(50)의 움직임을 촬영하는 동영상을 획득하기 전에 추천 장치(100)는 영상을 통해서 환자를 인식하거나 환자의 몸통, 팔 등의 각 부위를 인식하고(S112), 인식된 환자(50)의 각 부위의 정보에 기반해 제1 학습 모델의 입력으로서 환자(50)의 상지 편마비 정도를 판단할 수 있는 자세인지 여부를 판단할 수 있다(S114).
일 실시 예에서, 추천 장치(100)는 마운트 된 카메라를 구동하여 카메라로부터 실시간 영상을 제공 받고, 실시간 영상을 제2 학습모델에 입력하여 환자(50)의 자세가 상지 편마비 정도를 판단할 수 있는 자세인지 판단할 수 있다.
이때, 추천 장치(100)는 환자(50)의 자세가 상지 편마비 정도를 판단하기 어려운 자세라고 판단되면 장치에 구비된 디스플레이, 스피커 및 광 LED와 같은 알림 구성으로 카메라의 촬영 방향 변경을 안내할 수 있다.
일 실시 예에서, 제2 학습 모델은 영상(동영상의 프레임)에서 도 10 (a)의 실시간 영상을 입력 받아 도 10 (b) 같은 환자(50)의 부위(파트: 팔, 다리, 얼굴, 몸통 등)를 인식하는 네트워크를 포함할 수 있다. 이 경우 제2 학습 모델은 영상에서 환자의 덴스 포즈(densepose)를 추정하도록 훈련된 학습 모델로서, 환자(50)의 2차원 영상을 탑승자의 3차원 서피스 모델(surface model)로 맵핑하는 딥 러닝 기반의 학습 모델일 수 있고 구조적으로 지역 기반 모델(Region-based model) 과 완전 컨벌루션 네트워크(fully convolutional networks)를 포함할 수 있다.
일 실시 예에서, 제2 학습 모델은 환자의 덴스 포즈를 추정하기 전에 영상에서 오브젝트 및 환자(50)를 추정(인식)하는 인스턴스 세그먼테이션(instance segmentation)을 수행하고, 인스턴스 세그먼테이션된 결과에 기반하여 환자의 덴스 포즈를 추정하고, 덴스 포즈된 결과에 기반하여 자세를 추정하는 네트워크를 포함할 수 있다.
일 실시 예에서, 인스턴스 세그먼테이션을 수행하는 네트워크는 마스크 RCNN 방식의 딥러닝 네트워크일 수 있다. 다른 실시예에서, 학습 모델에 기반하고, 전처리 및 후처리 과정에서 영상을 멀티 리졸루션으로 분할하고, 분할된 멀티 리졸루션에서 각각 고유 벡터(eigenvector)를 추출하여 세그먼테이션 맵을 형성한 결과를 종합하는 방식일 수 있다.
일 실시 예에서, 추천 장치(100)는 영상에서 인식된 오브젝트 및 환자(50)의 거리를 측정하고 기 설정된 기준과 비교하여 상지 편마비 정도를 판단할 수 있는 거리인지 판단할 수 있다.
다른 실시 예에서, 추천 장치(100)는 제2 학습 모델이 환자(50)의 영상을 입력 받아 추정한 덴스 포즈에 기반하여 환자(50)의 몸통의 면적 및 팔의 면적의 상대 비율에 기반하여 환자(50)의 자세가 상지 편마비 정도를 판단할 수 있는 자세인지를 판단하거나, 환자(50)의 얼굴에서 눈, 코 및 입의 위치에 기반하여 자세가 상지 편마비 정도를 판단할 수 있는 자세인지를 판단할 수 있다.
즉, 예를 들어 몸통의 면적에 대비한 팔의 면적의 비율이 기 설정된 비율보다 작은 경우 환자(50)의 몸통이 너무 옆으로 틀어지는 등의 측면이으로 판단하거나, 그 반대의 경우 환자(50)가 너무 정면으로 위치한 것으로 판단하여, 환자(50)의 제1 학습 모델이 상지의 동작 변화를 특징 맵으로 추출하기 어려울 수 있으므로, 추천 장치(100)는 이 경우 환자(50)의 자세가 상지 편마비 정도를 판단하기에 적합하지 않은 것으로 판단할 수 있다. 추천 장치(100)는 이 경우 카메라의 촬영 각도를 변경하도록 촬영자에게 안내할 수 있다.
다른 실시 예에서, 추천 장치(100)는 제2 학습 모델에서 인식한 환자(50)의 얼굴과 다른 학습 모델에서 인식한 환자(50)의 눈, 코 및 입의 위치를 비교하여 환자(50)의 자세가 상지 편마비 정도를 판단할 수 있는 자세인지 판단할 수 있다.
이상 설명된 본 개시의 실시 예에 대한 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
Claims (16)
- 각 단계의 적어도 일부가 프로세서에 의해 수행되고, 대상자의 움직임에 기초하여 대상자에게 운동 프로그램을 제안하는 방법으로서,
기 설정된 촬영 조건에 따라 대상자의 움직임을 촬영한 동영상을 제공 받는 단계;
3차원 컨볼루션 레이어를 포함하는 머신 러닝 기반의 제1 학습 모델에 상기 동영상을 입력하여 상기 대상자의 상지 편마비 정도를 판단하는 단계; 및
상기 대상자의 상기 상지 편마비 정도에 기반하여 운동 프로그램을 결정하는 단계를 포함하고,
상기 동영상을 상기 제1 학습 모델에 입력하는 단계 이전에,
상기 동영상의 최초 프레임으로부터 미리 설정된 구간 내의 적어도 하나의 프레임을 머신 러닝 기반의 제2 학습 모델에 입력하여 상기 대상자의 자세를 추정하는 단계; 및
상기 대상자의 상기 자세가 상기 상지 편마비 정도를 판단할 수 있는 자세인지를 판단하는 단계를 더 포함하는,
상지 편마비 환자의 운동 프로그램 추천 방법.
- 제1항에 있어서,
저장매체에서 상기 상지 편마비 정도에 관련된 복수의 운동 정보를 확인하는 단계; 및
복수의 상기 운동 정보를 복수의 일자에 배분하여 상기 대상자의 운동 스케줄 정보를 생성하는 단계를 포함하는,
상지 편마비 환자의 운동 프로그램 추천 방법.
- 제2항에 있어서,
복수의 상기 운동 정보는 균형 운동, 체간 운동, 관절 운동, 근력 운동 및 과제 지향 운동 중 적어도 하나의 분류에 속하고,
상기 운동 스케줄 정보를 생성하는 단계는,
상기 대상자에 의해 입력 받거나 또는 상기 상지 편마비 정도에 관련되어 미리 설정된 운동 기간 내에 균형 운동, 체간 운동, 관절 운동, 근력 운동 및 과제 지향 운동에 분류된 운동들이 모두 포함되도록 상기 운동 스케줄 정보를 생성하는 단계를 포함하는,
상지 편마비 환자의 운동 프로그램 추천 방법.
- 제3항에 있어서,
상기 운동 기간 내에 포함된 상기 운동 스케줄 정보의 수행 여부를 확인하는 단계; 및
상기 운동 스케줄 정보의 수행 여부가 완료로 판단된 경우, 상기 대상자에게 상기 상지 편마비 정도를 재 판단하도록 디스플레이, 스피커 및 광 LED 중 적어도 어느 하나로 가이드하는 메시지를 출력하는 단계를 더 포함하는,
상지 편마비 환자의 운동 프로그램 추천 방법.
- 삭제
- 제1항에 있어서,
상기 대상자의 상기 자세가 상기 상지 편마비 정도를 판단할 수 있는 자세인지를 판단하는 단계는,
상기 프레임에서 인식된 상기 대상자의 몸통의 면적 및 팔의 면적의 상대 비율에 기반하거나, 상기 프레임에서 인식된 상기 대상자의 얼굴에서 눈, 코 및 입의 위치에 기반하는,
상지 편마비 환자의 운동 프로그램 추천 방법.
- 제1항에 있어서,
상기 동영상을 제공 받는 단계 이전에,
카메라를 구동하고 상기 카메라로부터 실시간 영상을 제공 받는 단계;
상기 실시간 영상을 머신 러닝 기반의 제2 학습 모델에 입력하여 상기 대상자의 각 부위를 인식하는 단계;
인식된 상기 대상자의 각 부위에 기반하여 상기 실시간 영상의 상기 대상자의 상기 자세가 상기 상지 편마비 정도를 판단할 수 있는 자세인지를 판단하는 단계; 및
디스플레이, 스피커 및 광 LED 중 적어도 어느 하나로 상기 카메라의 촬영 방향의 변경을 가이드하는 메시지를 출력하는 단계를 더 포함하는,
상지 편마비 환자의 운동 프로그램 추천 방법.
- 제1항에 있어서,
상기 동영상을 제공 받는 단계 이전에,
카메라를 구동하고 상기 카메라로부터 실시간 영상을 제공 받는 단계;
상기 실시간 영상을 객체를 인식하는 머신 러닝 기반의 제3 학습 모델에 입력하여 상기 대상자 및 대상 오브젝트를 인식하는 단계; 및
상기 대상자와 상기 대상 오브젝트와의 거리가 상기 상지 편마비 정도를 판단할 수 있는 거리인지 판단하는 단계를 더 포함하는,
상지 편마비 환자의 운동 프로그램 추천 방법.
- 각 단계의 적어도 일부가 프로세서에 의해 수행되고, 대상자의 움직임에 기초하여 대상자에게 프로그램을 추천하는 장치로서,
프로세서; 및
상기 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고,
상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가,
3차원 컨볼루션 레이어를 포함하는 머신 러닝 기반의 제1 학습 모델에 기 설정된 촬영 조건에 따라 대상자의 움직을 촬영하여 제공 받은 동영상을 입력하여 상기 대상자의 상지 편마비 정도를 판단하고, 판단된 상기 대상자의 상지 편마비 정도에 기반하여 운동 프로그램을 결정하도록 야기하는 코드들을 저장하고,
상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가,
상기 동영상을 상기 제1 학습 모델에 입력하기 이전에 상기 동영상의 최초 프레임으로부터 미리 설정된 구간 내의 적어도 하나의 프레임을 머신 러닝 기반의 제2 학습 모델에 입력하여 상기 대상자의 자세를 추정하여 상기 대상자의 상기 자세가 상기 상지 편마비 정도를 판단할 수 있는 자세인지를 판단하도록 야기하는 코드들을 저장하는,
상지 편마비 환자의 운동 프로그램 추천 장치.
- 제9항에 있어서,
상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가,
저장매체에서 상기 상지 편마비 정도에 관련된 복수의 운동 정보를 복수의 일자에 배분하여 상기 대상자의 운동 스케줄 정보를 생성하도록 야기하는 코드들을 저장하는,
상지 편마비 환자의 운동 프로그램 추천 장치.
- 제10항에 있어서,
복수의 상기 운동 정보는 균형 운동, 체간 운동, 관절 운동, 근력 운동 및 과제 지향 운동 중 적어도 하나의 분류에 속하고,
상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가,
상기 대상자에 의해 입력 받거나 또는 상기 상지 편마비 정도에 관련되어 미리 설정된 운동 기간 내에 균형 운동, 체간 운동, 관절 운동, 근력 운동 및 과제 지향 운동에 분류된 운동들을 모두 포함하여 상기 운동 스케줄 정보를 생성하도록 야기하는 코드들을 저장하는,
상지 편마비 환자의 운동 프로그램 추천 장치.
- 제11항에 있어서,
상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가,
상기 운동 기간 내에 포함된 상기 운동 스케줄 정보의 수행 여부를 확인하여 상기 운동 스케줄 정보의 수행 여부가 완료로 판단된 경우, 상기 대상자에게 상기 상지 편마비 정도를 재 판단하도록 디스플레이, 스피커 및 광 LED 중 적어도 어느 하나로 가이드하는 메시지를 출력하도록 야기하는 코드들을 저장하는,
상지 편마비 환자의 운동 프로그램 추천 장치.
- 삭제
- 제9항에 있어서,
상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가,
상기 프레임에서 인식된 상기 대상자의 몸통의 면적 및 팔의 면적의 상대 비율에 기반하거나, 상기 프레임에서 인식된 상기 대상자의 얼굴에서 눈, 코 및 입의 위치에 기반하여 상기 상지 편마비 정도를 판단할 수 있는 자세인지를 판단하도록 야기하는 코드들을 저장하는,
상지 편마비 환자의 운동 프로그램 추천 장치.
- 제9항에 있어서,
상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가,
카메라를 구동하고 상기 카메라로부터 실시간으로 제공 받은 영상을 머신 러닝 기반의 제2 학습 모델에 입력하여 상기 대상자의 각 부위를 인식하여 상기 실시간 영상의 상기 대상자의 자세가 상기 상지 편마비 정도를 판단할 수 있는 자세인지를 결정하고, 디스플레이, 스피커 및 광 LED 중 적어도 어느 하나로 상기 카메라의 촬영 방향의 변경을 가이드하는 메시지를 출력하도록 야기하는 코드들을 저장하는,
상지 편마비 환자의 운동 프로그램 추천 장치.
- 제15항에 있어서,
상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가,
카메라를 구동하고 상기 카메라로부터 실시간으로 제공 받은 영상을 객체를 인식하는 머신 러닝 기반의 제3 학습 모델에 입력하여 상기 대상자 및 대상 오브젝트를 인식하고, 상기 대상자와 상기 대상 오브젝트와의 거리가 상기 상지 편마비 정도를 판단할 수 있는 거리인지 판단하도록 야기하는 코드들을 저장하는,
상지 편마비 환자의 운동 프로그램 추천 장치.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220036831 | 2022-03-24 | ||
| KR20220036831 | 2022-03-24 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230138855A KR20230138855A (ko) | 2023-10-05 |
| KR102644942B1 true KR102644942B1 (ko) | 2024-03-07 |
Family
ID=88294551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220092560A KR102644942B1 (ko) | 2022-03-24 | 2022-07-26 | 상지 편마비 환자의 운동 프로그램 추천 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102644942B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101978695B1 (ko) * | 2018-01-10 | 2019-05-16 | (주)유인케어 | 원격 재활 분석 장치 및 그 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101416282B1 (ko) * | 2012-02-29 | 2014-08-12 | 디게이트 주식회사 | 네추럴 인터렉션 기반 건강 및 재활운동 기능성 측정 평가 시스템 |
| KR101850992B1 (ko) | 2015-11-18 | 2018-04-20 | 주식회사 시드테크 | 상지 재활훈련 장치 및 방법 |
| KR102239912B1 (ko) * | 2019-04-10 | 2021-04-12 | 김창걸 | 상지 재활훈련 장치 및 방법 |
-
2022
- 2022-07-26 KR KR1020220092560A patent/KR102644942B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101978695B1 (ko) * | 2018-01-10 | 2019-05-16 | (주)유인케어 | 원격 재활 분석 장치 및 그 방법 |
Non-Patent Citations (1)
| Title |
|---|
| Aljovic, Almir, et al. "A deep learning-based toolbox for Automated Limb Motion Analysis (ALMA) in murine models of neurological disorders." Communications Biology 5.1:131, (2022.02.15.) 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230138855A (ko) | 2023-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11069144B2 (en) | Systems and methods for augmented reality body movement guidance and measurement | |
| US20210008413A1 (en) | Interactive Personal Training System | |
| JP6816925B2 (ja) | 育児ロボットのデータ処理方法及び装置 | |
| KR102045260B1 (ko) | 증강현실과 가상현실을 이용한 훈련용 응급처치 시뮬레이션 방법 | |
| US20230149135A1 (en) | Systems and methods for modeling dental structures | |
| CN108875485A (zh) | 一种底图录入方法、装置及系统 | |
| JP2008168133A (ja) | ユーザの身体運動の範囲を追跡するための方法、システム、およびプログラム | |
| JP2021510217A (ja) | 機械実行顔面健康及び美容アシスタント | |
| CN107729929A (zh) | 用于获取信息的方法及装置 | |
| CN108491823A (zh) | 用于生成人眼识别模型的方法和装置 | |
| CN113144540A (zh) | 一种智能安全健身指导装置、系统及方法 | |
| CN108491808B (zh) | 用于获取信息的方法及装置 | |
| CN109584992A (zh) | 交互方法、装置、服务器、存储介质及沙盘治疗系统 | |
| KR20210121616A (ko) | 헬스 케어 장치, 시스템 및 방법 | |
| US10916348B2 (en) | Machine learning to identify locations of brain injury | |
| CN109498384A (zh) | 一种按摩部位识别、定位、按摩方法及装置、设备 | |
| CN109816013A (zh) | 基于眼动追踪进行图像样本快速获取装置及方法 | |
| Chen et al. | Cognitive wearable robotics for autism perception enhancement | |
| KR20200094915A (ko) | 운동 자세 교정 시스템 및 이를 이용한 교정 방법 | |
| CN109934097A (zh) | 一种基于人工智能的表情和心理健康管理系统 | |
| CN109521878A (zh) | 交互方法、装置和计算机可读存储介质 | |
| KR102229056B1 (ko) | 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 | |
| KR102644942B1 (ko) | 상지 편마비 환자의 운동 프로그램 추천 장치 및 방법 | |
| KR20220120731A (ko) | 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법 및 장치 | |
| CN110545386B (zh) | 用于拍摄图像的方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |