KR102593277B1 - 맞춤형 운동 치료 프로그램 생성 방법 및 시스템 - Google Patents
맞춤형 운동 치료 프로그램 생성 방법 및 시스템 Download PDFInfo
- Publication number
- KR102593277B1 KR102593277B1 KR1020230022842A KR20230022842A KR102593277B1 KR 102593277 B1 KR102593277 B1 KR 102593277B1 KR 1020230022842 A KR1020230022842 A KR 1020230022842A KR 20230022842 A KR20230022842 A KR 20230022842A KR 102593277 B1 KR102593277 B1 KR 102593277B1
- Authority
- KR
- South Korea
- Prior art keywords
- exercise
- medical staff
- program
- account
- patient
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 126
- 230000033001 locomotion Effects 0.000 claims description 392
- 238000004458 analytical method Methods 0.000 claims description 226
- 238000009207 exercise therapy Methods 0.000 claims description 188
- 230000008569 process Effects 0.000 claims description 52
- 238000004891 communication Methods 0.000 claims description 32
- 238000012790 confirmation Methods 0.000 claims description 4
- 230000001225 therapeutic effect Effects 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 description 95
- 238000011282 treatment Methods 0.000 description 70
- 239000000284 extract Substances 0.000 description 37
- 238000010586 diagram Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 30
- 238000000605 extraction Methods 0.000 description 21
- 208000023178 Musculoskeletal disease Diseases 0.000 description 19
- 238000001514 detection method Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 11
- 230000009471 action Effects 0.000 description 10
- 210000001503 joint Anatomy 0.000 description 10
- 230000004913 activation Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 210000003127 knee Anatomy 0.000 description 9
- 201000010099 disease Diseases 0.000 description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 8
- 230000007774 longterm Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 210000002683 foot Anatomy 0.000 description 7
- 210000002414 leg Anatomy 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 208000024891 symptom Diseases 0.000 description 6
- 210000000707 wrist Anatomy 0.000 description 6
- 210000000988 bone and bone Anatomy 0.000 description 5
- 230000009849 deactivation Effects 0.000 description 5
- 239000003814 drug Substances 0.000 description 5
- 229940079593 drug Drugs 0.000 description 5
- 210000004394 hip joint Anatomy 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 208000017445 musculoskeletal system disease Diseases 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 210000003423 ankle Anatomy 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 238000002560 therapeutic procedure Methods 0.000 description 4
- 208000007623 Lordosis Diseases 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 208000002193 Pain Diseases 0.000 description 2
- 241000270666 Testudines Species 0.000 description 2
- 238000009226 cognitive therapy Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 210000003141 lower extremity Anatomy 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000000399 orthopedic effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000000094 Chronic Pain Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 206010003246 arthritis Diseases 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 210000003109 clavicle Anatomy 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 210000002758 humerus Anatomy 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 230000001045 lordotic effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000001872 metatarsal bone Anatomy 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000002346 musculoskeletal system Anatomy 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000554 physical therapy Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000001562 sternum Anatomy 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Physical Education & Sports Medicine (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
치료 목적의 운동 프로그램을 커스터마이즈(customize)하여 환자에게 제공할 수 있는 맞춤형 운동 치료 프로그램 생성 방법 및 시스템에 관한 것이다. 본 발명에 따른 맞춤형 운동 치료 프로그램 생성 방법은, 특정 의료진(medical staff) 계정으로 로그인된 단말기 상에서, 운동 프로그램 생성 모드를 실행하는 단계, 상기 운동 프로그램 생성 모드에서, 운동 프로그램에 포함시킬 적어도 하나의 운동 항목을 선택받는 단계, 상기 운동 프로그램에 대응되는 프로그램 정보를 설정하는 단계, 상기 운동 항목 및 상기 프로그램 정보를 포함하는 상기 운동 프로그램을 생성하는 단계, 상기 특정 의료진 계정에 연계하여 상기 운동 프로그램을 저장하는 단계 및 상기 특정 의료진 계정으로부터, 환자(patient) 계정에 대한 처방 정보를 수신하는 것에 근거하여, 상기 운동 프로그램을 상기 환자 계정에 할당하는 단계를 포함할 수 있다.
Description
본 발명은 치료 목적의 운동 프로그램을 커스터마이즈(customize)하여 환자에게 제공할 수 있는 맞춤형 운동 치료 프로그램 생성 방법 및 시스템에 관한 것이다.
근골격계 질환이란, 근육, 신경, 건, 인대, 뼈와 주변조직 등 근골격계에 발생하는 통증 또는 손상을 말한다. 근골격계 질환은 목과 허리, 팔과 다리 등 우리 몸의 다양한 곳에 나타난다.
세계보건기구 (WHO-World Health Organization)의 보고에 따르면, 근골격계 질환으로 인한 경제적 손실은 전체 질환 중 네번째로 높은 것으로 나타났으며, 근골격계 질환은 일상 생활 뿐만 아니라 경제 활동에도 영향을 미치는 만성적인 통증이다.
한편, 근골격계 질환의 치료는, 침습적인 정도가 적은 치료부터 시행되는 것이 원칙으로, 비약물 보존적 치료(ex: 운동 치료 및 교육, 인지 치료 또는 이완 요법 등)가 먼저 시행되고, 이후 약물치료, 수술적 치료가 순차적으로 고려되어야 한다.
치료 지침에서는, 근골격계 질환의 비약물 보존적 치료를 적극적으로 권장하고 있으며, 미국 및 유럽을 중심으로, 근골격계 질환의 비약물 보존적 치료를 수행하는 방법에 대한 연구가 활발하게 진행되고 있다.
한편, 기술이 발전함에 따라, 전자기기(예를 들어, 스마트폰, 태블릿 PC 등)의 보급이 대중화되었으며, 이에 따라 일상생활의 많은 부분에서 인터넷에 대한 의존도가 점차적으로 높아지고 있다.
이와 같이, 인터넷을 비롯한 다양한 기술의 발전에 힘입어, 종래 오프라인에 대한 의존도가 높았던 소비패턴은, 점차적으로 온라인(on-line)으로 옮겨갔으며, 현재에는, 온라인을 중심으로 한 소비가 기하급수적으로 늘어가고 있다.
이러한 트렌드의 변화에 맞추어, 의료 산업과 같은 서비스의 특성상 오프라인(off-line)에 기반을 둔 산업 분야 역시, 온라인을 통하여 의료 서비스를 제공하는 것이 보편화 되고 있다.
이에, 최근에는, 온라인을 통한 다양한 의료 서비스가 제공되고 있으며, 환자, 즉 사용자는 인터넷이 연결된 전자기기를 통해, 몇번의 클릭 만으로, 의료진과 질병에 대한 의료 상담을 할 수 있게 되었다.
이러한 기술로서, 대한민국 등록특허 제10-2195512호는 온라인 의료 플랫폼을 제공하는 서버 및 시스템과 관련된 기술을 개시하고 있으며, 온라인을 통한 의료 서비스 제공 지점에 대한 정보를 환자에게 제공하고 있다.
이러한 트렌드에 맞추어, 근골격계 질환의 비약물 보존적 치료를 온라인으로 제공하는 방법에 니즈가 존재한다.
본 발명은 운동 프로그램을 커스터마이즈 하여 환자에게 제공할 수 있는 맞춤형 운동 프로그램 생성 방법 및 시스템에 관한 것이다.
나아가, 본 발명은 의료진들 사이에서, 커스터마이즈 운동 프로그램을 공유할 수 있는 맞춤형 운동 프로그램 생성 방법 및 시스템에 관한 것이다.
특히, 본 발명은 병원 단위로 운동 프로그램 공유 환경을 제공할 수 있는 맞춤형 운동 프로그램 생성 방법 및 시스템에 관한 것이다.
나아가, 본 발명은 의료진 권한에 기초하여 환자에게 치료 목적의 운동 프로그램을 제공할 수 있는 맞춤형 운동 프로그램 생성 방법 및 시스템에 관한 것이다.
위에서 살펴본 과제를 해결하기 위하여, 본 발명에 따른 맞춤형 운동 치료 프로그램 생성 방법은, 특정 의료진(medical staff) 계정으로 로그인된 단말기 상에서, 운동 프로그램 생성 모드를 실행하는 단계, 상기 운동 프로그램 생성 모드에서, 운동 프로그램에 포함시킬 적어도 하나의 운동 항목을 선택받는 단계, 상기 운동 프로그램에 대응되는 프로그램 정보를 설정하는 단계, 상기 운동 항목 및 상기 프로그램 정보를 포함하는 상기 운동 프로그램을 생성하는 단계, 상기 특정 의료진 계정에 연계하여 상기 운동 프로그램을 저장하는 단계 및 상기 특정 의료진 계정으로부터, 환자(patient) 계정에 대한 처방 정보를 수신하는 것에 근거하여, 상기 운동 프로그램을 상기 환자 계정에 할당하는 단계를 포함할 수 있다.
일 예에 있어서, 상기 운동 항목을 선택받는 단계는, 상기 단말기 상에, 운동 치료 제공 서비스에 등록된 복수의 운동 항목을 표시하는 단계, 상기 특정 의료진 계정으로부터, 상기 복수의 운동 항목 중 적어도 하나의 운동 항목을 선택받는 단계 및 상기 단말기 상에 상기 선택된 운동 항목을 포함한 리스트(List)를 표시하는 단계를 포함하고, 상기 운동 프로그램은, 상기 리스트에 포함된 운동 항목으로 구성될 수 있다.
나아가, 상기 운동 프로그램은, 상기 특정 의료진 계정에서만 접근 가능한 공유 비활성화 상태 및 상기 특정 의료진 계정 외 다른 의료진 계정에서도 접근 가능한 공유 활성화 상태 중 어느 하나로 설정될 수 있다.
이 경우, 상기 프로그램 정보는, 상기 운동 프로그램의 공유 대상을 특정하는 정보를 포함하고. 상기 운동 프로그램에 접근 가능한 상기 다른 의료진 계정은, 상기 프로그램 정보에 근거하여 결정될 수 있다.
일 예에 있어서, 상기 공유 대상을 특정하는 정보는, 상기 운동 치료 제공 서비스에 등록된 병원 정보 및 의료진 정보 중 적어도 하나로 이루어질 수 있다.
일 예에 있어서, 상기 운동 프로그램이 공유 활성화 상태인 경우, 상기 다른 의료진 계정으로부터 수신한 처방 정보에 근거하여, 상기 운동 프로그램을 상기 환자 계정에 할당할 수 있다.
나아가, 상기 특정 의료진 계정은, 상기 운동 프로그램의 독자적 처방 권한이 존재(existence)하는 제1 타입의 의료진 계정 및 상기 운동 프로그램에 대한 독자적 처방 권한이 미존재(non-existence)하는 제2 타입의 의료진 계정 중 어느 하나이고, 상기 운동 프로그램을 상기 환자 계정에 할당하는 단계는, 상기 특정 의료진 계정의 타입을 확인하는 단계 및 상기 확인 결과, 상기 특정 의료진 계정의 타입이 상기 제1 타입이면, 상기 운동 프로그램을 상기 환자 계정에 할당하는 단계를 포함할 수 있다.
나아가, 상기 운동 프로그램을 상기 환자 계정에 할당하는 단계는, 확인 결과, 상기 특정 의료진 계정이 상기 제2 타입이면, 상기 제1 타입의 의료진 계정으로부터 상기 운동 프로그램 처방에 대한 승인 이벤트가 발생되는 것에 근거하여, 상기 운동 프로그램을 상기 환자 계정에 할당할 수 있다.
한편, 본 발명에 따른 맞춤형 운동 치료 프로그램 생성 시스템은, 특정 의료진(medical staff) 계정으로 로그인된 단말기 상에서, 운동 프로그램 생성 모드를 실행하는 제어부, 상기 운동 프로그램 생성 모드에서, 운동 프로그램에 포함시킬 적어도 하나의 운동 항목에 대한 선택을 수신하는 통신부 및 상기 운동 프로그램이 저장되는 저장부를 포함하고, 상기 제어부는, 상기 운동 프로그램에 대응되는 프로그램 정보를 설정하고, 상기 운동 항목 및 상기 프로그램 정보를 포함하는 상기 운동 프로그램을 생성하고, 상기 특정 의료진 계정에 연계하여 상기 운동 프로그램을 상기 저장부에 저장하고, 상기 특정 의료진 계정으로부터, 환자(patient) 계정에 대한 처방 정보를 수신하는 것에 근거하여, 상기 운동 프로그램을 상기 환자 계정에 할당하는 것을 특징으로 할 수 있다.
나아가, 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램은, 특정 의료진(medical staff) 계정으로 로그인된 단말기 상에서, 운동 프로그램 생성 모드를 실행하는 단계, 상기 운동 프로그램 생성 모드에서, 운동 프로그램에 포함시킬 적어도 하나의 운동 항목을 선택받는 단계, 상기 운동 프로그램에 대응되는 프로그램 정보를 설정하는 단계, 상기 운동 항목 및 상기 프로그램 정보를 포함하는 상기 운동 프로그램을 생성하는 단계, 상기 특정 의료진 계정에 연계하여 상기 운동 프로그램을 저장하는 단계 및 상기 특정 의료진 계정으로부터, 환자(patient) 계정에 대한 처방 정보를 수신하는 것에 근거하여, 상기 운동 프로그램을 상기 환자 계정에 할당하는 단계를 수행하는 명령어들을 포함할 수 있다.
위에서 살펴본 것과 같이, 본 발명에 따른 맞춤형 운동 치료 프로그램 생성 방법 및 시스템은, 특정 의료진(medical staff) 계정으로 로그인된 단말기 상에서, 운동 프로그램 생성 모드를 실행하여, 의료진이 직접 운동 프로그램을 커스터마이즈(customize) 할 수 있는 사용자 환경을 제공할 수 있다 .
구체적으로, 본 발명에 따른 맞춤형 운동 치료 프로그램 생성 방법 및 시스템은, 운동 프로그램 생성 모드에서, 운동 프로그램에 포함시킬 적어도 하나의 운동 항목을 선택받아 운동 프로그램을 생성함으로써, 의료진은 환자의 질병, 증상, 나이, 연령 등의 특성, 운동 수행 능력 등 다양한 요소를 고려하여 효과적이고 최적의 운동 프로그램을 생성할 수 있다.
특히, 본 발명에 따른 맞춤형 운동 치료 프로그램 생성 방법 및 시스템은, 생성된 운동 프로그램을 특정 의료진 계정에 연계하여 저장함으로써, 특정 의료진 계정에 의해 생성된 운동 프로그램을 관리하며, 다른 의료진 계정에게 운동 프로그램을 공유할 수 있다.
나아가, 본 발명에 따른 맞춤형 운동 치료 프로그램 생성 방법 및 시스템은, 특정 의료진 계정으로부터, 환자(patient) 계정에 대한 처방 정보를 수신하는 것에 근거하여, 상기 운동 프로그램을 상기 환자 계정에 할당할 수 있다. 이를 통해, 환자는 환자에게 치료 목적의 맞춤형 운동 프로그램을 처방할 수 있으며, 환자는 최적의 운동 프로그램을 제공 받아 효과적으로 운동을 수행할 수 있다.
도 1은 본 발명에 따른 맞춤형 운동 치료 제공 시스템을 설명하기 위한 개념도이다.
도 2a 및 도 2b는 본 발명에 따른 의료진 계정 및 환자 계정을 설명하기 위한 개념도들이다.
도 3, 도 4a 및 도 4b는 본 발명에서 제공되는 운동 프로그램을 설명하기 위한 개념도이다.
도 5는 본 발명에 따른 맞춤형 운동 치료 제공 방법을 설명하기 위한 흐름도들이다.
도 6a 및 도 6b는 본 발명에서 운동 프로그램 생성 방법을 설명하기 위한 개념도들이다.
도 7은 본 발명에서 운동 프로그램 처방 방법을 설명하기 위한 개념도이다.
도 8a 및 도8b는 본 발명에서 운동 프로그램을 공유하는 방법을 설명하기 위한 개념도들이다.
도 9a, 도 9b 및 도 9c는 본 발명에서 의료진 계정의 권한에 따른 운동 프로그램 처방 프로세스를 설명하기 위한 개념도들이다.
도 10은 본 발명에서 의료진 계정 근무지 변경을 설명하기 위한 개념도이다.
도 11은 본 발명에 따른 운동 치료 제공 시스템을 설명하기 위한 개념도이다.
도 12 및 도 13은 본 따른 운동 치료 제공 방법을 설명하기 위한 흐름도들이다.
도 14a 및 도 14b는 의사의 처방을 설명하기 위한 개념도들이다.
도 15 및 도 16은 운동 영상으로부터 환자의 운동 동작을 분석하는 방법을 설명하기 위한 개념도들이다.
도17, 도 18a 도 18b, 도 18c, 도 18d, 도 18e 및 도 18f은 인공 지능 자세 추정 모델을 설명하기 위한 개념도들이다.
도 19 및 도 20는 사용자의 동작 분석 결과를 제공하는 활용 예들을 설명하기 위한 개념도들이다.
도 21a, 도 21b 및 도 21C는 환자의 운동 동작 분석 결과가 제공되는 사용자 환경을 설명하기 위한 개념도들이다.
도 2a 및 도 2b는 본 발명에 따른 의료진 계정 및 환자 계정을 설명하기 위한 개념도들이다.
도 3, 도 4a 및 도 4b는 본 발명에서 제공되는 운동 프로그램을 설명하기 위한 개념도이다.
도 5는 본 발명에 따른 맞춤형 운동 치료 제공 방법을 설명하기 위한 흐름도들이다.
도 6a 및 도 6b는 본 발명에서 운동 프로그램 생성 방법을 설명하기 위한 개념도들이다.
도 7은 본 발명에서 운동 프로그램 처방 방법을 설명하기 위한 개념도이다.
도 8a 및 도8b는 본 발명에서 운동 프로그램을 공유하는 방법을 설명하기 위한 개념도들이다.
도 9a, 도 9b 및 도 9c는 본 발명에서 의료진 계정의 권한에 따른 운동 프로그램 처방 프로세스를 설명하기 위한 개념도들이다.
도 10은 본 발명에서 의료진 계정 근무지 변경을 설명하기 위한 개념도이다.
도 11은 본 발명에 따른 운동 치료 제공 시스템을 설명하기 위한 개념도이다.
도 12 및 도 13은 본 따른 운동 치료 제공 방법을 설명하기 위한 흐름도들이다.
도 14a 및 도 14b는 의사의 처방을 설명하기 위한 개념도들이다.
도 15 및 도 16은 운동 영상으로부터 환자의 운동 동작을 분석하는 방법을 설명하기 위한 개념도들이다.
도17, 도 18a 도 18b, 도 18c, 도 18d, 도 18e 및 도 18f은 인공 지능 자세 추정 모델을 설명하기 위한 개념도들이다.
도 19 및 도 20는 사용자의 동작 분석 결과를 제공하는 활용 예들을 설명하기 위한 개념도들이다.
도 21a, 도 21b 및 도 21C는 환자의 운동 동작 분석 결과가 제공되는 사용자 환경을 설명하기 위한 개념도들이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명에 따른 운동 치료 제공 시스템(100)은, 의료진(medical staff)과 환자(patient) 사이에서, 의료진(U1)이 처방하는 운동 프로그램(“운동 플랜 또는 “운동 치료 프로그램”으로 명명 가능함)을 환자에게 제공할 수 있다.
특히, 본 발명에 따른 운동 치료 제공 시스템(100)은, 의료진이 직접 커스터마이즈(customize)하여 생성한 운동 프로그램을, 환자에게 제공할 수 있다. 이에, 본 발명에 따른 운동 치료 제공 시스템(100)은, “운동 프로그램 생성 시스템”으로 명명될 수 있다.
한편, 본 발명에서 설명되는 “의료진”은, 의료 기관(ex: 병원, 1)에 종사하는 사람으로, 예를 들어, 의사, 간호사, 물리치료사 중 적어도 하나를 포함할 수 있다.
본 발명에서는 설명의 편의를 위하여, 환자(U2)에게 운동 프로그램을 제공(또는 처방)할 수 있는 의사 및 물리치료사를 의료진의 예로 들어 설명하도록 한다. 다만, 의료진은 이에 한정되는 것은 아니며, 운동 치료 제공 서비스를 위해 의료 기관에 종사하는 사용자라면 누구나 본 발명에 따른 의료진에 해당될 수 있다.
의료진(U1)은, 치료가 필요한 환자의 증상 및 적절한 치료 방법에 따라, 적어도 하나의 치료 항목을 포함한 치료 프로그램을 생성할 수 있다.
본 발명에서는, 운동 치료(ex: 재활 치료, 물리 치료, 인지 치료 등)를 위해, 적어도 하나의 운동 항목을 포함한 운동 프로그램을 생성하는 방법을 중심으로 설명하도록 한다. 다만, 본 발명은, 운동 치료 목적의 운동 프로그램 생성에 한정되지 않고, 병원 등 의료 기관에서 필요한 치료 프로그램을 생성하는 데에 이용될 수 있다.
한편, 의료진(U1)은, 적어도 하나의 운동 항목 및 운동 항목에 대한 운동 방법(ex: 운동 횟수, 운동 시간, 운동 순서 등)을 커스터마이즈(customize)하여 다양한 운동 프로그램을 생성할 수 있다.
여기에서, “운동 항목”은 운동 동작 또는 운동 종류로 이해될 수 있으며, 본 발명에서는 “운동 항목”, “운동 동작” 및 “운동 종류”는 혼용하여 사용할 수 있다.
본 발명에서는, 특정 의료진에 의해 생성된 운동 프로그램을, “나만의 운동 프로그램(또는 나만의 프로그램)”, “커스터마이즈 운동 프로그램(또는 커스터마이즈 프로그램)”, “맞춤형 운동 프로그램(또는 맞춤형 프로그램)”, “개별 운동 프로그램(또는 개별 프로그램)”, “퍼스널(personal) 운동 프로그램(또는 퍼스널 프로그램)”으로 명명할 수 있다.
나아가, 본 발명은, 의료진들끼리, 특정 의료진에 의해 생성된 나만의 운동 프로그램을 공유할 수 있는 사용자 환경을 제공할 수 있다.
본 발명에서는, 의료진들 사이에서 공유된 운동 프로그램을, “공유 운동 프로그램(또는 공유 프로그램)”으로 명명할 수 있다.
나아가, 본 발명에서 설명되는 “추천 운동 프로그램(또는 추천 프로그램)”은, 시스템 관리자에 의해 운동 치료 제공 서비스에 등록되어, 의료진에게 제공되는 프로그램으로 이해될 수 있다.
한편, 의료진(U1)은 나만의 운동 프로그램, 공유 운동 프로그램 및 추천 운동 프로그램 중 적어도 하나에 기반하여, 환자(U2)에게 운동 프로그램(또는 운동 플랜)을 처방할 수 있다.
본 발명에서는, 운동 치료 제공 시스템(100)에서 제공되는 페이지(또는 화면)을 이용하여 의료진(U1)에게 나만의 운동 프로그램을 생성할 수 있는 서비스를 제공할 수 있다. 그리고, 본 발명에서는 의료진(U1)이 환자(U2)에게 운동 프로그램을 처방할 수 있는 사용자 환경을 제공하고, 의료진(U1)에 의해 처방된 운동 프로그램에 대한 정보를 수신할 수 있다. 그리고, 본 발명에서는 의료진(U1)으로부터 수신한 처방 운동 프로그램을 환자(U2)에게 제공함으로써, 환자(U2)에게 운동 치료 서비스를 제공할 수 있다.
이하에서는 첨부된 도면과 함께, 나만의 운동 프로그램을 생성하여 환자에게 맞춤형 운동 치료를 제공하는 방법 및 시스템에 대해 자세하게 설명하도록 한다. 도 1은 본 발명에 따른 맞춤형 운동 치료 제공 시스템을 설명하기 위한 개념도이다. 도 2a 및 도 2b는 본 발명에 따른 의료진 계정 및 환자 계정을 설명하기 위한 개념도들이고, 도 3, 도 4a 및 도 4b는 본 발명에서 제공되는 운동 프로그램을 설명하기 위한 개념도이고, 도 5는 본 발명에 따른 맞춤형 운동 치료 제공 방법을 설명하기 위한 흐름도들이고, 도 6a 및 도 6b는 본 발명에서 운동 프로그램 생성 방법을 설명하기 위한 개념도들이고, 도 7은 본 발명에서 운동 프로그램 처방 방법을 설명하기 위한 개념도이고, 도 8a 및 도 8b는 본 발명에서 운동 프로그램을 공유하는 방법을 설명하기 위한 개념도들이고, 도 9a, 도 9b 및 도 9c는 본 발명에서 의료진 계정의 권한에 따른 운동 프로그램 처방 프로세스를 설명하기 위한 개념도들이며, 도 10은 본 발명에서 의료진 계정 근무지 변경을 설명하기 위한 개념도이다.
도 1에 도시된 것과 같이, 본 발명에 따른 운동 치료 제공 시스템(100)은, 사용자 단말기(10, 20)와 통신을 수행하도록 이루어질 수 있다.
본 발명에서 사용자 단말기(10, 20)는, 운동 치료 제공 서비스의 이용이 가능한 전자기기로 이해될 수 있다. 예를 들어, 사용자 단말기(10, 20)는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 휴대용 컴퓨터(laptop computer), 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 데스크톱 컴퓨터(desktop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)등이 포함될 수 있다.
의료진(U1)은 자신의 사용자 단말기(10)를 이용하여, 운동 치료 제공 시스템(100)에서 제공되는 화면(또는 페이지, 400)을 통해, 치료 목적의 운동 프로그램을 생성 및 처방할 수 있다
환자(U2)는, 자신의 사용자 단말기(20)를 이용하여, 의료진(U1)이 처방한 운동 프로그램에 따른 운동 치료 시버스를 제공받아, 치료를 수행할 수 있다.
한편, 본 발명에서 설명되는 “화면(또는 페이지, 400)”은, 사용자 단말기(10, 20)의 디스플레이에 표시(또는 출력)되는 적어도 하나의 정보(텍스트, 이미지, 동영상, 그래픽 객체 등)를 의미하는 것으로 이해할 수 있다. 이에, 본 발명에서 “화면(또는 페이지)”는 “정보”와 혼용하여 사용될 수 있다.
한편, 본 발명에서는 의료진(U1) 또는 환자(U2)의 사용자 계정으로 로그인된 사용자 단말기(10, 20) 상에, 운동 치료 제공 서비스와 관련된 정보를 제공할 수 있다.
본 명세서에서는 설명의 편의를 위하여, 의료진(U1)의 계정을 “의료진 계정”으로 명명하고, 의료진 계정으로 로그인된 사용자 단말기를 “의료진 단말기”로 명명한다.
도 2b에 도시된 것과 같이, “계정(account)”은, 운동 치료 제공 시스템(100)에서 제공하는 페이지(ex “회원 가입 페이지”, 200a, 200b)를 통해 생성되는 것이 가능하다. 이와 다르게, “계정”은 본 발명에 따른 주문 중개 시스템과 연계된 다른 적어도 하나의 시스템에서 생성되는 것 또한 가능하다. 사용자 계정과 관련된 자세한 내용은 후술하도록 한다.
한편, 도 1에 도시된 것과 같이, 본 발명에 따른 운동 치료 제공 시스템(100)은, 통신부(110), 저장부(120) 및 제어부(130) 중 적어도 하나의 구성을 포함할 수 있다.
통신부(110)는 의료진 단말기(10) 및 환자 단말기(20) 중 적어도 하나의 통신을 수행하도록 이루어질 수 있다. 예를 들어, 통신부(110)는 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced), 5G(5th Generation Mobile Telecommunication ), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra-Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 통신을 수행할 수 있다.
통신부(110)는, 의료진 단말기(10)에, 나만의 운동 프로그램에 대한 정보를 포함하는 화면(또는 페이지, 400)을 제공할 수 있다. 의료진(U1)은, 의료진 단말기(10)에 출력된 화면을 통해, 나만의 운동 프로그램을 생성하고, 자신이 생성한 나만의 운동 프로그램을 환자(U2)에게 처방할 수 잇다.
통신부(110)는, 의료진 단말기(10)로부터 나만의 운동 프로그램이 처방되는 것에 근거하여, 환자 단말기(20)상에 나만의 운동 프로그램을 제공할 수 있다. 환자(U2)는, 환자 단말기(20)을 통해, 의료진(U1)으로부터 처방된 운동 프로그램에 따른 운동 치료 서비스를 제공받을 수 있다.
나아가, 저장부(120)는 운동 치료 제공 서비스와 관련된 다양한 정보가 저장되도록 이루어질 수 있다. 예를 들어, 저장부(120)에는, 특정 의료진(U1)에 의해 생성된 나만의 운동 프로그램이, 특정 의료진 계정(U1)과 매칭되어 저장될 수 있다.
본 발명에서 저장부(120)는 운동 치료 제공 서비스와 관련된 정보가 저장되는 공간이면 충분하며, 물리적인 공간에 대한 제약은 없는 것으로 이해될 수 있다. 구체적으로, 저장부(120)는 운동 치료 제공 시스템(100) 내부 및 외부 공간(ex: 외부 서버) 중 적어도 하나에 존재할 수 있다. 즉, 저장부(120)의 적어도 일부는 운동 치료 제공 시스템(100) 내부에 존재할 수 있다. 또한, 저장부(120)의 적어도 일부는 외부 공간(ex: 외부 서버)의 데이터베이스(2)에 존재할 수 있다. 이 경우, 운동 치료 제공 시스템(100)은, 외부 공간의 데이터베이스(2)의 저장된 정보를 이용할 수 있다.
나아가, 제어부(130)는, 운동 치료 제공 시스템(100)에 포함된 구성 및 운동 치료 제공 서비스와 관련된 일련의 제어를 수행할 수 있다.
특히, 제어부(130)는, 의료진 단말기(10)에 나만의 운동 프로그램을 생성하고, 생성된 나만의 운동 프로그램을 환자에게 처방할 수 있는 사용자 환경을 제공할 수 있다.
나아가, 제어부(130)는, 특정 의료진 계정(U1)의 설정에 근거하여, 특정 의료진 계정(U1)에서 생성된 나만의 운동 프로그램을, 다른 의료진 계정(U3)에 공유할 수 있다.
이하에서는 본 발명의 “사용자 계정”의 개념 및 “운동 프로그램”의 개념을 설명한 후, 나만의 운동 프로그램을 생성, 처방 및 공유하는 서비스에 대해 구체적으로 설명하도록 한다.
도 2에 도시된 것과 같이, 제어부(130)는 의료진(U1, U3, U4, U5)의 의료진 계정과, 환자(U2)의 환자 계정을 구분하여 관리할 수 있다. 이하에서는 설명의 편의를 위하여, 의료진 계정에, 의료진과 동일한 도면부호 “U1”, “U3”, “U4”, “U5”를 부여하여 설명하고, 환자 계정에, 환자와 동일한 도면부호 “U2”를 부여하여 설명하도록 한다.
도 2a의 (a)에 도시된 것과 같이, 제어부(130)는 병원(1a, 1b) 단위로 의료진 계정(U1, U3, U4, U5)을 관리할 수 있다. 제어부(130)는, 의료진 계정(U1, U3, U4, U5)과 의료진이 근무(또는 소속된)하는 적어도 하나의 병원(또는 병원 정보, 1a, 1b)를 서로 매칭하여, 저장부(120)에 저장할 수 있다.
예를 들어, 제어부(130)는, 제1 병원(1a)에 근무하는 의료진들(“의사 A” 및 “치료사 B”)의 의료진 계정(U1, U3)은, 제1 병원(1a)과 매칭하여 관리하고, 제2 병원(1b)에 근무하는 의료진들(“의사 B” 및 “치료사 B”)의 의료진 계정(U4, U5)은, 제2 병원(1b) 매칭하여 관리할 수 있다.
제어부(130)는, 병원 단위 기준으로 의료진 계정을 관리하기 위하여, 의료진 계정 생성 시 의료진의 근무지 병원(또는 소속 병원, 근무 병원, 관련 병원, 연관 병원)의 병원 정보를 입력 받을 수 있다.
예를 들어, 도 2b의 (a)에 도시된 것과 같이, 제어부(130)는 의료진 계정 등록 페이지(210)에, 의료진이 근무하는 병원 정보 입력 영역(211)을 포함시킬 수 있다.
한편, 본 발명에서의 의료진 계정은, 환자에게 운동 프로그램을 독자적(independently)으로 처방할 권한이 존재하는지에 따라, 제1 타입 및 제2 타입으로 구분될 수 있다.
“제1 타입의 의료진 계정”은, 환자에게 운동 프로그램을 독자적으로 처방할 수 있는 권한이 부여된 의료진 계정으로 이해될 수 있다.
그리고, “제2 타입의 의료진 계정”은, 제1 타입의 의료진 계정의 승인에 근거하여, 환자에게 운동 프로그램을 처방할 수 있는 의료진 계정으로 이해될 수 있다.
제어부(130)는, 의료진의 직업 정보에 근거하여, 의료진 계정을 제1 타입 및 제2 타입 중 어느 하나로 설정할 수 있다.
예를 들어, 제어부(130)는, 의료진의 직업이 제1 타입의 직업(ex: “의사”)이면, 의료진 계정의 타입을 제1 타입으로 설정할 수 있다. 반면에, 제어부(130)는 의료진의 직업이 제2 타입의 직업(ex: “치료사”)이면, 의료진 계정의 타입을 제2 타입으로 설정할 수 있다.
본 발명에서는, 환자에게 운동 프로그램을 처방하는 의료진 계정의 타입이, 제1 타입 및 제2 타입 중 어느 것인지에 근거하여, 서로 다른 프로세스에 따라 환자에게 운동 프로그램을 할당할 수 있다. 보다 자세한 내용은 후술하도록 한다.
한편, 도 2a의 (b)에 도시된 것과 같이, 저장부(120)에는 환자 계정(U2)이 존재할 수 있다. 환자 계정(U2)에는, 환자의 증상에 대한 증상 정보, 환자에게 할당된 운동 프로그램, 운동 프로그램을 할당한 의료진의 의료진 정보 및 의료진이 소속된 병원의 병원 정보 중 적어도 매칭되어 존재할 수 있다.
제어부(130)는, 환자 계정 등록 페이지(220)를, 의료진 계정 등록을 위한 페이지(210)와 다르게 구성하여 제공할 수 있다.
예를 들어, 도 2b의 (b)에 도시된 것과 같이, 제어부(130)는, 환자의 성명 정보(221), 성별 정보(222) 및 휴대폰 번호 정보(223) 중 적어도 하나에 대한 입력이 이루어지도록, 환자 계정 등록 페이지(220)를 구성할 수 있다.
즉, 제어부(130)는, 의료진 계정과는 다르게, 환자의 직업 정보 및 관련 병원의 병원 정보가 입력되지 않더라도, 환자 계정을 생성할 수 있다.
이러한 환자 계정 등록 페이지(210)는, 의료진 단말기(10) 및 환자 단말기(20) 중 적어도 하나에 제공될 수 있다.
예를 들어, 환자가 병원에 내원하는 경우, 제어부(130)는 환자 계정 등록 페이지(220)를, 의료진 단말기(10)에 제공할 수 있다. 의료진은 의료진 단말기(10)를 통해 환자의 환자 정보를 입력하여, 환자 계정을 생성할 수 있다.
다른 예를 들어, 환자는 환자 단말기(20)에 제공된 환자 계정 등록 페이지(220)룰 통해, 직접 환자 계정을 생성할 수 있다.
한편, 도 3에 도시된 것과 같이, 본 발명에서 제공되는 운동 프로그램(300)은, 속성에 따라 나만의 운동 프로그램(또는 제1 속성의 운동 프로그램, 310), 공유 운동 프로그램(또는 제2 속성의 운동 프로그램, 320) 및 추천 운동 프로그램(또는 제3 속성의 운동 프로그램, 330) 중 적어도 하나에 해당할 수 있다.
나만의 운동 프로그램(310)은, 특정 의료진 계정(U1)에 의해 생성된 운동 프로그램으로 이해될 수 있다.
특정 의료진 계정(U1)은, 운동 치료 제공 서비스에 등록된 복수의 운동 항목 중 의해 적어도 하나의 운동 항목을 선택할 수 있다. 그리고, 의료진 계정은, 선택된 운동 항목의 운동 방법(ex: 운동 반복 횟수, 운동 시간, 운동 순서, 운동 일정 등)을 설정하여 나만의 운동 프로그램(310)을 생성할 수 있다.
즉, 특정 의료진 계정(U1)에서는, 적어도 하나의 운동 항목 및 운동 항목에 대한 운동 방법을 커스터마이즈(customize)하여 나만의 운동 프로그램(310)을 생성할 수 있다.
이러한 나만의 운동 프로그램(310)은, 나만의 운동 프로그램(310)을 생성한 특정 의료진 계정(U1)에서 접근 가능하며, 특정 의료진 계정(U1)에 의해 환자에게 처방될 수 있다.
도 4a에 도시된 것과 같이, 제어부(130)는, 특정 의료진 계정(U1)으로 로그인된 단말기(10)에 나만의 운동 프로그램 진입 페이지(400a)를 제공할 수 있다. 이 경우, 상기 나만의 운동 프로그램 진입 페이지(400a)에는, 상기 특정 의료진 계정(U1)에 의해 생성된 운동 프로그램에 대한 정보(410, 420)을 제공할 수 있다.
나만의 운동 프로그램에 대한 정보(410)는, i) 운동 프로그램에 포함된 운동 항목의 개수 정보(ex: “12개 동작”, 411), ii) 공유 활성화 여부를 안내하는 공유 그래픽 객체(412), iii) 즐겨찾기 설정 여부를 안내하는 그래픽 객체(413), iv) 운동 프로그램과 관련된 동영상들의 썸네일(thumbnail, 414), v) 운동 프로그램의 타이틀(title, 415), vi) 운동 프로그램 생성 일시(416) 중 적어도 하나를 포함할 수 있다.
여기에서, 공유 그래픽 객체(412)는, 나만의 운동 프로그램(310)의 공유 활성화 여부를 직관적으로 안내하기 위해 표시될 수 있다.
본 발명에서, 나만의 운동 프로그램(310)은, 공유 비활성화 상태 및 공유 활성화 상태 중 어느 하나로 설정될 수 있다.
본 발명에서의 “운동 프로그램 공유”는, 운동 프로그램에 대한 접근 및 처방을 허용하는 것으로 이해될 수 있다.
그리고, “공유 비활성화 상태”는, 특정 의료진 계정(U1)에서만 나만의 운동 프로그램(310)에 접근 가능한 상태로, 특정 의료진 계정(U1)에서만 나만의 운동 프로그램의 정보(410)를 확인하고, 나만의 운동 프로그램을 환자에게 할당할 수 있는 상태로 이해될 수 있다.
“공유 활성화 상태”는, 특정 의료진 계정(U1) 외 다른 의료진 계정(U3)에서도 나만의 운동 프로그램에 접근 가능한 상태로, 다른 의료진 계정(U3)에서도 나만의 운동 프로그램 정보(410)를 확인하고, 나만의 운동 프로그램(310)을 환자에게 할당할 수 있는 상태로 이해될 수 있다.
나만의 운동 프로그램(310)은, 특정 의료진 계정(U1)의 설정(또는 선택)에 근거하여, 공유 활성화 상태 및 공유 비활성화 상태 중 어느 하나로 결정될 수 있다.
제어부(130)는, 나만의 운동 프로그램(310)이 공유 활성화 상태인 경우, 특정 의료진이, 공유 활성화 상태임을 직관적으로 인지할 수 있도록, 상기 공유 그래픽 객체(412)를 페이지(400a)상에 표시할 수 있다.
반면에, 제어부(130)는 나만의 운동 프로그램(310)이 공유 비활성화 상태인 경우, 상기 공유 그래픽 객체(412)가 페이지(400a)상에서 표시되는 것을 제한할 수 있다.
한편, 특정 의료진 계정(U1)에 의해, 나만의 운동 프로그램(310)을 다른 의료진 계정(U3)에게 공유된 경우, 상기 공유된 운동 프로그램을 “공유 운동 프로그램(320)”으로 명명할 수 있다.
예를 들어, 특정 의료진 계정(U1)에서 생성된 운동 프로그램이, 다른 의료진 계정(U3)에 공유되었다고 가정하자. 이 경우, 상기 운동 프로그램은, 특정 의료진 계정(U1)에 대해서는 나만의 운동 프로그램(310)에 해당하고, 다른 의료진 계정(U3)에 대해서는 공유 운동 프로그램(320)에 해당할 수 있다.
도 4b에 도시된 것과 같이, 제어부(130)는, 다른 의료진 계정(U3)으로 로그인된 단말기(10)에 나만의 공유 운동 프로그램 진입 페이지(400b)를 제공할 수 있다. 그리고, 제어부(130)는, 상기 공유 운동 프로그램 진입 페이지(400b) 상에, 특정 의료진 계정(U1)으로부터 다른 의료진 계정(U3)으로 공유된 공유 운동 프로그램에 대한 정보(420)를 표시할 수 있다.
한편, 추천 운동 프로그램(330)은, 운동 치료 제공 시스템(100)에서 제공하는 운동 프로그램으로, 운동 치료 제공 시스템(100)에 등록된 모든 의료진 계정(또는 시스템 관리자에 의해 설정된 일부 의료진 계정)에서 접근 가능한 운동 프로그램으로 이해할 수 있다.
제어부(130)는 시스템 관리자의 설정에 근거하여, 적어도 하나의 추천 운동 프로그램(330)을 생성하거나, 저장부(120)에 저장된 처방 히스토리 정보에 근거하여 추천 운동 프로그램(330)을 생성할 수 있다. 예를 들어, 제어부(130)는, 거북목 치료에 효과적인 적어도 하나의 운동 항목을 포함시켜, “거북목 치료를 위한 추천 운동 프로그램”을 생성할 수 있다.
의료진은, 나만의 운동 프로그램(310), 공유 운동 프로그램(320) 및 추천 운동 프로그램(330) 중 어느 하나를 선택하여, 환자에게 맞춤형 운동 플랜을 처방할 수 있다.
이하에서는, 의료진이 나만의 운동 프로그램을 커스터마이즈 하여 운동 프로그램을 처방할 수 있도록, 나만의 운동 프로그램을 생성하는 방법에 대해 구체적으로 설명하도록 한다.
본 발명에서는 특정 의료진(medical staff) 계정으로 로그인된 단말기 상에서, 운동 프로그램 생성 모드를 실행하는 과정이 진행될 수 있다(S510, 도 5 참조).
제어부(130)는 특정 의료진 계정(U1)으로 로그인된 단말기로부터 운동 프로그램 생성 모드 실행 요청을 수신하는 것에 근거하여, 특정 의료진 계정(U1)으로 로그인된 단말기에서, 운동 프로그램 생성 모드가 실행되도록 제어할 수 있다.
여기에서, “운동 프로그램 생성 모드”는, 나만의 운동 프로그램을 생성할 수 있는 모드로 이해될 수 있으며, “나만의 운동 프로그램 생성 모드” 또는 “새 프로그램 생성 모드”와 혼용하여 사용될 수 있다.
예를 들어, 도 4a에 도시된 것과 같이, 제어부(130)는 특정 의료진 계정(U1)으로 로그인된 의료진 단말기 상에, 운동 프로그램 생성 모드 실행 기능에 연계된 그래픽 객체(ex: “새 프로그램 생성”, 430)을 제공할 수 있다. 제어부(130)는 상기 그래픽 객체(430)에 대한 특정 의료진 계정(U1)의 선택에 근거하여, 특정 의료진 계정(U1)으로부터, 운동 프로그램 생성 모드 실행 요청(또는 운동 프로그램 생성 모드 실행 이벤트)을 수신할 수 있다.
제어부(130)는 운동 프로그램 생성 모드 실행 요청을 수신하면, 특정 의료진 계정(U1)으로 로그인된 단말기 상에서 운동 프로그램 생성 모드가 실행되도록 제어할 수 있다. 즉, 제어부(130)는 운동 프로그램 생성 모드 실행 이벤트가 발생되는 것에 근거하여, 운동 프로그램 모드를 실행할 수 있다.
한편, 본 발명에서는 운동 프로그램 생성 모드에서, 운동 프로그램에 포함시킬 적어도 하나의 운동 항목을 선택 받는 과정이 진행될 수 있다(S520, 도 5 참조).
도 6a의 (a)에 도시된 것과 같이, 제어부(130)는 특정 의료진 계정(U1)의 단말기 상에, 운동 프로그램 생성 페이지(또는 나만의 운동 프로그램 생성 페이지 또는 운동 리스트 구성 페이지, 600a)를 제공할 수 있다.
제어부(130)는, 나만의 운동 프로그램에 포함된 적어도 하나의 운동 항목을 선택 받기 위한 제1 영역(또는 “선택 영역”으로 명명 가능, 610) 및 선택된 운동 항목으로 구성된 운동 리스트(List)가 출력되는 제2 영역(또는 “리스트 영역”으로 명명 가능, 620)이 포함되도록 제어할 수 있다.
제어부(130)는, 제1 영역(610) 상에, 운동 치료 제공 서비스에 등록된 복수의 운동 항목 중 적어도 일부에 대한 정보(ex: 운동 항목의 운동 항목의 명칭(또는 타이틀, title) 정보, 대표 이미지(ex: 운동 항목에 대응되는 동영상의 썸네일, thumbnail), 운동 항목에 대응되는 운동 부위 정보 등)를 표시할 수 있다.
제어부(130)는, 제1 영역(610)에 표시된 운동 항목들 중 어느 하나가 선택되는 것에 근거하여, 의료진 단말기(10)로부터 특정 의료진 계정(U1)의 선택 정보를 수신할 수 있다. 예를 들어, 제어부(130)는 제1 영역(610)에서, 특정 운동 항목에 대한 정보 또는 특정 운동 항목에 대응되는 아이콘(ex: “추가하기” 또는 “선택하기” 또는 “담기”)이 선택되는 것에 근거하여, 선택된 운동 항목에 대한 선택 정보를 수신할 수 있다.
나아가, 제어부(130)는 제1 영역(610) 상에, 운동 치료 제공 서비스에 등록된 적어도 하나의 운동 프로그램(나만의 운동 프로그램, 공유 운동 프로그램, 추천 운동 프로그램)에 대한 정보(611, 612)를 표시할 수 있다. 추천 운동 프로그램에 대한 정보(611, 612)는, 추천 운동 프로그램에 포함된 운동 항목의 개수 정보, 운동 프로그램 제목(또는 타이틀) 정보, 운동 부위 정보, 운동 항목의 대표 이미지 정보 중 적어도 하나를 포함할 수 있다.
제어부(130)는 제1 영역(610)에 표시된 운동 프로그램들 중 어느 하나가 선택되는 것에 근거하여, 의료진 단말기(10)로부터 특정 의료진 계정(U1)의 선택 정보(또는 선택 이벤트)를 수신할 수 있다. 예를 들어, 도 6a의 (a)에 도시된 것과 같이, 제어부(130)는 제1 영역(610)에서, 특정 운동 프로그램에 대한 정보 또는 특정 운동 프로그램에 대응되는 아이콘(아이콘(ex: “추가하기” 또는 “선택하기” 또는 “담기”, 611a)가 선택되는 것에 근거하여, 운동 프로그램에 대한 선택 정보를 수신할 수 있다.
이 경우, 제어부(130)는, 제1 영역(610)에서 운동 프로그램에 선택(또는 선택 이벤트가 발생)되는 것에 근거하여, 선택된 운동 프로그램에 포함된 적어도 하나의 운동 항목이 모두 선택된 것으로 판단할 수 있다. 예를 들어, “3”개의 운동 항목(ex: 제1운동 항목, 제2 운동 항목, 제3 운동 항목)으로 이루어진 운동 프로그램이 선택되면, 제어부(130)는 3개의 운동 항목이 모두 선택된 것으로 판단할 수 있다.
이처럼, 제어부(130)는 나만의 운동 프로그램 생성 모드가 실행되면, 운동 치료 제공 서비스에 등록된 복수의 운동 항목 중 적어도 하나를 선택할 수 있는 사용자 환경을, 의료진 계정으로 로그인된 단말기에 제공할 수 있다.
한편, 도 6a의 (b)에 도시된 것과 같이, 제어부(130)는, 제1 영역(610)에서 적어도 하나의 운동 항목에 선택되면, 선택된 운동 항목(621, 622)을 제2 영역(또는 “리스트 영역”으로 명명 가능, 620)에 표시할 수 있다.
이 경우, 제어부(130)는 선택된 운동 항목을, 선택된 순서에 대응되도록 차례로 배열하여 제2 영역(620)에 배열하여 표시할 수 있다. 그리고, 제어부(130)는 운동 항목이 배열된 순서에 대응되도록, 운동 프로그램을 생성할 수 있다.
나아가, 제어부(130)는, 선택된 운동 항목(621, 622)에 대한 편집이 가능하도록, 제2 영역(620)을 통해 편집 기능을 제공할 수 있다.
여기에서, “편집 기능”은, 선택된 운동 항목(621, 622)에 대한 운동 방법(운동 유지 시간 또는 운동 반복 횟수), 운동 순서, 선택된 운동 항목(621, 622)의 복사 및 삭제 중 적어도 하나를 수행하는 기능으로 이해될 수 있다. 이하에서는, 설명의 편의를 위해, 특정 운동 항목(621)을 예를 들어 편집 기능에 대해 설명하도록 한다.
제어부(130)는, 제2 영역(620) 상에, 운동 항목(621)에 대한 운동 방법(운동 유지 시간 또는 운동 반복 횟수) 설정 영역(621a)를 포함시킬 수 있다. 제어부(130)는, 운동 방법 설정 영역(621a) 상에, 복수의 운동 방법 옵션 정보(ex: “15초 유치”, “20초 유지” 등)를 표시할 수 있다. 그리고, 제어부(130)는, 복수의 운동 방법 옵션 정보 중 어느 하나가(ex: “20초 유지”)가 선택되는 것에 근거하여, 선택된 운동 방법 옵션 정보를, 운동 항목의 운동 방법으로 설정할 수 있다. 한편, 제어부(130)는, 운동 방법 옵션 정보에 대한 의료진 계정이 선택이 없는 경우, 기본값(또는 디폴트 값, default value)으로 설정된 운동 방법을, 운동 항목의 운동 방법으로 설정할 수 있다.
나아가, 제어부(130)는, 제2 영역(620) 상에, 운동 항목(621)의 배열 순서 변경 기능에 연계된 그래픽 객체(621b)를 표시할 수 있다. 제어부(130)는 배열 순서 변경 기능에 연계된 그래픽 객체(621b)에 대한 의료진 계정의 선택에 근거하여, 운동 항목(621)의 배열 순서를 변경할 수 있다. 예를 들어, 제어부(130)는, 의료진 계정에서 상기 그래픽 객체(621b)를 드래그(drag)하는 사용자 입력을 통해, 운동 항목(621)을 제1 배열 순서(또는 제1 위치)에서 상기 제1 배열 순서와는 다른 제2 배열 순서(또는 제2 위치)로 이동시키는 것에 근거하여, 운동 항목(621)의 배열 순서를 변경할 수 있다. 이 경우, 운동 항목(621)의 변경된 배열 순서는, 제2 배열 순서(또는 제2 위치)에 대응될 수 있다.
나아가, 제어부(130)는, 제2 영역(620) 상에, 운동 항목(621)에 대응되는 체크 박스(621c)를 표시할 수 있다. 제어부(130)는 운동 항목에 대응되는 체크 박스(621c)가 선택된 상태에서, 제2 영역(620)에 표시된 복사 그래픽 객체(623)이 선택되면, 복사된 운동 항목(621)을 제2 영역(620)상에 추가로 표시할 수 있다. 또한, 제어부(130)는 운동 항목에 대응되는 체크 박스(621c)가 선택된 상태에서, 제2 영역(620)에 표시된 삭제 그래픽 객체(624)이 선택되면, 복사된 운동 항목(621)을 제2 영역(620)상에서 삭제할 수 있다.
이처럼, 본 발명에서는, 의료진 계정이, 운동 치료 제공 서비스에 등록된 복수의 운동 항목 중 적어도 일부를 선택하고, 선택된 운동 항목에 대한 편집이 가능한 사용자 환경을 제공할 수 있다. 이를 통해, 의료진은 환자의 증상, 환자의 특성(ex: 연령, 나이, 운동 수행 능력 등), 환자의 운동 환경 등에 맞추어 운동 프로그램을 커스터마이즈 하여 다양하게 구성할 수 있다.
한편, 본 발명에서는 운동 프로그램에 대응되는 프로그램 정보를 설정하는 과정이 진행될 수 있다(S530, 도 5 참조).
도 6b에 도시된 것과 같이, 제어부(130)는 운동 프로그램에 대응되는 프로그램 정보를 설정하기 위한 운동 프로그램 생성 페이지(이하, “정보 설정 페이지”로 명명 가능, 또는 운동 프로그램 정보 설정 페이지, 600b, 600c, 600d, 600e)를, 의료진 계정으로 로그인된 단말기 상에 제공할 수 있다.
제어부(130)는, 프로그램 정보 설정 페이지(600b, 600c, 600d, 600e)를, 운동 리스트 구성 페이지(600a, 도 6a 참조) 보다 앞서 제공하거나, 운동 리스트 구성 페이지(600a) 이후에 제공할 수 있다. 즉, 본 발명에서는, 운동 리스트 구성 페이지(600a)와 프로그램 정보 설정 페이지(600b, 600c, 600d, 600e)의 제공 순서는 다양하게 구성될 수 있다.
제어부(130)는, 프로그램 정보 설정 페이지(600b, 600c, 600d, 600e)를 통해, 운동 프로그램 생성을 위한 필수 정보(운동 부위 정보, 운동 도구 정보) 및 선택 정보(프로그램명 정보, 질환 및 수술명 정보, 단계 정보, 주의사항 정보, 공유 정보)를 입력 받을 수 있다.
도 6b의 (a)에 도시된 것과 같이, 제어부(130)는 운동 부위 정보를 입력 받기 위한 프로그램 정보 설정 페이지(600b)를 의료진 계정으로 로그인된 단말기 상에 제공할 수 있다. 예를 들어, 제어부(130)는 상기 프로그램 정보 설정 페이지(600b) 상에, 적어도 하나의 운동 부위(ex: 전신, 무릎 등)에 대응되는 운동 부위 그래픽 객체(631, 632)를 표시할 수 있다. 제어부(130)는, 상기 운동 부위 그래픽 객체(631, 632) 중 적어도 하나가 선택되는 것에 근거하여, 선택된 운동 부위 그래픽 객체(632)에 대응되는 운동 부위(ex: 무릎) 정보를, 운동 프로그램에 매칭하여, 운동 프로그램을 생성할 수 있다.
나아가, 도 6b의 (b)에 도시된 것과 같이, 제어부(130)는 운동 도구 정보를 입력 받기 위한 프로그램 정보 설정 페이지(600c)를 의료진 계정으로 로그인된 단말기 상에 제공할 수 있다. 예를 들어, 제어부(130)는 상기 프로그램 정보 설정 페이지(600c) 상에, 적어도 하나의 운동 도구(ex: 탄력밴드, 매트 등)에 대응되는 운동 도구 그래픽 객체(641, 642)를 표시할 수 있다. 그리고, 제어부(130)는, 운동 프로그램에 포함된 운동 항목에 매칭된 운동 도구 정보를 확인하고, 확인된 운동 도구에 대응되는 운동 도구 그래픽 객체(ex: 매트, 642)를 자동 선택(ex: 하이라이팅 표시)할 수 있다.
저장부(120)에는, 운동 항목 마다에 운동 도구 정보가 매칭되어 존재할 수 있다. 제어부(130)는 운동 항목에 매칭된 운동 도구 정보에 근거하여, 운동 프로그램의 운동 도구 정보를 자동으로 설정(매칭)할 수 있다.
또한, 제어부(130)는, 운동 도구 그래픽 객체(641, 642) 중 적어도 하나가 선택되는 것에 근거하여, 선택된 운동 도구 그래픽 객체(632)에 대응되는 운동 부위(ex: 무릎) 정보를, 운동 프로그램에 매칭하여, 운동 프로그램을 생성할 수 있다.
나아가, 운동 프로그램의 프로그램 명 정보, 질환 및 수술명 정보, 단계 정보, 주의 사항 정보 중 적어도 하나를 입력 받기 위한 설정 페이지를, 의료진 계정으로 로그인된 단말기 상에 제공할 수 있다. 예를 들어, 도 6b의 (c)에 도시된 것과 같이, 제어부(130)는, 주의 사항 입력 영역(651)을 포함한 프로그램 정보 설정 페이지(600c)를 의료진 계정으로 로그인된 단말기에 제공할 수 있다. 의료진은 주의 사항 입력 영역(651)에, 운동 프로그램 처방 시 주의해야 하는 주의 사항 정보를 입력할 수 있다. 제어부(130)는 주의 사항 입력 영역(651)에 입력된 주의 사항 정보를, 운동 프로그램에 매칭하여 운동 프로그램을 생성할 수 있다.
나아가, 도 6b의 (d)에 도시된 것과 같이, 제어부(130)는 공유 정보(또는 공유 설정 정보)를 입력 받기 위한 프로그램 정보 설정 페이지(이하, “공유 설정 페이지”로 명명 가능, 600d)를 의료진 계정으로 로그인된 단말기 상에 제공할 수 있다.
앞서 설명한 것과 같이, 본 발명에서는, 특정 의료진 계정(U1)에 의해 생성된 나만의 운동 프로그램을 특정 의료진 계정(U1)에서만 접근 가능하도록 제한하거나, 다른 의료진 계정(U3)에서도 접근 가능하도록, 나만의 운동 프로그램을 공유할 수 있다.
의료진은, 공유 설정 페이지(600d)에서, 운동 프로그램에 대한 공유 정보를 설정할 수 있다.
여기에서, 공유 정보는, 공유 상태 정보(또는 공유 설정 정보, 운동 프로그램의 공유 활성화 및 공유 비활성화 중 어느 하나에 대한 정보) 및 공유 대상 정보(운동 프로그램의 공유 대상이 되는 의료진 계정 정보) 중 어느 하나를 포함할 수 있다.
도 6b의 (d)에 도시된 것과 같이, 제어부(130)는 공유 설정 페이지(600d)상에 공유 상태 설정 기능에 연계된 아이콘(661)을 제공할 수 있다. 이러한 아이콘(661)은, 공유 활성화 상태에 대응하는 제1 시각적 외관 및 공유 비활성화 상태에 대응하는 제2 시각적 외관으로 표시될 수 있다. 제어부(130)는, 아이콘(661)에 대한 의료진 계정의 선택에 근거하여, 공유 활성화 및 공유 비활성화 중 어느 하나에 대한 공유 상태 정보를, 운동 프로그램에 매칭하여 설정할 수 있다.
한편, 제어부(130)는, 공유 정보에 대한 의료진 계정의 설정(또는 입력 또는 선택)이 없는 경우, 기본값(또는 디폴트 값, default value)으로 설정된 공유 상태(ex: 공유 활성화)를, 운동 프로그램에 매칭하여 설정할 수 있다.
나아가, 비록 도시되지는 않았지만, 제어부(130)는 공유 설정 페이지(600d)상에, 공유 대상 설정 영역을 더 포함시킬 수 있다. 제어부(130)는 공유 대상 설정 영역에 대한 의료진 계정의 선택(또는 입력)에 근거하여, 운동 프로그램의 공유 대상이 되는 다른 의료진 계정(U3)을 설정할 수 있다. 공유 대상 설정과 관련된 자세한 내용은 후술하도록 한다.
한편, 본 발명에서는 선택된 운동 항목 및 설정된 프로그램 정보를 포함하는 운동 프로그램을 생성하는 과정이 진행될 수 있다(S540, 도 5 참조). 나아가, 본 발명에서는 특정 의료진 계정(U1)에 연계하여 생성된 운동 프로그램을 저장하는 과정이 진행될 수 있다(S550, 도 5 참조).
제어부(130)는, 선택된 운동 항목들로 구성된 운동 프로그램을 생성할 수 있다. 구체적으로, 제어부(130)는 선택된 운동 항목들의 배열에 따른 운동 순서, 운동 항목 마다 설정된 운동 방법(운동 유지 시간 및 운동 반복 횟수), 운동 프로그램에 대응되는 운동 부위 정보, 운동 도구 정보, 프로그램 명 정보, 질환 및 수술명 정보, 단계 정보, 주의사항 정보, 공유 정보 중 적어도 일부를 서로 매칭하여, 나만의 운동 프로그램을 생성할 수 있다.
즉, 본 발명에서 생성된 나만의 운동 프로그램은, 특정 의료진 계정(U1)에 의해 선택된 운동 항목들이, 특정 의료진 계정(U1)의 설정에 근거한 운동 방법(운동 유지 시간 및 운동 반복 횟수)에 따라 일정 순서대로 수행(또는 진행)되도록 구성될 수 있다. 또한, 상기 생성된 나만의 운동 프로그램은, 특정 의료진 계정(U1)의 설정에 기반하여, 다른 의료진 계정(U3)에 공유되도록 이루어질 수 있다.
그리고, 제어부(130)는 특정 의료진 계정(U1)에 연계하여 생성된 운동 프로그램을 저장부(120)에 저장함으로써, 운동 프로그램 생성 모드의 실행을 종료할 수 있다.
한편, 본 발명에서는 특정 의료진 계정(U1)으로부터 환자(patient) 계정에 대한 처방 정보를 수신하는 것에 근거하여, 운동 프로그램을 환자 계정에 할당하는 과정이 진행될 수 있다(S560, 도 5 참조).
제어부(130)는 의료진 단말기(10)로부터 환자에 대한 운동과 관련된 처방 정보를 수신할 수 있다.
도 7의 (a)에 도시된 것과 같이, 제어부(130)는 특정 의료진 계정(U1)으로 로그인된 의료진 단말기(10) 상에, 환자의 운동과 관련된 처방 기능을 포함하는 운동 처방 페이지(700)를 제공할 수 있다.
제어부(130)는, 특정 의료진 계정(U1)에 매칭된 환자 계정 중 특정 환자 계정에 대한 처방이 이루어질 수 있도록, 환자 계정 각각의 운동 처방 페이지(700)를, 의료진 단말기(10) 상에 제공할 수 있다.
예를 들어, 본 발명에서, 특정 의료진 계정(U1)에 제1 환자 계정(ex: “김우영” 환자 계정) 및 제2 환자 계정(ex: “김소희” 환자 계정)이 매칭되어 있다고 가정하자. 제어부(130)는, 의료진 단말기(10)로부터 제1 환자 계정(ex: “김우영” 환자 계정)의 운동 처방 요청을 수신하는 것에 근거하여, 의료진 단말기(10) 상에, 제1 환자 계정에 대응하는 운동 처방 페이지(700)를 제공할 수 있다.
제어부(130)는 운동 처방 페이지(700)에, 운동 치료 제공 서비스에 등록된 복수의 운동 항목 중 적어도 일부에 대한 정보를 표시하거나, 운동 치료 제공 서비스에 등록된 적어도 하나의 운동 프로그램에 대한 정보를 표시할 수 있다.
구체적으로, 제어부(130)는 운동 처방 페이지(700) 상에, 특정 의료진 계정(U1)에 연계된 나만의 운동 프로그램(710), 특정 의료진 계정(U1)에 공유된 공유 운동 프로그램(720) 및 운동 치료 제공 서비스에서 제공하는 추천 운동 프로그램(730) 중 적어도 하나에 대한 정보를 표시할 수 있다.
이 경우, 의료진 계정 마다에 연계된 나만의 운동 프로그램 및 공유 운동 프로그램에 서로 다른 것에 근거하여, 제어부(130)는, 의료진 계정 마다에 제공되는 운동 처방 페이지(700) 상에, 서로 다른 나만의 운동 프로그램 또는 서로 다른 공유 운동 프로그램에 대한 정보를 표시할 수 있다.
제어부(130)는 운동 처방 페이지(700)에 표시된 운동 프로그램들 중 어느 하나가 선택되는 것에 근거하여, 의료진 단말기(10)로부터 특정 의료진 계정(U1)의 선택 정보(또는 선택 이벤트)를 수신할 수 있다.
예를 들어, 도 7의 (a)에 도시된 것과 같이, 운동 처방 페이지(700) 상에, 특정 의료진 계정(U1)에 연계된 나만의 운동 프로그램에 대응되는 정보(711) 및 아이콘(ex: “추가하기” 또는 “선택하기” 또는 “담기”, 711a)가 표시되어 있다고 가정하자. 제어부(130)는 운동 처방 페이지(700) 상에서, 운동 프로그램에 대한 정보(711) 또는 운동 프로그램에 대응되는 아이콘(711a)이 선택되는 것에 근거하여, 운동 프로그램에 대한 선택 정보를 수신할 수 있다.
나아가, 제어부(130)는 선택된 운동 프로그램을 포함하는 처방 정보를 의료진 단말기(10)로부터 수신하는 것에 근거하여, 선택된 운동 프로그램을 환자 계정에 할당할 수 있다.
환자(U2)는, 환자 계정으로 로그인된 환자 단말기(20)를 이용하여, 환자 계정에 할당된 운동 프로그램에 따른 운동 치료를 제공 받을 수 있다.
구체적으로, 제어부(130)는, 환자(U2)가 운동 영상을 보면서 운동 치료를 따라할 수 있도록, 환자 계정에 할당된 운동 프로그램에 대응되는 운동 영상을, 환자 계정으로 로그인된 환자 단말기(20) 상에 제공할 수 있다. 즉, 제어부(130)는, 환자 계정에 할당된 운동 프로그램 및 운동 프로그램에 포함된 운동 항목을 확인하고, 운동 항목에 대응되는 운동 영상을, 환자 단말기(20) 상에 제공할 수 있다.
한편, 본 발명에서는 특정 의료진 계정(U1)에서 생성된 나만의 운동 프로그램을, 다른 의료진 계정(U3)에 공유할 수 있다. 제어부(130)는 특정 의료진 계정(U1)으로부터, 나만의 운동 프로그램에 대한 공유 정보를 수신하면, 수신된 공유 정보에 근거하여 나만의 운동 프로그램을 다른 의료진 계정(U3)에 공유할 수 있다.
여기에서, 공유 정보는, 공유 상태 정보(운동 프로그램의 공유 활성화 및 공유 비활성화 중 어느 하나에 대한 정보) 및 공유 대상 정보(운동 프로그램의 공유 대상이 되는 의료진 계정 정보) 중 어느 하나를 포함할 수 있다.
앞서 설명한 것과 같이, 제어부(130)는 운동 프로그램 생성 모드가 실행된 상태에서, 특정 의료진 계정(U1)으로부터 나만의 운동 프로그램에 대한 공유 정보를 수신할 수 있다. 제어부(130)는 특정 의료진 계정(U1)으로부터 수신된 공유 정보에 근거하여, 나만의 운동 프로그램의 공유 상태 및 공유 대상을 설정할 수 있다.
나아가, 제어부(130)는 운동 프로그램 생성 모드가 종료된 상태에서, 특정 의료진 계정(U1)으로부터 나만의 운동 프로그램에 대한 공유 정보를 수신할 수 있다. 제어부(130)는 수신된 공유 정보에 근거하여, 나만의 운동 프로그램의 공유 상태 및 공유 대상을 변경할 수 있다.
이처럼 제어부(130)는, 운동 프로그램 생성 모드가 실행된 경우 및 종료된 경우, 특정 의료진 계정(U1)으로부터 나만의 운동 프로그램에 대한 공유 정보를 수신하고, 수신된 공유 정보에 근거하여 나만의 운동 프로그램의 공유 상태 및 공유 대상을 설정할 수 있다.
이하에서는, 설명의 편의를 위하여, 나만의 운동 프로그램의 공유 상태 및 공유 대상에 대한 설정을, 운동 프로그램 생성 모드가 종료된 이후에 이루어지는 것을 예로 들어 설명하도록 한다. 다만, 이하에서 설명되는 데이터 처리는, 운동 프로그램 생성 모드가 실행된 상태에서도 동일하게 적용 가능하다.
도 8a에 도시된 것과 같이, 제어부(130)는 특정 의료진 계정(U1)으로 로그인된 의료진 단말기(10) 상에, 나만의 운동 프로그램에 대한 공유 설정 기능이 포함된 페이지(800)를 제공할 수 있다.
제어부(130)는, 특정 의료진 계정(U1)으로부터, 나만의 운동 프로그램 페이지(800) 제공 요청을 수신한 것에 근거하여, 특정 의료진 계정(U1)으로 로그인된 단말기 상에, 나만의 운동 프로그램 페이지(800)를 제공할 수 있다. 이 경우, 페이지 제공 요청이 있는 나만의 운동 프로그램은, 특정 의료진 계정(U1)에 연계된 나만의 운동 프로그램 중 어느 하나에 해당할 수 있다.
예를 들어, 도 4a에 도시된 것과 같이, 제어부(130)는 나만의 운동 프로그램 진입 페이지(400a)에, 특정 의료진 계정(U1)에 연계된 적어도 하나의 나만의 운동 프로그램에 대한 정보(410, 420)를 표시할 수 있다. 제어부(130)는, 나만의 운동 프로그램 진입 페이지(400a)에 표시된 정보(410, 420) 중 어느 하나가 선택되는 것에 근거하여, 특정 의료진 계정(U1)으로부터, 선택된 정보에 대응되는 나만의 운동 프로그램의 페이지(이하, “프로그램 페이지”로 명명하여 설명, 800) 제공 요청을 수신할 수 있다.
한편, 제어부(130)는 프로그램 페이지(800)에, 나만의 운동 프로그램에 대한 공유 활성화 설정 기능이 연계된 제1 그래픽 객체(810) 및 공유 대상 설정 기능이 연계된 제2 그래픽 객체(820)를 표시할 수 있다.
제어부(130)는, 제1 그래픽 객체(810)에 대한 의료진 계정의 입력(또는 선택)에 근거하여, 나만의 운동 프로그램의 공유 상태를, 공유 활성화 및 공유 비활성화 중 어느 하나로 설정할 수 있다.
예를 들어, 나만의 운동 프로그램이 “공유 활성화”로 설정되어 있는 상태에서, 제어부(130)는 제1 그래픽 객체(810)에 대한 특정 의료진 계정(U1)의 사용자 입력에 근거하여, 나만의 운동 프로그램의 공유 상태를, “공유 활성화”에서 “공유 비활성화”로 변경할 수 있다. 반면에, 나만의 운동 프로그램이 “공유 비활성화”로 설정되어 있는 상태에서, 제어부(130)는 제1 그래픽 객체(810)에 대한 특정 의료진 계정(U1)의 사용자 입력에 근거하여, 나만의 운동 프로그램 공유 상태를, “공유 비활성화”에서 “공유 활성화”로 변경할 수 있다.
이 경우, 제어부(130)는 나만의 운동 프로그램의 공유 상태가 공유 활성화 및 공유 비활성화 중 어느 하나에 대응되는 것에 근거하여, 제1 그래픽 객체(810)의 시각적 외관을 서로 다르게 표시하고, 제1 그래픽 객체(810) 주변에 서로 다른 안내 정보를 표시할 수 있다.
예를 들어, 제어부(130)는 나만의 운동 프로그램이 공유 활성화로 설정된 경우, 제1 시각적 외관을 갖는 제1 그래픽 객체(810)를 프로그램 페이지(800)상에 표시할 수 있다. 그리고, 제어부(130)는 나만의 운동 프로그램이 공유 활성화 상태임을 안내하는 제1 안내 정보(ex: “병원(근무지)에 해당 프로그램이 공유 프로그램으로 공유됩니다”, 811)를, 제1 그래픽 객체(810) 주변에 표시할 수 있다.
반면에, 제어부(130)는 나만의 운동 프로그램이 공유 비활성화로 설정된 경우, 상기 제1 시각적 외관과는 다른 제2 시각적 외관을 갖는 제1 그래픽 객체(810’)를, 프로그램 페이지(800) 상에 표시할 수 있다. 그리고, 제어부(130)는 나만의 운동 프로그램이 공유 비활성화 상태임을 안내하는 제2 안내 정보(ex: “해당 프로그램은 본인만 열람 가능합니다”, 811’)를, 제1 그래픽 객체(810) 주변에 표시할 수 있다.
한편, 도 8a에 도시된 것과 같이, 제어부(130)는, 제2 그래픽 객체(ex: “의료진 선택”, 820)에 대한 특정 의료진 계정(U1)의 입력(또는 선택)에 근거하여, 나만의 운동 프로그램을 공유 받을 적어도 하나의 다른 의료진 계정을 특정할 수 있다.
제어부(130)는, 프로그램 페이지(800)에, 특정 의료진 계정(U1)을 제외한 다른 의료진 계정들에 대한 정보(ex: “물리치료사/김형기(1234)”, “의사/이지은(2222)”, 821, 822)를 제공할 수 있다. 예를 들어, 제어부(130)는 제2 그래픽 객체(ex: “의료진 선택”, 820)에 대한 특정 의료진 계정(U1)의 입력(또는 선택)에 근거하여, 적어도 하나의 다른 의료진 계정에 대한 정보(821, 822)를, 프로그램 페이지(800)에 제공할 수 있다.
제어부(130)는, 프로그램 페이지(800)를 통해 선택된 적어도 하나의 다른 의료진 계정을, 나만의 운동 프로그램 공유 대상을 특정할 수 있다. 예를 들어, “이지은” 의료진의 의료진 계정에 대한 정보(821)가 선택되는 것에 근거하여, “이지은” 의료진을, 나만의 운동 프로그램 공유 대상으로 특정할 수 있다.
나아가, 제어부(130)는, 특정 의료진 계정(U1)에서, 다른 의료진 계정 전체를 나만의 운동 프로그램의 공유 대상으로 선택할 수 있도록, 다른 의료진 계정 전체에 대응하는 정보(ex: “전체 선택” 또는 “병원 내 모든 의료진에게 공유”)를 제공할 수 있다.
제어부(130)는, 다른 의료진 계정 전체에 대응하는 정보(ex: “전체 선택” 또는 “병원 내 모든 의료진에게 공유”)가 선택되는 것에 근거하여, 다른 의료진 계정 전체를, 나만의 운동 프로그램 공유 대상으로 특정할 수 있다.
한편, 도 8b에 도시된 것과 같이, 제어부(130)는, 병원(1a, 1b) 및 의료진 개인(U3, U4, U5, U6) 중 적어도 하나를 기준으로, 나만의 운동 프로그램의 공유 대상을 특정할 수 있다. 즉, 제어부(130)는 병원(1a, 1b) 단위로 운동 프로그램의 공유 대상을 특정하거나, 의료진 개인(U3, U4, U5, U6) 단위로 운동 프로그램의 공유 대상을 특정할 수 있다.
구체적으로, 제어부(130)는, 특정 의료진과 동일 병원(ex: “A병원”)에 근무하는 복수의 다른 의료진 중 적어도 일부를, 나만의 운동 프로그램의 공유 대상으로 특정할 수 있다.
제어부(130)는, 저장부(120)를 참조하여, 특정 의료진 계정(U1)과 동일한 병원(1a)에 매칭된 다른 의료진 계정(U3, U6)에 대한 정보를, 프로그램 페이지(800)에 제공할 수 있다. 그리고, 제어부(130)는, 동일 병원(1a)에 매칭된 다른 의료진 계정 전체에 대응하는 정보(ex: “전체 선택” 또는 “병원 내 모든 의료진에게 공유”)를, 프로그램 페이지(800)에 제공할 수 있다.
제어부(130)는, 프로그램 페이지(800)에 제공되는 다른 의료진 계정 정보 중 적어도 하나에 대한 특정 의료진 계정(U1)의 선택에 근거하여, 나만의 운동 프로그램의 공유 대상을 특정할 수 있다.
예를 들어, 제어부(130)는 특정 의료진 계정(U1)으로부터, “동일 병원내 전체 공유(910)”에 대응하는 선택을 수신하는 것에 근거하여, 특정 의료진 계정(U1)과 동일한 병원(1a)이 매칭된 다른 의료진 계정(U3, U6) 전부를 공유 대상으로 특정할 수 있다.
다른 예를 들어, 제어부(130)는, 특정 의료진 계정(U1)으로부터, “동일 병원내 개별 공유(920)”에 대응하는 선택을 수신하는 것에 근거하여, 특정 의료진 계정(U1)과 동일한 병원(1a)가 매칭된 다른 의료진 계정(U3, U6) 중 선택된 다른 의료진 계정(U3)만을, 공유 대상으로 특정할 수 있다.
또 다른 예를 들어, 제어부(130)는, 나만의 운동 프로그램에 대한 공유 대상으로, “동일 병원 내 전체 공유(910)”를 기본값(또는 디폴트 값, default value)으로 설정할 수 있다. 이 경우, 제어부(130)는 특정 의료진 계정(U1)으로부터 공유 대상에 대한 설정 정보가 수신되지 않으면, 특정 의료진 계정(U1)과 동일한 병원(1a)가 매칭된 다른 의료진 계정(U3, U6) 전부를 공유 대상으로 특정할 수 있다.
즉, 제어부(130)는, 특정 의료진 계정과 동일 병원에서 근무하는 복수의 다른 의료진 중 적어도 일부에게, 특정 의료진에 의해 생성된 나만의 운동 프로그램을 공유할 수 있다.
나아가, 도 8b에 도시된 것과 같이, 제어부(130)는 제1 병원(ex: “A병원”)에 근무하는 특정 의료진의 나만의 프로그램을, 상기 제1 병원과는 다른 제2 병원(ex: “B병원)으로까지 확장하여 공유할 수 있다.
이 경우, 나만의 프로그램이 공유 가능한 다른 병원은, 미리 설정되어 존재할 수 있다. 예를 들어, 서로 다른 제1 병원, 제2 병원 및 제3 병원이, 운동 치료 제공 서비스에 등록되어 있다고 가정하자. 이 경우, 제어부(130)는 제1 병원과 제2 병원 사이에서는 나만의 운동 프로그램 공유가 가능하도록 설정할 수 있다. 반면에, 제어부(130)는 제3 병원은, 제1 병원 및 제2 병원과 나만의 운동 프로그램 공유가 제한되도록 설정할 수 있다. 이러한 병원간 나만의 운동 프로그램 공유 설정은, 병원들의 요청에 근거하여 이루어질 수 있다. 병원들은, 병원 간의 업무 협약 계약등에 기초하여, 병원간 공유 설정을 요청할 수 있다.
도 8b에 도시된 것과 같이, 제1 병원(1a), 제2 병원(1b) 사이에서, 나만의 운동 프로그램 공유가 가능하도록 설정된 경우, 제어부(130)는, 제1 병원(1a)의 특정 의료진 계정(U1)에 연계된 나만의 운동 프로그램을, 제2 병원(1b)의 의료진 계정(U4, U5) 중 적어도 일부에 공유할 수 있다.
예를 들어, 제어부(130)는 특정 의료진 계정(U1)으로부터 “다른 병원내 전체 공유(930)”에 대응하는 선택을 수신하는 것에 근거하여, 제2 병원(1b)의 의료진 계정(U4, U5) 전부를 공유 대상으로 특정할 수 있다.
다른 예를 들어, 제어부(130)는, 특정 의료진 계정(U1)으로부터, “다른 병원내 개별 공유(940)”에 대응하는 선택을 수신하는 것에 근거하여, 제2 병원(1b)의 일부 의료진 계정(U4)을 공유 대상으로 특정할 수 있다.
나아가, 본 발명에서는, 본 발명에 따른 운동 치료 제공 서비스에 등록된 서로 다른 병원 간 또는 서로 다른 병원에 소속된 의료진 간에, 나만의 운동 프로그램을 공유하도록 할 수 있다. 즉, 본 발명에 따른 나만의 운동 프로그램은, 본 발명에 따른 시스템에 등록된 병원 또는 의료진이면, 자유롭게 공유 가능하도록 할 수 있다. 이를 통해, 본 발명에 따른 시스템은 병원간, 의료진 간 서로 간의 치료 노하우를 공유하고, 활성화 할 수 있는 의료 플랫폼의 역할을 수행할 수 있다.
한편, 앞서 설명한 것과 같이, 본 발명에서의 의료진 계정은, 환자에게 운동 프로그램을 독자적(independently)으로 처방할 권한이 존재하는지에 근거하여, 제1 타입 및 제2 타입으로 구분될 수 있다.
본 발명에서, “운동 프로그램을 독자적으로 처방할 권한”은, 타인의 승인 없이 운동 프로그램을 처방할 수 있는 권한으로 이해될 수 있다.
도 9a에 도시된 것과 같이, “제1 타입의 의료진 계정(U1)”은, 환자에게 운동 프로그램을 독자적으로 처방할 수 있는 권한이 존재하는 의료진 계정으로 이해될 수 있다.
이러한 제1 타입의 의료진 계정(U1)은, 제2 타입의 의료진 계정(U3)이 처방한 운동 프로그램을 승인할 수 있는 권한이 더 존재할 수 있다.
“제2 타입의 의료진 계정(U3)”은, 제1 타입의 의료진 계정(U1)의 승인에 근거하여, 환자에게 운동 프로그램을 처방할 수 있는 의료진 계정으로 이해될 수 있다.
즉, “제2 타입의 의료진 계정(U3)”은, 환자에게 운동 프로그램을 독자적으로 처방할 수 있는 권한이 존재하지 않는 의료진 계정에 해당할 수 있다.
이러한 제2 타입의 의료진 계정(U3)은, 다른 의료진 계정에서 처방한 운동 프로그램을 승인할 수 있는 권한도 존재하지 않을 수 있다.
제어부(130)는, 의료진의 직업 정보에 근거하여, 의료진 계정의 타입을 제1 타입 및 제2 타입 중 어느 하나로 설정할 수 있다.
예를 들어, 제어부(130)는, 의료진의 직업이 제1 타입의 직업(ex: “의사”)이면, 의료진 계정의 타입을 제1 타입으로 설정할 수 있다. 그리고, 제어부(130)는 의료진의 직업이 제2 타입의 직업(ex: “치료사”)이면, 의료진 계정의 타입을 제2 타입으로 설정할 수 있다.
한편, 본 발명에서는 환자에게 운동 프로그램을 처방한 의료진 계정이, 제1 타입 및 제2 타입 중 어느 하나인 것에 근거하여, 서로 다른 운동 프로그램 처방 프로세스가 수행될 수 있다.
본 발명에서는, 운동 프로그램을 처방한 의료진 계정의 타입이, 제1 타입인 경우 제1 운동 처방 프로세스를 수행하고, 운동 프로그램을 처방한 의료진 계정의 타입이, 제2 타입인 경우 제2 운동 처방 프로세스를 수행할 수 있다.
이를 위해, 제어부(130)는 의료진 계정으로부터 처방 정보를 수신하면, 해당 의료진 계정의 타입을 확인할 수 있다. 그리고, 확인 결과에 따라, 제1 운동 처방 프로세스 및 제2 운동 처방 프로세스 중 어느 하나를 수행할 수 있다.
구체적으로, 제어부(130)는, 제1 타입의 의료진 계정(U1)으로부터 환자에 대한 운동 프로그램 처방 정보를 수신할 수 있다(S1010, 도 9b 참조).
제어부(130)는, 제1 타입의 의료진 계정(U1)으로부터 환자에 대한 운동 프로그램 처방 정보를 수신한 것에 근거하여, 처방된 운동 프로그램을 환자 계정(U2)에 할당할 수 있다(S1020, 도 9b 참조).
즉, 제어부(130)는, 제1 타입의 의료진 계정으로부터 처방 정보를 수신하면, 제1 타입의 의료진 계정에, 독자적으로 운동 프로그램을 처방할 권한이 존재하는 것에 근거하여, 운동 프로그램을 곧바로 환자 계정에 할당하는, 제1 운동 처방 프로세스를 진행할 수 있다.
한편, 제어부(130)는 제2 타입의 의료진 계정(U3)으로부터 환자에 대한 운동 프로그램 정보를 수신할 수 있다(S1030, 도 9b 참조).
제어부(130)는, 제2 타입의 의료진 계정(U3)으로부터 환자에 대한 운동 프로그램 처방 정보를 수신한 것에 근거하여, 제1 타입의 의료진 계정(U1)으로 처방된 운동 프로그램에 대한 승인 요청 정보를 전송할 수 있다(S1040, 도 9b참조).
이 경우, 제어부(130)는, 제2 타입의 의료진 계정(U3)의 선택 및 기 설정된 매칭 정보 중 어느 하나에 근거하여, 운동 프로그램에 대한 처방 승인의 요청 대상이 되는 제1 타입의 의료진 계정(U1)을 특정할 수 있다.
제어부(130)는, 복수의 제1 타입의 의료진 계정 중, 운동 프로그램을 처방한 제2 타입의 의료진 계정(U3)에서 선택된 특정 제1 타입의 의료진 계정으로 운동 프로그램에 대한 처방 승인을 요청할 수 있다. 또한, 제어부(130)는 복수의 제1 타입의 의료진 계정 중, 운동 프로그램을 처방한 제2 타입의 의료진 계정(U3)에 매칭된 특정 제1 타입의 의료진 계정으로, 운동 프로그램에 대한 처방 승인을 요청할 수 있다.
제어부(130)는, 처방 승인 요청을 받은 제1 타입의 의료진 계정(U1)에서 운동 프로그램에 처방을 승인하면(즉, 운동 프로그램 처방 승인 이벤트 발생), 제1 타입의 의료진 계정(U1)으로부터 승인 정보를 수신할 수 있다(S1040, 도 9b 참조).
제어부(130)는, 제1 타입의 의료진 계정(U1)에서 운동 프로그램의 처방을 승인한 것(또는 운동 프로그램 처방 이벤트가 발생된 것)에 근거하여, 제2 타입의 의료진 계정(U3)에서 처방한 운동 프로그램을, 환자 계정(U2)에 할당할 수 있다(S1050, 도 9b 참조).
즉, 제어부(130)는, 제2 타입의 의료진 계정으로부터 처방 정보를 수신하면, 제2 타입의 의료진 계정에, 독자적으로 운동 프로그램을 처방할 권한이 존재하는 것에 근거하여, 승인 권한을 가진 제1 타입의 의료진 계정(U1)으로, 운동 프로그램 처방 요청을 전송할 수 있다. 그리고, 제어부(130)는 상기 제1 타입의 의료진 계정으로부터 운동 프로그램 처방에 대한 승인 이벤트가 발생되는 것에 근거하여, 운동 프로그램을 환자 계정에 할당하는 제2 운동 처방 프로세스를 진행할 수 있다.
한편, 도 9c의 (a)에 도시된 것과 같이, 제어부(130)는 제2 타입의 의료진 계정으로 로그인된 단말기 상에, 운동 프로그램 처방을 승인한 제1 타입의 의료진 계정을 특정하기 위한 영역(1011)을 포함하는 페이지(1000 a)를 제공할 수 있다.
제어부(130)는 상기 영역(1010)에, 적어도 하나의 제1 타입의 의료진 계정에 대한 정보(ex: “윤찬(5678)”, “이유현(1234)”, 1011, 1011)을 표시할 수 있다.
이 경우, 제어부(130)는, 제2 타입의 의료진 계정과 동일한 병원이 매칭된 제1 타입의 의료진 계정에 대한 정보를, 상기 영역(1010)에 표시할 수 있다. 즉, 제어부(130)는, 제2 타입의 직업(ex: 치료사)을 가진 의료진과 동일한 병원에서 근무하는 의료진 중 제1 타입의 직업(ex: 의사)을 가진 의료진에 대한 정보를, 상기 제1 영역(1010)에 제공할 수 있다.
제어부(130)는, 상기 영역(1010)을 통해 특정 제1 타입의 의료진 계정(ex: “윤찬”)이 선택되는 것에 근거하여, 선택된 제1 타입의 의료진 계정으로, 제2 타입의 의료진 계정의 운동 프로그램 처방에 대한 승인을 요청할 수 있다.
도 9c의 (b)에 도시된 것과같이, 제어부(130)는 제1 타입의 의료진 계정(U1)으로 로그인된 단말기 상에, 운동 프로그램 승인 페이지(1000b)를 제공할 수 있다.
제어부(130)는 운동 프로그램 승인 페이지(1000b)에, 제2 타입의 의료진 계정 정보(1021), 운동 프로그램이 처방된 날짜 정보(1022), 운동 프로그램 정보(1023) 및 운동 프로그램 처방 대상이 되는 환자 정보(1024) 중 적어도 하나를 표시할 수 있다. 그리고, 제어부(130)는 운동 프로그램 승인 페이지(1000b)에, 운동 프로그램 승인 기능에 연계된 승인 그래픽 객체(1025) 및 운동 프로그램 반려(또는 미승인) 기능에 연계된 반려 그래픽 객체(또는 미승인 그래픽 객체, 1026)을 포함시킬 수 있다.
제어부(130)는, 운동 프로그램 승인 페이지(1000b)에서, 승인 그래픽 객체(1025)가 선택되는 것에 근거하여, 제2 타입의 의료진 계정(U3)에서 처방한 운동 프로그램을, 환자 계정(U2)에 할당할 수 있다.
반면에, 제어부(130)는, 운동 프로그램 승인 페이지(1000b)에서, 반려 그래픽 객체(또는 미승인 그래픽 객체, 1026)가 선택되는 것에 근거하여, 제2 타입의 의료진 계정(U3)에서 처방한 운동 프로그램이, 환자 계정(U2)에 할당되는 것을 제한할 수 있다.
한편, 제어부(130)는, 제2 타입의 의료진 계정(U3)으로부터 환자에 대한 운동 프로그램 처방 정보를 수신한 경우, 운동 프로그램 처방에 대한 자동 승인이 설정되어 있는 것에 근거하여, 처방된 운동 프로그램을 환자 계정에 할당할 수 있다.
즉, 제어부(130)는, 운동 프로그램에 대한 자동 승인이 설정(또는 활성화)되어 있으면, 제2 타입의 계정에서 처방된 운동 프로그램에 대한 처방 승인을, 제1타입의 의료진 계정(U1)에 요청하는 것을 제한하고, 곧바로 처방된 운동 프로그램을 환자 계정에 할당할 수 있다.
반면에, 제어부(130)는, 운동 프로그램에 대한 자동 승인이 미설정(또는 비활성화)되어 있으면, 제1타입의 의료진 계정(U1)으로, 제2 타입의 계정에서 처방된 운동 프로그램에 대한 처방 승인을 요청할 수 있다.
이를 위해, 도 9c의 (c)에 도시된 것과 같이, 제어부(130)는 제1 타입의 의료진 계정(U1)으로 로그인된 단말기 상에, 운동 프로그램 처방에 대한 자동 승인 설정 기능에 연계된 아이콘(1030)이 포함된 페이지(1000c)를 제공할 수 있다. 예를 들어, 제어부(130)는. 마이 페이지(1000c)에 자동 승인 아이콘(1030)을 포함시킬 수 있다.
제어부(130)는, 자동 승인 아이콘(1030)에 대한 제1 타입의 의료진 계정(U1)의 입력(또는 선택)에 근거하여, 운동 프로그램에 대한 자동 승인 기능을, 활성화 및 비활성화 중 어느 하나로 설정할 수 있다.
예를 들어, 자동 승인 기능이 “활성화”로 설정되어 있는 상태에서, 제어부(130)는 자동 승인 아이콘(1030)에 대한 제1 타입의 의료진 계정(U1)의 사용자 입력에 근거하여, 자동 승인 기능을 “활성화”에서 “비활성화”로 변경할 수 있다. 반면에, 자동 승인 기능이 “비활성화”로 설정되어 있는 상태에서, 제어부(130)는 자동 승인 아이콘(1030)에 대한 제1 타입의 의료진 계정(U1)의 사용자 입력에 근거하여, 자동 승인 기능을, “비활성화”에서 “활성화”로 변경할 수 있다.
본 발명에서는, 병원 단위로, 의료진들끼리 나만의 운동 프로그램을 서로 공유할 수 있는 사용자 환경을 제공할 수 있다. 이에, 의료진이 이직하는 등 의료진의 근무 병원이 변경되면, 의료진들 사이에서 공유되던 공유 프로그램의 공유 계속 여부가 문제될 수 있어, 의료진들의 변경된 병원 정보의 업데이트가 매우 중요하다.
이에, 본 발명에서는, 의료진들의 근무지 병원 정보를 변경 기능을 제공할 수 있다. 본 발명에서, 설명되는 근무지 병원은, 의료진이 근무하는(또는 소속된) 병원이거나, 관련된 병원을 의미할 수 있다.
도 10에 도시된 것과 같이, 제어부(130)는 의료진 계정으로 로그인된 단말기 상에, 의료진이 근무하는 병원(또는 병원 정보)를 변경하기 위한 페이지(1100)를 제공할 수 있다.
의료진은, 제1 병원에서 제2 병원으로 이직하는 경우, 상기 페이지(1100)를 통해, 자신의 근무지 병원을 제1 병원에서 제2 병원으로 변경할 수 있다.
제어부(130)는, 의료진 계정에 의해, 제2 병원이, 의료진의 변경된 근무지 병원으로 입력되는 것에 근거하여, 의료진 계정에 매칭된 병원 정보를 제1 병원에서 제2 병원으로 업데이트 할 수 있다.
한편, 제어부(130)는, 의료진 계정에 매칭된 병원이, 제1 병원에서 제2 병원으로 변경되는 경우, 제1 병원에 근무하는 다른 의료진 계정에게 공유되던 운동 프로그램이, 더 이상 공유되지 않도록 공유를 중단할 수 있다.
예를 들어, 특정 의료진이 제1 병원에서 근무하는 것에 근거하여, 특정 의료진 계정(U1)에서 생성된 나만의 프로그램이, 제1 병원에서 근무하는 다른 의료진의 의료진 계정(U3)에 공유되고 있었다고 가정하자.
제어부(130)는 상기 특정 의료진 계정(U1)에 매칭된 근무지 병원 정보가, 제1 병원에서 제2 병원으로 변경되면, 제1 병원에 매칭된 다른 의료진 계정(U3)에 상기 특정 의료진 계정(U1)의 운동 프로그램이 더 이상 공유되지 않도록, 공유를 중단할 수 있다.
나아가, 제어부(130)는, 의료진 계정에 매칭된 병원이, 제1 병원에서 제2 병원으로 변경되는 경우, 제1 병원에 근무하는 다른 의료진 계정으로부터 공유된 운동 프로그램이, 제2 병원으로 이직한 의료진 계정에 더 이상 공유되지 않도록 공유를 중단할 수 있다.
위에서 살펴본 것과 같이, 본 발명에 따른 맞춤형 운동 치료 프로그램 생성 방법 및 시스템은, 특정 의료진(medical staff) 계정으로 로그인된 단말기 상에서, 운동 프로그램 생성 모드를 실행하여, 의료진이 직접 운동 프로그램을 커스터마이즈 할 수 있는 사용자 환경을 제공할 수 있다 .
구체적으로, 본 발명에 따른 맞춤형 운동 치료 프로그램 생성 방법 및 시스템은, 운동 프로그램 생성 모드에서, 운동 프로그램에 포함시킬 적어도 하나의 운동 항목을 선택받아 운동 프로그램을 생성함으로써, 의료진은 환자의 질병, 증상, 나이, 연령 등의 특성, 운동 수행 능력 등 다양한 요소를 고려하여 효과적이고 최적의 운동 프로그램을 생성할 수 있다.
특히, 본 발명에 따른 맞춤형 운동 치료 프로그램 생성 방법 및 시스템은, 생성된 운동 프로그램을 특정 의료진 계정(U1)에 연계하여 저장함으로써, 특정 의료진 계정(U1)에 의해 생성된 운동 프로그램을 관리하며, 다른 의료진 계정에게 운동 프로그램을 공유할 수 있다.
나아가, 본 발명에 따른 맞춤형 운동 치료 프로그램 생성 방법 및 시스템은, 특정 의료진 계정(U1)으로부터, 환자(patient) 계정에 대한 처방 정보를 수신하는 것에 근거하여, 상기 운동 프로그램을 상기 환자 계정에 할당할 수 있다. 이를 통해, 환자는 환자에게 치료 목적의 맞춤형 운동 프로그램을 처방할 수 있으며, 환자는 최적의 운동 프로그램을 제공 받아 효과적으로 운동을 수행할 수 있다.
한편, 위에서 살펴본 본 발명은, 컴퓨터에서 하나 이상의 프로세스에 의하여 실행되며, 이러한 컴퓨터로 판독될 수 있는 매체(또는 기록 매체)에 저장 가능한 프로그램으로서 구현될 수 있다.
나아가, 위에서 살펴본 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드 또는 명령어로서 구현하는 것이 가능하다. 즉, 본 발명은 프로그램의 형태로 제공될 수 있다.
한편 위에서 살펴본 것과 같이, 본 발명은, 온라인을 기반으로 근골격계 질환에 대한 운동 치료를 제공할 수 있으며, 이하에서는 운동 치료 제공 방법 및 시스템에 대해 보다 구체적으로 살펴본다. 특히, 이하에서는, 환자가 수행한 운동을 촬영한 운동 영상을 기반으로, 처방된 운동을 수행하는 환자의 운동 동작을 분석할 수 있는 운동 치료 제공 방법 및 시스템에 대해 살펴본다. 이러한, 본 발명은 근골격계 질환에 특화된 인공 지능 모델에 기반하여, 운동 영상으로부터 환자의 운동 동작을 분석할 수 있는 운동 치료 제공 방법 및 시스템을 제공할 수 있다. 나아가, 본 발명은, 환자가 근골격계 질환의 치료에 용이하게 접근 가능한 사용자 환경을 제공할 수 있는 운동 치료 제공 방법 및 시스템을 제공할 수 있다.
본 발명은 환자(Patient)의 단말기로부터 수신되는 운동 영상에 기반하여, 운동 영상에 포함된 환자의 운동 동작을 분석하고, 분석 결과를 제공하기 위한 것이다. 특히, 본 발명은, 근골격계 질환에 특화된 인공 지능 모델을 이용하여, 환자의 관절 포인트를 기반으로 운동 동작을 분석하는 방법에 대한 것이다.
본 발명에서는, 근골격계 질환에 대한 재활 운동의 운동 동작 분석을 중심으로 설명하나, 반드시 이에 한정되는 것은 아니다. 즉, 본 발명에서 동작 분석은, 운동 동작 뿐만 아니라, 일상 생활에서의 동작, 스트레칭(Stretch)시 동작 등 다양한 동작에 대한 분석을 모두 포함할 수 있다.
한편, 본 발명에서 설명되는 “운동 동작”은 운동을 수행하는 과정에서 이루어지는 몸짓(동작)으로, 몸의 “움직임”, “액션(action)”, “무브먼트(movement)”, “제스처(gesture)”등의 용어와 혼용하여 사용될 수 있다.
그리고, “운동 영상”은, 도 16에 도시된 것과 같이, 환자가 운동 동작을 수행하는 과정이 촬영(포함)된 영상(이미지 또는 동영상)으로, 환자(U)의 신체 중 적어도 일부가 포함될 수 있다.
본 발명에서는, 운동 영상에 포함된 환자 객체를, “피사체(U)”로 명명하여 설명할 수 있다. 본 발명에서 “피사체(U)”는 운동 영상에서 운동하는 환자 또는 환자의 신체 일부를 의미할 수 있다. 본 발명에서는, “피사체”와 “환자”를 혼용하여 사용할 수 있으며, 동일한 도면부호 “U”를 부여하여 설명할 수 있다.
이하에서는 첨부된 도면과 함께, 본 발명에 따른 인공 지능 자세 추정 모델 및 동작 분석 모델을 이용한 운동 치료 제공 방법 및 시스템에 대해 구체적으로 설명하도록 한다. 도 11은 본 발명에 따른 운동 치료 제공 시스템을 설명하기 위한 개념도이다. 도 12 및 도 13은 본 따른 운동 치료 제공 방법을 설명하기 위한 흐름도들이고, 도 14a 및 도 14b는 의사의 처방을 설명하기 위한 개념도들이고, 도 15 및 도 16은 운동 영상으로부터 환자의 운동 동작을 분석하는 방법을 설명하기 위한 개념도들이고, 도17, 도 18a 도 18b, 도 18c, 도 18d, 도 18e 및 도 18f은 인공 지능 자세 추정 모델을 설명하기 위한 개념도들이며, 도 19 및 도 20는 사용자의 동작 분석 결과를 제공하는 활용 예들을 설명하기 위한 개념도들이다. 나아가, 도 21a, 도 21b 및 도 21c는 환자의 운동 동작 분석 결과가 제공되는 사용자 환경을 설명하기 위한 개념도들이다.
도 11에 도시된 것과 같이, 본 발명에 따른 운동 치료 제공 시스템(1000)은, 인공 지능 자세 추정 및 동작 분석 모델을 이용하여, 환자 단말기(10)로부터 수신된 운동 영상에서 환자의 운동 동작을 분석하는 것으로, 환자 단말기(10)에 설치되는 애플리케이션(Application, 100) 및 인공지능 서버(또는 클라우드 서버, 200) 중 적어도 하나를 포함하여 구성될 수 있다. 그리고, 본 발명에 따른 운동 치료 제공 시스템(1000)은, 학습 데이터를 이용하여 학습된 자세 추정 모델 및 동작 분석 모델을 포함할 수 있다. 이하에서 살펴보는 운동 치료 제공 시스템(1000)의 구성 및 기능 중 적어도 하나는 앞서 살펴본 디지털 기반의 근골격계 재활 치료 제공 시스템의 일 구성 중 적어도 하나로 포함될 수 있음은 물론이다. 디지털 기반의 근골격계 재활 치료 제공 시스템은 이하에서 설명되는 기능 또는 구성들 중 적어도 하나를 포함하여 구성될 수 있다.
본 발명에서의 애플리케이션(100)은, 환자 단말기(10)에 설치되어 근골격계 질환을 갖고 있는 환자(U)의 운동 동작을 분석하고, 분석 결과에 기반한 피드백(Feedback) 정보를 제공하는 기능을 수행할 수 있다. 이에 본 발명에 따른 애플리케이션(100)은, “디지털 운동 치료 솔루션”, “디지털 재활 치료 솔루션”, “디지털 운동 평가 솔루션”, “비대면 운동 치료 솔루션”, “비대면 재활 치료 솔루션”, “비대면 운동 평가 솔루션”, “모바일 운동 치료 프로그램”, “모바일 재활 치료 프로그램”, “모바일 운동 평가 프로그램” 및 “모바일 정형외과 재활 보조원(Mobile Orthopedic Rehabilitation Assistant, MORA) 등으로 명명될 수 있다.
본 발명에 따른 애플리케이션(100)은, 환자 단말기(10)에 설치되어, 근골격계 질환의 환자(U)와 정형외과 의사(D)를 연결하여, 환자(U)의 재활을 도와주는 역할을 수행할 수 있다. 이하에서는 설명의 편의를 위하여 환자 단말기(10)에 설치되는 애플리케이션(100)을, “운동 치료 애플리케이션”으로 명명하여 설명하도록 한다.
한편, 본 발명에 따른 운동 치료 애플리케이션(100)은, 환자 단말기(10)에 설치될 수 있다. 본 발명에서 설명되는 환자 단말기(10)는, 환자(U)의 사용자 계정으로 로그인된 전자기기를 의미하는 것으로서, 예를 들어, 전자기기는 스마트폰(smart phone), 휴대폰, 태블릿 PC, 키오스크(KIOSK), 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), 및 PMP(Portable Multimedia Player) 중 적어도 하나를 포함할 수 있다.
여기에서, 환자(U)의 사용자 계정은, 본 발명에 따른 운동 치료 제공 시스템(1000)에 기 등록된 환자(U)의 계정을 의미할 수 있다. 이러한 환자(U)의 사용자 계정은, “환자 계정” 또는 “환자 ID(identification, identification number)”로 이해되어질 수 있다. 본 발명에서, “환자”, “환자 계정(또는 환자의 사용자 계정)”, “환자 단말기”를 혼용하여 사용할 수 있다.
한편, 의사(Doctor)는, 의사 단말기(20)를 통해 환자(U)에게 운동과 관련된 처방을 내릴 수 있다. 본 발명에서 의사 단말기(20)는, 의사(D)의 사용자 계정으로 로그인된 전자기기를 의미할 수 있다. 의사(D)의 사용자 계정은, 본 발명에 따른 운동 치료 제공 시스템(1000)에 기 등록된 의사(D)의 계정으로, “의사 계정” 또는 “의사 ID(identification, identification number)”로 이해되어질 수 있다. 본 발명에서, “의사”, “의사 계정(또는 의사의 사용자 계정)”, “의사 단말기”를 혼용하여 사용할 수 있다.
의사(D)는, 환자(U)의 사용자 정보가 포함된 사용자 DB(30)를 참조하여, 환자(U)에 대한 처방을 내릴 수 있다.
사용자 DB(30)에는, 환자 계정 각각에 매칭된 환자(U)의 사용자 정보(또는 환자 정보)가 존재할 수 있다. 환자(U)의 사용자 정보는, 운동 치료 제공에 필요한 다양한 정보를 포함할 수 있다. 예를 들어, 환자(U)의 사용자 정보는, 환자(U)의 질병 정보, 나이 정보, 성별 정보, 수술 이력 정보, 운동 플랜 정보, 운동 수행 정보, 신장 정보, 체중 정보 중 적어도 하나를 포함할 수 있다. 다만, 상술한 환자의 사용자 정보는 일 예시에 불과하며, 환자의 사용자 정보에는, 환자의 운동 치료 제공을 위하여 필요한 다양한 정보가 포함될 수 있음은 당연하다.
한편, 본 발명에서 설명되는 운동 치료 애플리케이션(100)은, 환자 단말기(10)에 설치되며, 의사(D) 처방에 따라 운동을 수행한 환자의 운동 동작을, 인공 지능 자세 추정 모델 및 인공지능 동작 분석 모델을 통해 분석하여 환자 단말기(10) 상에 제공할 수 있다.
그리고, 운동 치료 애플리케이션(100)은, 인공지능 서버(200)와 통신을 수행하도록 이루어질 수 있으며, 인공지능 서버(200)에 의해 분석된 환자의 운동 동작 분석 결과를, 환자 단말기(10) 상에 제공할 수 있다. 인공지능 서버(200)에 의해 분석된 환자의 운동 동작 분석 결과는, 동작 분석부(210)에 포함된 인공 지능 동작 분석부(212) 및 규칙기반 동작 분석부(213) 중 적어도 하나에 의하여 생성될 수 있다.
운동 치료 애플리케이션(100)은, 인공지능 서버(200)와 무선 통신을 통하여, 상호 데이터를 송수신하도록 이루어지며, 무선 통신방식에는 제한이 없다. 본 발명에 따른 운동 치료 애플리케이션(100)은 환자 단말기(10)에 구비된 통신 모듈을 이용하여, 인공지능 서버(200)와의 통신을 수행할 수 있다. 환자 단말기(10)에 구비된 통신 모듈을 다양할 수 있다.
예를 들어, 환자 단말기(10)에 구비된 통신 모듈은, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced), 5G(5th Generation Mobile Telecommunication ), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra-Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 인공지능 서버(200)와 통신을 수행하도록 이루어질 수 있다.
한편, 본 발명에서 설명되는 인공지능 서버(200)는, 운동 영상으로부터 환자(U)의 운동 동작 분석을 수행하는 클라우드 서버(Cloud Server)일 수 있다. 이러한 인공지능 서버(200)는 운동 치료 애플리케이션(100)으로부터 수신된 운동 영상을 이용하여, 환자(U)의 운동 동작에 대한 분석을 수행할 수 있다. 본 발명에서 설명되는 “인공지능 서버”는, “인공지능 운동 치료 서버”, “인공지능 재활 치료 서버”, “디지털 치료 서버” 등으로 명명될 수 있다. 이하에서는 설명의 편의를 위하여, “인공지능 서버”로 명명하여 설명하도록 한다.
한편, 본 발명에 따른 운동 치료 애플리케이션(100) 및 인공지능 서버(200) 중 적어도 하나는, 도 17에 도시된 것과 같이, 관절 포인트와 관련된 학습 데이터를 이용하여 학습된 자세 추정 모델(52, 도 11의 인공 지능 자세 추정부(121a)에 대응)을 통해 운동 영상(300)으로부터, 추출된 환자(U)의 복수의 관절 포인트에 대응되는 키포인트(P1, P2) 간의 상대적인 위치 관계를 분석할 수 있다. 키포인트 간의 상대적인 위치 분석은, 동작 분석부(120, 210)에 의하여 이루어질 수 있다. 특히, 동작 분석부의 인공지능 동작 분석부(122, 212) 및 규칙기반 동작 분석부(123, 213) 중 하나에 의하여, 운동 동작 분석이 이루어질 수 있다. 인공지능 동작 분석부(122, 212) 또는 규칙기반 동작분석부(123, 213) 중 하나는 인공 지능 동작 분석 모델이라고 명명될 수 있다.
여기에서, “관절 포인트”는, 환자(U)의 복수의 관절(또는 관절을 포함하는 환자(U) 신체의 일부)를 의미할 수 있다.
그리고, “키포인트”는, 운동 영상(300)에서 피사체(U)의 복수의 관절 포인트 각각에 대응되는 영역을 의미할 수 있다.
이에, 본 발명에서는, “관절 포인트”와 “키포인트”를 혼용하여 사용할 수 있으며, 관절 포인트와 키포인트 각각에, 동일한 도면부호 “P1, P2”를 부여하여 설명할 수 있다.
운동 치료 제공 시스템(1000)은, 상기 자세 추정 모델(52)을 이용하여, 환자의 운동 영상으로부터 관절 포인트에 대응하는 키포인트(P1, P2)를 추출하고, 추출된 키포인트(P1, P2) 간의 위치 관계에 대한 분석에 기반하여, 환자(U)의 운동 동작을 분석할 수 있다. 본 발명에서는, 인공 지능 자세 추정 모델(52)을 통해 추출된 키포인트를 이용하여, 운동 영상으로부터 환자의 운동 동작을 분석하는 일련의 프로세스를, “운동 동작 분석 프로세스”로 명명할 수 있다.
이러한 운동 동작 분석 프로세스는, 운동 치료 애플리케이션(100) 및 인공지능 서버(200) 중 적어도 하나에 의해 수행될 수 있다. 구체적으로, 운동 동작 분석 프로세스는, i) 운동 치료 애플리케이션(100)에 의해 이루어지는 제1 데이터 처리 방법, ii) 인공지능 서버(200)에 의해 이루어지는 제2 데이터 처리 방법, iii) 운동 치료 애플리케이션(100) 및 인공지능 서버(200) 모두에 의해 이루어지는 제3 데이터 처리 방법 중 적어도 하나를 포함할 수 있다.
여기에서, 제3 데이터 처리 방법은, 운동 치료 애플리케이션(100)과 인공지능 서버(200) 각각에서, 데이터 처리가 순차적으로 이루어지거나 동시에 이루어질 수 있다.
이에, 본 발명에서는, 운동 동작 분석 프로세스가 이루어지는 물리적인 공간 및 주체를 별도로 구분하지 않고, 운동 치료 제공 시스템(1000)에서 이루어지는 것으로 설명할 수 있다.
한편, 도 17에 도시된 것과 같이, 운동 동작 분석 프로세스는, 인공 지능 자세 추정 모델(52)에서 추출된 키포인트를 이용하여 이루어질 수 있다. 인공 지능 자세 추정 모델(52)은, 관절 포인트에 특화된 학습 데이터에 대한 학습을 통해 운동 영상으로부터 환자의 관절 포인트를 특정 또는 추정하고, 이에 대응되는 키포인트를 추출할 수 있다.
본 발명에서, 인공 지능 자세 추정 모델(52)이 학습을 수행하는 학습 데이터는, 데이터베이스(40)에 저장되어 존재할 수 있으며, 이러한 데이터베이스(40)는, “학습 데이터 DB”로도 명명될 수 있다. 학습 데이터에 대한 자세한 내용은 후술하도록 한다.
도 17에 도시된 것과 같이, 자세 추정 서버(50)는, 학습부(51) 및 자세 추정 모델(52) 중 적어도 하나를 포함할 수 있다. 자세 추정 서버(50)는, 본 발명에 따른 운동 치료 제공 시스템(1000) 내부에 구비되거나, 외부 서버로 이루어질 수 있다. 즉, 본 발명에 따른 자세 추정 서버(50)는, 자세 추정에 대한 학습을 수행하는 기능을 수행하는 것으로, 물리적인 공간에 대한 제약은 없는 것으로 이해될 수 있다. 자세 추정 서버(50)에 대한 자세한 내용은, 학습 데이터와 함께 후술하도록 한다.
한편, 도 11에 도시된 것과 같이, 본 발명에 따른 운동 치료 애플리케이션(100)은, 영상 수신부(110), 동작 분석부(120), 영상 처리부(130) 및 제어부(140) 중 적어도 하나의 구성을 포함할 수 있다.
운동 치료 애플리케이션(100)의 영상 수신부(110)는, 애플리케이션(100)이 설치된 환자 단말기(10)로부터 환자의 운동 모습이 포함된 운동 영상을 수신하도록 이루어질 수 있다. 이러한 운동 영상은 환자 단말기(10)에 설치된 카메라에 의해 촬영될 수 있다. 본 발명에서, “환자 단말기(10)로부터 운동 영상을 수신한다”는 것은, 운동 치료 애플리케이션(100)의 영상 수신부(110)가 환자 단말기(10)의 메모리(Memory)에 기록되는 운동 영상에 접근(access)하는 것으로 이해될 수 있다.
운동 치료 애플리케이션(100)의 동작 분석부(120)는, 환자 단말기(10)로부터 수신된 운동 영상에 근거하여, 환자의 운동 동작(또는 운동 자세) 분석을 수행할 수 있다. 이를 위해, 운동 치료 애플리케이션(100)의 동작 분석부(120)는, 키포인트 추출부(121), 인공지능 동작분석부(122) 및 규칙기반 동작분석부(123) 중 적어도 하나의 구성을 포함하여 이루어질 수 있다. 인공지능 동작분석부(122) 또는 규칙기반 동작분석부(123)는 “인공 지능 동작 분석 모델”로 명명될 수 있다.
키포인트 추출부(121)는, 운동 영상으로부터, x축, y축 좌표 정보가 쌍을 이룬 형태로 이루어지는 키포인트(P1, P2)를 추출할 수 있다. 이 경우, 키포인트 추출부(121)는, 인공지능 모델을 이용하여, 영상으로부터 키포인트를 추출할 수 있다.
본 발명에서, 인공지능 모델을 이용한 키포인트 추출은, 키포인트 추출부(121)에 포함된 인공지능 자세 추정부(121a)에 의해 이루어지는 것으로 설명할 수 있다.
인공지능 자세 추정부(121a)는, “인공 지능 자세 추정 모델”으로 명명될 수 있으며, 영상으로부터 객체 탐지(Object Detection)를 위하여 학습된 인공지능 모델을 이용하여, 운동 영상으로부터 환자의 관절 포인트에 대응되는 키포인트를 추출할 수 있다. 인공 지능 자세 추정 모델은, 객체 탐지를 기반으로하는 모델일 수 있다. 예를 들어, 인공지능 자세 추정부(121a)는 복수의 바운딩 박스(Bounding Box)를 앙상블(ensemble)하는 객체 탐지 인공지능 모델을 이용하여 운동 영상으로부터 키포인트를 추출할 수 있다. 한편, 인공지능 자세 추정부(121a)는, 다양한 객체 탐지 인공지능 모델을 이용할 수 있으며, 상술한 객체 탐지 인공지능 모델은 일 예시에 해당한다.
나아가, 본 발명에서, 인공지능 동작분석부(122) 및 규칙기반 동작 분석부(123)는, 환자 단말기로부터 수신된 운동 영상 및 키포인트 추출부(120)에서 추출된 키포인트 중 적어도 하나를 이용하여, 환자의 운동 동작(또는 운동 자세)에 대한 분석을 수행할 수 있다.
보다 구체적으로, 인공지능 동작분석부(122) 및 규칙기반 동작분석부(123)는, i) 운동 영상에 기반하여 환자의 운동 동작에 대한 분석을 수행하거나, ii) 키포인트에 기반하여 환자의 운동 동작에 대한 분석을 수행하거나, iii) 운동 영상 및 키포인트를 모두 이용하여 환자의 운동 동작에 대한 분석을 수행할 수 있다.
이하에서는, 설명의 편의를 위하여, 키포인트에 기반하여 환자의 운동 동작 분석을 수행하는 방법을 중점적으로 설명하도록 한다. 다만, 인공지능 동작분석부(122) 및 규칙기반 동작분석부(123)는, 키포인트가 아닌 운동 영상을 입력 데이터(Input data)로 입력 받아, 운동 영상으로부터 바로 환자의 운동 동작 분석을 수행할 수 있음은 당연하다. 한편, 인공지능 동작 분석부(122) 또는 규칙기반 동작 분석부(123)는 앞서 언급된 “인공 지능 동작 분석 모델”로도 표현될 수 있다.
한편, 인공지능 동작분석부(122)는, 키포인트로부터 환자의 운동 동작(또는 운동 자세) 분석을 위해 학습된 인공 지능 모델(또는 자세 추정 모델, 도17에서 도면부호 “52” 참조)에 기반하여, 환자가 수행하는 운동의 운동 종류 분류(또는 운동 종류 특정), 운동 동작의 정확도 판단을 수행할 수 있다.
그리고, 규칙 기반 동작분석부(123)는, 환자의 운동 동작 분석을 위하여 정의된 규칙 정보에 기반하여, 환자가 수행하는 운동의 운동 종류 분류(또는 운동 종류 특정), 운동 동작의 정확도 판단을 수행할 수 있다.
여기에서, “규칙 정보”는, 운동 동작 분석에 이용되는 다양한 규칙을 포함하는 정보로, 예를 들어, 운동 동작(또는 운동 종류)별 기준 관절 가동 범위 정보를 포함할 수 있다. 이러한 규칙 정보는, “참조(Reference) 정보”, “기준 정보” 등의 용어와 혼용되어 사용될 수 있다.
나아가, 규칙 정보는, 관절의 가동 범위 외에도, 관절의 가동 거리, 관절의 움직임 속도(또는 가속도), 분석 대상 운동 영상에 포함된 피사체(환자에 대응)의 신체 밸런스, 신체 균형, 신체 정렬 상태(EX: 다리의 축 정렬 상태, 척추 정렬상태 등) 중 적어도 하나에 대한 분석을 수행하기 위한 다양한 규칙 정보를 포함할 수 있다. 규칙 기반 동작분석부(123)는 이러한 규칙 정보에 기반하여, 환자의 분석 대상 운동 영상으로부터 다양한 분석 결과를 도출할 수 있다.
본 발명에서는, 인공지능 동작분석부(122) 및 규칙 기반 동작분석부(123) 중 적어도 하나에 의해, 운동 영상으로부터 환자의 운동 동작에 대한 분석을 수행할 수 있다.
구체적으로, 본 발명에서는, i) 인공지능 동작분석부(122)에 의해 환자의 운동 동작에 대한 분석 수행이 이루어지거나(“제1 분석 수행 방식”), ii) 규칙 기반 동작분석부(123)에 의해 환자의 운동 동작에 대한 분석 수행이 이루어지거나(“제2 분석 수행 방식”), iii) 인공지능 동작분석부(122) 및 규칙 기반 동작분석부(123) 모두에 의해 환자의 운동 동작에 대한 분석이 이루어질 수 있다(“제3 분석 수행 방식”).
여기에서, 제3 분석 수행 방식은, 인공지능 동작분석부(122) 및 규칙 기반 동작분석부(123) 각각에서, 데이터 처리가 순차적으로 이루어지거나 동시에 이루어질 수 있다.
한편, 운동 치료 애플리케이션(100)의 영상 처리부(130)는, 운동 영상(300)에 포함된 환자의 피사체(U)에, 추출된 키포인트(P1, P2)에 해당하는 그래픽 객체를 오버랩(overlap) 또는 렌더링(rendering)하도록 이루어질 수 있다. 이를 통해, 환자는, 자신의 운동 동작에 대해 분석이 이루어지는 관절 포인트를 직관적으로 인지할 수 있다.
운동 치료 애플리케이션(100)의 제어부(140)는, 운동 치료 애플리케이션(100)에 포함된 구성들에 대한 전반적인 제어를 수행하도록 이루어질 수 있다. 운동 치료 애플리케이션(100)의 제어부(140)는, 환자 단말기(10)의 CPU(Central Processing Unit)를 이용하여 운동 치료 애플리케이션(100)의 구성들을 제어할 수 있으며, 나아가, 환자 단말기(10)에 구비된 구성(ex: 통신 모듈, 카메라 모듈, 센싱 모듈, 출력 모듈(ex: 디스플레이, 스피커), 입력 모듈(ex: 터치 스크린, 마이크)에 대한 제어를 수행할 수 있다.
한편, 도 11에 도시된 것과 같이, 인공지능 서버(200)는, 인공 지능 자세 추정 모델을 이용하여 환자의 운동 자세를 수행하도록 이루어진 클라우드 서버로, 동작 분석부(210) 및 제어부(220) 중 적어도 하나의 구성을 포함하여 이루어질 수 있다.
인공지능 서버(200)의 동작 분석부(210)는, 환자 단말기(10)로부터 수신된 운동 영상에 근거하여, 환자의 운동 동작(또는 운동 자세) 분석을 수행할 수 있다.
인공지능 서버(200)의 동작 분석부(210)는, 운동 치료 애플리케이션(100)으로부터 환자의 운동 영상을 수신할 수 있으며, 운동 영상 수신은 인공지능 서버(200)의 통신부(또는 통신 모듈)에 의해 이루어 질 수 있다.
인공지능 서버(200)의 동작 분석부(210)는, 키포인트 추출부(211), 인공지능 동작분석부(212) 및 규칙기반 동작분석부(213) 중 적어도 하나의 구성을 포함하여 이루어질 수 있다. 인공지능 동작분석부(212) 또는 규칙기반 동작분석부(213)는 “인공 지능 동작 분석 모델”로 명명될 수 있다.
인공지능 서버(200)에 포함된 키포인트 추출부(211), 인공지능 동작분석부(212) 및 규칙기반 동작분석부(213) 각각은, 앞서 설명된 운동 치료 애플리케이션(100)의 키포인트 추출부(121), 인공지능 동작분석부(122) 및 규칙기반 동작분석부(123)와 동일한 기능을 수행할 수 있다. 이에, 구체적인 설명은 생략하도록 한다.
인공지능 서버(200)의 제어부(220)는, 인공지능 서버(200)에 포함된 구성들에 대한 전반적인 제어를 수행하도록 이루어질 수 있다.
이하에서는, 본 발명에 따른 운동 치료 제공 시스템(1000)의 상기 구성을 이용하여, 운동 영상으로부터 환자(U)의 운동 동작을 분석하여 운동 동작 분석 결과를 제공하는 운동 동작 분석 프로세스에 대해 설명하도록 한다.
도 12에 도시된 것과 같이, 의사 단말기(20)에서는 환자(U)에 대한 운동 처방이 이루어질 수 있다(S210), 운동 치료 제공 시스템(1000)은, 의사 단말기(20)에서 환자에 대한 운동 처방이 이루어진 것에 근거하여, 의사 단말기(20)로부터 상기 운동 처방에 대한 처방 정보를 수신할 수 있다.
운동 치료 제공 시스템(1000)은, 의사 단말기(20)로부터 처방 정보가 수신되는 것에 근거하여, 환자 계정에, 처방 정보에 따른 적어도 하나의 처방 운동을 포함하는 운동 플랜을 할당할 수 있다. 할당된 운동 플랜은 환자 단말기(10)로 전송할 수 있다(S220).
운동 치료 제공 시스템(1000)은, 환자 단말기(10), 의사 단말기(20), 사용자 DB(30), 데이터베이스(40) 중 적어도 하나와 통신을 수행하는 통신부를 포함할 수 있다. 예를 들어, 통신부는 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced), 5G(5th Generation Mobile Telecommunication ), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra-Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 통신을 수행할 수 있다.
한편, 환자 단말기(10)에서는, 운동 플랜에 포함된 처방 운동을 수행하는 환자의 운동 영상을 촬영할 수 있다(S230). 운동 치료 애플리케이션(100)은, 환자 단말기(10)에 구비된 카메라를 활성화시켜, 운동 영상이 촬영되도록 제어할 수 있다.
환자 단말기(10)에서 촬영된 운동 영상은, 운동 치료 제공 시스템(1000)에 의해, 환자의 운동 동작 분석의 분석 대상 데이터(또는 분석 대상 운동 영상)으로 이용될 수 있다.
앞서 설명한 것과 같이, 운동 동작 분석 프로세스는, 환자 단말기(10)에 설치된 운동 치료 애플리케이션(100) 및 인공지능 서버(200) 중 적어도 일부에서 이루어질 수 있으며, 본 발명에서는 운동 동작 분석 프로세스가 이루어지는 물리적인 공간 및 주체를 별도로 구분하지 않고, 운동 치료 제공 시스템(1000)에서 이루어지는 것으로 설명할 수 있다.
한편, 운동 치료 제공 시스템(1000)은, 운동 영상에서, 복수의 관절 포인트에 대응하는 키포인트(P1, P2)를 추출할 수 있다. 키포인트(P1, P2) 추출은, 운동 치료 애플리케이션(100)에 포함된 키포인트 추출부(121) 및 인공지능 서버(200)에 포함된 키포인트 추출부(221) 중 적어도 일부에 의해 수행될 수 있다.
운동 치료 제공 시스템(1000)은, 추출된 키포인트(P1, P2)들 간의 상대적인 위치 관계에 대한 분석을 수할 수 있다(S250). 그리고, 운동 치료 제공 시스템(1000)은, 키포인트(P1, P2)간의 위치 관계에 대한 분석에 기초하여, 환자(U)의 운동 동작을 분석할 수 있다(S260). 이러한 운동 동작 분석은, 애플리케이션(100)의 동작 분석부(120) 및 인공지능 서버(200)의 동작 분석부(210) 중 적어도 일부에 의해 이루어질 수 있다.
나아가, 운동 치료 제공 시스템(1000)은, 환자(U)의 운동 동작 분석 결과를, 환자 단말기(10)에는 피드백(Feedback) 정보로서 제공하고, 의사 단말기(20)에는 모니터링 정보로서 제공할 수 있다(S270).
이와 같이, 운동 치료 제공 시스템(1000)은, 운동 동작 분석 프로세스에 대한 전반적인 제어를 수행할 수 있으며, 이를, 본 발명에서는 운동 치료 제공 시스템(1000)의 제어부에 의해 이루어지는 것으로 이해할 수 있다. 즉, 운동 치료 제공 시스템(1000)의 제어부는, 운동 치료 애플리케이션(100)의 제어부(140) 및 인공지능 서버(200)의 제어부(220)를 포함하는 개념으로, 운동 치료 제공 시스템(1000)에 대한 전반적인 제어를 수행할 수 있다.
이하에서는, 운동 치료 제공 시스템(1000)에 의해 이루어지는 운동 동작 분석 프로세스에 대해 보다 구체적으로 설명하도록 한다.
본 발명에서는, 의사(doctor) 단말기로부터, 환자(patient)에 대한 운동과 관련된 처방 정보를 수신하는 과정이 진행될 수 있다(S310, 도3 참조).
도 14a 및 도 14b에 도시된 것과 같이, 운동 치료 제공 시스템(1000)은, 의사 계정으로 로그인된 의사 단말기(20) 상에, 환자의 운동과 관련된 처방 기능을 포함하는 운동 처방 페이지(또는 운동 배정 페이지)를 제공할 수 있다. 본 발명에서, “운동 처방”은, “운동 배정”과 혼용하여 사용될 수 있다.
운동 치료 제공 시스템(1000)은, 의사 계정에 매칭된 환자 계정 중 특정 환자(U) 계정에 대한 처방이 이루어질 수 있도록, 환자 계정 각각의 운동 처방 페이지를, 의사 단말기(20) 상에 제공할 수 있다.
예를 들어, 본 발명에서, 특정 의사(D) 계정에 제1 환자 계정(ex: “김우영” 환자 계정) 및 제2 환자 계정(ex: “김소희” 환자 계정)이 매칭되어 있다고 가정하자. 운동 치료 제공 시스템(1000)은, 의사 단말기(20)로부터 제1 환자 계정(ex: “김우영” 환자 계정)의 운동 처방 요청을 수신하는 것에 근거하여, 의사 단말기(20) 상에, 제1 환자 계정에 대응하는 운동 처방 페이지를 제공할 수 있다.
운동 치료 제공 시스템(1000)은, 특정 환자에 대응하는 운동 처방 페이지에서 이루어지는 사용자 선택(또는 사용자 입력)에 기반하여, 의사 단말기(20)로부터, 특정 환자에 대한 처방 정보를 수신할 수 있다. 처방 정보에는, 환자에게 운동을 처방하기 위한 다양한 정보가 포함될 수 있다. 예를 들어, 처방 정보에는, i) 운동 플랜에 포함되어야 하는 적어도 하나의 운동 동작(ex: “벽집고 종아리 스트레칭”, “앉아서 공굴려 발바닥 마사지”)에 대한 정보, ii) 운동 동작의 난이도 정보, iii) 운동 동작 유지 시간 정보, iv) 운동 동작 수행 횟수 정보, v) 운동 동작 수행 일정 정보, vi) 운동 동작에 매칭된 신체 정보(ex: “발목”, “무릎”), vii) 주의 사항 정보(ex: “운동이 끝나면 얼음찜질을 해주세요”) 중 적어도 하나를 포함할 수 있다(도 14a 및 도 14b의 (a) 참조).
운동 치료 제공 시스템(1000)은, 특정 환자에 대응하는 운동 처방 페이지에서, 특정 환자에 대한 처방 정보가 입력(또는 선택)되는 것에 근거하여, 의사 단말기(20)로부터 특정 환자(U)에 대한 처방 정보를 수신할 수 있다. 이 경우, 의사 단말기(20) 상에는, 특정 환자에 대한 처방이 이루어졌음을 안내하는 안내 정보가 출력될 수 있다(도 14의 (b) 참조).
한편, 본 발명에서는 상기 처방 정보에 근거하여, 환자의 계정에, 적어도 하나의 처방 운동을 포함하는 운동 플랜을 할당하는 과정이 진행될 수 있다(S320, 도 13 참조).
도 15의 (a)에 도시된 것과 같이, 운동 치료 제공 시스템(1000)은, 특정 환자(U)에 대한 처방 정보에 근거하여, 특정 환자 계정에 적어도 하나의 처방 운동을 포함하는 운동 플랜(E)을 할당하고, 할당된 운동 플랜(ex:”대퇴 슬개골 관절염 디지털 치료제”, E)을 특정 환자 계정으로 로그인된 환자 단말기(10) 상에 제공할 수 있다.
여기에서, “처방 운동”은, 운동 치료 제공 시스템(1000)에 포함된 복수의 운동 동작(또는 운동 종류) 중 처방 정보에 근거하여 특정되어 환자 계정에 할당되는 운동 동작으로 이해될 수 있다. 이에, 본 발명에서, “처방 운동”은, “운동 동작”과 혼용하여 사용될 수 있다. 그리고, 본 발명에서, “운동 플랜”은, “디지털 치료제”와 혼용되어 사용될 수 있다.
운동 치료 제공 시스템(1000)은, 특정 환자 계정으로 로그인된 환자 단말기(10)로부터, 특정 환자 계정에 할당된 운동 플랜 제공 요청을 수신하는 것에 근거하여, 환자가 운동 플랜에 포함된 처방 운동을 수행할 수 있도록, 운동 가이드 영상 제공 기능에 연계된 운동 페이지를, 환자 단말기(10) 상에 제공할 수 있다.
도 1 에 도시된 것과 같이, 운동 페이지는 운동 리스트(L)를 포함할 수 있으며, 운동 리스트(L)는, 특정 계정에 할당된 운동 플랜에 포함된 복수의 처방 운동(ex “하지 직거상”, “서서 무릎 굽힙”) 각각의 운동 가이드 영상에 대응하는 항목(V1 내지 V6)을 포함할 수 있다.
운동 치료 제공 시스템(1000)은, 운동 플랜에, 운동 세트(Set)가 복수인 특정 처방 운동(ex: “하지 직거상”)이 포함되어 있는 경우, 상기 세트수(ex: “3”) 만큼, 특정 처방 운동의 운동 가이드 영상에 대응하는 항목(V1 내지 V3)이, 운동 리스트(L)에 포함되도록 제어할 수 있다.
한편, 운동 치료 제공 시스템(1000)은, 환자 단말기(10)로부터, 운동 시작 요청을 수신하는 것에 근거하여, 운동 리스트(L)에 포함된 항목(V1 내지 V6)의 순서에 근거하여, 복수의 운동 가이드 영상이, 환자 단말기(10) 상에서 순차적으로 재생되도록 제어할 수 있다.
한편, 본 발명에서는 환자 단말기로부터, 처방 운동에 따른 운동을 촬영한 운동 영상을 수신하는 과정이 진행될 수 있다(S330, 도 13 참조).
도 16에 도시된 것과 같이, 운동 치료 제공 운동 치료 제공 시스템(1000)은, 환자 단말기(10)상에서, 운동 가이드 영상이 재생되는 것에 근거하여, 환자 단말기(10)에 구비된 카메라가 환자(U)의 운동 영상을 촬영하도록 제어할 수 있다.
환자 단말기(10)에 설치된 운동 치료 애플리케이션(100)은, 환자 단말기(10)에 구비된 카메라의 활성화 상태를, 비활성화 상태에서 활성화 상태로 제어하여, 카메라가 운동 가이드 영상에 따른 운동 동작을 수행하는 환자(U)의 운동 영상을 촬영하도록 제어할 수 있다.
도 16의 (a)에 도시된 것과 같이, 운동 치료 애플리케이션(100)은, 카메라를 통해 촬영되는 운동 영상으로부터 환자에 대응하는 피사체(U)를 탐지하기 위하여, 환자의 신체 전체가 운동 영상(또는 환자 단말기의 디스플레이)의 특정 영역에 내에 모두 포함되도록, 안내 멘트(ex: “화면 안에 서주세요”)를 환자 단말기(10)상에 출력할 수 있다.
운동 치료 애플리케이션(100)은, 특정 영역 내에 환자 신체 전체에 대응하는 피사체(U)가 포함되는 것에 근거하여, 객체 탐지(Object Detection) 알고리즘을 이용하여 영상(300)으로부터 피사체(U)를 탐지할 수 있다.
운동 치료 애플리케이션(100)은, 다양한 객체 탐지 알고리즘을 이용할 수 있다. 예를 들어, 운동 치료 애플리케이션(100)은, 복수의 바운딩 박스(Bounding Box)를 앙상블(ensemble)하는 알고리즘(Weighted Box Fusion, WBF)을 이용할 수 있다. 다만, 운동 치료 애플리케이션(100)은 상술한 객체 탐지 알고리즘에 한정되지 않고, 학습 대상 운동 영상(300)으로부터 피사체(U)에 대응하는 객체를 탐지할 수 있는 다양한 객체 탐지 알고리즘을 이용할 수 있음은 당연하다.
나아가, 운동 치료 애플리케이션(100)은, 특정 영역 내에서, 환자 신체 전체에 대응하는 피사체(U)가 탐지되는 것에 근거하여, 카메라를 통해, 처방 운동에 따라 운동 동작을 취하는 환자의 운동 영상을 촬영할 수 있다.
이 경우, 운동 치료 애플리케이션(100)은, 환자에게 할당된 처방 운동에 대응되는 운동 가이드 영상이 재생되는 상태에서, 처방 운동을 수행하는 환자를 촬영할 수 있다.
그리고, 운동 치료 애플리케이션(100)은, 환자 단말기(10)의 카메라에 의해 촬영된 운동 영상을, 운동 플랜(또는 운동 플랜에 포함된 복수의 처방 운동 각각)에 매칭하여, 환자 단말기(10)의 메모리에 기록되도록 제어할 수 있다.
한편, 본 발명에서는 운동 영상으로부터, 기 설정된 복수의 관절 포인트에 각각 대응되는 키포인트를 추출하는 과정이 진행될 수 있다(S340, 도 13 참조).
본 발명에서는, 운동 치료 애플리케이션(100) 및 인공지능 서버(200) 중 적어도 일부에 의해, 운동 영상으로부터 기 설정된 관절 포인트(P1, P2)에 대응하는 키포인트(P1, P2)를 추출할 수 있다. 앞서 설명한 것과 같이, 키포인트(P1, P2) 추출은, i) 운동 치료 애플리케이션(100)에 의해 이루어지거나, ii) 인공지능 서버(200)에 의해 이루어 지거나, iii) 운동 치료 애플리케이션(100) 및 인공지능 서버(200) 모두에 의해 이루어질 수 있다. 이하에서는 키포인트(P1, P2) 추출을 수행하는 주체를 별도로 구분하지 않고, 운동 치료 제공 시스템(1000)에 의해 이루어지는 것으로 설명하도록 한다.
운동 치료 제공 시스템(1000)은, 운동 영상(300)에서, 환자의 복수의 관절 포인트 중, 기 정의(또는 기 설정된) 관절 포인트에 대응하는 영역을, 키포인트(P1, P2)로 추출할 수 있다.
여기에서, “관절 포인트”는, 환자(U)의 복수의 관절(또는 관절을 포함하는 환자(U) 신체의 일부)를 의미할 수 있다.
그리고, “키포인트”는, 운동 영상(300)에서 피사체(U)의 복수의 관절 포인트 각각에 대응되는 영역을 의미할 수 있다.
본 발명에서는, “관절 포인트”와 “키포인트”를 혼용하여 사용할 수 있으며, 관절 포인트와 키포인트 각각에, 동일한 도면부호 “P1, P2”를 부여하여 설명할 수 있다.
한편, 인체는 200여개의 뼈로 이루어져 있으며, 관절은, 뼈와 뼈가 연결되는 부분으로, 인체는 복수의 관절로 구성될 수 있다.
본 발명에서는, 인체를 이루는 복수의 관절 포인트 중 키포인트 대상이 되는 관절 포인트가 미리 지정되어, 관절 포인트 정의 정보(500)로서 존재할 수 있다. 예를 들어, 관절 포인트 정의 정보(500)에는, 머리 중심(510)에 대응되는 제1 관절 포인트(P1), 목 중심(520)에 대응되는 제2 관절 포인트(P2)가 미리 정의되어 존재할 수 있다(도 18d 참조).
운동 치료 제공 시스템(1000)은, 기 설정된 관절 포인트의 위치 정보를 포함하는 학습 데이터 세트(Set)를 이용하여 학습된 자세 추정 모델(52)에 기반하여, 운동 영상(300)으로부터, 관절 포인트에 대응하는 키포인트(P1, P2)를 추출할 수 있다.
이 경우, 운동 치료 제공 시스템(1000)은, 자세 추정 모델에 의해 기 설정된 관절 포인트 각각의 위치 정보가, x축, y축 좌표 정보가 쌍을 이룬 형태로 추출되는 것에 근거하여, 운동 영상(300)에서 키포인트(P1, P2)의 위치를 특정할 수 있다.
한편, 운동 치료 제공 시스템(1000)은, 운동 영상(300)에서의 관절 포인트의 가시(visible) 여부에 근거하여, 관절 포인트에 대응하는 키포인트(P1, P2)를 제1 키포인트 추출 프로세스 및 제2 키포인트 추출 프로세스 중 어느 하나의 프로세스에 따라 추출(또는 특정)할 수 있다.
본 발명에서, 관절 포인트의 가시 여부는, 운동 영상(300)에서 관절 포인트가 보이는지 여부를 의미하는 것으로 이해될 수 있다.
운동 치료 제공 시스템(1000)은, 운동 영상(300)에, 관절 포인트에 대응하는 피사체(U)의 신체 일부가 포함되어 있으면, 운동 영상(300) 관절 포인트가 보이는 것으로 판단할 수 있다.
운동 치료 제공 시스템(1000)은, 운동 영상(300)에서 특정 관절 포인트가 보이는 경우, 제1 키포인트 추출 프로세스에 따라, 특정 관절 포인트에 대응하는 키포인트를 추출할 수 있다.
구체적으로, 운동 치료 제공 시스템(1000)은, 기 설정된 복수의 관절 포인트 중, 운동 영상(300)에서 가시(visible) 가능한 피사체(U)의 가시 관절 포인트를 특정할 수 있다. 예를 들어, 운동 치료 제공 시스템(1000)은, 기 설정된 복수의 관절 포인트 중, 제1 관절 포인트 및 제2 관절 포인트가 운동 영상에서 가시 가능한 경우, 운동 치료 제공 시스템(1000)은, 제1 관절 포인트 및 제2 관절 포인트를, 가시 관절 포인트로 특정할 수 있다.
그리고, 운동 치료 제공 시스템(1000)은, 특정된 가시 관절 포인트를 키포인트로서 추출할 수 있다.
이 경우, 운동 치료 제공 시스템(1000)은, 운동 영상 내에서 가시 관절 포인트에 대응하는 영역(또는 픽셀, pixel)의 위치 정보를 추출하여, 가시 관절 포인트에 대응하는 키포인트를 추출할 수 있다. 예를 들어, 운동 치료 제공 시스템(1000)은, 객체 탐지 알고리즘을 이용하여, 가시 관절 포인트의 위치 정보를 추출하여, 가시 관절 포인트에 대응하는 키포인트를 추출할 수 있다.
본 발명에서는 제1 키포인트 추출 프로세스에 따라 추출된 가시 관절 포인트의 위치 정보를, “제1 타입의 정보(제1 타입의 위치 정보)” 또는 “실체 위치 정보”로 명명하여 설명할 수 있다.
반면에, 운동 치료 제공 시스템(1000)은 운동 영상(300)에 관절 포인트에 대응하는 피사체(U)의 신체 일부가 포함되어 있지 않으면, 운동 영상(300)에서 관절 포인트가 보이지 않는 것으로 판단할 수 있다.
운동 치료 제공 시스템(1000)은, 운동 영상(300)에서 특정 관절 포인트가 보이지 않는 경우, 제2 키포인트 추출 프로세스에 따라, 자세 추정 모델(52)을 이용하여 상기 특정 관절 포인트에 대응하는 키포인트를 예측하여 추출할 수 있다.
운동 치료 제공 시스템(1000)은, 자세 추정 모델(52)에 기반하여, 기 설정된 복수의 관절 포인트 중, 운동 영상(300)에서 가시(visible) 불가능한 피사체(U)의 비가시(invisible) 관절 포인트의 위치 정보를, 예측할 수 있다. 이 경우, 자세 추정 모델(52)은, 가시 관절 포인트의 위치 정보에 근거하여, 비가시 관절 포인트의 위치 정보를 예측할 수 있다.
본 발명에서는 제2 키포인트 특정 프로세스에 따라 추출된 관절 포인트의 위치 정보를, “제2 타입의 정보(제2 타입의 위치 정보)” 또는 “예측 위치 정보”로 명명하여 설명할 수 있다.
운동 치료 제공 시스템(1000)은, 비가시 관절 포인트의 예측 위치 정보를, 비가시 관절 포인트에 대응하는 키포인트에 매칭함으로써, 비가시 관절 포인트에 대응하는 키포인트를 추출(또는 특정)할 수 있다.
이와 같이, 본 발명에서는, 운동 영상(300)에서, 기 정의된 관절 포인트의 가시(visible) 여부에 따라, 관절 포인트의 위치 정보에 대한 학습을 수행한 자세 추정 모델에 기반하여, 서로 다른 프로세스에 따라 관절 포인트에 대응하는 키포인트(P1, P2)를 추출(또는 특정)할 수 있다. 따라서, 본 발명에서는, 운동 영상에서 보이지 않는 비가시 관절 포인트에 대한 분석도 가능하다.
한편, 운동 치료 제공 시스템(1000)은, 환자 단말기(10)에서 운동 영상이 촬영되는 것에 연동하여, 실시간으로 운동 영상으로부터 키포인트(P1, P2)를 추출할 수 있다. 그리고, 운동 치료 제공 시스템(1000)은, 환자가, 운동 동작에 대해 분석이 이루어지는 관절 포인트를 직관적으로 인지할 수 있도록, 추출된 키포인트(P1, P2)를 실시간으로 환자 단말기(10) 상에 제공할 수 있다.
구체적으로, 도 16의 (b) 및 (c)에 도시된 것과 같이, 운동 치료 제공 시스템(1000)은, 환자 단말기(10)에서 운동 영상(300)이 촬영되는 것에 연동하여, 환자 단말기(10) 상에 운동 영상(300)을 실시간으로 출력할 수 있다. 그리고, 운동 치료 제공 시스템(1000)은, 기 설정된 관절 포인트에 대응하는 피사체(U)의 일 영역에, 추출된 키포인트(P1, P2)에 해당하는 그래픽 객체를 오버랩(overlap)하여 제공할 수 있다.
운동 영상(300)에 키포인트 그래픽 객체를 오버랩하여 제공하는 데이터 처리는, 운동 치료 애플리케이션(100)의 영상 처리부(130)에 의해 이루어질 수 있다. 영상 처리부(130)는, 추출된 키포인트(P1, P2)에 해당하는 그래픽 객체 각각을, 키포인트(P1, P2)에 매칭된 관절 포인트(P1, P2)에 대응하는 피사체(U)의 영역 상에 렌더링(rendering)할 수 있다.
나아가, 영상 처리부(130)는, 환자가 운동 동작을 수행함에 따라 기 설정된 관절 포인트의 위치가 변경되는 경우, 변경된 관절 포인트에 대응하는 피사체(U)의 영역 상에, 키포인트 그래픽 객체를 오버랩하여 제공할 수 있다. 즉, 영상 처리부(130)는, 실시간으로 변경되는 관절 포인트의 위치가 반영되도록, 운동 영상에서, 관절 포인트에 대응하는 영역 상에, 키포인트 그래픽 객체를 오버랩할 수 있다.
한편, 본 발명에서는, 관절 포인트와 관련된 학습 데이터를 이용하여 학습된 자세 추정 모델을 통해 추출된 키포인트로부터, 키포인트 간의 상대적인 위치 관계를 분석하고, 상기 위치 관계에 대한 분석에 기초하여, 처방 운동에 대한 환자의 운동 동작을 분석하는 과정이 진행될 수 있다(S350, 도 13 참조). 키포인트 간의 상대적인 위치 분석은, 동작 분석부(120, 210)에 의하여 이루어질 수 있다. 특히, 동작 분석부의 인공지능 동작 분석부(122, 212) 및 규칙기반 동작분석부(123, 213) 중 하나에 의하여, 운동 동작 분석이 이루어질 수 있다.
도 16의 (d)에 도시된 것과 같이, 운동 치료 애플리케이션(100)은, 환자 단말기(10) 상에, 분석 진행을 안내하는 안내 정보(ex: “결과값을 계산중입니다” 또는 “김철수님 운동 동작 분석 결과를 제공하겠습니다”)를 제공하여, 환자에게 운동 동작 분석을 안내할 수 있다. 이하에서는 환자 운동 동작 분석 방법에 대해 자세하게 설명하도록 한다.
운동 치료 제공 시스템(1000)은, 학습 데이터를 이용하여 학습된 자세 추정 모델로부터 추출된 키포인트를 이용하여, 기 설정된 복수의 관절 포인트 각각에 대응하는 키포인트(P1, P2) 간의 상대 위치 관계를 분석할 수 있다.
운동 치료 제공 시스템(1000)은, 가시 관절 포인트에 대응하는 키포인트 및 비가시 관절 포인트에 대응하는 키포인트를 모두 이용하여, 기 설정된 복수의 관절 포인트 각각에 대응하는 키포인트(P1, P2) 간의 상대적 위치를 분석할 수 있다.
여기에서, “키포인트 간의 상대적 위치”는, 적어도 두개의 키포인트(P1, P2) 사이에서, 특정 키포인트(예를 들어, 제1 키포인트, “P1”)를 기준으로 다른 키포인트(예를 들어, 제2 키포인트, “P2”)의 위치로 이해될 수 있다.
이하에서는 설명의 편의를 위하여, 가시 관절 포인트에 대응하는 키포인트를, “제1 타입의 키포인트”으로 명명하고, 비가시 관절 포인트에 대응하는 키포인트를 “제2 타입의 키포인트”로 명명하여 설명하도록 한다.
운동 치료 제공 시스템(1000)은, i) 복수의 제1 타입의 키포인트들 간의 상대적 위치 관계, ii) 제1 타입의 키포인트와 제2 타입의 키포인트 간의 상대적 위치 관계 및 iii) 복수의 제2 타입의 키포인트들 간의 상대적 위치 관계 중 적어도 하나에 대한 분석을 수행할 수 있다.
이 경우, 운동 치료 제공 시스템(1000)은, 환자가 수행한 처방 운동 종류에 근거하여, 복수의 관절 포인트 중 일부 연관 키포인트 간의 상대적 위치 관계를 분석할 수 있다.
예를 들어, 운동 치료 제공 시스템(1000)은, 환자가 제1 운동 종류에 따른 처방 운동을 수행한 경우, 복수의 관절 포인트 중 제1 관절 포인트 및 제2 관절 포인트 각각에 대응하는 키포인트 간의 상대적 위치 관계를 분석할 수 있다.
다른 예를 들어, 운동 치료 제공 시스템(1000)은, 환자가 상기 제1 운동 종류와는 다른 제2 운동 종류에 따른 처방 운동을 수행한 경우, 복수의 관절 포인트 중 제1 관절 포인트 및 제3 관절 포인트 각각에 대응하는 키포인트 간의 상대적 위치 관계를 분석할 수 있다. 이러한 상대적인 위치 관계는 결과적으로, 동작 분석에 활용될 수 있다.
본 발명에 따른 운동 치료 제공 시스템(1000)에서 수행되는 동작 분석의 결과는 매우 다양할 수 있다. 예를 들어, 운동 치료 제공 시스템(1000)은 추출된 키 포인트 또는 영상으로부터, 관절의 가동 범위, 가동 거리, 관절의 움직임 속도(또는 가속도), 분석 대상 운동 영상에 포함된 피사체(환자에 대응)의 신체 밸런스, 신체 균형, 신체 정렬 상태(EX: 다리의 축 정렬 상태, 척추 정렬상태 등) 중 적어도 하나에 대한 분석을 수행할 수 있다. 한편, 본 발명에 따른 운동 치료 제공 시스템(1000)에서는, 처방 운동과 관련된 규칙 정보를 기준으로, 키포인트 간의 상대 위치 관계를 분석할 수 있다.
여기에서, 규칙 정보는, 키포인트 간의 상대 위치 관계를 분석하기 위하여 미리 규칙이 정의되어진 정보로 이해될 수 있다.
운동 치료 제공 시스템(1000)은, 키 포인트 간의 상대 위치 관계가 규칙 정보를 만족하는지 판단하는 것을 통해, 환자의 운동 동작을 분석할 수 있다. 이하에서는 일 예로, 키포인트의 상대 위치 관계 및 규칙 정보를 기반으로 관절 가동 범위를 분석하는 방법에 대해 설명하도록 한다. 다만, 이하에서 설명되는 내용은 키 포인트의 상대 위치 관계 및 규칙 정보 기반으로 환자의 동작을 분석하는 일 실시예에 불과하고, 본 발명에서는 키포인트의 상대 위치 관계 및 규칙 정보 기반으로, 환자의 다양한 동작을 분석할 수 있다.
본 발명에 따른 운동 치료 제공 시스템(1000)에서 분석되는 관절 가동 범위에 대하여 보다 구체적으로 살펴본다. 운동 치료 제공 시스템(1000)은, 처방 운동과 관련된 기준 관절 가동 범위에 대한 규칙 정보를 기준으로, 키포인트 간의 상대 위치 관계에 따른 환자의 관절 가동 범위에 대한 분석을 수행할 수 있다.
나아가, 운동 치료 제공 시스템(1000)은 처방 운동과 관련된 규칙 정보를 기준으로, 상기 키포인트 간의 상대 위치 관계를 분석할 수 있다. 그리고, 운동 치료 제공 시스템(1000)은 상기 키 포인트 간의 상대 위치 관계가 상기 규칙 정보를 만족하는지 판단하는 것을 통해 상기 환자의 운동 동작을 분석할 수 있다.
운동 치료 제공 시스템(1000)은, 특정 처방 운동과 관련된 복수의 연속 프레임으로부터, 특정 처방 운동에 매칭된 연관 키포인트들 간의 상대 위치 관계를 추출하고, 추출된 상대 위치 관계를 이용하여 특정 처방 운동에 대한 환자의 관절 가동 범위를 획득(또는 계산)할 수 있다.
구체적으로, 운동 영상이, 제1 처방 운동에 대응하는 제1 타입을 갖는 복수의 프레임 및 제2 처방 운동에 대응하는 제2 타입을 갖는 복수의 프레임으로 이루어졌다고 가정하자.
운동 치료 제공 시스템(1000)은, 제1 처방 운동 및 제2 처방 운동 중 제1 처방 운동에 대한 환자의 운동 동작 분석이 이루어지는 경우, 제1 타입을 갖는 복수의 프레임으로부터 추출된 키포인트들을 이용하여, 환자의 운동 동작을 분석할 수 있다.
반면에, 운동 치료 제공 시스템(1000)은, 제2 처방 운동에 대한 환자의 운동 동작 분석이 이루어지는 경우, 제2 타입을 갖는 복수의 프레임으로부터 추출된 키포인트들을 이용하여, 환자의 운동 동작을 분석할 수 있다.
즉, 운동 치료 제공 시스템(1000)은 연속된 동작(또는 자세)에 대한 키포인트 위치 관계를 분석하여, 특정 처방 운동에 대한 환자의 운동 가동 범위를 획득(또는 계산)할 수 있다.
이하에서는 설명의 편의를 위하여, 특정 처방 운동(ex: 제1 처방 운동)에 대응하는 연속된 복수의 프레임(즉, 제1 타입을 갖는 복수의 프레임)을, 프레임이 형성되는 시간적 전후에 따라, “제1 분석 대상 프레임” 및 “제2 분석 대상 프레임”으로 명명하도록 한다.
여기에서, 제1 분석 대상 프레임은 시간적으로 전(before)에 형성되고, 제2 분석 대상 프레임은 시간적으로 후(after)에 형성되는 프레임으로 이해될 수 있다.
운동 치료 제공 시스템(1000)은, 제1 분석 대상 프레임 및 제2 분석 대상 프레임 각각에서, 키포인트를 추출할 수 있다.
제1 분석 대상 프레임에서. 복수의 관절 포인트 각각에 대응되는 제1 분석 대상 키포인트 그룹을 추출하고, 제2 분석 대상 프레임에서, 복수의 관절 포인트 각각에 대응되는 제2 분석 대상 키포인트 그룹을 추출할 수 있다.
운동 치료 제공 시스템(1000)은, 제1 분석 대상 키포인트 그룹에 포함된 키포인트 간의 “제1 위치 관계”를 분석하여, 제1 분석 대상 프레임에 포함된 피사체(U)의 제1 동작 분석을 수행할 수 있다. 또한, 운동 치료 제공 시스템(1000)은, 제2 분석 대상 키포인트 그룹에 포함된 키포인트 간의 “제2 위치 관계”를 분석하여, 제2 분석 대상 프레임에 포함된 피사체(U)의 제2 동작 분석을 수행할 수 있다.
운동 치료 제공 시스템(1000)은, 제1 키포인트 위치 관계 및 제2 키포인트 위치 관계에 기초하여, 특정 처방 운동에 대한 환자의 관절 가동 범위를 획득(추출 또는 계산)할 수 있다.
이 경우, 운동 치료 제공 시스템(1000)은, 사용자 DB(30)를 참조하여, 환자의 나이 정보, 성별 정보, 신장 정보, 체중 정보, 수술 이력 정보, 근골격계 질환 정보 중 적어도 하나를 고려하여, 환자의 관절 가동 범위를 획득할 수 있다.
한편, 운동 치료 제공 시스템(1000)은, 획득된 환자의 운동 가동 범위가, 특정 처방 운동과 관련된 규칙 정보에 대응하는 기준 관절 가동 범위를 만족하는지를 판단할 수 있다. 본 발명에서, 규칙 기반의 환자의 운동 가동 범위에 대한 분석은, 인공지능 서버(200)의 규칙 기반 동작 분석부(213)에 의해 이루어질 수 있다(도 11 참조), 다만, 규칙 기반 동작 분석부(213)에 의해 분석이 이루어지는 것으로 한정하는 것은 아니다.
본 발명에는, 복수의 운동 종류 각각에 대해 기준 관절 가동 범위에 대한 규칙 정보가 존재할 수 있다. 이러한 규칙 정보는, 나이별, 성별, 신장별, 몸무게별, 근골격계 질환별로, 서로 다른 기준 관절 가동 범위에 대한 정보를 포함할 수 있다.
운동 치료 제공 시스템(1000)은, 특정 처방 운동에 대한 환자의 관절 가동 범위와, 규칙 정보에 포함된 특정 처방 운동에 대한 기준 관절 가동 범위를 비교하여, 환자의 관절 가동 범위가 기준 관절 가동 범위를 만족하는지 여부를 판단할 수 있다.
운동 치료 제공 시스템(1000)은, 판단 결과에 근거하여, 처방 운동에 대한 피드백으로서, 환자의 운동 동작에 대한 분석 결과를 환자 단말기(10) 상에 제공할 수
한편, 본 발명에서는 환자의 운동 동작에 대한 분석 결과를, 환자 단말기에 전송하는 과정이 진행될 수 있다(S360, 도 13 참조).
운동 치료 제공 시스템(1000)은, 환자가 운동 동작에 대한 분석 결과를 직관적으로 인식하고, 운동에 대한 환자의 순응도를 높이기 위하여, 다양한 방법으로 동작 분석 결과를 제공할 수 있다.
운동 치료 제공 시스템(1000)은, 운동 영상(300)이 환자 단말기(10)에서 촬영되고 있는 상태에서, 키포인트(P1, P2)에 해당하는 그래픽 객체를 상기 운동 영상에 실시간으로 오버랩하여 제공할 수 있다(도 16 참조).
이 경우, 운동 치료 제공 시스템(1000)은, 환자의 관절 가동 범위 정보를, 관절 가동 범위와 관련된 키포인트(P1, P2) 주변에, 위치시킬 수 있다.
나아가, 운동 치료 제공 시스템(1000)은, 환자가, 환자의 관절 가동 범위가, 기준 관절 가동 범위를 만족하는지 여부를 인지 가능하도록, 서로 다른 시각적 외관을 갖는 키포인트 그래픽 객체(또는 키포인트 간의 위치 관계에 해당하는 그래픽 객체)를 운동 영상에 오버랩하여 제공할 수 있다.
나아가, 운동 영상에 오버랩되는 그래픽 객체의 시각적 외관은, 추출된 상기 키포인트 간의 상대 위치 관계가 상기 규칙 정보를 만족하는지 여부에 따라 서로 다르게 구성될 수 있다.
예를 들어, 환자의 관절 가동 범위가 기준 관절 가동 범위를 만족하는 경우, 제1 시각적 외관을 갖는 그래픽 객체(A)가 운동 영상(300)에 오버랩될 수 있다. 반면에, 환자의 관절 가동 범위가 기준 관절 가동 범위를 만족하지 않는 경우, 상기 제1 시각적 외관과는 다른 제2 시각적 외관을 갖는 그래픽 객체(B)가 운동 영상(300)에 오버랩될 수 있다.
나아가, 운동 치료 제공 시스템(1000)은, 운동 영상(300)을 구성하는 복수의 프레임들 각각으로부터 추출된 키포인트에 기초하여 처방 운동에 대한 환자의 평가 점수(ex: “김우영님의 스쿼트 자세는 70점입니다”)를 동작 분석 결과로서 제공할 수 있다.
한편, 본 발명에서는, 환자 단말기(10)에 설치된 운동 치료 애플리케이션(100) 및 인공지능 서버(200)는, 각각 운동 동작에 대한 분석을 수행하고, 운동 동작 분석 결과를 생성할 수 있다.
예를 들어, 운동 치료 애플리케이션(100)은, 운동 영상에 실시간으로 키포인트(P1, P2)에 해당하는 그래픽 객체를 오버랩하여 제1 결과 분석으로서 생성할 수 있다.
다른 예를 들어, 클라우드 서버로 이루어진 인공지능 서버(200)는, 운동 영상을 구성하는 복수의 프레임들 각각으로부터 추출된 키포인트에 기초하여 처방 운동에 대한 환자의 평가 점수를, 제2 분석 결과로서 생성할 수 있다.
운동 치료 제공 시스템(1000)은, 운동 치료 애플리케이션(100)에서 생성한 제1 분석 결과 및 인공지능 서버(200)에서 생성한 제2 분석 결과를 포함하는 환자의 운동 동작에 대한 분석 결과를, 환자 단말기(10) 상에 제공할 수 있다.
한편, 운동 치료 제공 시스템(1000)은, 환자의 운동 동작 분석 결과를 의사 단말기(20)로 전송할 수 있다. 의사 단말기(20)에는 상기 제1 분석 결과 및 제2 분석 결과가 모두 제공될 수 있다.
이와 같이, 본 발명에서는 환자가 운동 동작에 대한 분석 결과를 직관적으로 인식할 수 있도록, 분석 결과 제공과 관련된 다양한 사용자 환경을 제공하고 있다. 분석 결과 제공과 관련된 다른 실시예에 대한 설명은 후술하도록 한다.
한편, 도 17에 도시된 것과 같이, 본 발명은 환자 단말기(10)로부터 수신되는 운동 영상(300)에 기반하여, 운동 영상(300)에 포함된 환자(U)의 운동 동작을 분석하고, 분석 결과를 제공하기 위한 것이다. 특히, 본 발명은, 인공지능에 기반하여 환자의 운동 동작을 분석하기 위해, 중요 관절 포인트를 중심으로 학습 데이터 세트(Data set)를 가공하고, 이를 학습하는 방법에 대한 것이다.
이하에서는, 본 발명에서 자세 추정 모델이 학습하는 학습 데이터에 대해 구체적으로 설명하도록 한다.
도 17에 도시된 것과 같이, 데이터베이스(40)는 학습 데이터 세트(Data set)가 저장된 저장소로, 본 발명에 따른 운동 치료 제공 시스템(1000) 자체에 구비되거나 외부 저장소(또는 외부 DB)로 이루어질 수 있다. 본 발명에 따른 데이터베이스(40)는, 학습 데이터 세트가 저장되어 있는 공간이면 충분하며, 물리적인 공간에 대한 제약은 없는 것으로 이해될 수 있다.
데이터베이스(Data Base, 40), 자세 추정 서버(50) 및 운동 치료 제공 시스템(1000) 중 적어도 하나의 구성을 포함하여 이루어질 수 있다.
데이터베이스(40)에는, 자세 추정 모델(52)을 학습을 학습시키기 위한 한 학습 데이터가, 학습 데이터 세트로서 저장되어 존재할 수 있다.
도 18b에 도시된 것과 같이, 본 발명에서의 학습 데이터 세트(400)는, 서로 다른 정보 속성(410a 내지 450a) 각각에 대응되는 복수의 데이터 그룹(410 내지 450)으로 구성될 수 있다. 복수의 데이터 그룹(410 내지 450) 각각에 포함된 정보는, 운동 동작을 수행하는 피사체(U)를 포함하는 운동 영상(300)으로부터 추출되어 구성될 수 있다.
여기에서, “운동 영상(300)”은, 도 18a에 도시된 것과 같이, 사용자가 운동 동작을 수행하는 과정이 촬영(포함)된 영상(이미지 또는 동영상)으로, 사용자(U)의 신체 중 적어도 일부가 포함될 수 있다.
본 발명에서는, 운동 영상(300)에 포함된 사용자 객체를, “피사체(U)”로 명명하여 설명할 수 있다. 본 발명에서 “피사체(U)”는 운동 영상에서 운동하는 사용자 또는 사용자의 신체 일부를 의미할 수 있다. 이에, 본 발명에서는, “피사체”와 “사용자”를 혼용하여 사용할 수 있으며, 동일한 도면부호 “U”를 부여하여 설명할 수 있다.
한편, 본 발명에서 설명되는 “운동 영상(300)”은, “분석 대상 운동 영상” 및 “학습 대상 운동 영상”을 포함할 수 있다.
“분석 대상 운동 영상”은, 피사체(U)의 자세 추정 분석 대상이 되는 운동 영상이고, “학습 대상 운동 영상”은, 자세 추정 모델을 위한 기계 학습의 대상이 되는 운동 영상으로 이해될 수 있다. 여기에서, 자세 추정 분석은, 영상으로부터 키포인트를 추출하는 것을 의미할 수 있다.
학습부(51)는 학습 대상 운동 영상(300)에 기반하여 자세 추정 모델을 위한 학습을 수행하도록 이루어질 수 있다. 학습부(51)는 학습 데이터를 이용하여, 자세 추정 모델을 학습시킬 수 있다.
도 18b의 (a)에 도시된 것과 같이, 학습부(51)는 학습 대상 운동 영상(300)에서 피사체(U)를 탐지하고, 탐지된 피사체(U)로부터 운동 자세 추정에 이용되는 다양한 학습 데이터를 추출할 수 있다. 이러한 학습 데이터는, “정보” 또는 “데이터” 또는 “데이터 값” 또는 “데이터 밸류(value)”와 혼용되어 사용될 수 있다. 한편, 학습 데이터의 추출은, 학습부(51)가 아닌 다른 수단에 의해서도 이루어질 수 있다.
학습부(51)는, 학습 대상 운동 영상(300)으로부터 피사체(U)를 탐지하기 위하여, 다양한 객체 탐지(Object Detection)를 위한 알고리즘을 이용할 수 있다. 예를 들어, 학습부(51)는 예를 들어, 복수의 바운딩 박스(Bounding Box)를 앙상블(ensemble)하는 알고리즘(Weighted Box Fusion, WBF)을 이용할 수 있다. 다만, 학습부(51)는 상술한 객체 탐지 알고리즘에 한정되지 않고, 학습 대상 운동 영상(300)으로부터 피사체(U)에 대응하는 객체를 탐지할 수 있는 다양한 객체 탐지 알고리즘을 이용할 수 있음은 당연하다.
학습부(51)는 추출된 학습 데이터를, 서로 다른 복수의 정보 속성(410a 내지 450a) 각각에 대응하는 복수의 데이터 그룹(Group, 410 내지 450) 중 어느 하나로 분류할 수 있다.
본 발명에서 설명되는 서로 다른 복수의 정보 속성(410a 내지 450a)은, 도 18b의 (b)에 도시된 것과 같이, 기 정의되어 존재할 수 있다. 그리고, 복수의 정보 속성(410a 내지 450a) 각각에 대응되는 복수의 데이터 그룹(410 내지 450)은, 기 정의된 정보 속성에 대응하는 학습 데이터가 포함할 수 있다.
예를 들어, i) 제1 정보 속성(410a)에 대응하는 데이터 그룹(410)은 피사체(U)의 관절 포인트 위치 정보를 포함하고, ii) 제2 정보 속성(420a)에 대응하는 데이터 그룹(420)은 피사체(U)의 관절 포인트 가시(visible) 여부를 나타내는 정보를 포함할 수 있다. 그리고, iii) 제3 정보 속성(430a)에 대응하는 데이터 그룹(430)은 피사체(U)의 촬영 방향에 대한 정보를 포함하고, iv) 제4 정보 속성(440a)에 대응하는 데이터 그룹(440)은 피사체(U)가 수행하는 운동 동작(또는 운동 종류)을 구분하는 운동 코드(code) 정보를 포함하고, v) 제5 정보 속성(450a)에 대응하는 데이터 그룹(450)은, 피사체(U)에 대한 바운딩 박스(Bounding box)의 사이즈(Size) 및 중심 위치 정보를 포함할 수 있다.
여기에서, “관절 포인트(P1, P2)”는, 사용자의 관절 또는 운동 영상(300)에서 피사체(U)의 관절에 대응되는 일 영역을 의미할 수 있다.
학습부(51)는, 학습 대상 운동 영상(300)으로부터 추출된 복수의 데이터 그룹(410 내지 450)을 서로 연계하여, 학습 대상 운동 영상(300)에 대한 데이터 세트를 생성(구성)할 수 있다. 그리고, 학습부(51)는 생성된 학습 데이터 세트(400)를 데이터베이스(40)에 저장할 수 있다. 데이터베이스(40)는 학습부(51)에서 생성된 학습 데이터 세트(400)가 저장되는 것에 근거하여, 자세 추정 모델(52)을 위한 데이터베이스(40)로 구축되어질 수 있다.
나아가, 학습부(51)는 데이터베이스(40)에 존재하는 학습 데이터 세트(400)에 기반하여, 자세 추정 모델(52)을 위한 학습을 수행할 수 있다. 앞서 설명한 것과 같이, 학습 데이터 세트(400)는, 관절 포인트의 위치 정보를 포함할 수 있다.
자세 추정 모델(52)은, 관절 포인트에 대한 위치 정보를 포함하는 학습 데이터 세트(Data set)를 이용하여 학습된 자세 추정 모델로서, 분석 대상 운동 영상으로부터 피사체(U)의 운동 자세를 추정할 수 있다.
한편, 자세 추정 모델(52)은 학습부(51)에서 생성된 학습 데이터 세트(400)를 이용하여, 운동 영상(300)으로부터 피사체의 관절 포인트에 해당하는 키포인트를 추출하고, 인공 지능 동작 분석부(122, 212) 및 규칙기반 동작분석부(123, 213) 중 적어도 하나는, 추출된 키포인트를 이용하여, 운동 영상(300)에서의 피사체의 운동 동작을 분석할 수 있다.
자세 추정 모델(52)로부터 추정된 키포인트를 이용하여, 분석 대상 운동 영상(300)으로부터 추정 가능한 피사체(U)의 운동 자세는 다양할 수 있다. 예를 들어, 인공 지능 동작 분석부(122, 212) 및 규칙기반 동작분석부(123, 213) 중 적어도 하나는, 피사체(U)에 대한 i) 관절 포인트의 위치, ii) 관절 포인트의 관절 가동 범위, iii) 관절 포인트의 이동 경로, iv) 관절 포인트 간의 연결 관계, v) 관절 포인트의 대칭 관계 중 적어도 하나에 대한 정보를 추정 및 분석할 수 있다.
이외에도, 동작 분석부(122, 212)는, 분석 대상 운동 영상(300)으로부터 추출된 키 포인트 또는 영상(300)으로부터, 관절의 가동 거리, 관절의 움직임 속도(또는 가속도), 분석 대상 운동 영상에 포함된 피사체(환자에 대응)의 신체 밸런스, 신체 균형, 신체 정렬 상태(EX: 다리의 축 정렬 상태, 척추 정렬상태 등) 중 적어도 하나에 대한 분석을 수행할 수 있다.
본 발명에서, 자세 추정 모델(52)은, 학습부(51)를 포함하여 구성되는 것 또한 가능하다. 나아가, 이와 반대로 학습부(51)는 자세 추정 모델(52)을 포함할 수 있으며, 이 경우, 학습부(51)에서 자세 추정 모델(52)을 학습시켜, 자세 추정 기능을 수행할 수 있다. 이에, 본 발명에서는, 자세 추정 모델(52)에서 수행되는 기능을, 학습부(51)가 수행하는 것으로 혼용하여 설명할 수 있다.
한편, 사용자 단말기(10, 20)는, 자세 추정 모델(52)에서 추출 및 추정된 키포인트에 기반하여 분석되는, 사용자의 운동 동작 분석 결과(또는 운동 동작 분석 리포트,)를 사용자 단말(10, 20)에 제공하는 자세 분석 결과 서비스 제공을 수행하도록 이루어질 수 있다(도 11 참조).
여기에서, 사용자 단말(10, 20)은 환자 단말기(10), 의사 단말기(20) 및 제3자의 단말기 중 적어도 하나일 수 있다.
이러한 운동 치료 제공 시스템(1000)은, 사용자 단말(10, 20)과의 통신을 수행하도록 이루어질 수 있다. 본 발명에서, 운동 치료 제공 시스템(1000)가 통신을 수행하는 것은, 운동 치료 제공 시스템(1000)의 통신부에 의해 이루어지는 것으로도 이해될 수 있다.
예를 들어, 운동 치료 제공 시스템(1000)의 통신부는, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced), 5G(5th Generation Mobile Telecommunication ), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra-Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 사용자 단말(10, 20)과 통신하도록 이루어질 수 있다.
한편, 본 발명에서 설명되는 사용자 단말(10, 20)은, 전자기기를 의미하는 것으로서, 스마트폰(smart phone), 휴대폰, 태블릿 PC, 키오스크(KIOSK), 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), 및 PMP(Portable Multimedia Player) 중 적어도 하나를 포함할 수 있다. 나아가, 사용자 단말기(10, 20)는, 사용자 계정(account)이 로그인된, 접속된 또는 등록된 전자기기 일 수 있다.
여기에서, 사용자 계정은, 본 발명에 따른 운동 치료 제공 시스템(1000)에 기 등록된 계정을 의미할 수 있다. 이러한 사용자 계정은, 사용자 ID(identification, identification number)로 이해되어질 수 있다.
한편, 본 발명에서는 사용자 단말(10, 20)로부터, 운동 영상을 수신하는 과정이 진행될 수 있다. 운동 치료 제공 시스템(1000)은 사용자 단말(10, 20)과의 통신을 통해, 사용자가 운동 동작을 수행하는 모습이 촬영된 운동 영상(300)을 수신할 수 있다.
이 경우, 운동 치료 제공 시스템(1000)가 사용자 단말(10, 20)로부터 수신하는 운동 영상(300)은, 사용자에 대한 운동 동작 분석의 대상이 되는 분석 대상 운동 영상으로 이해될 수 있다.
운동 치료 제공 시스템(1000)은 다양한 시점 및 경로에 따라 사용자 단말(10, 20)로부터 분석 대상 운동 영상을 수신할 수 있다.
예를 들어, 도 11에 도시된 것과 같이, 운동 치료 제공 시스템(1000)은 사용자 단말(10, 20)로부터 “운동 시작”에 대응되는 그래픽 객체가 선택되는 것에 근거하여, 사용자 단말(10, 20)에 구비된 카메라(201)가 분석 대상 운동 영상을 촬영하도록, 카메라 상태를 활성화 상태로 제어할 수 있다. 그리고, 운동 치료 제공 시스템(1000)은 카메라(201)로부터 촬영된 분석 대상 운동 영상을 실시간 또는 사용자의 운동이 완료되는 것에 근거하여, 사용자 단말(10, 20)로부터 수신할 수 있다.
다음으로, 본 발명에서는 관절 포인트에 대한 위치 정보를 포함하는 학습 데이터 세트(Data set)를 이용하여 학습된 자세 추정 모델로부터 추출된 키포인트에 기반하여, 운동 영상에 포함된 사용자의 특정 운동 동작과 관련된 운동 동작을 분석하는 과정이 진행될 수 있다.
학습부(51)는, 사용자 단말(10, 20)로부터 분석 대상 운동 영상을 수신하는 경우, 학습 대상 운동 영상(300)을 이용하여 학습된 자세 추정 모델(52)에 기반하여, 분석 대상 운동 영상에 포함된 사용자(U)의 관절 포인트에 해당하는 키포인트를 추출할 수 있다. 그리고, 인공 지능 동작 분석부(122, 212) 및 규칙기반 동작분석부(123, 213) 중 적어도 하나는, 추출된 키포인트를 이용하여, 운동 영상(300)에서의 피사체의 운동 동작을 분석할 수 있다.
학습부(51)가 추정하는 사용자(U)의 자세 추정 정보는 다양한 정보를 포함할 수 있다. 예를 들어, 학습부(51)는 피사체(U)의 관절 포인트(P1, P2)의 위치 정보, ii) 피사체(U)의 관절 가동 범위 정보(각도 정보)를 추정할 수 있다.
다음으로, 본 발명에서는 상기 분석이 완료되는 것에 근거하여, 특정 운동 동작과 관련된 사용자(U)의 운동 동작 분석 결과를 사용자 단말(10, 20)로 제공하는 과정이 진행될 수 있다.
운동 치료 제공 시스템(1000)은, 사용자 운동 동작에 대한 분석 결과를 가공하여, 운동 동작 분석 리포트를 생성할 수 있다. 그리고, 운동 치료 제공 시스템(1000)은 사용자 단말(10, 20) 상에 운동 동작 분석 리포트를 제공할 수 있다.
예를 들어, 도 11에 도시된 것과 같이, 운동 치료 제공 시스템(1000)은, 사용자의 운동 영상에, 사용자(U)의 관절 포인트(P1, P2)에 대응하는 위치에, 관절 포인트(P1, P2) 각각에 대응하는 관절 포인트 그래픽 객체를 렌더링(rendering)하여 제공할 수 있다. 그리고, 운동 치료 제공 시스템(1000)은, 특정 관절 포인트(P1) 주변에, 특정 관절 포인트(P1)의 관절 가동 범위 정보(221)를 표시할 수 있다.
이와 같이, 본 발명에 따른 운동 치료 제공 시스템(1000)은, 학습 대상 운동 영상(300)에 기반하여 구축된 데이터베이스(40)를 이용하여, 자세 추정 모델(52)을 위한 학습을 수행할 수 있다. 그리고, 자세 추정 모델(52)을 이용하여, 사용자의 운동 자세를 추정하고, 추정된 자세에 기반하여 운동 동작 분석 결과 제공 서비스를 수행할 수 있다.
분석 결과에 포함되는 정보는 다양할 수 있다. 예를 들어, 분석 결과에는, 추출된 키 포인트 또는 영상으로부터 분석된, 관절의 가동 범위, 가동 거리, 관절의 움직임 속도(또는 가속도), 분석 대상 운동 영상에 포함된 피사체(환자에 대응)의 신체 밸런스, 신체 균형, 신체 정렬 상태(EX: 다리의 축 정렬 상태, 척추 정렬상태 등) 중 적어도 하나에 대한 분석 정보가 포함될 수 있다.
나아가, 이러한 분석 정보는, 점수(SCORE)를 더 포함할 수 있으며, 이러한 점수는, 사용자의 운동 동작(또는 자세)에 대한 분석 점수일 수 있다. 이러한 분석 점수는, 다양한 방법(EX: 기 설정된 기준을 근거로한 규칙 기반 분석 또는 인공 지능 알고리즘에 의한 분석)에 근거하여 산출되는 것이 가능하다.
데이터베이스(40)에는, 학습부(51)에 의해 학습 대상 운동 영상(300)으로부터 추출 및 생성된 학습 데이터 세트(400)가 저장되어 존재할 수 있다.
이하에서는, 사용자의 운동 자세 추정에 이용되는 학습 데이터 세트(400)에 대해 보다 자세하게 설명하도록 한다.
도 18a에 도시된 것과 같이, 학습 데이터 세트(400)는, 학습 대상 운동 영상 (300)으로부터 추출된 피사체(U)와 관련된 데이터를 포함하여 구성될 수 있다.
학습부(51)는 학습 대상 운동 영상(300)으로부터, 피사체(U)에 대한 데이터를 추출하여 학습 데이터 세트(400)를 구성할 수 있다.
이러한 학습 데이터 세트(400)는, 복수의 서브 데이터 세트(401 내지 403)으로 이루어질 수 있다. 본 발명에서, 학습 데이터 세트(400)는, 상위 개념에 해당하고, 서브 데이터 세트(401 내지 403)는 하위 개념에 해당하는 데이터 세트로 이해될 수 있다.
학습부(51)는, 학습 대상 운동 영상(300)을 구성하는 복수의 프레임들 중 기 설정된 기준에 근거하여 선별된 기준 프레임(301 내지 306) 각각으로부터, 피사체(U)에 대한 데이터를 추출하여, 서브 데이터 세트(401 내지 403)를 구성될 수 있다.
학습부(51)는 다양한 기준에 근거하여 기준 프레임(301 내지 306)을 선별할 수 있다. 학습 대상 운동 영상(300)은 동영상일 수 있고, 복수의 정적인 이미지일 수 있다.
학습 대상 운동 영상(300)이 동영상인 경우, 학습부(51)는 학습 대상 운동 영상(300)을 구성하는 복수의 프레임 중 일정 시간 간격(T)을 기준으로 기준 프레임(301 내지 306)을 선별할 수 있다. 다른 예를 들어, 학습부(51)는, 전후 프레임에 포함된 피사체의 동작 변화량이 일정 변화량 이상에 대응되는 경우, 전후 프레임을 기준 프레임(301 내지 306)으로 선별할 수 있다.
본 발명에 따른 학습 데이터 세트에 포함된 학습 데이터는, 학습 대상 운동 영상을 구성하는 복수의 프레임들 중 기 설정된 기준에 근거하여 선별된 기준 프레임들 각각으로부터, 상기 학습 대상 운동 영상에 포함된 상기 피사체를 중심으로 추출된 학습 데이터로 구성될 수 있다.
이하에서는 설명의 편의를 위하여, “학습 데이터 세트(400)”와 “서브 데이터 세트(401 내지 403)”를 별도로 구분하지 않고, “학습 데이터 세트(400)”를 기준으로 설명하도록 한다. 이하에서 설명되는 학습 데이터 세트(400)에 포함된 정보는, 서브 데이터 세트(401 내지 403)에 포함된 정보일 있다. 이 경우, 본 발명에 따른 학습 데이터 세트(400)는, 이하에서 설명되는 정보를 포함하는 복수의 서브 데이터 세트(401 내지 403)를 포함하는 것으로 이해될 수 있다.
한편, 도 18b의 (a)에 도시된 것과 같이, 학습 데이터 세트(400)는 서로 다른 복수의 정보 속성 각각에 대응되는 복수의 데이터 그룹(410 내지 460)으로 구성될 수 있다.
학습부(51)는, 학습 대상 운동 영상으로부터 복수의 정보 속성 각각에 대응되는 데이터를 추출하고, 추출된 데이터의 정보 속성이 동일한 데이터들을, 동일한 데이터 그룹으로 분류(또는 매칭)하여, 학습 데이터 세트(400)룰 생성할 수 있다.
여기에서, 복수의 정보 속성(410a 내지 450a)은, 학습 대상 운동 영상(300)으로부터 피사체(U)의 운동 자세 추정을 위하여 필요한 정보의 타입을 구분하는 기준으로 이해될 수 있다. 도 18b의 (b)에 도시된 것과 같이, 본 발명에서는 서로 다른 복수의 정보 속성(제1 정보 속성 내지 제5 정보 속성, 410a 내지 450a)이 미리 정의되어 존재할 수 있다.
학습부(51)는, 학습 대상 운동 영상으로부터, 상기 복수의 정보 속성(410a 내지 450a)에 각각에 대응되는 학습 데이터를 추출하고, 동일한 정보 속성에 대응되는 학습 데이터를 동일한 데이터 그룹으로 분류하여 학습 데이터 세트(400)룰 생성할 수 있다.
나아가, 학습부(51)는. 상기 복수의 정보 속성(410a 내지 450a) 사이의 연관성에 근거하여, 복수의 데이터 그룹(410 내지 460) 사이의 그룹별 연관성을 특정하고, 학습 데이터 세트(400) 및 그룹별 연관성에 대한 학습을 수행할 수 있다.
이하에서는, 복수의 데이터 그룹 및 그룹별 연관성에 대해서 구체적으로 설명하도록 한다.
도 18c에 도시된 것과 같이, 복수의 데이터 그룹(410 내지 450) 중 제1 데이터 그룹(410)은, 운동 영상(300)에 포함된 피사체(U)의 관절 포인트(P1, P2)에 대한 위치 정보(411, 412)를 포함할 수 있다.
도 18c의 (a)에 도시된 것과 같이, 본 발명에서 관절 포인트(P1, P2)는, 학습 대상 운동 영상(300)에서 사용자의 관절에 대응되는 피사체(U)의 일 영역을 의미할 수 있다. 그리고, 도 15에 도시된 것과 같이, 관절 포인트에 대한 위치 정보(411, 412)는, 학습 대상 운동 영상(300) 내 관절 포인트(P1, P2)가 위치하는 영역의 위치 로 이해될 수 있다.
한편, 인체는 200여개의 뼈로 이루어져 있으며, 관절은, 뼈와 뼈가 연결되는 부분으로, 인체는 복수의 관절로 구성될 수 있다.
학습부(51)는, 피사체(U)의 복수의 관절 포인트 중, 학습 대상이 되는 관절 포인트가, 기 정의되어 존재할 수 있다. 즉, 본 발명에서 설명되는 “학습 대상 관절 포인트”는, 사용자의 복수의 관절 포인트 중 본 발명에서 학습을 위해 기 정의된 관절 포인트로 이해될 수 있다.
도 18d에 도시된 것과 같이, 데이터베이스(40)에는, 복수의 관절 포인트 중 자세 추정 모델의 학습 대상이 되는 학습 대상 관절 포인트가 미리 지정되어, 참조 정보(500)로서 존재할 수 있다. 그리고, 참조 정보(500)에는, 복수의 학습 대상 관절 포인트에 대한 순서가 미리 정의되어 존재할 수 있다.
제1 학습 대상 관절 포인트는, 머리중심(Center Of Head)으로 정의될 수 있다. 보다 구체적으로, 제1 학습 대상 관절 포인트는, 경추 1번 레벨로 유추(예측 또는 대응)되는 지점으로 이해될 수 있다.
제2 학습 대상 관절 포인트는, 목 중심(Center Of Neck)으로 정의될 수 있다. 보다 구체적으로, 제2 학습 대상 관절 포인트는, Neck Lordotic Curve의 중심인 C3-C4 레벨로, 정면에서 1번과 3번의 가운데 레벨에서 중앙 지점으로 이해될 수 있다.
제3 학습 대상 관절 포인트는, 목 아래 끝(Lower End Of Neck)으로 정의될 수 있다. 보다 구체적으로, 제3 학습 대상 관절 포인트는, C7-T1 level이며, 양쪽 쇄골 level을 연결하는 선의 중앙 지점으로 이해될 수 있다.
제4 학습 대상 관절 포인트는, 어깨중심으로 정의될 수 있다. 보다 구체적으로, 제4 학습 대상 관절 포인트는, 위팔뼈 머리 중심(Humerus Head)이며, 어깨 관절 회전 운동의 중심 축인 위치로 팔을 외전(abduction)하는 회전 동작 상에서 연속 동작의 회전 중심에 해당하는 위치로 이해될 수 있다. 회전 운동 연속 동작이 아닌 이미지에서는, 어깨 중심의 예측 위치 정보에 대응하는 지점을, 제4 학습 대상 관절 포인트에 해당할 수 있다. 그리고, 제4 학습 대상 관절 포인트는, 좌측 어깨 중심 및 우측 어깨 중심 각각에 존재할 수 있다.
제5 학습 대상 관절 포인트는, 팔꿈치 중심으로 정의될 수 있다. 보다 구체적으로, 제5 학습 대상 관절 포인트는, 안쪽-바깥쪽 위관절융기 중심(Humerus Medial-Lateral Epicodyle)에 해당하는 부위이며, 팔꿈치 레벨에서 중앙점으로 이해될 수 있다. 제5 학습 대상 관절 포인트는 좌측 팔꿈치 중심 및 우측 팔꿈치 중심 각각에 존재할 수 있다.
제6 학습 대상 관절 포인트는, 손목 중심으로 정의될 수 있다. 보다 구체적으로, 제6 학습 대상 관절 포인트는, 노뼈-자뼈 붓돌기 중심(radius-ulnar styloid process)이며, 손목 레벨에서 중앙점으로 이해될 수 있다. 제6 학습 대상 관절 포인트는, 좌측 손목 중심 및 우측 손목 중심 각각에 존재할 수 있다.
제7 학습 대상 관절 포인트는, 손 중심으로 정의될 수 있다. 보다 구체적으로, 제7 학습 대상 관절 포인트는, 3번째 손허리뼈 머리(3rd Metacarpal Head)에 해당하는 곳으로 이해될 수 있으며, 좌측 손 중심 및 우측 손 중심 각각에 존재할 수 있다.
제8 학습 대상 관절 포인트는, 고관절 중심(Femoral Head 중심)으로 정의될 수 있다. 보다 구체적으로 제8 학습 대상 관절 포인트는, 고관절 회전 운동의 중심 축인 위치이며, 다리를 외전(abduction)하는 회전 동작에서 연속 동작의 회전 중심에 해당하는 위치로 이해될 수 있다. 회전 운동 연속 동작이 아닌 이미지에서는, 고관절 중심의 예측 위치 정보에 대응하는 지점을, 제8 학습 대상 관절 포인트로 이해할 수 있다. 제8 학습 대상 관절 포인트는, 좌측 고관절 중심 및 우측 고관절 중심 각각에 존재할 수 있다.
제9 학습 대상 관절 포인트는, 무릎 중심으로 이해될 수 있다. 보다 구체적으로, 제9 학습 대상 관절 포인트는, Femur Medial-Lateral Epicondyle 중심으로, 무릎 레벨에서 중앙점으로 이해될 수 있다. 제9 학습 대상 관절 포인트는, 좌측 무릎 중심 및 우측 무릎 중심 각각에 존재할 수 있다.
제10 학습 대상 관절 포인트는, 발목 중심으로 정의될 수 있다. 보다 구체적으로, 제10 학습 대상 관절 포인트는, Medial-Lateral Malleolus 중심으로 발목 레벨에서 중앙점으로 이해될 수 있다. 제10 학습 대상 관절 포인트는, 좌측 발목 중심 및 우측 발목 중심에 각각 존재할 수 있다.
제11 학습 대상 관절 포인트는, 발 중심으로 정의될 수 있다. 보다 구체적으로, 제11 학습 대상 관절 포인트는, 두번째 발허리뼈(2nd Metatarsal Head)에 해당하는 곳으로, 좌측 발중심 및 우측 발중심 각각에 존재할 수 있다.
제12 학습 대상 관절 포인트는, 발뒤꿈치로 정의될 수 있다. 보다 구체적으로, 제12 학습 대상 관절 포인트는, 발뒤꿈치가 바닥에 닿는 레벨로, 좌측 발뒤꿈치 및 우측 발뒤꿈치 각각에 존재할 수 있다. 제12 학습 대상 관절 포인트는, 이미지에서 피사체(U)가 완전 정면으로 서 있는 경우에는 안보일 수 있으나, 발이 약간이라도 틀어지는 경우 보일 수 있다.
제13 학습 대상 관절 포인트는, 요추커브시작(SUP. END OF LORDOSIS)으로 정의될 수 있다. 보다 구체적으로, 제13 학습 대상 관절 포인트는 Zypoid Of Sternum 레벨로 8-10T Spine정도 레벨이며, 양쪽 4번의 평균 레벨과 양쪽 8번의 평균 레벨의 Mid 레벨에서 중앙점으로 이해될 수 있다.
제14 학습 대상 관절 포인트는, 요추커브중심(Center Of Lordosis)으로 정의될 수 있다. 보다 구체적으로, 제14 학습 대상 관절 포인트는, 대략 L2-4 Spine정도 레벨이며, 13번 레벨과 양쪽 8번의 평균 레벨의 Mid 레벨에서 중앙점으로 이해될 수 있다.
제15 학습 대상 관절 포인트는, 요추커브끝(INF. END OF LORDOSIS)으로 정의될 수 있다. 보다 구체적으로, 제15 학습 대상 관절 포인트는, 대략 S1-2 spine정도 레벨이며, 14번 레벨과 양쪽 8번의 평균레벨의 Mid레벨에서 중앙점을 이해될 수 있다.
한편, 제1 학습 대상 관절 포인트(P1)는 머리 중심(510)으로 정의되고, 제2 학습 대상 관절 포인트(P2)는 목 중심(520)으로 미리 정의되어 존재할 수 있다. 그리고, 제1 학습 대상 관절 포인트(P1)에는 가장 우선 순서인 제1 순서가 정의되고, 제2 학습 대상 관절 포인트(P2)에는, 상기 제2 순서보다 후순위인 제2 순서가 정의되어 존재할 수 있다.
이 경우, 피사체(U)의 좌우 각각에 대응되어 존재하는 학습 대상 관절 포인트에 대한 순서는, 신체 제1 측(ex: 좌측)에 대응되는 학습 대상 관절 포인트가, 신체 제2 측(x: 우측)에 대응되는 학습 대상 관절 포인트보다 우선할 수 있다. 예를 들어, 왼쪽 손목 중심(530)에 대응되는 학습 대상 관절 포인트(P3)에는, 오른쪽 어깨 중심(540)에 대응되는 학습 대상 관절 포인트(P4)보다 우선하는 순서가 정의되어 매칭될 수 있다.
학습부(51)는 학습 대상 운동 영상(300)으로부터 기 지정된 복수의 학습 대상 관절 포인트(P1, P2) 각각의 위치 정보(411, 412) 로서 좌표 정보를 추출할 수 있다.
좌표 정보는, 2차원 또는 3차원 좌표 중 적어도 하나를 포함할 수 있다. 2차원 좌표 정보가 추출되는 경우, 학습부(120)는 학습 대상 운동 영상(300)으로부터, 복수의 학습 대상 관절 포인트(P1, P2) 각각의 x, y축 좌표 정보를 추출할 수 있다. 이와 달리, 2차원 좌표 정보가 추출되는 경우, 학습부(120)는 학습 대상 운동 영상(300)으로부터, 복수의 학습 대상 관절 포인트(P1, P2) 각각의 x, y, z축 좌표 정보를 추출할 수 있다.
좌표 정보는 다양한 방법을 통하여 추출될 수 있다. 특히, z축의 좌표 정보는 카메라(ex: RGB카메라 등) 또는 다양한 방식의 센서(EX: 거리 측정 센서 등)로부터 추출될 수 있다. 나아가, z축의 좌표 정보는 다양한 방식의 인공지능 알고리즘을 통해, 학습 대상 영상(300)으로부터 추출될 수 있다. 인공지능 알고리즘을 통해, z축의 좌표 정보가 추출는 경우, z축의 좌표 정보가 “추정” 또는 “예측”되었다고 표현될 수 있다.
한편, 학습부(51)는 복수의 학습 대상 관절 포인트(P1, P2) 각각의 위치 정보(411, 412)가, 제1 정보 속성(410a)에 대응되는 것에 근거하여, 제1 데이터 그룹(410)으로 분류하여 제1 데이터 그룹(410)을 생성하고, 제1 데이터 그룹(410)을 포함하는 학습 데이터 세트(400)를 생성할 수 있다.
2차원 좌표 정보(x, y좌표 정보)가 추출됨을 예를 들어 살펴보면, 학습부(121)는 복수의 학습 대상 관절 포인트(P1, P2) 각각의 위치 정보(411, 412)를, x축, y축 좌표 정보가 쌍을 이룬 형태로 추출할 수 있다. 학습부(51)는 제1 학습 대상 관절 포인트(P1)의 위치 정보 “[599, 436]”을 추출하고, 제2 학습 대상 관절 포인트(P2)의 위치 정보 “[599, 436]”를 추출할 수 있다. 그리고, 학습부(51)는 상기 “[599, 436]” 및 “[599, 436]”를 포함하는 제1 데이터 그룹(410)으로 구성되는 학습 데이터 세트(400)를 생성할 수 있다.
학습부(51)는, 제1 데이터 그룹(410)을 구성하는 학습 대상 관절 포인트(P1, P2)의 위치 정보(411, 412)를 기반으로, 학습 대상 운동 영상(300)에 포함된 피사체(U)의 관절 포인트(P1, P2)의 위치를 추정하는 학습을 수행할 수 있다.
한편, 도 18c의 (b)에 도시된 것과 같이, 학습부(51)는, 복수의 학습 대상 관절 포인트(P1, P2) 각각의 위치 정보(411, 412)를, 상기 복수의 학습 대상 관절 포인트(P1, P2)들 간에 기 정의된 순서에 기반하여, 제1 데이터 그룹(410) 내에서 순차적으로 배열하여, 학습 데이터 세트(400)를 구성(생성)할 수 있다.
앞서 설명한 것과 같이, 데이터베이스(40)에는 복수의 학습 대상 관절 포인트(P1, P2)에 대한 순서가 미리 정의되어 존재할 수 있다.
학습부(51)는 데이터베이스(40)를 참조하여, 복수의 학습 대상 관절 포인트(P1, P2)의 위치 정보(411, 412)를, 학습 대상 관절 포인트(P1, P2)에 대응하는 순서에 따라 제1 데이터 그룹(410) 내에서 순차적으로 배치하여, 학습 데이터 세트(400)를 생성할 수 있다. 그리고, 이러한 학습 데이터 세트(400)는 데이터베이스(40)에 저장되어, 자세 추정을 위한 데이터베이스(40)를 구축할 수 있다.
구체적으로, 도 18c의 (b)에 도시된 것과 같이, 학습부(51)는 제1 데이터 그룹(410) 내에서, 제1 순서에 대응되는 제1 학습 대상 관절 포인트(P1)의 제1 위치 정보(411)를 우선하여 배열하고, 상기 제1 위치 정보(411)에 이어서, 제2 순서에 대응되는 제1 학습 대상 관절 포인트(P2)의 제2 위치 정보(412)를 배열할 수 있다.
한편, 학습부(51)는, 운동 영상(300)에서 학습 대상 관절 포인트(P1, P2)의 가시(visible) 여부에 근거하여, 학습 대상 관절 포인트(P1, P2)의 위치 정보(411, 412)를 제1 프로세스 및 제2 프로세스 중 어느 하나의 프로세스에 따라 추출(또는 특정)할 수 있다.
본 발명에서, 학습 대상 관절 포인트의 가시 여부는, 학습 대상 운동 영상(300)에서 학습 대상 관절 포인트(P1, P2)가 보이는지 여부를 의미하는 것으로 이해될 수 있다.
본 발명에서는, 학습 대상 운동 영상에서의 가시 가능한 관절 포인트를, “학습 대상 가시 관절 포인트”로 명명하고, 학습 대상 운동 영상에서의 비가시(invisible) 관절 포인트를 “학습 대상 비가시 관절 포인트”로 명명할 수 있다.
학습부(51)는, 학습 대상 운동 영상(300)에, 학습 대상 관절 포인트(P1, P2)에 대응하는 피사체(U)의 신체 일부가 포함되어 있으면, 학습 대상 운동 영상(300)에서 학습 대상 관절 포인트가 보이는 것으로 판단할 수 있다.
학습부(51)는, 학습 대상 운동 영상(300)에서 학습 대상 관절 포인트(P1, P2) 가 보이는 것에 근거하여, 제1 프로세스에 따라, 학습 대상 운동 영상(300)으로부터, 학습 대상 관절 포인트(P1, P2)가 위치하는 실제 위치의 위치 정보를 추출할 수 있다.
본 발명에서는 제1 프로세스에 따라 추출된 학습 대상 관절 포인트(P1, P2)의 위치 정보를, “제1 타입의 정보(제1 타입의 위치 정보)” 또는 “실체 위치 정보”로 명명하여 설명할 수 있다.
반면에, 학습부(51)는 운동 영상(300)에 학습 대상 관절 포인트(P1, P2)에 대응하는 피사체(U)의 신체 일부가 포함되어 있지 않으면, 학습 대상 운동 영상(300)에서 학습 대상 관절 포인트(P1, P2)가 보이지 않는 것으로 판단할 수 있다.
학습부(51)는, 운동 영상(300)에서 학습 대상 관절 포인트(P1, P2)가 보이지 않는 것에 근거하여, 제2 프로세스에 따라, 학습 대상 관절 포인트(P1, P2)의 예상 위치를 예측하여, 예측 위치 정보를 추출(또는 특정)할 수 있다.
본 발명에서는 제2 프로세스에 따라 추출된 학습 대상 관절 포인트(P1, P2)의 위치 정보를, “제2 타입의 정보(제2 타입의 위치 정보)” 또는 “예측 위치 정보”로 명명하여 설명할 수 있다.
이와 같이, 본 발명에서, 제1 데이터 그룹(410)에 포함된 복수의 위치 정보(411, 412)는, 학습 대상 운동 영상(300)에서 복수의 학습 대상 관절 포인트(P1, P2)의 가시(visible) 여부에 따라, 추출 프로세스 및 타입 정보가 서로 다르게 정의될 수 있다.
한편, 제2 프로세스는, 운동 영상(300)에서 보이지 않는 학습 대상 관절 포인트(P1, P2)의 예상 위치 정보를 추출(특정)하는 다양한 데이터 처리를 포함할 수 있다.
예를 들어, 제2 프로세스에 따라 예상 위치 정보를 추출하는 학습부(51)는, 운동 영상(300)에서 보이는 학습 대상 관절 포인트의 실제 위치 정보에 근거하여, 운동 영상(300)에서 보이지 않는 학습 대상 관절 포인트(P1, P2)의 예측 위치 정보를 예측할 수 있다.
이 경우, 학습부(51)는 운동 영상(300)에서 보이는 복수의 학습 대상 관절 포인트(P1, P2)에 대해, 운동 영상(300)에서 보이지 않는 학습 대상 관절 포인트(P1, P2)와의 연관성에 근거한 가중치를 부여하여, 예측 위치 정보를 특정할 수 있다.
예를 들어, 학습 대상 관절 포인트 사이의 연관성은, 학습 대상 관절 포인트(P1, P2)에 대응되는 순서가 가까울수록 높게 설정될 수 있다. 제3 순서에 대응되는 학습 대상 관절 포인트와의 연관성은, 제2 순서에 대응되는 학습 대상 관절 포인트가, 제1 순서에 대응되는 학습 대상 관절 포인트 보다 높게 설정될 수 있다.
다른 예를 들어, 학습 대상 관절 포인트(P1, P2) 사이의 연관성은, 피사체(U)의 좌우 각각에 대응되어 존재하는 학습 대상 관절 포인트(P1, P2) 사이에서 가장 높게 설정될 수 있다. 예를 들어, 왼쪽 손목 중심에 대응하는 학습 대상 관절 포인트(P3)와의 연관성은, 오른쪽 손목 중심에 대응하는 학습 대상 관절 포인트(P3)가 가장 높게 설정될 수 있다(도 18c의 (a) 참조).
나아가, 학습부(51)는 운동 영상(300)에서 피사체(U)가 수행하는 운동 동작의 모션(motion) 정보에 근거하여, 운동 영상(300)에서 보이지 않는 학습 대상 관절 포인트(P1, P2)의 예측 위치 정보를 추출할 수 있다.
데이터베이스(40)에는, 운동 동작에 따른 신체(또는 관절 포인트)의 이동 경로(ex: 이동 위치, 이동 방향)를 포함하는 모션 정보가 저장되어 존재할 수 있다.
학습부(51)는, 운동 영상(300)에서 보이는 학습 대상 관절 포인트(P1, P2)의 위치 정보 및 데이터베이스(40)의 모션 정보를 참조하여, 운동 영상(300)에서 보이지 않는 학습 대상 관절의 예상 위치 정보를 특정할 수 있다.
한편, 도 18c에 도시된 것과 같이, 복수의 데이터 그룹(410 내지 450) 중 제2 데이터 그룹(420)은, 운동 영상(300)에 포함된 피사체(U)의 학습 대상 관절 포인트(P1, P2)의 가시(visible) 여부를 나타내는 데이터 값(value, 421, 422)으로 이루어질 수 있다.
도 15에 도시된 것과 같이, 제2 데이터 그룹(420)에 포함된 데이터(421, 422)의 데이터 값은, 학습 대상 관절 포인트(P1, P2)의 가시 여부에 대응하여, 제1 데이터 값(ex: “1”) 및 제2 데이터 값(ex: “2”) 중 어느 하나로 이루어질 수 있다.
제1 데이터 값(ex: “1”)을 갖는 데이터는, 운동 영상(300)에서 학습 대상 관절 포인트(P1, P2)가 보이는 것을 나태나는 데이터로, 제1 데이터 그룹(410)에 포함된 위치 정보가 제1 타입(실제 위치 정보)임을 나타내는 정보로 이해될 수 있다.
학습부(51)는, 운동 영상(300)에서 학습 대상 관절 포인트(P1, P2)가 보이는 경우, 학습 대상 관절 포인트의 제1 타입의 위치 정보(실제 위치 정보)를 추출할 수 있다. 학습부(51)는 운동 영상(300)으로부터 제1 타입의 위치 정보(실제 위치 정보)를 추출한 것에 근거하여, 제2 데이터 그룹(420)에 제1 데이터 값(ex: “1”)을 갖는 데이터를 포함시켜 학습 데이터 세트(400)를 생성(구성)할 수 있다.
반면에, 제2 데이터 값(ex: “2”)은, 운동 영상(300)에서 학습 대상 관절 포인트(P1, P2)가 보이지 않는 것을 나타내는 데이터로, 제1 데이터 그룹(410)에 포함된 위치 정보가 제2 타입(예측 위치 정보)임을 나타내는 정보로 이해될 수 있다.
학습부(51)는, 운동 영상(300)에서 학습 대상 관절 포인트가 보이지 않는 경우, 학습 대상 관절 포인트의 제2 타입의 위치 정보(실제 위치 정보)를 추출(또는 특정)할 수 있다. 학습부(51)는 운동 영상(300)으로부터 제2 타입의 위치 정보(예측 위치 정보)를 추출(또는 특정)한 것에 근거하여, 제2 데이터 값(ex: “2”)을 갖는 데이터를, 제2 데이터 그룹(420)에 포함시켜습 데이터 세트(400)를 생성(구성)할 수 있다.
한편, 도 18c의 (b)에 도시된 것과 같이, 학습부(51)는, 제2 데이터 그룹(420)에 포함된 데이터(또는 데이터 값, 421, 422)는, 복수의 학습 대상 관절 포인트(P1, P2) 각각의 가시 여부를 나타내도록, 복수의 학습 대상 관절 포인트 각각의 위치 정보(411, 412)가 배열된 기 정의된 순서와 동일한 순서로, 제2 데이터 그룹(420) 내에서 배열하여, 학습 데이터 세트(400)를 생성(구성)할 수 있다.
학습부(51)는, 복수의 학습 대상 관절 포인트 각각의 가시 여부를 나태내는 데이터(421, 422)를, 복수의 학습 대상 관절 포인트(P1, P2)들 간에 기 정의된 순서에 기반하여, 제2 데이터 그룹(420) 내에서 순차적으로 배열할 수 있다.
예를 들어, 도 18c의 (b)에 도시된 것과 같이, 학습부(51)는, 제1 학습 대상 관절 포인트(P1)가 운동 영상(300)에서 보이는 것에 근거하여, 제2 데이터 그룹(420) 내에서, 제1 학습 대상 관절 포인트(P1)에 대응되는 제1 순서상에, 제1 데이터 값(ex: “1”)을 갖는 데이터(421)를 배열할 수 있다.
그리고, 비록 도 18c의 (a) 도면에서는, 제2 학습 대상 관절 포인트(P2)가 운동 영상(300)에서 보이는 것으로 도시되어 있으나, 제2 학습 대상 관절 포인트(P2)가 운동 영상(300)에서 보이지 않는다고 가정하자. 학습부(51)는, 제2 학습 대상 관절 포인트(P2)가 운동 영상(300)에서 보이는 것에 근거하여, 제2 학습 대상 관절 포인트(P2)에 대응되는 제2 순서상에, 제2 데이터 값(ex: “2”)을 갖는 데이터(422)를 배열할 수 있다.
한편, 본 발명에서, 제1 데이터 그룹(410)에 포함된 위치 정보에 대한 타입의 정의는, 제2 데이터 그룹(420)에 포함된 데이터가 갖는 데이터 값에 의해 이루어지는 것으로 이해될 수 있다.
도 15에 도시된 것과 같이, 제2 데이터 그룹(420) 내에, 제1 순서에 배열된 데이터(421)는 제1 데이터 값(ex: “1”)을 갖고, 제2 순서에 배열된 데이터(422)는 제2 데이터 값(ex: “2”)을 갖는 경우를 가정하자.
본 발명에서는, 제2 데이터 그룹(420) 내에, 제1 순서에 배열된 데이터(421)가 제1 데이터 값(ex: “1”)을 갖는 것에 근거하여, 제1 데이터 그룹(410) 내에서 제1 순서에 배열된 위치 정보(411)의 타입을, 제1 타입의 위치 정보(실제 위치 정보)로 정의될 수 있다.
반면에, 제2 데이터 그룹(420) 내에, 제2 순서에 배열된 데이터(422)가 제2 데이터 값(ex: “2”)을 갖는 것에 근거하여, 제1 데이터 그룹(410) 내에서 제2 순서에 배열된 위치 정보(411)의 타입을, 제2 타입의 위치 정보(예측 위치 정보)로 정의될 수 있다.
한편, 본 발명에 따른 자세 추정 모델(52)은, 제2 데이터 그룹(420)에 포함된 데이터 값에 근거하여, 제1 데이터 그룹(410)에 포함된 복수의 학습 대상 관절 포인트 각각의 위치 정보(411, 412)에 대한 학습 가중치를 다르게 설정하여, 학습을 수행할 수 있다.
구체적으로, 제2 데이터 그룹(420) 내에, 제1 순서에 배열된 데이터(421)가, 제1 데이터 값(ex: “1”)을 갖는 경우, 자세 추정 모델(52)은, 제1 데이터 그룹(410) 내에서 제1 순서에 배열된 위치 정보(411)에 대해 제1 학습 가중치를 설정하여 학습을 수행할 수 있다.
반면에, 제2 데이터 그룹(420) 내에, 제2 순서에 배열된 데이터(422)가, 제2 데이터 값(ex: “2”)을 갖는 경우, 자세 추정 모델(52)은, 제1 데이터 그룹(410) 내에서 제2 순서에 배열된 위치 정보(412)에 대해 제2 학습 가중치를 설정하여 학습을 수행할 수 있다.
즉, 자세 추정 모델(52)은, 제2 데이터 그룹(420)의 데이터 값에 근거하여, 제1 타입의 위치 정보(실제 위치 정보)와, 제2 타입의 위치 정보(예측 위치 정보) 각각에 서로 다른 학습 가중치를 설정하여 학습을 수행할 수 있다.
이 경우, 자세 추정 모델(52)은, 제1 학습 가중치를 제2 학습 가중치보다 높게 설정할 수 있다.
한편, 도 18b에 도시된 것과 같이, 복수의 데이터 그룹(410 내지 450)은 운동 영상(300)에 포함된 피사체에 대한 촬영 방향과 관련된 정보를 포함하는 제3 데이터 그룹(430)을 더 포함할 수 있다. 제3 데이터 그룹(430)에는, 운동 영상(300)에 포함된 피사체(U)가 촬영된 촬영 방향을 나타내는 데이터 값(value)으로 이루어질 수 있다.
도 18e의 (a)에 도시된 것과 같이, 피사체(U)는, 서로 다른 촬영 방향(ex: “정면” 또는 “측면”)에서 촬영될 수 있다.
여기에서 “촬영 방향”은, 피사체(U)에 대한 카메라(도 11에서 도면부호 “201” 참조) 축의 방향으로 이해될 수 있다. 여기에서, 카메라(201)는, 피사체(U)가 포함된 운동 영상(300)을 촬영한 카메라(201)로 이해될 수 있다. 이러한 카메라(201)는 사용자 단말(10, 20)에 구비된 카메라(201)를 포함할 수 있다.
도 18e (b)에 도시된 제3 데이터 그룹(430)에 포함된 데이터 값은, 피사체(U)에 대한 촬영 방향에 대응하여, 서로 다른 데이터 값(ex: “0” 또는 “1”)을 가질 수 있다. 제3 데이터 그룹에 포함된 데이터 값은, 상기 피사체를 촬영한 카메라를 기준으로 하는, 상기 피사체의 촬영 방향에 따라 서로 다른 데이터 값을 갖도록 이루어질 수 있다. 이하에서는 제2 데이터 그룹(420)에 포함된 데이터 값과의 용어 혼동을 피하기 위하여, 촬영 방향에 대응하는 데이터 값을, “데이터 객체 값”으로 명명하여 설명하도록 한다.
제1 데이터 객체 값(ex: “0”)을 갖는 데이터는, 학습 대상 운동 영상(300)에 대한 촬영 방향이 제1 방향(ex: 정면 방향)을 나타내는 데이터로 이해될 수 있다(도 18e의 (b) 참조).
학습부(51)는, 학습 대상 운동 영상(300)에 포함된 피사체(U)에 대한 촬영 방향이, 제1 방향(ex: 정면 방향)에 해당하는 것에 근거하여, 제3 데이터 그룹(430)에 제1 데이터 객체 값(ex: “0”)을 갖는 데이터를 포함시켜 학습 데이터 세트(400)를 생성할 수 있다.
반면에, 제2 데이터 객체 값(ex: “1”)은, 운동 영상(300)에 대한 촬영 방향이 제1 방향과는 다른 제2 방향(ex: 측면 방향)을 나타내는 데이터로 이해될 수 있다(도 18e의 (b) 참조).
학습부(51)는, 운동 영상(300)에 포함된 피사체(U)에 대한 촬영 방향이, 제2 방향(ex: 측면 방향)에 해당하는 것에 근거하여, 제3 데이터 그룹(430)에 제2 데이터 객체 값(ex: “1”)을 갖는 데이터를 포함시켜 학습 데이터 세트(400)를 생성할 수 있다.
나아가, 비록 도시되지는 않았지만, 제3 데이터 객체 값(ex: “2”)은, 운동 영상(300)에 대한 촬영 방향이 제1 방향 및 제2 방향과는 다른 제3 방향(ex: 사선 방향)을 나태나는 데이터로 이해될 수 있다.
학습부(51)는 학습 대상 운동 영상(300)에 포함된 피사체(U)에 대한 촬영 방향이, 제3 방향(ex: 사선 방향)에 해당하는 것에 근거하여, 제3 데이터 그룹(430)에 제3 데이터 객체 값(ex: “2”)을 갖는 데이터를 포함시켜 데이터베이스(40)에 저장할 수 있다.
한편, 본 발명에서 설명되는 제1 방향 내지 제3 방향은, 피사체(U)와 카메라(201) 축이, 기 설정된 방향(ex: 시계 방향)을 기준으로 이루는 각도가, 제1 범위 내지 제3 범위 각각에 대응되는 경우로 이해될 수 있다.
예를 들어, 제1 방향은, 피사체(U)와 카메라(201) 축이 이루는 각도가, 제1 각도에서 상기 제1 각도 보다 큰 제2 각도 범위 사이에 대응하는 것으로 이해될 수 있다. 제2 방향은, 피사체(U)와 카메라(201) 축이 이루는 각도가 제2 각도에서 제2 각도 보다 큰 제3 각도 범위 사이에 대응하는 것으로 이해될 수 있다. 그리고, 제3 방향은, 피사체(U)와 카메라(201) 축이 이루는 각도가 제2 각도에서 제2 각도 보다 큰 제3 각도 범위 사이에 대응하는 것으로 이해될 수 있다.
한편, 학습부(51)는, 피사체(U)와 카메라(201) 축이, 기 설정된 방향(ex: 시계 방향)을 기준으로 이루는 각도(또는 각도 값)를, 제3 데이터 그룹(430)에 포함된 데이터의 데이터 값으로 구성할 수 있다. 예를 들어, 피사체(U)와 카메라(201) 축이 시계 방향을 기준을 직각을 이루는 경우, 학습부(51)는 “90”의 데이터 값을 제3 데이터 그룹(430)의 데이터로 구성할 수 있다. 한편, 학습부(51)는, 제3 데이터 그룹(430)에 포함된 촬영 방향 정보가 서로 다른 학습 데이터 세트(400)를 연계하여, 피사체(U)의 자세 추정을 위한 학습을 수행할 수 있다.
예를 들어, 제3 데이터 그룹(430)에 포함된 데이터가, 제1 데이터 객체 값(ex: “0”)을 갖는 제1 학습 데이터 세트와, 제2 데이터 객체 값(ex: “1”)을 갖는 제2 학습 데이터 세트가 존재한다고 가정하자. 학습부(51)는 제1 데이터 세트에 포함된 제1 데이터 그룹(410)의 위치 정보와, 제2 데이터 세트에 포함된 제1 데이터 그룹의 위치 정보를 서로 연계하여, 피사체(U)의 자세 추정에 대한 학습을 수행할 수 있다.
한편, 학습부(51)는, 제1 방향에서 촬영된 분석 대상 운동 영상으로부터 피사체(U)의 운동 자세를 추정하는 경우, 제1 방향에서 촬영된 학습 대상 운동 영상(300)에서 촬영된 학습 대상 운동 영상(300)에 대해 학습을 수행한 자세 추정 모델에 기반하여, 피사체(U)의 운동 자세를 추정할 수 있다.
본 발명에 따른 운동 치료 제공 시스템(1000)은 분석 대상 운동 영상의 촬영 방향에 대응하는 촬영 방향 정보(데이터 객체 값 또는 데이터 값)을 포함하는 학습 데이터 세트(400)를 이용하여 학습된 자세 추정 모델로부터 추출되는 키포인트에 기반하여, 피사체(U)의 운동 동작을 분석할 수 있다.
한편, 동작 분석부(120, 210)는 제1 방향에서 촬영된 분석 대상 운동 영상(300)으로부터 피사체(U)의 운동 자세를 추정하는 경우, 제1 방향 및 제2 방향 각각에서 촬영된 학습 대상 운동 영상(300)에 대해 학습을 수행한 자세 추정 모델로부터 추정되는 자세 추정 정보를 이용하여, 피사체(U)의 운동 동작을 분석할 수 있다.
즉, 동작 분석부(120, 210)는, 제1 촬영 방향으로 촬영된 분석 대상 운동 영상(300)으로부터 피사체(U)의 운동 동작이 촬영되는 경우, 제1 촬영 방향에 대응하는 데이터 객체 값을 포함하는 제1 학습 데이터 세트 및, 상기 제1 촬영 방향과는 다른 제2 촬영 방향에 대응하는 데이터 객체 값을 포함하는 제2 학습 데이터 세트에 대해 학습을 수행한 자세 추정 모델로부터 추정되는 자세 추정 정보를 이용하여, 피사체(U)의 운동 동작을 분석할 수 있다. 이 경우, 자세 추정 모델(52)은, 제1 학습 데이터 세트에 대해 가중치를 설정하여 학습을 수행한 자세 추정 모델에 해당할 수 있다.
이와 같이, 자세 추정 모델(52)은, 학습 대상 영상에 포함된 피사체의 촬영 방향에 따라 서로 다른 데이터 값을 갖는 상기 학습 데이터 세트를 통해, 상기 피사체의 촬영 방향이 고려되어 학습되도록 이루어질 수 있다. 나아가, 사용자의 운동 동작 분석 결과는, 자세 추정 모델에서 상기 운동 영상에 포함된 상기 사용자의 촬영 방향이 고려되어 추출된 자세 추정 정보에 기반하여, 상기 사용자의 특정 운동 동작이 분석된 결과일 수 있다.
한편, 도 18b에 도시된 것과 같이, 복수의 데이터 그룹 중 제4 데이터 그룹(440)은, 학습 대상 운동 영상(300)에 포함된 피사체(U)가 수행하는 운동 동작에 매칭된 운동 코드(Code)를 포함할 수 있다.
도 18f에 도시된 것과 같이, 데이터베이스(40)에는, 서로 다른 복수의 운동 동작(710, 720, 730) 각각에는, 서로 다른 운동 코드(ex: “502”, “503”, “504”)가 매칭되어 존재할 수 있다.
본 발명에서 설명되는 “운동 코드”는, 서로 다른 운동 동작을 구분하는 데이터 값으로, “운동 키(Key)”, “동작 코드”, “동작 키” 와 혼용되어 사용될 수 있다.
학습부(51)는, 제4 데이터 그룹(440)에, 학습 대상 운동 영상(300)에 포함된 피사체(U)가 수행하는 특정 운동 동작(ex: “한발 서서 앞으로 발 뻗기”, 710)에 매칭된 특정 운동 코드(“502”)를 포함시켜 학습 데이터 세트(400)를 생성할 수 있다.
학습부(51)는, 동일한 운동 코드를 포함하는 복수의 학습 데이터 세트(400)를 서로 연계하여, 자세 추정을 위한 학습을 수행할 수 있다.
예를 들어, 제1 학습 대상 운동 영상에 기반한 제1 학습 데이터 세트와, 제2 학습 대상 운동 영상(300)에 기반한 제2 학습 데이터 세트가, 존재한다고 가정하자. 학습부(51)는 제1 학습 데이터 세트와 제2 학습 데이터 세트에 포함된 운동 코드(ex: 502)가 동일한 것에 근거하여, 제1 학습 데이터 세트와 제2 학습 데이터 세트를 서로 연계하여, 자세 추정을 위한 학습을 수행할 수 있다.
이러한 운동 코드는, 사용자 단말(10, 20)로부터 수신된 정보, 시스템 관리자 또는 학습부(51) 중 적어도 하나에 의해 피사체(U)가 수행하는 운동 동작이 특정되는 것에 근거하여, 제4 데이터 그룹(440)에 포함될 수 있다.
학습부(51)는, 사용자 단말(10, 20)로부터 수신되는 정보에 근거하여, 피사체(U)가 수행하는 운동 동작을 특정할 수 있다. 예를 들어, 학습부(51)는 사용자 단말(10, 20)로부터 “운동 시작”에 대응되는 그래픽 객체가 선택되는 것에 근거하여, 사용자 단말(10, 20)에 구비된 카메라(201)가 운동 영상을 촬영하도록, 카메라(201) 상태를 활성화 상태로 제어할 수 있다.
이 경우, 그래픽 객체는, 특정 운동 동작에 대응될 수 있으며, 학습부(51)는 사용자 단말(10, 20)로부터 수신되는 운동 영상(300)에 포함된 피사체(U)가, 특정 운동 동작을 수행한 것으로 판단할 수 있다.
나아가, 학습부(51)는, 시스템 관리자가 입력하는 정보에 근거하여, 피사체(U)가 수행하는 운동 동작을 특정할 수 있다.
나아가, 학습부(51)는, 운동 영상(300)에 포함된 피사체(U)의 학습 대상 관절의 위치 정보에 근거하여, 피사체(U)가 수행하는 운동 동작을 특정할 수 있다. 이 경우, 데이터베이스(40)에 저장된 운동 동작에 대한 모션 정보를 참조하여, 피사체(U)가 수행하는 운동 동작을 특정할 수 있다.
한편, 학습부(51)는 제4 데이터 그룹(440)에 포함된 운동 코드를 기준으로, 동일한 운동 코드를 포함하는 복수의 학습 데이터 세트(400)를 서로 매칭하여, 데이터베이스(40) 상에 저장할 수 있다.
이 경우, 학습부(51)는 학습 코드를 기준으로, 데이터베이스(40)의 메모리(또는 메모리 공간)을 구분하여 할당할 수 있다. 본 발명에서, 데이터베이스(40)의 메모리(또는 메모리 공간)을 구분한다는 것은, 운동 코드를 기준으로 데이터베이스(40) 상에 폴더(folder)를 생성하는 것으로 이해할 수 있다. 그리고, 학습부(51)는 특정 운동 코드에 대응하는 폴더 내에, 특정 운동 코드를 포함하는 학습 데이터 세트(400)를 저장할 수 있다.
한편, 동작 분석부(120, 210)는, 분석 대상 운동 영상에서, 피사체(U)가 수행하는 특정 운동 동작에 대응하는 운동 코드를 포함하는 학습 데이터 세트를 이용하여 학습된 자세 추정 모델로부터 추정되는 자세 추정 정보를 이용하여, 운동 동작을 분석할 수 있다.
나아가, 동작 분석부(120, 210)는, 분석 운동 대상에 포함된 피사체(U)와 동일한 특정 운동 동작과 관련된 학습 대상 운동 영상(300)에 기반하여 학습된 자세 추정 모델로부터 추정된 자세 추정 정보를 이용하여, 이용하여, 특정 운동 동작에 대한 피사체(U)의 운동 동작을 추정할 수 있다.
한편, 도 18c에 도시된 것과 같이, 복수의 데이터 그룹(410 내지 450) 중 제5 데이터 그룹(450)은, 학습 대상 운동 영상(300)에 포함된 피사체(U)에 대한 바운딩 박스(bounding box, 301)의 사이즈(Size) 정보(451) 및 상기 바운딩 박스(301) 중심의 위치 정보(452)를 포함할 수 있다.
본 발명에서, 바운딩 박스(301)의 “사이즈 정보”는, “스케일(scale)”과 혼용될 수 있다.
학습부(51)는, 학습 대상 운동 영상(300)에서 탐지된 피사체(U)에 대응되는 바운딩 박스(301)의 사이즈 정보(451)을 추출하고, 바운딩 박스(301)의 중심 위치 정보(452)를 추출하고, 이를 제5 데이터 그룹(450)에 포함시켜 학습 데이터 세트(400)를 생성할 수 있다.
앞서 설명한 것과 같이, 학습부(51)는, 학습 대상 운동 영상(300)으로부터 피사체(U)를 탐지하기 위하여, 다양한 객체 탐지(Object Detection)를 위한 알고리즘을 이용할 수 있다. 예를 들어, 학습부(51)는 예를 들어, 복수의 바운딩 박스(Bounding Box)를 앙상블(ensemble)하는 알고리즘(Weighted Box Fusion, WBF)을 이용할 수 있다. 다만, 학습부(51)는 상술한 객체 탐지 알고리즘에 한정되지 않고, 학습 대상 운동 영상(300)으로부터 피사체(U)에 대응하는 객체를 탐지할 수 있는 다양한 객체 탐지 알고리즘을 이용할 수 있음은 당연하다.
학습부(51)는, 객체 탐지 알고리즘에 기반하여, 학습 대상 영상(300)으로부터 피사체(U)에 대응하는 바운딩 박스의 사이즈 정보(451) 및 중심 위치 정보(452)를 추출하고, 상기 사이즈 정보(451) 및 중심 위치 정보(452)를 제5 데이터 그룹(450)에 포함시켜, 학습 데이터 세트(400)를 생성할 수 있다.
이 경우, 학습부(51)는 바운딩 박스(301)의 중심 위치 정보(452)를, x축, y축 좌표 정보가 쌍을 이룬 형태로 추출할 수 있다.
한편, 학습부(51)는, 학습 대상 운동 영상(300)의 영상 식별 정보를 포함시켜 학습 데이터 세트(400)를 구성할 수 있다.
여기에서, “영상 식별 정보”는, 학습 데이터 세트에 포함된 정보가 추출된 영상(300)을 식별하기 위한 정보로, 예를 들어, 학습 대상 운동 영상(300)의 파일명 정보, 파일 포맷 타입 정보(또는 확장자 정보, ex: “JPG”, “TIF”)를 포함할 수 있다.
본 발명에서는, 영상 식별 정보를, 제6 정보 속성에 대응하는 제6 데이터 그룹으로 명명할 수 있다.
학습부(51)는, 영상 식별 정보로 구성된 제6 데이터 그룹을 포함시켜, 학습 데이터 세트(400)를 생성할 수 있다.
한편, 본 발명에서는, 자세 추정 모델(52)에 기반하여 추출된 자세 추정 정보를 통해, 분석 대상 운동 영상에 포함된 사용자의 운동 동작에 대한 분석이 완료되는 것에 근거하여, 운동 동작 분석 결과를 사용자 단말(200)에 제공할 수 있다.
도 19의 (a)에 도시된 것과 같이, 제어부(130)는 사용자 단말(200)로부터 “운동 시작”에 대응되는 그래픽 객체(210)가 선택되는 것에 근거하여, 사용자 단말(200)에 구비된 카메라(201)가 분석 대상 운동 영상을 촬영하도록, 카메라 상태를 활성화 상태로 제어할 수 있다. 그리고, 제어부(130)는 카메라(201)로부터 촬영된 분석 대상 운동 영상을 실시간 또는 사용자의 운동이 완료되는 것에 근거하여, 사용자 단말(200)로부터 수신할 수 있다.
도 19의 (b)에 도시된 것과 같이, 제어부(130)는, 자세 추정 모델(52)에 기반하여, 분석 대상 영상에 포함된 사용자의 운동 동작에 대한 분석이 완료되는 것에 근거하여, 분석 결과를 이용한 운동 동작 분석 결과를 사용자 단말(200)에 제공할 수 있다. 제어부(130)에 의해 사용자 단말(200) 상에 제공되는 운동 동작 분석 결과는, 다양한 정보를 포함할 수 있다. 예를 들어, 제어부(130)는, 사용자에 대응하는 피사체(U)에, 관절 포인트(P1, P2)에 대응하는 그래픽 객체를 렌더링(rendering)하여 사용자 단말(200) 상에 제공할 수 있다. 이 경우, 제어부(130)는 피사체(U)의 관절 가동 범위 정보(각도 정보, 221)를 함께 제공할 수 있다.
나아가, 도 19의 (c)에 도시된 것과 같이, 제어부(130)는 특정 운동 자세(ex: “옆으로 팔 벌리기”, 810)을 수행하는 피사체(U)의, 복수의 관절 포인트 별 운동 자세 정보(820)를 사용자 단말(200) 상에 제공할 수 있다. 예를 들어, 제어부(130)는, 사용자의 제1 측(ex: 왼쪽)에 위치하는 관절 포인트의 관절 가동 범위 및 제2 측(ex: 오른쪽)에 위치하는 관절 포인트의 관절 가동 범위를 사용자 단말(200) 상에 제공할 수 있다.
한편, 제어부(130)는 사용자의 특정 운동 동작에 대한 동작 분석 결과에 기반하여, 사용자에게 적어도 하나의 운동 동작을 포함하는 운동 플랜(또는 운동 프로그램)을 처방(제공)할 수 있다.
예를 들어, 도 20의 (a)에 도시된 것과 같이, 제어부(130)는, 운동 동작 분석 결과에 기반하여, 운동 플랜(또는 운동 프로그램)에 운동 동작을 추가하고, 추가된 운동 동작을 포함하는 운동 플랜(또는 운동 프로그램)에 대한 정보를 포함하는 서비스 페이지(910)를 사용자 단말(200) 상에 제공할 수 있다.
다른 예를 들어, 도 20의 (b)에 도시된 것과 같이, 제어부(130)는, 동작 분석 자세 결과에 기반하여, 운동 플랜(또는 운동 프로그램)의 난이도를 조절하고, 조절된 나이도에 대한 정보를 포함하는 서비스 페이지(920)를 사용자 단말(200) 상에 제공할 수 있다.
또 다른 예를 들어, 도 20의 (c)에 도시된 것과 같이, 제어부(130)는, 운동 동작 분석 결과에 기반하여, 운동 플랜(또는 운동 프로그램)에서 운동 동작 일부를 제외하고, 운동 동작이 제외되었음을 안내하는 서비스 페이지(930)를 사용자 단말(200) 상에 제공할 수 있다.
한편, 본 발명에서는, 앞서 살펴본 동작 분석부(120, 210)에 기반하여, 환자의 운동 동작에 대한 분석이 완료되는 것에 근거하여, 운동 동작 분석 결과를 환자 단말기(10)에 제공할 수 있다. 도 21a, 도 21b 및 도 21c에 도시된 것과 같이, 운동 동작 분석 결과는, 환자 단말기(10)에 설치된 운동 치료 애플리케이션(100)을 통해, 제공될 수 있다.
도 21a의 (a)에 도시된 것과 같이, 운동 치료 애플리케이션(100)은, 본 발명에서 제공하는 복수의 서비스 각각에 접근 가능하도록 이루어진 서비스 페이지를, 환자 단말기(10) 상에 제공할 수 있다. 예를 들어, 상기 서비스 페이지는, i) 환자 계정에 할당된 운동 플랜에 대한 운동 가이드 정보 제공 기능에 연계된 운동 가이드 페이지, ii) 환자 계정에 할당된 운동 플랜 수행과 관련된 운동 페이지(도 21a의 (b) 참조), iii) 기능 평가에 연계된 기능 평가 페이지(도 21a의 (c) 참조) 및 iv) 운동 플랜 평가 기능에 연계된 플랜 평가 페이지 중 적어도 하나에 접근 가능하도록 이루어질 수 있다.
나아가, 도 21b에 도시된 것과 같이, 운동 치료 애플리케이션(100)은, 운동 동작 분석 결과 및 운동 수행 결과에 기초한 운동 리포트를 제공하는 운동 리포트 페이지를, 환자 단말기(10) 상에 제공할 수 있다. 예를 들어, 운동 리포트 페이지에는, 운동 수행률 정보(도 21b의 (a) 및 (b) 참조) 및 운동 플랜 난이도 정보(도 21b의 (c) 참고) 중 적어도 하나를 포함할 수 있다.
나아가, 도 21c에 도시된 것과 같이, 운동 치료 애플리케이션(100)은, 환자의 운동 동작 분석 결과를 환자 단말기(10) 상에 제공할 수 있다.
도 21c의 (a)에 도시된 것과 같이, 운동 치료 애플리케이션(100)은, 특정 처방 운동(ex: “옆으로 팔 벌리기”)을 수행하는 피사체(U)의, 복수의 관절 포인트 별 운동 동작 분석 정보를 환자 단말기(10)상에 제공할 수 있다. 예를 들어, 운동 치료 애플리케이션(100)은, 환자의 제1 측(ex: 왼쪽)에 위치하는 관절 포인트의 관절 가동 범위 및 제2 측(ex: 오른쪽)에 위치하는 관절 포인트의 관절 가동 범위를 그래프로, 환자 단말기(10)상에 제공할 수 있다.
도 21c의 (b)에 도시된 것과 같이, 운동 치료 애플리케이션(100)은, 일정 기간에 운동 플랜에 따라 처방 운동을 수행한 환자의, 운동 동작 분석 결과를, 일별로 제공할 수 있다. 예를 들어, 운동 치료 애플리케이션(100)은 제1 운동일에 대응하는 관절 가동 범위 정보 및 제2 운동일에 대응하는 관절 가동 범위 정보를 제공할 수 있다. 그리고, 운동 치료 애플리케이션(100)은 제1 운동일 및 제2 운동일의 평균 관절 가동 범위를 제공할 수 있다.
도 21c의 (c)에 도시된 것과 같이, 운동 치료 애플리케이션(100)는, 운동 영상(300)에 키포인트(P1, P2)에 대응하는 그래픽 객체를 렌더링(rendering)하여 환자 단말기(10)상에 제공할 수 있다. 이 경우, 운동 치료 애플리케이션(100)은, 환자의 관절 가동 범위 정보(각도 정보)를 함께 제공할 수 있다.
한편, 본 발명에 따른 운동 치료 제공 시스템(1000)은, 의사가, 환자의 운동 플랜 수행에 대한 모니터링을 수행할 수 있도록, 환자 단말기(10)에 제공하는 운동 동작 분석 결과를 의사 단말기(20)에도 제공할 수 있다.
위에서 살펴본 것과 같이, 본 발명에 따른 인공 지능 자세 추정 모델 및 동작 분석 모델을 이용한 운동 치료 제공 시스템 및 방법은, 의사(doctor) 단말기로부터, 환자(patient)에 대한 운동과 관련된 처방 정보를 수신하고, 상기 처방 정보에 근거하여, 상기 환자의 계정에, 적어도 하나의 처방 운동을 포함하는 운동 플랜을 할당할 수 있다. 이를 통해, 근골격계 질환에 대한 운동 치료를 위해 의사와 환자의 대면이 없더라도, 의사는 환자에게 처방이 가능하고, 환자는 의사의 처방에 따른 운동 플랜을 제공받음으로써, 운동 치료에 대한 장소적, 시간적, 경제적 제약을 해결하고, 운동 치료에 대한 접근성을 높일 수 있다.
나아가, 본 발명에 따른 인공, 지능 자세 추정 모델 및 동작 분석 모델을 이용한 운동 치료 제공 시스템 및 방법은, 상기 운동 영상으로부터, 기 설정된 복수의 관절 포인트에 각각 대응되는 키포인트를 추출함으로써, 근골격계 질환의 운동 치료에 필요한 관절에 포커스(Focus)를 맞추어 사용자의 운동 동작을 분석할 수 있다.
나아가, 본 발명에 따른 인공, 지능 자세 추정 모델 및 동작 분석 모델을 이용한 운동 치료 제공 시스템 및 방법은, 관절 포인트에 대한 위치 정보를 포함하는 학습 데이터 세트(data set)를 이용하여 학습된 자세 추정 모델에 기반하여, 운동 영상에 포함된 사용자의 특정 운동 동작과 관련된 운동 동작을 분석할 수 있다. 이를 통해, 본 발명에서는 운동 영상으로부터 환자의 자세에 대한 정확한 분석이 가능하며, 특히, 환자의 관절 가동 범위, 정렬 상태 및 이탈 상태 등에 대한 정보를 획득하여 의료 서비스의 퀄리티(quality)를 향상시킬 수 있다.
나아가, 본 발명에 따른 인공, 지능 자세 추정 모델 및 동작 분석 모델을 이용한 운동 치료 제공 시스템 및 방법은, 환자의 운동 동작에 대한 분석 결과를, 상기 환자 단말기에 전송함으로써, 환자는 먼 거리에 위치하는 병원에 직접 방문하지 않더라도 운동 영상에 대한 피드백(feedback)을 제공받아 운동 치료 효과를 제공할 수 있다.
한편, 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
나아가, 컴퓨터가 읽을 수 있는 매체는, 저장소를 포함하며 전자기기가 통신을 통하여 접근할 수 있는 서버 또는 클라우드 저장소일 수 있다. 이 경우, 컴퓨터는 유선 또는 무선 통신을 통하여, 서버 또는 클라우드 저장소로부터 본 발명에 따른 프로그램을 다운로드 받을 수 있다.
나아가, 본 발명에서는 위에서 설명한 컴퓨터는 프로세서, 즉 CPU(Central Processing Unit, 중앙처리장치)가 탑재된 전자기기로서, 그 종류에 대하여 특별한 한정을 두지 않는다.
한편, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
Claims (10)
- 특정 의료진(medical staff) 계정으로 로그인된 단말기 상에서, 운동 프로그램 생성 모드를 실행하는 단계;
상기 운동 프로그램 생성 모드에서, 운동 프로그램에 포함시킬 적어도 하나의 운동 항목을 선택받는 단계;
상기 운동 프로그램에 대응되는 프로그램 정보를 설정하는 단계;
상기 운동 항목 및 상기 프로그램 정보를 포함하는 상기 운동 프로그램을 생성하는 단계;
상기 특정 의료진 계정에 연계하여 상기 운동 프로그램을 저장하는 단계; 및
상기 특정 의료진 계정으로부터, 환자(patient) 계정에 대한 처방 정보를 수신하는 것에 근거하여, 상기 운동 프로그램을 상기 환자 계정에 할당하는 단계를 포함하고,
상기 특정 의료진 계정은,
상기 특정 의료진의 직업 정보에 근거하여, 상기 운동 프로그램의 독자적 처방 권한이 존재(existence)하는 제1 타입의 의료진 계정 및 상기 운동 프로그램에 대한 독자적 처방 권한이 미존재(non-existence)하는 제2 타입의 의료진 계정 중 어느 하나로 설정되고,
상기 특정 의료진 계정의 타입이 상기 제1 타입이면 상기 환자 계정에서는, 상기 특정 의료진 계정으로부터 상기 처방 정보가 수신되는 것에 근거하여 상기 운동 항목에 대응되는 운동 영상의 재생이 가능하고,
상기 특정 의료진 계정의 타입이 상기 제2 타입이면 상기 환자 계정에서는, 상기 제1 타입의 의료진 계정으로부터 상기 운동 프로그램 처방에 대한 승인 이벤트가 발생되는 것에 근거하여 상기 운동 항목에 대응되는 상기 운동 영상의 재생이 가능하고,
상기 환자 계정에서 상기 운동 영상이 재생되는 것에 근거하여, 상기 환자 계정으로 로그인된 단말기로부터 상기 환자의 피사체를 포함하는 영상이 수신되고,
상기 수신된 영상으로부터 상기 환자의 운동 동작 분석 리포트를 생성하여 상기 특정 의료진 계정에 제공하는 것을 특징으로 하는 맞춤형 운동 치료 프로그램 생성 방법. - 제1항에 있어서,
상기 운동 항목을 선택받는 단계는,
상기 단말기 상에, 운동 치료 제공 서비스에 등록된 복수의 운동 항목을 표시하는 단계;
상기 특정 의료진 계정으로부터, 상기 복수의 운동 항목 중 적어도 하나의 운동 항목을 선택받는 단계; 및
상기 단말기 상에 상기 선택된 운동 항목을 포함한 리스트(List)를 표시하는 단계를 포함하고,
상기 운동 프로그램은, 상기 리스트에 포함된 운동 항목으로 구성되는 것을 특징으로 하는 맞춤형 운동 치료 프로그램 생성 방법. - 제2항에 있어서,
상기 운동 프로그램은,
상기 특정 의료진 계정에서만 접근 가능한 공유 비활성화 상태 및 상기 특정 의료진 계정 외 다른 의료진 계정에서도 접근 가능한 공유 활성화 상태 중 어느 하나로 설정되는 것을 특징으로 하는 맞춤형 운동 치료 프로그램 생성 방법. - 제3항에 있어서,
상기 프로그램 정보는, 상기 운동 프로그램의 공유 대상을 특정하는 정보를 포함하고.
상기 운동 프로그램에 접근 가능한 상기 다른 의료진 계정은, 상기 프로그램 정보에 근거하여 결정되는 것을 특징으로 하는 맞춤형 운동 치료 프로그램 생성 방법. - 제4항에 있어서,
상기 공유 대상을 특정하는 정보는,
상기 운동 치료 제공 서비스에 등록된 병원 정보 및 의료진 정보 중 적어도 하나로 이루어진 것을 특징으로 하는 맞춤형 운동 치료 프로그램 생성 방법. - 제5항에 있어서,
상기 운동 프로그램이 공유 활성화 상태인 경우,
상기 다른 의료진 계정으로부터 수신한 처방 정보에 근거하여, 상기 운동 프로그램을 상기 환자 계정에 할당하는 것을 특징으로 하는 맞춤형 운동 치료 프로그램 생성 방법. - 제1항에 있어서,
상기 운동 프로그램을 상기 환자 계정에 할당하는 단계는,
상기 특정 의료진 계정의 타입을 확인하는 단계; 및
상기 확인 결과, 상기 특정 의료진 계정의 타입이 상기 제1 타입이면, 상기 운동 프로그램을 상기 환자 계정에 할당하는 단계를 포함하는 것을 특징으로 하는 맞춤형 운동 치료 프로그램 생성 방법. - 제7항에 있어서,
상기 운동 프로그램을 상기 환자 계정에 할당하는 단계는,
확인 결과, 상기 특정 의료진 계정이 상기 제2 타입이면, 상기 제1 타입의 의료진 계정으로부터 상기 운동 프로그램 처방에 대한 승인 이벤트가 발생되는 것에 근거하여, 상기 운동 프로그램을 상기 환자 계정에 할당하는 것을 특징으로 하는 맞춤형 운동 치료 프로그램 생성 방법. - 특정 의료진(medical staff) 계정으로 로그인된 단말기 상에서, 운동 프로그램 생성 모드를 실행하는 제어부;
상기 운동 프로그램 생성 모드에서, 운동 프로그램에 포함시킬 적어도 하나의 운동 항목에 대한 선택을 수신하는 통신부; 및
상기 운동 프로그램이 저장되는 저장부를 포함하고,
상기 제어부는,
상기 운동 프로그램에 대응되는 프로그램 정보를 설정하고,
상기 운동 항목 및 상기 프로그램 정보를 포함하는 상기 운동 프로그램을 생성하고,
상기 특정 의료진 계정에 연계하여 상기 운동 프로그램을 상기 저장부에 저장하고,
상기 특정 의료진 계정으로부터, 환자(patient) 계정에 대한 처방 정보를 수신하는 것에 근거하여, 상기 운동 프로그램을 상기 환자 계정에 할당하고,
상기 특정 의료진 계정은,
상기 특정 의료진의 직업 정보에 근거하여, 상기 운동 프로그램의 독자적 처방 권한이 존재(existence)하는 제1 타입의 의료진 계정 및 상기 운동 프로그램에 대한 독자적 처방 권한이 미존재(non-existence)하는 제2 타입의 의료진 계정 중 어느 하나로 설정되고,
상기 특정 의료진 계정의 타입이 상기 제1 타입이면 상기 환자 계정에서는, 상기 특정 의료진 계정으로부터 상기 처방 정보가 수신되는 것에 근거하여 상기 운동 항목에 대응되는 운동 영상의 재생이 가능하고,
상기 특정 의료진 계정의 타입이 상기 제2 타입이면 상기 환자 계정에서는, 상기 제1 타입의 의료진 계정으로부터 상기 운동 프로그램 처방에 대한 승인 이벤트가 발생되는 것에 근거하여 상기 운동 항목에 대응되는 상기 운동 영상의 재생이 가능하고,
상기 환자 계정에서 상기 운동 영상이 재생되는 것에 근거하여, 상기 환자 계정으로 로그인된 단말기로부터 상기 환자의 피사체를 포함하는 영상이 수신되고,
상기 수신된 영상으로부터 상기 환자의 운동 동작 분석 리포트를 생성하여 상기 특정 의료진 계정에 제공하는 것을 특징으로 하는 맞춤형 운동 치료 프로그램 생성 시스템. - 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램으로서,
상기 프로그램은,
특정 의료진(medical staff) 계정으로 로그인된 단말기 상에서, 운동 프로그램 생성 모드를 실행하는 단계;
상기 운동 프로그램 생성 모드에서, 운동 프로그램에 포함시킬 적어도 하나의 운동 항목을 선택받는 단계;
상기 운동 프로그램에 대응되는 프로그램 정보를 설정하는 단계;
상기 운동 항목 및 상기 프로그램 정보를 포함하는 상기 운동 프로그램을 생성하는 단계;
상기 특정 의료진 계정에 연계하여 상기 운동 프로그램을 저장하는 단계; 및
상기 특정 의료진 계정으로부터, 환자(patient) 계정에 대한 처방 정보를 수신하는 것에 근거하여, 상기 운동 프로그램을 상기 환자 계정에 할당하는 단계를 수행하는 명령어들을 포함하고,
상기 특정 의료진 계정은,
상기 특정 의료진의 직업 정보에 근거하여, 상기 운동 프로그램의 독자적 처방 권한이 존재(existence)하는 제1 타입의 의료진 계정 및 상기 운동 프로그램에 대한 독자적 처방 권한이 미존재(non-existence)하는 제2 타입의 의료진 계정 중 어느 하나로 설정되고,
상기 특정 의료진 계정의 타입이 상기 제1 타입이면 상기 환자 계정에서는, 상기 특정 의료진 계정으로부터 상기 처방 정보가 수신되는 것에 근거하여 상기 운동 항목에 대응되는 운동 영상의 재생이 가능하고,
상기 특정 의료진 계정의 타입이 상기 제2 타입이면 상기 환자 계정에서는, 상기 제1 타입의 의료진 계정으로부터 상기 운동 프로그램 처방에 대한 승인 이벤트가 발생되는 것에 근거하여 상기 운동 항목에 대응되는 상기 운동 영상의 재생이 가능하고,
상기 환자 계정에서 상기 운동 영상이 재생되는 것에 근거하여, 상기 환자 계정으로 로그인된 단말기로부터 상기 환자의 피사체를 포함하는 영상이 수신되고,
상기 수신된 영상으로부터 상기 환자의 운동 동작 분석 리포트를 생성하여 상기 특정 의료진 계정에 제공하는 것을 특징으로 하는 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20230002989 | 2023-01-09 | ||
| KR1020230002989 | 2023-01-09 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102593277B1 true KR102593277B1 (ko) | 2023-10-24 |
Family
ID=88515077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230022842A KR102593277B1 (ko) | 2023-01-09 | 2023-02-21 | 맞춤형 운동 치료 프로그램 생성 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102593277B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100400792B1 (en) * | 2002-08-20 | 2003-10-08 | Virtualmd Inc | System and method for sharing medical care information using single medical care card |
| KR20160072711A (ko) * | 2014-12-15 | 2016-06-23 | 주식회사 삼육오엠씨네트웍스 | 환자별 맞춤형 트레이닝 프로그램 제공 시스템 |
| KR20200125406A (ko) * | 2019-04-26 | 2020-11-04 | 주식회사 네오펙트 | 재활기기와 연동하여 홈 재활 서비스를 제공하는 방법 및 시스템 |
-
2023
- 2023-02-21 KR KR1020230022842A patent/KR102593277B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100400792B1 (en) * | 2002-08-20 | 2003-10-08 | Virtualmd Inc | System and method for sharing medical care information using single medical care card |
| KR20160072711A (ko) * | 2014-12-15 | 2016-06-23 | 주식회사 삼육오엠씨네트웍스 | 환자별 맞춤형 트레이닝 프로그램 제공 시스템 |
| KR20200125406A (ko) * | 2019-04-26 | 2020-11-04 | 주식회사 네오펙트 | 재활기기와 연동하여 홈 재활 서비스를 제공하는 방법 및 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6640913B2 (ja) | エネルギーベース療法デバイスのパーソナライズされた画像ベースのガイダンス | |
| JP6871379B2 (ja) | 治療及び／又は運動の指導プロセス管理システム、治療及び／又は運動の指導プロセス管理のためのプログラム、コンピュータ装置、並びに方法 | |
| US20200051446A1 (en) | Classification of musculoskeletal form using machine learning model | |
| CN103732297B (zh) | 增强现实活动范围的治疗系统及其操作方法 | |
| US20180330810A1 (en) | Physical therapy monitoring algorithms | |
| KR20220033507A (ko) | 가상 또는 증강 현실을 활용하는 치료 개입을 위한 전자적 배열체 및 관련된 방법 | |
| US10922997B2 (en) | Customizing content for musculoskeletal exercise feedback | |
| US10902741B2 (en) | Exercise feedback system for musculoskeletal exercises | |
| CN103889520A (zh) | 用于非侵入式运跟踪以增强患者实施的物理康复的系统、设备和方法 | |
| Semblantes et al. | Visual feedback framework for rehabilitation of stroke patients | |
| KR102425481B1 (ko) | 재활치료를 위한 가상현실 커뮤니케이션 시스템 | |
| Yi et al. | Home interactive elderly care two-way video healthcare system design | |
| WO2022034771A1 (ja) | プログラム、方法、情報処理装置 | |
| JP6884306B1 (ja) | システム、方法、情報処理装置 | |
| JP2023168557A (ja) | プログラム、方法、情報処理装置 | |
| KR102593277B1 (ko) | 맞춤형 운동 치료 프로그램 생성 방법 및 시스템 | |
| KR102425479B1 (ko) | 사용자의 정보로 아바타를 생성하여 외부의 메타버스플랫폼에 제공하고 사용자 맞춤형 디지털치료제를 추천하는 시스템 및 방법 | |
| Vogiatzaki et al. | Maintaining mental wellbeing of elderly at home | |
| KR102566211B1 (ko) | 인공 지능 자세 추정 모델 및 동작 분석 모델을 이용한 운동 치료 제공 방법, 그리고 시스템 | |
| JP6811349B1 (ja) | 情報処理装置、方法、プログラム | |
| JP6774582B1 (ja) | 測定システム、プログラム | |
| Alexander et al. | An analysis of human motion detection systems use during elder exercise routines | |
| KR102593279B1 (ko) | 운동 자세 추정 및 동작 분석을 위한 방법 및 시스템 | |
| US20240149115A1 (en) | Method and system for providing digitally-based musculoskeletal rehabilitation therapy | |
| KR102566213B1 (ko) | 디지털 기반의 근골격계 재활 치료 제공 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |