KR102251925B1 - 근골격계 이상예측장치 및 어플리케이션 - Google Patents

근골격계 이상예측장치 및 어플리케이션 Download PDF

Info

Publication number
KR102251925B1
KR102251925B1 KR1020190086953A KR20190086953A KR102251925B1 KR 102251925 B1 KR102251925 B1 KR 102251925B1 KR 1020190086953 A KR1020190086953 A KR 1020190086953A KR 20190086953 A KR20190086953 A KR 20190086953A KR 102251925 B1 KR102251925 B1 KR 102251925B1
Authority
KR
South Korea
Prior art keywords
image
walking
musculoskeletal
unit
gait
Prior art date
Application number
KR1020190086953A
Other languages
English (en)
Other versions
KR20210009854A (ko
Inventor
강양제
유준일
Original Assignee
경상국립대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경상국립대학교 산학협력단 filed Critical 경상국립대학교 산학협력단
Priority to KR1020190086953A priority Critical patent/KR102251925B1/ko
Publication of KR20210009854A publication Critical patent/KR20210009854A/ko
Application granted granted Critical
Publication of KR102251925B1 publication Critical patent/KR102251925B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Veterinary Medicine (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

근골격계 이상예측장치는 2차원 보행영상이 입력되는 영상인식부, 입력된 보행영상을 3차원으로 변환된 보행모델을 생성하는 모션인식부, 데이터베이스에 저장된 복수의 보행모델과, 이상보행여부의 관계가 학습된 기계학습모델을 통해, 모션인식부에 의해 생성된 보행모델이 이상보행에 속하는지 여부를 판단하는 판단부를 포함한다.

Description

근골격계 이상예측장치 및 어플리케이션{Apparatus and application for predicting musculoskeletal disorders}
본 발명은 근골격계 이상예측 장치 및 어플리케이션에 관한 것이다.
최근 근감소증은 국제질병분류(International Classification of Disease, Tenth Revision, Clinical Modification (ICD-10-CM) Code, ICD-10-CM)에서 M62.84의 고유번호를 부여받게 되어 질병의 개념으로 분류되고 있어, 과거보다 더욱 많은 관련 연구가 활발히 진행되고 있다. 근감소증은 연령 증가에 따른 일반적인 감소보다, 근육량의 과도한 감소 및 근력의 저하를 의미하는 질환으로 이에 따른 신체 기능을 저하시켜 일상생활 및 신체활동의 제한 및 독립적인 생활을 어렵게 하고, 낙상, 골절을 유발할 뿐만 아니라 삶의 질을 떨어뜨리고, 사망률을 높이는 것으로 보고되고 있다.
이러한 근감소증의 원인으로 다양한 만성질환, 비만, 혹은 당뇨와 같은 대사성 질환등이 주된 관심요인으로 인식되고 있다. 하지만, 가장 많은 부분을 차지하는 근감소증의 주된 원인은 골다공증과 동반된 골근감소증(osteosarcopenia)이다. 골근감소증이 있는 노인에서 취약성 골절 (fragility fracture)이 빈번하게 발생하고, 예후 또한 불량한 것으로 조사되고 있다. 또한 이러한 환자들은 수술후, 급격한 근육량의 감소로 불량한 재활 예후뿐만 아니라 사망률 증가로 인해 환자들의 남은 기대 여명을 줄이고 있다. 그러나 수술전에 환자들이 어떠한 보행이 가능할지, 어떠한 수술법이 환자들의 보행에 이로울지에 대한 전향적 임상 연구는 불가능하다. 그러므로 이러한 환자들의 수술후, 재활 예측을 위한 많은 연구들이 진행되고 있다.
공개특허공보 제10-2008-0083803호
본 발명의 일 측면은 손쉽게 사용할 수 있는 근골격계 이상예측장치 및 어플리케이션을 제공한다.
본 발명의 일 측면은 근골격계의 이상징후를 예측할 수 있는 근골격계 이상예측장치 및 어플리케이션을 제공한다.
본 발명의 사상에 따른 근골격계 이상예측장치는 2차원 보행영상이 입력되는 영상인식부; 입력된 상기 보행영상을 3차원으로 변환된 보행모델을 생성하는 모션인식부; 데이터베이스에 저장된 복수의 보행모델과, 이상보행여부의 관계가 학습된 기계학습모델을 통해, 상기 모션인식부에 의해 생성된 상기 보행모델이 이상보행에 속하는지 여부를 판단하는 판단부;를 포함한다.
상기 모션인식부는 2차원 영상과, 이와 매칭되는 3차원 영상을 기초로 이루어진 기계학습모델을 통해, 상기 보행영상으로부터 상기 보행모델을 생성할 수 있다.
상기 모션인식부는 상기 보행영상에서 복수의 관절과, 상기 복수의 관절을 연결하는 뼈대를 인식하도록 마련될 수 있다.
본 발명의 사상에 따른 근골격계 이상예측 어플리케이션은 근골격계의 이상여부를 판단가능한 저장매체에 저장된 근골격계 이상예측 어플리케이션으로서, 상기 어플리케이션은, 보행영상이 입력되는 단계; 상기 보행영상으로부터 3차원 보행모델을 생성하는 단계; 데이터베이스에 저장된 복수의 보행모델과, 이상보행여부의 관계가 학습된 기계학습모델을 통해, 상기 생성된 보행모델이 이상보행에 속하는 지 여부를 판단하는 단계;를 포함한다.
본 발명의 일 측면에 따르면 근골격계의 이상징후를 사전에 예측 및 통지하여, 근골격계 질환의 예방치료를 통해 근골격계의 이상을 미연에 방지하할 수 있다.
본 발명의 일 측면에 따르면 사용자는 간편하게 근골격계 질환의 사전 예측이 가능하다.
본 발명의 일 측면에 따르면 보행장애가 있는 환자의 추적관찰 또는 원격재활이 가능하다.
도 1은 본 발명의 일 실시예에 따른 근골격계 이상예측장치의 블록도.
도 2는 본 발명의 일 실시예에 따른 근골격계 이상예측장치의 블록도.
도 3은 본 발명의 일 실시예에 따른 근골격계 이상예측장치에 의해 모션인식이 이루어지는 과정에 관한 도면.
도 4는 본 발명의 일 실시예에 따른 근골격계 이상예측장치 또는 근골격계 이상예측 어플리케이션의 순서도.
본 명세서에 기재된 실시예와 도면에 도시된 구성은 개시된 발명의 바람직한 일 예에 불과할 뿐이며, 본 출원의 출원시점에 있어서 본 명세서의 실시예와 도면을 대체할 수 있는 다양한 변형 예들이 있을 수 있다.
또한, 본 명세서의 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다.
또한, 본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.
또한, 본 명세서에서 사용한 “제1”, “제2” 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. “및/또는” 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 상기 용어들은 FPGA (field-programmable gate array)/ ASIC (application specific integrated circuit) 등 적어도 하나의 하드웨어, 메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수 있다.
이하에서는 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 근골격계 이상예측장치의 블록도이다.
근골격계 이상예측장치(1)는 영상을 통해 근골격계 이상을 판단하도록 마련된다. 영상은 촬영된 영상, 정지된 이미지, 움직이는 동영상을 포함할 수 있다.
근골격계 이상예측장치(1)는 촬영부(20)와 저장부(30)를 포함할 수 있다.
촬영부(20)는 카메라를 통해 영상을 얻을 수 있도록 구성된다. 촬영부(20)는 진단대상자의 전신을 촬영할 수 있다. 촬영부(20)는 진단대상자의 보행 도중의 정지된 이미지 또는 움직이는 동영상을 촬영할 수 있다.
저장부(30)는 제어부(10)의 동작을 위한 프로그램 또는 어플리케이션을 저장할 수 있고, 촬영부(20)에서 생성된 영상이 저장될 수 있다. 또한 저장부(30)에는 통신부(50)를 통해 외부기기 또는 클라우드서버로부터 수신한 데이터가 저장될 수 있다. 저장부(30)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
근골격계 이상예측장치(1)는 제어부(10)를 포함할 수 있다.
제어부(10)는 통상적으로 근골격계 이상예측장치(1)의 전반적인 동작을 제어한다. 예를 들어, 제어부(10)는 촬영부(20), 저장부(30), 디스플레이부(40), 통신부(50)의 동작을 제어할 수 있다. 제어부(10)는 저장부(30)에 저장된 근골격계 이상예측 어플리케이션을 동작시켜, 촬영된 영상으로부터 근골격계 이상예측이 이루어지도록 할 수 있다. 촬영부(20)의 동작은 근골격계 이상예측 어플리케이션에 의해 동작될 수도 있다. 즉, 근골격계 이상예측 어플리케이션은 저장부(30)에 저장된 영상을 기초로 근골격계 이상여부를 예측할 수도 있으며, 촬영부(20)를 동작시켜 촬영부(20)에 의해 촬영된 영상이 입력될 수도 있다.
근골격계 이상예측장치(1)는 디스플레이부(40)와 통신부(50)를 포함할 수 있다.
디스플레이부(40)는 근골격계 이상예측장치(1)에 마련되어, 촬영된 영상 또는 근골격계 이상예측결과가 출력될 수 있도록 구성될 수 있다.
통신부(50)는 촬영부(20)를 통해 얻은 영상을 외부기기 또는 클라우드서버, 예를 들어 의료기관의 외부기기 또는 클라우드서버로 전송할 수 있다. 통신부(50)는 외부기기 또는 클라우드서버로부터 데이터를 수신받아 제어부(10)로 전달할 수 있다. 통신부(50)는 외부기기 또는 클라우드서버와 필요한 데이터 및 제어신호등을 송수신할 수 있다. 통신부(50)는 무선통신모듈을 포함할 수 있다.
통신부(50)는 인식된 영상을 유선 또는 무선 통신으로 외부기기 또는 클라우드 서버와 송수신할 수 있다. 일 예로서, 통신부(50)는 외부기기 또는 클라우드서버와 SWAP(Shared Wireless Access Protocol), 블루투스(bluetooth), IrDA(Infrared Data Association), 지그비(zigbee), 와이파이(wifi), NFC(Near FieldCommunication), 셀룰러(cellular) 및 LTE(Long Term Evolution) 통신 규약들 중 적어도 어느 하나의 통신규약을 통해 통신할 수 있다.
근골격계 이상예측장치(1)와 외부기기는 한정되지 않으며, 전용모니터링 기기, 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 태블릿(tablet) PC, 무선전화기(wireless phone), 모바일폰(mobile phone), 스마트 폰(smart phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 내비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 영상 녹화기(digital picture recorder), 디지털 영상 재생기(digital picture player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player)를 포함할 수 있으며, 이에 한정되는 것은 아니다.
본 발명의 어플리케이션 또는 소프트웨어는 본 발명에서 도면을 참고로 설명한 동작을 실행하기 위한 명령어들(instructions)을 포함한다. 저장부(30)는 본 발명의 어플리케이션을 수행하기 위한 명령어들이 저장될 수 있다. 저장부(30)에는 로드된 명령어가 일시 저장될 수 있다. 제어부(10)는 저장부(30)에 저장되어 있거나 로드된 명령어를 실행하여 본 발명의 어플리케이션을 구동할 수 있다.
도 2는 본 발명의 일 실시예에 따른 근골격계 이상예측장치의 블록도, 도 3은 본 발명의 일 실시예에 따른 근골격계 이상예측장치에 의해 모션인식이 이루어지는 과정에 관한 도면이다.
근골격계 이상예측장치(1)는 영상인식부(60)를 포함할 수 있다.
영상인식부(60)는 저장부(30)에 저장되거나 촬영부(20)에 의해 촬영된 영상 중 인체에 관한 영상이 인식되어 입력될 수 있다. 자세하게는 영상인식부(60)는 저장되거나 촬영된 영상 중 인체의 보행에 관한 영상이 인식될 수 있다.
근골격계 이상예측장치(1)는 모션인식부(70)와 이상판단부(80)를 포함할 수 있다.
모션인식부(70)는 영상인식부(60)에 의해 인식된 보행영상에서 보행모션을 인식할 수 있다. 모션인식부(70)는 영상인식부에 의해 인식된 영상내부의 인체를, 3차원 인체구조로 재인식하거나, 관절들의 위치를 인식하여 뼈대영상으로 재인식할 수 있다.
모션인식부(70)는 2차원의 영상을 3차원구조로 재구성된 보행모델을 생성할 수 있다. 즉, 모션인식부(70)는 영상인식부(60)에 의해 인식된 2차원 보행영상을 3차원구조로 재구성된 보행모델을 생성할 수 있다. 모션인식부(70)는 보행영상의 복수의 관절과, 관절을 연결하는 뼈대를 인식하여 보행모델을 생성할 수 있다. 모션인식부(70)는 도 3의 (a)와 같은 2차원 영상으로부터 도 3의 (b)와 같은 3차원 영상으로 재구성할 수 있다. 또한 모션인식부(70)는 2차원 영상을 도 3의 (c)와 같이 3차원으로 구성된 관절과 뼈대로 재구성할 수도 있다. 모션인식부(70)에 의해 변환된 보행모델은 정지된 3차원의 영상일 수도 있고, 동작하는 3차원 영상일 수도 있다. 모션인식부(70)에서 생성된 보행모델은 이후 설명하는 판단부의 판단기초가 될 수 있다.
모션인식부(70)는 복수의 관절의 위치를 시계열에 따라 변환하고, 패턴분석을 통해 노이즈를 제거할 수 있다. 이를 통해 보다 모션인식부는 보행영상을 보다 명확하게 보행모델로 변환할 수 있다.
모션인식부(70)는 2D 이미지 또는 영상과, 이와 매칭되는 3D 영상을 기초로 기계학습을 통해 데이터세트를 구축하고, 이를 통해 기생성된 기계학습모델 또는 딥러닝모델이 적용될 수 있다. 모션인식부(70)는 오픈포즈와 같이 공개된 오픈소스가 사용될 수도 있다.
이상판단부(80)는 모션인식부(70)에 의해 인식된 보행모델을 기생성된 학습모델을 통해 이상여부를 판단할 수 있다. 이상판단부(80)에 적용되는 학습모델은 데이터베이스에 저장되는 복수의 보행영상과, 해당 보행영상이 정상보행자와 이상보행자중 어느 보행자에 속하는지의 관계를 학습한 학습모델일 수 있다. 이상판단부(80)는 기생성된 학습모델에 의해 보행모델의 이상여부를 판단할 수 있으며, 이상이 있는 신체부위 및 이상정도를 판단할 수 있다. 이상판단부(80)에 적용되는 학습모델과 모션인식부(70)에 적용되는 학습모델은 다른 학습모델일 수 있다.
근골격계 이상예측장치(1)는 결과저장부(90)를 포함할 수 있다.
결과저장부(90)는 이상판단부(80)에 의해 판단된 결과가 저장될 수 있다. 결과저장부(90)는 판단의 기초가 된 영상, 보행모델과, 판단결과가 함께 저장될 수 있다. 판단결과는 판단된 시간과 함께 시계열적으로 결과저장부(90)에 저장될 수 있다.
결과저장부(90)에 저장된 데이터들은 이후 의사의 진료참고자료로 이용될 수 있다. 또한 근골격계 이상예측장치(1)의 통신부(50)를 통해 결과저장부(90)에 저장된 데이터가 의사가 접근할 수 있는 외부기기 또는 클라우드서버로 송신되어, 의사는 수신된 데이터를 기초로 근골격계 이상여부를 판단할 수 있다.
이상판단부(80)에 적용되는 학습모델은 학습모델생성부에 의해 생성될 수 있다. 학습모델생성부는 외부기기 또는 클라우드 서버에 마련되는 데이터베이스에 저장된 정보를 기초로 알고리즘을 적용하여 기계학습이 이루어지며, 관련된 학습모델을 생성하도록 마련될 수 있다. 학습모델생성부는 데이터베이스에 저장되는 복수의 보행영상과, 해당 보행영상이 정상보행자와 이상보행자중 어느 보행자에 속하는지의 관계를 학습하는 기계학습모델을 생성하도록 마련될 수 있다. 학습모델생성부는 보행영상에서의 보행에 따른 복수의 관절의 위치와, 뼈대의 크기, 각도에 대한 정보와 이상보행여부와의 관계를 학습하는 학습모델을 생성할 수 있다. 또한 이상보행자의 보행영상의 경우, 임상적 판단정보도 함께 학습하여, 신체 중 어느 부분의 이상이 있는 지 여부에 대한 정보와 함께 학습하도록 마련될 수 있다.
학습모델생성부는 이와 같이 지도학습에 의해 학습모델을 생성할 수도 있으며, 비지도학습에 의한 학습모델을 생성할 수도 있다. 학습모델은 딥러닝모델이 적용될 수 있다. 학습모델생성부는 외부기기 또는 클라우드서버에서 저장되어 수행될 수 있다. 학습모델생성부에서 생성된 학습모델은 누적되는 데이터와 피드백을 통해 업데이트될 수 있으며, 업데이트된 학습모델은 근골격계 이상예측장치로 전송될 수 있다.
본 실시예에서는 이상판단부(80)는 근골격계 이상예측장치에서 수행되고, 이상판단부(80)에 적용되는 학습모델의 생성은 외부기기 또는 클라우드에서 수행되는 것을 설명하였다.
그러나 이에 한정되지 않고, 근골격계 이상예측장치와 외부기기, 클라우드가 하나의 시스템으로 형성될 수 있다. 이상판단부(80)와 학습모델생성부는 외부기기 또는 클라우드에서 저장되어 수행될 수도 있다. 이 경우 근골격계 이상예측장치로부터 전송된 영상인식부(70)에서의 보행영상은 통신부를 통해 외부기기 또는 클라우드서버의 이상판단부(80)로 전송되어, 판단된 결과가 재차 근골격계 이상예측장치로 전송되도록 구성될 수도 있다.
이하는 본 발명의 일 실시예에 따른 근골격계 이상장치 또는 어플리케이션의 동작에 대한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 근골격계 이상예측장치 또는 근골격계 이상예측 어플리케이션의 순서도이다.
영상인식부(60)는 촬영부(20)에 의해 촬영된 영상 또는 저장부(30)에 저장된 영상을 인식할 수 있다. 영상인식부(60)는 영상내부의 보행영상을 인식할 수 있다(S110).
모션인식부(70)는 영상인식부(60)에 의해 2차원으로 인식된 보행영상을 3차원 보행모델로 재구성할 수 있다(S120).
이상진단부는 모션인식부(70)에 의해 재구성된 보행모델을 기학습된 학습모델을 이용하여, 이상여부를 판단할 수 있다(S130).
판단된 결과는 디스플레이부(40)를 통해 출력될 수 있다. 디스플레이부(40)에는 판단에 사용된 영상과 함께 판단결과를 출력할 수 있다.
판단된 결과는 결과저장부(90)에 저장될 수 있다(S140). 판단된 결과는 판단시간과 함께 시계열적으로 저장될 수 있다. 이후 의료기관의 의사는 근골격계 이상예측장치(1)에 저장된 시간별 판단결과를 참고하여 근골격계의 이상여부를 참고하여 근골격계 이상을 진단할 수 있다. 또한 결과저장부(90)에 저장된 시간별 판단결과는 통신부(50)를 통해 외부기기 또는 클라우드서버로 전달되어, 이를 사용하는 의사 또는 의료기관이 진단대상자의 근골격계 이상진행경과를 알 수도 있다.
이를 통해 진단대상자는 근골격계 이상에 대해 정확한 진단을 받을 수 있으며, 매번 의료기관을 방문하지 않아도 근골격계 이상판단 및 경과조치를 받을 수 있게 된다.
근골격계 이상예측장치(1)는 치매, 파킨스 증후군등의 신경계 질환에 적용될 수 있다. 치매와 파킨슨등 중추 신경 이상에 대한 조기 검진 및 추적 관차로 보행 분석이 활용되고 있다. 그러나 이러한 중추 신경계 이상에 대한 조기 검진은 평소 웨어러블 디바이스나 집에서 감지할 수 있는 보행분석 솔루션이 필요하다. 근골격계 이상예측장치 또는 어플리케이션은 이러한 문제점을 해결하여 줄 수 있다.
또한 근골격계 이상예측장치(1)는 수술후 보행분석에도 적용될 수 있다. 수술 후, 보행 분석 평가는 추후 예후에 매우 중요하다. 그러나 기존의 보행 평가는 연속적인 변화를 보기에 어려움이 있었다. 근골격계 이상예측장치 또는 어플리케이션을 이용한 수술 후 보행 패턴의 평가는 이전에 시행되고 있는 설문지 형태의 모든 기능적 평가를 대신할 수 있다.
또한 근골격계 이상예측장치(1)는 소아환자보행분석에도 적용될 수 있다. 소아 환자에서 보행 패턴 분석은 매우 중요하다. 특히 소아마비, 뇌성마비의 수술적 치료 방법의 결정하는 중요한 요소이다. 그러나 소아 환자들에서 보행 평가하는 것이 매우 어렵다. 병원뿐만 아니라 퇴원 후, 원격 재활치료등에서 보행 패턴 분석에 활용될 것이다. 또한 소아들에서 바른 보행 자세가 최근 근골격계 성장에서 매우 중요한 부분으로 알려져 있다. 근골격계 이상예측장치 또는 어플리케이션은 보행 교정등에서 평가 도구로 활용될 수 있다.
이상에서는 특정의 실시예에 대하여 도시하고 설명하였다. 그러나, 상기한 실시예에만 한정되지 않으며, 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이하의 청구범위에 기재된 발명의 기술적 사상의 요지를 벗어남이 없이 얼마든지 다양하게 변경 실시할 수 있을 것이다.
1 : 근골격계 이상예측장치 10 : 제어부
20 : 촬영부 30 : 저장부
40 : 디스플레이부 50 : 통신부
60 : 영상인식부 70 : 모션인식부
80 : 이상판단부 90 : 결과저장부

Claims (4)

  1. 2차원 보행영상이 입력되는 영상인식부;
    2차원 영상과 이와 매칭되는 3차원 영상을 기초로 생성된 제1 기계학습모델을 이용하여, 상기 입력된 2차원 보행영상으로부터 3차원 보행모델을 생성하는 모션인식부;
    데이터베이스에 저장된 복수의 보행모델과, 이상보행여부의 관계가 학습된 제2 기계학습모델을 통해, 상기 모션인식부에 의해 생성된 상기 3차원 보행모델이 이상보행에 속하는지 여부를 판단하는 판단부;를 포함하는 근골격계 이상예측장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 모션인식부는 상기 2차원 보행영상에서 복수의 관절과, 상기 복수의 관절을 연결하는 뼈대를 인식하도록 마련되는 근골격계 이상예측장치.
  4. 근골격계의 이상여부를 판단가능한 저장매체에 저장된 근골격계 이상예측 어플리케이션으로서,
    상기 어플리케이션은,
    2차원 보행영상이 입력되는 단계;
    2차원 영상과 이에 매칭되는 3차원 영상을 기초로 생성된 제1 기계학습모델을 이용하여, 상기 입력된 2차원 보행영상으로부터 3차원 보행모델을 생성하는 단계;
    데이터베이스에 저장된 복수의 보행모델과, 이상보행여부의 관계가 학습된 제2 기계학습모델을 통해, 상기 생성된 3차원 보행모델이 이상보행에 속하는 지 여부를 판단하는 단계;를 포함하는 근골격계 이상예측 어플리케이션.
KR1020190086953A 2019-07-18 2019-07-18 근골격계 이상예측장치 및 어플리케이션 KR102251925B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190086953A KR102251925B1 (ko) 2019-07-18 2019-07-18 근골격계 이상예측장치 및 어플리케이션

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190086953A KR102251925B1 (ko) 2019-07-18 2019-07-18 근골격계 이상예측장치 및 어플리케이션

Publications (2)

Publication Number Publication Date
KR20210009854A KR20210009854A (ko) 2021-01-27
KR102251925B1 true KR102251925B1 (ko) 2021-05-13

Family

ID=74238523

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190086953A KR102251925B1 (ko) 2019-07-18 2019-07-18 근골격계 이상예측장치 및 어플리케이션

Country Status (1)

Country Link
KR (1) KR102251925B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240042866A (ko) 2022-09-26 2024-04-02 부산대학교 산학협력단 인공지능 기반의 척추측만증 정보 제공 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102488560B1 (ko) * 2021-02-19 2023-01-12 영남대학교 산학협력단 근감소증 진단 및 훈련 장치 및 방법
KR102529726B1 (ko) 2021-05-06 2023-05-08 주식회사 리모 인공지능 기반의 근력 예측 방법 및 장치
KR20230053828A (ko) 2021-10-15 2023-04-24 주식회사 리모 영상 데이터에 기초한 근력 예측 데이터 생성 방법 및 장치
WO2023113742A1 (en) * 2021-12-15 2023-06-22 Ondokuz Mayis Universitesi Movement analysis and patient follow-up system in multiple sclerosis patients
KR102521713B1 (ko) * 2022-09-29 2023-04-14 서울대학교산학협력단 3차원 보행신호 기반 노인성 인지장애 진단 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014123366A (ja) * 2012-12-21 2014-07-03 Honda Motor Co Ltd 歩行者姿勢分類に適用される３次元人間モデル
JP2015109972A (ja) * 2009-02-02 2015-06-18 ジョイントヴュー・エルエルシー 非侵襲性診断システム及び方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100909350B1 (ko) 2007-03-13 2009-07-24 최용재 3차원 생체역학 데이터와 파라메터 분석 방법 및 그 방법을 이용한 장치
KR102097190B1 (ko) * 2017-10-23 2020-04-03 남정우 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015109972A (ja) * 2009-02-02 2015-06-18 ジョイントヴュー・エルエルシー 非侵襲性診断システム及び方法
JP2014123366A (ja) * 2012-12-21 2014-07-03 Honda Motor Co Ltd 歩行者姿勢分類に適用される３次元人間モデル

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240042866A (ko) 2022-09-26 2024-04-02 부산대학교 산학협력단 인공지능 기반의 척추측만증 정보 제공 방법

Also Published As

Publication number Publication date
KR20210009854A (ko) 2021-01-27

Similar Documents

Publication Publication Date Title
KR102251925B1 (ko) 근골격계 이상예측장치 및 어플리케이션
Kidziński et al. Deep neural networks enable quantitative movement analysis using single-camera videos
Pacis et al. Trends in telemedicine utilizing artificial intelligence
US11986286B2 (en) Gait-based assessment of neurodegeneration
AU2018250385B2 (en) Motor task analysis system and method
US9861300B2 (en) Interactive virtual care
US10467548B2 (en) Method, apparatus and system for biometric identification
TWI775831B (zh) 用於促進影像系統之自主控制的系統及方法
CN109286748A (zh) 移动系统以及眼睛成像的方法
JP2022546644A (ja) 人間－ロボット混在製造プロセスにおける自動異常検出のためのシステムおよび方法
JP2018007792A (ja) 表情認知診断支援装置
JP2019056957A (ja) 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体
CN112470232A (zh) 术前评估和库存管理系统
CN115768360A (zh) 用于医疗过程准备的系统和方法
Tobon et al. Deep learning in multimedia healthcare applications: a review
KR20210141197A (ko) 원격 진료를 위한 증강현실 인터페이스 제공 방법, 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
JP2021030050A (ja) 認知機能評価方法、認知機能評価装置及び認知機能評価プログラム
Tolu et al. Perspective on investigation of neurodegenerative diseases with neurorobotics approaches
US20220022973A1 (en) Method, device and system for providing a virtual medical procedure drill
Siddiqui et al. Footwear-integrated force sensing resistor sensors: A machine learning approach for categorizing lower limb disorders
US12009083B2 (en) Remote physical therapy and assessment of patients
US20220157427A1 (en) Remote physical therapy and assessment of patients
WO2022249746A1 (ja) 身体機能推定システム、身体機能推定方法、及び、プログラム
JP2019195349A (ja) うつ状態検知方法、及びうつ状態検知装置
JP7051212B2 (ja) 情報処理装置、情報処理プログラム及び情報処理方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant