KR20220087274A - Apparatus and method for dignosing of arthritis, computer-readable storage medium and computer program - Google Patents

Apparatus and method for dignosing of arthritis, computer-readable storage medium and computer program Download PDF

Info

Publication number
KR20220087274A
KR20220087274A KR1020200177812A KR20200177812A KR20220087274A KR 20220087274 A KR20220087274 A KR 20220087274A KR 1020200177812 A KR1020200177812 A KR 1020200177812A KR 20200177812 A KR20200177812 A KR 20200177812A KR 20220087274 A KR20220087274 A KR 20220087274A
Authority
KR
South Korea
Prior art keywords
joint
features
extracting
image data
data
Prior art date
Application number
KR1020200177812A
Other languages
Korean (ko)
Other versions
KR102574514B1 (en
Inventor
김희찬
노두현
권순빈
구윤서
Original Assignee
서울대학교산학협력단
충남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단, 충남대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020200177812A priority Critical patent/KR102574514B1/en
Priority to PCT/KR2021/019263 priority patent/WO2022131842A1/en
Publication of KR20220087274A publication Critical patent/KR20220087274A/en
Application granted granted Critical
Publication of KR102574514B1 publication Critical patent/KR102574514B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4528—Joints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/505—Clinical applications involving diagnosis of bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

실시예의 관절염 진단 장치는 관절 영상 데이터를 수집하는 제1 데이터 수집부와, 상기 관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하는 제1 특징 추출부와, 보행 데이터를 수집하는 제2 데이터 수집부와, 상기 보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하는 제2 특징 추출부와, 상기 관절의 제1 특징들 및 상기 관절의 제2 특징들을 기초로 상기 관절의 염증을 진단하는 진단부를 포함할 수 있다.
실시예는 관절 영상 데이터와 보행 데이터를 이용하여 관절의 상태를 진단함으로써, 보다 정확한 예측이 가능한 효과가 있다.The arthritis diagnosis apparatus of the embodiment includes a first data collection unit that collects joint image data, a first feature extraction unit that extracts first features of the joint based on the joint image data, and a second data collection unit that collects gait data A collection unit, a second feature extraction unit for extracting second characteristics of the joint based on the gait data, and diagnosis of inflammation of the joint based on the first characteristics of the joint and the second characteristics of the joint It may include a diagnostic unit.
The embodiment has the effect that more accurate prediction is possible by diagnosing the state of the joint using joint image data and gait data.

Description

관절염 진단 장치 및 관절염 진단 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램{APPARATUS AND METHOD FOR DIGNOSING OF ARTHRITIS, COMPUTER-READABLE STORAGE MEDIUM AND COMPUTER PROGRAM}Arthritis diagnosis apparatus and arthritis diagnosis method, computer-readable recording medium and computer program

실시예는 관절의 상태를 진단하기 위한 관절염 진단 장치 및 관절염 진단 방법에 관한 것이다.The embodiment relates to an arthritis diagnosis apparatus and an arthritis diagnosis method for diagnosing a condition of a joint.

일반적으로, 관절염은 뼈마디 사이인 관절에 염증이 일어나 부은 상태를 의미하는 것으로, 크게 퇴행성 관절염과 류마티스 관절염으로 구분된다In general, arthritis refers to a state of inflammation and swelling in the joints between the bones, and is largely divided into degenerative arthritis and rheumatoid arthritis.

퇴행성 관절염은 주로 체중을 많이 받는 무릎이나 손목, 발목 등의 부위에 생길 수 있는 것으로, 노화 또는 노동, 운동 등 지속적이고 무리한 관절 사용으로 인해 완충역할을 하던 연골이 닳아 없어지고, 연골밑의 뼈가 비정상적으로 증식하여 관절이 파괴되면서 나타나게 된다. 관절이 뻣뻣하고, 삐걱이는 소리가나며, 관절 운동 장애, 관절 변형, 결절이 나타나고, 관절이 발갛게 되며, 활막에 염증이 생겨 열이 발생하는 증상이 나타난다.Degenerative arthritis can occur mainly in areas such as the knee, wrist, and ankle that receive a lot of weight. Due to aging, labor, or continuous and excessive use of joints, the cartilage that served as a buffer wears out, and the bones under the cartilage wear out. It develops abnormally and appears when the joint is destroyed. The joints are stiff, squeaky, joint movement disorders, joint deformities, nodules appear, the joints become red, and the synovial membrane becomes inflamed and causes fever.

류마티스 관절염은 만성 전신성 염증 질환으로서 손가락, 손목, 팔꿈치, 무릎, 발목, 발가락 등의 관절뿐 아니라 피부, 혈관, 심장, 폐, 근육 등 신체 여러 조직, 장기에 이상이 생긴다. 주로 활막에서 염증을 일으켜 연골을 파괴하고 관절을 변형시키며 나중에는 움직일 수 없게 된다. 원인으로 유전설, 감염설, 자가면역질환설이 있으나, 정확히 밝혀지지 않은 상태이다. 환자의 80%에서 자가항체인 류마티스 인자(Rheumatoid Factor:RF)가 발견되며, 류마티스 관절염의 특징적인 관절 변형으로는 손가락이 새끼손가락 쪽으로 구부러짐(편측편위), 손가락이 단추 누르는 모양으로 변형됨(Swan neck), 손에 류마티스 결절이 보이는 현상이 나타난다.Rheumatoid arthritis is a chronic systemic inflammatory disease that causes abnormalities not only in joints such as fingers, wrists, elbows, knees, ankles, and toes, but also in various tissues and organs of the body such as skin, blood vessels, heart, lungs, and muscles. It mainly causes inflammation in the synovial membrane, which destroys cartilage and deforms the joint, and later makes it impossible to move. There are genetic theories, infection theories, and autoimmune diseases as the cause, but it is not known exactly. Rheumatoid Factor (RF), an autoantibody, is found in 80% of patients, and characteristic joint deformations of rheumatoid arthritis include bending the finger toward the little finger (unilateral deviation) and deforming the finger into a button-pressing shape ( Swan neck), rheumatic nodules appear on the hands.

종래에는 관절염의 진단방법으로 환자 병력 및 관절염의 발생부위를 X-ray로 촬영하고, 촬영된 데이터를 이용하여 의사가 직접 관절염을 진단하고 있으나, 그 정확도가 떨어지는 문제가 발생되고 있다.Conventionally, as a diagnosis method for arthritis, a patient's history and an arthritis occurrence site are photographed by X-ray, and a doctor directly diagnoses arthritis using the photographed data, but the accuracy is poor.

상술한 문제점을 해결하기 위해, 실시예는 관절염 증상을 효과적으로 진단하기 위한 관절염 진단 장치 및 관절염 진단 방법을 제공하는 것을 그 목적으로 한다.In order to solve the above-mentioned problems, the embodiment aims to provide an arthritis diagnosis apparatus and an arthritis diagnosis method for effectively diagnosing arthritis symptoms.

또한, 실시예는 실시간으로 환자의 관절염을 진단하기 위한 관절염 진단 장치 및 관절염 진단 방법을 제공하는 것을 다른 목적으로 한다.Another object of the embodiment is to provide an arthritis diagnosis apparatus and an arthritis diagnosis method for diagnosing arthritis in a patient in real time.

실시예의 관절염 진단 장치는 관절 영상 데이터를 수집하는 제1 데이터 수집부와, 상기 관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하는 제1 특징 추출부와, 보행 데이터를 수집하는 제2 데이터 수집부와, 상기 보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하는 제2 특징 추출부와, 상기 관절의 제1 특징들 및 상기 관절의 제2 특징들을 기초로 상기 관절의 염증을 진단하는 진단부를 포함할 수 있다.The arthritis diagnosis apparatus of the embodiment includes a first data collection unit that collects joint image data, a first feature extraction unit that extracts first features of the joint based on the joint image data, and a second data collection unit that collects gait data A collection unit, a second feature extraction unit for extracting second characteristics of the joint based on the gait data, and diagnosis of inflammation of the joint based on the first characteristics of the joint and the second characteristics of the joint It may include a diagnostic unit.

상기 관절 영상 데이터는 X-ray로부터 촬영된 관절 영상을 포함할 수 있다.The joint image data may include joint images taken from X-rays.

상기 제1 특징 추출부는 상기 관절 영상 데이터를 딥러닝 모델에 입력으로 하여 상기 관절의 특징들을 추출하는 제1 추출부와, 상기 추출된 관절의 특징들에 기 설정된 가중치를 반영하여 상기 특징들보다 적은 개수의 제1 특징들을 추출하는 제2 추출부를 포함할 수 있다.The first feature extraction unit receives the joint image data as an input to the deep learning model and extracts the joint features, and the extracted joint features reflect a preset weight to be less than the features. and a second extraction unit for extracting the first features of the number.

상기 제2 데이터 수집부는, 웨어러블 기기 또는 IR 카메라 이용하여 측정된 3D 보행 데이터를 수집할 수 있다.The second data collection unit may collect 3D gait data measured using a wearable device or an IR camera.

상기 웨어러블 기기는 인체에 부착되어 3축 가속도계, 3축 각속도계, 근전도 회로가 일체화된 센서 및 전극을 포함할 수 있다.The wearable device may include a sensor and electrodes in which a 3-axis accelerometer, a 3-axis accelerometer, and an EMG circuit are integrated with the wearable device.

상기 3축 가속도계 및 상기 3축 각속도계는 관절의 운동 역할적 신호 및 관절 움직임을 측정하고, 상기 근전도 회로는 관절에 작용하는 힘을 측정할 수 있다.The three-axis accelerometer and the three-axis accelerometer may measure motion role signals and joint motion of a joint, and the electromyography circuit may measure a force acting on the joint.

상기 제2 특징 추출부는,The second feature extraction unit,

상기 보행 데이터로부터 파라미터 정보를 추출하는 파라미터 추출부와, 상기 추출된 파라미터 정보를 기초로 특징들을 추출하는 제3 추출부와, 기 설정된 통계 기법에 의해 가중치를 반영하여 상기 특징들보다 적은 개수의 제2 특징들을 추출하는 제4 추출부를 포함할 수 있다.A parameter extracting unit for extracting parameter information from the gait data, a third extracting unit for extracting features based on the extracted parameter information, and by reflecting a weight using a preset statistical technique to generate a smaller number of items than the features A fourth extraction unit for extracting the 2 features may be included.

상기 제2 신뢰도를 가지는 제2 특징들은 힙(Hip)의 구부림 각도(Flexion Angle), 파워(Power), 모음 각도(Adduction Angle), 회전 모먼트(Ratation Moment), 무릎(Knee)의 구부림 각도(Flexion Angle), 확대 모먼트(Extension Moment), 파워(Power), 내번 각도(Varus Angle), 발목(Ankle)의 발바닥 구부림 각도(Plantar-flexion Moment), 파워(Power), 골반(Pelvic)의 기울기 각도(Obiliquity Angle), 발(Foot)의 단계적 각도(Progression Angle)를 포함할 수 있다.The second characteristics having the second reliability include a hip flexion angle, power, an addition angle, a rotation moment, and a knee flexion angle ( Flexion Angle, Extension Moment, Power, Varus Angle, Plantar-flexion Moment of Ankle, Power, Pelvic inclination It may include an angle (Obility Angle) and a step angle (Progression Angle) of the foot (Foot).

상기 진단부는 상기 제1 특징들 및 제2 특징들을 미리 훈련된 머신 러닝 모델의 입력으로 하여 상기 관절의 염증을 예측하는 예측부와, 상기 관절의 염증을 단계별로 분류하는 분류부를 포함할 수 있다.The diagnosis unit may include a prediction unit for predicting joint inflammation by using the first and second characteristics as inputs of a pre-trained machine learning model, and a classification unit for classifying the joint inflammation in stages.

또한, 다른 실시예에 따른 관절염 진단 장치는 관절 영상 데이터 및 보행 데이터를 저장하는 메모리와 프로세서를 포함하되, 상기 프로세서는 상기 관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하고, 상기 보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하고, 상기 관절의 제1 특징들 및 상기 관절의 제2 특징들을 기초로 상기 관절의 염증을 진단할 수 있다.In addition, the arthritis diagnosis apparatus according to another embodiment includes a memory and a processor for storing joint image data and gait data, wherein the processor extracts first features of the joint based on the joint image data, and the gait data The second characteristics of the joint may be extracted based on , and the inflammation of the joint may be diagnosed based on the first characteristics of the joint and the second characteristics of the joint.

또한, 관절염 진단 장치에서 수행되는 관절염 진단 방법에 있어서, 관절 영상 데이터를 수집하는 단계와, 상기 관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하는 단계와, 보행 데이터를 수집하는 단계와, 상기 보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하는 단계와, 상기 관절의 제1 특징들 및 상기 관절의 제2 특징들을 기초로 상기 관절의 염증을 진단하는 단계를 포함할 수 있다.In addition, in the arthritis diagnosis method performed by the arthritis diagnosis apparatus, the steps of: collecting joint image data; extracting first characteristics of the joint based on the joint image data; collecting gait data; It may include extracting second characteristics of the joint based on the gait data, and diagnosing inflammation of the joint based on the first characteristics of the joint and second characteristics of the joint.

보행 데이터를 수집하는 단계와, 상기 보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하는 단계는, 상기 관절 영상 데이터를 수집하는 단계와, 상기 관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하는 단계 이전 또는 동시에 수행될 수 있다.The steps of collecting gait data and extracting the second features of the joint based on the gait data may include: collecting the joint image data; and selecting the first features of the joint based on the joint image data. It may be performed before or simultaneously with the step of extraction.

또한, 실시예는 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 관절 영상 데이터를 수집하는 단계와, 상기 관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하는 단계와, 보행 데이터를 수집하는 단계와, 상기 보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하는 단계와, 상기 관절의 제1 특징들 및 상기 관절의 제2 특징들을 기초로 상기 관절의 염증을 진단하는 단계를 상기 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.In addition, the embodiment is a computer-readable recording medium storing a computer program, the computer program, when executed by a processor, the steps of collecting joint image data, and based on the joint image data, the first joint of the joint extracting features; collecting gait data; extracting second features of the joint based on the gait data; based on the first features of the joint and second features of the joint It may include instructions for causing the processor to perform the step of diagnosing the inflammation of the joint.

또한, 실시예는 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 관절 영상 데이터를 수집하는 단계와, 상기 관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하는 단계와, 보행 데이터를 수집하는 단계와, 상기 보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하는 단계와, 상기 관절의 제1 특징들 및 상기 관절의 제2 특징들을 기초로 상기 관절의 염증을 진단하는 단계를 상기 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.In addition, the embodiment is a computer program stored in a computer-readable recording medium, wherein the computer program, when executed by a processor, the steps of collecting joint image data, and based on the joint image data, the first of the joint extracting features; collecting gait data; extracting second features of the joint based on the gait data; based on the first features of the joint and second features of the joint It may include instructions for causing the processor to perform the step of diagnosing the inflammation of the joint.

실시예는 관절 영상 데이터와 보행 데이터를 이용하여 관절의 상태를 진단함으로써, 보다 정확한 예측이 가능한 효과가 있다.The embodiment has the effect that more accurate prediction is possible by diagnosing the state of the joint using joint image data and gait data.

또한, 실시예는 머신 러닝 모델에 의해 진단을 수행함으로써, 실시간으로 환자의 관절 상태를 예측할 수 있는 효과가 있다.In addition, the embodiment has the effect of predicting the joint state of the patient in real time by performing the diagnosis by the machine learning model.

또한, 실시예는 추출된 특징들 중 신뢰도가 높은 특징들을 관절 진단에 이용함으로써, 진단 정확도를 보다 향상시킬 수 있다.In addition, the embodiment may further improve diagnosis accuracy by using highly reliable features among the extracted features for joint diagnosis.

도 1은 실시예에 따른 관절염 진단 장치를 나타낸 블록도이다.
도 2는 X-ray로 촬영된 관절의 모습을 나타낸 도면이다.
도 3은 인체에 부착된 웨어러블 기기의 구조를 나타낸 도면이다.
도 4는 카메라를 통해 획득한 영상 데이터를 나타낸 도면이다.
도 5는 실시예에 따른 관절염 진단 장치의 제1 특징 추출부를 나타낸 블록도이다.
도 6은 실시예에 따른 관절염 진단 장치의 제2 추출부에서 추출된 제1 특징들을 나타낸 그래프이다.
도 7은 실시예에 따른 관절염 진단 장치의 제2 특징 추출부를 나타낸 블록도이다.
도 8은 제2 특징 추출부의 제3 추출부로부터 추출된 제2 특징들을 나타낸 도면이다.
도 9 및 도 10은 제2 특징 추출부의 제4 추출부로부터 추출된 제2 특징들을 나타낸 그래프이다.
도 11은 실시예에 따른 관절염 진단 장치의 진단부를 나타낸 블록도이다.
도 12는 실시예에 따른 관절염 진단 장치의 진단부의 예측부에서 출력된 값을 나타낸 그래프이다.
도 13 및 도 14는 실시예에 따른 관절염 진단 장치의 진단 정확도를 종래와 비교한 모습을 나타낸 도면이다.
도 15는 다른 실시예에 따른 관절염 진단 장치를 나타낸 블록도이다.
도 16은 실시예에 따른 관절염 진단 방법을 나타낸 순서도이다.1 is a block diagram illustrating an arthritis diagnosis apparatus according to an embodiment.
2 is a view showing the appearance of the joint taken by X-ray.
3 is a diagram illustrating a structure of a wearable device attached to a human body.
4 is a diagram illustrating image data acquired through a camera.
5 is a block diagram illustrating a first feature extraction unit of an arthritis diagnosis apparatus according to an embodiment.
6 is a graph illustrating first features extracted by a second extraction unit of the apparatus for diagnosing arthritis according to an embodiment.
7 is a block diagram illustrating a second feature extraction unit of the apparatus for diagnosing arthritis according to an embodiment.
8 is a diagram illustrating second features extracted from a third extractor of the second feature extractor.
9 and 10 are graphs illustrating second features extracted from a fourth extractor of the second feature extractor.
11 is a block diagram illustrating a diagnosis unit of an arthritis diagnosis apparatus according to an embodiment.
12 is a graph illustrating values output from a prediction unit of a diagnosis unit of an arthritis diagnosis apparatus according to an exemplary embodiment.
13 and 14 are diagrams illustrating a state in which the diagnosis accuracy of the arthritis diagnosis apparatus according to the embodiment is compared with that of the related art.
15 is a block diagram illustrating an apparatus for diagnosing arthritis according to another exemplary embodiment.
16 is a flowchart illustrating a method for diagnosing arthritis according to an embodiment.

이하, 도면을 참조하여 실시예를 상세히 설명하기로 한다.Hereinafter, the embodiment will be described in detail with reference to the drawings.

도 1은 실시예에 따른 관절염 진단 장치를 나타낸 블록도이고, 도 2는 X-ray로 촬영된 관절의 모습을 나타낸 도면이고, 도 3은 인체에 부착된 웨어러블 기기의 구조를 나타낸 도면이고, 도 4는 카메라를 통해 획득한 영상 데이터를 나타낸 도면이고, 도 5는 실시예에 따른 관절염 진단 장치의 제1 특징 추출부를 나타낸 블록도이고, 도 6은 실시예에 따른 관절염 진단 장치의 제2 추출부에서 추출된 제1 특징들을 나타낸 그래프이고, 도 7은 실시예에 따른 관절염 진단 장치의 제2 특징 추출부를 나타낸 블록도이고, 도 8은 제2 특징 추출부의 제3 추출부로부터 추출된 제2 특징들을 나타낸 도면이고, 도 9 및 도 10은 제2 특징 추출부의 제4 추출부로부터 추출된 제2 특징들을 나타낸 그래프이고, 도 11은 실시예에 따른 관절염 진단 장치의 진단부를 나타낸 블록도이고, 도 12는 실시예에 따른 관절염 진단 장치의 진단부의 예측부에서 출력된 값을 나타낸 그래프이고, 도 13 및 도 14는 실시예에 따른 관절염 진단 장치의 진단 정확도를 종래와 비교한 모습을 나타낸 도면이다.1 is a block diagram showing an arthritis diagnosis apparatus according to an embodiment, FIG. 2 is a diagram showing a joint photographed by X-ray, FIG. 3 is a diagram showing the structure of a wearable device attached to the human body, FIG. 4 is a diagram illustrating image data acquired through a camera, FIG. 5 is a block diagram illustrating a first feature extraction unit of the arthritis diagnosis apparatus according to the embodiment, and FIG. 6 is a second extraction unit of the arthritis diagnosis apparatus according to the embodiment is a graph showing the first features extracted from , FIG. 7 is a block diagram showing the second feature extracting unit of the arthritis diagnosis apparatus according to the embodiment, and FIG. 8 is the second feature extracted from the third extracting unit of the second feature extracting unit 9 and 10 are graphs showing the second features extracted from the fourth extraction unit of the second feature extraction unit, and FIG. 11 is a block diagram showing the diagnosis unit of the arthritis diagnosis apparatus according to the embodiment, and FIG. 12 is a graph showing values output from the prediction unit of the diagnosis unit of the arthritis diagnosis apparatus according to the embodiment, and FIGS. 13 and 14 are views comparing the diagnosis accuracy of the arthritis diagnosis apparatus according to the embodiment with the prior art.

도 1을 참조하면, 실시예에 따른 관절염 진단 장치는 제1 데이터 수집부(100)를 포함할 수 있다.Referring to FIG. 1 , the arthritis diagnosis apparatus according to the embodiment may include a first data collection unit 100 .

제1 데이터 수집부(100)는 관절 영상을 수집할 수 있다. 관절 영상은 X-ray를 이용하여 촬영될 수 있다. 관절 영상(10)은 2D 영상일 수 있다. 도 2에 도시된 바와 같이, 관절 영상(10)은 하반신 관절 영상을 포함할 수 있으며, 다리의 전체(full limb) 영상과 무릎 관절(knee joung) 위주의 영상을 포함할 수 있다. 관절은 2개의 뼈가 일정 간격을 유지한 상태로 이루어지며, 그 간격에 따라 관절염의 위험 정도를 파악할 수 있다. 예컨대, 관절의 간격 또는 위험도에 따라 0등급(Grade 0), 1등급(Grade 1), 2등급(Grade 2), 3등급(Grade 3) 및 4등급(Grade 4)으로 이루어질 수 있다. 0등급은 정상 상태인 경우일 수 있으며, 4등급은 수술이 필요한 경우일 수 있다.The first data collection unit 100 may collect joint images. Joint images may be taken using X-rays. The joint image 10 may be a 2D image. As shown in FIG. 2 , the joint image 10 may include a lower body joint image, and may include a full limb image and an image centered on a knee joint (knee joung). The joint consists of two bones maintaining a certain interval, and the risk of arthritis can be determined according to the interval. For example, it may be composed of grade 0 (Grade 0), grade 1 (Grade 1), grade 2 (Grade 2), grade 3 (Grade 3), and grade 4 (Grade 4) according to the joint spacing or risk. Grade 0 may be a normal condition, and grade 4 may be a case requiring surgery.

상기에서는 관절 영상(10)을 다리의 무릎 관절 영상을 위주로 촬영된 영상을 이용하였으나, 이에 한정되지 않으며, 허리, 발목, 팔 또는 인체에 분포하는 관절 영상을 이용할 수도 있다.In the above description, the joint image 10 mainly uses an image of a knee joint image of a leg, but is not limited thereto, and a joint image distributed in the waist, ankle, arm, or human body may be used.

도 1로 돌아가서, 실시예에 따른 관절염 진단 장치는 제2 데이터 수집부(300)를 포함할 수 있다.Returning to FIG. 1 , the apparatus for diagnosing arthritis according to the embodiment may include the second data collection unit 300 .

제2 데이터 수집부(300)는 보행 데이터를 수집할 수 있다. 보행 데이터는 카메라, IR 카메라, 웨어러블 기기를 사용하여 측정할 수 있다. 보행 데이터는 보행 시 다리의 특정 위치마다 관절의 형태가 다를 수 있으며, 이에 신뢰성이 높은 위치에서의 데이터를 수집하여 사용할 수 있다.The second data collection unit 300 may collect gait data. The gait data can be measured using a camera, an IR camera, or a wearable device. In the gait data, the shape of the joint may be different for each specific position of the leg during walking, so data from a position with high reliability can be collected and used.

도 3에 도시된 바와 같이, 웨어러블 기기(20)는 인체의 무릎을 기준으로 상하에 이격되어 배치될 수 있으나, 이에 한정되지 않는다. 웨어러블 기기(20)는 다리를 감싸도록 밴드(21)로 이루어질 수 있으며, 밴드(21)에 센서(23) 및 전극(25)이 장착될 수 있다.As shown in FIG. 3 , the wearable device 20 may be disposed to be vertically spaced apart from the knee of the human body, but is not limited thereto. The wearable device 20 may include a band 21 to cover a leg, and a sensor 23 and an electrode 25 may be mounted on the band 21 .

센서(23)는 3축 가속도계, 3축 각속도계, 근전도 회로가 일체화된 구조로 이루어질 수 있다. 3축 가속도계, 3축 각속도계는 관절의 운동 역학적 신호 및 관절 움직임을 측정할 수 있으며, 근전도 회로는 관절에 작용하는 힘을 측정할 수 있다.The sensor 23 may have a structure in which a three-axis accelerometer, a three-axis accelerometer, and an EMG circuit are integrated. The 3-axis accelerometer and 3-axis accelerometer can measure the kinematic signal and joint movement of the joint, and the electromyography circuit can measure the force acting on the joint.

도 4에 도시된 바와 같이, 제2 데이터는 카메라로부터 획득된 보행 영상(30)일 수 있다. 제2 데이터는 환자의 보행이 포함된 보행 영상(30)을 이용하여 허리, 무릎 발목 등의 관절 정보를 측정한 보행 영상(30)으로 변환하여 사용할 수 있다.4 , the second data may be a walking image 30 obtained from a camera. The second data may be used by converting the gait image 30 including the patient's gait into a gait image 30 in which joint information such as the waist, knee, ankle, etc. is measured.

도 1로 돌아가서, 실시예에 따른 관절염 진단 장치는 제1 특징 추출부(200)를 포함할 수 있다.Returning to FIG. 1 , the apparatus for diagnosing arthritis according to the embodiment may include the first feature extracting unit 200 .

제1 특징 추출부(200)는 관절 영상 데이터를 기초로 제1 특징들을 추출할 수 있다. 제1 특징들은 딥러닝 모델을 이용하여 추출할 수 있다. 딥러닝 모델은 별도의 입력 정보가 없이도 스스로 특징을 파악해서 분류할 수 있으므로, 영상 데이터로부터 특징을 추출하기가 상당히 효과적일 수 있다.The first feature extraction unit 200 may extract first features based on the joint image data. The first features may be extracted using a deep learning model. Since deep learning models can identify and classify features by themselves without additional input information, extracting features from image data can be quite effective.

도 5에 도시된 바와 같이, 제1 특징 추출부(200)는 제1 추출부(230)와, 제2 추출부(250)를 포함할 수 있다.5 , the first feature extraction unit 200 may include a first extraction unit 230 and a second extraction unit 250 .

제1 추출부(230)는 관절 영상 데이터를 딥러닝 모델(210)에 입력으로 하여 특징들을 추출할 수 있다. 제2 추출부(250)는 제1 추출부(230)로부터 추출된 특징들 중 신뢰도가 높은 제1 특징들을 추출할 수 있다. The first extractor 230 may extract features by inputting the joint image data to the deep learning model 210 . The second extractor 250 may extract first features with high reliability among features extracted from the first extractor 230 .

제2 추출부(250)는 통계 기법에 의해 신뢰도가 높은 제1 특징들을 추출할 수 있으며, 이를 위해 제2 추출부(250)는 NCA 기법에 의해 가중치를 설정하고, 기 설정된 가중치를 반영하여 제1 추출부(230)에서 추출된 특징들 중 신뢰도가 높은 제1 특징들을 추출할 수 있다. 여기서, 제2 추출부(250)에서 추출된 제1 특징들의 개수는 제1 추출부(230)에서 추출된 특징들의 개수보다 적을 수 있다.The second extractor 250 may extract first features with high reliability by a statistical technique, and for this, the second extractor 250 sets a weight by the NCA technique, and reflects the preset weight to make the first features. Among the features extracted by the first extractor 230 , first features with high reliability may be extracted. Here, the number of first features extracted by the second extractor 250 may be less than the number of features extracted by the first extractor 230 .

도 6에 도시된 바와 같이, 제2 추출부(250)로부터 추출된 제1 특징들은 신뢰도에 따라 다양하게 분포될 수 있다. 이때, 임계치를 정하고, 임계치 이상인 제1 특징들만 추출할 수 있다. 예컨대, 임계치 예컨대, 신뢰도가 0인 제1 특징들(12)은 제외하고, 신뢰도가 0 이상인 제1 특징들(11)만을 추출할 수 있다.As shown in FIG. 6 , the first features extracted from the second extractor 250 may be distributed in various ways according to reliability. In this case, a threshold may be set, and only first features greater than or equal to the threshold may be extracted. For example, only the first features 11 having a reliability equal to or greater than 0 may be extracted, excluding the first features 12 having a threshold value of 0, for example.

제1 특징들의 개수가 적을 경우, 임계치는 0에 가까울 수 있으며, 제1 특징들의 개수가 많을 경우, 임계치는 0 보다 멀게 설정할 수 있다.When the number of first features is small, the threshold may be close to zero, and when the number of first features is large, the threshold may be set farther than zero.

도 1로 돌아가서, 실시예에 따른 관절염 진단 장치는 제2 특징 추출부(400)를 포함할 수 있다.Returning to FIG. 1 , the apparatus for diagnosing arthritis according to the embodiment may include the second feature extraction unit 400 .

제2 특징 추출부(400)는 보행 데이터를 기초로 관절의 제2 특징들을 추출할 수 있다.The second feature extraction unit 400 may extract second features of the joint based on the gait data.

도 7에 도시된 바와 같이, 제2 특징 추출부(400)는 파라미터 추출부(410)와 제3 추출부(430)와 제4 추출부(450)와 제5 추출부(470)를 포함할 수 있다.7 , the second feature extraction unit 400 may include a parameter extraction unit 410 , a third extraction unit 430 , a fourth extraction unit 450 , and a fifth extraction unit 470 . can

파라미터 추출부(410)는 보행 데이터로부터 파라미터를 추출할 수 있다. 파라미터는 무릎(Knee), 힙(Hip), 발목(Ankle), 골반(Pelvic), 다리(Foot), 경골(Tibla)를 포함할 수 있으며, 일 예로, 무릎(Knee)에 대한 확대 모멘트(Extension Moment), 모음 모멘트(Adduction Moment), 어브덕션 모멘트(Abduction Moment), 회전 모멘트(Rorational Moment), 구부림 각도(Flexion Angle)와, 힙(Hip)에 대한 모음 모멘트(Adduction Moment), 어브덕션 모멘트(Abduction Moment), 확대(확장) 각도(Extension Angle)과, 발목(Ankle)에 대한 인대 모멘트(Dorsiflection Moment)를 포함할 수 있으나 이에 한정되지 않는다.The parameter extractor 410 may extract a parameter from the gait data. The parameters may include a knee, a hip, an ankle, a pelvis, a foot, and a tibia, for example, an extension moment for the knee. Moment), Adduction Moment, Abduction Moment, Rotational Moment, Flexion Angle, Addition Moment for Hip, Abduction Moment ( Abduction Moment), enlargement (extension) angle (Extension Angle), and may include, but is not limited to, a ligament moment with respect to the ankle (Dorsiflection Moment).

제3 추출부(430)는 추출된 파라미터로부터 관절의 특징들을 추출할 수 있다.The third extractor 430 may extract joint features from the extracted parameters.

도 8에 도시된 바와 같이, 예컨대, 힙의 파라미터 정보들을 이용하여 구부림 각도(Flextion Angle), 확대 모멘트(Extension Moment), 파워(Power), 모음 모멘트(Adduction Moment), 어브덕션 모멘트(Abduction Moment), 회전 각도(Rotation Angle), 회전 모멘트(Roration Moment)를 추출할 수 있다. 또한, 무릎의 파라미터 정보들을 이용하여 구부림 각도(Flextion Angle), 확대 모멘트(Extension Moment), 파워(Power), 모음 모멘트(Adduction Moment), 어브덕션 모멘트(Abduction Moment)를 추출할 수 있다. 또한, 발목(Ankle)의 파라미터 정보들을 이용하여 구부림 각도(Flextion Angle), 저측굴곡 모멘트(Plantar-flextion Momemt), 파워(Power), ㄴ내번 각도(varus Angle) 정보를 추출할 수 있다. 또한, 골반(Pelvic)의 파라미터 정보들을 이용하여 틸트 각도(Tilt Angle), 기울기 각도(Obliquity Angle), 회전 각도(Rotation Angle)을 추출할 수 있다. 또한, 발(Foot)의 파라미터 정보들을 이용하여 진행 각도(Progression Angle), 진행 모멘트(Progression Moment)를 추출할 수 있다. 또한, 경골(Tibia)의 파라미터 정보들을 이용하여 비틀림 각도(Torsion Angle)을 추출할 수 있으나, 이에 한정되지 않는다.As shown in FIG. 8 , for example, using the parameter information of the heap, a bending angle, an extension moment, a power, a vowel moment, an absorption moment , Rotation Angle, and Rotation Moment can be extracted. In addition, it is possible to extract a bending angle (Flextion Angle), an extension moment (Extension Moment), a power (Power), a vowel moment (Addition Moment), an Abduction moment (Abduction Moment) by using the parameter information of the knee. Also, information on a flexion angle, a plantar-flextion moment, a power, and a varus angle may be extracted using the parameter information of the ankle. In addition, a tilt angle, an obliquity angle, and a rotation angle may be extracted using parameter information of the pelvic. Also, a progress angle and a progress moment may be extracted using the parameter information of the foot. In addition, a torsion angle may be extracted using parameter information of the tibia, but is not limited thereto.

파라미터 추출부(410)는 보행 데이터에 대해 파라미터에 대해 각각의 그래프로 생성할 수 있다.The parameter extractor 410 may generate each graph for each parameter with respect to the gait data.

도 7로 돌아가서, 제4 추출부(450)는 제3 추출부에서 추출된 특징들 중 신뢰도가 높은 제1 신뢰도를 가지는 특징들을 선별하여 추출할 수 있다. 제4 추출부(450)는 NCA 기법에 의해 가중치를 설정하고, 설정된 가중치를 이용하여 제2 특징들 중 제1 신뢰도를 가지는 특징들을 추출할 수 있다. Returning to FIG. 7 , the fourth extractor 450 may select and extract features having a first high reliability among the features extracted by the third extractor. The fourth extractor 450 may set a weight by the NCA technique, and extract features having a first reliability among the second features by using the set weight.

제5 추출부(470)는 제1 신뢰도를 가지는 특징들 중 제1 신뢰도 보다 정확도가 높은 제2 신뢰도를 가지는 제2 특징들을 추출할 수 있다.The fifth extractor 470 may extract second features having a second reliability higher than the first reliability from among the features having the first reliability.

제5 추출부(470)는 통계 기법을 이용하여 가중치를 설정하고, 설정된 가중치를 이용하여 제2 신뢰도를 가지는 제2 특징들을 추출할 수 있다. 통계 기법은 ANOVA, t-test 기법을 이용할 수 있다.The fifth extractor 470 may set a weight using a statistical technique and extract second features having a second reliability using the set weight. Statistical methods may use ANOVA and t-test methods.

도 9에 도시된 바와 같이, 제2 신뢰도를 가지는 제2 특징들은 신뢰도가 0인 제2 특징들(12)과 신뢰도가 0이 아닌 제2 특징들(11)을 포함할 수 있으며, 신뢰도가 0이 아닌 제2 특징들(11)을 제2 신뢰도를 가지는 제2 특징들로 결정할 수 있다. 신뢰도의 기준은 달라질 수 있다.As shown in FIG. 9 , the second features having a second reliability may include second features 12 having a reliability of 0 and second features 11 having a non-reliability of 0, and the reliability is 0. It is possible to determine the second characteristics 11 other than , as the second characteristics having the second reliability. Reliability criteria may vary.

도 10에 도시된 바와 같이, 제2 특징 추출부로부터 추출된 제2 신뢰도를 가지는 제2 특징들은 힙(Hip)의 구부림 각도(Flexion Angle), 파워(Power), 모음 각도(Adduction Angle), 회전 모먼트(Ratation Moment), 무릎(Knee)의 구부림 각도(Flexion Angle), 확대 모먼트(Extension Moment), 파워(Power), 내번 각도(Varus Angle), 발목(Ankle)의 발바닥 구부림 각도(Plantar-flexion Moment), 파워(Power), 골반(Pelvic)의 기울기 각도(Obiliquity Angle), 발(Foot)의 단계적 각도(Progression Angle)를 포함할 수 있다.As shown in FIG. 10 , the second features having the second reliability extracted from the second feature extractor include a hip flexion angle, power, addition angle, and rotation. Ratation Moment, Knee Flexion Angle, Extension Moment, Power, Varus Angle, Plantar- flexion moment), power, an inclination angle of the pelvic (Pelvic), and a progressive angle of the foot (Progression Angle) may be included.

도 1로 돌아가서, 실시예에 따른 관절염 진단 장치는 진단부(500)를 포함할 수 있다.Returning to FIG. 1 , the apparatus for diagnosing arthritis according to the embodiment may include a diagnosis unit 500 .

진단부(500)는 제1 특징 추출부(200)로부터 추출된 제1 특징들과, 제2 특징 추출부(400)로부터 추출된 제2 특징들을 기초로 관절의 상태를 진단할 수 있다. 관절의 상태는 관절의 염증 상태를 포함할 수 있으나, 이에 한정되지 않는다.The diagnosis unit 500 may diagnose the state of the joint based on the first features extracted from the first feature extractor 200 and the second features extracted from the second feature extractor 400 . The condition of the joint may include, but is not limited to, an inflammatory condition of the joint.

도 11에 도시된 바와 같이, 진단부(500)는 예측부(510)와, 분류부(530)를 포함할 수 있다. 진단부(500)는 미리 훈련된 머신 런닝 모델을 이용하여 염증을 진단할 수 있다. 11 , the diagnosis unit 500 may include a prediction unit 510 and a classification unit 530 . The diagnosis unit 500 may diagnose inflammation using a pre-trained machine learning model.

예측부(510)는 제1 특징 추출부(200)로부터 추출된 제1 특징들과, 제2 특징 추출부(400)로부터 추출된 제2 특징들을 머신 런닝 모델의 입력으로 하여 관절의 상태를 예측할 수 있다. The prediction unit 510 uses the first features extracted from the first feature extractor 200 and the second features extracted from the second feature extractor 400 as inputs to the machine learning model to predict the state of the joint. can

머신 런닝 모델은 수집된 특징 데이터들의 훈련 데이터와 학습 데이터의 비를 7:3으로 머신 런닝을 미리 훈련 및 학습시킬 수 있다. 또한, 머신 런닝 모델은 도 12에 도시된 바와 같이, 2개의 모델로 이루어져 서로 다른 기계적 특성에 의해 훈련 및 학습되어 관절의 상태를 예측할 수 있다.The machine learning model may pre-train and learn machine learning in a ratio of 7:3 between training data and learning data of the collected feature data. In addition, as shown in FIG. 12 , the machine learning model consists of two models and is trained and learned by different mechanical properties to predict the state of the joint.

분류부(530)는 예측부(510)로부터 예측된 관절의 상태를 단계별로 분류하여 관절의 상태가 어떤 상태인지 판단할 수 있다. 예컨대, 관절의 상태는 0등급(Grade 0), 1등급(Grade 1), 2등급(Grade 2), 3등급(Grade 3) 및 4등급(Grade 4)으로 이루어질 수 있다.The classification unit 530 may classify the state of the joint predicted by the prediction unit 510 into stages to determine the state of the joint. For example, the joint state may consist of grade 0 (Grade 0), grade 1 (Grade 1), grade 2 (Grade 2), grade 3 (Grade 3), and grade 4 (Grade 4).

상기와 같이 훈련된 관절염 진단 장치에 환자의 관절 정보(X-ray 영상, 보행 데이터 등)가 실시간으로 입력될 경우, 관절염 진단 장치는 환자의 관절 상태를 효과적으로 진단할 수 있으며, 실시간으로 환자의 관절 상태를 피드백할 수 있는 효과가 있다.When the joint information (X-ray image, gait data, etc.) of the patient is input in real time to the trained arthritis diagnosis device as described above, the arthritis diagnosis device can effectively diagnose the patient's joint condition and, in real time, the patient's joint information. It has the effect of giving feedback on the status.

도 13에 도시된 바와 같이, 실시예에 따른 관절염 진단 장치(Proposed Model)를 이용하게 되면 약 75.2%의 정확도를 얻을 수 있었다. 이와 다르게, 의사의 소견만으로 관절염의 진단이 이루어진 경우(Previous Study)는 약 63.4%의 정확도를 얻을 수 있었으며, 딥 러닝을 이용할 경우(Reference deep learning model)는 약 64.7%의 정확도를 얻을 수 있었다.As shown in FIG. 13 , when the arthritis diagnosis apparatus (Proposed Model) according to the embodiment was used, an accuracy of about 75.2% could be obtained. On the other hand, when the diagnosis of arthritis was made only by the doctor's opinion (Previous Study), an accuracy of about 63.4% was obtained, and when deep learning was used (Reference deep learning model), an accuracy of about 64.7% was obtained.

따라서, 실시예에 따른 관절염 진단 장치는 관절의 상태를 예측하고 분류하는 데 상당히 효과적임을 알 수 있다.Accordingly, it can be seen that the arthritis diagnosis apparatus according to the embodiment is very effective in predicting and classifying joint states.

또한, 민감도(Sensitivity), 정밀성(Precision), S1-score, 각 등급에서도 실시예에 따른 관절염 진단 장치를 이용하는 것이 상당히 효과적임을 알 수 있다.In addition, it can be seen that using the arthritis diagnosis apparatus according to the embodiment is very effective in sensitivity, precision, and S1-score, respectively.

도 14에 도시된 바와 같이, 2개의 등급에 대해 쌍을 이루고 이에 대한 평가를 수행한 결과, KL0-KL4, KL1-KL2. KL1-KL4에서 실시예에 따른 관절염 진단 장치를 사용하는 것이 효과적이었으며, 다른 등급에서도 보행 데이터를 사용하거나, 이미지 데이터를 사용하는 데 유리한 점을 보여주고 있어, 관절염 진단을 수행하는 데 상당히 효과적임을 알 수 있다.As shown in FIG. 14 , as a result of pairing and evaluating two grades, KL0-KL4, KL1-KL2. It was effective to use the arthritis diagnostic device according to the embodiment in KL1-KL4, and other grades showed advantages in using gait data or image data, indicating that it is quite effective in performing arthritis diagnosis. can

도 15는 다른 실시예에 따른 관절염 진단 장치를 나타낸 블록도이다.15 is a block diagram illustrating an apparatus for diagnosing arthritis according to another exemplary embodiment.

도 15에 도시된 바와 같이, 실시예에 따른 관절염 진단 장치(600)는 메모리(610)와, 프로세서(630)를 포함할 수 있다.15 , the arthritis diagnosis apparatus 600 according to the embodiment may include a memory 610 and a processor 630 .

메모리(610)는 관절 영상으로부터 추출된 제1 특징들과 보행 데이터로부터 추출된 제2 특징들이 저장될 수 있다. The memory 610 may store the first features extracted from the joint image and the second features extracted from the gait data.

프로세서(630)는 데이터 수집부, 특징 추출부 및 진단부를 포함할 수 있으며, 데이터 수집부, 특징 추출부 및 진단부는 적어도 하나의 프로세서에 의해 실행되는 프로그램에 의해 구현될 수 있다. 여기서, 프로그램은 메모리(610)에 저장될 수 있다.The processor 630 may include a data collection unit, a feature extraction unit, and a diagnosis unit, and the data collection unit, the feature extraction unit, and the diagnosis unit may be implemented by a program executed by at least one processor. Here, the program may be stored in the memory 610 .

프로세서는 상기 관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하고, 상기 보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하고, 상기 관절의 제1 특징들 및 상기 관절의 제2 특징들을 기초로 상기 관절의 염증을 진단할 수 있다.The processor extracts first features of the joint based on the joint image data, extracts second features of the joint based on the gait data, and extracts first features of the joint and second features of the joint Inflammation of the joint can be diagnosed based on it.

실시예에 따른 관절염 진단 장치(600)는 제1 특징들 및 제2 특징들을 획득할 수 있는 통신용 인터페이스(620)를 더 포함할 수 있다.The arthritis diagnosis apparatus 600 according to the embodiment may further include a communication interface 620 capable of acquiring the first characteristics and the second characteristics.

도 16은 실시예에 따른 관절염 진단 방법을 나타낸 순서도이다.16 is a flowchart illustrating a method for diagnosing arthritis according to an embodiment.

도 16을 참조하면, 실시예에 따른 관절염 진단 방법은 관절 영상 데이터를 수집하는 단계(S100)와, 상기 관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하는 단계(S200)와, 보행 데이터를 수집하는 단계(S300)와, 상기 보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하는 단계(S400)와, 상기 관절의 제1 특징들 및 상기 관절의 제2 특징들을 기초로 상기 관절의 염증을 진단하는 단계(S500)를 포함할 수 있다. 실시예에 따른 관절염 진단 방법은 관절염 진단 장치에서 수행될 수 있다. Referring to FIG. 16 , the arthritis diagnosis method according to the embodiment includes collecting joint image data (S100), extracting first features of the joint based on the joint image data (S200), and gait data Collecting (S300), extracting the second characteristics of the joint based on the gait data (S400), and the first characteristics of the joint and the second characteristics of the joint based on the second characteristics of the joint It may include diagnosing inflammation (S500). The arthritis diagnosis method according to the embodiment may be performed by the arthritis diagnosis apparatus.

관절 영상 데이터를 수집하는 단계(S100)는 제1 데이터 수집부에서 수행될 수 있다. 관절 영상 데이터를 수집하는 단계(S100)는 X-ray로부터 촬영된 영상을 수집할 수 있다.Collecting the joint image data (S100) may be performed by the first data collection unit. In the step of collecting joint image data ( S100 ), images taken from X-rays may be collected.

관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하는 단계(S200)는 제1 특징 추출부에서 수행될 수 있다. 관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하는 단계(S200)는 딥러닝 모델을 이용하여 제1 특징들을 추출할 수 있다.Extracting the first features of the joint based on the joint image data ( S200 ) may be performed by the first feature extracting unit. The step of extracting the first features of the joint based on the joint image data ( S200 ) may extract the first features using a deep learning model.

관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하는 단계(S200)는 딥러닝 모델을 이용한 제1 특징들 중 신뢰도가 높은 제1 특징들을 NCA 기법에 의해 추출할 수 있다.In the step of extracting the first features of the joint based on the joint image data ( S200 ), first features with high reliability among the first features using the deep learning model may be extracted by the NCA technique.

보행 데이터를 수집하는 단계(S300)는 제2 데이터 수집부에서 수행될 수 있다. 보행 데이터를 수집하는 단계(S300)는 카메라, IR 카메라, 웨어러블 기기를 사용하여 측정된 보행 데이터를 수집할 수 있다.The step of collecting gait data ( S300 ) may be performed by the second data collecting unit. In the step of collecting gait data ( S300 ), gait data measured using a camera, an IR camera, and a wearable device may be collected.

보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하는 단계(S400)는 제2 특징 추출부에서 수행될 수 있다.The step of extracting the second features of the joint based on the gait data ( S400 ) may be performed by the second feature extracting unit.

보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하는 단계(S400)는 보행 데이터의 파라미터 정보를 추출하고, 파라미터 정보에 따른 제2 특징들을 추출할 수 있다.In the step of extracting the second characteristics of the joint based on the gait data ( S400 ), parameter information of the gait data may be extracted, and second characteristics according to the parameter information may be extracted.

보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하는 단계(S400)는 NCA 기법, ANOVA, t-test 기법을 이용하여 파라미터 정보에 따른 제2 특징들 중 신뢰도가 높은 제2 특징들을 추출할 수 있다.In the step of extracting the second features of the joint based on the gait data (S400), the second features with high reliability among the second features according to the parameter information can be extracted using the NCA technique, ANOVA, and t-test technique. have.

관절의 제1 특징들 및 상기 관절의 제2 특징들을 기초로 상기 관절의 염증을 진단하는 단계(S500)는 진단부에서 수행될 수 있다.Diagnosing the inflammation of the joint based on the first characteristics of the joint and the second characteristics of the joint ( S500 ) may be performed by the diagnosis unit.

관절의 제1 특징들 및 상기 관절의 제2 특징들을 기초로 상기 관절의 염증을 진단하는 단계(S500)는 머신 런닝 모델을 이용하여 진단할 수 있다.Diagnosing the inflammation of the joint based on the first characteristics of the joint and the second characteristics of the joint ( S500 ) may be diagnosed using a machine learning model.

관절의 제1 특징들 및 상기 관절의 제2 특징들을 기초로 상기 관절의 염증을 진단하는 단계는 머신 런닝 모델을 이용하여 관절의 상태를 예측하고 분류할 수 있다.Diagnosing the joint inflammation based on the first characteristics of the joint and the second characteristics of the joint may include predicting and classifying the state of the joint using a machine learning model.

보행 데이터를 수집하는 단계(S300)와, 상기 보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하는 단계(S400)는 상기 관절 영상 데이터를 수집하는 단계(S100)와, 상기 관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하는 단계(S200) 이전 또는 동시에 수행될 수 있다.Collecting gait data (S300) and extracting the second characteristics of the joint based on the gait data (S400) include collecting the joint image data (S100) and based on the joint image data It may be performed before or simultaneously with the step of extracting the first features of the joint (S200).

본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 메모리(내장 메모리 또는 외장 메모리))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램)로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치를 포함할 수 있다. 상기 명령이 제어부에 의해 실행될 경우, 제어부가 직접, 또는 상기 제어부의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, 비일시적은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.Various embodiments of the present document include software (eg, a machine-readable storage media) (eg, a memory (internal memory or external memory)) including instructions stored in a readable storage medium (eg, a computer). : program) can be implemented. The device is a device capable of calling a stored command from a storage medium and operating according to the called command, and may include the electronic device according to the disclosed embodiments. When the command is executed by the control unit, the control unit may perform a function corresponding to the command directly or by using other components under the control of the control unit. Instructions may include code generated or executed by a compiler or interpreter. The device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, non-transitory means that the storage medium does not include a signal and is tangible, and does not distinguish that data is semi-permanently or temporarily stored in the storage medium.

실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다.According to an embodiment, the method according to various embodiments disclosed in the present document may be included and provided in a computer program product.

일 실시예에 따르면, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 관절 영상 데이터를 수집하는 단계와, 상기 관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하는 단계와, 보행 데이터를 수집하는 단계와, 상기 보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하는 단계와, 상기 관절의 제1 특징들 및 상기 관절의 제2 특징들을 기초로 상기 관절의 염증을 진단하는 단계를 수행하기 위한 동작을 포함하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.According to an embodiment, as a computer-readable recording medium storing a computer program, collecting joint image data, extracting first features of the joint based on the joint image data, and gait data performing the steps of collecting, extracting second characteristics of the joint based on the gait data, and diagnosing inflammation of the joint based on the first characteristics of the joint and the second characteristics of the joint It may include instructions for causing the processor to perform a method including an operation to do so.

일 실시예에 따르면, 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 관절 영상 데이터를 수집하는 단계와, 상기 관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하는 단계와, 보행 데이터를 수집하는 단계와, 상기 보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하는 단계와, 상기 관절의 제1 특징들 및 상기 관절의 제2 특징들을 기초로 상기 관절의 염증을 진단하는 단계를 수행하기 위한 동작을 포함하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.According to one embodiment, as a computer program stored in a computer-readable recording medium, the steps of collecting joint image data, extracting the first features of the joint based on the joint image data, and gait data performing the steps of collecting, extracting second characteristics of the joint based on the gait data, and diagnosing inflammation of the joint based on the first characteristics of the joint and second characteristics of the joint It may include instructions for causing the processor to perform a method including an operation to do so.

상기에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 실시예의 기술적 사상으로부터 벗어나지 않는 범위 내에서 실시예는 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.Although the above has been described with reference to the drawings and embodiments, it will be understood by those skilled in the art that various modifications and changes can be made to the embodiments without departing from the spirit of the embodiments described in the claims below. will be able

100: 제1 데이터 수집부
200: 제1 특징 추출부
300: 제2 데이터 수집부
400: 제2 특징 추출부
500: 진단부100: first data collection unit
200: first feature extraction unit
300: second data collection unit
400: second feature extraction unit
500: diagnostic unit

Claims (14)

관절 영상 데이터를 수집하는 제1 데이터 수집부;
상기 관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하는 제1 특징 추출부;
보행 데이터를 수집하는 제2 데이터 수집부;
상기 보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하는 제2 특징 추출부; 및
상기 관절의 제1 특징들 및 상기 관절의 제2 특징들을 기초로 상기 관절의 염증을 진단하는 진단부;
를 포함하는 관절염 진단 장치.A first data collection unit for collecting joint image data;
a first feature extraction unit for extracting first features of the joint based on the joint image data;
a second data collection unit collecting gait data;
a second feature extraction unit for extracting second features of the joint based on the gait data; and
a diagnostic unit for diagnosing inflammation of the joint based on the first characteristics of the joint and the second characteristics of the joint;
Arthritis diagnostic device comprising a. 제1항에 있어서,
상기 관절 영상 데이터는 X-ray로부터 촬영된 관절 영상을 포함하는 관절염 진단 장치.According to claim 1,
The joint image data is an arthritis diagnosis apparatus including a joint image taken from X-rays. 제1항에 있어서,
상기 제1 특징 추출부는,
상기 관절 영상 데이터를 딥러닝 모델에 입력으로 하여 상기 관절의 특징들을 추출하는 제1 추출부와, 상기 추출된 관절의 특징들에 기 설정된 가중치를 반영하여 상기 특징들보다 적은 개수의 제1 특징들을 추출하는 제2 추출부를 포함하는 관절염 진단 장치.According to claim 1,
The first feature extraction unit,
A first extractor for extracting joint features by inputting the joint image data to a deep learning model, and by reflecting a preset weight on the extracted joint features to obtain a smaller number of first features than the features Arthritis diagnosis apparatus comprising a second extraction unit for extracting. 제1항에 있어서,
상기 제2 데이터 수집부는,
웨어러블 기기 또는 IR 카메라 이용하여 측정된 3D 보행 데이터를 수집하는 관절염 진단 장치.According to claim 1,
The second data collection unit,
An arthritis diagnosis device that collects 3D gait data measured using a wearable device or an IR camera. 제4항에 있어서,
상기 웨어러블 기기는 인체에 부착되어 3축 가속도계, 3축 각속도계, 근전도 회로가 일체화된 센서 및 전극을 포함하는 관절염 진단 장치.5. The method of claim 4,
The wearable device is attached to the human body and includes a three-axis accelerometer, a three-axis angular accelerometer, and a sensor and an electrode integrated with an EMG circuit. 제5항에 있어서,
상기 3축 가속도계 및 상기 3축 각속도계는 관절의 운동 역할적 신호 및 관절 움직임을 측정하고, 상기 근전도 회로는 관절에 작용하는 힘을 측정하는 관절염 진단 장치.6. The method of claim 5,
The three-axis accelerometer and the three-axis accelerometer measure motion role signals and joint motion of a joint, and the electromyography circuit measures a force acting on the joint. 제1항에 있어서,
상기 제2 특징 추출부는,
상기 보행 데이터로부터 파라미터 정보를 추출하는 파라미터 추출부와, 상기 추출된 파라미터 정보를 기초로 특징들을 추출하는 제3 추출부와, 기 설정된 통계 기법에 의해 가중치를 반영하여 상기 특징들보다 적은 개수의 제2 특징들을 추출하는 제4 추출부를 포함하는 관절염 진단 장치.According to claim 1,
The second feature extraction unit,
A parameter extracting unit for extracting parameter information from the gait data, a third extracting unit for extracting features based on the extracted parameter information, and by reflecting a weight using a preset statistical technique to generate a smaller number of items than the features Arthritis diagnosis apparatus including a fourth extraction unit for extracting 2 features. 제7항에 있어서,
상기 제2 신뢰도를 가지는 제2 특징들은 힙(Hip)의 구부림 각도(Flexion Angle), 파워(Power), 모음 각도(Adduction Angle), 회전 모먼트(Ratation Moment), 무릎(Knee)의 구부림 각도(Flexion Angle), 확대 모먼트(Extension Moment), 파워(Power), 내번 각도(Varus Angle), 발목(Ankle)의 발바닥 구부림 각도(Plantar-flexion Moment), 파워(Power), 골반(Pelvic)의 기울기 각도(Obiliquity Angle), 발(Foot)의 단계적 각도(Progression Angle)를 포함하는 관절염 진단 장치.8. The method of claim 7,
The second characteristics having the second reliability include a hip flexion angle, power, an addition angle, a rotation moment, and a knee flexion angle ( Flexion Angle, Extension Moment, Power, Varus Angle, Plantar-flexion Moment of Ankle, Power, Pelvic inclination Arthritis diagnosis device including an angle (Obility Angle) and a progressive angle (Progression Angle) of the foot. 제1항에 있어서,
상기 진단부는,
상기 제1 특징들 및 제2 특징들을 미리 훈련된 머신 러닝 모델의 입력으로 하여 상기 관절의 염증을 예측하는 예측부와,
상기 관절의 염증을 단계별로 분류하는 분류부를 포함하는 관절염 진단 장치.According to claim 1,
The diagnostic unit,
a predictor for predicting inflammation of the joint by using the first and second features as inputs of a pre-trained machine learning model;
Arthritis diagnosis apparatus including a classification unit for classifying the inflammation of the joint by stage. 관절 영상 데이터 및 보행 데이터를 저장하는 메모리와 프로세서를 포함하되,
상기 프로세서는,
상기 관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하고, 상기 보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하고, 상기 관절의 제1 특징들 및 상기 관절의 제2 특징들을 기초로 상기 관절의 염증을 진단하는 관절염 진단 장치.Including a memory and a processor for storing joint image data and gait data,
The processor is
Extracting first features of the joint based on the joint image data, extracting second features of the joint based on the gait data, and extracting the first features of the joint and second features of the joint based on the first features of the joint Arthritis diagnosis apparatus for diagnosing inflammation of the joint. 관절염 진단 장치에서 수행되는 관절염 진단 방법에 있어서,
관절 영상 데이터를 수집하는 단계;
상기 관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하는 단계;
보행 데이터를 수집하는 단계;
상기 보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하는 단계; 및
상기 관절의 제1 특징들 및 상기 관절의 제2 특징들을 기초로 상기 관절의 염증을 진단하는 단계를 포함하는 관절염 진단 방법.A method for diagnosing arthritis performed in an arthritis diagnosis apparatus, the method comprising:
collecting joint image data;
extracting first features of the joint based on the joint image data;
collecting gait data;
extracting second characteristics of the joint based on the gait data; and
and diagnosing inflammation of the joint based on the first characteristics of the joint and the second characteristics of the joint. 제11항에 있어서,
상기 보행 데이터를 수집하는 단계와, 상기 보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하는 단계는,
상기 관절 영상 데이터를 수집하는 단계와, 상기 관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하는 단계 이전 또는 동시에 수행되는 관절염 진단 방법.12. The method of claim 11,
The steps of collecting the gait data and extracting the second characteristics of the joint based on the gait data include:
A method for diagnosing arthritis performed before or simultaneously with collecting the joint image data and extracting first features of the joint based on the joint image data. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
관절 영상 데이터를 수집하는 단계;
상기 관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하는 단계;
보행 데이터를 수집하는 단계;
상기 보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하는 단계; 및
상기 관절의 제1 특징들 및 상기 관절의 제2 특징들을 기초로 상기 관절의 염증을 진단하는 단계;
를 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체.As a computer-readable recording medium storing a computer program,
The computer program, when executed by a processor,
collecting joint image data;
extracting first features of the joint based on the joint image data;
collecting gait data;
extracting second characteristics of the joint based on the gait data; and
diagnosing inflammation of the joint based on the first characteristics of the joint and the second characteristics of the joint;
A computer-readable recording medium comprising instructions for causing the processor to perform. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
관절 영상 데이터를 수집하는 단계;
상기 관절 영상 데이터를 기초로 상기 관절의 제1 특징들을 추출하는 단계;
보행 데이터를 수집하는 단계;
상기 보행 데이터를 기초로 상기 관절의 제2 특징들을 추출하는 단계; 및
상기 관절의 제1 특징들 및 상기 관절의 제2 특징들을 기초로 상기 관절의 염증을 진단하는 단계;
를 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램.As a computer program stored in a computer-readable recording medium,
The computer program, when executed by a processor,
collecting joint image data;
extracting first features of the joint based on the joint image data;
collecting gait data;
extracting second characteristics of the joint based on the gait data; and
diagnosing inflammation of the joint based on the first characteristics of the joint and the second characteristics of the joint;
A computer program comprising instructions for causing the processor to perform
KR1020200177812A 2020-12-17 2020-12-17 Apparatus for diagnosing of arthritis and method of providing information for diagnosing of arthritis using thereof, computer-readable storage medium and computer program KR102574514B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200177812A KR102574514B1 (en) 2020-12-17 2020-12-17 Apparatus for diagnosing of arthritis and method of providing information for diagnosing of arthritis using thereof, computer-readable storage medium and computer program
PCT/KR2021/019263 WO2022131842A1 (en) 2020-12-17 2021-12-17 Arthritis diagnosis device, arthritis diagnosis method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200177812A KR102574514B1 (en) 2020-12-17 2020-12-17 Apparatus for diagnosing of arthritis and method of providing information for diagnosing of arthritis using thereof, computer-readable storage medium and computer program

Publications (2)

Publication Number Publication Date
KR20220087274A true KR20220087274A (en) 2022-06-24
KR102574514B1 KR102574514B1 (en) 2023-09-06

Family

ID=82059369

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200177812A KR102574514B1 (en) 2020-12-17 2020-12-17 Apparatus for diagnosing of arthritis and method of providing information for diagnosing of arthritis using thereof, computer-readable storage medium and computer program

Country Status (2)

Country Link
KR (1) KR102574514B1 (en)
WO (1) WO2022131842A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002532126A (en) * 1998-09-14 2002-10-02 スタンフォード ユニバーシティ Joint condition evaluation and damage prevention device
KR20190049552A (en) * 2017-10-30 2019-05-09 한국전자통신연구원 Method and apparatus for image and neural network compression using latent variable
KR20190105867A (en) * 2018-03-06 2019-09-18 단국대학교 산학협력단 System and Method for Analyzing Foot Pressure Change and Gait Pattern
KR20200137178A (en) * 2019-05-29 2020-12-09 전북대학교산학협력단 Method and device for medical image processing using machine learning

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101599077B1 (en) * 2007-08-14 2016-03-14 미베니온 게엠베하 Device and procedure for the diagnosis or diagnostic preparation and/or therapy monitoring of inflammatory diseases such as rheumatoid arthritis
KR20130013935A (en) * 2011-07-29 2013-02-06 (주)우리들웰니스 A walking pattern analysis system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002532126A (en) * 1998-09-14 2002-10-02 スタンフォード ユニバーシティ Joint condition evaluation and damage prevention device
KR20190049552A (en) * 2017-10-30 2019-05-09 한국전자통신연구원 Method and apparatus for image and neural network compression using latent variable
KR20190105867A (en) * 2018-03-06 2019-09-18 단국대학교 산학협력단 System and Method for Analyzing Foot Pressure Change and Gait Pattern
KR20200137178A (en) * 2019-05-29 2020-12-09 전북대학교산학협력단 Method and device for medical image processing using machine learning

Also Published As

Publication number Publication date
WO2022131842A1 (en) 2022-06-23
KR102574514B1 (en) 2023-09-06

Similar Documents

Publication Publication Date Title
Nawoczenski et al. The effect of foot structure on the three-dimensional kinematic coupling behavior of the leg and rear foot
EP2805277B1 (en) Method and system for human joint treatment plan and personalized surgery planning using 3-d kinematics, fusion imaging and simulation
JP7057589B2 (en) Medical information processing system, gait state quantification method and program
KR101576526B1 (en) Apparatus and Method for Supporting Rehabilitation Exercise
Chèze et al. State of the art and current limits of musculo-skeletal models for clinical applications
Hossain et al. Estimation of lower extremity joint moments and 3d ground reaction forces using imu sensors in multiple walking conditions: A deep learning approach
CN113974612B (en) Automatic evaluation method and system for upper limb movement function of stroke patient
KR20220087274A (en) Apparatus and method for dignosing of arthritis, computer-readable storage medium and computer program
CN115486839A (en) Gait analysis and diagnosis system and method based on artificial intelligence
CN115474926A (en) Gait recognition method and system for medical assistance
Sartori et al. Electromyography‐driven modeling for simulating subject‐specific movement at the neuromusculoskeletal level
US20060287612A1 (en) Method for simulating musculoskeletal strains on a patient
RU2808360C1 (en) Method for diagnosis of functional disorders of knee joint
KR102658995B1 (en) System and Method for Learning Hand Motion based on Artificial Intelligence Technology, and Disease Prediction System and Method using Artificial Intelligence Model
Çetiner et al. Tibial rotation assessment using artificial neural networks
US20220225897A1 (en) Systems and methods for remote motor assessment
Ji et al. Biomimetic Intelligence and Robotics
Loayza et al. Application of Kinect technology and artificial neural networks in the control of rehabilitation therapies in people with knee injuries
Simão Machine Learning for Knee Contact Force Prediction
Chandu et al. Discovering Knee Osteoarthritis Using CNN Enhanced with AlexNet
Chen et al. Elderly Health Services and Remote Health Monitoring
Ji et al. Machine learning-based detection of cervical spondylotic myelopathy using multiple gait parameters
Cunha Computational Intelligence generation of subject-specific knee and hip healthy reference curves
Moghadam et al. 3D Gait Analysis in Children Using Wearable Sensors: Feasibility of Predicting Joint Kinematics and Kinetics with Personalized Machine Learning Models and Inertial Measurement Units
Chen et al. Upper Limbs Extension and Flexion Angles Calculation and Visualization Using Two Wearable Inertial Measurement Units

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant