KR20230046023A - Method and device of measuring hand grip strength using image-based finger angle estimation, recording medium for performing the method - Google Patents
Method and device of measuring hand grip strength using image-based finger angle estimation, recording medium for performing the method Download PDFInfo
- Publication number
- KR20230046023A KR20230046023A KR1020210128978A KR20210128978A KR20230046023A KR 20230046023 A KR20230046023 A KR 20230046023A KR 1020210128978 A KR1020210128978 A KR 1020210128978A KR 20210128978 A KR20210128978 A KR 20210128978A KR 20230046023 A KR20230046023 A KR 20230046023A
- Authority
- KR
- South Korea
- Prior art keywords
- grip strength
- finger
- measuring
- image
- examiner
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000005452 bending Methods 0.000 claims abstract description 37
- 210000003811 finger Anatomy 0.000 claims description 114
- 238000005259 measurement Methods 0.000 claims description 31
- 238000012935 Averaging Methods 0.000 claims description 12
- 210000001503 joint Anatomy 0.000 claims description 11
- 238000009795 derivation Methods 0.000 claims description 10
- 210000000707 wrist Anatomy 0.000 claims description 8
- 210000001145 finger joint Anatomy 0.000 claims description 7
- 210000003813 thumb Anatomy 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 7
- 208000001076 sarcopenia Diseases 0.000 description 10
- 210000004247 hand Anatomy 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000000811 metacarpophalangeal joint Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/22—Ergometry; Measuring muscular strength or the force of a muscular blow
- A61B5/224—Measuring muscular strength
- A61B5/225—Measuring muscular strength of the fingers, e.g. by monitoring hand-grip force
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1124—Determining motor skills
- A61B5/1125—Grasping motions of hands
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Physical Education & Sports Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치 및 방법, 이를 수행하기 위한 기록 매체에 관한 것으로서, 더욱 상세하게는 탄성체를 쥔 검사자의 손을 인식한 데이터를 이용하여 손가락의 각도를 계산하여 악력을 측정하는 기술에 관한 것이다.The present invention relates to an apparatus and method for measuring grip strength using image-based finger angle estimation, and a recording medium for performing the same, and more particularly, to determine grip strength by calculating the angle of a finger using data recognizing an examiner's hand holding an elastic body. It is about the technique of measuring.
근감소증은 몸의 근육이 비정상적으로 줄거나 약해져 신체 활동이 원활하지 않은 상태를 말한다. 한국 노령 인구의 20% 이상이 근감소증인 것으로 확인되며, 최근에 국제적으로 근감소증이 질병으로 인정되어 '질병코드'가 부여되었다. Sarcopenia refers to a condition in which the muscles of the body are abnormally reduced or weakened, resulting in poor physical activity. More than 20% of the elderly population in Korea is confirmed to have sarcopenia, and recently, sarcopenia has been internationally recognized as a disease and a 'disease code' has been assigned.
이러한 근감소증의 효과적인 치료 및 부작용을 최소화하기 위해서는 근감소증의 조기 진단 및 이를 기초로 하는 효과적인 처치가 매우 중요하다. 근감소증 진단을 위해 대표적으로 사용되는 수치는 악력이다.In order to effectively treat sarcopenia and minimize side effects of sarcopenia, early diagnosis of sarcopenia and effective treatment based thereon are very important. A representative value used for diagnosing sarcopenia is grip strength.
현재 사람의 악력은 악력계를 통해 객관적인 수치로 측정되며, 해당 데이터는 다양한 분야에서 활용되고 있다. 대표적으로, 공무원 선발시험이나 근감소증 진단 등의 의료 목적으로 사용된다. 이때 사용되는 악력계는 가격 부담이 상당히 크며, 개개인이 악력을 측정하여 사용하기에는 어려움이 존재한다.Currently, human grip strength is measured as an objective numerical value through a grip dynamometer, and the corresponding data is used in various fields. Typically, it is used for medical purposes such as civil servant selection tests or sarcopenia diagnosis. The grip dynamometer used at this time is quite expensive, and it is difficult for individuals to measure and use the grip strength.
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치를 제공하는 것이다.Therefore, the technical problem of the present invention has been focused on this point, and an object of the present invention is to provide a grip strength measuring device using image-based finger angle estimation.
본 발명의 다른 목적은 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법을 제공하는 것이다.Another object of the present invention is to provide a method for measuring grip strength using image-based finger angle estimation.
본 발명의 또 다른 목적은 상기 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.Another object of the present invention is to provide a recording medium on which a computer program for performing the grip strength measuring method using the image-based finger angle estimation is recorded.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치는, 정해진 프레임마다 검사자의 손 영상을 검출하는 손 영상 추적부; 검사자가 구형(spherical shape)의 탄성체를 쥐었을 때 탄성체의 반지름과 검사자의 손가락의 길이를 기초로 손가락 굽힘의 각도를 계산하는 초기 각도 계산부; 검사자의 손바닥의 면적을 도출하는 손바닥 면적 도출부; 및 검사자가 탄성체에 힘을 주었을 때 손가락 굽힘의 각도 변화와 손바닥의 면적을 기초로 검사자의 악력을 측정하는 악력 측정부;를 포함한다.An apparatus for measuring grip strength using image-based finger angle estimation according to an embodiment for realizing the above object of the present invention includes a hand image tracking unit that detects an image of a hand of a examiner at each predetermined frame; an initial angle calculating unit that calculates a finger bending angle based on the radius of the elastic body and the length of the examiner's finger when the examiner holds a spherical elastic body; a palm area derivation unit for deriving the area of the examiner's palm; and a grip strength measuring unit that measures the examiner's grip strength based on the area of the palm and the change in angle of finger bending when the examiner applies force to the elastic body.
본 발명의 실시예에서, 상기 초기 각도 계산부는, 검사자의 손가락 중 엄지 손가락을 제외한 손가락의 길이를 측정하여 손가락 굽힘 각도 계산에 이용할 수 있다.In an embodiment of the present invention, the initial angle calculation unit may measure the lengths of fingers other than the thumb of the inspector and use them to calculate the finger bending angle.
본 발명의 실시예에서, 상기 악력 측정부는, 검사자가 탄성체에 힘을 주었을 때의 악력을 정해진 횟수만큼 반복적으로 측정할 수 있다.In an embodiment of the present invention, the grip force measuring unit may repeatedly measure the grip force when the examiner applies force to the elastic body a predetermined number of times.
본 발명의 실시예에서, 상기 악력 측정부는, 전체 손가락 굽힘의 각도를 평균하여 악력을 측정할 수 있다.In an embodiment of the present invention, the grip strength measurement unit may measure the grip strength by averaging the bending angles of all fingers.
본 발명의 실시예에서, 상기 악력 측정부는, 반복하여 측정한 검사자의 악력 측정값을 내림차순으로 정렬하고, 미리 설정된 상위 순위까지의 악력 측정값을 평균하여 결과를 도출할 수 있다.In an embodiment of the present invention, the grip strength measuring unit may derive a result by arranging the repeatedly measured grip strength measurements of the inspector in descending order and averaging the grip strength measurements up to a preset upper rank.
본 발명의 실시예에서, 상기 악력 측정부는, 손가락 관절 중 근위지관절(Proximal Interphalangeal joint; PIP) 마디에서의 각도에 가중치를 부여할 수 있다.In an embodiment of the present invention, the grip strength measuring unit may assign a weight to an angle at a proximal interphalangeal joint (PIP) joint among finger joints.
본 발명의 실시예에서, 상기 악력 측정부는, 개별 손가락 굽힘의 각도를 기초로 악력을 측정할 수 있다.In an embodiment of the present invention, the grip strength measuring unit may measure the grip strength based on an angle of bending of each individual finger.
본 발명의 실시예에서, 상기 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치는, 압력이 서로 다른 두 개 이상의 탄성체를 이용하여, 다른 악력 범위를 측정할 수 있다.In an embodiment of the present invention, the grip strength measuring device using the image-based finger angle estimation may measure different grip strength ranges by using two or more elastic bodies having different pressures.
본 발명의 실시예에서, 상기 손 영상 추적부는, 검사자의 손 등을 중심으로 손 모양의 변화를 추적할 수 있다.In an embodiment of the present invention, the hand image tracking unit may track a change in hand shape centering on the examiner's hand.
본 발명의 실시예에서, 상기 손바닥 면적 도출부는, 검사자의 손바닥의 너비와 손목부터 중지 끝까지의 길이를 측정하여 손바닥 면적을 도출할 수 있다.In an embodiment of the present invention, the palm area derivation unit may derive the palm area by measuring the width of the examiner's palm and the length from the wrist to the tip of the middle finger.
본 발명의 실시예에서, 상기 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치는, 손가락 굽힘의 각도 변화와 손바닥의 면적 및 악력과의 관계를 모델링하는 모델링부;를 더 포함할 수 있다.In an embodiment of the present invention, the apparatus for measuring grip strength using image-based finger angle estimation may further include a modeling unit that models a relationship between a change in angle of bending of a finger and an area of a palm and grip strength.
본 발명의 실시예에서, 상기 모델링부는, 손바닥의 면적을 다차원으로 모델링할 수 있다.In an embodiment of the present invention, the modeling unit may model the area of the palm in a multi-dimensional manner.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법은, 정해진 프레임마다 검사자의 손 영상을 검출하는 단계; 검사자가 구형(spherical shape)의 탄성체를 쥐었을 때 탄성체의 반지름과 검사자의 손가락의 길이를 기초로 손가락 굽힘의 각도를 계산하는 단계; 검사자의 손바닥의 면적을 도출하는 단계; 및 검사자가 탄성체에 힘을 주었을 때 손가락 굽힘의 각도 변화와 손바닥의 면적을 기초로 검사자의 악력을 측정하는 단계;를 포함한다.A method for measuring grip strength using image-based finger angle estimation according to an embodiment for realizing another object of the present invention described above includes detecting an image of an examiner's hand for each predetermined frame; calculating a finger bending angle based on a radius of the elastic body and a length of the examiner's finger when the examiner holds a spherical elastic body; Deriving the area of the examiner's palm; and and measuring the examiner's grip strength based on the area of the palm and the change in the bending angle of the fingers when the examiner applies force to the elastic body.
본 발명의 실시예에서, 상기 검사자의 악력을 측정하는 단계는, 검사자가 탄성체에 힘을 주었을 때의 악력을 정해진 횟수만큼 반복적으로 측정하는 단계; 반복하여 측정한 검사자의 악력 측정값을 내림차순으로 정렬하는 단계; 및 미리 설정된 상위 순위까지의 악력 측정값을 평균하여 결과를 도출하는 단계;를 포함할 수 있다.In an embodiment of the present invention, the step of measuring the grip strength of the inspector may include repeatedly measuring the grip strength when the inspector applies force to the elastic body a predetermined number of times; arranging the repeatedly measured grip strength measurements of the inspector in descending order; and deriving a result by averaging grip strength measurement values up to a preset higher rank.
본 발명의 실시예에서, 상기 검사자의 악력을 측정하는 단계는, 개별 손가락 굽힘의 각도를 기초로 악력을 측정하거나 개별 손가락 굽힘의 각도를 기초로 악력을 측정할 수 있다.In an exemplary embodiment of the present invention, the measuring of the examiner's grip strength may include measuring the grip strength based on individual finger bend angles or measuring the grip strength based on individual finger bend angles.
본 발명의 실시예에서, 상기 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법은, 손가락 굽힘의 각도 변화와 손바닥의 면적 및 악력과의 관계를 모델링하는 단계;를 더 포함할 수 있다.In an embodiment of the present invention, the grip strength measuring method using the image-based finger angle estimation may further include modeling a relationship between a change in a finger bend angle and a palm area and grip strength.
상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 상기 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.A computer program for performing the grip strength measurement method using the image-based finger angle estimation is recorded in a computer-readable storage medium according to an embodiment for realizing another object of the present invention.
이와 같은 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치 및 방법에 따르면, 비교적 쉽게 구할 수 있는 탄성체(예를 들어, 고무공)와 컴퓨터, 웹 캠 등을 이용하고, 검사자의 손을 인식한 영상 데이터로 손가락마다 굽힘의 각도 변화를 계산하여 악력을 측정할 수 있다. 따라서, 고가의 장비 없이 효과적으로 악력을 측정하여, 근감소증 진단 등의 의료 분야에서 유용하게 활용할 수 있다.According to the apparatus and method for measuring grip strength using such image-based finger angle estimation, a relatively easily obtainable elastic body (eg, rubber ball), a computer, a web cam, etc. are used, and the image data obtained by recognizing the examiner's hand is used as finger The grip force can be measured by calculating the angular change of each bending. Therefore, it is possible to effectively measure the grip strength without expensive equipment and use it usefully in the medical field such as sarcopenia diagnosis.
도 1은 본 발명의 일 실시예에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치의 블록도이다.
도 2는 본 발명에서 악력을 측정하기 위한 조건의 예시 도면이다.
도 3은 손가락에 힘을 주었을 때의 손가락 굽힘의 각도 도출을 설명하기 위한 도면이다.
도 4는 손가락에 힘을 주지 않았을 때 손가락 굽힘의 각도 도출을 설명하기 위한 도면이다.
도 5는 검사자가 손에 쥔 고무공에 힘을 주는 모습을 나타내는 도면이다.
도 6은 각도 변화량, 손바닥 면적 및 실제 악력 관계를 나타내는 그래프이다.
도 7은 본 발명의 일 실시예에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법의 흐름도이다.
도 8은 도 7의 검사자의 악력 측정 단계의 일례에 대한 흐름도이다.1 is a block diagram of an apparatus for measuring grip strength using image-based finger angle estimation according to an embodiment of the present invention.
2 is an exemplary diagram of conditions for measuring grip strength in the present invention.
3 is a view for explaining derivation of an angle of finger bending when force is applied to the finger.
4 is a view for explaining derivation of an angle of bending of a finger when force is not applied to the finger.
5 is a view showing a state in which a tester applies force to a rubber ball held in his hand.
6 is a graph showing a relationship between an angle change amount, a palm area, and an actual grip strength.
7 is a flowchart of a method for measuring grip strength using image-based finger angle estimation according to an embodiment of the present invention.
FIG. 8 is a flowchart of an example of the step of measuring the grip strength of the inspector of FIG. 7 .
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The detailed description of the present invention which follows refers to the accompanying drawings which illustrate, by way of illustration, specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable one skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different from each other but are not necessarily mutually exclusive. For example, specific shapes, structures, and characteristics described herein may be implemented in one embodiment in another embodiment without departing from the spirit and scope of the invention. Additionally, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the invention. Accordingly, the detailed description set forth below is not to be taken in a limiting sense, and the scope of the present invention, if properly described, is limited only by the appended claims, along with all equivalents as claimed by those claims. Like reference numbers in the drawings indicate the same or similar function throughout the various aspects.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치의 블록도이다.1 is a block diagram of an apparatus for measuring grip strength using image-based finger angle estimation according to an embodiment of the present invention.
본 발명에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치(10, 이하 장치)는 비교적 쉽게 구할 수 있는 탄성체(예를 들어, 고무공)와 컴퓨터, 웹 캠 등의 영상장치를 이용하여 사람의 손을 인식한 데이터로 손가락마다 각도를 도출하여 악력을 측정한다.An apparatus for measuring grip strength (10, hereinafter) using image-based finger angle estimation according to the present invention measures a person's hand using a relatively easily available elastic body (eg, a rubber ball) and an imaging device such as a computer or web cam. The grip strength is measured by deriving an angle for each finger with the recognized data.
도 1을 참조하면, 본 발명에 따른 장치(10)는 손 영상 추적부(110), 초기 각도 계산부(130), 손바닥 면적 도출부(150) 및 악력 측정부(170)를 포함한다. 또한, 장치(10)는 모델링부를 더 포함할 수 있다.Referring to FIG. 1 , an
본 발명의 상기 장치(10)는 영상 기반 손가락 각도 추정을 이용한 악력 측정을 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 손 영상 추적부(110), 상기 초기 각도 계산부(130), 상기 손바닥 면적 도출부(150) 및 상기 악력 측정부(170)의 구성은 상기 장치(10)에서 실행되는 상기 영상 기반 손가락 각도 추정을 이용한 악력 측정을 수행하기 위한 소프트웨어에 의해 제어될 수 있다. In the
상기 장치(10)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 또한, 상기 손 영상 추적부(110), 상기 초기 각도 계산부(130), 상기 손바닥 면적 도출부(150) 및 상기 악력 측정부(170)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.The
상기 장치(10)는 이동성을 갖거나 고정될 수 있다. 상기 장치(10)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다. The
상기 장치(10)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.The
상기 손 영상 추적부(110)는 정해진 프레임마다 검사자의 손 영상을 검출한다. 상기 손 영상 추적부(110)는 예를 들어, 카메라, 웹 캠 등의 영상 촬영 장치일 수 있다. The hand
상기 손 영상 추적부(110)는 검사자의 손 등을 중심으로 손 모양의 변화를 추적할 수 있다. The hand
도 2를 참조하면, 본 발명에서 악력을 측정하기 위한 조건의 예시로서, 형광등 바로 밑처럼 빛이 충분한 곳에서 진행하며, 웹 캠 등의 상기 손 영상 추적부(110)로부터 일정거리(예를 들어, 40 cm) 이격된 곳에서 검사자의 손목이 고정된 상태에서 악력 측정을 진행할 수 있다.Referring to FIG. 2, as an example of a condition for measuring grip strength in the present invention, it is performed in a place with sufficient light, such as right under a fluorescent lamp, and a certain distance from the hand
일 실시예에서, 웹 캠으로 찍은 실시간 영상을 OpenCV에서 제공하는 함수를 사용하여 영상처리를 진행할 수 있다. 실시간 영상에서 Mediapipe가 손을 검출할 수 있도록 프레임마다 이미지를 제공하고, 이후, 특정 입력을 주면 각 기능을 수행하도록 할 수 있다.In one embodiment, a real-time image taken by a web cam can be processed using a function provided by OpenCV. In real-time video, you can provide images for each frame so that Mediapipe can detect hands, and then perform each function when a specific input is given.
또한, 일정 시간(예를 들어, 3초) 손목이 고정된 이후의 3초 동안의 프레임을 저장할 수 있고, 60개 이상의 프레임을 저장할 수 있다. 그러나, 이러한 수치들은 예시들에 불과하며 조건들은 필요에 따라 변경 가능하다.In addition, frames for 3 seconds after the wrist is fixed for a certain period of time (eg, 3 seconds) may be stored, and 60 or more frames may be stored. However, these numbers are only examples and conditions can be changed as needed.
상기 초기 각도 계산부(130)는 검사자가 구형(spherical shape)의 탄성체를 쥐었을 때 탄성체의 반지름과 검사자의 손가락의 길이를 기초로 손가락 굽힘의 각도를 계산한다. The initial
탄성체는 예를 들어, 고무공을 사용할 수 있고, 다양한 크기, 탄성 또는 압력을 갖는 고무공을 이용하여 서로 다른 범위의 악력을 측정할 수 있다.For example, a rubber ball may be used as the elastic body, and grip strength in different ranges may be measured using rubber balls having various sizes, elasticity, or pressure.
상기 초기 각도 계산부(130)는 검사자의 손가락 중 엄지 손가락을 제외한 손가락의 길이를 측정하여 손가락 굽힘 각도 계산에 이용할 수 있다.The initial
일 실시예에서, 손 영상으로부터 손가락 움직임을 추적하기 위하여 구글(Google)에서 제공하는 오픈소스인 Mediapipe 모듈을 사용할 수 있다. Mediapipe는 다양한 영상 객체를 인식하는 딥러닝 모델을 제공하는데 그 중 손을 인식하는 Hands 솔루션을 사용할 수 있다. In one embodiment, an open source Mediapipe module provided by Google can be used to track finger movements from hand images. Mediapipe provides a deep learning model that recognizes various video objects, and among them, the Hands solution that recognizes hands can be used.
Hands 솔루션은 손가락을 제외한 손바닥만 학습시킨 후 인식된 손바닥을 기준으로 회귀 분석하여 다섯 손가락을 검출한다. 검출된 전체 손바닥 영역 안에 Hand landmarks를 표시한다. The Hands solution trains only the palm excluding the fingers, and then performs regression analysis based on the recognized palm to detect five fingers. Hand landmarks are displayed in the entire detected palm area.
따라서, Mediapipe는 학습 데이터의 복잡도를 낮추어 모델을 최적화하였기 때문에 감지 정밀도가 높고 실시간 영상에서도 손가락 관절에 대한 추적 속도가 빠르다.Therefore, since Mediapipe optimized the model by reducing the complexity of the learning data, the detection accuracy is high and the tracking speed for the finger joint is fast even in real-time video.
도 3을 참조하면, Mediapipe Model을 활용하여, 손의 Landmark를 가져 온다.Referring to FIG. 3, using the Mediapipe Model, the landmark of the hand is brought.
이를 활용하여, 각각의 점에서 x, y, z 점을 가져올 수 있다. 여기서, 손가락마다 제1 지관절의 각도를 도출하기 위해서 벡터의 내적을 통해 아래의 수학식 1과 같이 각도를 도출한다.Using this, we can get the x, y, and z points from each point. Here, in order to derive the angle of the first interphalangeal joint for each finger, the angle is derived as shown in
[수학식 1][Equation 1]
도 4를 참조하면, 고무공을 완전한 구라고 가정하고, 내접하는 사각형의 원리를 사용하여 고무공을 쥐었을 때(힘을 주지 않았을 때)의 각도 계산 공식을 아래의 수학식 2와 같이 유도할 수 있다.Referring to FIG. 4, assuming that the rubber ball is a perfect sphere, the angle calculation formula when the rubber ball is held (when no force is applied) can be derived as shown in
[수학식 2][Equation 2]
여기서, r은 고무공의 반지름을 나타내고, l은 손가락의 길이를 나타낸다.Here, r represents the radius of the rubber ball, and l represents the length of the finger.
상기 손바닥 면적 도출부(150)는 검사자의 손바닥의 면적을 도출한다. 예를 들어, 상기 손바닥 면적 도출부(150)는 검사자의 손바닥의 너비와 손목부터 중지 끝까지의 길이를 측정하여 손바닥 면적을 도출할 수 있다.The palm
다른 실시예에서, 상기 손바닥 면적 도출부(150)는 영상 도출 이전에 미리 측정하여 초기값으로 입력될 수도 있다.In another embodiment, the palm
상기 악력 측정부(170)는 검사자가 탄성체에 힘을 주었을 때 손가락 굽힘의 각도 변화와 손바닥의 면적을 기초로 검사자의 악력을 측정한다.The grip
도 5를 참조하면, 고무공에 힘을 주었을 때의 각도는 손가락 관절의 3차원 위치 추적 결과를 바탕으로 수학식 1에 의하여 각 손가락마디 마다 각도를 계산할 수 있다. Referring to FIG. 5 , the angle when force is applied to the rubber ball can be calculated for each knuckle by
일 실시예에서, 검사자가 신호에 맞춰 고무공에 힘을 주고 그 힘을 유지하는 일정 시간(예를 들어, 3초) 동안 측정된 엄지를 제외한 네 손가락 마디 각도의 평균을 저장할 수 있다. 이후, 저장된 각도를 통해 악력 측정값을 도출할 수 있다.In one embodiment, the tester may apply force to the rubber ball according to the signal and store an average of four knuckle angles measured for a predetermined time (eg, 3 seconds) while maintaining the force. Thereafter, a grip strength measurement value may be derived through the stored angle.
정확한 측정을 위하여, 상기 악력 측정부(170)는 검사자가 탄성체에 힘을 주었을 때의 악력을 정해진 횟수(예를 들어, 5번)만큼 반복적으로 측정할 수 있다. For accurate measurement, the grip
예를 들어, 상기 악력 측정부(170)는 반복적으로 측정된 전체 손가락 굽힘의 각도를 평균하여 악력을 측정할 수 있다. 또는 이와 다르게 반복하여 측정한 검사자의 악력 측정값을 내림차순으로 정렬하고, 미리 설정된 상위 순위(예를 들어, 1순위 및 2순위)까지의 악력 측정값을 평균하여 결과를 도출할 수 있다.For example, the
다른 실시예에서, 상기 악력 측정부(170)는 손가락 관절 중 근위지관절(Proximal Interphalangeal joint; PIP) 마디에서의 각도에 가중치를 부여할 수 있다. In another embodiment, the grip
손가락에는 엄지 손가락을 제외한 나머지 네 손가락에 중수지관절(Metacarpophalangeal joint; MCP), 근위지관절(Proximal Interphalangeal joint; PIP) 및 원위지관절(Distal Interphalangeal joint; DIP) 총 3개를 포함한다. 이 중 물건을 쥐는데 가장 중요한 역할을 하고, 원위지관절 각은 근위지관절 각에 종속적인 경향이 있기 때문에, 가운데의 근위지관절에 가중치를 부여하여 좀 더 정확한 악력을 측정할 수 있다.The fingers include a total of three joints, the metacarpophalangeal joint (MCP), the proximal interphalangeal joint (PIP), and the distal interphalangeal joint (DIP) in the four fingers except for the thumb. Among them, since it plays the most important role in gripping objects, and the distal interphalangeal joint angle tends to be dependent on the proximal interphalangeal joint angle, more accurate grip strength can be measured by assigning weight to the proximal interphalangeal joint in the middle.
또한, 상기 악력 측정부(170)는 전체 손가락의 악력을 측정할 수도 있으나 개별 손가락의 각 굽힘의 각도를 기초로 악력을 측정할 수도 있다. 개별 손가락의 굽힘 각도를 측정하는 경우에도, 다수 번 반복적으로 탄성체를 쥐고 굽힘 각도를 측정하여 평균하여 악력을 측정할 수 있다.In addition, the grip
상기 악력 측정부(170)는 압력이 서로 다른 두 개 이상의 탄성체를 이용하여, 다른 악력 범위를 측정할 수도 있다. The grip
상기 장치(10)는 손가락 굽힘의 각도 변화와 손바닥의 면적 및 악력과의 관계를 모델링하는 모델링부를 더 포함할 수 있다. 이 경우, 손바닥의 면적은 다차원으로 모델링할 수 있다.The
이하에서는, 본 발명에 의한 악력 측정의 정확도를 측정하기 위한 실험결과를 설명한다. Hereinafter, experimental results for measuring the accuracy of grip strength measurement according to the present invention will be described.
먼저, 실험 순서는 다음과 같다.First, the order of experiments is as follows.
(1) 실험자의 다섯 손가락 중에서 엄지손가락을 제외한 네 손가락의 길이를 측정하여, 수학식 2를 활용한 프로그램을 이용하여 고무공을 쥐었을 때 각도를 계산한다.(1) Measure the lengths of four fingers excluding the thumb among the five fingers of the experimenter, and calculate the angle when the rubber ball is gripped using a
(2) 손바닥의 너비와 손목부터 중지 끝까지의 길이를 측정하여 손바닥의 면적을 구한다.(2) Calculate the area of the palm by measuring the width of the palm and the length from the wrist to the tip of the middle finger.
(3) 사용자의 실제 악력을 측정한다.(3) Measure the user's actual grip strength.
(4) 적절한 실험 환경에서 실험자에게 고무공을 쥐게 한 후, 자세가 안정되면 3초간 고무공에 힘을 주도록 하고 이를 5번 반복한다.(4) After having the experimenter hold the rubber ball in an appropriate experimental environment, when the posture is stable, force the rubber ball for 3 seconds and repeat this 5 times.
이 실험에서 실제 악력은 TAKEI PHIYSICAL FITNESS TEST: GRIP-D를 사용하여 측정하였다. 정확한 측정을 위해 모든 측정자는 양발을 어깨너비로 벌려 기립한 상태에서 측정자가 편한 쪽의 손에 악력 측정기를 쥐고 "시작" 신호에 맞춰 손에 힘을 주었다. 이 자세로 4번 반복 측정하여 상위 2개의 값의 평균을 실제 악력으로 기록했다.In this experiment, actual grip strength was measured using TAKEI PHIYSICAL FITNESS TEST: GRIP-D. For accurate measurement, all measurers stood upright with their feet shoulder-width apart, held the grip strength meter in the hand on which the measurer was more comfortable, and gave strength to their hand according to the "start" signal. In this position, the measurement was repeated four times, and the average of the top two values was recorded as the actual grip strength.
20~30대 성인 남녀 12명을 대상으로 실험을 진행하여, 각각의 실험자마다 실제 악력, 고무공을 쥐었을 때의 각도, 고무공에 힘을 주었을 때의 각도, 손바닥의 면적과 같이 4가지의 데이터를 측정하였다. The experiment was conducted with 12 adult males and females in their 20s and 30s, and each experimenter obtained four types of data: actual grip strength, angle when holding a rubber ball, angle when force was applied to the rubber ball, and palm area. measured.
Matlab을 사용하여 구한 데이터를 통해 x축은 각도의 차이, y축은 손 크기, z축은 실제 악력을 대입하고, Multiple Linear Least-Squares Regression 방법을 이용하여 도 6의 결과 그래프와 아래의 수학식 3을 유도하였다.Through the data obtained using Matlab, the x-axis is the angle difference, the y-axis is the hand size, and the z-axis is the actual grip strength, and the resultant graph in FIG. 6 and
[수학식 3][Equation 3]
여기서, x1은 각도의 변화량, x2는 손바닥 면적, y는 실제 악력을 의미한다.Here, x 1 is the amount of change in angle, x 2 is the palm area, and y is the actual grip strength.
수학식 3을 활용하여 실험자의 네 손가락 길이 및 손바닥 크기, 고무공에 힘을 주었을 때 각도로 악력을 도출하고, 이를 검증하기 위해 3명의 실험자로 실제 악력과 프로그램으로 측정한 악력의 오차율을 구한 결과를 아래의 표 1에서 나타내었다. Using
이를 통하여, 본 발명에서 제안된 컴퓨터비전 기반의 각도 변화량과 손바닥 면적을 바탕으로 한 모델을 기반으로 근사적으로 악력을 측정할 수 있음을 확인할 수 있다.Through this, it can be confirmed that the grip strength can be approximately measured based on the computer vision-based angular change and the model based on the palm area proposed in the present invention.
본 발명을 통해서 고무공과 카메라를 사용해서 악력을 측정할 수 있는 프로그램을 구현하였다. 실험자 12명을 대상으로 데이터를 만들어서 표본 수가 적지만 오차율은 10% 미만으로 악력이 측정되고, 누구나 쉽게 환경을 구성하여 악력을 측정할 수 있는 장점이 있다.Through the present invention, a program capable of measuring grip strength using a rubber ball and a camera was implemented. Although the number of samples is small by making data with 12 experimenters, the grip strength is measured with an error rate of less than 10%, and there is an advantage that anyone can easily configure the environment and measure the grip strength.
도 7은 본 발명의 일 실시예에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법의 흐름도이다.7 is a flowchart of a method for measuring grip strength using image-based finger angle estimation according to an embodiment of the present invention.
본 실시예에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법은, 도 1의 장치(10)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 장치(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다. The method for measuring grip strength using image-based finger angle estimation according to the present embodiment may be performed in substantially the same configuration as the
또한, 본 실시예에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법은 영상 기반 손가락 각도 추정을 이용한 악력 측정을 수행하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.In addition, the grip strength measurement method using image-based finger angle estimation according to the present embodiment may be executed by software (application) for performing grip strength measurement using image-based finger angle estimation.
본 발명에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법은 비교적 쉽게 구할 수 있는 탄성체(예를 들어, 고무공)와 컴퓨터, 웹 캠 등의 영상장치를 이용하여 사람의 손을 인식한 데이터로 손가락마다 각도를 도출하여 악력을 측정한다.The method for measuring grip strength using image-based finger angle estimation according to the present invention uses a relatively easily available elastic body (eg, a rubber ball) and imaging devices such as a computer and a web cam to obtain data obtained by recognizing a person's hand for each finger. The angle is derived to measure the grip strength.
도 7을 참조하면, 본 실시예에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법은, 정해진 프레임마다 검사자의 손 영상을 검출한다(단계 S10).Referring to FIG. 7 , in the method for measuring grip strength using image-based finger angle estimation according to the present embodiment, an image of an examiner's hand is detected for each predetermined frame (step S10).
손 영상은 카메라, 웹 캠 등의 영상 촬영 장치를 이용하여 검사자의 손목이 고정된 이후의 일정 시간 동안의 프레임을 획득할 수 있다.As the hand image, a frame for a predetermined time after the examiner's wrist is fixed may be obtained using an image capture device such as a camera or a web cam.
검사자가 구형(spherical shape)의 탄성체를 쥐었을 때 탄성체의 반지름과 검사자의 손가락의 길이를 기초로 손가락 굽힘의 각도를 계산한다(단계 S20). When the examiner holds a spherical elastic body, a finger bending angle is calculated based on the radius of the elastic body and the length of the examiner's finger (step S20).
이 경우, 검사자의 손가락 중 엄지 손가락을 제외한 손가락의 길이를 측정하여 손가락 굽힘 각도 계산에 이용할 수 있다.In this case, the length of the examiner's fingers excluding the thumb may be measured and used to calculate the finger bending angle.
탄성체는 예를 들어, 고무공을 사용할 수 있고, 다양한 크기, 탄성 또는 압력을 갖는 고무공을 이용하여 서로 다른 범위의 악력을 측정할 수 있다.For example, a rubber ball may be used as the elastic body, and grip strength in different ranges may be measured using rubber balls having various sizes, elasticity, or pressure.
검사자의 손바닥의 면적을 도출한다(단계 S30). 예를 들어, 검사자의 손바닥의 너비와 손목부터 중지 끝까지의 길이를 측정하여 손바닥 면적을 도출할 수 있다.The area of the examiner's palm is derived (step S30). For example, the palm area may be derived by measuring the width of the examiner's palm and the length from the wrist to the tip of the middle finger.
다른 실시예에서, 검사자의 손바닥 면적은 영상 도출 이전에 미리 측정하여 초기값으로 입력될 수도 있다.In another embodiment, the area of the inspector's palm may be previously measured and input as an initial value before deriving an image.
검사자가 탄성체에 힘을 주었을 때 손가락 굽힘의 각도 변화와 손바닥의 면적을 기초로 검사자의 악력을 측정한다(단계 S40).When the examiner applies force to the elastic body, the examiner's grip strength is measured based on the change in the bending angle of the fingers and the area of the palm (step S40).
고무공에 힘을 주었을 때의 각도는 손가락 관절의 3차원 위치 추적 결과를 바탕으로 수학식 1에 의하여 각 손가락마디 마다 각도를 계산할 수 있다. The angle when force is applied to the rubber ball can be calculated for each knuckle by
일 실시예에서, 검사자가 신호에 맞춰 고무공에 힘을 주고 그 힘을 유지하는 일정 시간(예를 들어, 3초) 동안 측정된 엄지를 제외한 네 손가락 마디 각도의 평균을 저장할 수 있다. 이후, 저장된 각도를 통해 악력 측정값을 도출할 수 있다.In one embodiment, the tester may apply force to the rubber ball according to the signal and store an average of four knuckle angles measured for a predetermined time (eg, 3 seconds) while maintaining the force. Thereafter, a grip strength measurement value may be derived through the stored angle.
정확한 측정을 위하여, 검사자가 탄성체에 힘을 주었을 때의 악력을 정해진 횟수(예를 들어, 5번)만큼 반복적으로 측정할 수 있다. 예를 들어, 반복적으로 측정된 전체 손가락 굽힘의 각도를 평균하여 악력을 측정할 수 있다.For accurate measurement, the grip force when the examiner applies force to the elastic body may be repeatedly measured a predetermined number of times (eg, 5 times). For example, the grip strength may be measured by averaging the bending angles of all the repeatedly measured fingers.
도 8을 참조하면, 일 실시예에서 검사자의 악력을 측정하는 단계(단계 S40)는, 검사자가 탄성체에 힘을 주었을 때의 악력을 정해진 횟수만큼 반복적으로 측정한다(단계 S41). 이후, 반복하여 측정한 검사자의 악력 측정값을 내림차순으로 정렬하고(단계 S42), 미리 설정된 상위 순위까지(예를 들어, 1순위 및 2순위)의 악력 측정값을 평균하여 결과를 도출한다(단계 S43).Referring to FIG. 8 , in the step of measuring the grip strength of the inspector (step S40), the grip strength when the inspector applies force to the elastic body is repeatedly measured a predetermined number of times (step S41). Thereafter, the repeatedly measured grip strength measurement values of the inspector are sorted in descending order (step S42), and a result is derived by averaging the grip strength measurement values up to a preset higher rank (eg, first and second ranks) (step S42). S43).
다른 실시예에서, 검사자의 악력을 측정하는 단계(단계 S40)는, 손가락 관절 중 근위지관절(Proximal Interphalangeal joint; PIP) 마디에서의 각도에 가중치를 부여할 수 있다. In another embodiment, in the step of measuring the examiner's grip strength (step S40), a weight may be assigned to an angle at a proximal interphalangeal joint (PIP) joint among finger joints.
상기 검사자의 악력을 측정하는 단계(단계 S40)는, 전체 손가락의 악력을 측정할 수도 있으나 개별 손가락의 각 굽힘의 각도를 기초로 악력을 측정할 수도 있다. 개별 손가락의 굽힘 각도를 측정하는 경우에도, 다수 번 반복적으로 탄성체를 쥐고 굽힘 각도를 측정하여 평균하여 악력을 측정할 수 있다.In the step of measuring the examiner's grip strength (step S40), the grip strength of all fingers may be measured, or the grip strength may be measured based on the bending angle of each individual finger. Even in the case of measuring the bending angles of individual fingers, the grip force can be measured by repeatedly holding the elastic body a number of times and measuring the bending angles and averaging them.
본 발명에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법은, 손가락 굽힘의 각도 변화와 손바닥의 면적 및 악력과의 관계를 모델링하는 단계를 더 포함할 수 있다. 이 경우, 손바닥의 면적은 다차원항으로 좀 더 정확한 모델링을 할 수 있다.The method for measuring grip strength using image-based finger angle estimation according to the present invention may further include modeling a relationship between a change in a finger bend angle, a palm area, and grip strength. In this case, the area of the palm can be more accurately modeled as a multi-dimensional term.
이와 같은, 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. Such a method for measuring grip strength using image-based finger angle estimation may be implemented as an application or implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. The computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. Program instructions recorded on the computer-readable recording medium may be those specially designed and configured for the present invention, or those known and usable to those skilled in the art of computer software.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes such as those produced by a compiler. The hardware device may be configured to act as one or more software modules to perform processing according to the present invention and vice versa.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to embodiments, those skilled in the art can variously modify and change the present invention without departing from the spirit and scope of the present invention described in the claims below. You will understand.
본 발명은 탄성체(예를 들어, 고무공)와 컴퓨터, 웹 캠을 이용하여 OpenCV와 Mediapipe의 모델(Model)을 통해 사람의 손을 인식한 데이터로 손가락마다 각도를 계산하여 악력을 측정하는 프로그램을 제공한다. 따라서, 고가의 장비 없이 효과적으로 악력을 측정하여, 근감소증 진단 등의 의료 분야에서 유용하게 활용할 수 있다.The present invention provides a program for measuring grip strength by calculating angles for each finger with data recognizing a human hand through a model of OpenCV and Mediapipe using an elastic body (eg, a rubber ball), a computer, and a webcam. do. Therefore, it is possible to effectively measure the grip strength without expensive equipment and use it usefully in the medical field such as sarcopenia diagnosis.
10: 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치
110: 손 영상 추적부
130: 초기 각도 계산부
150: 손바닥 면적 도출부
170: 악력 측정부10: grip strength measuring device using image-based finger angle estimation
110: hand image tracking unit
130: initial angle calculation unit
150: palm area derivation unit
170: grip strength measuring unit
Claims (17)
검사자가 구형(spherical shape)의 탄성체를 쥐었을 때 탄성체의 반지름과 검사자의 손가락의 길이를 기초로 손가락 굽힘의 각도를 계산하는 초기 각도 계산부;
검사자의 손바닥의 면적을 도출하는 손바닥 면적 도출부; 및
검사자가 탄성체에 힘을 주었을 때 손가락 굽힘의 각도 변화와 손바닥의 면적을 기초로 검사자의 악력을 측정하는 악력 측정부;를 포함하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
a hand image tracking unit that detects an image of an examiner's hand at each predetermined frame;
an initial angle calculating unit that calculates a finger bending angle based on the radius of the elastic body and the length of the examiner's finger when the examiner holds a spherical elastic body;
a palm area derivation unit for deriving the area of the examiner's palm; and
A grip strength measurement device using image-based finger angle estimation, comprising: a grip strength measurement unit configured to measure the examiner's grip strength based on the area of the palm and the change in angle of bending of the fingers when the examiner applies force to the elastic body.
검사자의 손가락 중 엄지 손가락을 제외한 손가락의 길이를 측정하여 손가락 굽힘 각도 계산에 이용하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
The method of claim 1, wherein the initial angle calculator,
An apparatus for measuring grip strength using image-based finger angle estimation, which measures the length of an inspector's fingers excluding the thumb and uses them to calculate the finger bending angle.
검사자가 탄성체에 힘을 주었을 때의 악력을 정해진 횟수만큼 반복적으로 측정하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
The method of claim 1, wherein the grip strength measurement unit,
An apparatus for measuring grip strength using image-based finger angle estimation, which repeatedly measures grip strength when an examiner applies force to an elastic body a predetermined number of times.
전체 손가락 굽힘의 각도를 평균하여 악력을 측정하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
The method of claim 3, wherein the grip strength measuring unit,
An apparatus for measuring grip strength using image-based finger angle estimation, which measures grip strength by averaging the bending angles of all fingers.
반복하여 측정한 검사자의 악력 측정값을 내림차순으로 정렬하고, 미리 설정된 상위 순위까지의 악력 측정값을 평균하여 결과를 도출하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
The method of claim 3, wherein the grip strength measuring unit,
An apparatus for measuring grip strength using image-based finger angle estimation, which arranges the repeatedly measured grip strength measurements in descending order and derives a result by averaging the grip strength measurements up to a preset higher rank.
손가락 관절 중 근위지관절(Proximal Interphalangeal joint; PIP) 마디에서의 각도에 가중치를 부여하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
The method of claim 1, wherein the grip strength measurement unit,
An apparatus for measuring grip strength using image-based finger angle estimation, which weights the angle at a proximal interphalangeal joint (PIP) joint among finger joints.
개별 손가락 굽힘의 각도를 기초로 악력을 측정하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
The method of claim 1, wherein the grip strength measurement unit,
An apparatus for measuring grip strength using image-based finger angle estimation, which measures grip strength based on individual finger bending angles.
압력이 서로 다른 두 개 이상의 탄성체를 이용하여, 다른 악력 범위를 측정하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
According to claim 1,
An apparatus for measuring grip strength using image-based finger angle estimation, which measures different grip strength ranges by using two or more elastic bodies having different pressures.
검사자의 손 등을 중심으로 손 모양의 변화를 추적하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
The method of claim 1, wherein the hand image tracking unit,
A grip strength measuring device using image-based finger angle estimation to track changes in hand shape centering on the examiner's hand.
검사자의 손바닥의 너비와 손목부터 중지 끝까지의 길이를 측정하여 손바닥 면적을 도출하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
The method of claim 1, wherein the palm area derivation unit,
A grip strength measuring device using image-based finger angle estimation, which derives the palm area by measuring the width of the examiner's palm and the length from the wrist to the tip of the middle finger.
손가락 굽힘의 각도 변화와 손바닥의 면적 및 악력과의 관계를 모델링하는 모델링부;를 더 포함하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
According to claim 1,
An apparatus for measuring grip strength using image-based finger angle estimation, further comprising: a modeling unit that models a relationship between a change in angle of bending of a finger and an area of the palm and grip strength.
손바닥의 면적을 다차원으로 모델링하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
The method of claim 11, wherein the modeling unit,
A device for measuring grip strength using image-based finger angle estimation that models the area of the palm in multi-dimensional ways.
검사자가 구형(spherical shape)의 탄성체를 쥐었을 때 탄성체의 반지름과 검사자의 손가락의 길이를 기초로 손가락 굽힘의 각도를 계산하는 단계;
검사자의 손바닥의 면적을 도출하는 단계; 및
검사자가 탄성체에 힘을 주었을 때 손가락 굽힘의 각도 변화와 손바닥의 면적을 기초로 검사자의 악력을 측정하는 단계;를 포함하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법.
detecting an image of an inspector's hand for each predetermined frame;
calculating a finger bending angle based on a radius of the elastic body and a length of the examiner's finger when the examiner holds a spherical elastic body;
Deriving the area of the examiner's palm; and
A method of measuring grip strength using image-based finger angle estimation, comprising: measuring the examiner's grip strength based on the area of the palm and the change in bending angle of the fingers when the examiner applies force to the elastic body.
검사자가 탄성체에 힘을 주었을 때의 악력을 정해진 횟수만큼 반복적으로 측정하는 단계;
반복하여 측정한 검사자의 악력 측정값을 내림차순으로 정렬하는 단계; 및
미리 설정된 상위 순위까지의 악력 측정값을 평균하여 결과를 도출하는 단계;를 포함하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법.
The method of claim 13, wherein the step of measuring the examiner's grip strength,
Step of repeatedly measuring the grip force when the examiner applies force to the elastic body a predetermined number of times;
arranging the repeatedly measured grip strength measurements of the inspector in descending order; and
A method for measuring grip strength using image-based finger angle estimation, comprising: averaging grip strength measurement values up to a preset upper rank to derive a result.
개별 손가락 굽힘의 각도를 기초로 악력을 측정하거나 개별 손가락 굽힘의 각도를 기초로 악력을 측정하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법.
The method of claim 13, wherein the step of measuring the examiner's grip strength,
A grip strength measurement method using image-based finger angle estimation, wherein grip strength is measured based on an individual finger bend angle or grip strength is measured based on an individual finger bend angle.
손가락 굽힘의 각도 변화와 손바닥의 면적 및 악력과의 관계를 모델링하는 단계;를 더 포함하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법.
According to claim 13,
A method of measuring grip strength using image-based finger angle estimation, further comprising: modeling a relationship between a change in angle of bending of a finger and an area of the palm and grip strength.
A computer-readable storage medium having a computer program recorded thereon for performing the method of measuring grip strength using the image-based finger angle estimation according to any one of claims 13 to 16.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210128978A KR20230046023A (en) | 2021-09-29 | 2021-09-29 | Method and device of measuring hand grip strength using image-based finger angle estimation, recording medium for performing the method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210128978A KR20230046023A (en) | 2021-09-29 | 2021-09-29 | Method and device of measuring hand grip strength using image-based finger angle estimation, recording medium for performing the method |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230046023A true KR20230046023A (en) | 2023-04-05 |
Family
ID=85884564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210128978A KR20230046023A (en) | 2021-09-29 | 2021-09-29 | Method and device of measuring hand grip strength using image-based finger angle estimation, recording medium for performing the method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20230046023A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2624485A (en) * | 2023-04-19 | 2024-05-22 | Neurovirt Ltd | Methods and systems for using real world objects for functional therapy in an extended reality environment |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101055259B1 (en) | 2008-09-05 | 2011-08-11 | 대한민국 | Hand measuring device and method |
KR102235532B1 (en) | 2019-04-15 | 2021-04-01 | 동서대학교 산학협력단 | grip measuring device for each finger |
-
2021
- 2021-09-29 KR KR1020210128978A patent/KR20230046023A/en not_active Application Discontinuation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101055259B1 (en) | 2008-09-05 | 2011-08-11 | 대한민국 | Hand measuring device and method |
KR102235532B1 (en) | 2019-04-15 | 2021-04-01 | 동서대학교 산학협력단 | grip measuring device for each finger |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2624485A (en) * | 2023-04-19 | 2024-05-22 | Neurovirt Ltd | Methods and systems for using real world objects for functional therapy in an extended reality environment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Schmitz et al. | Accuracy and repeatability of joint angles measured using a single camera markerless motion capture system | |
US10758160B2 (en) | Body part motion analysis with wearable sensors | |
Huber et al. | Validity and reliability of Kinect skeleton for measuring shoulder joint angles: a feasibility study | |
Webster et al. | Experimental evaluation of Microsoft Kinect's accuracy and capture rate for stroke rehabilitation applications | |
US9524424B2 (en) | Calculation of minimum ground clearance using body worn sensors | |
KR102010898B1 (en) | System and method for Gait analysis | |
US20130023798A1 (en) | Method for body-worn sensor based prospective evaluation of falls risk in community-dwelling elderly adults | |
CN107949318B (en) | Blood pressure measuring device, body characteristic information calculating method, and computer-readable recording medium | |
US20200281508A1 (en) | Human body mounted sensors using mapping and motion analysis | |
Choo et al. | Validation of the Perception Neuron system for full-body motion capture | |
Bonnet et al. | Fast determination of the planar body segment inertial parameters using affordable sensors | |
Martins et al. | Legs tracking for walker-rehabilitation purposes | |
KR20230046023A (en) | Method and device of measuring hand grip strength using image-based finger angle estimation, recording medium for performing the method | |
Hwang et al. | A novel end-effector robot system enabling to monitor upper-extremity posture during robot-aided planar reaching movements | |
Kostić et al. | The modified drawing test for assessment of arm movement quality | |
CN115607899A (en) | Cerebral apoplexy limb rehabilitation training system and method based on virtual reality | |
TWI580404B (en) | Method and system for measuring spasticity | |
Jeong et al. | Hand Grip Strength Estimation for Sarcopenia Diagnosis by Finger Tracking | |
Coton et al. | Feasibility Study of Hand Motion Analysis by the Leap Motion Sensor | |
JP2014117409A (en) | Method and apparatus for measuring body joint position | |
Katović et al. | Development of computer system for digital measurement of human body: initial findings | |
Ademoyegun et al. | Concurrent validity and reliability of the Microsoft kinect™ device in cervical spine range of motion assessment. | |
Rungruangbaiyok et al. | Shoulder Angle Measurement (SAM) system for home-based rehabilitation using computer vision with a web camera. | |
Lin et al. | Assessment of range of joint motion using Kinect | |
TWI581757B (en) | System and method for evaluating the quality of joint mobility |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |