KR20230046023A - Method and device of measuring hand grip strength using image-based finger angle estimation, recording medium for performing the method - Google Patents

Method and device of measuring hand grip strength using image-based finger angle estimation, recording medium for performing the method Download PDF

Info

Publication number
KR20230046023A
KR20230046023A KR1020210128978A KR20210128978A KR20230046023A KR 20230046023 A KR20230046023 A KR 20230046023A KR 1020210128978 A KR1020210128978 A KR 1020210128978A KR 20210128978 A KR20210128978 A KR 20210128978A KR 20230046023 A KR20230046023 A KR 20230046023A
Authority
KR
South Korea
Prior art keywords
grip strength
finger
measuring
image
examiner
Prior art date
Application number
KR1020210128978A
Other languages
Korean (ko)
Inventor
이찬수
정하영
최지현
김나현
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Priority to KR1020210128978A priority Critical patent/KR20230046023A/en
Publication of KR20230046023A publication Critical patent/KR20230046023A/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/22Ergometry; Measuring muscular strength or the force of a muscular blow
    • A61B5/224Measuring muscular strength
    • A61B5/225Measuring muscular strength of the fingers, e.g. by monitoring hand-grip force
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124Determining motor skills
    • A61B5/1125Grasping motions of hands
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a device for measuring grasping power using image-based finger angle estimation, which comprises: a hand image tracking unit for detecting a hand image of an examinee for each predetermined frame; an initial angle calculation unit for calculating a finger bending angle based on the radius of an elastic body and the length of a finger of the examinee when the examinee holds the elastic body of a spherical shape; a palm area deriving unit for deriving an area of the palm of the examinee; and a grasping power measuring unit for measuring grasping power of the examinee based on a finger bending angle change and the area of the palm when the examinee applies force to the elastic body. Accordingly, grasping power can be measured by deriving an angle for each finger using data obtained by recognizing the hand of a person using an easily available elastic body (e.g., a rubber ball), a computer, and a webcam.

Description

영상 기반 손가락 각도 추정을 이용한 악력 측정 장치 및 방법, 이를 수행하기 위한 기록 매체{METHOD AND DEVICE OF MEASURING HAND GRIP STRENGTH USING IMAGE-BASED FINGER ANGLE ESTIMATION, RECORDING MEDIUM FOR PERFORMING THE METHOD}Apparatus and method for measuring grip strength using image-based finger angle estimation, and recording medium for performing the same

본 발명은 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치 및 방법, 이를 수행하기 위한 기록 매체에 관한 것으로서, 더욱 상세하게는 탄성체를 쥔 검사자의 손을 인식한 데이터를 이용하여 손가락의 각도를 계산하여 악력을 측정하는 기술에 관한 것이다.The present invention relates to an apparatus and method for measuring grip strength using image-based finger angle estimation, and a recording medium for performing the same, and more particularly, to determine grip strength by calculating the angle of a finger using data recognizing an examiner's hand holding an elastic body. It is about the technique of measuring.

근감소증은 몸의 근육이 비정상적으로 줄거나 약해져 신체 활동이 원활하지 않은 상태를 말한다. 한국 노령 인구의 20% 이상이 근감소증인 것으로 확인되며, 최근에 국제적으로 근감소증이 질병으로 인정되어 '질병코드'가 부여되었다. Sarcopenia refers to a condition in which the muscles of the body are abnormally reduced or weakened, resulting in poor physical activity. More than 20% of the elderly population in Korea is confirmed to have sarcopenia, and recently, sarcopenia has been internationally recognized as a disease and a 'disease code' has been assigned.

이러한 근감소증의 효과적인 치료 및 부작용을 최소화하기 위해서는 근감소증의 조기 진단 및 이를 기초로 하는 효과적인 처치가 매우 중요하다. 근감소증 진단을 위해 대표적으로 사용되는 수치는 악력이다.In order to effectively treat sarcopenia and minimize side effects of sarcopenia, early diagnosis of sarcopenia and effective treatment based thereon are very important. A representative value used for diagnosing sarcopenia is grip strength.

현재 사람의 악력은 악력계를 통해 객관적인 수치로 측정되며, 해당 데이터는 다양한 분야에서 활용되고 있다. 대표적으로, 공무원 선발시험이나 근감소증 진단 등의 의료 목적으로 사용된다. 이때 사용되는 악력계는 가격 부담이 상당히 크며, 개개인이 악력을 측정하여 사용하기에는 어려움이 존재한다.Currently, human grip strength is measured as an objective numerical value through a grip dynamometer, and the corresponding data is used in various fields. Typically, it is used for medical purposes such as civil servant selection tests or sarcopenia diagnosis. The grip dynamometer used at this time is quite expensive, and it is difficult for individuals to measure and use the grip strength.

KRKR 10-2235532 10-2235532 B1B1 KRKR 10-1055259 10-1055259 B1B1

이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치를 제공하는 것이다.Therefore, the technical problem of the present invention has been focused on this point, and an object of the present invention is to provide a grip strength measuring device using image-based finger angle estimation.

본 발명의 다른 목적은 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법을 제공하는 것이다.Another object of the present invention is to provide a method for measuring grip strength using image-based finger angle estimation.

본 발명의 또 다른 목적은 상기 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.Another object of the present invention is to provide a recording medium on which a computer program for performing the grip strength measuring method using the image-based finger angle estimation is recorded.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치는, 정해진 프레임마다 검사자의 손 영상을 검출하는 손 영상 추적부; 검사자가 구형(spherical shape)의 탄성체를 쥐었을 때 탄성체의 반지름과 검사자의 손가락의 길이를 기초로 손가락 굽힘의 각도를 계산하는 초기 각도 계산부; 검사자의 손바닥의 면적을 도출하는 손바닥 면적 도출부; 및 검사자가 탄성체에 힘을 주었을 때 손가락 굽힘의 각도 변화와 손바닥의 면적을 기초로 검사자의 악력을 측정하는 악력 측정부;를 포함한다.An apparatus for measuring grip strength using image-based finger angle estimation according to an embodiment for realizing the above object of the present invention includes a hand image tracking unit that detects an image of a hand of a examiner at each predetermined frame; an initial angle calculating unit that calculates a finger bending angle based on the radius of the elastic body and the length of the examiner's finger when the examiner holds a spherical elastic body; a palm area derivation unit for deriving the area of the examiner's palm; and a grip strength measuring unit that measures the examiner's grip strength based on the area of the palm and the change in angle of finger bending when the examiner applies force to the elastic body.

본 발명의 실시예에서, 상기 초기 각도 계산부는, 검사자의 손가락 중 엄지 손가락을 제외한 손가락의 길이를 측정하여 손가락 굽힘 각도 계산에 이용할 수 있다.In an embodiment of the present invention, the initial angle calculation unit may measure the lengths of fingers other than the thumb of the inspector and use them to calculate the finger bending angle.

본 발명의 실시예에서, 상기 악력 측정부는, 검사자가 탄성체에 힘을 주었을 때의 악력을 정해진 횟수만큼 반복적으로 측정할 수 있다.In an embodiment of the present invention, the grip force measuring unit may repeatedly measure the grip force when the examiner applies force to the elastic body a predetermined number of times.

본 발명의 실시예에서, 상기 악력 측정부는, 전체 손가락 굽힘의 각도를 평균하여 악력을 측정할 수 있다.In an embodiment of the present invention, the grip strength measurement unit may measure the grip strength by averaging the bending angles of all fingers.

본 발명의 실시예에서, 상기 악력 측정부는, 반복하여 측정한 검사자의 악력 측정값을 내림차순으로 정렬하고, 미리 설정된 상위 순위까지의 악력 측정값을 평균하여 결과를 도출할 수 있다.In an embodiment of the present invention, the grip strength measuring unit may derive a result by arranging the repeatedly measured grip strength measurements of the inspector in descending order and averaging the grip strength measurements up to a preset upper rank.

본 발명의 실시예에서, 상기 악력 측정부는, 손가락 관절 중 근위지관절(Proximal Interphalangeal joint; PIP) 마디에서의 각도에 가중치를 부여할 수 있다.In an embodiment of the present invention, the grip strength measuring unit may assign a weight to an angle at a proximal interphalangeal joint (PIP) joint among finger joints.

본 발명의 실시예에서, 상기 악력 측정부는, 개별 손가락 굽힘의 각도를 기초로 악력을 측정할 수 있다.In an embodiment of the present invention, the grip strength measuring unit may measure the grip strength based on an angle of bending of each individual finger.

본 발명의 실시예에서, 상기 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치는, 압력이 서로 다른 두 개 이상의 탄성체를 이용하여, 다른 악력 범위를 측정할 수 있다.In an embodiment of the present invention, the grip strength measuring device using the image-based finger angle estimation may measure different grip strength ranges by using two or more elastic bodies having different pressures.

본 발명의 실시예에서, 상기 손 영상 추적부는, 검사자의 손 등을 중심으로 손 모양의 변화를 추적할 수 있다.In an embodiment of the present invention, the hand image tracking unit may track a change in hand shape centering on the examiner's hand.

본 발명의 실시예에서, 상기 손바닥 면적 도출부는, 검사자의 손바닥의 너비와 손목부터 중지 끝까지의 길이를 측정하여 손바닥 면적을 도출할 수 있다.In an embodiment of the present invention, the palm area derivation unit may derive the palm area by measuring the width of the examiner's palm and the length from the wrist to the tip of the middle finger.

본 발명의 실시예에서, 상기 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치는, 손가락 굽힘의 각도 변화와 손바닥의 면적 및 악력과의 관계를 모델링하는 모델링부;를 더 포함할 수 있다.In an embodiment of the present invention, the apparatus for measuring grip strength using image-based finger angle estimation may further include a modeling unit that models a relationship between a change in angle of bending of a finger and an area of a palm and grip strength.

본 발명의 실시예에서, 상기 모델링부는, 손바닥의 면적을 다차원으로 모델링할 수 있다.In an embodiment of the present invention, the modeling unit may model the area of the palm in a multi-dimensional manner.

상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법은, 정해진 프레임마다 검사자의 손 영상을 검출하는 단계; 검사자가 구형(spherical shape)의 탄성체를 쥐었을 때 탄성체의 반지름과 검사자의 손가락의 길이를 기초로 손가락 굽힘의 각도를 계산하는 단계; 검사자의 손바닥의 면적을 도출하는 단계; 및 검사자가 탄성체에 힘을 주었을 때 손가락 굽힘의 각도 변화와 손바닥의 면적을 기초로 검사자의 악력을 측정하는 단계;를 포함한다.A method for measuring grip strength using image-based finger angle estimation according to an embodiment for realizing another object of the present invention described above includes detecting an image of an examiner's hand for each predetermined frame; calculating a finger bending angle based on a radius of the elastic body and a length of the examiner's finger when the examiner holds a spherical elastic body; Deriving the area of the examiner's palm; and and measuring the examiner's grip strength based on the area of the palm and the change in the bending angle of the fingers when the examiner applies force to the elastic body.

본 발명의 실시예에서, 상기 검사자의 악력을 측정하는 단계는, 검사자가 탄성체에 힘을 주었을 때의 악력을 정해진 횟수만큼 반복적으로 측정하는 단계; 반복하여 측정한 검사자의 악력 측정값을 내림차순으로 정렬하는 단계; 및 미리 설정된 상위 순위까지의 악력 측정값을 평균하여 결과를 도출하는 단계;를 포함할 수 있다.In an embodiment of the present invention, the step of measuring the grip strength of the inspector may include repeatedly measuring the grip strength when the inspector applies force to the elastic body a predetermined number of times; arranging the repeatedly measured grip strength measurements of the inspector in descending order; and deriving a result by averaging grip strength measurement values up to a preset higher rank.

본 발명의 실시예에서, 상기 검사자의 악력을 측정하는 단계는, 개별 손가락 굽힘의 각도를 기초로 악력을 측정하거나 개별 손가락 굽힘의 각도를 기초로 악력을 측정할 수 있다.In an exemplary embodiment of the present invention, the measuring of the examiner's grip strength may include measuring the grip strength based on individual finger bend angles or measuring the grip strength based on individual finger bend angles.

본 발명의 실시예에서, 상기 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법은, 손가락 굽힘의 각도 변화와 손바닥의 면적 및 악력과의 관계를 모델링하는 단계;를 더 포함할 수 있다.In an embodiment of the present invention, the grip strength measuring method using the image-based finger angle estimation may further include modeling a relationship between a change in a finger bend angle and a palm area and grip strength.

상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 상기 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.A computer program for performing the grip strength measurement method using the image-based finger angle estimation is recorded in a computer-readable storage medium according to an embodiment for realizing another object of the present invention.

이와 같은 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치 및 방법에 따르면, 비교적 쉽게 구할 수 있는 탄성체(예를 들어, 고무공)와 컴퓨터, 웹 캠 등을 이용하고, 검사자의 손을 인식한 영상 데이터로 손가락마다 굽힘의 각도 변화를 계산하여 악력을 측정할 수 있다. 따라서, 고가의 장비 없이 효과적으로 악력을 측정하여, 근감소증 진단 등의 의료 분야에서 유용하게 활용할 수 있다.According to the apparatus and method for measuring grip strength using such image-based finger angle estimation, a relatively easily obtainable elastic body (eg, rubber ball), a computer, a web cam, etc. are used, and the image data obtained by recognizing the examiner's hand is used as finger The grip force can be measured by calculating the angular change of each bending. Therefore, it is possible to effectively measure the grip strength without expensive equipment and use it usefully in the medical field such as sarcopenia diagnosis.

도 1은 본 발명의 일 실시예에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치의 블록도이다.
도 2는 본 발명에서 악력을 측정하기 위한 조건의 예시 도면이다.
도 3은 손가락에 힘을 주었을 때의 손가락 굽힘의 각도 도출을 설명하기 위한 도면이다.
도 4는 손가락에 힘을 주지 않았을 때 손가락 굽힘의 각도 도출을 설명하기 위한 도면이다.
도 5는 검사자가 손에 쥔 고무공에 힘을 주는 모습을 나타내는 도면이다.
도 6은 각도 변화량, 손바닥 면적 및 실제 악력 관계를 나타내는 그래프이다.
도 7은 본 발명의 일 실시예에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법의 흐름도이다.
도 8은 도 7의 검사자의 악력 측정 단계의 일례에 대한 흐름도이다.
1 is a block diagram of an apparatus for measuring grip strength using image-based finger angle estimation according to an embodiment of the present invention.
2 is an exemplary diagram of conditions for measuring grip strength in the present invention.
3 is a view for explaining derivation of an angle of finger bending when force is applied to the finger.
4 is a view for explaining derivation of an angle of bending of a finger when force is not applied to the finger.
5 is a view showing a state in which a tester applies force to a rubber ball held in his hand.
6 is a graph showing a relationship between an angle change amount, a palm area, and an actual grip strength.
7 is a flowchart of a method for measuring grip strength using image-based finger angle estimation according to an embodiment of the present invention.
FIG. 8 is a flowchart of an example of the step of measuring the grip strength of the inspector of FIG. 7 .

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The detailed description of the present invention which follows refers to the accompanying drawings which illustrate, by way of illustration, specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable one skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different from each other but are not necessarily mutually exclusive. For example, specific shapes, structures, and characteristics described herein may be implemented in one embodiment in another embodiment without departing from the spirit and scope of the invention. Additionally, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the invention. Accordingly, the detailed description set forth below is not to be taken in a limiting sense, and the scope of the present invention, if properly described, is limited only by the appended claims, along with all equivalents as claimed by those claims. Like reference numbers in the drawings indicate the same or similar function throughout the various aspects.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치의 블록도이다.1 is a block diagram of an apparatus for measuring grip strength using image-based finger angle estimation according to an embodiment of the present invention.

본 발명에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치(10, 이하 장치)는 비교적 쉽게 구할 수 있는 탄성체(예를 들어, 고무공)와 컴퓨터, 웹 캠 등의 영상장치를 이용하여 사람의 손을 인식한 데이터로 손가락마다 각도를 도출하여 악력을 측정한다.An apparatus for measuring grip strength (10, hereinafter) using image-based finger angle estimation according to the present invention measures a person's hand using a relatively easily available elastic body (eg, a rubber ball) and an imaging device such as a computer or web cam. The grip strength is measured by deriving an angle for each finger with the recognized data.

도 1을 참조하면, 본 발명에 따른 장치(10)는 손 영상 추적부(110), 초기 각도 계산부(130), 손바닥 면적 도출부(150) 및 악력 측정부(170)를 포함한다. 또한, 장치(10)는 모델링부를 더 포함할 수 있다.Referring to FIG. 1 , an apparatus 10 according to the present invention includes a hand image tracking unit 110 , an initial angle calculation unit 130 , a palm area derivation unit 150 and a grip strength measurement unit 170 . In addition, the device 10 may further include a modeling unit.

본 발명의 상기 장치(10)는 영상 기반 손가락 각도 추정을 이용한 악력 측정을 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 손 영상 추적부(110), 상기 초기 각도 계산부(130), 상기 손바닥 면적 도출부(150) 및 상기 악력 측정부(170)의 구성은 상기 장치(10)에서 실행되는 상기 영상 기반 손가락 각도 추정을 이용한 악력 측정을 수행하기 위한 소프트웨어에 의해 제어될 수 있다. In the apparatus 10 of the present invention, software (application) for measuring grip strength using image-based finger angle estimation may be installed and executed, and the hand image tracking unit 110 and the initial angle calculation unit 130 may be installed. , Configurations of the palm area deriving unit 150 and the grip strength measurement unit 170 may be controlled by software for performing grip strength measurement using the image-based finger angle estimation executed in the device 10 .

상기 장치(10)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 또한, 상기 손 영상 추적부(110), 상기 초기 각도 계산부(130), 상기 손바닥 면적 도출부(150) 및 상기 악력 측정부(170)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.The device 10 may be a separate terminal or a part of a module of the terminal. In addition, the hand image tracking unit 110, the initial angle calculation unit 130, the palm area derivation unit 150, and the grip strength measurement unit 170 may be formed as an integrated module or composed of one or more modules. can lose However, on the contrary, each component may be composed of a separate module.

상기 장치(10)는 이동성을 갖거나 고정될 수 있다. 상기 장치(10)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다. The device 10 may be mobile or stationary. The apparatus 10 may be in the form of a server or engine, and may be a device, an apparatus, a terminal, a user equipment (UE), a mobile station (MS), or a wireless device. It can be called by other terms such as wireless device, handheld device, etc.

상기 장치(10)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.The device 10 may execute or manufacture various software based on an operating system (OS), that is, a system. The operating system is a system program for enabling software to use the hardware of the device, and is a mobile computer operating system such as Android OS, iOS, Windows mobile OS, Bada OS, Symbian OS, Blackberry OS, and Windows-based, Linux-based, Unix-based, It can include all computer operating systems such as MAC, AIX, and HP-UX.

상기 손 영상 추적부(110)는 정해진 프레임마다 검사자의 손 영상을 검출한다. 상기 손 영상 추적부(110)는 예를 들어, 카메라, 웹 캠 등의 영상 촬영 장치일 수 있다. The hand image tracking unit 110 detects an examiner's hand image for each predetermined frame. The hand image tracking unit 110 may be, for example, an image capturing device such as a camera or a web cam.

상기 손 영상 추적부(110)는 검사자의 손 등을 중심으로 손 모양의 변화를 추적할 수 있다. The hand image tracking unit 110 may track a change in hand shape centering on the examiner's hand.

도 2를 참조하면, 본 발명에서 악력을 측정하기 위한 조건의 예시로서, 형광등 바로 밑처럼 빛이 충분한 곳에서 진행하며, 웹 캠 등의 상기 손 영상 추적부(110)로부터 일정거리(예를 들어, 40 cm) 이격된 곳에서 검사자의 손목이 고정된 상태에서 악력 측정을 진행할 수 있다.Referring to FIG. 2, as an example of a condition for measuring grip strength in the present invention, it is performed in a place with sufficient light, such as right under a fluorescent lamp, and a certain distance from the hand image tracking unit 110 such as a web cam (for example, , 40 cm), the grip strength can be measured with the examiner's wrist fixed.

일 실시예에서, 웹 캠으로 찍은 실시간 영상을 OpenCV에서 제공하는 함수를 사용하여 영상처리를 진행할 수 있다. 실시간 영상에서 Mediapipe가 손을 검출할 수 있도록 프레임마다 이미지를 제공하고, 이후, 특정 입력을 주면 각 기능을 수행하도록 할 수 있다.In one embodiment, a real-time image taken by a web cam can be processed using a function provided by OpenCV. In real-time video, you can provide images for each frame so that Mediapipe can detect hands, and then perform each function when a specific input is given.

또한, 일정 시간(예를 들어, 3초) 손목이 고정된 이후의 3초 동안의 프레임을 저장할 수 있고, 60개 이상의 프레임을 저장할 수 있다. 그러나, 이러한 수치들은 예시들에 불과하며 조건들은 필요에 따라 변경 가능하다.In addition, frames for 3 seconds after the wrist is fixed for a certain period of time (eg, 3 seconds) may be stored, and 60 or more frames may be stored. However, these numbers are only examples and conditions can be changed as needed.

상기 초기 각도 계산부(130)는 검사자가 구형(spherical shape)의 탄성체를 쥐었을 때 탄성체의 반지름과 검사자의 손가락의 길이를 기초로 손가락 굽힘의 각도를 계산한다. The initial angle calculating unit 130 calculates a finger bending angle based on the radius of the elastic body and the length of the examiner's finger when the examiner holds a spherical elastic body.

탄성체는 예를 들어, 고무공을 사용할 수 있고, 다양한 크기, 탄성 또는 압력을 갖는 고무공을 이용하여 서로 다른 범위의 악력을 측정할 수 있다.For example, a rubber ball may be used as the elastic body, and grip strength in different ranges may be measured using rubber balls having various sizes, elasticity, or pressure.

상기 초기 각도 계산부(130)는 검사자의 손가락 중 엄지 손가락을 제외한 손가락의 길이를 측정하여 손가락 굽힘 각도 계산에 이용할 수 있다.The initial angle calculating unit 130 may measure the lengths of the examiner's fingers, excluding the thumb, and use them to calculate the finger bending angle.

일 실시예에서, 손 영상으로부터 손가락 움직임을 추적하기 위하여 구글(Google)에서 제공하는 오픈소스인 Mediapipe 모듈을 사용할 수 있다. Mediapipe는 다양한 영상 객체를 인식하는 딥러닝 모델을 제공하는데 그 중 손을 인식하는 Hands 솔루션을 사용할 수 있다. In one embodiment, an open source Mediapipe module provided by Google can be used to track finger movements from hand images. Mediapipe provides a deep learning model that recognizes various video objects, and among them, the Hands solution that recognizes hands can be used.

Hands 솔루션은 손가락을 제외한 손바닥만 학습시킨 후 인식된 손바닥을 기준으로 회귀 분석하여 다섯 손가락을 검출한다. 검출된 전체 손바닥 영역 안에 Hand landmarks를 표시한다. The Hands solution trains only the palm excluding the fingers, and then performs regression analysis based on the recognized palm to detect five fingers. Hand landmarks are displayed in the entire detected palm area.

따라서, Mediapipe는 학습 데이터의 복잡도를 낮추어 모델을 최적화하였기 때문에 감지 정밀도가 높고 실시간 영상에서도 손가락 관절에 대한 추적 속도가 빠르다.Therefore, since Mediapipe optimized the model by reducing the complexity of the learning data, the detection accuracy is high and the tracking speed for the finger joint is fast even in real-time video.

도 3을 참조하면, Mediapipe Model을 활용하여, 손의 Landmark를 가져 온다.Referring to FIG. 3, using the Mediapipe Model, the landmark of the hand is brought.

이를 활용하여, 각각의 점에서 x, y, z 점을 가져올 수 있다. 여기서, 손가락마다 제1 지관절의 각도를 도출하기 위해서 벡터의 내적을 통해 아래의 수학식 1과 같이 각도를 도출한다.Using this, we can get the x, y, and z points from each point. Here, in order to derive the angle of the first interphalangeal joint for each finger, the angle is derived as shown in Equation 1 below through the vector dot product.

[수학식 1][Equation 1]

Figure pat00001
Figure pat00001

도 4를 참조하면, 고무공을 완전한 구라고 가정하고, 내접하는 사각형의 원리를 사용하여 고무공을 쥐었을 때(힘을 주지 않았을 때)의 각도 계산 공식을 아래의 수학식 2와 같이 유도할 수 있다.Referring to FIG. 4, assuming that the rubber ball is a perfect sphere, the angle calculation formula when the rubber ball is held (when no force is applied) can be derived as shown in Equation 2 below using the principle of an inscribed quadrangle .

[수학식 2][Equation 2]

Figure pat00002
Figure pat00002

여기서, r은 고무공의 반지름을 나타내고, l은 손가락의 길이를 나타낸다.Here, r represents the radius of the rubber ball, and l represents the length of the finger.

상기 손바닥 면적 도출부(150)는 검사자의 손바닥의 면적을 도출한다. 예를 들어, 상기 손바닥 면적 도출부(150)는 검사자의 손바닥의 너비와 손목부터 중지 끝까지의 길이를 측정하여 손바닥 면적을 도출할 수 있다.The palm area derivation unit 150 derives the area of the examiner's palm. For example, the palm area deriving unit 150 may derive the palm area by measuring the width of the examiner's palm and the length from the wrist to the tip of the middle finger.

다른 실시예에서, 상기 손바닥 면적 도출부(150)는 영상 도출 이전에 미리 측정하여 초기값으로 입력될 수도 있다.In another embodiment, the palm area deriving unit 150 may measure in advance before deriving an image and input the initial value.

상기 악력 측정부(170)는 검사자가 탄성체에 힘을 주었을 때 손가락 굽힘의 각도 변화와 손바닥의 면적을 기초로 검사자의 악력을 측정한다.The grip strength measuring unit 170 measures the examiner's grip strength based on the area of the palm and the change in the bending angle of the fingers when the examiner applies force to the elastic body.

도 5를 참조하면, 고무공에 힘을 주었을 때의 각도는 손가락 관절의 3차원 위치 추적 결과를 바탕으로 수학식 1에 의하여 각 손가락마디 마다 각도를 계산할 수 있다. Referring to FIG. 5 , the angle when force is applied to the rubber ball can be calculated for each knuckle by Equation 1 based on the 3D location tracking result of the finger joint.

일 실시예에서, 검사자가 신호에 맞춰 고무공에 힘을 주고 그 힘을 유지하는 일정 시간(예를 들어, 3초) 동안 측정된 엄지를 제외한 네 손가락 마디 각도의 평균을 저장할 수 있다. 이후, 저장된 각도를 통해 악력 측정값을 도출할 수 있다.In one embodiment, the tester may apply force to the rubber ball according to the signal and store an average of four knuckle angles measured for a predetermined time (eg, 3 seconds) while maintaining the force. Thereafter, a grip strength measurement value may be derived through the stored angle.

정확한 측정을 위하여, 상기 악력 측정부(170)는 검사자가 탄성체에 힘을 주었을 때의 악력을 정해진 횟수(예를 들어, 5번)만큼 반복적으로 측정할 수 있다. For accurate measurement, the grip force measurement unit 170 may repeatedly measure the grip force when the examiner applies force to the elastic body a predetermined number of times (eg, 5 times).

예를 들어, 상기 악력 측정부(170)는 반복적으로 측정된 전체 손가락 굽힘의 각도를 평균하여 악력을 측정할 수 있다. 또는 이와 다르게 반복하여 측정한 검사자의 악력 측정값을 내림차순으로 정렬하고, 미리 설정된 상위 순위(예를 들어, 1순위 및 2순위)까지의 악력 측정값을 평균하여 결과를 도출할 수 있다.For example, the grip strength measurer 170 may measure the grip strength by averaging the angles of bending of all fingers that are repeatedly measured. Alternatively, the result may be derived by arranging the repeatedly measured grip strength measurement values of the inspector in descending order and averaging the grip strength measurement values up to preset higher ranks (eg, first and second ranks).

다른 실시예에서, 상기 악력 측정부(170)는 손가락 관절 중 근위지관절(Proximal Interphalangeal joint; PIP) 마디에서의 각도에 가중치를 부여할 수 있다. In another embodiment, the grip strength measuring unit 170 may assign a weight to an angle at a proximal interphalangeal joint (PIP) joint among finger joints.

손가락에는 엄지 손가락을 제외한 나머지 네 손가락에 중수지관절(Metacarpophalangeal joint; MCP), 근위지관절(Proximal Interphalangeal joint; PIP) 및 원위지관절(Distal Interphalangeal joint; DIP) 총 3개를 포함한다. 이 중 물건을 쥐는데 가장 중요한 역할을 하고, 원위지관절 각은 근위지관절 각에 종속적인 경향이 있기 때문에, 가운데의 근위지관절에 가중치를 부여하여 좀 더 정확한 악력을 측정할 수 있다.The fingers include a total of three joints, the metacarpophalangeal joint (MCP), the proximal interphalangeal joint (PIP), and the distal interphalangeal joint (DIP) in the four fingers except for the thumb. Among them, since it plays the most important role in gripping objects, and the distal interphalangeal joint angle tends to be dependent on the proximal interphalangeal joint angle, more accurate grip strength can be measured by assigning weight to the proximal interphalangeal joint in the middle.

또한, 상기 악력 측정부(170)는 전체 손가락의 악력을 측정할 수도 있으나 개별 손가락의 각 굽힘의 각도를 기초로 악력을 측정할 수도 있다. 개별 손가락의 굽힘 각도를 측정하는 경우에도, 다수 번 반복적으로 탄성체를 쥐고 굽힘 각도를 측정하여 평균하여 악력을 측정할 수 있다.In addition, the grip strength measuring unit 170 may measure the grip strength of all fingers or may measure the grip strength based on the bending angle of each finger. Even in the case of measuring the bending angles of individual fingers, the grip force can be measured by repeatedly holding the elastic body a number of times and measuring the bending angles and averaging them.

상기 악력 측정부(170)는 압력이 서로 다른 두 개 이상의 탄성체를 이용하여, 다른 악력 범위를 측정할 수도 있다. The grip strength measuring unit 170 may measure different grip strength ranges by using two or more elastic bodies having different pressures.

상기 장치(10)는 손가락 굽힘의 각도 변화와 손바닥의 면적 및 악력과의 관계를 모델링하는 모델링부를 더 포함할 수 있다. 이 경우, 손바닥의 면적은 다차원으로 모델링할 수 있다.The apparatus 10 may further include a modeling unit that models a relationship between a change in angle of finger bending and an area of the palm and grip strength. In this case, the area of the palm can be modeled multidimensionally.

이하에서는, 본 발명에 의한 악력 측정의 정확도를 측정하기 위한 실험결과를 설명한다. Hereinafter, experimental results for measuring the accuracy of grip strength measurement according to the present invention will be described.

먼저, 실험 순서는 다음과 같다.First, the order of experiments is as follows.

(1) 실험자의 다섯 손가락 중에서 엄지손가락을 제외한 네 손가락의 길이를 측정하여, 수학식 2를 활용한 프로그램을 이용하여 고무공을 쥐었을 때 각도를 계산한다.(1) Measure the lengths of four fingers excluding the thumb among the five fingers of the experimenter, and calculate the angle when the rubber ball is gripped using a program using Equation 2.

(2) 손바닥의 너비와 손목부터 중지 끝까지의 길이를 측정하여 손바닥의 면적을 구한다.(2) Calculate the area of the palm by measuring the width of the palm and the length from the wrist to the tip of the middle finger.

(3) 사용자의 실제 악력을 측정한다.(3) Measure the user's actual grip strength.

(4) 적절한 실험 환경에서 실험자에게 고무공을 쥐게 한 후, 자세가 안정되면 3초간 고무공에 힘을 주도록 하고 이를 5번 반복한다.(4) After having the experimenter hold the rubber ball in an appropriate experimental environment, when the posture is stable, force the rubber ball for 3 seconds and repeat this 5 times.

이 실험에서 실제 악력은 TAKEI PHIYSICAL FITNESS TEST: GRIP-D를 사용하여 측정하였다. 정확한 측정을 위해 모든 측정자는 양발을 어깨너비로 벌려 기립한 상태에서 측정자가 편한 쪽의 손에 악력 측정기를 쥐고 "시작" 신호에 맞춰 손에 힘을 주었다. 이 자세로 4번 반복 측정하여 상위 2개의 값의 평균을 실제 악력으로 기록했다.In this experiment, actual grip strength was measured using TAKEI PHIYSICAL FITNESS TEST: GRIP-D. For accurate measurement, all measurers stood upright with their feet shoulder-width apart, held the grip strength meter in the hand on which the measurer was more comfortable, and gave strength to their hand according to the "start" signal. In this position, the measurement was repeated four times, and the average of the top two values was recorded as the actual grip strength.

20~30대 성인 남녀 12명을 대상으로 실험을 진행하여, 각각의 실험자마다 실제 악력, 고무공을 쥐었을 때의 각도, 고무공에 힘을 주었을 때의 각도, 손바닥의 면적과 같이 4가지의 데이터를 측정하였다. The experiment was conducted with 12 adult males and females in their 20s and 30s, and each experimenter obtained four types of data: actual grip strength, angle when holding a rubber ball, angle when force was applied to the rubber ball, and palm area. measured.

Matlab을 사용하여 구한 데이터를 통해 x축은 각도의 차이, y축은 손 크기, z축은 실제 악력을 대입하고, Multiple Linear Least-Squares Regression 방법을 이용하여 도 6의 결과 그래프와 아래의 수학식 3을 유도하였다.Through the data obtained using Matlab, the x-axis is the angle difference, the y-axis is the hand size, and the z-axis is the actual grip strength, and the resultant graph in FIG. 6 and Equation 3 below are derived using the Multiple Linear Least-Squares Regression method did

[수학식 3][Equation 3]

Figure pat00003
Figure pat00003

여기서, x1은 각도의 변화량, x2는 손바닥 면적, y는 실제 악력을 의미한다.Here, x 1 is the amount of change in angle, x 2 is the palm area, and y is the actual grip strength.

수학식 3을 활용하여 실험자의 네 손가락 길이 및 손바닥 크기, 고무공에 힘을 주었을 때 각도로 악력을 도출하고, 이를 검증하기 위해 3명의 실험자로 실제 악력과 프로그램으로 측정한 악력의 오차율을 구한 결과를 아래의 표 1에서 나타내었다. Using Equation 3, the grip strength was derived from the length of the experimenter's four fingers, the size of the palm, and the angle when force was applied to the rubber ball. To verify this, the result of obtaining the error rate of the actual grip strength and the grip strength measured by the program It is shown in Table 1 below.

실험자experimenter 실제 악력actual grip strength 계산 악력Calculate grip strength 오차율(%)Error rate (%) 1One 45.945.9 49.549.5 7.847.84 22 40.740.7 39.439.4 3.193.19 33 28.228.2 29.229.2 3.423.42

이를 통하여, 본 발명에서 제안된 컴퓨터비전 기반의 각도 변화량과 손바닥 면적을 바탕으로 한 모델을 기반으로 근사적으로 악력을 측정할 수 있음을 확인할 수 있다.Through this, it can be confirmed that the grip strength can be approximately measured based on the computer vision-based angular change and the model based on the palm area proposed in the present invention.

본 발명을 통해서 고무공과 카메라를 사용해서 악력을 측정할 수 있는 프로그램을 구현하였다. 실험자 12명을 대상으로 데이터를 만들어서 표본 수가 적지만 오차율은 10% 미만으로 악력이 측정되고, 누구나 쉽게 환경을 구성하여 악력을 측정할 수 있는 장점이 있다.Through the present invention, a program capable of measuring grip strength using a rubber ball and a camera was implemented. Although the number of samples is small by making data with 12 experimenters, the grip strength is measured with an error rate of less than 10%, and there is an advantage that anyone can easily configure the environment and measure the grip strength.

도 7은 본 발명의 일 실시예에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법의 흐름도이다.7 is a flowchart of a method for measuring grip strength using image-based finger angle estimation according to an embodiment of the present invention.

본 실시예에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법은, 도 1의 장치(10)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 장치(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다. The method for measuring grip strength using image-based finger angle estimation according to the present embodiment may be performed in substantially the same configuration as the device 10 of FIG. 1 . Accordingly, components identical to those of the apparatus 10 of FIG. 1 are given the same reference numerals, and repeated descriptions are omitted.

또한, 본 실시예에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법은 영상 기반 손가락 각도 추정을 이용한 악력 측정을 수행하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.In addition, the grip strength measurement method using image-based finger angle estimation according to the present embodiment may be executed by software (application) for performing grip strength measurement using image-based finger angle estimation.

본 발명에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법은 비교적 쉽게 구할 수 있는 탄성체(예를 들어, 고무공)와 컴퓨터, 웹 캠 등의 영상장치를 이용하여 사람의 손을 인식한 데이터로 손가락마다 각도를 도출하여 악력을 측정한다.The method for measuring grip strength using image-based finger angle estimation according to the present invention uses a relatively easily available elastic body (eg, a rubber ball) and imaging devices such as a computer and a web cam to obtain data obtained by recognizing a person's hand for each finger. The angle is derived to measure the grip strength.

도 7을 참조하면, 본 실시예에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법은, 정해진 프레임마다 검사자의 손 영상을 검출한다(단계 S10).Referring to FIG. 7 , in the method for measuring grip strength using image-based finger angle estimation according to the present embodiment, an image of an examiner's hand is detected for each predetermined frame (step S10).

손 영상은 카메라, 웹 캠 등의 영상 촬영 장치를 이용하여 검사자의 손목이 고정된 이후의 일정 시간 동안의 프레임을 획득할 수 있다.As the hand image, a frame for a predetermined time after the examiner's wrist is fixed may be obtained using an image capture device such as a camera or a web cam.

검사자가 구형(spherical shape)의 탄성체를 쥐었을 때 탄성체의 반지름과 검사자의 손가락의 길이를 기초로 손가락 굽힘의 각도를 계산한다(단계 S20). When the examiner holds a spherical elastic body, a finger bending angle is calculated based on the radius of the elastic body and the length of the examiner's finger (step S20).

이 경우, 검사자의 손가락 중 엄지 손가락을 제외한 손가락의 길이를 측정하여 손가락 굽힘 각도 계산에 이용할 수 있다.In this case, the length of the examiner's fingers excluding the thumb may be measured and used to calculate the finger bending angle.

탄성체는 예를 들어, 고무공을 사용할 수 있고, 다양한 크기, 탄성 또는 압력을 갖는 고무공을 이용하여 서로 다른 범위의 악력을 측정할 수 있다.For example, a rubber ball may be used as the elastic body, and grip strength in different ranges may be measured using rubber balls having various sizes, elasticity, or pressure.

검사자의 손바닥의 면적을 도출한다(단계 S30). 예를 들어, 검사자의 손바닥의 너비와 손목부터 중지 끝까지의 길이를 측정하여 손바닥 면적을 도출할 수 있다.The area of the examiner's palm is derived (step S30). For example, the palm area may be derived by measuring the width of the examiner's palm and the length from the wrist to the tip of the middle finger.

다른 실시예에서, 검사자의 손바닥 면적은 영상 도출 이전에 미리 측정하여 초기값으로 입력될 수도 있다.In another embodiment, the area of the inspector's palm may be previously measured and input as an initial value before deriving an image.

검사자가 탄성체에 힘을 주었을 때 손가락 굽힘의 각도 변화와 손바닥의 면적을 기초로 검사자의 악력을 측정한다(단계 S40).When the examiner applies force to the elastic body, the examiner's grip strength is measured based on the change in the bending angle of the fingers and the area of the palm (step S40).

고무공에 힘을 주었을 때의 각도는 손가락 관절의 3차원 위치 추적 결과를 바탕으로 수학식 1에 의하여 각 손가락마디 마다 각도를 계산할 수 있다. The angle when force is applied to the rubber ball can be calculated for each knuckle by Equation 1 based on the result of tracking the three-dimensional position of the finger joint.

일 실시예에서, 검사자가 신호에 맞춰 고무공에 힘을 주고 그 힘을 유지하는 일정 시간(예를 들어, 3초) 동안 측정된 엄지를 제외한 네 손가락 마디 각도의 평균을 저장할 수 있다. 이후, 저장된 각도를 통해 악력 측정값을 도출할 수 있다.In one embodiment, the tester may apply force to the rubber ball according to the signal and store an average of four knuckle angles measured for a predetermined time (eg, 3 seconds) while maintaining the force. Thereafter, a grip strength measurement value may be derived through the stored angle.

정확한 측정을 위하여, 검사자가 탄성체에 힘을 주었을 때의 악력을 정해진 횟수(예를 들어, 5번)만큼 반복적으로 측정할 수 있다. 예를 들어, 반복적으로 측정된 전체 손가락 굽힘의 각도를 평균하여 악력을 측정할 수 있다.For accurate measurement, the grip force when the examiner applies force to the elastic body may be repeatedly measured a predetermined number of times (eg, 5 times). For example, the grip strength may be measured by averaging the bending angles of all the repeatedly measured fingers.

도 8을 참조하면, 일 실시예에서 검사자의 악력을 측정하는 단계(단계 S40)는, 검사자가 탄성체에 힘을 주었을 때의 악력을 정해진 횟수만큼 반복적으로 측정한다(단계 S41). 이후, 반복하여 측정한 검사자의 악력 측정값을 내림차순으로 정렬하고(단계 S42), 미리 설정된 상위 순위까지(예를 들어, 1순위 및 2순위)의 악력 측정값을 평균하여 결과를 도출한다(단계 S43).Referring to FIG. 8 , in the step of measuring the grip strength of the inspector (step S40), the grip strength when the inspector applies force to the elastic body is repeatedly measured a predetermined number of times (step S41). Thereafter, the repeatedly measured grip strength measurement values of the inspector are sorted in descending order (step S42), and a result is derived by averaging the grip strength measurement values up to a preset higher rank (eg, first and second ranks) (step S42). S43).

다른 실시예에서, 검사자의 악력을 측정하는 단계(단계 S40)는, 손가락 관절 중 근위지관절(Proximal Interphalangeal joint; PIP) 마디에서의 각도에 가중치를 부여할 수 있다. In another embodiment, in the step of measuring the examiner's grip strength (step S40), a weight may be assigned to an angle at a proximal interphalangeal joint (PIP) joint among finger joints.

상기 검사자의 악력을 측정하는 단계(단계 S40)는, 전체 손가락의 악력을 측정할 수도 있으나 개별 손가락의 각 굽힘의 각도를 기초로 악력을 측정할 수도 있다. 개별 손가락의 굽힘 각도를 측정하는 경우에도, 다수 번 반복적으로 탄성체를 쥐고 굽힘 각도를 측정하여 평균하여 악력을 측정할 수 있다.In the step of measuring the examiner's grip strength (step S40), the grip strength of all fingers may be measured, or the grip strength may be measured based on the bending angle of each individual finger. Even in the case of measuring the bending angles of individual fingers, the grip force can be measured by repeatedly holding the elastic body a number of times and measuring the bending angles and averaging them.

본 발명에 따른 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법은, 손가락 굽힘의 각도 변화와 손바닥의 면적 및 악력과의 관계를 모델링하는 단계를 더 포함할 수 있다. 이 경우, 손바닥의 면적은 다차원항으로 좀 더 정확한 모델링을 할 수 있다.The method for measuring grip strength using image-based finger angle estimation according to the present invention may further include modeling a relationship between a change in a finger bend angle, a palm area, and grip strength. In this case, the area of the palm can be more accurately modeled as a multi-dimensional term.

이와 같은, 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. Such a method for measuring grip strength using image-based finger angle estimation may be implemented as an application or implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. The computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. Program instructions recorded on the computer-readable recording medium may be those specially designed and configured for the present invention, or those known and usable to those skilled in the art of computer software.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes such as those produced by a compiler. The hardware device may be configured to act as one or more software modules to perform processing according to the present invention and vice versa.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to embodiments, those skilled in the art can variously modify and change the present invention without departing from the spirit and scope of the present invention described in the claims below. You will understand.

본 발명은 탄성체(예를 들어, 고무공)와 컴퓨터, 웹 캠을 이용하여 OpenCV와 Mediapipe의 모델(Model)을 통해 사람의 손을 인식한 데이터로 손가락마다 각도를 계산하여 악력을 측정하는 프로그램을 제공한다. 따라서, 고가의 장비 없이 효과적으로 악력을 측정하여, 근감소증 진단 등의 의료 분야에서 유용하게 활용할 수 있다.The present invention provides a program for measuring grip strength by calculating angles for each finger with data recognizing a human hand through a model of OpenCV and Mediapipe using an elastic body (eg, a rubber ball), a computer, and a webcam. do. Therefore, it is possible to effectively measure the grip strength without expensive equipment and use it usefully in the medical field such as sarcopenia diagnosis.

10: 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치
110: 손 영상 추적부
130: 초기 각도 계산부
150: 손바닥 면적 도출부
170: 악력 측정부
10: grip strength measuring device using image-based finger angle estimation
110: hand image tracking unit
130: initial angle calculation unit
150: palm area derivation unit
170: grip strength measuring unit

Claims (17)

정해진 프레임마다 검사자의 손 영상을 검출하는 손 영상 추적부;
검사자가 구형(spherical shape)의 탄성체를 쥐었을 때 탄성체의 반지름과 검사자의 손가락의 길이를 기초로 손가락 굽힘의 각도를 계산하는 초기 각도 계산부;
검사자의 손바닥의 면적을 도출하는 손바닥 면적 도출부; 및
검사자가 탄성체에 힘을 주었을 때 손가락 굽힘의 각도 변화와 손바닥의 면적을 기초로 검사자의 악력을 측정하는 악력 측정부;를 포함하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
a hand image tracking unit that detects an image of an examiner's hand at each predetermined frame;
an initial angle calculating unit that calculates a finger bending angle based on the radius of the elastic body and the length of the examiner's finger when the examiner holds a spherical elastic body;
a palm area derivation unit for deriving the area of the examiner's palm; and
A grip strength measurement device using image-based finger angle estimation, comprising: a grip strength measurement unit configured to measure the examiner's grip strength based on the area of the palm and the change in angle of bending of the fingers when the examiner applies force to the elastic body.
제1항에 있어서, 상기 초기 각도 계산부는,
검사자의 손가락 중 엄지 손가락을 제외한 손가락의 길이를 측정하여 손가락 굽힘 각도 계산에 이용하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
The method of claim 1, wherein the initial angle calculator,
An apparatus for measuring grip strength using image-based finger angle estimation, which measures the length of an inspector's fingers excluding the thumb and uses them to calculate the finger bending angle.
제1항에 있어서, 상기 악력 측정부는,
검사자가 탄성체에 힘을 주었을 때의 악력을 정해진 횟수만큼 반복적으로 측정하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
The method of claim 1, wherein the grip strength measurement unit,
An apparatus for measuring grip strength using image-based finger angle estimation, which repeatedly measures grip strength when an examiner applies force to an elastic body a predetermined number of times.
제3항에 있어서, 상기 악력 측정부는,
전체 손가락 굽힘의 각도를 평균하여 악력을 측정하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
The method of claim 3, wherein the grip strength measuring unit,
An apparatus for measuring grip strength using image-based finger angle estimation, which measures grip strength by averaging the bending angles of all fingers.
제3항에 있어서, 상기 악력 측정부는,
반복하여 측정한 검사자의 악력 측정값을 내림차순으로 정렬하고, 미리 설정된 상위 순위까지의 악력 측정값을 평균하여 결과를 도출하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
The method of claim 3, wherein the grip strength measuring unit,
An apparatus for measuring grip strength using image-based finger angle estimation, which arranges the repeatedly measured grip strength measurements in descending order and derives a result by averaging the grip strength measurements up to a preset higher rank.
제1항에 있어서, 상기 악력 측정부는,
손가락 관절 중 근위지관절(Proximal Interphalangeal joint; PIP) 마디에서의 각도에 가중치를 부여하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
The method of claim 1, wherein the grip strength measurement unit,
An apparatus for measuring grip strength using image-based finger angle estimation, which weights the angle at a proximal interphalangeal joint (PIP) joint among finger joints.
제1항에 있어서, 상기 악력 측정부는,
개별 손가락 굽힘의 각도를 기초로 악력을 측정하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
The method of claim 1, wherein the grip strength measurement unit,
An apparatus for measuring grip strength using image-based finger angle estimation, which measures grip strength based on individual finger bending angles.
제1항에 있어서,
압력이 서로 다른 두 개 이상의 탄성체를 이용하여, 다른 악력 범위를 측정하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
According to claim 1,
An apparatus for measuring grip strength using image-based finger angle estimation, which measures different grip strength ranges by using two or more elastic bodies having different pressures.
제1항에 있어서, 상기 손 영상 추적부는,
검사자의 손 등을 중심으로 손 모양의 변화를 추적하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
The method of claim 1, wherein the hand image tracking unit,
A grip strength measuring device using image-based finger angle estimation to track changes in hand shape centering on the examiner's hand.
제1항에 있어서, 상기 손바닥 면적 도출부는,
검사자의 손바닥의 너비와 손목부터 중지 끝까지의 길이를 측정하여 손바닥 면적을 도출하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
The method of claim 1, wherein the palm area derivation unit,
A grip strength measuring device using image-based finger angle estimation, which derives the palm area by measuring the width of the examiner's palm and the length from the wrist to the tip of the middle finger.
제1항에 있어서,
손가락 굽힘의 각도 변화와 손바닥의 면적 및 악력과의 관계를 모델링하는 모델링부;를 더 포함하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
According to claim 1,
An apparatus for measuring grip strength using image-based finger angle estimation, further comprising: a modeling unit that models a relationship between a change in angle of bending of a finger and an area of the palm and grip strength.
제11항에 있어서, 상기 모델링부는,
손바닥의 면적을 다차원으로 모델링하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 장치.
The method of claim 11, wherein the modeling unit,
A device for measuring grip strength using image-based finger angle estimation that models the area of the palm in multi-dimensional ways.
정해진 프레임마다 검사자의 손 영상을 검출하는 단계;
검사자가 구형(spherical shape)의 탄성체를 쥐었을 때 탄성체의 반지름과 검사자의 손가락의 길이를 기초로 손가락 굽힘의 각도를 계산하는 단계;
검사자의 손바닥의 면적을 도출하는 단계; 및
검사자가 탄성체에 힘을 주었을 때 손가락 굽힘의 각도 변화와 손바닥의 면적을 기초로 검사자의 악력을 측정하는 단계;를 포함하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법.
detecting an image of an inspector's hand for each predetermined frame;
calculating a finger bending angle based on a radius of the elastic body and a length of the examiner's finger when the examiner holds a spherical elastic body;
Deriving the area of the examiner's palm; and
A method of measuring grip strength using image-based finger angle estimation, comprising: measuring the examiner's grip strength based on the area of the palm and the change in bending angle of the fingers when the examiner applies force to the elastic body.
제13항에 있어서, 상기 검사자의 악력을 측정하는 단계는,
검사자가 탄성체에 힘을 주었을 때의 악력을 정해진 횟수만큼 반복적으로 측정하는 단계;
반복하여 측정한 검사자의 악력 측정값을 내림차순으로 정렬하는 단계; 및
미리 설정된 상위 순위까지의 악력 측정값을 평균하여 결과를 도출하는 단계;를 포함하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법.
The method of claim 13, wherein the step of measuring the examiner's grip strength,
Step of repeatedly measuring the grip force when the examiner applies force to the elastic body a predetermined number of times;
arranging the repeatedly measured grip strength measurements of the inspector in descending order; and
A method for measuring grip strength using image-based finger angle estimation, comprising: averaging grip strength measurement values up to a preset upper rank to derive a result.
제13항에 있어서, 상기 검사자의 악력을 측정하는 단계는,
개별 손가락 굽힘의 각도를 기초로 악력을 측정하거나 개별 손가락 굽힘의 각도를 기초로 악력을 측정하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법.
The method of claim 13, wherein the step of measuring the examiner's grip strength,
A grip strength measurement method using image-based finger angle estimation, wherein grip strength is measured based on an individual finger bend angle or grip strength is measured based on an individual finger bend angle.
제13항에 있어서,
손가락 굽힘의 각도 변화와 손바닥의 면적 및 악력과의 관계를 모델링하는 단계;를 더 포함하는, 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법.
According to claim 13,
A method of measuring grip strength using image-based finger angle estimation, further comprising: modeling a relationship between a change in angle of bending of a finger and an area of the palm and grip strength.
제13항 내지 제16항 중 어느 하나의 항에 따른 상기 영상 기반 손가락 각도 추정을 이용한 악력 측정 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 저장 매체.
A computer-readable storage medium having a computer program recorded thereon for performing the method of measuring grip strength using the image-based finger angle estimation according to any one of claims 13 to 16.
KR1020210128978A 2021-09-29 2021-09-29 Method and device of measuring hand grip strength using image-based finger angle estimation, recording medium for performing the method KR20230046023A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210128978A KR20230046023A (en) 2021-09-29 2021-09-29 Method and device of measuring hand grip strength using image-based finger angle estimation, recording medium for performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210128978A KR20230046023A (en) 2021-09-29 2021-09-29 Method and device of measuring hand grip strength using image-based finger angle estimation, recording medium for performing the method

Publications (1)

Publication Number Publication Date
KR20230046023A true KR20230046023A (en) 2023-04-05

Family

ID=85884564

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210128978A KR20230046023A (en) 2021-09-29 2021-09-29 Method and device of measuring hand grip strength using image-based finger angle estimation, recording medium for performing the method

Country Status (1)

Country Link
KR (1) KR20230046023A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2624485A (en) * 2023-04-19 2024-05-22 Neurovirt Ltd Methods and systems for using real world objects for functional therapy in an extended reality environment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101055259B1 (en) 2008-09-05 2011-08-11 대한민국 Hand measuring device and method
KR102235532B1 (en) 2019-04-15 2021-04-01 동서대학교 산학협력단 grip measuring device for each finger

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101055259B1 (en) 2008-09-05 2011-08-11 대한민국 Hand measuring device and method
KR102235532B1 (en) 2019-04-15 2021-04-01 동서대학교 산학협력단 grip measuring device for each finger

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2624485A (en) * 2023-04-19 2024-05-22 Neurovirt Ltd Methods and systems for using real world objects for functional therapy in an extended reality environment

Similar Documents

Publication Publication Date Title
Schmitz et al. Accuracy and repeatability of joint angles measured using a single camera markerless motion capture system
US10758160B2 (en) Body part motion analysis with wearable sensors
Huber et al. Validity and reliability of Kinect skeleton for measuring shoulder joint angles: a feasibility study
Webster et al. Experimental evaluation of Microsoft Kinect's accuracy and capture rate for stroke rehabilitation applications
US9524424B2 (en) Calculation of minimum ground clearance using body worn sensors
KR102010898B1 (en) System and method for Gait analysis
US20130023798A1 (en) Method for body-worn sensor based prospective evaluation of falls risk in community-dwelling elderly adults
CN107949318B (en) Blood pressure measuring device, body characteristic information calculating method, and computer-readable recording medium
US20200281508A1 (en) Human body mounted sensors using mapping and motion analysis
Choo et al. Validation of the Perception Neuron system for full-body motion capture
Bonnet et al. Fast determination of the planar body segment inertial parameters using affordable sensors
Martins et al. Legs tracking for walker-rehabilitation purposes
KR20230046023A (en) Method and device of measuring hand grip strength using image-based finger angle estimation, recording medium for performing the method
Hwang et al. A novel end-effector robot system enabling to monitor upper-extremity posture during robot-aided planar reaching movements
Kostić et al. The modified drawing test for assessment of arm movement quality
CN115607899A (en) Cerebral apoplexy limb rehabilitation training system and method based on virtual reality
TWI580404B (en) Method and system for measuring spasticity
Jeong et al. Hand Grip Strength Estimation for Sarcopenia Diagnosis by Finger Tracking
Coton et al. Feasibility Study of Hand Motion Analysis by the Leap Motion Sensor
JP2014117409A (en) Method and apparatus for measuring body joint position
Katović et al. Development of computer system for digital measurement of human body: initial findings
Ademoyegun et al. Concurrent validity and reliability of the Microsoft kinect™ device in cervical spine range of motion assessment.
Rungruangbaiyok et al. Shoulder Angle Measurement (SAM) system for home-based rehabilitation using computer vision with a web camera.
Lin et al. Assessment of range of joint motion using Kinect
TWI581757B (en) System and method for evaluating the quality of joint mobility

Legal Events

Date Code Title Description
E902 Notification of reason for refusal