KR20210118496A - Image-based intelligent push-up discrimination method and system - Google Patents

Image-based intelligent push-up discrimination method and system Download PDF

Info

Publication number
KR20210118496A
KR20210118496A KR1020200034763A KR20200034763A KR20210118496A KR 20210118496 A KR20210118496 A KR 20210118496A KR 1020200034763 A KR1020200034763 A KR 1020200034763A KR 20200034763 A KR20200034763 A KR 20200034763A KR 20210118496 A KR20210118496 A KR 20210118496A
Authority
KR
South Korea
Prior art keywords
push
state
image
subject
posture
Prior art date
Application number
KR1020200034763A
Other languages
Korean (ko)
Other versions
KR102369359B1 (en
Inventor
권세기
김종환
백장운
박호준
Original Assignee
권세기
김종환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 권세기, 김종환 filed Critical 권세기
Priority to KR1020200034763A priority Critical patent/KR102369359B1/en
Publication of KR20210118496A publication Critical patent/KR20210118496A/en
Application granted granted Critical
Publication of KR102369359B1 publication Critical patent/KR102369359B1/en

Links

Images

Classifications

    • G06K9/00335
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G06K2209/055
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/033Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to an image-based intelligent push-up determination method, which accurately measures a push-up posture of a subject and determines a correct posture and an incorrect posture to enable the subject to recognize abnormal push-up, and an image-based intelligent push-up determination system thereof. According to the present invention, the image-based intelligent push-up determination comprises: an image acquisition module collecting image data by photographing a subject's push-up state; a pose estimation module estimating position information on 18 joints of the subject by using an open pose-based algorithm for the image data collected by the image collection module; a posture characteristic evaluation module evaluating a normal push-up state or an abnormal push-up state in real time to the position information on the subject's joints estimated by the pose estimation module; and a push-up counting module counting the number of push-ups when the posture characteristic evaluation module evaluates to the normal push-up state. Accordingly, push-ups can be accurately measured and counted regardless of physical conditions such as height of a subject, etc.

Description

영상기반 지능형 푸시-업 판별 방법 및 푸시-업 판별 시스템{Image-based intelligent push-up discrimination method and system} Image-based intelligent push-up discrimination method and system

본 발명은 영상기반 지능형 푸시-업 판별 방법 및 푸시-업 판별 시스템에 관한 것으로, 특히 피측정자의 푸시-업(Push-up) 자세를 정밀하게 측정하고, 정자세와 오 자세를 판별함으로써 비정상적인 푸시 업을 피측정자가 인식하게 할 수 있는 영상기반 지능형 푸시-업 판별 방법 및 푸시-업 판별 시스템에 관한 것이다.The present invention relates to an image-based intelligent push-up determination method and a push-up determination system, in particular, by precisely measuring the push-up posture of a subject and discriminating an upright posture and an incorrect posture to determine an abnormal push-up posture. It relates to an image-based intelligent push-up discrimination method and a push-up discrimination system that can allow a subject to recognize .

일반적으로, 팔굽혀펴기는 학교, 군, 경찰, 소방 등의 분야에서 상체 근력을 강화시키고 체력수준을 평가하기 위한 검사방법으로 널리 이용되고 있다.In general, push-ups are widely used as a test method for strengthening upper body strength and evaluating physical fitness levels in fields such as schools, military, police, and firefighting.

이러한 팔굽혀펴기 운동의 측정을 위해 다양한 기구들이 개발되어 체육관련대학 입시나 사관학교, 경찰, 소방공무원, 군인 등의 신규 채용시험 또는 진급에 활용되어 오고 있다.Various instruments have been developed to measure these push-ups and have been used for entrance exams for sports-related colleges, new recruitment tests for military academies, police, firefighters, and military personnel, or promotion.

종래에는 측정자가 팔굽혀펴기 측정자세 검사 및 횟수 계수를 직접 시행하였으나, 매 피측정자마다 측정자가 측정자세를 검사하고 측정 횟수를 계수하는 것이 불편할 뿐 아니라, 그 계수 기준이 명확하지 않은 문제가 있었다. 즉 팔굽혀펴기를 테스트하는 동안 푸시-업 점수를 계수하고 기록하기 위해 수많은 측정자가 참석해야 하며, 각 측정자의 계수 기준이 주관적일 수 있으므로 측정 결과와 공정성에 영향을 미친다. 또 한 측정자가 동시에 다수의 피측정자의 점수를 정확하게 판단하기가 어렵다는 문제가 있었다.Conventionally, the measurer directly performed the push-up measurement posture test and counting, but it is inconvenient for the measurer to check the measuring posture and count the number of times for each subject, and there is a problem in that the counting standard is not clear. That is, during the push-up test, a large number of measurers must be present to count and record the push-up score, and each measurer's counting criteria can be subjective, affecting the measurement results and fairness. In addition, there was a problem in that it was difficult for the measurer to accurately determine the scores of multiple subjects at the same time.

이를 해결하기 위해, 광센서, 압력(접촉) 센서, 초음파 센서 등 센서를 이용하여 팔굽혀펴기 횟수를 자동으로 측정할 수 있는 장치가 개발되었다.To solve this problem, a device capable of automatically measuring the number of push-ups using a sensor such as an optical sensor, a pressure (contact) sensor, and an ultrasonic sensor has been developed.

이러한 기술의 일 예가 하기 문헌 1 내지 3 등에 개시되어 있다.An example of such a technique is disclosed in Documents 1 to 3 and the like.

예를 들어, 하기 특허문헌 1에는 사용자를 향해 기울어지도록 받침대 상에 구비되는 높이 조절봉, 상기 높이 조절봉에 삽입되어 탄성적으로 상하 이동되는 센서봉, 상기 센서봉의 상단에 구비되어 사용자의 가슴이 맞닿는 편평체를 포함하되, 상기 높이 조절봉에는 감지 센서가 구비되고, 상기 센서봉에는 감지 대상 센서가 구비되어, 사용자가 편평체에 가슴을 맞댄 상태에서 팔굽혀펴기를 함에 따라 센서봉이 하방으로 이동하여 감지 대상 센서와 감지 센서가 교차되어 팔굽혀펴기 개수를 측정할 수 있는 팔굽혀펴기 측정기에 대해 개시되어 있다.For example, in Patent Document 1 below, a height adjustment rod provided on a pedestal to be inclined toward the user, a sensor rod that is inserted into the height adjustment rod and elastically moves up and down, is provided on the upper end of the sensor rod so that the chest of the user is Including a flat body in contact, but the height adjustment rod is provided with a detection sensor, the sensor rod is provided with a sensing target sensor, as the user push-ups in a state in which the chest is pressed against the flat body, the sensor rod moves downward and detects Disclosed is a push-up measuring device capable of measuring the number of push-ups by crossing a target sensor and a detection sensor.

또 하기 특허문헌 2에는 팔굽혀펴기를 위해 양손을 지지하는 손 지지대를 구비하며, 상기 팔굽혀펴기의 횟수를 측정하기 위한 측정 모듈이 상기 손 지지대에 양손을 지지하는 사용자와 대향되는 위치에 설치되며, 상기 측정 모듈은 초음파를 이용하여 상기 사용자와의 거리를 측정하는 초음파 측정부 및 상기 사용자와의 거리에 따라 상기 팔굽혀펴기에 대한 횟수 카운팅을 수행하는 횟수 측정부를 포함하는 팔굽혀펴기 측정 장치에 대해 개시되어 있다.In addition, Patent Document 2 includes a hand support for supporting both hands for push-ups, and a measurement module for measuring the number of push-ups is installed at a position opposite to a user supporting both hands on the hand support, , The measurement module is a push-up measuring device comprising an ultrasound measuring unit for measuring a distance to the user using ultrasound and a number measuring unit for performing counting the number of times for the push-ups according to the distance to the user has been disclosed for

한편, 하기 특허문헌 3에는 다수의 디지털 화상 데이터의 픽셀 값을 서로 비교하여 그 차이점을 인식하는 화상인식시스템을 그 내부에 수납하는 케이스, 상기 케이스의 정면에 결합되는 가이드 봉, 상기 가이드 봉에 상하 방향으로 이동 가능하게 결합되며 측정자의 측정 동작을 촬영하여 디지털 화상데이터로 변환하고 상기 화상데이터를 상기 화상인식시스템에 제공하는 디지털 카메라 및 상기 케이스의 상면 일측에 설치되어 상기 화상인식시스템 및 디지털 카메라의 동작을 제어하는 조작 패널을 포함하는 측정기 본체와, 측면이 상기 디지털 카메라를 향하도록 되며, 상기 디지털 카메라의 촬영 가능 각도에 따라 상기 측정기 본체 정면에서 이격되어 설치되는 측정 매트, 상기 측정 매트의 상면 양측에 각기 결합되는 제1 및 제2 고정 바 및 양측이 상기 제1 및 제2 고정 바와 각기 결합되어 측정자가 파지할 수 있는 파지 봉을 포함하는 화상데이터 비교를 이용한 엎드려 팔굽혀펴기 측정 장치에 대해 개시되어 있다.On the other hand, in Patent Document 3 below, a case for accommodating an image recognition system for recognizing differences by comparing pixel values of a plurality of digital image data with each other, a guide rod coupled to the front of the case, and upper and lower sides of the guide rod A digital camera that is movably coupled in the direction, converts a measurement operation of a measurer into digital image data and provides the image data to the image recognition system, and is installed on one side of the upper surface of the case A measuring device body including an operation panel for controlling an operation, a measuring mat with a side facing the digital camera and installed to be spaced apart from the front of the measuring device body according to a photographing angle of the digital camera, both sides of the upper surface of the measuring mat Disclosed is an apparatus for measuring push-ups on the stomach using image data comparison including first and second fixing bars respectively coupled to the and both sides of the first and second fixing bars respectively coupled to the gripping rods that can be gripped by the measurer has been

대한민국 등록특허공보 제10-2031878호(2019.10.07 등록)Republic of Korea Patent Publication No. 10-2031878 (registered on October 7, 2019) 대한민국 등록특허공보 제10-1269561호(2013.05.24 등록)Republic of Korea Patent Publication No. 10-1269561 (Registered on May 24, 2013) 대한민국 등록실용신안공보 제20-0346479호(2004.03.19 등록)Republic of Korea Registered Utility Model Publication No. 20-0346479 (Registered on March 19, 2004)

상술한 바와 같은 특허문헌 1에 개시된 기술에서는 사용자가 편평체에 가슴을 맞댄 상태에서 팔굽혀펴기를 하며, 사용자가 편평체를 가압하는 것에 의해 팔굽혀펴기 개수를 측정하고, 특허문헌 2에 개시된 기술에서는 초음파 센서가 손 지지대에 양손을 지지한 상태에서 팔굽혀펴기를 행하고 있는 사용자의 가슴 부분과의 거리를 측정하여 엉덩이 부분, 다리 부분 등의 위치를 측정할 수 없으므로, 정확한 팔굽혀펴기를 측정할 수 없다는 문제가 있었다. In the technology disclosed in Patent Document 1 as described above, the user does push-ups in a state where the chest is pressed against the flat body, and the user measures the number of push-ups by pressing the flat body, and in the technology disclosed in Patent Document 2, ultrasound Because the sensor cannot measure the position of the hips and legs by measuring the distance from the chest of the user who is doing push-ups while supporting both hands on the hand support, it is impossible to measure accurate push-ups. There was a problem.

또 상기 특허문헌 1 및 2에서는 팔굽혀펴기를 실행하는 피측정자가 비정상적인 팔굽혀펴기를 실행하는 경우, 이를 인지할 수 없다는 문제도 있었다. Moreover, in the said patent documents 1 and 2, when the subject performing a push-up performs an abnormal push-up, there also existed a problem that this could not be recognized.

한편, 특허문헌 3에 개시된 기술에서는 측정중인 측정자의 자세에 대한 화상데이터에서 이미지의 경계선에 대한 명암(휘도) 값을 그리드 메소드(gird method)에 의하여 추출하고 이 값을 표준 자세데이터의 명암 값과 비교하여 차분 데이터를 생성하는 방식으로서, 측정 매트의 파지 봉이 위치한 경계 값의 y 좌표 픽셀 값과 디지털 카메라에서 촬영된 화상데이터 상에 측정자의 가슴이 위치한 경계 값의 y 좌표 픽셀 값에 따라 팔굽혀펴기를 측정하지만, 예를 들어 한쪽의 어깨와 팔꿈치의 각도가 어긋난 경우 또는 무릎-엉덩이-목에 대한 각도가 비정상인 경우를 인지할 수 없어 팔굽혀펴기를 정확하게 측정할 수 없다는 문제가 있었다. 또한, 상기 특허문헌 3에서도 팔굽혀펴기를 실행하는 피측정자가 비정상적인 팔굽혀펴기를 실행하는 경우, 이를 인지할 수 없다는 문제도 있었다. On the other hand, in the technique disclosed in Patent Document 3, the contrast (brightness) value for the boundary line of the image is extracted from the image data about the posture of the person being measured by the grid method, and this value is extracted with the contrast value of the standard posture data and the As a method of generating difference data by comparison, push-ups are performed according to the y-coordinate pixel value of the boundary value where the gripping rod of the measuring mat is located and the y-coordinate pixel value of the boundary value where the chest is located on the image data captured by the digital camera. However, there is a problem that push-ups cannot be accurately measured because, for example, a case where the angle of one shoulder and an elbow is misaligned or a case where the angle to the knee-hip-neck is abnormal cannot be recognized. In addition, even in Patent Document 3, when the subject performing push-ups performs abnormal push-ups, there is also a problem that this cannot be recognized.

즉 상술한 바와 같은 종래 기술에서는 센서 또는 화상을 이용한 팔굽혀펴기 측정장치로서 측정자가 직접 측정 횟수를 카운팅하지 않아도 된다는 장점이 있지만, 피측정자의 비정상적인 팔굽혀펴기, 예를 들어 양쪽 어깨와 양쪽 팔꿈치의 각도를 구하여 팔굽혀펴기 측정시, 한쪽의 어깨와 팔꿈치의 각도가 상이한 경우, 무릎-엉덩이-목에 대한 각도가 비정상인 경우, 양쪽 팔과 양쪽 손목 간의 거리가 불균형적인 경우 등을 인식할 수 없다는 문제가 있었다.That is, in the prior art as described above, as a push-up measuring device using a sensor or an image, there is an advantage that the measurer does not need to count the number of measurements directly, but abnormal push-ups of the subject, for example, both shoulders and both elbows. When measuring push-ups by obtaining the angle, it is impossible to recognize when the angle of one shoulder and the elbow is different, the angle to the knee-hip-neck is abnormal, the distance between both arms and both wrists is unbalanced. There was a problem.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위해 이루어진 것으로서, 푸시-업(팔굽혀펴기)의 자세를 18개의 관절(joint)과 17개의 연결부(link)로 인식하여 측정 횟수를 정확하게 계수할 수 있는 영상기반 지능형 푸시-업 판별 방법 및 푸시-업 판별 시스템을 제공하는 것이다.An object of the present invention was made to solve the above problems, and it is possible to accurately count the number of measurements by recognizing the posture of push-up (push-up) as 18 joints and 17 links. It is to provide an image-based intelligent push-up discrimination method and a push-up discrimination system that can

본 발명의 다른 목적은 피측정자의 비정상적인 푸시-업 상태를 통지하여 피측정자가 정상적인 푸시-업을 실행하도록 안내할 수 있는 영상기반 지능형 푸시-업 판별 방법 및 푸시-업 판별 시스템을 제공하는 것이다.Another object of the present invention is to provide an image-based intelligent push-up determination method and a push-up determination system capable of guiding the subject to perform a normal push-up by notifying an abnormal push-up state of the subject.

본 발명의 또 다른 목적은 피측정자의 신체 조건과 관계없이 정밀한 푸시-업의 상태를 측정할 수 있는 영상기반 지능형 푸시-업 판별 방법 및 푸시-업 판별 시스템을 제공하는 것이다.Another object of the present invention is to provide an image-based intelligent push-up determination method and a push-up determination system capable of measuring the precise push-up state regardless of the physical condition of the subject.

상기 목적을 달성하기 위해 본 발명에 따른 영상기반 지능형 푸시-업 판별 시스템은 피측정자의 푸시-업 상태를 촬영하여 이미지 데이터를 수집하는 이미지 수집 모듈, 상기 이미지 수집 모듈에서 수집된 이미지 데이터에 대해 오픈포즈(Openpose) 기반의 알고리즘으로 피측정자의 18개 관절에 대한 위치 정보를 추정하는 포즈 추정 모듈, 상기 포즈 추정 모듈에서 추정된 피측정자의 관절에 대한 위치 정보에 따라 실시간으로 정상 푸시-업 상태 또는 비정상 푸시-업 상태를 평가하는 자세 특징 평가 모듈, 상기 자세 특징 평가 모듈에서 정상 푸시-업 상태로 평가되면, 푸시-업 횟수를 계수하는 푸시-업 계수 모듈을 포함하는 것을 특징으로 한다.In order to achieve the above object, the image-based intelligent push-up determination system according to the present invention is an image collection module that captures the push-up state of a subject to collect image data, and the image data collected by the image collection module is open A pose estimation module for estimating position information on 18 joints of a subject with a pose-based algorithm, a normal push-up state in real time or and a posture characteristic evaluation module for evaluating the abnormal push-up state, and a push-up counting module for counting the number of push-ups when the posture characteristic evaluation module evaluates to the normal push-up state.

또 본 발명에 따른 영상기반 지능형 푸시-업 판별 시스템에서, 상기 자세 특징 평가 모듈에서 정상 푸시-업 상태 또는 비정상 푸시-업 상태로 평가된 경우 각각에 대해 실시간으로 서로 다른 경보음을 출력하는 경보음 출력 모듈을 더 포함하는 것을 특징으로 한다.In addition, in the image-based intelligent push-up determination system according to the present invention, when the posture characteristic evaluation module evaluates to a normal push-up state or an abnormal push-up state, an alarm sound for outputting different alarm sounds in real time It characterized in that it further comprises an output module.

또 본 발명에 따른 영상기반 지능형 푸시-업 판별 시스템에서, 상기 포즈 추정 모듈은 코, 목, 오른쪽어깨, 오른쪽팔꿈치, 오른쪽손목, 왼쪽어깨, 왼쪽팔꿈치, 왼쪽손목, 오른쪽엉덩이, 오른쪽무릎, 오른쪽발목, 왼쪽엉덩이, 왼쪽무릎, 왼쪽발목, 오른쪽눈, 왼쪽눈, 오른쪽귀, 왼쪽귀의 18개의 관절을 17개의 선으로 연결하여 피측정자의 포즈를 추정하는 것을 특징으로 한다.In addition, in the image-based intelligent push-up determination system according to the present invention, the pose estimation module includes nose, neck, right shoulder, right elbow, right wrist, left shoulder, left elbow, left wrist, right hip, right knee, right ankle , left hip, left knee, left ankle, right eye, left eye, right ear, and 18 joints of the left ear are connected with 17 lines to estimate the subject's pose.

또한, 상기 목적을 달성하기 위해 본 발명에 따른 영상기반 지능형 푸시-업 판별 방법은 (a) 피측정자의 푸시-업 상태를 정면, 측면, 정측면에서 촬영하여 이미지 데이터를 수집하는 수집 단계, (b) 상기 단계 (a)에서 수집된 이미지 데이터에 대해 오픈포즈(Openpose) 기반의 알고리즘으로 피측정자의 관절에 대한 위치 정보를 추정하는 추정 단계, (c) 상기 단계 (b)에서 추정된 피측정자의 관절에 대한 위치 정보에 따라 실시간으로 정상 푸시-업 상태 또는 비정상 푸시-업 상태를 평가하는 자세 특징 평가 단계, (d) 상기 단계 (c)에서 정상 푸시-업 상태로 평가되면, 푸시-업 횟수를 계수하는 푸시-업 계수 단계, (e) 상기 단계 (c)에서 정상 푸시-업 상태 또는 비정상 푸시-업 상태로 평가된 경우 각각에 대해 실시간으로 서로 다른 경보음을 출력하는 경보음 출력 단계를 포함하는 것을 특징으로 한다.In addition, in order to achieve the above object, the image-based intelligent push-up determination method according to the present invention includes (a) a collection step of collecting image data by photographing the push-up state of the subject from the front, side, and front side, ( b) an estimation step of estimating position information on the subject's joints with an Openpose-based algorithm with respect to the image data collected in step (a), (c) the subject estimated in step (b) Postural characteristic evaluation step of evaluating the normal push-up state or the abnormal push-up state in real time according to the position information on the joint of A push-up counting step of counting the number of times, (e) an alarm sound output step of outputting different alarm sounds in real time for each of the normal push-up state or the abnormal push-up state when evaluated as a normal push-up state or an abnormal push-up state in the step (c) It is characterized in that it includes.

또 본 발명에 따른 영상기반 지능형 푸시-업 판별 방법에서, 상기 단계 (b)에서 위치 정보의 추정은 코, 목, 오른쪽어깨, 오른쪽팔꿈치, 오른쪽손목, 왼쪽어깨, 왼쪽팔꿈치, 왼쪽손목, 오른쪽엉덩이, 오른쪽무릎, 오른쪽발목, 왼쪽엉덩이, 왼쪽무릎, 왼쪽발목, 오른쪽눈, 왼쪽눈, 오른쪽귀, 왼쪽귀의 18개의 관절과 이 18개의 관절을 연결한 17개의 선의 이미지 속에서의 위치(x, y 좌표) 정보에 의해 피측정자의 포즈를 추정하는 것을 특징으로 한다.In addition, in the image-based intelligent push-up determination method according to the present invention, the estimation of the location information in step (b) is the nose, neck, right shoulder, right elbow, right wrist, left shoulder, left elbow, left wrist, right hip 18 joints of , right knee, right ankle, left hip, left knee, left ankle, right eye, left eye, right ear, left ear and the position in the image of 17 lines connecting these 18 joints (x, y It is characterized in that the pose of the subject is estimated based on the coordinates) information.

또 본 발명에 따른 영상기반 지능형 푸시-업 판별 방법에서, 상기 단계 (c)에서 자세 특징 평가는 (1) 푸시-업의 높은 자세 시 두 팔꿈치의 각도가 모두 150~180도를 유지하고, 푸시-업의 낮은 자세 시 두 팔꿈치의 각도가 모두 90도 이하이고, (2) 푸시-업의 낮은 자세의 양 손목과 어깨의 거리가 높은 자세의 양 손목과 어깨의 거리의 반 이하이고, (3) 푸시-업 간 높은 자세에서 낮은 자세로 그리고 낮은 자세에서 높은 자세로 움직이는 과정에서 양 팔꿈치의 각도가 균형을 잡도록 양 팔꿈치의 각도 차이가 30도 이하로 유지되고, (4) 푸시-업 시 측면 허리의 각도가 150도 이상으로 유지되고, (5) 푸시-업 시 양 무릎의 각도가 모두 150도 이상으로 유지되는 경우 정상 푸시-업의 상태로 평가하고, 상기 (1) 내지 (5)의 기준 중의 어느 하나를 만족하지 못할 시 비정상적인 푸시-업의 상태로 평가하는 것을 특징으로 한다.In addition, in the image-based intelligent push-up determination method according to the present invention, the posture characteristic evaluation in step (c) is performed by (1) maintaining the angle of both elbows at 150-180 degrees during the high posture of the push-up, -The angle of both elbows is less than 90 degrees in the low position of the push-up, (2) the distance between the wrists and the shoulders in the low position of the push-up is less than half the distance between the wrists and the shoulders in the high position, and (3) ) Between push-ups, the difference between the angles of the elbows is kept below 30 degrees so that the angles of the elbows are balanced in the process of moving from high to low and from low to high, and (4) to the side during push-ups. When the angle of the waist is maintained at 150 degrees or more, and (5) when the angle of both knees is maintained at 150 degrees or more during push-up, it is evaluated as a normal push-up state, and (1) to (5) above When any one of the criteria is not satisfied, it is characterized as an abnormal push-up state.

또 본 발명에 따른 영상기반 지능형 푸시-업 판별 방법에서, 상기 단계 (b)에서 위치 정보의 추정은 정면, 측면, 정측면에서 촬영한 이미지 데이터의 병합에 의해 추정되는 것을 특징으로 한다.In addition, in the image-based intelligent push-up determination method according to the present invention, the estimation of the location information in step (b) is characterized in that it is estimated by merging image data taken from the front, side, and front side.

상술한 바와 같이, 본 발명에 따른 영상기반 지능형 푸시-업 판별 방법 및 푸시-업 판별 시스템에 의하면, 피측정자의 관절에 대한 위치 정보를 추정하는 포즈 추정 모듈을 마련하는 것에 의해 푸시-업의 측정 과정에서 피측정자의 신체와 접촉 없이 또한, 피측정자의 키 등의 신체 조건과 관계없이 정확하게 푸시-업을 측정하여 계수할 수 있다는 효과가 얻어진다.As described above, according to the image-based intelligent push-up determination method and the push-up determination system according to the present invention, push-up measurement is performed by providing a pose estimation module for estimating position information on the joint of the subject. In the process, there is an effect that the push-up can be accurately measured and counted without contact with the subject's body and irrespective of physical conditions such as height of the subject.

또 본 발명에 따른 영상기반 지능형 푸시-업 판별 방법 및 푸시-업 판별 시스템에 의하면, 비정상 푸시-업 상태로 평가된 경우 실시간으로 경보음을 출력하는 경보음 출력 모듈을 마련하는 것에 의해, 피측정자가 정상적인 푸시-업을 실행하도록 안내할 수 있다는 효과가 얻어진다.In addition, according to the image-based intelligent push-up determination method and push-up determination system according to the present invention, by providing an alarm sound output module that outputs an alarm sound in real time when an abnormal push-up state is evaluated, the measurement target The effect of being able to guide the self to execute a normal push-up is obtained.

도 1은 본 발명에 따른 영상기반 지능형 푸시-업 판별 시스템의 블록도,
도 2는 도 1에 도시된 이미지 수집 모듈에서 촬영된 피측정자의 정면 사진,
도 3은 도 2에 도시된 피측정자에 대해 포즈 추정 모듈에서 관절을 선으로 연결한 상태를 설명하기 위한 사진,
도 4는 본 발명에 따른 영상기반 지능형 푸시-업 판별 시스템에서 피측정자의 푸시-업을 판별하기 위한 상태를 나타내는 사진,
도 5는 정상 푸시-업 상태 및 비정상 푸시-업 상태의 평가의 일 예를 나타내는 도면,
도 6은 피측정자의 주요 부위의 좌표 및 각도를 설명하기 위한 도면,
도 7은 기준 (1) 내지 (5)를 적용한 피측정자의 팔굽혀펴기에서 정상 및 비정상 판단을 위한 고저 임계값을 나타내는 그래프,
도 8은 본 발명에 따른 영상기반 지능형 푸시-업 판별 과정을 설명하기 위한 공정도,
도 9는 피측정자의 푸시-업을 측정하기 위해 본 발명에 따른 포즈 추정 모듈에서 정면 측정의 상태를 캡쳐한 사진,
도 10은 피측정자의 푸시-업을 측정하기 위해 본 발명에 따른 포즈 추정 모듈에서 정측면 측정의 상태를 캡쳐한 사진,
도 11은 피측정자의 푸시-업을 측정하기 위해 본 발명에 따른 포즈 추정 모듈에서 측면 측정의 상태를 캡쳐한 사진.
1 is a block diagram of an image-based intelligent push-up discrimination system according to the present invention;
Figure 2 is a frontal photograph of the subject taken in the image collection module shown in Figure 1,
3 is a photograph for explaining a state in which joints are connected with lines in the pose estimation module for the subject shown in FIG. 2;
4 is a photograph showing a state for determining the push-up of the subject in the image-based intelligent push-up discrimination system according to the present invention;
5 is a diagram illustrating an example of evaluation of a normal push-up state and an abnormal push-up state;
6 is a view for explaining the coordinates and angles of the main part of the subject;
7 is a graph showing high and low thresholds for determining normal and abnormal in push-ups of a subject to which criteria (1) to (5) are applied;
8 is a process diagram for explaining the image-based intelligent push-up determination process according to the present invention;
9 is a photograph of capturing the state of frontal measurement in the pose estimation module according to the present invention to measure the push-up of the subject;
10 is a photograph of capturing the state of the frontal measurement in the pose estimation module according to the present invention to measure the push-up of the subject;
11 is a photograph of capturing the state of side measurement in the pose estimation module according to the present invention to measure the push-up of the subject.

본 발명의 상기 및 그 밖의 목적과 새로운 특징은 본 명세서의 기술 및 첨부 도면에 의해 더욱 명확하게 될 것이다.The above and other objects and novel features of the present invention will become more apparent from the description of the present specification and accompanying drawings.

본원에서 사용하는 용어 "푸시-업(Push-up)"은 팔굽혀펴기를 의미하며, "피측정자"는 팔굽혀펴기를 시도하고 있는 사람을 의미한다.As used herein, the term “push-up” refers to push-ups, and “subject” refers to a person who is attempting push-ups.

본 발명에 따른 영상기반 지능형 푸시-업 판별 방법 및 푸시-업 판별 시스템에서의 자세 특징 평가는 (1) 푸시-업의 높은 자세 시 두 팔꿈치의 각도가 모두 150~180도를 유지하고, 푸시-업의 낮은 자세 시 두 팔꿈치의 각도가 모두 90도 이하이고, (2) 푸시-업의 낮은 자세의 양 손목과 어깨의 거리가 높은 자세의 양 손목과 어깨의 거리의 반 이하이고, (3) 푸시-업 간 높은 자세에서 낮은 자세로 그리고 낮은 자세에서 높은 자세로 움직이는 과정에서 양 팔꿈치의 각도가 균형을 잡도록 양 팔꿈치의 각도 차이가 30도 이하로 유지되고, (4) 푸시-업 시 측면 허리의 각도가 150도 이상으로 유지되고, (5) 푸시-업 시 양 무릎의 각도가 모두 150도 이상으로 유지되는 경우 정상 푸시-업의 상태로 평가하고, 상기 (1) 내지 (5)의 기준을 하나라도 만족하지 못할 시 비정상적인 푸시-업의 상태로 판정한다.The image-based intelligent push-up determination method and posture characteristic evaluation in the push-up determination system according to the present invention (1) maintain the angle of both elbows at 150-180 degrees during the high posture of the push-up, and The angle of both elbows is less than 90 degrees in the low position of the push-up, (2) the distance between the wrists and the shoulders in the low position of the push-up is less than half the distance between the wrists and the shoulders in the high position, and (3) In the process of moving from high to low and from low to high between push-ups, the difference between the angles of the elbows is maintained below 30 degrees so that the angles of the elbows are balanced, and (4) the lateral waist during push-ups. When the angle of is maintained at 150 degrees or more, and (5) when both knees are maintained at 150 degrees or more during push-up, it is evaluated as a normal push-up state, and the criteria of (1) to (5) above If even one of the values is not satisfied, it is judged as an abnormal push-up state.

이하, 본 발명에 따른 실시 예를 도면에 따라서 설명한다.Hereinafter, an embodiment according to the present invention will be described with reference to the drawings.

도 1은 본 발명에 따른 영상기반 지능형 푸시-업 판별 시스템의 블록도 이다.1 is a block diagram of an image-based intelligent push-up discrimination system according to the present invention.

본 발명에 따른 영상기반 지능형 푸시-업 판별 시스템은 도 1에 도시된 바와 같이, 피측정자의 푸시-업 상태를 촬영하여 이미지 데이터를 수집하는 이미지 수집 모듈(100), 상기 이미지 수집 모듈(100)에서 수집된 이미지 데이터에 대해 오픈포즈(Openpose) 기반의 알고리즘으로 피측정자의 18개 관절에 대한 위치 정보를 추정하는 포즈 추정 모듈(200), 상기 포즈 추정 모듈(200)에서 추정된 피측정자의 관절에 대한 위치 정보에 따라 실시간으로 정상 푸시-업 상태 또는 비정상 푸시-업 상태를 평가하는 자세 특징 평가 모듈(300), 상기 자세 특징 평가 모듈(300)에서 정상 푸시-업 상태로 평가되면, 푸시-업 횟수를 계수하는 푸시-업 계수 모듈(400), 상기 자세 특징 평가 모듈(300)에서 정상 푸시-업 상태 또는 비정상 푸시-업 상태로 평가된 경우 각각에 대해 실시간으로 서로 다른 경보음을 출력하는 경보음 출력 모듈(500)을 포함한다.As shown in FIG. 1, the image-based intelligent push-up determination system according to the present invention is an image collection module 100 that collects image data by photographing a push-up state of a subject, the image collection module 100 The pose estimation module 200 for estimating position information on 18 joints of the subject with an open pose-based algorithm with respect to the image data collected in Posture feature evaluation module 300 that evaluates a normal push-up state or an abnormal push-up state in real time according to location information on Push-up counting module 400 for counting the number of ups, outputting different alarm sounds in real time for each when evaluated as a normal push-up state or an abnormal push-up state in the posture characteristic evaluation module 300 and an alarm sound output module 500 .

상기 이미지 수집 모듈(100)은 도 2에 도시된 바와 같이, 적어도 하나의 카메라를 통해 촬영한 영상을 사용한다. 도 2는 도 1에 도시된 이미지 수집 모듈에서 촬영된 피측정자의 정면 사진이다. 상기 이미지 수집 모듈(100)은 팔굽혀펴기를 시도하고 있는 사람인 피측정자의 정면, 측면(90도), 정측면(45도)과 같은 다양한 카메라 각도를 잡고 촬영하며, 특정 카메라에 한정되는 것은 아니다. 예를 들어, 피측정자의 팔굽혀펴기 동작에 대한 이미지를 수집하기 위해 두 대의 카메라로 피측정자의 머리, 가슴, 어깨, 팔꿈치, 손목, 허리, 무릎 및 발을 포착하도록 배치하여 이미지를 수집할 수 있다.As shown in FIG. 2 , the image collection module 100 uses an image captured by at least one camera. FIG. 2 is a frontal photograph of a subject taken by the image collection module shown in FIG. 1 . The image collection module 100 captures various camera angles such as the front, side (90 degrees), and frontal (45 degrees) of the subject who is a person who is trying to do push-ups, and is not limited to a specific camera . For example, to collect images of the subject's push-up movements, the images could be acquired by placing two cameras to capture the subject's head, chest, shoulders, elbows, wrists, waist, knees, and feet. have.

상기 포즈 추정 모듈(200)은 예를 들어 도 3 및 도 4에 도시된 바와 같이, 오픈 포즈 기반의 알고리즘으로 사람의 18개의 관절을 검출한다. The pose estimation module 200 detects 18 joints of a person using an open pose-based algorithm, for example, as shown in FIGS. 3 and 4 .

도 3은 도 2에 도시된 피측정자에 대해 포즈 추정 모듈에서 관절을 선으로 연결한 상태를 설명하기 위한 사진이고, 도 4는 본 발명에 따른 영상기반 지능형 푸시-업 판별 시스템에서 피측정자의 푸시-업을 판별하기 위한 상태를 나타내는 사진이다.3 is a photograph for explaining a state in which joints are connected with lines in the pose estimation module for the subject shown in FIG. 2, and FIG. 4 is a push-up of the subject in the image-based intelligent push-up determination system according to the present invention - It is a photograph that shows the state for determining the up.

또 오픈포즈는 멀티 GPU 기반 딥러닝을 사용하여 다수의 피측정자의 자세를 실시간으로 감지하고 인체의 움직임을 분석하는 관절검출 인공지능 알고리즘으로서, 검출되는 관절은 코, 목, 오른쪽어깨, 오른쪽팔꿈치, 오른쪽손목, 왼쪽어깨, 왼쪽팔꿈치, 왼쪽손목, 오른쪽엉덩이, 오른쪽무릎, 오른쪽발목, 왼쪽엉덩이, 왼쪽무릎, 왼쪽발목, 오른쪽눈, 왼쪽눈, 오른쪽귀, 왼쪽귀 총 18개이다. 이렇게 관절이 검출했을 경우 각 관절에 대한 좌표 정보를 알 수 있습니다. In addition, Open Pose is a joint detection artificial intelligence algorithm that uses multi-GPU-based deep learning to detect the postures of multiple subjects in real time and analyze the movements of the human body. The detected joints are nose, neck, right shoulder, right elbow, Right wrist, left shoulder, left elbow, left wrist, right hip, right knee, right ankle, left hip, left knee, left ankle, right eye, left eye, right ear, left ear total 18 pieces. When a joint is detected in this way, coordinate information for each joint can be known.

본 발명에서는 도 4에 도시된 바와 같이, 피측정자의 푸시-업 상태를 정면, 측면, 정측면에서 촬영하여 해당 18개의 관절을 17개의 선으로 연결하여 피측정자의의 포즈를 추정한다. 즉, 18개의 관절과 17개 선의 영상 속에서의 위치(x, y 좌표) 정보를 추출한다.In the present invention, as shown in FIG. 4 , the pose of the subject is estimated by photographing the push-up state of the subject from the front, side, and front side, and connecting the corresponding 18 joints with 17 lines. That is, location (x, y coordinates) information in the images of 18 joints and 17 lines is extracted.

상기 자세 특징 평가 모듈(300)은 포즈 추정 모듈(200)에서 검출된 18개의 관절에 대한 좌표 정보를 이용하여 특정한 동작을 수행시 이 동작이 푸시-업을 수행 중인지 평가한다. The posture characteristic evaluation module 300 evaluates whether a push-up is being performed when a specific motion is performed using coordinate information on 18 joints detected by the pose estimation module 200 .

상기 자세 특징 평가 모듈(300)은 포즈 추정 모듈(200)에서 추출된 각 관절에 대한 영상 속의 좌표 정보를 딥러닝 입력 데이터로 사용한다. 따라서, 이미지 수집 모듈(100)의 카메라에서 촬영된 매 프레임에 대해 실시간으로 푸시-업(팔굽혀펴기) 수행여부를 판단한다.The posture feature evaluation module 300 uses the coordinate information in the image for each joint extracted from the pose estimation module 200 as deep learning input data. Accordingly, it is determined whether push-up (push-up) is performed in real time for every frame captured by the camera of the image collection module 100 .

예를 들어, 본 발명의 자세 특징 평가 모듈(300)은 육군 체력검증의 팔굽혀펴기 기준을 기초로 하여 정상 푸시-업 상태 또는 비정상 푸시-업 상태의 측정기준을 다음과 같이 적용한다.For example, the posture characteristic evaluation module 300 of the present invention applies the measurement criteria of the normal push-up state or the abnormal push-up state as follows based on the push-up criterion of the army physical examination.

즉, 자세 특징 평가 모듈(300)에서 정상 푸시-업 상태의 경우는 (1) 푸시-업의 높은 자세 시 두 팔꿈치의 각도가 모두 150~180도를 유지하고, 푸시-업의 낮은 자세 시 두 팔꿈치의 각도가 모두 90도 이하이고, (2) 푸시-업의 낮은 자세의 양 손목과 어깨의 거리가 높은 자세의 양 손목과 어깨의 거리의 반 이하이고, (3) 푸시-업 간 높은 자세에서 낮은 자세로 그리고 낮은 자세에서 높은 자세로 움직이는 과정에서 양 팔꿈치의 각도가 균형을 잡도록 양 팔꿈치의 각도 차이가 30도 이하로 유지되고, (4) 푸시-업 시 측면 허리의 각도가 150도 이상으로 유지되고, (5) 푸시-업 시 양 무릎의 각도가 모두 150도 이상으로 유지되는 경우의 기준에만 정상 푸시-업의 상태로 평가하고, 상술한 기준 (1) 내지 (5)의 어느 하나라도 만족하지 못할 시 비정상적인 푸시-업의 상태로 판단한다.That is, in the case of the normal push-up state in the posture characteristic evaluation module 300, (1) both elbows maintain 150-180 degrees in the high posture of the push-up, and both elbows in the low posture of the push-up The elbow angles are all less than 90 degrees, (2) the distance between the wrists and shoulders in the low posture of the push-up is less than half the distance between the wrists and the shoulders in the high posture, and (3) the height between the push-ups In the process of moving from low position to high position, the difference between the angles of the elbows is kept below 30 degrees so that the angles of the elbows are balanced, and (4) the angle of the lateral waist is more than 150 degrees during push-up. (5) is evaluated as a normal push-up state only when the angle of both knees is maintained at 150 degrees or more during the push-up, and any one of the above-mentioned criteria (1) to (5) Even if it is not satisfied, it is judged as an abnormal push-up state.

상기 자세 특징 평가 모듈(300)은 예를 들어, 도 5에 도시된 바와 같은 기준 자세에 따라 정상 푸시-업 상태 및 비정상 푸시-업 상태의 평가를 실행한다. 도 5는 정상 푸시-업 상태 및 비정상 푸시-업 상태의 평가의 일 예를 나타내는 도면이다. 도 5의 (a)는 정면에서 가장 높은 수준의 자세, 도 5의 (b)는 전면에서 가장 낮은 수준의 자세, 도 5의 (c)는 측면에서 가장 높은 수준의 자세, 도 5의 (d)는 측면에서 가장 낮은 수준의 자세를 나타내며, 도 5의 (a) 내지 (d)에 대해 자세 특징 평가 모듈(300)은 피측정자의 정상 푸시-업 상태로 판단한다. The posture characteristic evaluation module 300 evaluates, for example, a normal push-up state and an abnormal push-up state according to a reference posture as shown in FIG. 5 . 5 is a diagram illustrating an example of evaluation of a normal push-up state and an abnormal push-up state. Figure 5 (a) is the highest level posture from the front, Fig. 5 (b) is the lowest level posture from the front, Fig. 5 (c) is the highest level posture from the side, Fig. 5 (d) ) represents the lowest level of posture in the side, and the posture characteristic evaluation module 300 determines the normal push-up state of the subject with respect to FIGS. 5 (a) to (d).

한편, 도 5의 (e)는 양쪽 팔꿈치의 각도를 만족시킬 수 없는 잘못된 자세, 도 5의 (f)는 양쪽 어깨의 균형이 맞지 않는 잘못된 자세, 도 5의 (g)는 허리가 올라가고 무릎이 측면으로 구부러진 잘못된 자세, 도 5의 (h)는 허리가 내려간 잘못된 자세를 나타내며, 도 5의 (e) 내지 (h)에 대해 자세 특징 평가 모듈(300)은 피측정자의 비정상 푸시-업 상태로 판단한다. On the other hand, Fig. 5 (e) is an incorrect posture that cannot satisfy the angle of both elbows, Fig. 5 (f) is an incorrect posture in which both shoulders are not balanced, and Fig. 5 (g) is a waist up and knees bent. Incorrect posture bent to the side, (h) of FIG. 5 shows an incorrect posture in which the waist is lowered, and the posture characteristic evaluation module 300 of FIGS. judge

이러한 기준을 적용하기 위해 파라미터 분류 모델을 마련한다. To apply these criteria, a parameter classification model is prepared.

상기 기준 (1)로서, 팔꿈치 각도 θei는 하기 (1)에 기술된 코사인 법칙을 적용하여 측정할 수 있다. As the reference (1) above, the elbow angle θ ei can be measured by applying the cosine law described in (1) below.

Figure pat00001
.....(1)
Figure pat00001
.....(One)

손목-팔꿈치의 거리 dwei, 팔꿈치-어깨의 거리 desi 및 어깨-손목의 거리 dswi는 하기 식 (2)-(4)와 같이 손목의 직교 좌표(xwi, ywi), 팔꿈치의 직교 좌표(xei, yei) 및 어깨의 직교 좌표(xsi, ysi)를 사용하여 계산된다.The wrist-elbow distance d wei , the elbow-shoulder distance d esi , and the shoulder-wrist distance d swi are the Cartesian coordinates of the wrist (x wi , y wi ), the orthogonal to the elbow, as shown in Equations (2)-(4) below. It is calculated using the coordinates (x ei , y ei ) and the Cartesian coordinates of the shoulder (x si , y si ).

Figure pat00002
.....(2)
Figure pat00002
.....(2)

Figure pat00003
.....(3)
Figure pat00003
.....(3)

Figure pat00004
......(4)
Figure pat00004
......(4)

상기 기준 (2)로서, 양쪽 손목의 중간점과 양쪽 어깨의 중간점 사이의 거리

Figure pat00005
는 개별 신체 구조의 차이를 최소화하기 위해 고려된다. 가장 높은 수준의 거리와 가장 낮은 자세의 거리를 측정하여 두 번째 기준이 충족되는지 확인하기 위해 식 (5)의
Figure pat00006
의 비율을 계산한다.As the criterion (2) above, the distance between the midpoint of both wrists and the midpoint of both shoulders
Figure pat00005
are considered to minimize differences in individual body structures. To ensure that the second criterion is met by measuring the distance of the highest level and the distance of the lowest posture, the
Figure pat00006
Calculate the ratio of

Figure pat00007
.....(5)
Figure pat00007
.....(5)

상기 기준 (3)으로서, As the criterion (3) above,

θe0와 θe1이 측정되고, θe0와 θe1 사이의 거리가 하기 식(6)을 사용하여 균형을 측정한다.θ e0 and θ e1 are measured, and the distance between θ e0 and θ e1 measures the balance using the following equation (6).

Figure pat00008
.....(6)
Figure pat00008
.....(6)

상기 기준 (4) 및 (5)에 대해 허리와 무릎의 각도 θt와 θk이 각각 상기 (1)~(4)에서 기술된 팔꿈치 각도 θe와 유사한 방식으로 계산된다. 피측정자의 주요 신체 부위의 좌표와 각도는 도 6과 같이, 두 가지 다른 모습으로 기술될 수 있다. 도 6은 피측정자의 주요 부위의 좌표 및 각도를 설명하기 위한 도면으로서, 도 6의 (a)는 정면을 나타내고, 도 6의 (b)는 측면을 나타낸다.For the above criteria (4) and (5), the angles θ t and θ k of the waist and the knee are calculated in a similar manner to the elbow angle θ e described in (1) to (4) above, respectively. Coordinates and angles of major body parts of the subject may be described in two different ways, as shown in FIG. 6 . 6 is a view for explaining the coordinates and angles of the main part of the subject. FIG. 6 (a) is a front view, and FIG. 6 (b) is a side view.

상술한 바와 같은 기준 (1) 내지 (5)를 적용하여 피측정자의 관절 좌표 정보를 딥러닝 학습에 사용하고, 이를 통해 최종적으로 피측정자의 팔굽혀펴기가 정상적인지 비정상적인지를 판단한다.By applying the criteria (1) to (5) as described above, the joint coordinate information of the subject is used for deep learning learning, and through this, it is finally determined whether the push-ups of the subject are normal or abnormal.

도 7은 기준 (1) 내지 (5)를 적용한 피측정자의 팔굽혀펴기에서 정상 및 비정상 판단을 위한 고저 임계값을 나타내는 그래프이다.7 is a graph showing high and low thresholds for judging normal and abnormal in push-ups of a subject to which criteria (1) to (5) are applied.

상기 푸시-업 계수 모듈(400)은 자세 특징 평가 모듈(300)에서 정상 푸시-업 상태로 판단된 경우, 즉 검출된 관절 좌표 데이터를 기반으로 실시간 딥러닝 기반 추론을 통하여 정상으로 팔굽혀펴기 수행한 횟수를 계수하며, 이와 같은 계수는 음성으로 출력될 수 있다. The push-up coefficient module 400 performs push-ups normally through real-time deep learning-based inference based on the detected joint coordinate data when it is determined as a normal push-up state by the posture characteristic evaluation module 300 . The number of times is counted, and such a count may be output as a voice.

즉, 경보음 출력 모듈(500)에서 정상적인 경우 푸시-업인 경우, 푸시-업 횟수의 누적 카운트를 통지하는 것에 의해 피측정자에게 통지할 수 있으며, 비정상적인 경우 경보음을 출력하는 것에 의해 피측정자에게 통지하여 피측정자가 정상적인 푸시-업을 수행하도록 통지할 수 있다.That is, the alarm sound output module 500 may notify the subject by notifying the accumulated count of the number of push-ups in the normal case of push-up, and in the abnormal case, notify the subject by outputting an alarm sound Thus, it is possible to notify the subject to perform a normal push-up.

다음에 본 발명에 따른 영상기반 지능형 푸시-업 판별 방법에 대해 도 8 내지 도 11에 따라 설명한다.Next, an image-based intelligent push-up determination method according to the present invention will be described with reference to FIGS. 8 to 11 .

도 8은 본 발명에 따른 영상기반 지능형 푸시-업 판별 과정을 설명하기 위한 공정도이고, 도 9는 피측정자의 푸시-업을 측정하기 위해 본 발명에 따른 포즈 추정 모듈에서 정면 측정의 상태를 캡쳐한 사진이고, 도 10은 피측정자의 푸시-업을 측정하기 위해 본 발명에 따른 포즈 추정 모듈에서 정측면 측정의 상태를 캡쳐한 사진이며, 도 11은 피측정자의 푸시-업을 측정하기 위해 본 발명에 따른 포즈 추정 모듈에서 측면 측정의 상태를 캡쳐한 사진이다.8 is a process chart for explaining the image-based intelligent push-up determination process according to the present invention, and FIG. 9 is a state of frontal measurement captured in the pose estimation module according to the present invention to measure the push-up of the subject. 10 is a photograph captured by the pose estimation module according to the present invention to measure the push-up of the subject, and FIG. 11 is a photograph of the present invention for measuring the push-up of the subject. It is a picture that captures the state of the side measurement in the pose estimation module according to

본 발명에 따른 영상기반 지능형 푸시-업 판별 방법은 먼저, 피측정자의 푸시-업 상태를 도 4에 도시된 바와 같이, 정면, 정측면, 정면에서 촬영하여 이미지 데이터를 수집한다(S10).In the image-based intelligent push-up determination method according to the present invention, first, as shown in FIG. 4 , the push-up state of the subject is photographed from the front, the front side, and the front to collect image data (S10).

다음에 상기 단계 S10에서 수집된 이미지 데이터에 대해 오픈포즈(Openpose) 기반의 알고리즘으로 피측정자의 관절, 즉 피측정자의 코, 목, 오른쪽어깨, 오른쪽팔꿈치, 오른쪽손목, 왼쪽어깨, 왼쪽팔꿈치, 왼쪽손목, 오른쪽엉덩이, 오른쪽무릎, 오른쪽발목, 왼쪽엉덩이, 왼쪽무릎, 왼쪽발목, 오른쪽눈, 왼쪽눈, 오른쪽귀, 왼쪽귀의 18개의 관절과 이 18개의 관절을 연결한 17개의 선의 이미지 속에서의 위치(x, y 좌표) 정보에 의해 피측정자의 포즈를 추정한다(S20).Next, with respect to the image data collected in step S10, the joint of the subject, that is, the subject's nose, neck, right shoulder, right elbow, right wrist, left shoulder, left elbow, left The 18 joints of the wrist, right hip, right knee, right ankle, left hip, left knee, left ankle, right eye, left eye, right ear, and left ear, and the position in the image of 17 lines connecting these 18 joints The pose of the subject is estimated based on (x, y coordinates) information (S20).

이어서, 상기 단계 S20에서 추정된 피측정자의 관절에 대한 위치 정보에 따라 도 9 내지 도 11에 도시된 바와 같이, 실시간으로 피측정자의 정면, 측면, 정측면에서 정상 푸시-업 상태 또는 비정상 푸시-업 상태를 평가한다(S30).Then, according to the position information on the joint of the subject estimated in step S20, as shown in FIGS. 9 to 11, in real time, in the front, side, and front side of the subject, the normal push-up state or the abnormal push-up- Evaluate the up state (S30).

상기 단계 S30에서 (1) 푸시-업의 높은 자세 시 두 팔꿈치의 각도가 모두 150~180도를 유지하고, 푸시-업의 낮은 자세 시 두 팔꿈치의 각도가 모두 90도 이하이고, (2) 푸시-업의 낮은 자세의 양 손목과 어깨의 거리가 높은 자세의 양 손목과 어깨의 거리의 반 이하이고, (3) 푸시-업 간 높은 자세에서 낮은 자세로 그리고 낮은 자세에서 높은 자세로 움직이는 과정에서 양 팔꿈치의 각도가 균형을 잡도록 양 팔꿈치의 각도 차이가 30도 이하로 유지되고, (4) 푸시-업 시 측면 허리의 각도가 150도 이상으로 유지되고, (5) 푸시-업 시 양 무릎의 각도가 모두 150도 이상으로 유지되는 기준의 경우에만 정상 푸시-업의 상태로 평가하며, 푸시-업 횟수를 계수한다(S40). In step S30, (1) both elbow angles are maintained at 150 to 180 degrees in the high posture of the push-up, and the angles of both elbows are less than or equal to 90 degrees in the low posture of the push-up, (2) push-up -The distance between the wrists and shoulders in the low position of the up is less than half the distance between the wrists and the shoulders in the high position, and (3) in the process of moving from a high position to a low position and from a low position to a high position between push-ups. The angle difference between the elbows is maintained below 30 degrees so that the angles of the elbows are balanced, (4) the angle of the lateral waist is maintained at 150 degrees or more during push-up, and (5) the angle of the knees is maintained at the time of push-up. Only in the case of a criterion in which all angles are maintained at 150 degrees or more, the normal push-up state is evaluated, and the number of push-ups is counted (S40).

한편, 상기 단계 S30에서 상술한 기준 (1) 내지 (5) 중의 어느 하나를 만족하지 못하는 비정상 푸시-업 상태이면, 실시간으로 경보음을 출력하므로(S50), 피측정자에 정확한 푸시-업 상태를 유도할 수 있다. On the other hand, if the abnormal push-up state does not satisfy any one of the criteria (1) to (5) described above in step S30, an alarm sound is output in real time (S50), so that the correct push-up state is provided to the subject can induce

상술한 바와 같이, 본 발명에 따른 영상기반 지능형 푸시-업 판별 방법에서는 푸시-업의 측정 과정에서 피측정자의 신체와 접촉 없이 정밀하게 푸시-업 상태를 측정할 수 있으며, 또 피측정자의 키 등의 신체 조건과 관계없이 정확하게 푸시-업을 계수할 수 있다.As described above, in the image-based intelligent push-up determination method according to the present invention, the push-up state can be precisely measured without contact with the subject's body during the push-up measurement process, and the height of the subject, etc. You can count push-ups accurately regardless of your physical condition.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.The invention made by the present inventors has been described in detail according to the above embodiments, but the present invention is not limited to the above embodiments and various modifications can be made without departing from the gist of the present invention.

본 발명에 따른 영상기반 지능형 푸시-업 판별 방법 및 푸시-업 판별 시스템을 사용하는 것에 의해 피측정자의 키 등의 신체 조건과 관계없이 정확하게 푸시-업을 측정하여 계수할 수 있다.By using the image-based intelligent push-up determination method and the push-up determination system according to the present invention, the push-up can be accurately measured and counted regardless of the body condition such as the height of the subject.

100 : 이미지 수집 모듈
200 : 포즈 추정 모듈
300 : 자세 특징 평가 모듈
400 : 푸시-업 계수 모듈
500 : 경보음 출력 모듈
100: image acquisition module
200: pose estimation module
300: Posture feature evaluation module
400: push-up counting module
500: alarm sound output module

Claims (7)

피측정자의 푸시-업 상태를 촬영하여 이미지 데이터를 수집하는 이미지 수집 모듈,
상기 이미지 수집 모듈에서 수집된 이미지 데이터에 대해 오픈포즈(Openpose) 기반의 알고리즘으로 피측정자의 18개 관절에 대한 위치 정보를 추정하는 포즈 추정 모듈,
상기 포즈 추정 모듈에서 추정된 피측정자의 관절에 대한 위치 정보에 따라 실시간으로 정상 푸시-업 상태 또는 비정상 푸시-업 상태를 평가하는 자세 특징 평가 모듈,
상기 자세 특징 평가 모듈에서 정상 푸시-업 상태로 평가되면, 푸시-업 횟수를 계수하는 푸시-업 계수 모듈을 포함하는 것을 특징으로 하는 영상기반 지능형 푸시-업 판별 시스템.
an image acquisition module that collects image data by photographing the push-up state of the subject;
A pose estimation module for estimating position information on 18 joints of a subject using an Openpose-based algorithm for the image data collected by the image collection module;
A posture characteristic evaluation module for evaluating a normal push-up state or an abnormal push-up state in real time according to the position information on the joint of the subject estimated by the pose estimation module;
The image-based intelligent push-up determination system, characterized in that it includes a push-up counting module that counts the number of push-ups when the posture characteristic evaluation module evaluates to a normal push-up state.
제1항에서,
상기 자세 특징 평가 모듈에서 정상 푸시-업 상태 또는 비정상 푸시-업 상태로 평가된 경우 각각에 대해 실시간으로 서로 다른 경보음을 출력하는 경보음 출력 모듈을 더 포함하는 것을 특징으로 하는 영상기반 지능형 푸시-업 판별 시스템.
In claim 1,
When the posture characteristic evaluation module evaluates to a normal push-up state or an abnormal push-up state, it further comprises an alarm sound output module for outputting different alarm sounds in real time for each image-based intelligent push- up discrimination system.
제1항에서,
상기 포즈 추정 모듈은 코, 목, 오른쪽어깨, 오른쪽팔꿈치, 오른쪽손목, 왼쪽어깨, 왼쪽팔꿈치, 왼쪽손목, 오른쪽엉덩이, 오른쪽무릎, 오른쪽발목, 왼쪽엉덩이, 왼쪽무릎, 왼쪽발목, 오른쪽눈, 왼쪽눈, 오른쪽귀, 왼쪽귀의 18개의 관절을 17개의 선으로 연결하여 피측정자의 포즈를 추정하는 것을 특징으로 하는 영상기반 지능형 푸시-업 판별 시스템.
In claim 1,
The pose estimation module includes nose, neck, right shoulder, right elbow, right wrist, left shoulder, left elbow, left wrist, right hip, right knee, right ankle, left hip, left knee, left ankle, right eye, left eye , an image-based intelligent push-up discrimination system, characterized in that the pose of the subject is estimated by connecting 18 joints of the right and left ears with 17 lines.
(a) 피측정자의 푸시-업 상태를 정면, 측면, 정측면에서 촬영하여 이미지 데이터를 수집하는 수집 단계,
(b) 상기 단계 (a)에서 수집된 이미지 데이터에 대해 오픈포즈(Openpose) 기반의 알고리즘으로 피측정자의 관절에 대한 위치 정보를 추정하는 추정 단계,
(c) 상기 단계 (b)에서 추정된 피측정자의 관절에 대한 위치 정보에 따라 실시간으로 정상 푸시-업 상태 또는 비정상 푸시-업 상태를 평가하는 자세 특징 평가 단계,
(d) 상기 단계 (c)에서 정상 푸시-업 상태로 평가되면, 푸시-업 횟수를 계수하는 푸시-업 계수 단계,
(e) 상기 단계 (c)에서 정상 푸시-업 상태 또는 비정상 푸시-업 상태로 평가된 경우 각각에 대해 실시간으로 서로 다른 경보음을 출력하는 경보음 출력 단계를 포함하는 것을 특징으로 하는 영상기반 지능형 푸시-업 판별 방법.
(a) a collection step of collecting image data by photographing the push-up state of the subject from the front, side, and front side;
(b) an estimation step of estimating position information on the joints of the subject using an Openpose-based algorithm with respect to the image data collected in step (a);
(c) a posture characteristic evaluation step of evaluating the normal push-up state or the abnormal push-up state in real time according to the position information on the joint of the subject estimated in step (b);
(d) a push-up counting step of counting the number of push-ups if the normal push-up state is evaluated in step (c);
(e) when the normal push-up state or the abnormal push-up state is evaluated in step (c), an alarm sound output step of outputting different alarm sounds in real time for each image-based intelligent Push-up discrimination method.
제4항에서,
상기 단계 (b)에서 위치 정보의 추정은 코, 목, 오른쪽어깨, 오른쪽팔꿈치, 오른쪽손목, 왼쪽어깨, 왼쪽팔꿈치, 왼쪽손목, 오른쪽엉덩이, 오른쪽무릎, 오른쪽발목, 왼쪽엉덩이, 왼쪽무릎, 왼쪽발목, 오른쪽눈, 왼쪽눈, 오른쪽귀, 왼쪽귀의 18개의 관절과 이 18개의 관절을 연결한 17개의 선의 이미지 속에서의 위치(x, y 좌표) 정보에 의해 피측정자의 포즈를 추정하는 것을 특징으로 하는 영상기반 지능형 푸시-업 판별 방법.
In claim 4,
Estimation of the location information in step (b) is the nose, neck, right shoulder, right elbow, right wrist, left shoulder, left elbow, left wrist, right hip, right knee, right ankle, left hip, left knee, left ankle , characterized by estimating the pose of the subject by position (x, y coordinates) information in the image of 18 joints of the right eye, left eye, right ear, and left ear and 17 lines connecting these 18 joints. An image-based intelligent push-up identification method.
제5항에서,
상기 단계 (c)에서 자세 특징 평가는 (1) 푸시-업의 높은 자세 시 두 팔꿈치의 각도가 모두 150~180도를 유지하고, 푸시-업의 낮은 자세 시 두 팔꿈치의 각도가 모두 90도 이하이고, (2) 푸시-업의 낮은 자세의 양 손목과 어깨의 거리가 높은 자세의 양 손목과 어깨의 거리의 반 이하이고, (3) 푸시-업 간 높은 자세에서 낮은 자세로 그리고 낮은 자세에서 높은 자세로 움직이는 과정에서 양 팔꿈치의 각도가 균형을 잡도록 양 팔꿈치의 각도 차이가 30도 이하로 유지되고, (4) 푸시-업 시 측면 허리의 각도가 150도 이상으로 유지되고, (5) 푸시-업 시 양 무릎의 각도가 모두 150도 이상으로 유지되는 경우에만 정상 푸시-업의 상태로 평가하고, 상기 (1) 내지 (5)의 기준 중의 어느 하나를 만족하지 못할 시 비정상적인 푸시-업의 상태로 평가하는 것을 특징으로 하는 영상기반 지능형 푸시-업 판별 방법.
In claim 5,
In the evaluation of the posture characteristics in step (c), (1) the angles of both elbows are maintained at 150-180 degrees in the high posture of the push-up, and the angles of both elbows are less than 90 degrees in the low posture of the push-up. , (2) the distance between the wrists and shoulders in the low posture of the push-up is less than half the distance between the wrists and the shoulders in the high posture, and (3) between the push-ups from the high position to the low position and from the low position. The difference between the angles of the elbows is kept below 30 degrees so that the angles of the elbows are balanced in the process of moving in a high posture, (4) the angle of the lateral waist is maintained at 150 degrees or more during push-ups, (5) the push-up -A normal push-up condition is evaluated only when both knee angles are maintained at 150 degrees or more during the up, and when any one of the criteria of (1) to (5) above is not satisfied, abnormal push-up is evaluated. An image-based intelligent push-up discrimination method, characterized in that it evaluates the state.
제6항에서,
상기 단계 (b)에서 위치 정보의 추정은 정면, 측면, 정측면에서 촬영한 이미지 데이터의 병합에 의해 추정되는 것을 특징으로 하는 영상기반 지능형 푸시-업 판별 방법.
In claim 6,
The image-based intelligent push-up determination method, characterized in that the estimation of the location information in step (b) is estimated by merging image data taken from the front, side, and front side.
KR1020200034763A 2020-03-23 2020-03-23 Image-based intelligent push-up discrimination method and system KR102369359B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200034763A KR102369359B1 (en) 2020-03-23 2020-03-23 Image-based intelligent push-up discrimination method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200034763A KR102369359B1 (en) 2020-03-23 2020-03-23 Image-based intelligent push-up discrimination method and system

Publications (2)

Publication Number Publication Date
KR20210118496A true KR20210118496A (en) 2021-10-01
KR102369359B1 KR102369359B1 (en) 2022-03-02

Family

ID=78609817

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200034763A KR102369359B1 (en) 2020-03-23 2020-03-23 Image-based intelligent push-up discrimination method and system

Country Status (1)

Country Link
KR (1) KR102369359B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581953A (en) * 2022-03-14 2022-06-03 北京科技大学 Human body posture estimation method based on joint point hard case mining
CN115019399A (en) * 2022-06-24 2022-09-06 北京工业大学 Human body posture detection method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200346479Y1 (en) 2004-01-12 2004-03-31 (주)누리텍 아이엔씨 Push-up measurement apparatus with image data comparison
KR101269561B1 (en) 2011-11-30 2013-06-04 주식회사 바이오스페이스 Apparatus and system for counting push-up using ultrasonic wave
KR20160096473A (en) * 2015-02-05 2016-08-16 한국전자통신연구원 System and method for motion evaluation
KR102031878B1 (en) 2017-08-31 2019-11-08 김현욱 Apparatus for measuring push-up

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200346479Y1 (en) 2004-01-12 2004-03-31 (주)누리텍 아이엔씨 Push-up measurement apparatus with image data comparison
KR101269561B1 (en) 2011-11-30 2013-06-04 주식회사 바이오스페이스 Apparatus and system for counting push-up using ultrasonic wave
KR20160096473A (en) * 2015-02-05 2016-08-16 한국전자통신연구원 System and method for motion evaluation
KR102031878B1 (en) 2017-08-31 2019-11-08 김현욱 Apparatus for measuring push-up

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581953A (en) * 2022-03-14 2022-06-03 北京科技大学 Human body posture estimation method based on joint point hard case mining
CN115019399A (en) * 2022-06-24 2022-09-06 北京工业大学 Human body posture detection method

Also Published As

Publication number Publication date
KR102369359B1 (en) 2022-03-02

Similar Documents

Publication Publication Date Title
CN111368810B (en) Sit-up detection system and method based on human body and skeleton key point identification
Yan et al. Development of ergonomic posture recognition technique based on 2D ordinary camera for construction hazard prevention through view-invariant features in 2D skeleton motion
CN105636505B (en) For obtaining the device and method of the vital sign of object
Zhang et al. A viewpoint-independent statistical method for fall detection
KR102369359B1 (en) Image-based intelligent push-up discrimination method and system
KR20120017948A (en) Rehabilitation device using motion analysis based on motion capture and method thereof
CN111012353A (en) Height detection method based on face key point recognition
Park et al. Imagery based parametric classification of correct and incorrect motion for push-up counter using OpenPose
KR101446653B1 (en) Health and rehabilitation game apparatus, system and game method
JP2000251078A (en) Method and device for estimating three-dimensional posture of person, and method and device for estimating position of elbow of person
CN113856186B (en) Pull-up action judging and counting method, system and device
CN114973401A (en) Standardized pull-up assessment method based on motion detection and multi-mode learning
CN114998986A (en) Computer vision-based pull-up action specification intelligent identification method and system
KR102001722B1 (en) Apparatus and monitoring method for scoliosis diagnosis
CN111883229A (en) Intelligent movement guidance method and system based on visual AI
CN109558824B (en) Fitness action monitoring and analyzing system based on personnel image recognition
KR20160035497A (en) Body analysis system based on motion analysis using skeleton information
CN115331304A (en) Running identification method
JP6525180B1 (en) Target number identification device
CN117333932A (en) Method, equipment and medium for identifying sarcopenia based on machine vision
CN116189301A (en) Standing long jump motion standardability assessment method based on attitude estimation
CN115568823A (en) Method, system and device for evaluating human body balance ability
KR20230042779A (en) Image-based intelligent push-up diagnosis method and push-up diagnosis system
JP7459658B2 (en) Physical ability presentation method and physical ability presentation device
Hakim et al. 3D Human Pose Estimation Using Blazepose and Direct Linear Transform (DLT) for Joint Angle Measurement

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant