KR20200056233A - A motion accuracy judgment system using artificial intelligence posture analysis technology based on single camera - Google Patents

A motion accuracy judgment system using artificial intelligence posture analysis technology based on single camera Download PDF

Info

Publication number
KR20200056233A
KR20200056233A KR1020180140296A KR20180140296A KR20200056233A KR 20200056233 A KR20200056233 A KR 20200056233A KR 1020180140296 A KR1020180140296 A KR 1020180140296A KR 20180140296 A KR20180140296 A KR 20180140296A KR 20200056233 A KR20200056233 A KR 20200056233A
Authority
KR
South Korea
Prior art keywords
motion
accuracy
single camera
user
exercise
Prior art date
Application number
KR1020180140296A
Other languages
Korean (ko)
Inventor
백상엽
박종윤
김종현
박순우
이재용
Original Assignee
주식회사 퓨전소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 퓨전소프트 filed Critical 주식회사 퓨전소프트
Priority to KR1020180140296A priority Critical patent/KR20200056233A/en
Publication of KR20200056233A publication Critical patent/KR20200056233A/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Dentistry (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a motion accuracy determination system using a single camera-based artificial intelligence posture analysis technology. The motion accuracy determination system comprises: a single camera (110) which photographs a user′s exercise motion and provides image data of the photographed exercise motion; a skeleton data extraction unit (120); a motion posture measurement unit (130); and a determination processing control unit (140). According to the present invention, the accuracy of a motion posture can be automatically determined.

Description

단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템{A MOTION ACCURACY JUDGMENT SYSTEM USING ARTIFICIAL INTELLIGENCE POSTURE ANALYSIS TECHNOLOGY BASED ON SINGLE CAMERA}A motion accuracy determination system using a single camera-based AI attitude analysis technology {A MOTION ACCURACY JUDGMENT SYSTEM USING ARTIFICIAL INTELLIGENCE POSTURE ANALYSIS TECHNOLOGY BASED ON SINGLE CAMERA}

본 발명은 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템에 관한 것으로서, 보다 구체적으로는 피트니스, 역도, 태권도와 같은 운동 종목 사용자의 동작을 측정하여 동작 자세의 정확도를 자동으로 판정할 수 있도록 하는, 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템에 관한 것이다.The present invention relates to a motion accuracy determination system using a single camera-based artificial intelligence posture analysis technology, and more specifically, to determine the accuracy of the motion posture automatically by measuring the motion of a user of an exercise such as fitness, weightlifting, and taekwondo. It relates to a motion accuracy determination system using a single camera-based artificial intelligence attitude analysis technology.

최근 들어 현대인은 신체 활동이 감소하면서 운동 부족으로 인해 비만과 같은 성인병이 증가하고 있다. 이에 따라 신체 건강을 유지하기 위해 피트니스(Fitness)에 대한 관심이 증가하는 추세이다. 이와 같은 피지컬 피트니스(Physical Fitness) 또는 피트니스(Fitness)는 밸런스가 잡힌 건강한 신체를 만들어내는 일, 또는 그것을 위한 운동을 말한다. 이러한 피트니스는 전문장비가 구비된 피트니스 센터에서 전문 트레이너의 개인 지도(Personal Training)를 통해 이루어지게 되나, 바쁜 일상 때문에 피트니스 센터에 찾아가 정기적으로 전문 트레이너의 지도를 받기 어렵고, 비싼 강습료로 인해 피트니스를 지속하기가 매우 어려운 실정이다.
In recent years, as physical activity decreases, adult diseases such as obesity are increasing due to lack of exercise. Accordingly, in order to maintain physical health, interest in fitness is increasing. Such physical fitness or fitness refers to the work of creating a well-balanced healthy body, or exercising for it. This fitness is achieved through the professional trainer's personal training in a fitness center equipped with specialized equipment, but due to busy daily life, it is difficult to go to the fitness center and receive regular guidance from a professional trainer. It is very difficult to do.

위와 같은 어려움 때문에 스마트 디바이스(Smart Device)를 이용하여 전문 트레이너 없이 가정에서 사용자가 혼자 운동을 할 수 있는 스마트 피트니스(Smart Fitness)가 도입되고 있으나, 일괄적으로 정해진 피트니스 코스를 수행하게 되므로 실질적인 운동 효과를 보기 어렵고, 잘못된 자세의 운동으로 인해 오히려 부상을 초래할 수 있으며, 사용자가 피트니스를 중도에 쉽게 포기해버리는 경우가 많은 문제점이 있었다. 이와 관련한 선행기술 문헌으로 한국 공개특허 제10-2011-0112523호가 제시된 바 있다.
Due to the above difficulties, smart fitness is being introduced that allows users to exercise alone at home without a professional trainer using a smart device. It is difficult to see, it may cause injury due to incorrect posture exercise, and there are many problems in which the user easily gives up fitness in the middle. Korean Patent Publication No. 10-2011-0112523 has been proposed as a related art document.

한편, 역도나 태권도와 같은 운동 종목의 경우, 올바른 동작의 자세로 반복적인 동작 연습이 필요하고, 코치나 관장으로부터 올바른 동작에 대한 정확도를 코칭 받게 된다. 또한, 역도 시합이나 품새 승급을 심사받는 경우 복수의 심판들로부터 직접 판정받게 된다. 이러한 동작의 정확도 판단은 복수의 심판들로부터 합의를 통해 판정받게 되는바, 이는 사람마다 정확도를 판단하는 기준이 서로 상이할 수 있는 문제를 줄이기 위한 방안이다.
On the other hand, in the case of an exercise such as weightlifting or taekwondo, it is necessary to practice repetitive motion with correct posture, and coaching or correcting the correctness of correct motion from the director. In addition, if a weightlifting match or poomsae promotion is judged, it will be directly judged by a plurality of judges. The determination of the accuracy of such an operation is determined through consensus from a plurality of judges, which is a method for reducing the problem that the criteria for determining the accuracy of each person may be different from each other.

이에 본 출원인은 피트니스, 역도, 태권도의 운동 종목과 같이 운동 동작의 정확도를 자동으로 판정할 수 있는 방안을 제시하고자 한다.Accordingly, the present applicant intends to propose a method for automatically determining the accuracy of exercise motions, such as fitness, weightlifting, and Taekwondo sports.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 피트니스, 역도, 태권도와 같은 운동 종목 사용자의 동작을 측정하여 동작 자세의 정확도를 자동으로 판정할 수 있도록 구성함으로써, 올바르지 않은 동작 자세로 인해 운동 중 발생될 수 있는 부상 방지는 물론, 역도 시합이나 태권도 품새의 승급에 활용될 수 있도록 하는, 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템을 제공하는 것을 그 목적으로 한다.
The present invention is proposed to solve the above problems of the previously proposed methods, and configured to measure the motion of a user of an exercise such as fitness, weightlifting, and taekwondo to automatically determine the accuracy of the motion posture, Providing a motion accuracy determination system using a single camera-based artificial intelligence attitude analysis technology that can be used for weightlifting matches or upgrades of Taekwondo Poomsae, as well as preventing injuries that may occur during exercise due to incorrect movement postures For that purpose.

또한, 본 발명은, 동작 자세의 정확도를 자동으로 판정하되, 동작의 정확도를 확률로 표현하여 제공함으로써, 역도나 태권도의 운동 종목과 같은 시합이나 승급 심사 시에 공정한 심사가 가능하고, 그에 따른 불필요한 시시비비의 발생이 최소화될 수 있도록 하는, 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention, by automatically determining the accuracy of the movement posture, by providing the accuracy of the motion expressed as a probability, it is possible to perform a fair examination during a match or upgrade examination, such as weightlifting or Taekwondo sports, unnecessary unnecessary Another object is to provide a motion accuracy determination system using a single camera-based artificial intelligence attitude analysis technology, which enables the occurrence of the sibibi ratio to be minimized.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템은,Motion accuracy determination system using a single camera-based artificial intelligence attitude analysis technology according to the features of the present invention for achieving the above object,

단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템으로서,As a motion accuracy determination system using a single camera-based AI attitude analysis technology,

운동 종목 사용자의 운동 동작을 촬영하고, 촬영되는 운동 동작의 영상 데이터를 제공하는 단일 카메라;A single camera that photographs an exercise motion of a user of an exercise event and provides image data of the motion motion to be photographed;

상기 단일 카메라로부터 촬영되어 제공되는 운동 동작의 영상 데이터로부터 운동 종목 사용자의 스켈레톤 데이터를 추출하는 스켈레톤 데이터 추출부;A skeleton data extracting unit that extracts skeleton data of a user of an athletic event from image data of an exercise motion photographed and provided from the single camera;

상기 스켈레톤 데이터 추출부로부터 스켈레톤 데이터를 제공받고, 상기 스켈레톤 데이터와 미리 설정된 기준 동작 데이터를 비교하여 동작의 정확도를 측정하는 동작 자세 측정부; 및A motion posture measuring unit receiving skeleton data from the skeleton data extracting unit, and comparing the skeleton data with preset reference motion data to measure accuracy of motion; And

상기 동작 자세 측정부의 측정된 동작의 정확도를 기초로 운동 종목 사용자의 동작 정확도를 판정하고, 그 판정 결과를 제공하는 판정 처리 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
It is characterized in that it comprises a determination processing control unit for determining the movement accuracy of the user of the athletic event based on the accuracy of the measured movement of the movement posture measurement unit and providing the determination result.

바람직하게는, 상기 단일 카메라는,Preferably, the single camera,

비접촉식 ToF(Time-of-Flight) 방식의 깊이 카메라 또는 RGB 카메라로 구성될 수 있다.
It may be composed of a non-contact time-of-flight (ToF) depth camera or an RGB camera.

더욱 바람직하게는, 상기 단일 카메라는,More preferably, the single camera,

운동 종목 사용자와 카메라 간의 각도가 45도에서 90도의 촬영범위를 유지하도록 설치될 수 있다.
The angle between the user of the sports event and the camera may be installed to maintain a shooting range of 45 to 90 degrees.

바람직하게는, 상기 스켈레톤 데이터 추출부는,Preferably, the skeleton data extraction unit,

상기 단일 카메라로부터 제공되는 운동 동작의 영상 데이터로부터 운동 종목 사용자의 운동 동작을 검출하고, 검출된 운동 동작으로부터 골격을 기반으로 하는 관절과 뼈로 구성되는 2D와 3D의 스켈레톤 데이터를 추출할 수 있다.
It is possible to detect an exercise event of a user of an exercise item from the image data of the exercise motion provided from the single camera, and extract 2D and 3D skeleton data composed of bones and joints based on a skeleton from the detected motion motion.

바람직하게는, 상기 동작 자세 측정부는,Preferably, the operation posture measuring unit,

상기 스켈레톤 데이터 추출부로부터 추출된 스켈레톤 데이터를 이용하여 운동 종목 사용자의 동작을 분석하고, 분석된 운동 종목 사용자의 동작과 미리 설정된 기준 동작을 비교하여 동작의 정확도를 측정할 수 있다.
Using the skeleton data extracted from the skeleton data extracting unit, the motion of the user of the exercise event may be analyzed, and the motion of the user of the exercise event may be compared with a preset reference motion to measure the accuracy of the motion.

더욱 바람직하게는, 상기 동작의 정확도는,More preferably, the accuracy of the operation,

운동 종목 사용자의 올바른 자세 확률과, 오류 자세 확률로 표현될 수 있다.
It can be expressed as a correct posture probability and an error posture probability of a user of an exercise event.

더욱 더 바람직하게는, 상기 판정 처리 제어부는,Even more preferably, the determination processing control unit,

상기 동작 자세 측정부의 측정된 동작의 정확도를 기초로 운동 종목 사용자의 동작 정확도를 판정하고, 그 판정 결과를 제공하되, 정확도 판정 근거 데이터를 저장 관리할 수 있다.
Based on the accuracy of the measured motion of the motion posture measurement unit, the motion accuracy of the user of the exercise event is determined, and the result of the determination is provided, but the accuracy judgment based data may be stored and managed.

더더욱 바람직하게는, 상기 판정 처리 제어부는,Even more preferably, the determination processing control unit,

상기 정확도 판정 근거 데이터를 저장 관리하되, 판정 처리 확인의 이벤트 요청 시에 해당 정확도 판정 근거 데이터를 슬로우 모션 기능으로 조회하여 제공할 수 있다.The accuracy determination rationale data may be stored and managed, but when the event of the determination processing confirmation is requested, the accuracy determination rationale data may be searched and provided through a slow motion function.

본 발명에서 제안하고 있는 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템에 따르면, 피트니스, 역도, 태권도와 같은 운동 종목 사용자의 동작을 측정하여 동작 자세의 정확도를 자동으로 판정할 수 있도록 구성함으로써, 올바르지 않은 동작 자세로 인해 운동 중 발생될 수 있는 부상 방지는 물론, 역도 시합이나 태권도 품새의 승급에 활용될 수 있도록 할 수 있다.
According to the motion accuracy determination system using the single camera-based artificial intelligence posture analysis technology proposed in the present invention, it is possible to automatically determine the accuracy of the motion posture by measuring the motion of a user of an exercise such as fitness, weightlifting, and taekwondo. By configuring, it is possible to prevent injuries that may occur during exercise due to an incorrect posture of movement, and also to be used for weightlifting competitions or upgrades of Taekwondo poomsae.

또한, 본 발명에서 제안하고 있는 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템에 따르면, 동작 자세의 정확도를 자동으로 판정하되, 동작의 정확도를 확률로 표현하여 제공함으로써, 역도나 태권도의 운동 종목과 같은 시합이나 승급 심사 시에 공정한 심사가 가능하고, 그에 따른 불필요한 시시비비의 발생이 최소화될 수 있도록 할 수 있다.In addition, according to the motion accuracy determination system using the single camera-based artificial intelligence attitude analysis technology proposed in the present invention, the accuracy of the motion attitude is automatically determined, and the accuracy of the motion is expressed as a probability to provide weightlifting or taekwondo. It is possible to conduct fair examinations during competitions or upgrade examinations, such as sports events, and to minimize the occurrence of unnecessary expense ratios.

도 1은 본 발명의 일실시예에 따른 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템의 구성을 기능블록으로 도시한 도면.
도 2는 본 발명의 일실시예에 따른 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템의 단일 카메라의 설치 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템의 스켈레톤 데이터 추출부에서 운동 종목 사용자의 스켈레톤 데이터를 추출하는 일례를 도시한 도면.
도 4는 본 발명의 일실시예에 따른 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템의 스켈레톤 데이터 추출부에서 운동 종목 사용자의 동작으로부터 2D와 3D의 스켈레톤 데이터의 추출 과정의 일례를 도시한 도면.
도 5는 본 발명의 일실시예에 따른 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템의 운동 종목의 일례를 도시한 도면.
도 6은 본 발명의 일실시예에 따른 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템의 처리 흐름 과정을 도시한 도면.1 is a diagram illustrating a configuration of a motion accuracy determination system using a single camera-based artificial intelligence attitude analysis technology according to an embodiment of the present invention as a functional block.
Figure 2 is a view showing the installation configuration of a single camera of the motion accuracy determination system using a single camera-based artificial intelligence attitude analysis technology according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating an example of extracting skeleton data of an exercise user from a skeleton data extraction unit of a motion accuracy determination system using a single camera-based artificial intelligence attitude analysis technology according to an embodiment of the present invention.
4 is an example of a process of extracting 2D and 3D skeleton data from a motion of a user of an exercise in a skeleton data extraction unit of a motion accuracy determination system using a single camera-based artificial intelligence attitude analysis technology according to an embodiment of the present invention. Drawing shown.
5 is a diagram illustrating an example of an exercise item of a motion accuracy determination system using a single camera-based artificial intelligence attitude analysis technique according to an embodiment of the present invention.
6 is a diagram illustrating a process flow of a motion accuracy determination system using a single camera-based artificial intelligence attitude analysis technique according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, preferred embodiments will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains can easily implement the present invention. However, in the detailed description of a preferred embodiment of the present invention, when it is determined that a detailed description of related known functions or configurations may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is said to be 'connected' to another part, it is not only 'directly connected', but also 'indirectly connected' with other elements in between. Includes. In addition, "including" a component means that other components may be further included instead of excluding other components, unless otherwise stated.

도 1은 본 발명의 일실시예에 따른 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템의 구성을 기능블록으로 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템의 단일 카메라의 설치 구성을 도시한 도면이며, 도 3은 본 발명의 일실시예에 따른 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템의 스켈레톤 데이터 추출부에서 운동 종목 사용자의 스켈레톤 데이터를 추출하는 일례를 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템의 스켈레톤 데이터 추출부에서 운동 종목 사용자의 동작으로부터 2D와 3D의 스켈레톤 데이터의 추출 과정의 일례를 도시한 도면이다. 도 1 내지 도 4에 각각 도시된 바와 같이, 본 발명의 일실시예에 따른 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템(100)은, 단일 카메라(110), 스켈레톤 데이터 추출부(120), 동작 자세 측정부(130), 및 판정 처리 제어부(140)를 포함하여 구성될 수 있다.
1 is a diagram showing the configuration of a motion accuracy determination system using a single camera-based artificial intelligence attitude analysis technology according to an embodiment of the present invention as a functional block, and FIG. 2 is a single camera according to an embodiment of the present invention It is a diagram showing the installation configuration of a single camera of the motion accuracy determination system using the artificial intelligence attitude analysis technology, and FIG. 3 is a motion accuracy determination using the single camera based artificial intelligence attitude analysis technology according to an embodiment of the present invention. FIG. 4 is a diagram illustrating an example of extracting skeleton data of a user of an exercise item from the skeleton data extraction unit of the system, and FIG. 4 is a motion accuracy determination system using a single camera-based artificial intelligence attitude analysis technology according to an embodiment of the present invention. It is a diagram showing an example of a process of extracting 2D and 3D skeleton data from the motion of a user of an exercise in the skeleton data extraction unit. 1 to 4, the motion accuracy determination system 100 using a single camera-based artificial intelligence attitude analysis technology according to an embodiment of the present invention includes a single camera 110 and a skeleton data extraction unit It may be configured to include 120, the operation posture measurement unit 130, and the determination processing control unit 140.

단일 카메라(110)는, 운동 종목 사용자의 운동 동작을 촬영하고, 촬영되는 운동 동작의 영상 데이터를 제공하는 동작 감지의 구성이다. 이러한 단일 카메라(110)는 비접촉식 ToF(Time-of-Flight) 방식의 깊이 카메라 또는 RGB 카메라로 구성될 수 있다. 여기서, 단일 카메라(110)는 도 2에 도시된 바와 같이, 운동 종목 사용자와 카메라 간의 각도가 45도에서 90도의 촬영범위를 유지하도록 설치될 수 있다. 즉, 단일 카메라(110)의 설치는 운동 종목 사용자의 정면의 시선 방향과 운동 종목 사용자의 측면 방향의 90도 각도를 기준으로, 운동 종목 사용자의 시선 방향 45도에서 측면 방향의 90도 각도를 유지하도록 설치될 수 있다.
The single camera 110 is a configuration of motion detection that captures an exercise motion of a user of an exercise event and provides image data of the motion motion being photographed. The single camera 110 may be configured as a non-contact time-of-flight (ToF) depth camera or an RGB camera. Here, as shown in FIG. 2, the single camera 110 may be installed such that the angle between the user of the sports event and the camera maintains a shooting range of 45 to 90 degrees. That is, the installation of the single camera 110 maintains an angle of 90 degrees in the lateral direction from 45 degrees in the gaze direction of the user of the sports event, based on the gaze direction of the front of the user of the sports event and a 90 degree angle of the side direction of the sports event user. Can be installed.

또한, 단일 카메라(110)는 비접촉식 ToF(Time-of-Flight) 방식의 깊이 카메라는 적외선의 반사 시간 차이를 이용한 ToF(Time-of-flight) 방식의 깊이 카메라로서, 레이저나 적외선을 객체나 대상 영역에 비추어 되돌아오는 광선을 받아 시간 차이를 계산하는 ToF 방식으로 거리 정보를 계산할 수 있다. 이러한 단일 카메라(110)는 CCD 카메라 영상 화소 단위로 깊이 정보를 얻을 수 있고, 3D 객체 인식의 움직이는 객체의 실시간 깊이 정보를 모으는데 활용되는 깊이 카메라로 이해될 수 있다.
In addition, the single camera 110 is a non-contact time-of-flight (ToF) depth camera, which is a time-of-flight (ToF) depth camera using a difference in reflection time of infrared rays. Distance information may be calculated by a ToF method that receives a light beam reflected in the region and calculates a time difference. The single camera 110 may obtain depth information in units of pixels of a CCD camera image, and may be understood as a depth camera used to collect real-time depth information of a moving object in 3D object recognition.

스켈레톤 데이터 추출부(120)는, 단일 카메라(110)로부터 촬영되어 제공되는 운동 동작의 영상 데이터로부터 운동 종목 사용자의 스켈레톤 데이터를 추출하는 구성이다. 이러한 스켈레톤 데이터 추출부(120)는 도 3 및 도 4에 각각 도시된 바와 같이, 단일 카메라(110)로부터 제공되는 운동 동작의 영상 데이터로부터 운동 종목 사용자의 운동 동작을 검출하고, 검출된 운동 동작으로부터 골격을 기반으로 하는 관절과 뼈로 구성되는 2D와 3D의 스켈레톤 데이터를 추출할 수 있다.
The skeleton data extracting unit 120 is a component that extracts skeleton data of a user of an athletic event from image data of an athletic movement photographed and provided from a single camera 110. 3 and 4, the skeleton data extracting unit 120 detects an exercise motion of a user of an exercise item from image data of an exercise motion provided from a single camera 110, and detects the motion motion from the detected motion motion. Skeleton data of 2D and 3D composed of joints and bones based on a skeleton can be extracted.

도 3은 본 발명의 일실시예에 따른 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템의 스켈레톤 데이터 추출부에서 운동 종목 사용자의 스켈레톤 데이터를 추출하는 일례를 나타내고 있다. 도 3의 (a)는 운동 종목 사용자의 운동 동작에서 사용자의 골격을 인식하고, 골격을 기반으로 관절과 뼈를 추출하고, 도 3의 (b)는 운동 종목 사용자의 운동 동작에 대한 스켈레톤 데이터에서의 관절에 대한 공간상의 x, y, z값을 나타내고 있다.
Figure 3 shows an example of extracting the skeleton data of the user of the exercise item from the skeleton data extraction unit of the motion accuracy determination system using a single camera-based artificial intelligence attitude analysis technology according to an embodiment of the present invention. Figure 3 (a) recognizes the user's skeleton in the movement movement of the user of the exercise event, extracts joints and bones based on the skeleton, Figure 3 (b) is from the skeleton data for the movement movement of the user of the movement event It shows the x, y, and z values in space for the joint.

도 4는 본 발명의 일실시예에 따른 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템의 스켈레톤 데이터 추출부에서 운동 종목 사용자의 동작으로부터 2D와 3D의 스켈레톤 데이터의 추출 과정을 나타내고 있다. 도 4는 운동 종목 사용자의 피트니스 동작의 일례를 나타내고 있으며, 도 4의 (a)는 단일 카메라(110)에서 촬영을 통해 감지되는 운동 종목 사용자의 2차원의 영상 정보를 나타내고 있으며, 도 4의 (b)는 스켈레톤 데이터 추출부(120에서 운동 종목 사용자의 운동 동작에 따른 신체 주요 부위에 대한 공간상의 x, y, z값을 추출하여 3차원의 동작 데이터를 추출하는 과정을 나타내고 있다.
FIG. 4 illustrates a process of extracting 2D and 3D skeleton data from motion of a user of an exercise in a skeleton data extraction unit of a motion accuracy determination system using a single camera-based AI attitude analysis technology according to an embodiment of the present invention. . FIG. 4 shows an example of a fitness motion of an exercise user, and FIG. 4 (a) shows 2D image information of an exercise user detected through shooting on a single camera 110. b) shows a process of extracting 3D motion data by extracting x, y, and z values in space for a main body part according to the motion motion of a user of an exercise item in the skeleton data extraction unit 120.

동작 자세 측정부(130)는, 스켈레톤 데이터 추출부(120)로부터 스켈레톤 데이터를 제공받고, 스켈레톤 데이터와 미리 설정된 기준 동작 데이터를 비교하여 동작의 정확도를 측정하는 구성이다. 이러한 동작 자세 측정부(130)는 스켈레톤 데이터 추출부(120)로부터 추출된 스켈레톤 데이터를 이용하여 운동 종목 사용자의 동작을 분석하고, 분석된 운동 종목 사용자의 동작과 미리 설정된 기준 동작을 비교하여 동작의 정확도를 측정할 수 있다. 여기서, 동작의 정확도는 운동 종목 사용자의 올바른 자세 확률과, 오류 자세 확률로 표현될 수 있다. 일례를 들면, 동작의 정확도= 올바른 자세 확률 + 오류 자세1 확률 + 오류 자세2 확률 + 오류 자세3 확률로 표현이 가능하며, 그 합은 100%가 될 수 있다.
The motion posture measurement unit 130 is configured to receive skeleton data from the skeleton data extraction unit 120 and compare the skeleton data with preset reference motion data to measure the accuracy of the motion. The motion posture measuring unit 130 analyzes the motion of the user of the exercise event by using the skeleton data extracted from the skeleton data extraction unit 120, and compares the analyzed motion user's motion with a preset reference motion to determine the motion Accuracy can be measured. Here, the accuracy of the motion may be expressed as a correct posture probability and an error posture probability of a user of an exercise event. For example, the accuracy of the operation = correct posture probability + error posture 1 probability + error posture 2 probability + error posture 3 probability can be expressed, and the sum may be 100%.

판정 처리 제어부(140)는, 동작 자세 측정부(130)의 측정된 동작의 정확도를 기초로 운동 종목 사용자의 동작 정확도를 판정하고, 그 판정 결과를 제공하는 제어 구성이다. 이러한 판정 처리 제어부(140)는 동작 자세 측정부(130)의 측정된 동작의 정확도를 기초로 운동 종목 사용자의 동작 정확도를 판정하고, 그 판정 결과를 제공하되, 정확도 판정 근거 데이터를 저장 관리할 수 있다.
The determination processing control unit 140 is a control configuration that determines the motion accuracy of the user of the exercise event based on the accuracy of the measured motion of the motion posture measurement unit 130 and provides the determination result. The determination processing control unit 140 may determine the motion accuracy of the user of the exercise event based on the accuracy of the measured motion of the motion posture measurement unit 130 and provide the determination result, but may store and manage the accuracy determination basis data have.

또한, 판정 처리 제어부(140)는 정확도 판정 근거 데이터를 저장 관리하되, 판정 처리 확인의 이벤트 요청 시에 해당 정확도 판정 근거 데이터를 슬로우 모션 기능으로 조회하여 제공할 수도 있다.
In addition, the determination processing control unit 140 stores and manages the accuracy determination basis data, but may also query and provide the accuracy determination basis data in a slow motion function when requesting an event of determination processing confirmation.

이와 같이 단일 카메라(110), 스켈레톤 데이터 추출부(120), 동작 자세 측정부(130), 및 판정 처리 제어부(140)를 포함하는 본 발명의 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템(100)은 동작의 정확도를 판정받는 피트니스, 역고, 태권도와 같은 운동 종목에 적용될 수 있다. 즉, 본 발명은 운동 중 부상 방지와, 태권도의 품세 자동 측정을 통한 승급 활용, 및 역도 경기에서의 성공과 실패의 동작 판정 시스템에 활용될 수 있다.
As described above, the motion accuracy using the single camera-based artificial intelligence attitude analysis technology of the present invention including the single camera 110, the skeleton data extraction unit 120, the motion attitude measurement unit 130, and the determination processing control unit 140 The determination system 100 may be applied to an exercise event, such as fitness, weightlifting, and taekwondo, in which the accuracy of motion is determined. That is, the present invention can be applied to a system for preventing injury during exercise, utilizing the upgrade through automatic measurement of the stance of Taekwondo, and a motion determination system for success and failure in weightlifting.

도 5는 본 발명의 일실시예에 따른 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템의 운동 종목의 일례를 도시한 도면이다. 도 5의 (a)는 태권도 동작의 품새 동작을 나타내고 있으며, 도 5의 (b)는 역도의 동작을 나타내고 있다.
5 is a diagram illustrating an example of an exercise item of a motion accuracy determination system using a single camera-based artificial intelligence attitude analysis technique according to an embodiment of the present invention. Fig. 5 (a) shows the poomsae operation of the Taekwondo operation, and Fig. 5 (b) shows the operation of the weightlifting.

도 6은 본 발명의 일실시예에 따른 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템의 처리 흐름 과정을 도시한 도면이다. 도 6은 태권도 품새의 동작이 촬영되고, 촬영된 영상으로부터 스켈레톤 데이터가 추출되며, 딥 러닝으로 학습된 인공지능으로 자세가 분석되고, 이어 자세 정확도가 판정되며, 이를 토대로 동작의 부상 방지 또는 승급심사가 이루어지는 동작 처리 과정을 나타내고 있다.
6 is a diagram illustrating a process flow of a motion accuracy determination system using a single camera-based artificial intelligence attitude analysis technology according to an embodiment of the present invention. 6, the motion of the Taekwondo Poomsae is photographed, skeleton data is extracted from the captured image, posture is analyzed by artificial intelligence learned by deep learning, and posture accuracy is then determined. Shows the operation processing process.

상술한 바와 같이, 본 발명의 일실시예에 따른 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템은, 피트니스, 역도, 태권도와 같은 운동 종목 사용자의 동작을 측정하여 동작 자세의 정확도를 자동으로 판정할 수 있도록 구성함으로써, 올바르지 않은 동작 자세로 인해 운동 중 발생될 수 있는 부상 방지는 물론, 역도 시합이나 태권도 품새의 승급에 활용될 수 있도록 할 수 있으며, 특히, 동작 자세의 정확도를 자동으로 판정하되, 동작의 정확도를 확률로 표현하여 제공함으로써, 역도나 태권도의 운동 종목과 같은 시합이나 승급 심사 시에 공정한 심사가 가능하고, 그에 따른 불필요한 시시비비의 발생이 최소화될 수 있도록 할 수 있게 된다.
As described above, the motion accuracy determination system using a single camera-based artificial intelligence posture analysis technology according to an embodiment of the present invention measures the motion of a user of an exercise item such as fitness, weightlifting, and taekwondo to determine the accuracy of the motion posture. By configuring it to be able to automatically determine, it is possible to prevent injuries that may occur during exercise due to incorrect movement postures, and also to be used for weightlifting competitions or upgrades of Taekwondo poomsae. It is judged as, but by providing the accuracy of the motion by expressing it as a probability, it is possible to perform a fair examination during a match or upgrade examination, such as a weightlifting or Taekwondo sports event, and thereby minimize the occurrence of unnecessary fertilization ratio. .

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above can be variously modified or applied by a person having ordinary knowledge in the technical field to which the present invention belongs, and the scope of the technical idea according to the present invention should be defined by the following claims.

100: 본 발명의 일실시예에 따른 동작 정확도 판정 시스템
110: 단일 카메라
120: 스켈레톤 데이터 추출부
130: 동작 자세 측정부
140: 판정 처리 제어부100: operation accuracy determination system according to an embodiment of the present invention
110: single camera
120: skeleton data extraction unit
130: movement posture measurement unit
140: judgment processing control unit

Claims (8)

단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템(100)으로서,
운동 종목 사용자의 운동 동작을 촬영하고, 촬영되는 운동 동작의 영상 데이터를 제공하는 단일 카메라(110);
상기 단일 카메라(110)로부터 촬영되어 제공되는 운동 동작의 영상 데이터로부터 운동 종목 사용자의 스켈레톤 데이터를 추출하는 스켈레톤 데이터 추출부(120);
상기 스켈레톤 데이터 추출부(120)로부터 스켈레톤 데이터를 제공받고, 상기 스켈레톤 데이터와 미리 설정된 기준 동작 데이터를 비교하여 동작의 정확도를 측정하는 동작 자세 측정부(130); 및
상기 동작 자세 측정부(130)의 측정된 동작의 정확도를 기초로 운동 종목 사용자의 동작 정확도를 판정하고, 그 판정 결과를 제공하는 판정 처리 제어부(140)를 포함하는 것을 특징으로 하는, 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템.
As a motion accuracy determination system 100 using a single camera-based artificial intelligence attitude analysis technology,
A single camera 110 that photographs an exercise motion of a user of an exercise event and provides image data of the motion motion to be photographed;
A skeleton data extracting unit 120 for extracting skeleton data of a user of an athletic event from image data of an exercise motion photographed and provided from the single camera 110;
A motion posture measurement unit 130 receiving skeleton data from the skeleton data extraction unit 120 and comparing the skeleton data with preset reference motion data to measure accuracy of motion; And
Based on the accuracy of the measured motion of the motion posture measurement unit 130, it characterized in that it comprises a judgment processing control unit 140 for determining the motion accuracy of the user of the exercise event, and provides the determination result, based on a single camera Motion accuracy determination system using artificial intelligence attitude analysis technology.
제1항에 있어서, 상기 단일 카메라(110)는,
비접촉식 ToF(Time-of-Flight) 방식의 깊이 카메라 또는 RGB 카메라로 구성되는 것을 특징으로 하는, 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템.
The method of claim 1, wherein the single camera 110,
A motion accuracy determination system using a single camera-based artificial intelligence attitude analysis technology, characterized by comprising a non-contact time-of-flight (ToF) depth camera or an RGB camera.
제2항에 있어서, 상기 단일 카메라(110)는,
운동 종목 사용자와 카메라 간의 각도가 45도에서 90도의 촬영범위를 유지하도록 설치되는 것을 특징으로 하는, 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템.
The method of claim 2, wherein the single camera 110,
A motion accuracy determination system using a single camera-based AI posture analysis technology, characterized in that the angle between the user of the sports event and the camera is installed to maintain a shooting range of 45 to 90 degrees.
제1항에 있어서, 상기 스켈레톤 데이터 추출부(120)는,
상기 단일 카메라(110)로부터 제공되는 운동 동작의 영상 데이터로부터 운동 종목 사용자의 운동 동작을 검출하고, 검출된 운동 동작으로부터 골격을 기반으로 하는 관절과 뼈로 구성되는 2D와 3D의 스켈레톤 데이터를 추출하는 것을 특징으로 하는, 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템.
The method of claim 1, wherein the skeleton data extraction unit 120,
Detecting the motion of the user of the exercise item from the image data of the motion motion provided from the single camera 110, and extracting 2D and 3D skeleton data consisting of joints and bones based on the skeleton from the detected motion motion Characterized by, a single camera-based artificial intelligence posture analysis technology using motion accuracy determination system.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 동작 자세 측정부(130)는,
상기 스켈레톤 데이터 추출부(120)로부터 추출된 스켈레톤 데이터를 이용하여 운동 종목 사용자의 동작을 분석하고, 분석된 운동 종목 사용자의 동작과 미리 설정된 기준 동작을 비교하여 동작의 정확도를 측정하는 것을 특징으로 하는, 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템.
According to any one of claims 1 to 4, wherein the operation posture measuring unit 130,
Characterized in that it analyzes the motion of the user of the exercise event using the skeleton data extracted from the skeleton data extraction unit 120, and compares the motion of the user of the exercise event with a preset reference motion to measure the accuracy of the motion , A single camera-based artificial intelligence attitude analysis technology using motion accuracy determination system.
제5항에 있어서, 상기 동작의 정확도는,
운동 종목 사용자의 올바른 자세 확률과, 오류 자세 확률로 표현되는 것을 특징으로 하는, 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템.
According to claim 5, The accuracy of the operation,
A motion accuracy determination system using a single camera-based artificial intelligence attitude analysis technique, characterized by being expressed as a correct attitude probability and an error attitude probability of an exercise user.
제6항에 있어서, 상기 판정 처리 제어부(140)는,
상기 동작 자세 측정부(130)의 측정된 동작의 정확도를 기초로 운동 종목 사용자의 동작 정확도를 판정하고, 그 판정 결과를 제공하되, 정확도 판정 근거 데이터를 저장 관리하는 것을 특징으로 하는, 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템.
The method of claim 6, wherein the determination processing control unit 140,
Based on the accuracy of the measured motion of the motion posture measurement unit 130, the motion accuracy of the user of the sporting event is determined, and the determination result is provided. Motion accuracy determination system using artificial intelligence attitude analysis technology.
제7항에 있어서, 상기 판정 처리 제어부(140)는,
상기 정확도 판정 근거 데이터를 저장 관리하되, 판정 처리 확인의 이벤트 요청 시에 해당 정확도 판정 근거 데이터를 슬로우 모션 기능으로 조회하여 제공하는 것을 특징으로 하는, 단일 카메라 기반의 인공지능 자세 분석 기술을 이용한 동작 정확도 판정 시스템.The method of claim 7, wherein the determination processing control unit 140,
Operating accuracy using a single camera-based artificial intelligence attitude analysis technology, characterized by storing and managing the accuracy determination based data, and providing the corresponding accuracy determination based data by inquiring with a slow motion function when an event of determination processing confirmation is requested. Judgment system.
KR1020180140296A 2018-11-14 2018-11-14 A motion accuracy judgment system using artificial intelligence posture analysis technology based on single camera KR20200056233A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180140296A KR20200056233A (en) 2018-11-14 2018-11-14 A motion accuracy judgment system using artificial intelligence posture analysis technology based on single camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180140296A KR20200056233A (en) 2018-11-14 2018-11-14 A motion accuracy judgment system using artificial intelligence posture analysis technology based on single camera

Publications (1)

Publication Number Publication Date
KR20200056233A true KR20200056233A (en) 2020-05-22

Family

ID=70914032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180140296A KR20200056233A (en) 2018-11-14 2018-11-14 A motion accuracy judgment system using artificial intelligence posture analysis technology based on single camera

Country Status (1)

Country Link
KR (1) KR20200056233A (en)

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102263840B1 (en) 2020-11-17 2021-06-14 주식회사 올댓비젼 AI (Artificial Intelligence) based fitness solution display device and method
KR102289380B1 (en) * 2020-11-27 2021-08-18 동국대학교 산학협력단 Apparatus and method for determining pose based on voice guidance
KR102304641B1 (en) 2020-12-15 2021-09-24 (주)나노아이티 Artificial intelligence Taekwondo Poomsae reading and education system
US11139060B2 (en) 2019-10-03 2021-10-05 Rom Technologies, Inc. Method and system for creating an immersive enhanced reality-driven exercise experience for a user
KR102340519B1 (en) 2021-09-09 2021-12-20 하대수 Systems and methods for analyzing line-and-face recognition-based motion posture
US11264123B2 (en) 2019-10-03 2022-03-01 Rom Technologies, Inc. Method and system to analytically optimize telehealth practice-based billing processes and revenue while enabling regulatory compliance
WO2022044399A1 (en) * 2020-08-27 2022-03-03 株式会社Ｊｖｃケンウッド Terminal device and support method for improving form
KR20220028654A (en) * 2020-08-31 2022-03-08 (주)프로맥스 Apparatus and method for providing taekwondo movement coaching service using mirror dispaly
US11270795B2 (en) 2019-10-03 2022-03-08 Rom Technologies, Inc. Method and system for enabling physician-smart virtual conference rooms for use in a telehealth context
KR102372094B1 (en) * 2020-09-25 2022-03-10 한국전자기술연구원 Device and method for monitoring health abnormalities
US11282608B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to provide recommendations to a healthcare provider in or near real-time during a telemedicine session
US11282604B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. Method and system for use of telemedicine-enabled rehabilitative equipment for prediction of secondary disease
US11282599B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. System and method for use of telemedicine-enabled rehabilitative hardware and for encouragement of rehabilitative compliance through patient-based virtual shared sessions
US11284797B2 (en) 2019-10-03 2022-03-29 Rom Technologies, Inc. Remote examination through augmented reality
WO2022065763A1 (en) * 2020-09-22 2022-03-31 Samsung Electronics Co., Ltd. Display apparatus and method for controlling thereof
US11295848B2 (en) 2019-10-03 2022-04-05 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to create optimal treatment plans based on monetary value amount generated and/or patient outcome
US11309085B2 (en) 2019-10-03 2022-04-19 Rom Technologies, Inc. System and method to enable remote adjustment of a device during a telemedicine session
US11317975B2 (en) 2019-10-03 2022-05-03 Rom Technologies, Inc. Method and system for treating patients via telemedicine using sensor data from rehabilitation or exercise equipment
US11328807B2 (en) 2019-10-03 2022-05-10 Rom Technologies, Inc. System and method for using artificial intelligence in telemedicine-enabled hardware to optimize rehabilitative routines capable of enabling remote rehabilitative compliance
US11325005B2 (en) 2019-10-03 2022-05-10 Rom Technologies, Inc. Systems and methods for using machine learning to control an electromechanical device used for prehabilitation, rehabilitation, and/or exercise
US11348683B2 (en) 2019-10-03 2022-05-31 Rom Technologies, Inc. System and method for processing medical claims
US11404150B2 (en) 2019-10-03 2022-08-02 Rom Technologies, Inc. System and method for processing medical claims using biometric signatures
US11410768B2 (en) 2019-10-03 2022-08-09 Rom Technologies, Inc. Method and system for implementing dynamic treatment environments based on patient information
US11433276B2 (en) 2019-05-10 2022-09-06 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to independently adjust resistance of pedals based on leg strength
US11445985B2 (en) 2019-10-03 2022-09-20 Rom Technologies, Inc. Augmented reality placement of goniometer or other sensors
US11471729B2 (en) 2019-03-11 2022-10-18 Rom Technologies, Inc. System, method and apparatus for a rehabilitation machine with a simulated flywheel
US11508482B2 (en) 2019-10-03 2022-11-22 Rom Technologies, Inc. Systems and methods for remotely-enabled identification of a user infection
US11596829B2 (en) 2019-03-11 2023-03-07 Rom Technologies, Inc. Control system for a rehabilitation and exercise electromechanical device
US11701548B2 (en) 2019-10-07 2023-07-18 Rom Technologies, Inc. Computer-implemented questionnaire for orthopedic treatment
US11756666B2 (en) 2019-10-03 2023-09-12 Rom Technologies, Inc. Systems and methods to enable communication detection between devices and performance of a preventative action
US11801423B2 (en) 2019-05-10 2023-10-31 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to interact with a user of an exercise device during an exercise session
US11826613B2 (en) 2019-10-21 2023-11-28 Rom Technologies, Inc. Persuasive motivation for orthopedic treatment
US11830601B2 (en) 2019-10-03 2023-11-28 Rom Technologies, Inc. System and method for facilitating cardiac rehabilitation among eligible users
KR102619887B1 (en) 2023-03-17 2024-01-02 한연오 System and method to support physical activity challenge services
US11887717B2 (en) 2019-10-03 2024-01-30 Rom Technologies, Inc. System and method for using AI, machine learning and telemedicine to perform pulmonary rehabilitation via an electromechanical machine
KR102630828B1 (en) 2023-02-06 2024-01-31 주식회사 에이아이태권도 Method and apparatus for evaluating taekwondo group poomsae movement using artificial intelligence
US11904207B2 (en) 2019-05-10 2024-02-20 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to present a user interface representing a user's progress in various domains
US11915816B2 (en) 2019-10-03 2024-02-27 Rom Technologies, Inc. Systems and methods of using artificial intelligence and machine learning in a telemedical environment to predict user disease states
US11915815B2 (en) 2019-10-03 2024-02-27 Rom Technologies, Inc. System and method for using artificial intelligence and machine learning and generic risk factors to improve cardiovascular health such that the need for additional cardiac interventions is mitigated
US11923057B2 (en) 2019-10-03 2024-03-05 Rom Technologies, Inc. Method and system using artificial intelligence to monitor user characteristics during a telemedicine session
US11923065B2 (en) 2019-10-03 2024-03-05 Rom Technologies, Inc. Systems and methods for using artificial intelligence and machine learning to detect abnormal heart rhythms of a user performing a treatment plan with an electromechanical machine
US11942205B2 (en) 2019-10-03 2024-03-26 Rom Technologies, Inc. Method and system for using virtual avatars associated with medical professionals during exercise sessions
US11955221B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML to generate treatment plans to stimulate preferred angiogenesis
US11955223B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using artificial intelligence and machine learning to provide an enhanced user interface presenting data pertaining to cardiac health, bariatric health, pulmonary health, and/or cardio-oncologic health for the purpose of performing preventative actions
US11955220B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML and telemedicine for invasive surgical treatment to determine a cardiac treatment plan that uses an electromechanical machine
US11950861B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. Telemedicine for orthopedic treatment
US11955222B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for determining, based on advanced metrics of actual performance of an electromechanical machine, medical procedure eligibility in order to ascertain survivability rates and measures of quality-of-life criteria
US11955218B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for use of telemedicine-enabled rehabilitative hardware and for encouraging rehabilitative compliance through patient-based virtual shared sessions with patient-enabled mutual encouragement across simulated social networks
US11961603B2 (en) 2019-10-03 2024-04-16 Rom Technologies, Inc. System and method for using AI ML and telemedicine to perform bariatric rehabilitation via an electromechanical machine
US11957960B2 (en) 2019-05-10 2024-04-16 Rehab2Fit Technologies Inc. Method and system for using artificial intelligence to adjust pedal resistance
US12020799B2 (en) 2019-10-03 2024-06-25 Rom Technologies, Inc. Rowing machines, systems including rowing machines, and methods for using rowing machines to perform treatment plans for rehabilitation
US12020800B2 (en) 2019-10-03 2024-06-25 Rom Technologies, Inc. System and method for using AI/ML and telemedicine to integrate rehabilitation for a plurality of comorbid conditions

Cited By (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12029940B2 (en) 2019-03-11 2024-07-09 Rom Technologies, Inc. Single sensor wearable device for monitoring joint extension and flexion
US11904202B2 (en) 2019-03-11 2024-02-20 Rom Technolgies, Inc. Monitoring joint extension and flexion using a sensor device securable to an upper and lower limb
US11596829B2 (en) 2019-03-11 2023-03-07 Rom Technologies, Inc. Control system for a rehabilitation and exercise electromechanical device
US11541274B2 (en) 2019-03-11 2023-01-03 Rom Technologies, Inc. System, method and apparatus for electrically actuated pedal for an exercise or rehabilitation machine
US11471729B2 (en) 2019-03-11 2022-10-18 Rom Technologies, Inc. System, method and apparatus for a rehabilitation machine with a simulated flywheel
US11433276B2 (en) 2019-05-10 2022-09-06 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to independently adjust resistance of pedals based on leg strength
US11957960B2 (en) 2019-05-10 2024-04-16 Rehab2Fit Technologies Inc. Method and system for using artificial intelligence to adjust pedal resistance
US11904207B2 (en) 2019-05-10 2024-02-20 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to present a user interface representing a user's progress in various domains
US11801423B2 (en) 2019-05-10 2023-10-31 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to interact with a user of an exercise device during an exercise session
US11515021B2 (en) 2019-10-03 2022-11-29 Rom Technologies, Inc. Method and system to analytically optimize telehealth practice-based billing processes and revenue while enabling regulatory compliance
US11955221B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML to generate treatment plans to stimulate preferred angiogenesis
US11282604B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. Method and system for use of telemedicine-enabled rehabilitative equipment for prediction of secondary disease
US11282599B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. System and method for use of telemedicine-enabled rehabilitative hardware and for encouragement of rehabilitative compliance through patient-based virtual shared sessions
US11284797B2 (en) 2019-10-03 2022-03-29 Rom Technologies, Inc. Remote examination through augmented reality
US12020800B2 (en) 2019-10-03 2024-06-25 Rom Technologies, Inc. System and method for using AI/ML and telemedicine to integrate rehabilitation for a plurality of comorbid conditions
US11295848B2 (en) 2019-10-03 2022-04-05 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to create optimal treatment plans based on monetary value amount generated and/or patient outcome
US11309085B2 (en) 2019-10-03 2022-04-19 Rom Technologies, Inc. System and method to enable remote adjustment of a device during a telemedicine session
US11317975B2 (en) 2019-10-03 2022-05-03 Rom Technologies, Inc. Method and system for treating patients via telemedicine using sensor data from rehabilitation or exercise equipment
US11328807B2 (en) 2019-10-03 2022-05-10 Rom Technologies, Inc. System and method for using artificial intelligence in telemedicine-enabled hardware to optimize rehabilitative routines capable of enabling remote rehabilitative compliance
US11325005B2 (en) 2019-10-03 2022-05-10 Rom Technologies, Inc. Systems and methods for using machine learning to control an electromechanical device used for prehabilitation, rehabilitation, and/or exercise
US11348683B2 (en) 2019-10-03 2022-05-31 Rom Technologies, Inc. System and method for processing medical claims
US11404150B2 (en) 2019-10-03 2022-08-02 Rom Technologies, Inc. System and method for processing medical claims using biometric signatures
US11410768B2 (en) 2019-10-03 2022-08-09 Rom Technologies, Inc. Method and system for implementing dynamic treatment environments based on patient information
US12020799B2 (en) 2019-10-03 2024-06-25 Rom Technologies, Inc. Rowing machines, systems including rowing machines, and methods for using rowing machines to perform treatment plans for rehabilitation
US11445985B2 (en) 2019-10-03 2022-09-20 Rom Technologies, Inc. Augmented reality placement of goniometer or other sensors
US11270795B2 (en) 2019-10-03 2022-03-08 Rom Technologies, Inc. Method and system for enabling physician-smart virtual conference rooms for use in a telehealth context
US11508482B2 (en) 2019-10-03 2022-11-22 Rom Technologies, Inc. Systems and methods for remotely-enabled identification of a user infection
US11978559B2 (en) 2019-10-03 2024-05-07 Rom Technologies, Inc. Systems and methods for remotely-enabled identification of a user infection
US11515028B2 (en) 2019-10-03 2022-11-29 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to create optimal treatment plans based on monetary value amount generated and/or patient outcome
US11961603B2 (en) 2019-10-03 2024-04-16 Rom Technologies, Inc. System and method for using AI ML and telemedicine to perform bariatric rehabilitation via an electromechanical machine
US11955218B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for use of telemedicine-enabled rehabilitative hardware and for encouraging rehabilitative compliance through patient-based virtual shared sessions with patient-enabled mutual encouragement across simulated social networks
US11955222B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for determining, based on advanced metrics of actual performance of an electromechanical machine, medical procedure eligibility in order to ascertain survivability rates and measures of quality-of-life criteria
US11756666B2 (en) 2019-10-03 2023-09-12 Rom Technologies, Inc. Systems and methods to enable communication detection between devices and performance of a preventative action
US11264123B2 (en) 2019-10-03 2022-03-01 Rom Technologies, Inc. Method and system to analytically optimize telehealth practice-based billing processes and revenue while enabling regulatory compliance
US11950861B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. Telemedicine for orthopedic treatment
US11830601B2 (en) 2019-10-03 2023-11-28 Rom Technologies, Inc. System and method for facilitating cardiac rehabilitation among eligible users
US11955220B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML and telemedicine for invasive surgical treatment to determine a cardiac treatment plan that uses an electromechanical machine
US11887717B2 (en) 2019-10-03 2024-01-30 Rom Technologies, Inc. System and method for using AI, machine learning and telemedicine to perform pulmonary rehabilitation via an electromechanical machine
US11955223B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using artificial intelligence and machine learning to provide an enhanced user interface presenting data pertaining to cardiac health, bariatric health, pulmonary health, and/or cardio-oncologic health for the purpose of performing preventative actions
US11282608B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to provide recommendations to a healthcare provider in or near real-time during a telemedicine session
US11139060B2 (en) 2019-10-03 2021-10-05 Rom Technologies, Inc. Method and system for creating an immersive enhanced reality-driven exercise experience for a user
US11915816B2 (en) 2019-10-03 2024-02-27 Rom Technologies, Inc. Systems and methods of using artificial intelligence and machine learning in a telemedical environment to predict user disease states
US11915815B2 (en) 2019-10-03 2024-02-27 Rom Technologies, Inc. System and method for using artificial intelligence and machine learning and generic risk factors to improve cardiovascular health such that the need for additional cardiac interventions is mitigated
US11923057B2 (en) 2019-10-03 2024-03-05 Rom Technologies, Inc. Method and system using artificial intelligence to monitor user characteristics during a telemedicine session
US11923065B2 (en) 2019-10-03 2024-03-05 Rom Technologies, Inc. Systems and methods for using artificial intelligence and machine learning to detect abnormal heart rhythms of a user performing a treatment plan with an electromechanical machine
US11942205B2 (en) 2019-10-03 2024-03-26 Rom Technologies, Inc. Method and system for using virtual avatars associated with medical professionals during exercise sessions
US11701548B2 (en) 2019-10-07 2023-07-18 Rom Technologies, Inc. Computer-implemented questionnaire for orthopedic treatment
US11826613B2 (en) 2019-10-21 2023-11-28 Rom Technologies, Inc. Persuasive motivation for orthopedic treatment
WO2022044399A1 (en) * 2020-08-27 2022-03-03 株式会社Ｊｖｃケンウッド Terminal device and support method for improving form
KR20220028654A (en) * 2020-08-31 2022-03-08 (주)프로맥스 Apparatus and method for providing taekwondo movement coaching service using mirror dispaly
WO2022065763A1 (en) * 2020-09-22 2022-03-31 Samsung Electronics Co., Ltd. Display apparatus and method for controlling thereof
KR102372094B1 (en) * 2020-09-25 2022-03-10 한국전자기술연구원 Device and method for monitoring health abnormalities
KR102263840B1 (en) 2020-11-17 2021-06-14 주식회사 올댓비젼 AI (Artificial Intelligence) based fitness solution display device and method
KR102289380B1 (en) * 2020-11-27 2021-08-18 동국대학교 산학협력단 Apparatus and method for determining pose based on voice guidance
KR102304641B1 (en) 2020-12-15 2021-09-24 (주)나노아이티 Artificial intelligence Taekwondo Poomsae reading and education system
KR102340519B1 (en) 2021-09-09 2021-12-20 하대수 Systems and methods for analyzing line-and-face recognition-based motion posture
KR102630828B1 (en) 2023-02-06 2024-01-31 주식회사 에이아이태권도 Method and apparatus for evaluating taekwondo group poomsae movement using artificial intelligence
KR102619887B1 (en) 2023-03-17 2024-01-02 한연오 System and method to support physical activity challenge services

Similar Documents

Publication Publication Date Title
KR20200056233A (en) A motion accuracy judgment system using artificial intelligence posture analysis technology based on single camera
Castelli et al. A 2D markerless gait analysis methodology: Validation on healthy subjects
Dikovski et al. Evaluation of different feature sets for gait recognition using skeletal data from Kinect
KR102285632B1 (en) Health abnormality detection system and method using gait pattern
Paolini et al. Validation of a method for real time foot position and orientation tracking with Microsoft Kinect technology for use in virtual reality and treadmill based gait training programs
KR20120017948A (en) Rehabilitation device using motion analysis based on motion capture and method thereof
WO2017161734A1 (en) Correction of human body movements via television and motion-sensing accessory and system
Yang et al. Autonomous Gait Event Detection with Portable Single‐Camera Gait Kinematics Analysis System
CN104537670A (en) Flexibility testing method and system
KR102297110B1 (en) Systems and methods for analyzing walking behavior
KR101818198B1 (en) Apparatus and method for evaluating Taekwondo motion using multi-directional recognition
KR101636171B1 (en) Skeleton tracking method and keleton tracking system using the method
KR20230086874A (en) Rehabilitation training system using 3D body precision tracking technology
Nouredanesh et al. Chasing feet in the wild: a proposed egocentric motion-aware gait assessment tool
JP7327449B2 (en) detection system
US20150051512A1 (en) Apparatus and method for recognizing user's posture in horse-riding simulator
Dobos et al. Validation of pitchAITM markerless motion capture using marker-based 3D motion capture
KR20220076550A (en) System and method for recommending user-customized footwear
US10796449B2 (en) Measurement device, measurement method, and computer readable recording medium
KR20160035497A (en) Body analysis system based on motion analysis using skeleton information
KR102268954B1 (en) Method for detecting golf ball hitting and golf swing motion analysis apparatus using the same
CN104586404A (en) Method and system for identifying posture of fitness and health monitoring
Yeasin et al. Development of an automated image processing system for kinematic analysis of human gait
KR20230120341A (en) 3D human body joint angle prediction method and system using 2D image
Lau et al. Cost-benefit analysis reference framework for human motion capture and analysis systems

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application