WO2021066392A2 - 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체 - Google Patents

골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
WO2021066392A2
WO2021066392A2 PCT/KR2020/012996 KR2020012996W WO2021066392A2 WO 2021066392 A2 WO2021066392 A2 WO 2021066392A2 KR 2020012996 W KR2020012996 W KR 2020012996W WO 2021066392 A2 WO2021066392 A2 WO 2021066392A2
Authority
WO
WIPO (PCT)
Prior art keywords
user
golf swing
joint
present
information
Prior art date
Application number
PCT/KR2020/012996
Other languages
English (en)
French (fr)
Other versions
WO2021066392A3 (ko
Inventor
이용근
Original Assignee
주식회사 모아이스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모아이스 filed Critical 주식회사 모아이스
Priority to US17/765,581 priority Critical patent/US20220362630A1/en
Publication of WO2021066392A2 publication Critical patent/WO2021066392A2/ko
Publication of WO2021066392A3 publication Critical patent/WO2021066392A3/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A63B69/3623—Training appliances or apparatus for special sports for golf for driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/32—Golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/807—Photo cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Definitions

  • the present invention relates to a method, a device and a non-transitory computer-readable recording medium for estimating information about a golf swing.
  • a golf clinic system using an image processing technique disclosed in Korean Patent Publication No. 2009-105031 and a technology related to its operation method may be exemplified.
  • the body and golf of golf trainees A plurality of markers attached to the club, a plurality of cameras that collect the swing motion of a golf trainee as an image, a two-dimensional image collected from the plurality of cameras is reconstructed into a three-dimensional image, and the spatial coordinates of the marker according to the movement are extracted
  • An object of the present invention is to solve all the problems of the prior art described above.
  • the present invention uses an artificial neural network model to detect at least one joint of the user above from a photographed image of the user's golf swing, and refer to the position of the detected at least one joint above to Another purpose is to estimate information about the golf swing.
  • the artificial neural network model is lightweighted by using depthwise convolution and pointwise convolution, and the user using the lightweight artificial neural network model Another object is to detect at least one joint of the user above in the photographed image of the golf swing of.
  • a typical configuration of the present invention for achieving the above object is as follows.
  • a method for estimating information on a golf swing when a photographed image of a user's golf swing is obtained, at least one joint of the user is selected from the photographed image using an artificial neural network model.
  • a method comprising the step of detecting, and estimating information on the user's golf swing with reference to the position of the detected at least one joint.
  • a device for estimating information on a golf swing when a photographed image of a user's golf swing is acquired, at least one joint of the user is selected from the photographed image using an artificial neural network model.
  • a device including a joint detection unit to detect and a golf swing information estimation unit to estimate information on the user's golf swing by referring to the position of the at least one joint to be detected.
  • an artificial neural network model to detect at least one joint of the user above from a photographed image of the user's golf swing, and refer to the position of the detected at least one joint above, the user's golf
  • the user's golf By estimating the information on the swing, it is possible to estimate the information on the user's golf swing with only the photographed image without using a separate sensor or equipment.
  • the artificial neural network model is lightened by using depthwise convolution and pointwise convolution, and the lightweight artificial neural network model is used in a mobile device to reduce the user's golf swing.
  • the artificial neural network model is lightened by using depthwise convolution and pointwise convolution, and the lightweight artificial neural network model is used in a mobile device to reduce the user's golf swing.
  • FIG. 1 is a diagram showing in detail the internal configuration of a device according to an embodiment of the present invention.
  • FIG. 2A is a diagram illustrating a process of performing general convolution according to an embodiment of the present invention.
  • 2B is a diagram illustrating a process of performing depthwise convolution and pointwise convolution according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a screen provided to a user by displaying a storage start condition in the form of a guide line according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a visual representation of information on at least one joint of a user detected according to an embodiment of the present invention and information on a golf club estimated according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a screen in which information on an estimated user's golf swing is provided to a user according to an embodiment of the present invention.
  • control unit 140 control unit
  • a golf swing in the present invention should be understood as a concept in the broadest sense including all motions for moving a golf club.
  • a golf swing according to an embodiment of the present invention may include a full swing, a half swing, a chip shot, a lobe shot, and a putting.
  • the present invention can be utilized even when estimating information on motions performed in other sports other than golf. For example, it may be used when estimating information about a baseball swing or information about a fitness or yoga posture.
  • FIG. 1 is a diagram showing in detail the internal configuration of a device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing in detail the internal configuration of a device 100 according to an embodiment of the present invention.
  • the device 100 includes a joint detection unit 110, a golf swing information estimation unit 120, a communication unit 130, and a control unit 140.
  • the joint detection unit 110, the golf swing information estimation unit 120, the communication unit 130, and the control unit 140 may be program modules in which at least some of them communicate with an external system.
  • Such a program module may be included in the device 100 in the form of an operating system, an application program module, or other program module, and may be physically stored in various known storage devices.
  • such a program module may be stored in a remote storage device capable of communicating with the device 100.
  • a program module includes routines, subroutines, programs, objects, components, data structures, etc. that perform specific tasks or execute specific abstract data types according to the present invention, but is not limited thereto.
  • the device 100 has been described as above, but this description is exemplary, and at least some of the components or functions of the device 100 may be realized in an external system (not shown) or in an external system as necessary. It is obvious to those skilled in the art that it may be included.
  • the device 100 is a digital device equipped with a memory means and equipped with a microprocessor to have computing power, and includes a smart phone, a tablet, a smart watch, a smart band, a smart glass, a desktop computer, This may include notebook computers, workstations, PDAs, web pads, mobile phones, and the like.
  • the device 100 may be changed as much as possible within a range capable of achieving the object of the present invention as well as the above-described examples.
  • the device 100 may include an application (not shown) that supports a user to receive a service such as estimation of information on a golf swing from the device 100.
  • an application may be downloaded from a known web server (not shown).
  • the joint detection unit 110 detects at least one joint of the above user from the above photographed image using an artificial neural network model when a photographed image of the user's golf swing is acquired. You can perform the function that you do.
  • the device 100 may acquire a photographed image of the user's golf swing, and the photographed image of the user's golf swing is photographed by the device 100 or An image captured by another device (not shown) may be provided to the device 100.
  • the joint detection unit 110 according to an embodiment of the present invention performs a function of detecting at least one joint of the user from the captured image of the user's golf swing obtained above using an artificial neural network model. can do.
  • the photographed image of the user's golf swing according to an embodiment of the present invention may mean an RGB image. That is, the joint detection unit 110 according to an embodiment of the present invention does not use depth information obtained from equipment such as a depth camera or a depth sensor, but uses only the RGB image of the user's golf swing. At least one joint can be detected.
  • At least one joint of the user detected according to an embodiment of the present invention may be detected by reconstructing a photographed image of the user's golf swing into a heat map image in an artificial neural network model. That is, at least one heat map map image for the joint may be generated for at least one joint of the user above, and the joint detection unit 110 according to an embodiment of the present invention generates the above.
  • Each joint may be detected from the at least one heat map map image (for example, the position of the brightest value in each heat map image is detected as the position of the corresponding joint).
  • At least one joint of a user detected according to an embodiment of the present invention may mean joints that are essentially required in estimating information on the user's golf swing above. That is, in estimating information on the user's golf swing, the computational efficiency of the artificial neural network model can be improved by limiting the number of joints to be detected so that joints of relatively low importance are not detected.
  • the artificial neural network model according to an embodiment of the present invention includes a Convolutional Neural Network (CNN) model, a Recurrent Neural Network (RNN) model, a Deep Belief Network (DBN) model, or an artificial neural network model in which the above models are combined.
  • CNN Convolutional Neural Network
  • RNN Recurrent Neural Network
  • DNN Deep Belief Network
  • the artificial neural network model according to an embodiment of the present invention is not limited to those listed above, and may be variously changed within a range capable of achieving the object of the present invention.
  • the artificial neural network model according to an embodiment of the present invention may be a lightweight model using depthwise convolution and pointwise convolution.
  • the artificial neural network model according to an embodiment of the present invention may be a lightweight model using a lightweight algorithm such as pruning, weight quantization, and residual learning.
  • the artificial neural network model commonly used in object recognition technology requires a high level of computing resources to be consumed for a high level of recognition performance, so it is used in environments where only limited computing resources are provided, such as a mobile device. It is often difficult to do.
  • the artificial neural network model is lightened using depthwise convolution and pointwise convolution, and the lightweight artificial neural network model is used in a mobile device. At least one joint of the user above may be detected from a photographed image of the user's golf swing.
  • the depthwise convolution according to an embodiment of the present invention refers to the depth of an input layer in performing convolution in the artificial neural network model according to an embodiment of the present invention. It may mean a convolution process in which a kernel is applied for each (that is, channel of the input layer). Meanwhile, since the method of calculating by applying the kernel is the same as that of general convolution, a detailed description will be omitted.
  • the pointwise convolution according to an embodiment of the present invention means, in performing convolution in the artificial neural network model according to an embodiment of the present invention, 1 x 1 x each for each point of an input layer. It may refer to a convolution process in which a kernel of size M (that is, a kernel of width 1, height 1, and depth M) is applied.
  • a kernel of size M that is, a kernel of width 1, height 1, and depth M
  • FIG. 2A is a diagram illustrating a process of performing general convolution according to an embodiment of the present invention.
  • 2B is a diagram illustrating a process of performing depthwise convolution and pointwise convolution according to an embodiment of the present invention.
  • the width, height, and depth of the input layer 211 are F, F, N, respectively, the width, height of each kernel 212, It can be assumed that the depths are K, K, and N, respectively, and the width, height, and depth of the output layer 213 are F, F, and M, respectively. In addition, here, it is assumed that there is no change in the width and height of the input layer 211 and the output layer 213 by setting the appropriate size of padding and stride.
  • the kernel 212 is applied to the input layer 211 to configure one depth of the output layer 213 (i.e., F x F x K x K x N calculations) Then, since such an operation is performed for the M kernels 212, a total of F x F x K x K x N x M operations are performed.
  • the width, height, and depth of the input layer 221 are F, F, N, respectively, and each kernel 222 in the convolution for each depth ) Width, height, and depth are K, K, 1, respectively, the width, height, and depth of each kernel 224 in the convolution for each point are 1, 1, N, respectively, and the width of the output layer 225 , It can be assumed that the height and depth are F, F, and M, respectively.
  • the kernel 222 is applied for each depth of the input layer 221 to configure each depth of the intermediate layer 223 (ie, F x F x K x K x 1 x N calculations).
  • the kernel 224 is applied to the intermediate layer 223 for each point to configure one depth of the output layer 225 (ie, F x F x 1 x 1 x N operations), Since such an operation is performed for the M kernels 224, a total of F x F x 1 x 1 x N x M operations is performed in the point-by-point convolution. Therefore, when the calculation of the convolution for each depth and the convolution for each point according to an embodiment of the present invention is summed, the total (F x F x K x K x 1 x N) + (F x F x 1 x 1 x N x M ) Times, so it has the effect of reducing the amount of operation compared to general convolution.
  • the algorithm for weight reduction according to an embodiment of the present invention is not necessarily limited to the above algorithm (depth or point convolution), and the order or number of times of applying each of the above algorithms may also be variously changed. .
  • the golf swing information estimation unit 120 refers to the position of at least one joint of the user detected by the joint detection unit 110 according to an embodiment of the present invention. It may perform a function of estimating information on the user's golf swing.
  • the golf swing information estimation unit 120 includes the type of at least one joint of the user detected by the joint detection unit 110 according to an embodiment of the present invention, and the user's At least one of a position of at least one joint, a distance between at least one joint of the user and at least one other joint of the user, and an angle formed between at least one joint of the user and at least one other joint of the user
  • the user's posture may be estimated, and a function of estimating information on the user's golf swing from the estimated posture may be performed.
  • the information on the golf swing according to an embodiment of the present invention may include information on a user's swing speed, swing tempo, swing plane, cocking, swing posture, and the like.
  • the information on the golf swing according to an embodiment of the present invention is not limited to those listed above, and may be variously changed within a range capable of achieving the object of the present invention.
  • the golf swing information estimation unit 120 refers to the position of at least one joint of the user detected by the joint detection unit 110 according to an embodiment of the present invention to the golf club. It is possible to perform a function of estimating the information on the golf club and estimating the information on the user's golf swing by further referring to the information on the estimated golf club.
  • the golf swing information estimation unit 120 includes the type of at least one joint of the user detected by the joint detection unit 110 according to an embodiment of the present invention, and the user's At least one of a position of at least one joint, a distance between at least one joint of the user and at least one other joint of the user, and an angle formed between at least one joint of the user and at least one other joint of the user One can be referred to to estimate information on golf clubs.
  • information on a golf club may include a location of a golf club, an angle between a part of a user's body and a golf club, but is not limited thereto.
  • information on a golf swing according to an embodiment of the present invention may be divided and estimated for each partial motion constituting the golf swing.
  • the golf swing according to an embodiment of the present invention includes an address, a back swing, a top of swing, a down swing, an impact, and a follow-through. It can be composed of 7 steps of partial operation such as (follow through) and finish (finish).
  • the golf swing information estimation unit 120 according to an embodiment of the present invention, the type of at least one joint of the user detected by the joint detection unit 110 according to an embodiment of the present invention, at least At least one of a position of one joint, a distance between at least one joint of the user and at least one other joint of the user, and an angle formed between at least one joint of the user and at least one other joint of the user
  • at least one step corresponding to a specific step of the seven steps is derived from which of the seven steps the user's golf swing photographed image corresponds to, or from the photographed image of the user's golf swing. Frames can be extracted.
  • the golf swing information estimating unit 120 may perform a function of estimating information on a user's golf swing by dividing it for each partial motion constituting a golf swing.
  • the golf swing according to an embodiment of the present invention is not necessarily divided into seven steps as described above. That is, it may further include detailed steps constituting each of the seven steps, or at least some of the seven steps may be classified as constituting one step.
  • a user's posture estimated by referring to the position of at least one joint detected by the joint detection unit 110 according to an embodiment of the present invention satisfies a preset storage start condition.
  • the storage of the photographed image is started, and the storage of the photographed image may be terminated when the above user's posture satisfies a preset storage termination condition.
  • the golf swing information estimating unit 120 includes at least one joint of a user detected by the joint detection unit 110 according to an embodiment of the present invention.
  • the type, the location of at least one joint of the user, the distance between at least one joint of the user and at least one other joint of the user, and between at least one joint of the user and at least one other joint of the user The user's posture may be estimated by referring to at least one of the formed angles.
  • storage of the captured image may start or end.
  • At least one of a preset storage start condition and a preset storage end condition may be displayed on the device 100 in the form of a guideline and provided to the user.
  • FIG. 3 is a diagram illustrating a screen provided to a user by displaying a storage start condition in the form of a guide line according to an embodiment of the present invention.
  • a user may receive a storage start condition in the form of a guide line 310 through the device 100. And, when the similarity between the user's posture estimated by the golf swing information estimating unit 120 and the guide line 310 according to an embodiment of the present invention is equal to or higher than a preset level, it is determined that the storage start condition is satisfied. Saving of the captured image can be started.
  • the storage image management unit (not shown) according to an embodiment of the present invention, if there is at least one frame that is determined to be unnecessary in estimating the information on the user's golf swing from the stored image, at least the above You can perform the function of cropping one frame from the stored image above.
  • a predetermined number or more of frames corresponding to the addressing step are included in a photographed image of the user's golf swing after a predetermined time elapses while the user is in the addressing posture.
  • a case that is, an unnecessary image is stored because the address posture is too long
  • the stored image management unit (not shown) according to an embodiment of the present invention leaves only a predetermined number of frames prior to the frame in which the back swing starts, and among the frames corresponding to the address stage, The remaining frames preceding the predetermined number of frames may be cropped from the stored image.
  • At least one of the steps may be performed according to a result of recognizing the voice from the above user.
  • the user who checks the information provided above can perform the steps of detecting at least one joint of the user from the captured image by the device 100 through a voice command without operating the device 100 separately. It is possible to control to perform at least one of the steps of estimating the above information on the user's golf swing by referring to the position of at least one joint detected.
  • the communication unit 130 may perform a function of enabling data transmission and reception to/from the joint detection unit 110 and the golf swing information estimation unit 120.
  • control unit 140 may perform a function of controlling the flow of data between the joint detection unit 110, the golf swing information estimation unit 120, and the communication unit 130. That is, the control unit 140 according to the present invention controls the data flow from/to the outside of the device 100 or between each component of the device 100, so that the joint detection unit 110, the golf swing information estimation unit Each of the 120 and the communication unit 130 may be controlled to perform a unique function.
  • FIG. 4 is a diagram illustrating a visual representation of information on at least one joint of a user detected according to an embodiment of the present invention and information on a golf club estimated according to an embodiment of the present invention.
  • photographed images 410, 420, and 430 regarding a user's golf swing may be obtained, and such photographed images are RGB images photographed through the user's mobile device.
  • photographed images are RGB images photographed through the user's mobile device.
  • the joint detection unit 110 uses at least one joint 411 of the user in the captured image using a lightweight artificial neural network model to be implemented in a mobile device. , 421 and 431) can be detected.
  • the golf swing information estimating unit 120 may estimate the positions and angles 412, 422, and 432 of the golf club with reference to the detected position of at least one joint above. .
  • FIG. 5 is a diagram illustrating a screen in which information on an estimated user's golf swing is provided to a user according to an embodiment of the present invention.
  • the golf swing information estimation unit 120 includes at least one joint of a user detected by the joint detection unit 110 according to an embodiment of the present invention.
  • Information on the user's golf swing may be estimated by referring to the positions of (411, 421, and 431).
  • the above estimated information may be divided and estimated for each partial motion constituting the golf swing. For example, information on the address step in FIG. 4A, information on the top of swing step in FIG. 4B, and information on the impact step in FIG. 4C may be estimated. .
  • the golf swing information estimation unit 120 when the time taken for each partial motion, the angle formed by the joints in each partial motion, etc. are estimated by the golf swing information estimation unit 120 according to an embodiment of the present invention, the The estimation result may be processed in the form as shown in FIG. 5 and provided to the user.
  • the embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, and the like alone or in combination.
  • the program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention or may be known and usable to those skilled in the computer software field.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magnetic-optical media such as floptical disks. medium), and a hardware device specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware device can be changed to one or more software modules to perform the processing according to the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 태양에 따르면, 골프 스윙에 관한 정보를 추정하기 위한 방법으로서, 사용자의 골프 스윙에 관한 촬영 이미지가 획득되면, 인공신경망 모델을 이용하여 상기 촬영 이미지에서 상기 사용자의 적어도 하나의 관절을 검출하는 단계, 및 상기 검출되는 적어도 하나의 관절의 위치를 참조하여 상기 사용자의 골프 스윙에 관한 정보를 추정하는 단계를 포함하는 방법이 제공된다.

Description

골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
본 발명은 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
근래에 들어 골프가 대중화되면서, 골퍼의 스윙 영상을 분석하고 골퍼에게 유용한 정보를 제공하기 위한 기술들이 소개되고 있다.
이에 관한 종래 기술의 일례로서, 한국공개특허공보 제2009-105031호에 개시된 영상처리기법을 이용한 골프 클리닉 시스템 및 그것의 운용 방법에 관한 기술을 예로 들 수 있는데, 이에 따르면, 골프 수련자의 신체 및 골프 클럽에 부착되는 복수개의 마커, 골프 수련자의 스윙 동작을 영상으로 수집하는 복수개의 카메라, 상기 복수개의 카메라에서 수집되는 2차원 영상을 3차원 영상으로 재구성하고, 움직임에 따른 마커의 공간상 좌표를 추출하여 인체 분절의 각도 값과 각 국면별 데이터를 실시간으로 분석하여 클리닉 결과를 레포트 형식으로 출력하는 영상 분석기 및 스윙 동작에 대한 운동 역학적 클리닉 정보가 회원 정보에 매칭되어 디지털 데이터로 저장되는 데이터 베이스를 포함하는 것을 특징으로 한다.
하지만, 위와 같은 종래 기술을 비롯하여 지금까지 소개된 기술에 의하면, 골퍼의 스윙을 분석하기 위하여, 골퍼의 자세 및 동작을 인식하기 위한 고가의 장비를 별도로 이용해야 하거나 골퍼의 신체 및 골프채에 별도의 센서(마커)를 부착해야 하는 실정이었다.
본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 인공신경망 모델을 이용하여 사용자의 골프 스윙에 관한 촬영 이미지에서 위의 사용자의 적어도 하나의 관절을 검출하고, 위의 검출되는 적어도 하나의 관절의 위치를 참조하여 위의 사용자의 골프 스윙에 관한 정보를 추정하는 것을 다른 목적으로 한다.
또한, 본 발명은, 또한, 본 발명에 의하면, 깊이별 컨볼루션(Depthwise Convolution) 및 지점별 컨볼루션(Pointwise Convolution)을 이용하여 인공신경망 모델을 경량화하고, 그 경량화된 인공신경망 모델을 이용하여 사용자의 골프 스윙에 관한 촬영 이미지에서 위의 사용자의 적어도 하나의 관절을 검출하는 것을 또 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 골프 스윙에 관한 정보를 추정하기 위한 방법으로서, 사용자의 골프 스윙에 관한 촬영 이미지가 획득되면, 인공신경망 모델을 이용하여 상기 촬영 이미지에서 상기 사용자의 적어도 하나의 관절을 검출하는 단계, 및 상기 검출되는 적어도 하나의 관절의 위치를 참조하여 상기 사용자의 골프 스윙에 관한 정보를 추정하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 골프 스윙에 관한 정보를 추정하기 위한 디바이스로서, 사용자의 골프 스윙에 관한 촬영 이미지가 획득되면, 인공신경망 모델을 이용하여 상기 촬영 이미지에서 상기 사용자의 적어도 하나의 관절을 검출하는 관절 검출부, 및 상기 검출되는 적어도 하나의 관절의 위치를 참조하여 상기 사용자의 골프 스윙에 관한 정보를 추정하는 골프 스윙 정보 추정부를 포함하는 디바이스가 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 디바이스 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 인공신경망 모델을 이용하여 사용자의 골프 스윙에 관한 촬영 이미지에서 위의 사용자의 적어도 하나의 관절을 검출하고, 위의 검출되는 적어도 하나의 관절의 위치를 참조하여 위의 사용자의 골프 스윙에 관한 정보를 추정함으로써, 별도의 센서나 장비를 이용하지 않고도 촬영 이미지만으로 사용자의 골프 스윙에 관한 정보를 추정할 수 있게 된다.
또한, 본 발명에 의하면, 깊이별 컨볼루션(Depthwise Convolution) 및 지점별 컨볼루션(Pointwise Convolution)을 이용하여 인공신경망 모델을 경량화하고, 그 경량화된 인공신경망 모델을 모바일 디바이스에서 이용하여 사용자의 골프 스윙에 관한 촬영 이미지에서 위의 사용자의 적어도 하나의 관절을 검출함으로써, 별도의 센서나 장비를 이용하지 않고, 모바일 디바이스에서 정확하고 효율적으로 위의 사용자의 골프 스윙에 관한 정보를 추정할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 디바이스의 내부 구성을 상세하게 도시하는 도면이다.
도 2의 (a)는 본 발명의 일 실시예에 따라 일반적인 컨볼루션(Convolution)이 수행되는 과정을 예시적으로 나타내는 도면이다.
도 2의 (b)는 본 발명의 일 실시예에 따라 깊이별 컨볼루션(Depthwise Convolution) 및 지점별 컨볼루션(Pointwise Convolution)이 수행되는 과정을 예시적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 저장 시작 조건이 가이드 라인 형태로 표시되어 사용자에게 제공되는 화면을 예시적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라 검출되는 사용자의 적어도 하나의 관절 및 본 발명의 일 실시예에 따라 추정되는 골프채에 관한 정보를 시각적으로 나타낸 모습을 예시적으로 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따라 추정되는 사용자의 골프 스윙에 관한 정보가 사용자에게 제공되는 화면을 예시적으로 나타내는 도면이다.
<부호의 설명>
100: 디바이스
110: 관절 검출부
120: 골프 스윙 정보 추정부
130: 통신부
140: 제어부
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
본 명세서에서, 골프 스윙에 관한 실시예가 풀 스윙에 초점을 맞추어 설명되기는 하지만, 본 발명에서의 골프 스윙은 골프채를 움직이기 위한 동작을 모두 포함하는 최광의의 개념으로 이해되어야 한다. 예를 들면, 본 발명의 일 실시예에 따른 골프 스윙에는, 풀 스윙, 하프 스윙, 칩 샷, 로브 샷, 퍼팅 등이 포함될 수 있다.
또한, 본 명세서에서, 골프에 관하여 초점을 맞추어 설명되기는 하지만, 골프 외의 다른 운동 종목에서 행하는 동작에 관한 정보를 추정하는 경우에도 본 발명이 활용될 수 있음은 당업자에게 자명하다. 예를 들면, 야구 스윙에 관한 정보, 헬스 또는 요가 자세에 관한 정보 등을 추정하는 경우에 활용될 수 있을 것이다.
디바이스의 구성
도 1은 본 발명의 일 실시예에 따른 디바이스의 내부 구성을 상세하게 도시하는 도면이다.
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 디바이스(100)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 1은 본 발명의 일 실시예에 따른 디바이스(100)의 내부 구성을 상세하게 도시하는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 관절 검출부(110), 골프 스윙 정보 추정부(120), 통신부(130) 및 제어부(140)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 관절 검출부(110), 골프 스윙 정보 추정부(120), 통신부(130) 및 제어부(140)는 그 중 적어도 일부가 외부의 시스템과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 디바이스(100)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 디바이스(100)와 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
한편, 디바이스(100)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 디바이스(100)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 외부 시스템(미도시됨) 내에서 실현되거나 외부 시스템 내에 포함될 수도 있음은 당업자에게 자명하다.
한편, 본 발명의 일 실시예에 따른 디바이스(100)는 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기로서, 스마트폰, 태블릿, 스마트 워치, 스마트 밴드, 스마트 글래스, 데스크탑 컴퓨터, 노트북 컴퓨터, 워크스테이션, PDA, 웹 패드, 이동 전화기 등이 포함될 수 있다. 다만, 디바이스(100)는 전술한 예시뿐만 아니라 본 발명의 목적을 달성할 수 있는 범위 내에서 얼마든지 변경될 수 있다.
특히, 디바이스(100)는, 사용자가 디바이스(100)로부터 골프 스윙에 관한 정보 추정 등의 서비스를 제공받을 수 있도록 지원하는 애플리케이션(미도시됨)을 포함할 수 있다. 이와 같은 애플리케이션은 공지의 웹 서버(미도시됨)로부터 다운로드된 것일 수 있다.
먼저, 본 발명의 일 실시예에 따른 관절 검출부(110)는, 사용자의 골프 스윙에 관한 촬영 이미지가 획득되면, 인공신경망 모델을 이용하여 위의 촬영 이미지에서 위의 사용자의 적어도 하나의 관절을 검출하는 기능을 수행할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 디바이스(100)는 사용자의 골프 스윙에 관한 촬영 이미지를 획득할 수 있고, 이러한 사용자의 골프 스윙에 관한 촬영 이미지는 디바이스(100)에 의해 촬영된 것이거나 다른 디바이스(미도시됨)에 의해 촬영된 이미지가 디바이스(100)에 제공된 것일 수 있다. 그리고, 본 발명의 일 실시예에 따른 관절 검출부(110)는, 인공신경망 모델을 이용하여 위의 획득된 사용자의 골프 스윙에 관한 촬영 이미지에서 위의 사용자의 적어도 하나의 관절을 검출하는 기능을 수행할 수 있다.
여기서, 본 발명의 일 실시예에 따른 사용자의 골프 스윙에 관한 촬영 이미지는 RGB 이미지를 의미할 수 있다. 즉, 본 발명의 일 실시예에 따른 관절 검출부(110)는, 깊이 카메라나 깊이 센서와 같은 장비로부터 획득되는 깊이 정보를 이용하지 않고, 사용자의 골프 스윙에 관한 RGB 이미지만을 이용하여 위의 사용자의 적어도 하나의 관절을 검출할 수 있다.
그리고, 본 발명의 일 실시예에 따라 검출되는 사용자의 적어도 하나의 관절은, 사용자의 골프 스윙에 관한 촬영 이미지를 인공신경망 모델에서 히트 맵(Heat map) 이미지로 재구성함으로써 검출되는 것일 수 있다. 즉, 위의 사용자의 적어도 하나의 관절마다 그 관절에 대한 적어도 하나의 히트 맵(Heat map) 맵 이미지가 생성될 수 있고, 본 발명의 일 실시예에 따른 관절 검출부(110)는, 위의 생성된 적어도 하나의 히트 맵(Heat map) 맵 이미지로부터 각 관절을 검출(예를 들면, 각 히트 맵 이미지에서 가장 밝은 값의 위치를 해당 관절의 위치로 검출)할 수 있다.
또한, 본 발명의 일 실시예에 따라 검출되는 사용자의 적어도 하나의 관절은, 위의 사용자의 골프 스윙에 관한 정보를 추정함에 있어서 필수적으로 요구되는 관절들을 의미할 수 있다. 즉, 사용자의 골프 스윙에 관한 정보를 추정함에 있어서 상대적으로 중요도가 낮은 관절들은 검출하지 않도록 검출할 관절의 수를 제한함으로써 인공신경망 모델의 연산 효율을 높일 수 있다.
한편, 본 발명의 일 실시예에 따른 인공신경망 모델에는 CNN(Convolutional Neural Network) 모델, RNN(Recurrent Neural Network) 모델, DBN(Deep Belief Network) 모델, 또는 위 모델들이 결합된 인공신경망 모델 등이 포함될 수 있다. 다만, 본 발명의 일 실시예에 따른 인공신경망 모델이 위의 열거된 것에 한정되는 것은 아니고, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.
그리고, 본 발명의 일 실시예에 따른 인공신경망 모델은 깊이별 컨볼루션(Depthwise Convolution) 및 지점별 컨볼루션(Pointwise Convolution)을 이용하여 경량화된 모델일 수 있다.
또한, 본 발명의 일 실시예에 따른 인공신경망 모델은 가지치기(Pruning), 가중치 양자화(Quantization), 잔차 학습(Residual Learning)과 같은 경량화 알고리즘을 이용하여 경량화된 모델일 수도 있다.
구체적으로, 물체 인식 기술에서 일반적으로 사용되는 인공신경망 모델은 높은 수준의 인식 성능을 위하여 높은 수준의 컴퓨팅 자원의 소모를 필요로 하기 때문에, 모바일 디바이스와 같이 한정적인 컴퓨팅 자원만이 제공되는 환경에서는 이용하기 어려운 경우가 많다. 따라서, 본 발명의 일 실시예에 따르면, 깊이별 컨볼루션(Depthwise Convolution) 및 지점별 컨볼루션(Pointwise Convolution)을 이용하여 인공신경망 모델을 경량화하고, 그 경량화된 인공신경망 모델을 모바일 디바이스에서 이용함으로써 사용자의 골프 스윙에 관한 촬영 이미지에서 위의 사용자의 적어도 하나의 관절을 검출할 수 있다.
여기서, 본 발명의 일 실시예에 따른 깊이별 컨볼루션(Depthwise Convolution)이란, 본 발명의 일 실시예에 따른 인공신경망 모델에서 컨볼루션(Convolution)을 수행함에 있어서, 입력되는 층(Layer)의 깊이(즉, 입력 층의 채널)별로 각각 커널(Kernel)을 적용하는 컨볼루션 과정을 의미할 수 있다. 한편, 커널을 적용하여 연산하는 방법 자체는 일반적인 컨볼루션과 동일하므로, 자세한 설명은 생략하기로 한다.
그리고, 본 발명의 일 실시예에 따른 지점별 컨볼루션(Pointwise Convolution)이란, 본 발명의 일 실시예에 따른 인공신경망 모델에서 컨볼루션을 수행함에 있어서, 입력되는 층의 지점별로 각각 1 x 1 x M 크기의 커널(즉, 너비 1, 높이 1, 깊이 M의 커널)을 적용하는 컨볼루션 과정을 의미할 수 있다.
도 2의 (a)는 본 발명의 일 실시예에 따라 일반적인 컨볼루션(Convolution)이 수행되는 과정을 예시적으로 나타내는 도면이다.
도 2의 (b)는 본 발명의 일 실시예에 따라 깊이별 컨볼루션(Depthwise Convolution) 및 지점별 컨볼루션(Pointwise Convolution)이 수행되는 과정을 예시적으로 나타내는 도면이다.
도 2의 (a)을 참조하면, 본 발명의 일 실시예에 따르면, 입력되는 층(211)의 너비, 높이, 깊이가 각각 F, F, N이고, 각 커널(212)의 너비, 높이, 깊이가 각각 K, K, N이고, 출력되는 층(213)의 너비, 높이, 깊이가 각각 F, F, M인 경우를 가정할 수 있다. 또한, 여기에서는, 적절한 크기의 패딩(Padding)과 스트라이드(Stride)를 설정하여 입력되는 층(211)과 출력되는 층(213)의 너비, 높이의 변화가 없는 것으로 가정하였다. 이러한 경우에, 일반적인 컨볼루션 에서는, 입력되는 층(211)에 커널(212)이 적용되어 출력되는 층(213)의 하나의 깊이를 구성(즉, F x F x K x K x N번의 연산)하게 되고, M개의 커널(212)에 대하여 이러한 연산을 하게 되므로, 총 F x F x K x K x N x M번의 연산을 수행하게 된다.
도 2의 (b)를 참조하면, 본 발명의 일 실시예에 따르면, 입력되는 층(221)의 너비, 높이, 깊이가 각각 F, F, N이고, 깊이별 컨볼루션에서의 각 커널(222)의 너비, 높이, 깊이가 각각 K, K, 1이고, 지점별 컨볼루션에서의 각 커널(224)의 너비, 높이, 깊이가 각각 1, 1, N이고, 출력되는 층(225)의 너비, 높이, 깊이가 각각 F, F, M인 경우를 가정할 수 있다. 이러한 경우에, 입력되는 층(221)의 깊이별로 커널(222)이 적용되어 중간 층(223)의 각 깊이를 구성(즉, F x F x K x K x 1 x N번의 연산)하게 된다. 그 다음에, 그 중간 층(223)에 지점별로 커널(224)이 적용되어 출력되는 층(225)의 하나의 깊이를 구성(즉, F x F x 1 x 1 x N번의 연산)하게 되고, M개의 커널(224)에 대하여 이러한 연산을 하게 되므로, 지점별 컨볼루션에서는 총 F x F x 1 x 1 x N x M번의 연산을 수행하게 된다. 따라서, 본 발명의 일 실시예에 따른 깊이별 컨볼루션과 지점별 컨볼루션의 연산을 합하면 총 (F x F x K x K x 1 x N) + (F x F x 1 x 1 x N x M)번의 연산을 수행하게 되므로, 일반적인 컨볼루션보다 연산량이 줄어드는 효과가 있다.
한편, 본 발명의 일 실시예에 따른 경량화를 위한 알고리즘이 반드시 위의 알고리즘(깊이별 또는 지점별 컨볼루션)에 한정되는 것은 아니며, 위의 각 알고리즘의 적용 순서 또는 횟수 또한 다양하게 변경될 수 있다.
다음으로, 본 발명의 일 실시예에 따른 골프 스윙 정보 추정부(120)는, 본 발명의 일 실시예에 따른 관절 검출부(110)에 의해 검출되는 사용자의 적어도 하나의 관절의 위치를 참조하여 그 사용자의 골프 스윙에 관한 정보를 추정하는 기능을 수행할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 골프 스윙 정보 추정부(120)는, 본 발명의 일 실시예에 따른 관절 검출부(110)에 의해 검출되는 사용자의 적어도 하나의 관절의 종류, 그 사용자의 적어도 하나의 관절의 위치, 그 사용자의 적어도 하나의 관절과 그 사용자의 다른 적어도 하나의 관절 사이의 거리 및 그 사용자의 적어도 하나의 관절과 그 사용자의 다른 적어도 하나의 관절 사이에서 형성되는 각도 중 적어도 하나를 참조하여 그 사용자의 자세를 추정할 수 있고, 그 추정된 자세로부터 그 사용자의 골프 스윙에 관한 정보를 추정하는 기능을 수행할 수 있다.
여기서, 본 발명의 일 실시예에 따른 골프 스윙에 관한 정보에는, 사용자의 스윙 스피드, 스윙 템포, 스윙 플레인(Plane), 코킹(Cocking), 스윙 자세에 관한 정보 등이 포함될 수 있다. 다만, 본 발명의 일 실시예에 따른 골프 스윙에 관한 정보가 위의 열거된 것에 한정되는 것은 아니고, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.
한편, 본 발명의 일 실시예에 따른 골프 스윙 정보 추정부(120)는, 본 발명의 일 실시예에 따른 관절 검출부(110)에 의해 검출되는 사용자의 적어도 하나의 관절의 위치를 참조하여 골프채에 관한 정보를 추정하고, 위의 추정되는 골프채에 관한 정보를 더 참조하여 위의 사용자의 골프 스윙에 관한 정보를 추정하는 기능을 수행할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 골프 스윙 정보 추정부(120)는, 본 발명의 일 실시예에 따른 관절 검출부(110)에 의해 검출되는 사용자의 적어도 하나의 관절의 종류, 그 사용자의 적어도 하나의 관절의 위치, 그 사용자의 적어도 하나의 관절과 그 사용자의 다른 적어도 하나의 관절 사이의 거리 및 그 사용자의 적어도 하나의 관절과 그 사용자의 다른 적어도 하나의 관절 사이에서 형성되는 각도 중 적어도 하나를 참조하여 골프채에 관한 정보를 추정할 수 있다.
그리고, 본 발명의 일 실시예에 다른 골프채에 관한 정보에는, 골프채의 위치, 사용자 신체의 일부와 골프채가 이루는 각도 등이 포함될 수 있으나, 이에 제한되는 것은 아니다.
한편, 본 발명의 일 실시예에 따른 골프 스윙에 관한 정보는 골프 스윙을 구성하는 부분 동작별로 구분되어 추정될 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 골프 스윙은, 어드레스(address), 백 스윙(back swing), 탑 오브 스윙(top of swing), 다운 스윙(down swing), 임팩트(impact), 팔로 스루(follow through) 및 피니쉬(finish)와 같은 7단계의 부분 동작으로 구성될 수 있다. 그리고, 본 발명의 일 실시예에 따른 골프 스윙 정보 추정부(120)는, 본 발명의 일 실시예에 따른 관절 검출부(110)에 의해 검출되는 사용자의 적어도 하나의 관절의 종류, 그 사용자의 적어도 하나의 관절의 위치, 그 사용자의 적어도 하나의 관절과 그 사용자의 다른 적어도 하나의 관절 사이의 거리 및 그 사용자의 적어도 하나의 관절과 그 사용자의 다른 적어도 하나의 관절 사이에서 형성되는 각도 중 적어도 하나를 참조하여, 그 사용자의 골프 스윙에 관한 촬영 이미지가 위의 7단계 중 어느 단계에 해당하는지를 도출하거나, 그 사용자의 골프 스윙에 관한 촬영 이미지로부터 위의 7단계 중 특정 단계에 해당하는 적어도 하나의 프레임을 추출할 수 있다. 따라서, 본 발명의 일 실시예에 따른 골프 스윙 정보 추정부(120)는, 사용자의 골프 스윙에 관한 정보를 골프 스윙을 구성하는 부분 동작별로 구분하여 추정하는 기능을 수행할 수 있다.
한편, 본 발명의 일 실시예에 따른 골프 스윙이 반드시 위와 같은 7단계로 구분되는 것은 아니다. 즉, 위의 7단계 각각을 구성하는 세부적인 단계를 더 포함하여 구분될 수도 있고, 위의 7단계의 적어도 일부가 하나의 단계를 구성하는 것으로 구분될 수도 있다.
한편, 본 발명의 일 실시예에 따르면, 본 발명의 일 실시예에 따른 관절 검출부(110)에 의해 검출되는 적어도 하나의 관절의 위치를 참조하여 추정되는 사용자의 자세가 기설정된 저장 시작 조건을 만족하는 경우에 촬영 이미지의 저장이 시작되고, 위의 사용자의 자세가 기설정된 저장 종료 조건을 만족하는 경우에 촬영 이미지의 저장이 종료될 수 있다.
구체적으로, 상술한 바와 같이, 본 발명의 일 실시예에 따른 골프 스윙 정보 추정부(120)는, 본 발명의 일 실시예에 따른 관절 검출부(110)에 의해 검출되는 사용자의 적어도 하나의 관절의 종류, 그 사용자의 적어도 하나의 관절의 위치, 그 사용자의 적어도 하나의 관절과 그 사용자의 다른 적어도 하나의 관절 사이의 거리 및 그 사용자의 적어도 하나의 관절과 그 사용자의 다른 적어도 하나의 관절 사이에서 형성되는 각도 중 적어도 하나를 참조하여 그 사용자의 자세를 추정할 수 있다. 그리고, 위의 추정되는 사용자의 자세가 기설정된 저장 시작 조건 또는 기설정된 저장 종료 조건을 만족하는 경우에 촬영 이미지의 저장이 시작 또는 종료될 수 있다.
나아가, 본 발명의 일 실시예에 따른 기설정된 저장 시작 조건 및 기설정된 저장 종료 조건 중 적어도 하나는 디바이스(100)에 가이드 라인 형태로 표시되어 사용자에게 제공될 수 있다.
도 3는 본 발명의 일 실시예에 따른 저장 시작 조건이 가이드 라인 형태로 표시되어 사용자에게 제공되는 화면을 예시적으로 나타내는 도면이다.
도 3를 참조하면, 본 발명의 일 실시예에 따르면, 사용자는 디바이스(100)를 통하여 저장 시작 조건을 가이드 라인(310) 형태로 제공받을 수 있다. 그리고, 본 발명의 일 실시예에 따른 골프 스윙 정보 추정부(120)에 의하여 추정되는 사용자의 자세와 가이드 라인(310)과의 유사도가 기설정된 수준 이상인 경우, 저장 시작 조건을 만족하는 것으로 판단되어 촬영 이미지의 저장이 시작될 수 있다.
한편, 본 발명의 일 실시예에 따른 저장 이미지 관리부(미도시됨)는, 저장된 이미지에서 사용자의 골프 스윙에 관한 정보를 추정함에 있어서 불필요하다고 판단되는 적어도 하나의 프레임이 존재하는 경우, 위의 적어도 하나의 프레임을 위의 저장된 이미지에서 잘라내는 기능을 수행할 수 있다.
예를 들면, 본 발명의 일 실시예에 따르면, 사용자가 어드레스 자세를 잡은 상태에서 소정의 시간 이상이 경과함으로써 사용자의 골프 스윙에 관한 촬영 이미지에 어드레스 단계에 해당되는 프레임이 소정의 개수 이상 포함된 경우(즉, 어드레스 자세가 너무 길어서 불필요한 이미지가 저장되는 경우)를 가정할 수 있다. 이러한 경우에, 본 발명의 일 실시예에 따른 저장 이미지 관리부(미도시됨)는, 백 스윙(back swing)이 시작되는 프레임보다 앞선 소정의 개수의 프레임만을 남겨두고, 어드레스 단계에 해당되는 프레임 중 그 소정의 개수의 프레임보다 앞선 나머지 프레임을 저장된 이미지에서 잘라낼 수 있다.
한편, 본 발명의 실 실시예에 따르면, 촬영 이미지에서 사용자의 적어도 하나의 관절을 검출하는 단계 및 위의 검출되는 적어도 하나의 관절의 위치를 참조하여 위의 사용자의 골프 스윙에 관한 정보를 추정하는 단계 중 적어도 하나는, 위의 사용자로부터의 음성을 인식한 결과에 따라 수행될 수 있다.
예를 들면, 본 발명의 일 실시예에 따르면, 사용자의 골프 스윙에 관한 정보가 추정되어 디바이스(100)를 통해 그 사용자에게 제공된 상황을 가정할 수 있다. 이러한 경우에, 위의 제공된 정보를 확인한 사용자는, 위의 디바이스(100)를 따로 조작하지 않고도 음성 명령을 통하여 위의 디바이스(100)가 촬영 이미지에서 사용자의 적어도 하나의 관절을 검출하는 단계 및 위의 검출되는 적어도 하나의 관절의 위치를 참조하여 위의 사용자의 골프 스윙에 관한 정보를 추정하는 단계 중 적어도 하나를 수행할 수 있도록 제어할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 통신부(130)는 관절 검출부(110) 및 골프 스윙 정보 추정부(120)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(140)는 관절 검출부(110), 골프 스윙 정보 추정부(120) 및 통신부(130) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(140)는 디바이스(100)의 외부로부터의/로의 데이터 흐름 또는 디바이스(100)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 관절 검출부(110), 골프 스윙 정보 추정부(120) 및 통신부(130)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
도 4는 본 발명의 일 실시예에 따라 검출되는 사용자의 적어도 하나의 관절 및 본 발명의 일 실시예에 따라 추정되는 골프채에 관한 정보를 시각적으로 나타낸 모습을 예시적으로 나타내는 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따르면, 사용자의 골프 스윙에 관한 촬영 이미지(410, 420 및 430)가 획득될 수 있으며, 이러한 촬영 이미지는 사용자의 모바일 디바이스를 통해 촬영된 RGB 이미지일 수 있다.
계속하여 도 4를 참조하면, 본 발명의 일 실시예에 따른 관절 검출부(110)는, 모바일 디바이스에서 구현될 수 있도록 경량화된 인공신경망 모델을 이용하여 그 촬영 이미지에서 사용자의 적어도 하나의 관절(411, 421 및 431)을 검출할 수 있다. 또한, 본 발명의 일 실시예에 따른 골프 스윙 정보 추정부(120)는, 위의 검출된 적어도 하나의 관절의 위치를 참조하여 골프채의 위치 및 각도(412, 422 및 432)를 추정할 수 있다.
도 5는 본 발명의 일 실시예에 따라 추정되는 사용자의 골프 스윙에 관한 정보가 사용자에게 제공되는 화면을 예시적으로 나타내는 도면이다.
도 4 및 도 5는 참조하면, 본 발명의 일 실시예에 따른 골프 스윙 정보 추정부(120)는, 본 발명의 일 실시예에 따른 관절 검출부(110)에 의해 검출되는 사용자의 적어도 하나의 관절(411, 421 및 431)의 위치를 참조하여 그 사용자의 골프 스윙에 관한 정보를 추정할 수 있다. 그리고, 위의 추정되는 정보는 골프 스윙을 구성하는 부분 동작별로 구분되어 추정될 수 있다. 예를 들면, 도 4의 (a)에서는 어드레스 단계에 관한 정보, 도 4의 (b)에서는 탑 오브 스윙 단계에 관한 정보, 도 4의 (c)에서는 임팩트 단계에 관한 정보가 각각 추정될 수 있다.
계속하여 도 4 및 도 5를 참조하면, 각 부분 동작별로 걸리는 시간, 각 부분 동작에서 관절들이 이루는 각도 등이 본 발명의 일 실시예에 따른 골프 스윙 정보 추정부(120)에 의해 추정되면, 그 추정 결과가 도 5와 같은 형태로 가공되어 사용자에게 제공될 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (8)

  1. 골프 스윙에 관한 정보를 추정하기 위한 방법으로서,
    사용자의 골프 스윙에 관한 촬영 이미지가 획득되면, 인공신경망 모델을 이용하여 상기 촬영 이미지에서 상기 사용자의 적어도 하나의 관절을 검출하는 단계, 및
    상기 검출되는 적어도 하나의 관절의 위치를 참조하여 상기 사용자의 골프 스윙에 관한 정보를 추정하는 단계를 포함하는
    방법.
  2. 제1항에 있어서,
    상기 인공신경망 모델은 깊이별 컨볼루션(Depthwise Convolution) 및 지점별 컨볼루션(Pointwise Convolution)을 이용하여 경량화된 것인
    방법.
  3. 제1항에 있어서,
    상기 추정 단계에서, 상기 검출되는 적어도 하나의 관절의 위치를 참조하여 골프채에 관한 정보를 추정하고, 상기 추정되는 골프채에 관한 정보를 더 참조하여 상기 사용자의 골프 스윙에 관한 정보를 추정하는
    방법.
  4. 제1항에 있어서,
    상기 골프 스윙에 관한 정보는, 골프 스윙을 구성하는 부분 동작별로 구분되어 추정되는
    방법.
  5. 제1항에 있어서,
    상기 검출되는 적어도 하나의 관절의 위치를 참조하여 추정되는 상기 사용자의 자세가 기설정된 저장 시작 조건을 만족하는 경우에 상기 획득되는 촬영 이미지의 저장을 시작하고, 상기 검출되는 적어도 하나의 관절의 위치를 참조하여 추정되는 상기 사용자의 자세가 기설정된 저장 종료 조건을 만족하는 경우에 상기 획득되는 촬영 이미지의 저장을 종료하는
    방법.
  6. 제1항에 있어서,
    상기 검출 단계 및 상기 추정 단계 중 적어도 하나는 상기 사용자로부터의 음성을 인식한 결과에 따라 수행되는
    방법.
  7. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.
  8. 골프 스윙에 관한 정보를 추정하기 위한 디바이스로서,
    사용자의 골프 스윙에 관한 촬영 이미지가 획득되면, 인공신경망 모델을 이용하여 상기 촬영 이미지에서 상기 사용자의 적어도 하나의 관절을 검출하는 관절 검출부, 및
    상기 검출되는 적어도 하나의 관절의 위치를 참조하여 상기 사용자의 골프 스윙에 관한 정보를 추정하는 골프 스윙 정보 추정부를 포함하는
    디바이스.
PCT/KR2020/012996 2019-10-02 2020-09-24 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체 WO2021066392A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/765,581 US20220362630A1 (en) 2019-10-02 2020-09-24 Method, device, and non-transitory computer-readable recording medium for estimating information on golf swing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190122661A KR20210039875A (ko) 2019-10-02 2019-10-02 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR10-2019-0122661 2019-10-02

Publications (2)

Publication Number Publication Date
WO2021066392A2 true WO2021066392A2 (ko) 2021-04-08
WO2021066392A3 WO2021066392A3 (ko) 2021-05-27

Family

ID=75337231

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/012996 WO2021066392A2 (ko) 2019-10-02 2020-09-24 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Country Status (3)

Country Link
US (1) US20220362630A1 (ko)
KR (2) KR20210039875A (ko)
WO (1) WO2021066392A2 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102534463B1 (ko) * 2021-06-02 2023-05-30 주식회사 인반트 Ａｉ기반의 인체 관절 및 골프 클럽 추출을 이용한 골프 레슨 시스템
US11944870B2 (en) * 2022-03-31 2024-04-02 bOMDIC Inc. Movement determination method, movement determination device and computer-readable storage medium

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100708391B1 (ko) * 2004-02-09 2007-04-19 김광태 골프공 감지장치 및 이를 구비한 골프스윙 분석기
WO2007008930A2 (en) * 2005-07-13 2007-01-18 Ultimate Balance, Inc. Orientation and motion sensing in athletic training systems, physical rehabilitation and evaluation systems, and hand-held devices
US9134534B2 (en) * 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8550819B2 (en) * 2010-08-12 2013-10-08 Gary Anderson Motion training schematic and method of instruction
US9940508B2 (en) * 2010-08-26 2018-04-10 Blast Motion Inc. Event detection, confirmation and publication system that integrates sensor data and social media
US9619891B2 (en) * 2010-08-26 2017-04-11 Blast Motion Inc. Event analysis and tagging system
US9167991B2 (en) * 2010-09-30 2015-10-27 Fitbit, Inc. Portable monitoring devices and methods of operating same
US8944940B2 (en) * 2011-08-29 2015-02-03 Icuemotion, Llc Racket sport inertial sensor motion tracking analysis
AU2012311685B2 (en) * 2011-09-20 2017-06-08 Brian Francis Mooney Apparatus and method for analysing a golf swing
US9248358B2 (en) * 2012-04-10 2016-02-02 Apexk Inc. Interactive cognitive-multisensory interface apparatus and methods for assessing, profiling, training, and improving performance of athletes and other populations
US10185416B2 (en) * 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US11237719B2 (en) * 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
KR101428922B1 (ko) * 2013-04-19 2014-08-11 한밭대학교 산학협력단 퍼지 시스템을 이용한 골프 스윙 분류 장치 및 방법
US9390630B2 (en) * 2013-05-03 2016-07-12 John James Daniels Accelerated learning, entertainment and cognitive therapy using augmented reality comprising combined haptic, auditory, and visual stimulation
WO2016033118A1 (en) * 2014-08-29 2016-03-03 Incyphae Inc. Method and apparatus for enhancing nervous function
KR102514697B1 (ko) * 2015-04-09 2023-03-29 한국전자통신연구원 골프 동작 분석 장치 및 방법
WO2017011814A1 (en) * 2015-07-16 2017-01-19 Blast Motion Inc. Multi-sensor event detection and tagging system
US10854104B2 (en) * 2015-08-28 2020-12-01 Icuemotion Llc System for movement skill analysis and skill augmentation and cueing
JP6952713B2 (ja) * 2016-01-19 2021-10-20 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 反射を利用する拡張現実システムおよび方法
US11006856B2 (en) * 2016-05-17 2021-05-18 Harshavardhana Narayana Kikkeri Method and program product for multi-joint tracking combining embedded sensors and an external sensor
US11794094B2 (en) * 2016-10-17 2023-10-24 Aquimo Inc. Method and system for using sensors of a control device for control of a game
GB2560387B (en) * 2017-03-10 2022-03-09 Standard Cognition Corp Action identification using neural networks
JP2018153295A (ja) * 2017-03-16 2018-10-04 セイコーエプソン株式会社 運動解析装置、運動解析方法および運動解析システム
KR101986327B1 (ko) * 2017-08-18 2019-06-05 강다겸 자세 가이드 제공 방법 및 그 장치
EP3679567B1 (en) * 2017-09-08 2024-06-05 INTEL Corporation Sensor-derived swing hit and direction detection
US20230072423A1 (en) * 2018-01-25 2023-03-09 Meta Platforms Technologies, Llc Wearable electronic devices and extended reality systems including neuromuscular sensors
WO2019216593A1 (en) * 2018-05-11 2019-11-14 Samsung Electronics Co., Ltd. Method and apparatus for pose processing
US11334978B2 (en) * 2019-11-22 2022-05-17 Sony Interactive Entertainment Inc. Recommendation engine for comparing physical activity to ground truth

Also Published As

Publication number Publication date
KR102539215B1 (ko) 2023-06-02
US20220362630A1 (en) 2022-11-17
WO2021066392A3 (ko) 2021-05-27
KR20210039875A (ko) 2021-04-12
KR20210146264A (ko) 2021-12-03

Similar Documents

Publication Publication Date Title
CN106650687B (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
US8213678B2 (en) System and method of analyzing the movement of a user
JP4149213B2 (ja) 指示位置検出装置及び自律ロボット
WO2013043020A2 (ko) 복수의 카메라로 운동하는 피사체를 촬영하고 그 촬영 이미지에 기초하여 피사체의 실제의 운동 궤적을 획득하기 위한 방법 및 시스템
WO2021066392A2 (ko) 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN112487964B (zh) 姿态检测识别方法、设备及计算机可读存储介质
CN104090664B (zh) 一种交互式投影方法、装置及系统
WO2021098616A1 (zh) 运动姿态识别方法、运动姿态识别装置、终端设备及介质
WO2022004961A1 (ko) 두 개의 골프영상과 결과 데이터를 하나로 겹쳐서 확인하는 어플리케이션을 이용한 자세비교 및 교정 방법
CN111898519B (zh) 便携式的特定区域内运动训练辅助视觉伺服机器人系统及姿态评估方法
WO2019190076A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
WO2011078596A2 (ko) 상황에 따라 적응적으로 이미지 매칭을 수행하기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체
WO2023093244A1 (zh) 一种模型训练方法、装置、设备、介质和程序产品
CN107255812A (zh) 基于3d技术的测速方法、移动终端、及存储介质
WO2021107734A1 (ko) 골프에 관한 콘텐츠를 추천하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2021075753A2 (ko) 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2022045645A1 (ko) 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2022149811A1 (ko) 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2022080678A1 (ko) 골프 스윙 자세에 관한 정보를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2022102958A1 (ko) 골프 스윙에 관한 정보를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2022085978A1 (ko) 이미지상에 그래픽 객체를 표시하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2022015091A1 (ko) 골프에 관한 콘텐츠를 제공하기 위한 방법하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20210067718A (ko) 골프 스윙 동작 피드백 제공 장치 및 방법
WO2023224251A1 (en) Systems and methods for recognizing non-line-of-sight human actions
KR102342760B1 (ko) 인공지능 기반의 골프 영상 학습장치, 그 방법 및 그 기록매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20871004

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20871004

Country of ref document: EP

Kind code of ref document: A2