WO2022234906A1 - 동작 평가 방법 - Google Patents

동작 평가 방법 Download PDF

Info

Publication number
WO2022234906A1
WO2022234906A1 PCT/KR2021/015151 KR2021015151W WO2022234906A1 WO 2022234906 A1 WO2022234906 A1 WO 2022234906A1 KR 2021015151 W KR2021015151 W KR 2021015151W WO 2022234906 A1 WO2022234906 A1 WO 2022234906A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
image
motion
frame
key frame
Prior art date
Application number
PCT/KR2021/015151
Other languages
English (en)
French (fr)
Inventor
김주연
Original Assignee
(주)릴리어스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)릴리어스 filed Critical (주)릴리어스
Publication of WO2022234906A1 publication Critical patent/WO2022234906A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A63B2024/0015—Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647—Visualisation of executed movements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Definitions

  • the present invention relates to a motion evaluation method, and more particularly, by collecting user images imitating the expert motion of the guide image during guide image playback, and comparing and determining the motion matching rate between the guide image and the user image, the user can properly perform the expert's motion.
  • the user when comparing the expert of the guide video and the user of the user video, the user through a simplified process by determining the motion matching rate by comparing the key frames in which the key poses were taken for each motion rather than comparing all frames. It relates to a motion evaluation method that can evaluate the motion of
  • the general usage of the gym is that the user joins the gym in the form of an annual member or monthly member, and then visits the gym at a time available to the user and equips the gym with it.
  • Exercise using the exercise equipment provided.
  • a personal lesson is additionally registered with the trainer registered in the gym, and the user can perform the exercise by setting up an exercise plan suitable for the purpose of the exercise with the help of the trainer.
  • the present invention is to solve the problems of the prior art mentioned above, and an object of the present invention is to collect user images that follow the expert motions of the guide images during guide image playback, and to increase the motion matching rate between the guide images and the user images. It compares and determines whether the user is following the expert's motion properly. In particular, when comparing the expert of the guide video and the user of the user video, the motion is performed through comparison between key frames in which key poses are captured for each motion without comparing all frames.
  • An object of the present invention is to provide a motion evaluation method capable of evaluating a user's motion through a simplified process by determining the matching rate.
  • Another object of the present invention is to compare the second key frame of the user image of the first key frame of the guide image, and the matching rate between frames based on the connection line between some joints and joints of the expert and the user on the frame. , to provide a motion evaluation method that can evaluate the user's motion through a simpler comparison process.
  • a motion evaluation method is a motion evaluation method for evaluating a user motion followed by viewing a guide image in which a guide motion of an expert is taken, and the user image is obtained by playing the guide image and photographing the user motion. collecting, and determining a frame matching rate according to a comparison between an expert of a predetermined first key frame among frames of the guide image and a user of a second key frame corresponding to the first key frame among frames of the user image; and and determining a motion matching rate of the user's motion with respect to the guide motion based on the determined frame matching rate.
  • the frame match rate is based on the skeleton match rate between the expert skeleton image on the first key frame and the user skeleton image on the second key frame, and the expert skeleton image and the user skeleton image are either an expert or a user's body. More than one joint and a connecting line connecting the one or more joints may be included.
  • the number of predetermined first key frames among the frames of the guide image is one or more
  • the key frame in the pose taken for each first key frame is Skeletal-limited information on some joints and connection lines that are limitedly designated according to body parts is added, and the skeletal coincidence rate may be determined based on some joints and connection lines that are limitedly designated according to the bone-limited information.
  • the determining of the frame coincidence rate includes the steps of: selecting one arbitrarily selected frame from among the user's image frames captured and collected for a time within a predetermined time from the time the first key frame is reproduced as the second key frame; generating and adding a user skeleton image to a second key frame; comparing the expert skeleton image of the first key frame with the user skeleton image of the second key frame to determine a skeleton match rate of the second key frame; The method may include determining the frame coincidence rate of the second key frame as the frame coincidence rate.
  • the determining of the frame coincidence rate includes selecting one or more candidate frames captured for a time within a predetermined time from the time the first key frame is reproduced from among the collected user image frames; generating and adding a skeleton image; comparing the user skeleton image of each candidate frame with the expert skeleton image of the first key frame to determine a skeleton match rate of each candidate frame;
  • the method may include selecting a candidate frame having the highest matching rate as the second key frame, and determining the skeleton matching rate of the selected second key frame as the frame matching rate.
  • the motion evaluation method further comprises the step of determining whether a shooting condition including at least one condition among whether the user's position for shooting the user's motion is within a predetermined position and whether the front of the user's body is captured, and , in the step of collecting the user image, when the reproduction of the guide image is requested, when the shooting condition is satisfied, the reproduction of the guide image may be started.
  • the motion evaluation method may further include counting the number of user motions by counting only when the motion matching rate is equal to or greater than a reference value.
  • a user image imitating an expert's motion of a guide image is collected during the guide image reproduction, and the motion matching rate between the guide image and the user's image is compared and determined to inform whether the user is properly following the expert's motion, so that the user can even at home. Make sure you do home training with the right movements.
  • the present invention does not compare all frames when comparing the expert of the guide image and the user of the user image, but determines the motion matching rate through a comparison between key frames in which key poses are taken for each motion, thereby simplifying the user's motion through a simplified process.
  • quick evaluation can be made without delay in real-time user motion evaluation, and motion evaluation can be performed using a relatively low-spec device.
  • the present invention compares the second key frame of the user image with the first key frame of the guide image, by making the matching rate between frames based on the connection line between some joints and joints of the expert and the user on the frame, a simpler comparison Through the process, the user's behavior can be evaluated.
  • FIG. 1 is a diagram schematically illustrating a motion evaluation system to which a motion evaluation method according to an embodiment of the present invention is applied.
  • FIG. 2 is a functional block diagram of a guide image generator according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of generating an expert skeleton image in a guide image according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of designating a first key frame in a guide image according to an embodiment of the present invention.
  • FIG. 5 is a functional block diagram of a motion evaluation unit according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an example of generating a user skeleton image from a user image according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a process of selecting a second key frame in a user image according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a comparison example of an expert skeleton image and a user skeleton image according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a motion evaluation method according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating an example of a frame matching rate determination process according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating another example of a frame matching rate determination process according to an embodiment of the present invention.
  • FIG. 1 is a diagram schematically illustrating a motion evaluation system to which a motion evaluation method according to an embodiment of the present invention is applied.
  • the present invention relates to a motion evaluation method for determining and informing whether a user who follows a guide motion on a reproduced guide image is making a correct motion
  • the motion evaluation system to which the motion evaluation method according to the present embodiment is applied is capable of generating an expert image.
  • An expert image collecting unit 10 to collect, a guide image generating unit 30 generating a guide image from the collected expert images, a guide image reproducing unit 50 reproducing the generated guide image, and a user image are collected It may be configured to include a user image collection unit 70, and a motion evaluation unit 90 to evaluate the user's motion.
  • the expert image collection unit 10 may collect an expert image by photographing an expert's motion, and may store the collected expert image.
  • the expert motion may be various motions such as exercise and dancing.
  • the guide image generating unit 30 may generate a guide image by processing the expert image provided by the expert image collecting unit 10 . Specifically, the guide image generating unit 30 may receive and edit the stored expert image to generate a guide image of one operation unit. Also, the guide image generator 30 may add expert skeleton image information to the generated guide image.
  • the expert skeleton image is an image in which one or more joints and connecting lines between joints are included in the expert body on the guide image, and a more detailed description thereof will be described later with reference to FIG. 3 .
  • the guide image generated by the guide image generating unit 30 may be provided to the guide image reproducing unit 50 and the motion evaluating unit 90 .
  • the guide image reproducing unit 50 may receive and reproduce the guide image generated by the guide image generating unit 30 .
  • the guide image reproducing unit 50 may reproduce one guide image repeatedly or connect different types of guide images to each other. For example, the guide image reproducing unit 50 repeatedly reproduces the guide operation on the guide image 30 times, and the user can see it and repeat the user's operation 30 times according to the guide operation of the expert. If skeleton image information is added to the guide image, the guide image reproduced by the guide image reproducing unit 50 may be an image in which skeleton image information is deleted or hidden. As another example, if the two guide motions correspond to each other in the left and right directions, the guide image reproducing unit 50 may sequentially and repeatedly reproduce the two guide motions.
  • the user may follow the guide operation of the expert while watching the guide image reproduced by the guide image reproducing unit 50 .
  • the operation performed by the user while viewing the guide image corresponds to the user operation, and the user image collecting unit 70 may collect the user image by photographing the user following the guide operation.
  • the guide image reproducing unit 50 may guide the user so that the user is positioned in the correct body direction or position (for example, the front or the center of the screen) for motion evaluation on the user image.
  • the guide image reproducing unit 50 may provide an image guiding the user's correct body direction or location before playing the guide image.
  • the user image collecting unit 70 collects a pre-image toward the user.
  • the guide image reproducing unit 50 determines whether a shooting condition according to the user's body direction or location is satisfied based on the pre-image collected by the user image collecting unit 70, and if the shooting condition is satisfied, the expert's guide video is displayed. Playback of the captured guide image can be started.
  • the guide image reproducing unit 50 includes at least one condition of whether the user's position is within a predetermined position and whether the front of the user's body is photographed based on the prior image provided from the user image collecting unit 70 . It can be determined whether the shooting conditions are satisfied. Preferably, the guide image reproducing unit 50 may determine that the shooting condition is satisfied only when the user's position is within a predetermined position and the front of the user's body is photographed at the same time. At this time, the user's location or body orientation may be determined through deep learning technology.
  • the motion evaluation unit 90 compares the guide image reproduced by the guide image reproducing unit 50 with the user image collected by the user image collecting unit 70 to determine the motion matching rate between the guide motion and the user motion, and thus allows the user to perform the correct motion. is performed, and the evaluation result may be provided and output to the guide image reproducing unit 50 so that the user can immediately check the result.
  • Such evaluation and output of the user's motion can be made immediately whenever the user performs a user's motion, and the result of the motion evaluation is to be output together with the guide image that is repeatedly reproduced during repeated playback of the guide image by the guide image reproducing unit 50.
  • the user can receive feedback in real time whether he or she is performing the motion with the correct posture, and correct the wrong posture when performing the motion.
  • the guide image reproducing unit 50, the user image collecting unit 70, and the motion evaluation unit 90 according to the present embodiment may be configured as one device such as a smartphone, but is not limited thereto.
  • Figure 2 is a functional block diagram of a guide image generator according to an embodiment of the present invention
  • Figure 3 is a diagram showing an example of generating an expert skeleton image in the guide image according to an embodiment of the present invention
  • Figure 4 is this It is a diagram illustrating an example of designating a first key frame in a guide image according to an embodiment of the present invention.
  • the guide image generating unit 30 includes an image editing unit 31 that edits an expert image in units of one operation, and an image edited in units of operations. It may be configured to include a first skeleton image generator 33 that generates and adds skeleton image information of an expert, and a skeleton image correction unit 35 that corrects the created skeleton image information of an expert.
  • the image editing unit 31 may produce a guide image by editing the expert image provided from the expert image collecting unit 10 in units of operation. For example, if the expert image is an image of a push-up motion, the image editing unit 31 may extract one push-up motion to produce one guide image.
  • the division of one operation unit may be determined by an administrator or an expert.
  • the expert image collected by the expert image collecting unit 10 may be an image collected by one operation, and even in this case, the image editing unit 31 may delete unnecessary frames from the expert image.
  • the first skeleton image generating unit 33 may receive a guide image edited and produced by the image editing unit 31 , and may generate and add a skeleton image of an expert on the provided guide image.
  • the first skeletal image generator 33 extracts one or more joints jp1 from the expert body on the provided guide image, and connects the extracted joints according to the structure of the body ( jl1) to create an expert skeleton image (sk1).
  • the skeleton image generation in the first skeleton image generating unit 33 may be performed in units of each frame of the guide image, and may be automatically performed through deep learning technology.
  • the skeletal image correction unit 35 may correct the skeletal image generated by the first skeletal image generating unit 33 .
  • the manager checks the guide image to which the expert skeleton image is added through deep learning technology, and selects the joints that have not been extracted to the correct position in the frame to which the expert skeleton image is incorrectly added and makes a request to move them to the correct position.
  • the skeleton image correction unit 35 may modify the expert skeleton image by moving the position of the joint according to the request of the manager and moving the position of the connecting line accordingly.
  • the motion evaluation system does not compare all frames when comparing the guide image and the user image, but determines the match rate through the comparison of key frames in which the key poses are taken for each exercise, and through a simplified process, the user's actions can be evaluated.
  • the guide image generator 30 includes a first key frame designator 37 for designating one or more first key frames to the edited image, and skeletal limitation information on each first key frame. It may be configured to include a skeleton limited information setting unit 39 to set.
  • the first key frame designator 37 may designate a first key frame k1 in which a key pose of a corresponding motion is captured among a plurality of frames constituting the guide image.
  • the core pose is the most important pose in the corresponding motion, and the designation of the core pose may be specified by the selection of an administrator or an expert. For example, if one knee is raised to the side as in the guide motion of FIG. 4 , the pose at the point where the knee is lifted the highest will be the most important pose, and this may be selected and designated as a core pose.
  • first key frame k1 one frame may be designated as the first key frame k1, but a plurality of frames may be designated.
  • the number of first key frames k1 may vary according to a decision of an administrator or an expert. For example, if the guide motion is a push-up motion, the pose at the point where the upper body is closest to the ground by bending the arms as much as possible and the pose at the point where the upper body is farthest from the ground by extending the arms as much as possible can be the key poses. In this case, two or three key frames k1 may be designated.
  • the first key frame designator 37 may be set to extract a plurality of frames as the first key frame k1.
  • the first frame or the last frame of the guide image may be automatically selected to designate two or more first key frames k1. This is because, in general, the pose of the first or the last point in most movement movements is included in the core pose, and since the pose of the first or the last point is the same in most of the movement actions, only one of the poses of the first or the last point is the core pose. It is preferable to include
  • the extracted first key frame k1 may be used in the motion evaluation unit 90 to compare the motion matching rate between the guide image and the user image, and a more detailed description thereof will be described later with reference to FIG. 5 .
  • the first key frame designation unit 37 may designate a first key frame before generating the expert skeleton image in the first skeleton image generation unit 33 .
  • the first skeleton image generating unit 33 generates the skeleton image of the expert only with respect to the first key frame designated by the first key frame designator 37 , thereby minimizing the process of generating the skeleton image of the expert.
  • the skeletal limited information setting unit 39 may generate skeletal limited information on some joints and connecting lines that are limitedly designated according to body parts as core in the pose photographed on the first key frame, and may be added to the first key frame. . If a plurality of first keyframes are designated, the skeleton-limited information setting unit 39 may individually set the skeleton-limited information for each of the plurality of first keyframes.
  • the skeletal-limited information may include joints and connecting lines forming core body parts in the expert's pose on the first key frame.
  • the first key frame is a frame in which a pose with the arm bent to the maximum is captured
  • the skeletal-limited information in the pose with the arm maximally bent is the shoulder joint, elbow joint, wrist joint, and three It can be two connecting lines connecting the joints.
  • the hip joint may be added to the skeletal-limited information and set. That is, the joints included in the skeletal-limited information do not necessarily have to be joints connected to each other.
  • the guide image to which the designated first key frame information, manager skeleton image generation information, and skeleton limitation information are added or set as described above may be provided to the guide image reproducing unit 50 and the motion evaluation unit 90 .
  • FIG. 5 is a functional block diagram of a motion evaluation unit according to an embodiment of the present invention
  • FIG. 6 is a diagram illustrating an example of generating a user skeleton image from a user image according to an embodiment of the present invention
  • FIG. 7 is a diagram of the present invention A diagram illustrating a process of selecting a second key frame in a user image according to an embodiment of the present disclosure.
  • the motion evaluation unit 90 includes a second skeletal image generator 91 that generates a user skeletal image from a user image, and a first guide image.
  • a frame coincidence rate determination unit 93 that determines a frame agreement rate between the key frame and the second key frame of the user image
  • a motion agreement rate determination unit 95 that determines a motion agreement rate between the guide image and the user image, and based on the determined motion agreement rate
  • it may be configured to include a counting unit 97 for counting the number of correct operations of the user.
  • the second skeleton image generating unit 91 may receive the user image collected by the user image collection unit 70 , and may generate and add the user's skeleton image jp2 on the provided user image.
  • the second skeletal image generating unit 91 extracts one or more joints jp2 from the user's body on the provided user image, and connects the extracted joints according to the body structure ( jl2) to create a user skeleton image (sk2).
  • the skeleton image generation by the second skeleton image generator 91 may be performed in units of each frame of the user image, but may be limited to a selected specific frame. Also, the second skeleton image generator 91 may generate the user skeleton image sk2 through deep learning technology.
  • the frame matching rate determining unit 93 may determine a frame matching rate between the first key frame of the user image and the second key frame of the guide image.
  • the frame matching rate refers to a matching rate between the expert's pose on the first key frame and the user's pose on the second key frame.
  • the frame coincidence rate determining unit 93 may determine the skeleton agreement rate between the expert skeleton image added to the first key frame and the user skeleton image of the second key frame as the frame coincidence rate, between the expert skeleton image and the user skeleton image. A detailed description of the process of determining the skeletal coincidence rate will be described later with reference to FIG. 8 .
  • the frame matching rate determining unit 93 may select a second key frame from among the frames constituting the user image based on the first key frame designation information added to the reproduced guide image.
  • the second key frame is a frame of a user image corresponding to the first key frame of the guide image, and specifically, may be a frame in which a user pose following the expert pose of the first key frame is captured. Accordingly, the number of second key frames in the user image may be determined according to the number of first key frames included in the guide image, and each selected second key frame corresponds to each of the first key frames 1:1. .
  • the frame matching rate determining unit 93 may select a frame of the user image captured at the time the first key frame is reproduced by the guide image reproducing unit 50 as a second key frame corresponding to the first key frame.
  • a pose on the first key frame may be simultaneously performed at the time the first key frame is reproduced (that is, the guide motion and the user motion are in sync).
  • a predetermined time difference will occur until the user sees and follows the pose on the first key frame.
  • the frame coincidence rate determining unit 391 and the guide image reproducing unit 50 may select a frame collected at the time the first key frame is reproduced as the second key frame, but a time point later than the time at which the first key frame is reproduced. A frame collected in . may be selected as the second key frame.
  • the frame matching rate determining unit 391 captures images from a time point t1 at which the first key frame is reproduced in the guide image reproduction unit 50 to a time point t2 after a predetermined time has elapsed.
  • One of the frames of the user image may be selected as the first key frame.
  • the frame matching rate determining unit 93 may select a frame captured at a time point elapsed from a time point t1 at which the first key frame is reproduced by the guide image reproducing unit 50 as the first key frame.
  • the reference time may be set according to the user's motion proficiency, and the user's motion proficiency may be selected by the user for each guide motion. For example, if the user selects the motion proficiency for the push-up as the beginner level, the reference time may be set to 2.0 seconds. On the other hand, if the user selects the advanced level of motion proficiency for the push-up motion, the reference time may be set to 0.5 seconds. In this case, 0.0 seconds may be included in an arbitrary time.
  • the reference time is set to 0.0 seconds, and the frame matching rate determining unit 93 determines the frame taken at the time point t1 when the first key frame is reproduced. may be selected as the second key frame.
  • the guide image reproducing unit 50 generates a first key frame reproduction signal at the time t1 at which the first key frame is reproduced based on the first key frame designation information added to the guide image, and the frame matching rate determining unit ( 93), and the frame matching rate determining unit 93 may determine a time t1 at which the first key frame is reproduced based on the received first key frame reproduction signal.
  • the frame coincidence rate determining unit 93 that has selected the second key frame compares the user skeleton image of the second key frame with the expert skeleton image of the first key frame corresponding thereto to determine the skeleton agreement rate, and according to the determined skeleton agreement rate, A frame matching rate between the first key frame and the second key frame may be determined.
  • the second skeleton image generating unit 91 generates the user skeleton image only for the selected second key frame among all frames of the user image, thereby simplifying the user skeleton image creation process as much as possible.
  • the second key frame selection process can be simplified.
  • the frame matching rate is relatively low. There is a problem that can be judged.
  • the frame matching rate determining unit 93 may include one or more images taken from a time point t1 at which the first key frame is reproduced to a time point t2 after a predetermined period of time among the frames of the user image. Among the frames, a frame in which a pose most matching the pose of the first key frame is captured may be selected as the second key frame.
  • the frame matching rate determining unit 93 selects, as a candidate frame, one or more frames photographed from a time point t1 at which the first key frame is reproduced to a time point t2 after a predetermined time elapses from among the frames of the user image, and , by comparing the user skeleton image of the selected candidate frame with the expert skeleton image of the first key frame, the skeleton matching rate of each candidate frame may be determined.
  • the frame coincidence rate determining unit 93 may select a candidate frame having the highest skeletal coincidence rate among one or more candidate frames as the second key frame.
  • the frame coincidence rate determining unit 93 since the frame coincidence rate has already been determined in the selection process for the selected second key frame, the frame coincidence rate determining unit 93 does not additionally go through a separate skeleton agreement rate determination process, and the frame coincidence rate is determined according to the skeleton match rate of the selected second key frame. can be decided
  • the second skeleton image generating unit 91 generates a user skeleton image only for a second key frame selected from among all frames of the user image, thereby generating a user skeleton image based on the entire frame of the user image.
  • the image creation process can be relatively simplified.
  • the motion matching rate determining unit 95 may determine the motion matching rate between the guide motion of the guide image and the user motion of the user image based on the frame matching rate between the first key frame and the second key frame.
  • the motion matching rate determining unit 95 may determine the frame matching rate between the first key frame and the second key frame as the motion matching rate as it is.
  • the motion matching rate determining unit 95 may determine an average value of frame matching rates between each first key frame and a corresponding second key frame as the motion matching rate.
  • the present invention does not compare all frames when determining the motion matching rate between the expert motion of the guide image and the user motion of the user image, but instead compares the first key frame and the second key frame in which the key poses are taken for each motion. Therefore, it is possible to evaluate the user's behavior through a simplified process. Accordingly, according to the present invention, quick evaluation can be made without delay in real-time user motion evaluation, and motion evaluation can be performed using a relatively low-spec device.
  • the user image collection unit 70 may collect the user image for a period of time within a predetermined period from the time when the first key frame is reproduced in the guide image reproduction unit without photographing all user motions. That is, the user image collection unit 70 may collect the user image by photographing only the operation section used for determining the matching rate among user operations. Accordingly, the present invention minimizes an unnecessary portion for determining the coincidence rate in a user image, thereby reducing unnecessary memory usage and power consumption.
  • the motion matching rate information determined by the motion matching rate determining unit 95 may be provided to the guide image reproducing unit 50 .
  • the guide image reproducing unit 50 may overlap and output the motion matching rate information on the guide image being reproduced so that the user can check the provided motion matching rate information in real time.
  • the guide image reproducing unit 50 may output the received motion matching rate information as a numerical score or output a different message according to a section corresponding to the matching rate.
  • output the word 'perfect' if the match rate is greater than 90% For example, output the word 'very good' if the match rate is greater than or equal to 80% and less than 90%, and output 'good' if the match rate is greater than or equal to 60% and less than 80%
  • the word 'bad' may be outputted, and if the matching rate is less than 60%, the word 'bad' may be output. Accordingly, the user can intuitively check whether he or she is performing the correct motion in real time while watching the guide image and following the guide motion.
  • the counting unit 97 may count the number of correct operations of the user.
  • the counting unit 97 counts the number of user operations once every time the guide image is reproduced once based on the reproduction information of the guide image reproducing unit 50, but the operation determined by the motion matching rate determining unit 95 A user action may be counted only when the matching rate is greater than or equal to a reference value (eg, greater than or equal to 60%). Therefore, the present invention can count only the user's motions that are followed in accordance with the guide motion by a predetermined or more.
  • FIG. 8 is a diagram illustrating an example of a comparison between an expert skeleton image and a user skeleton image according to an embodiment of the present invention, and FIG. It is a figure which shows a comparative example.
  • the motion matching rate determining unit 95 compares the skeleton image of the expert included in the first key frame with the user's skeleton image included in the corresponding second key frame or candidate frame to determine the skeleton agreement rate.
  • the motion matching rate determining unit 95 may determine the skeleton agreement rate by comparing only a limited portion of the skeleton image of the user without comparing the entire portion of the expert skeleton image with the entire portion of the user skeleton image.
  • the motion matching rate determining unit 95 may determine the skeleton agreement rate by comparing only a limited portion of the expert skeleton image and the user skeleton image according to the skeleton limitation information set in the expert skeleton image of the first key frame.
  • the joint lj that is limitedly designated according to the skeleton limitation information set in the expert skeleton image sk1 of the first key frame is the left ankle joint, the left knee joint, the left hip joint, and the left elbow joint.
  • connection line (ll) is the connection line between the left ankle joint and the knee joint, and the connection line between the left knee joint and the hip joint
  • the motion matching rate determination unit 95 determines the skeleton agreement rate between the expert skeleton image and the corresponding user skeleton image
  • Skeletal concordance can be judged by comparing the left ankle joint, left knee joint, left hip, left elbow joint, left ankle joint and knee joint, and left knee and hip joint connections between expert skeleton images and user skeleton images.
  • the motion matching rate determination unit 95 compares the distance l1 between two limitedly designated joints of the expert skeleton image sk1 with the distance l2 between the two joints of the user skeleton image sk2 corresponding thereto to determine the matching rate. , or by comparing the angle a1 between two connection lines of the expert skeleton image and the angle a2 between the two connection lines of the user skeleton image corresponding thereto, the skeleton agreement rate may be determined.
  • the motion matching rate determining unit 95 when the motion matching rate determining unit 95 generates a user skeleton image in the first key frame or the candidate frame, the user skeleton image for the skeleton and the connecting line that is limited based on the skeleton limitation information setting information set in the first key frame can create That is, it is possible to generate only a user skeleton image for a specific body part without generating the entire shape of the user skeleton image, and through this, the user skeleton image creation process can be simplified as much as possible.
  • FIG. 9 is a flowchart illustrating a motion evaluation method according to an embodiment of the present invention.
  • the guide image generating unit 30 edits the expert image collected by the expert image collecting unit 10 and adds various types of information to generate the guide image. It can be done (S10).
  • the guide image reproducing unit 50 When a guide image reproduction is requested from the user, the guide image reproducing unit 50 provides an image guiding the user's correct body direction or location, and the user image collecting unit 70 may collect a prior image of the user. There is (S20).
  • the guide image reproducing unit 50 determines whether a shooting condition for the user's body direction or user's location is satisfied based on the collected pre-image (S30), and if the shooting condition is satisfied (S30-Y), reproduces the guide image
  • the unit 50 reproduces the guide image, and the user image collection unit 70 may collect the user image (S40).
  • the guide image reproducing unit 50 reproduces an image guiding the user's correct body direction or location, etc. until the shooting condition is satisfied, and collects the user's image
  • the unit 70 may collect a pre-image of the user.
  • the frame matching rate determining unit 93 of the motion evaluation unit determines the first key frame of the guide image and the user image. It is possible to determine the frame coincidence rate between the second key frames of ( S50 ).
  • the motion matching rate determining unit 95 of the motion evaluation unit may determine the motion matching rate between the guide image and the user image based on the determined frame matching rate.
  • the counter unit 97 of the motion evaluation unit may determine whether the motion matching rate determined by the motion matching rate determining unit 95 is equal to or greater than a reference value ( S70 ). If the motion matching rate is higher than the reference value (S70-Y), the counter unit 97 counts the number of times for the corresponding user action (S80), while if the motion matching rate is less than the reference value (S70-N), the counter unit ( 97) may not reflect the number of times for the corresponding user action in the count (S90).
  • the guide image reproducing unit 50 may provide the user with the result of determining the motion matching rate or by outputting the counted number of operations. (S100).
  • FIG. 10 is a flowchart illustrating an example of a frame matching rate determination process according to an embodiment of the present invention.
  • the frame match rate determination unit 93 arbitrarily selects one of the user's image frames captured and collected for a time within a predetermined time from the time the first key frame is reproduced.
  • a frame of may be selected as the second key frame (S511).
  • the second skeleton image generating unit 91 may generate and add a user skeleton image to the second key frame selected by the frame matching rate determining unit 93 ( S512 ).
  • the frame match rate determining unit 93 compares the expert skeleton image of the first key frame with the user skeleton image of the second key frame to determine the skeleton match rate of the second key frame. It can be (S513).
  • the frame coincidence rate determining unit 93 may determine the frame coincidence rate of the determined second key frame as the frame coincidence rate (S514).
  • FIG. 11 is a flowchart illustrating another example of a frame matching rate determination process according to an embodiment of the present invention.
  • the frame match rate determination unit 93 may include one or more candidates photographed for a time within a predetermined period from the time the first key frame was reproduced among the collected user image frames.
  • a frame can be selected (S521).
  • the second skeleton image generator 91 may generate and add a user skeleton image to each of the selected candidate frames ( S522 ).
  • the frame matching rate determining unit 93 compares the user skeleton image of each candidate frame with the expert skeleton image of the first key frame to determine the skeleton match rate of each candidate frame. There is (S523).
  • the frame coincidence rate determining unit 93 may select a candidate frame having the highest skeletal coincidence rate among the candidate frames as the second key frame, and determine the skeletal coincidence rate of the selected second key frame as the frame coincidence rate ( S524 ). .

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 동작 평가 방법에 관한 것으로, 본 발명의 일 실시예에 따른 동작 평가 방법은, 전문가의 가이드 동작이 촬영된 가이드 영상을 보며 따라하는 사용자 동작을 평가하는 동작 평가 방법에 있어서, 가이드 영상을 재생하고 사용자 동작을 촬영하여 사용자 영상을 수집하는 단계와, 가이드 영상의 프레임 중 기지정된 제1 키 프레임의 전문가와, 사용자 영상의 프레임 중 제1 키 프레임에 대응하는 제2 키 프레임의 사용자 간의 비교에 따른 프레임 일치율을 판단하는 단계, 그리고 판단한 프레임 일치율에 기초하여 가이드 동작에 대한 사용자 동작의 동작 일치율을 판단하는 단계를 포함한다. 이를 통해, 본 발명은 사용자가 전문가의 동작을 제대로 따라하고 있는지 알려주어 사용자가 집에서도 올바른 동작으로 홈 트레이닝할 수 있도록 하며, 특히, 간소화된 과정을 통해 사용자의 동작을 평가함으로써, 실시간 사용자 동작 평가시 딜레이 없이 빠른 평가가 이루어질 수 있으며 상대적으로 저사양의 디바이스를 이용하여 동작 평가를 수행할 수 있다.

Description

동작 평가 방법
본 발명은 동작 평가 방법에 관한 것으로, 더욱 상세하게는 가이드 영상 재생 중에 가이드 영상의 전문가 동작을 따라하는 사용자 영상을 수집하고 가이드 영상과 사용자 영상 간의 동작 일치율을 비교 판단하여 사용자가 전문가의 동작을 제대로 따라하고 있는지 알려주며, 특히, 가이드 영상의 전문가와 사용자 영상의 사용자를 비교시 모든 프레임을 비교하지 않고 각 동작별로 핵심 포즈가 촬영된 키 프레임의 비교를 통해 동작 일치율을 판단하여 간소화된 과정을 통해 사용자의 동작을 평가할 수 있는 동작 평가 방법에 관한 것이다.
현대인들은 과학기술 문명이 고도로 발달하면서 생활환경이 윤택해지고 편리해진 반면 영양 과잉 및 운동 부족으로 인해 비만 및 과체중 인구가 점점 증가하고 있어 현대인의 건강관리 필요성이 점점 더 커지고 있다.
이에 따라 최근에는 건강한 일반인들도 자신의 건강에 대한 관심이 매우 높아지고 있으며, 사회 전반에 걸쳐 건강증진을 위한 운동의 필요성을 깊이 인식하게 되었고, 실제로 많은 사람들이 운동을 실시하고 있다.
대부분의 사람들은 건강관리를 위해 헬스장을 많이 이용하고 있는데, 일반적인 헬스장의 이용형태는 사용자가 연간회원, 월간회원 등의 방식으로 헬스장에 가입 후, 사용자가 이용 가능한 시간에 헬스장을 방문하여 헬스장에 구비되어 있는 운동 기구를 이용하여 운동한다. 또한, 운동 효과를 높이기 위하여 헬스장에 등록된 트레이너에 개인 레슨을 추가 등록하여 사용자는 트레이너의 도움으로 자신의 운동목적에 적합한 운동 계획을 세워 운동을 수행할 수 있다.
이와 같은 헬스장에서의 운동은 비용이 발생하고, 운동을 위해서는 반드시 가입한 헬스장까지 방문해야 한다는 한계가 존재한다. 특히, 개인 레슨을 받기 위해서는 비싼 추가 비용을 지불해야하기 때문에 경제적 부담이 더욱 크게 발생한다.
또한, 바이러스에 의한 전염병이 유행하는 경우 좁은 공간에서의 다수의 사람이 모이는 헬스장에서는 바이러스 전파의 위험성이 높다는 문제점 또한 존재한다.
이러한 헬스장 및 개인 레슨을 이용한 트레이닝의 한계와 문제점을 극복하고자 최근에는 각종 기기를 통해 재생되는 전문가의 운동 영상을 보며 각 가정에서 저렴하고 편리하게 운동할 수 있는 홈 트레이닝 콘텐츠가 제공되고 있다.
그런데 모든 운동은 정확한 동작으로 진행해야지만 부상 위험 없이 큰 효과를 볼 수 있어 정확한 동작으로 운동하는 것이 매우 중요하다. 하지만, 현재 제공되는 홈 트레이닝 서비스는 방송과 같이 일방적이고 단방향적으로 이루어지고 있어 사용자가 정확한 동작으로 운동 중인지 확인할 수 없다는 문제점이 존재한다.
본 발명은 위에서 언급한 종래 기술이 가지는 문제점을 해결하기 위한 것으로 본 발명이 이루고자 하는 목적은, 가이드 영상 재생 중에 가이드 영상의 전문가 동작을 따라하는 사용자 영상을 수집하고 가이드 영상과 사용자 영상 간의 동작 일치율을 비교 판단하여 사용자가 전문가의 동작을 제대로 따라하고 있는지 알려주며, 특히, 가이드 영상의 전문가와 사용자 영상의 사용자를 비교시 모든 프레임을 비교하지 않고 각 동작별로 핵심 포즈가 촬영된 키 프레임 간의 비교를 통해 동작 일치율을 판단하여 간소화된 과정을 통해 사용자의 동작을 평가할 수 있는 동작 평가 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은, 가이드 영상의 제1 키 프레임의 사용자 영상의 제2 키 프레임을 비교시, 프레임 상의 전문가와 사용자의 한정 지정된 일부 관절과 관절 간의 연결선에 기초하여 프레임 간의 일치율을 하여, 더욱 간단한 비교 과정을 통해 사용자의 동작을 평가할 수 있는 동작 평가 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 동작 평가 방법은, 전문가의 가이드 동작이 촬영된 가이드 영상을 보며 따라하는 사용자 동작을 평가하는 동작 평가 방법에 있어서, 가이드 영상을 재생하고 사용자 동작을 촬영하여 사용자 영상을 수집하는 단계와, 가이드 영상의 프레임 중 기지정된 제1 키 프레임의 전문가와, 사용자 영상의 프레임 중 제1 키 프레임에 대응하는 제2 키 프레임의 사용자 간의 비교에 따른 프레임 일치율을 판단하는 단계, 그리고 판단한 프레임 일치율에 기초하여 가이드 동작에 대한 사용자 동작의 동작 일치율을 판단하는 단계를 포함한다.
이때, 프레임 일치율을 판단하는 단계에서 프레임 일치율은 제1 키 프레임 상의 전문가 골격 이미지와 제2 키 프레임 상의 사용자 골격 이미지 간의 골격 일치율에 따른 것이며, 전문가 골격 이미지와 사용자 골격 이미지는 전문가 또는 사용자 신체의 하나 이상의 관절과, 하나 이상의 관절을 연결하는 연결선이 포함될 수 있다.
또한, 프레임 일치율을 판단하는 단계에서 가이드 영상의 프레임 중 기지정된 제1 키 프레임의 수는 하나 이상이고, 각각의 제1 키 프레임의 전문가 골격 이미지에는 제1 키 프레임별로 촬영된 포즈에서 핵심이 되는 신체 부위에 따라 한정 지정된 일부 관절과 연결선에 대한 골격 한정 정보가 부가되어 있으며, 골격 일치율은 골격 한정 정보에 따라 한정 지정된 일부 관절과 연결선을 기초로 판단한 것일 수 있다.
또한, 프레임 일치율을 판단하는 단계는 제1 키 프레임이 재생된 시점으로부터 소정 이내의 시간 동안 촬영되어 수집된 사용자의 영상 프레임 중, 임의로 선택된 하나의 프레임을 제2 키 프레임으로 선택하는 단계와, 선택한 제2 키 프레임에 사용자 골격 이미지를 생성하여 부가하는 단계와, 제1 키 프레임의 전문가 골격 이미지와 제2 키 프레임의 사용자 골격 이미지를 비교하여 제2 키 프레임의 골격 일치율을 판단하는 단계, 그리고 판단한 제2 키 프레임의 골격 일치율을 프레임 일치율로 판단하는 단계를 포함할 수 있다.
또한, 프레임 일치율을 판단하는 단계는 수집된 사용자 영상의 프레임 중, 제1 키 프레임이 재생된 시점으로부터 소정 이내의 시간 동안 촬영된 하나 이상의 후보 프레임을 선택하는 단계와, 선택한 하나 이상의 후보 프레임에 사용자 골격 이미지를 생성하여 부가하는 단계와, 제1 키 프레임의 전문가 골격 이미지에 각각의 후보 프레임의 사용자 골격 이미지를 비교하여 각각의 후보 프레임의 골격 일치율을 판단하는 단계, 그리고 각각의 후보 프레임 중 판단한 골격 일치율이 가장 높은 후보 프레임을 제2 키 프레임으로 선택하고, 선택한 제2 키 프레임의 골격 일치율을 프레임 일치율로 판단하는 단계를 포함할 수 있다.
또한, 동작 평가 방법은 사용자 동작의 촬영을 위한 사용자 위치가 소정 위치 이내인지 여부, 사용자의 신체 정면이 촬영되는지 여부 중, 적어도 하나의 조건을 포함하는 촬영 조건이 충족되었는지 판단하는 단계를 더 포함하고, 사용자 영상을 수집하는 단계는 가이드 영상의 재생이 요청되면, 촬영 조건이 충족되었을 때 가이드 영상의 재생을 시작할 수 있다.
또한, 동작 평가 방법은 동작 일치율이 기준치 이상인 경우에만 카운트하여 사용자 동작 횟수를 카운트하는 단계를 더 포함할 수 있다.
본 발명에 의하면, 가이드 영상 재생 중에 가이드 영상의 전문가 동작을 따라하는 사용자 영상을 수집하고 가이드 영상과 사용자 영상 간의 동작 일치율을 비교 판단하여 사용자가 전문가의 동작을 제대로 따라하고 있는지 알려주어 사용자가 집에서도 올바른 동작으로 홈 트레이닝할 수 있도록 한다.
또한, 본 발명은 가이드 영상의 전문가와 사용자 영상의 사용자를 비교시 모든 프레임을 비교하지 않고 각 동작별로 핵심 포즈가 촬영된 키 프레임 간의 비교를 통해 동작 일치율을 판단하여 간소화된 과정을 통해 사용자의 동작을 평가함으로써, 실시간 사용자 동작 평가시 딜레이 없이 빠른 평가가 이루어질 수 있으며 상대적으로 저사양의 디바이스를 이용하여 동작 평가를 수행할 수 있다.
또한, 본 발명은 가이드 영상의 제1 키 프레임의 사용자 영상의 제2 키 프레임을 비교시, 프레임 상의 전문가와 사용자의 한정 지정된 일부 관절과 관절 간의 연결선에 기초하여 프레임 간의 일치율을 하여, 더욱 간단한 비교 과정을 통해 사용자의 동작을 평가할 수 있다.
도 1은 본 발명의 일 실시예에 따른 동작 평가 방법이 적용된 동작 평가 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 가이드 영상 생성부의 기능 블록도이다.
도 3은 본 발명의 일 실시예에 따른 가이드 영상에서의 전문가 골격 이미지 생성 일례를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 가이드 영상에서의 제1 키 프레임 지정 일례를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 동작 평가부의 기능 블록도이다.
도 6은 본 발명의 일 실시예에 따른 사용자 영상에서의 사용자 골격 이미지 생성 일례를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 사용자 영상에서의 제2 키 프레임 선택 과정을 설명하기 위해 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 전문가 골격 이미지와 사용자 골격 이미지의 비교 일례를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 동작 평가 방법을 도시한 순서도이다.
도 10은 본 발명의 일 실시예에 따른 프레임 일치율 판단 과정의 일례를 도시한 순서도이다.
도 11은 본 발명의 일 실시예에 따른 프레임 일치율 판단 과정의 다른 예를 도시한 순서도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
이하 첨부한 도면을 참고로 본 발명에 따른 동작 평가 방법에 대해 보다 구체적으로 살펴본다.
도 1은 본 발명의 일 실시예에 따른 동작 평가 방법이 적용된 동작 평가 시스템을 개략적으로 도시한 도면이다.
본 발명은 재생되는 가이드 영상 상의 가이드 동작을 보고 따라하는 사용자가 동작을 올바르게 하고 있는지 판단하여 알려주기 위한 동작 평가 방법에 관한 것으로, 본 실시예에 따른 동작 평가 방법이 적용된 동작 평가 시스템은 전문가 영상을 수집하는 전문가 영상 수집부(10)와, 수집한 전문가 영상으로부터 가이드 영상을 생성하는 가이드 영상 생성부(30)와, 생성한 가이드 영상을 재생하는 가이드 영상 재생부(50)와, 사용자 영상을 수집하는 사용자 영상 수집부(70), 그리고 사용자의 동작을 평가하는 동작 평가부(90)를 포함하여 구성될 수 있다.
전문가 영상 수집부(10)는 전문가의 동작을 촬영하여 전문가 영상을 수집하며, 수집한 전문가 영상을 저장할 수 있다. 이때, 전문가 동작은 운동, 춤 등의 다양한 동작일 수 있다.
가이드 영상 생성부(30)는 전문가 영상 수집부(10)에서 제공한 전문가 영상을 가공하여 가이드 영상을 생성할 수 있다. 구체적으로 가이드 영상 생성부(30)는 저장된 전문가 영상을 제공받아 편집하여 한 동작 단위의 가이드 영상을 생성할 수 있다. 또한, 가이드 영상 생성부(30)는 생성한 가이드 영상에 전문가 골격 이미지 정보를 부가할 수 있다. 여기서 전문가 골격 이미지란 가이드 영상 상의 전문가 신체에 하나 이상의 관절과 관절 간의 연결선이 포함되는 이미지로 이에 관한 보다 구체적인 설명은 도 3을 참조하여 후술하기로 한다.
가이드 영상 생성부(30)에서 생성된 가이드 영상은 가이드 영상 재생부(50)와 동작 평가부(90)에 제공될 수 있다. 가이드 영상 재생부(50)는 가이드 영상 생성부(30)에서 생성한 가이드 영상을 제공받아 재생할 수 있다. 가이드 영상 재생부(50)는 하나의 가이드 영상을 반복하여 재생하거나 또는 서로 다른 종류의 가이드 영상을 서로 연결하여 재생할 수 있다. 예를 들면, 가이드 영상 재생부(50)는 가이드 영상 상의 가이드 동작을 30회 반복 재생하며, 사용자는 이를 보며 전문가의 가이드 동작을 따라 사용자 동작을 30회 반복 수행할 수 있다. 만약, 가이드 영상에 골격 이미지 정보가 부가된 경우, 가이드 영상 재생부(50)에서 재생하는 가이드 영상은 골격 이미지 정보가 삭제되거나 숨겨진 영상일 수 있다. 다른 예로, 두 개의 가이드 동작이 좌우 방향에 따라 서로 대응하는 동작이면, 가이드 영상 재생부(50)는 두 개의 가이드 동작을 순차적으로 반복하여 재생할 수 있다.
사용자는 가이드 영상 재생부(50)에 의해 재생되는 가이드 영상을 보며 전문가의 가이드 동작을 따라할 수 있다. 이때, 사용자가 가이드 영상을 보며 수행한 동작은 사용자 동작에 해당하며, 사용자 영상 수집부(70)는 가이드 동작을 따라하는 사용자를 촬영하여 사용자 영상을 수집할 수 있다.
바람직하게, 가이드 영상 재생부(50)는 사용자 영상 상의 사용자가 동작 평가를 위한 올바른 신체 방향 또는 위치(예를 들면 정면 또는 화면 중심부)에 위치하도록 사용자에게 가이드할 수 있다. 바람직하게, 사용자로부터 가이드 영상의 재생이 요청되면 가이드 영상 재생부(50)는 가이드 영상을 재생하기 전에 사용자의 올바른 신체 방향 또는 위치 등을 가이드하는 영상을 제공할 수 있다. 가이드 영상 재생부(50)에서 올바른 신체 방향 또는 위치를 가이드 하는 영상을 제공한 후, 사용자 영상 수집부(70)는 사용자를 향해 사전 영상을 수집한다. 가이드 영상 재생부(50)는 사용자 영상 수집부(70)에서 수집한 사전 영상에 기초하여 사용자의 신체 방향 또는 위치에 따른 촬영 조건이 충족되었는지 판단하고, 촬영 조건이 충족되었다면, 전문가의 가이드 동영상이 촬영된 가이드 영상의 재생을 시작할 수 있다.
구체적으로 가이드 영상 재생부(50)는 사용자 영상 수집부(70)로부터 제공받은 사전 영상에 기초하여 사용자 위치가 소정 위치 이내인지 여부, 사용자의 신체 정면이 촬영되는지 여부 중, 적어도 하나의 조건을 포함하는 촬영 조건이 충족되었는지 판단할 수 있다. 바람직하게, 가이드 영상 재생부(50)는 사용자 위치가 소정 위치 이내이며, 동시에 사용자의 신체 정면이 촬영되는 경우에만 촬영 조건이 충족된 것으로 판단할 수 있다. 이때의 사용자 위치 또는 신체 방향 판단은 딥 러닝(deep learning) 기술을 통해 이루어질 수 있다.
동작 평가부(90)는 가이드 영상 재생부(50)에서 재생한 가이드 영상과 사용자 영상 수집부(70)에서 수집한 사용자 영상을 비교하여 가이드 동작과 사용자 동작 간의 동작 일치율을 판단하여 사용자가 올바른 동작을 수행하였는지 평가하고 평가 결과는 사용자가 즉시 확인 가능하도록 가이드 영상 재생부(50)에 제공되어 출력될 수 있다. 이러한 사용자의 동작 평가 및 출력은 사용자가 사용자 동작을 수행할 때마다 즉시 이루어질 수 있으며, 동작 평가 결과는 가이드 영상 재생부(50)에 의해 가이드 영상의 반복 재생 중에 반복 재생되는 가이드 영상과 함께 출력될 수 있다. 따라서, 사용자는 자신이 올바른 자세로 동작을 수행 중인지 실시간으로 피드백 받으며 자세가 잘못된 경우 올바르게 수정해 가며 동작을 수행할 수 있다.
여기서, 본 실시예에 따른 가이드 영상 재생부(50)와 사용자 영상 수집부(70) 그리고 동작 평가부(90)는 스마트폰과 같은 하나의 디바이스로 구성될 수 있으며, 이에 한정하는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른 가이드 영상 생성부의 기능 블록도이고, 도 3은 본 발명의 일 실시예에 따른 가이드 영상에서의 전문가 골격 이미지 생성 일례를 도시한 도면이며, 도 4는 본 발명의 일 실시예에 따른 가이드 영상에서의 제1 키 프레임 지정 일례를 도시한 도면이다.
도 2를 참조하여 가이드 영상 생성부(30)에 관하여 보다 구체적으로 살펴보면, 가이드 영상 생성부(30)는 전문가 영상을 한 동작 단위로 편집하는 영상 편집부(31)와, 동작 단위로 편집한 영상에 전문가의 골격 이미지 정보를 생성하여 부가하는 제1 골격 이미지 생성부(33)와, 생성한 전문가의 골격 이미지 정보를 수정하는 골격 이미지 수정부(35)를 포함하여 구성될 수 있다.
영상 편집부(31)는 전문가 영상 수집부(10)로부터 제공받은 전문가 영상을 동작 한 동작 단위로 편집하여 가이드 영상을 제작할 수 있다. 예를 들어 전문가 영상이 팔 굽혀 펴기 동작을 촬영한 영상이라면 영상 편집부(31)는 팔 굽혀 펴기 1회 동작을 추출하여 하나의 가이드 영상을 제작할 수 있다. 여기서 한 동작 단위의 구분은 관리자 또는 전문가에 의해 판단될 수 있다. 물론, 전문가 영상 수집부(10)에서 수집된 전문가 영상이 한 동작 단위로 수집된 영상일 수 있으며, 이 경우에도 영상 편집부(31)에서는 전문가 영상에서의 필요 없는 프레임을 삭제할 수 있다.
제1 골격 이미지 생성부(33)는 영상 편집부(31)에서 편집하여 제작한 가이드 영상을 제공받고, 제공받은 가이드 영상 상에 전문가의 골격 이미지를 생성하여 부가할 수 있다.
도 3을 참조하여 구체적으로 설명하면, 제1 골격 이미지 생성부(33)는 제공받은 가이드 영상 상의 전문가 신체에서 하나 이상의 관절(jp1)을 추출하고, 추출한 관절을 신체의 구조에 따라 연결한 연결선(jl1)을 연결하여 전문가 골격 이미지(sk1)를 생성할 수 있다. 여기서, 제1 골격 이미지 생성부(33)에서의 골격 이미지 생성은 가이드 영상의 각 프레임 단위로 이루어질 수 있으며, 딥 러닝 기술을 통해 자동으로 이루어질 수 있다.
골격 이미지 수정부(35)는 제1 골격 이미지 생성부(33)에서 생성한 골격 이미지를 수정할 수 있다. 구체적으로 관리자는 딥 러닝 기술을 통해 전문가 골격 이미지가 부가된 가이드 영상을 확인하며, 전문가 골격 이미지가 잘못 부가된 프레임에서의 정확한 위치에 추출되지 못한 관절을 선택하여 정확한 위치로 이동시키는 요청을 할 수 있으며, 골격 이미지 수정부(35)는 관리자의 요청에 따라 관절의 위치를 이동시키고 이에 따른 연결선 위치를 이동시킴으로써 전문가 골격 이미지를 수정할 수 있다.
한편, 본 실시예에 따른 동작 평가 시스템은 가이드 영상과 사용자 영상의 비교시 모든 프레임을 비교하지 않고 각 운동별로 핵심 포즈가 촬영된 키 프레임의 비교를 통해 일치율을 판단하여 간소화된 과정을 통해 사용자의 동작을 평가할 수 있다.
이를 위해, 본 실시예에 따른 가이드 영상 생성부(30)는 편집한 영상에 하나 이상의 제1 키 프레임을 지정하는 제1 키 프레임 지정부(37), 그리고 각각의 제1 키 프레임에 골격 한정 정보를 설정하는 골격 한정 정보 설정부(39)를 포함하여 구성될 수 있다.
제1 키 프레임 지정부(37)는 도 4에 도시된 바와 같이 가이드 영상을 구성하는 다수개의 프레임 중, 해당 동작의 핵심 포즈가 촬영된 제1 키 프레임(k1)을 지정할 수 있다. 여기서 핵심 포즈란 해당 동작에서 가장 중요한 포즈로 핵심 포즈의 지정은 관리자 또는 전문가의 선택에 의해 지정될 수 있다. 예를 들어, 도 4의 가이드 동작과 같이 일측 무릎을 측면으로 높이 들어올리는 동작이라면 무릎이 가장 높이 들어 올려진 시점의 포즈가 가장 중요한 포즈일 것이며, 이를 핵심 포즈로 선택하여 지정할 수 있다.
이때, 제1 키 프레임(k1)으로 하나의 프레임이 지정될 수 있지만, 다수개의 프레임이 지정될 수도 있다. 제1 키 프레임(k1)의 수는 관리자 또는 전문가의 결정에 따라 달라질 수 있다. 예를 들어, 가이드 동작이 팔 굽혀 펴기 동작이라면 팔을 최대한 굽혀 상체가 지면에 가장 근접한 시점에서의 포즈와 팔을 최대한 펴 상체가 지면에서 가장 먼 시점에서의 포즈가 핵심 포즈가 될 수 있으며, 이 경우 두 개 또는 세 개의 키 프레임(k1)이 지정될 수 있다.
바람직하게, 제1 키 프레임 지정부(37)는 제1 키 프레임(k1)으로 다수개의 프레임이 추출되도록 설정될 수 있다. 이와 같이 제1 키 프레임(k1)으로 다수개의 프레임이 선택되어 추출되도록 설정된 경우, 관리자가 가이드 영상의 전체 프레임 중 최초 프레임과 최후 프레임을 제외한 하나 이상의 프레임을 선택하면 가이드 영상의 최초 프레임 또는 최후 프레임이 자동으로 선택되어 둘 이상의 제1 키 프레임(k1)을 지정할 수 있다. 이는 일반적으로 대부분의 운동 동작이 최초 또는 최후 시점의 포즈가 핵심 포즈에 포함되기 때문이며, 또한 대부분의 운동 동작에서 최초 또는 최후 시점의 포즈가 동일하므로 최초 또는 최후 시점의 포즈 중 하나의 포즈만 핵심 포즈로 포함시키는 것이 바람직하다.
이와 같이 추출된 제1 키 프레임(k1)은 동작 평가부(90)에서 가이드 영상과 사용자 영상의 동작 일치율 비교시 사용될 수 있는데, 이에 관한 보다 구체적인 설명은 도 5를 참조하여 후술하기로 한다.
바람직하게, 영상 편집부(31)에서 가이드 영상을 생성하면, 제1 골격 이미지 생성부(33)에서 전문가의 골격 이미지를 생성하기 전에 제1 키 프레임 지정부(37)에서 제1 키 프레임을 지정할 수 있다. 그리고 제1 골격 이미지 생성부(33)는 제1 키 프레임 지정부(37)에서 지정한 제1 키 프레임에 대해서만 전문가의 골격 이미지를 생성함으로써, 전문가의 골격 이미지 생성 과정을 최소화할 수 있다.
골격 한정 정보 설정부(39)는 제1 키 프레임 상에 촬영된 포즈에서 핵심이 되는 신체 부위에 따라 한정 지정된 일부 관절과 연결선에 대한 골격 한정 정보를 생성하여, 제1 키 프레임에 부가할 수 있다. 만약, 제1 키 프레임이 다수개 지정되었다면 골격 한정 정보 설정부(39)는 다수개의 제1 키프레임 각각에 대해 개별적으로 골격 한정 정보를 설정할 수 있다.
여기서, 골격 한정 정보는 제1 키 프레임 상의 전문가의 포즈에서 핵심이 되는 신체 부위를 이루는 관절과 연결선을 포함할 수 있다. 예를 들어 팔 굽혀 펴기 동작에 대한 가이드 영상에서 제1 키 프레임은 팔을 최대한 굽힌 포즈가 촬영된 프레임이라 하면, 팔을 최대한 굽힌 포즈에서 골격 한정 정보는 어깨 관절, 팔꿈치 관절, 손목 관절과 세 개의 관절을 연결하는 두 개의 연결선 일 수 있다. 이때, 팔을 최대한 굽힌 포즈에서 둔부의 위치 또한 중요하다 판단된다면 골격 한정 정보에 고관절을 추가하여 설정할 수 있다. 즉, 골격 한정 정보에 포함되는 관절은 꼭 서로 간에 연결된 관절일 필요는 없다.
이와 같이 지정된 제1 키 프레임 정보, 관리자 골격 이미지 생성 정보, 골격 한정 정보가 부가 또는 설정된 가이드 영상은 가이드 영상 재생부(50) 및 동작 평가부(90)로 제공될 수 있다.
도 5는 본 발명의 일 실시예에 따른 동작 평가부의 기능 블록도이고, 도 6은 본 발명의 일 실시예에 따른 사용자 영상에서의 사용자 골격 이미지 생성 일례를 도시한 도면이며, 도 7은 본 발명의 일 실시예에 따른 사용자 영상에서의 제2 키 프레임 선택 과정을 설명하기 위해 도시한 도면이다.
도 5를 참조하여 동작 평가부(90)에 관하여 보다 구체적으로 살펴보면, 동작 평가부(90)는 사용자 영상에서 사용자 골격 이미지를 생성하는 제2 골격 이미지 생성부(91)와, 가이드 영상의 제1 키 프레임과 사용자 영상의 제2 키 프레임의 프레임 일치율을 판단하는 프레임 일치율 판단부(93)와, 가이드 영상과 사용자 영상 간의 동작 일치율을 판단하는 동작 일치율 판단부(95), 그리고 판단한 동작 일치율에 기초하여 사용자의 올바른 동작 횟수를 카운트하는 카운트부(97)를 포함하여 구성될 수 있다.
제2 골격 이미지 생성부(91)는 사용자 영상 수집부(70)에서 수집한 사용자 영상을 제공받고, 제공받은 사용자 영상 상에 사용자의 골격 이미지(jp2)를 생성하여 부가할 수 있다.
도 6을 참조하여 구체적으로 설명하면, 제2 골격 이미지 생성부(91)는 제공받은 사용자 영상 상의 사용자 신체에서 하나 이상의 관절(jp2)을 추출하고, 추출한 관절을 신체의 구조에 따라 연결한 연결선(jl2)을 연결하여 사용자 골격 이미지(sk2)를 생성할 수 있다. 여기서, 제2 골격 이미지 생성부(91)에서의 골격 이미지 생성은 사용자 영상의 각 프레임 단위로 이루어질 수 있으나, 선택된 특정 프레임에 한정하여 이루어질 수도 있다. 또한, 제2 골격 이미지 생성부(91)는 딥 러닝 기술을 통해 사용자 골격 이미지(sk2)를 생성할 수 있다.
프레임 일치율 판단부(93)는 사용자 영상의 제1 키 프레임과, 가이드 영상의 제2 키 프레임의 프레임 일치율을 판단할 수 있다. 이때, 프레임 일치율은 제1 키 프레임 상에서 전문가의 포즈와 제2 키 프레임 상에서 사용자의 포즈 간의 일치율을 의미한다. 구체적으로, 프레임 일치율 판단부(93)는 제1 키 프레임에 부가된 전문가 골격 이미지와 제2 키 프레임의 사용자 골격 이미지 간의 골격 일치율을 프레임 일치율로 판단할 수 있는데, 전문가 골격 이미지와 사용자 골격 이미지 간의 골격 일치율을 판단하는 과정에 대한 상세한 설명은 도 8을 참조하여 후술하기로 한다.
프레임 일치율 판단부(93)는 재생된 가이드 영상에 부가된 제1 키 프레임 지정 정보에 기초하여, 사용자 영상을 구성하는 프레임 중 제2 키 프레임을 선택할 수 있다. 이때, 제2 키 프레임은 가이드 영상의 제1 키 프레임과 대응하는 사용자 영상의 프레임으로, 구체적으로는 제1 키 프레임의 전문가 포즈를 따라하는 사용자 포즈가 촬영된 프레임일 수 있다. 따라서 가이드 영상에 포함된 제1 키 프레임의 개수에 따라 사용자 영상에서의 제2 키 프레임의 개수가 정해질 수 있으며, 선택된 각각의 제2 키 프레임은 각각의 제1 키 프레임과 1:1 대응한다.
프레임 일치율 판단부(93)는 가이드 영상 재생부(50)에서 제1 키 프레임이 재생된 시점에 촬영된 사용자 영상의 프레임을 해당 제1 키 프레임에 대응하는 제2 키 프레임으로 선택할 수 있다. 그런데 사용자가 가이드 동작을 이미 숙지한 상태에서 사용자 동작을 하는 경우에는 제1 키 프레임이 재생되는 시점에서 동시에 제1 키 프레임 상의 포즈를 수행할 수 있겠지만(즉, 가이드 동작과 사용자 동작의 싱크가 맞겠지만), 사용자가 가이드 동작을 보며 따라하는 경우에는 사용자가 제1 키 프레임 상의 포즈를 보고 따라하기까지는 소정의 시간차가 발생할 것이다. 따라서, 프레임 일치율 판단부(391) 가이드 영상 재생부(50)에서 제1 키 프레임이 재생된 시점에서 수집된 프레임을 제2 키 프레임으로 선택할 수 있지만, 제1 키 프레임이 재생된 시점보다 이후 시점에 수집된 프레임을 제2 키 프레임으로 선택할 수도 있다.
도 7을 참조하여 보다 구체적으로 설명하면, 프레임 일치율 판단부(391)는 가이드 영상 재생부(50)에서 제1 키 프레임이 재생된 시점(t1)으로부터 소정의 시간이 지난 시점(t2)까지 촬영된 사용자 영상의 프레임 중 하나의 프레임을 제1 키 프레임으로 선택할 수 있다.
바람직하게, 프레임 일치율 판단부(93)는 가이드 영상 재생부(50)에서 제1 키 프레임이 재생된 시점(t1)으로부터 기준 시간이 지난 시점에 촬영된 프레임을 제1 키 프레임으로 선택할 수 있다. 이때 기준 시간은 사용자의 동작 숙련도에 따라 설정될 수 있으며, 사용자의 동작 숙련도는 가이드 동작 별로 사용자에 의해 선택될 수 있다. 예를 들어, 사용자가 팔 굽혀 펴기 동작에 대한 동작 숙련도를 초보 단계로 선택하였다면, 기준 시간은 2.0초로 설정될 수 있다. 반면에, 사용자가 팔 굽혀 펴기 동작에 대한 동작 숙련도를 고급 단계로 선택하였다면, 기준 시간은 0.5초로 설정될 수 있다. 이때, 임의의 시간에는 0.0초도 포함될 수 있다. 예를 들어 사용자가 팔 굽혀 펴기 동작에 대한 동작 숙련도를 전문가 단계로 선택하였다면, 기준 시간이 0.0초로 설정되어 프레임 일치율 판단부(93)는 제1 키 프레임이 재생된 시점(t1)에 촬영된 프레임을 제2 키 프레임으로 선택할 수 있다.
여기서, 가이드 영상 재생부(50)는 가이드 영상에 부가된 제1 키 프레임 지정 정보에 기초하여 제1 키 프레임이 재생된 시점(t1)에 제1 키 프레임 재생 신호를 생성하여 프레임 일치율 판단부(93)에 제공하고, 프레임 일치율 판단부(93)는 제공받은 제1 키 프레임 재생 신호에 기초하여 제1 키 프레임이 재생된 시점(t1)을 판단할 수 있다.
그리고 제2 키 프레임을 선택한 프레임 일치율 판단부(93)는 제2 키 프레임의 사용자 골격 이미지와 이에 대응하는 제1 키 프레임의 전문가 골격 이미지를 상호 비교하여 골격 일치율을 판단하며 판단한 골격 일치율에 따라 제1 키 프레임과 제2 키 프레임 간의 프레임 일치율을 결정할 수 있다.
이때, 제2 골격 이미지 생성부(91)는 사용자 영상의 전체 프레임 중 선택된 제2 키 프레임에 대해서만 사용자 골격 이미지를 생성함으로써, 사용자 골격 이미지 생성 과정을 최대한 간소화할 수 있다.
상술한 바와 같이 제2 키 프레임을 선택하는 경우, 제2 키 프레임 선택 과정이 간소화될 수 있다는 장점이 있다. 하지만, 사용자가 제1 키 프레임의 포즈를 정확하게 따라했음에도 불구하고, 제1 키 프레임의 포즈를 정확하게 따라한 시점에서의 사용자 포즈가 제2 키 프레임이 아닌 다른 프레임에 촬영되었다면 프레임 일치율이 상대적으로 낮게 판단될 수 있다는 문제점이 존재한다.
이와 같은 문제점을 해결하기 위해 바람직하게, 프레임 일치율 판단부(93)는 사용자 영상의 프레임 중, 제1 키 프레임이 재생된 시점(t1)으로부터 소정의 시간이 지난 시점(t2)까지 촬영된 하나 이상의 프레임 중 제1 키 프레임의 포즈와 가장 일치한 포즈가 촬영된 프레임을 제2 키 프레임으로 선택할 수 있다.
구체적으로, 프레임 일치율 판단부(93)는 사용자 영상의 프레임 중, 제1 키 프레임이 재생된 시점(t1)으로부터 소정의 시간이 지난 시점(t2)까지 촬영된 하나 이상의 프레임을 후보 프레임으로 선택하고, 선택한 후보 프레임의 사용자 골격 이미지를 제1 키 프레임의 전문가 골격 이미지와 비교하여 각각의 후보 프레임의 골격 일치율을 판단할 수 있다. 그리고 프레임 일치율 판단부(93)는 하나 이상의 후보 프레임 중 골격 일치율이 가장 높게 판단된 후보 프레임을 제2 키 프레임으로 선택할 수 있다. 이 경우, 선택된 제2 키 프레임은 선택 과정에서 이미 골격 일치율이 판단되었으므로 프레임 일치율 판단부(93)는 별도의 골격 일치율 판단 과정을 추가로 거치지 않고, 선택된 제2 키 프레임의 골격 일치율에 따라 프레임 일치율을 결정할 수 있다.
이때, 제2 골격 이미지 생성부(91)는 사용자 영상의 전체 프레임 중 선택된 제2 키 프레임에 대해서만 사용자 골격 이미지를 생성함으로써, 사용자 영상의 전체 프레임을 대상으로 사용자 골격 이미지를 생성하는 것에 비해 사용자 골격 이미지 생성 과정을 상대적으로 간소화할 수 있다.
한편, 동작 일치율 판단부(95)는 제1 키 프레임과 제2 키 프레임 간의 프레임 일치율에 기초하여 가이드 영상의 가이드 동작과 사용자 영상의 사용자 동작 간의 동작 일치율을 판단할 수 있다.
구체적으로, 동작 일치율 판단부(95)는 가이드 영상의 제1 키 프레임이 하나인 경우 제1 키 프레임과 제2 키 프레임 간의 프레임 일치율을 그대로 동작 일치율로 판단할 수 있다.
만약, 가이드 영상의 제1 키 프레임이 다수개인 경우 동작 일치율 판단부(95)는 각각의 제1 키 프레임과 이에 대응하는 제2 키 프레임 간의 프레임 일치율의 평균값을 동작 일치율로 판단할 수 있다.
이와 같이 본 발명은 가이드 영상의 전문가 동작과 사용자 영상의 사용자 동작 간의 동작 일치율 판단시 모든 프레임을 비교하지 않고 각 동작 별로 핵심 포즈가 촬영된 제1 키 프레임과 제2 키 프레임 간의 비교를 통해 동작 일치율을 판단하므로 간소화된 과정을 통해 사용자의 동작을 평가할 수 있다. 따라서, 본 발명은 실시간 사용자 동작 평가시 딜레이 없이 빠른 평가가 이루어질 수 있으며 상대적으로 저사양의 디바이스를 이용하여 동작 평가를 수행할 수 있다.
바람직하게, 사용자 영상 수집부(70)는 사용자 동작을 모두 촬영하지 않고 가이드 영상 재생부에서 제1 키 프레임이 재생된 시점으로부터 소정 이내의 시간 동안 사용자 영상을 수집할 수 있다. 즉, 사용자 영상 수집부(70)는 사용자 동작 중에서 일치율 판단에 사용되는 동작 구간만을 촬영하여 사용자 영상을 수집할 수 있다. 따라서, 본원 발명은 사용자 영상에서 일치율 판단에 불필요한 부분을 최소화하고 이를 통해 불필요한 메모리 사용과 전력 소모를 줄일 수 있다.
동작 일치율 판단부(95)에서 판단한 동작 일치율 정보는 가이드 영상 재생부(50)에 제공될 수 있다. 가이드 영상 재생부(50)는 제공받은 동작 일치율 정보를 사용자가 실시간으로 확인 가능하도록 재생 중인 가이드 영상에 동작 일치율 정보를 오버랩하여 출력할 수 있다. 이때, 가이드 영상 재생부(50)는 제공받은 동작 일치율 정보를 수치화된 점수로 출력하거나 또는 일치율이 해당하는 구간에 따라 상이한 메시지를 출력할 수 있다. 예를 들어, 일치율이 90% 이상인 경우 'perfect'란 단어를 출력하고, 일치율이 80% 이상 90% 미만인 경우 'very good'이란 단어를 출력하며, 일치율이 60% 이상 80% 미만인 경우 'good'이란 단어를 출력하고, 일치율이 60% 미만인 경우 'bad'란 단어를 출력할 수 있다. 따라서, 사용자는 가이드 영상을 보며 가이드 동작을 따라하는 중에 실시간으로 자신이 올바른 동작을 수행하고 있는지 직관적으로 확인할 수 있다.
카운트부(97)는 사용자의 올바른 동작 횟수를 카운트할 수 있다.
구체적으로, 카운트부(97)는 가이드 영상 재생부(50)의 재생 정보에 기초하여 가이드 영상이 1회 재생될 때마다 사용자 동작 횟수를 1회 카운트하되, 동작 일치율 판단부(95)에서 판단한 동작 일치율이 기준치 이상(예를 들면 60% 이상)인 경우에만 사용자 동작을 카운트할 수 있다. 따라서, 본 발명은 가이드 동작과 소정 이상 일치하게 따라한 사용자 동작에 대해서만 카운트할 수 있다.
도 8은 본 발명의 일 실시예에 따른 전문가 골격 이미지와 사용자 골격 이미지의 비교 일례를 도시한 도면이고 도 9는 본 발명의 일 실시예에 따른 제1 키 프레임과 제2 키 프레임 간의 골격 한정 정보 비교 일례를 도시한 도면이다.
상술한 바와 같이, 동작 일치율 판단부(95)는 제1 키 프레임에 포함된 전문가의 골격 이미지와 이에 대응하는 제2 키 프레임 또는 후보 프레임에 포함된 사용자의 골격 이미지를 비교하여 골격 일치율을 판단할 수 있다.
이때, 동작 일치율 판단부(95)는 전문가 골격 이미지의 전체 부분과 사용자 골격 이미지의 전체 부분을 비교하지 않고 한정된 일부 부분만을 비교하여 골격 일치율을 판단할 수 있다.
구체적으로, 동작 일치율 판단부(95)는 제1 키 프레임의 전문가 골격 이미지에 설정된 골격 한정 정보에 따라 전문가 골격 이미지와 사용자 골격 이미지의 한정된 일부 부분만을 비교하여 골격 일치율을 판단할 수 있다.
도 8을 예로 하여 보다 구체적으로 살펴보면, 제1 키 프레임의 전문가 골격 이미지(sk1)에 설정된 골격 한정 정보에 따라 한정 지정된 관절(lj)이 좌측 발목 관절, 좌측 무릎 관절, 좌측 고관절, 좌측 팔꿈치 관절이고, 한정 지정된 연결선(ll)이 좌측 발목 관절과 무릎 관절 간의 연결선, 좌측 무릎 관절과 고관절 간의 연결선이라면, 동작 일치율 판단부(95)는 전문가 골격 이미지와 이에 대응하는 사용자 골격 이미지 간의 골격 일치율 판단시, 전문가 골격 이미지와 사용자 골격 이미지의, 좌측 발목 관절, 좌측 무릎 관절, 좌측 고관절, 좌측 팔꿈치 관절, 좌측 발목 관절과 무릎 관절 간의 연결선, 좌측 무릎 관절과 고관절 간의 연결선 간을 상호 비교하여 골격 일치율을 판단할 수 있다.
이때, 동작 일치율 판단부(95)는 전문가 골격 이미지(sk1)의 한정 지정된 두 개의 관절 간의 거리(l1)와 이에 대응하는 사용자 골격 이미지(sk2)의 두 개의 관절 간의 거리(l2)를 비교하여 일치율을 판단하거나 또는, 전문가 골격 이미지의 한정 지정된 두 개의 연결선 간의 각도(a1)와 이에 대응하는 사용자 골격 이미지의 두 개의 연결선 간의 각도(a2)를 비교하여 골격 일치율을 판단할 수 있다.
바람직하게, 동작 일치율 판단부(95)는 제1 키 프레임 또는 후보 프레임에서 사용자 골격 이미지를 생성시, 제1 키 프레임에 설정된 골격 한정 정보 설정 정보에 기초하여 한정 지정된 골격과 연결선에 대한 사용자 골격 이미지를 생성할 수 있다. 즉, 사용자 골격 이미지의 전체 형상을 모두 생성하지 않고 특정 신체 부위에 대한 사용자 골격 이미지만를 생성할 수 있으며, 이를 통해 사용자 골격 이미지 생성 과정을 최대한 간소화할 수 있다.
도 9는 본 발명의 일 실시예에 따른 동작 평가 방법을 도시한 순서도이다.
도 9를 참조하여 본 실시예에 따른 동작 평가 순서를 살펴보면, 우선, 가이드 영상 생성부(30)는 전문가 영상 수집부(10)에서 수집한 전문가 영상을 편집하고 각종 정보를 부가하여 가이드 영상을 생성할 수 있다(S10).
사용자로부터 가이드 영상 재생이 요청되면, 가이드 영상 재생부(50)는 사용자의 올바른 신체 방향 또는 위치 등을 가이드하는 영상을 제공하고, 사용자 영상 수집부(70)는 사용자에 대한 사전 영상을 수집할 수 있다(S20).
가이드 영상 재생부(50)는 수집한 사전 영상에 기초하여 사용자의 신체 방향 또는 사용자의 위치에 대한 촬영 조건이 충족하는지 판단하고(S30), 촬영 조건이 충족하였다면(S30-Y), 가이드 영상 재생부(50)는 가이드 영상을 재생하고 사용자 영상 수집부(70)는 사용자 영상을 수집할 수 있다(S40).
반면에, 촬영 조건을 충족하지 못하였다면(S30-N), 촬영 조건이 충족될 때까지 가이드 영상 재생부(50)는 사용자의 올바른 신체 방향 또는 위치 등을 가이드하는 영상을 재생하고, 사용자 영상 수집부(70)는 사용자에 대한 사전 영상을 수집할 수 있다.
한편, 사이드 영상 재생부(50)로부터 가이드 영상이 재생되고 사용자 영상 수집부(70)로부터 사용자 영상이 수집되면, 동작 평가부의 프레임 일치율 판단부(93)는 가이드 영상의 제1 키 프레임과 사용자 영상의 제2 키 프레임 간의 프레임 일치율을 판단할 수 있다(S50).
프레임 일치율을 판단하면, 동작 평가부의 동작 일치율 판단부(95)는 판단된 프레임 일치율에 기초하여 가이드 영상과 사용자 영상 간의 동작 일치율을 판단할 수 있다.
동작 평가부의 카운터부(97)는 동작 일치율 판단부(95)에서 판단한 동작 일치율이 기준치 이상인지 판단할 수 있다(S70). 만약, 동작 일치율이 기준치 이상이라면(S70-Y), 카운터부(97)는 해당 사용자 동작에 대한 횟수를 카운트하고(S80), 반면에 동작 일치율이 기준치 미만이라면(S70-N), 카운터부(97)는 해당 사용자 동작에 대한 횟수를 카운트에 미반영할 수 있다(S90).
그리고 동작 일치율 판단 결과 또는 카운트한 동작 횟수는 가이드 영상 재생부(50)로 제공되며 가이드 영상 재생부(50)는 제공받은 동작 일치율 판단 결과를 또는 카운트한 동작 횟수를 출력하여 사용자에게 제공할 수 있다(S100).
도 10은 본 발명의 일 실시예에 따른 프레임 일치율 판단 과정의 일례를 도시한 순서도이다.
도 10을 참조하여 프레임 일치율 판단 과정의 일례를 살펴보면, 프레임 일치율을 판단부(93)는 제1 키 프레임이 재생된 시점으로부터 소정 이내의 시간 동안 촬영되어 수집된 사용자의 영상 프레임 중, 임의로 선택된 하나의 프레임을 제2 키 프레임으로 선택할 수 있다(S511).
제2 키 프레임이 선택되면 제2 골격 이미지 생성부(91)는 프레임 일치율 판단부(93)에서 선택한 제2 키 프레임에 사용자 골격 이미지를 생성하여 부가할 수 있다(S512).
프레임 일치율 판단부(93)는 제2 키 프레임에 사용자 골격 이미지가 생성되면, 제1 키 프레임의 전문가 골격 이미지와 제2 키 프레임의 사용자 골격 이미지를 비교하여 제2 키 프레임의 골격 일치율을 판단할 수 있다(S513).
그리고 프레임 일치율 판단부(93)는 판단한 제2 키 프레임의 골격 일치율을 프레임 일치율로 판단할 수 있다(S514).
도 11은 본 발명의 일 실시예에 따른 프레임 일치율 판단 과정의 다른 예를 도시한 순서도이다.
도 11을 참조하여 프레임 일치율 판단 과정의 다른 예를 살펴보면, 프레임 일치율 판단부(93)는 수집된 사용자 영상의 프레임 중, 제1 키 프레임이 재생된 시점으로부터 소정 이내의 시간 동안 촬영된 하나 이상의 후보 프레임을 선택할 수 있다(S521).
후보 프레임이 선택되면, 제2 골격 이미지 생성부(91)는 선택된 후보 프레임 각각에 사용자 골격 이미지를 생성하여 부가할 수 있다(S522).
후보 프레임 각각에 사용자 골격 이미지가 부가되면, 프레임 일치율 판단부(93)는 제1 키 프레임의 전문가 골격 이미지에 각각의 후보 프레임의 사용자 골격 이미지를 비교하여 각각의 후보 프레임의 골격 일치율을 판단할 수 있다(S523).
그리고 프레임 일치율 판단부(93)는 각각의 후보 프레임 중 판단한 골격 일치율이 가장 높은 후보 프레임을 제2 키 프레임으로 선택하고, 선택한 제2 키 프레임의 골격 일치율을 프레임 일치율로 판단할 수 있다(S524).
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (7)

  1. 전문가의 가이드 동작이 촬영된 가이드 영상을 보며 따라하는 사용자 동작을 평가하는 동작 평가 방법에 있어서,
    상기 가이드 영상을 재생하고 상기 사용자 동작을 촬영하여 사용자 영상을 수집하는 단계;
    상기 가이드 영상의 프레임 중 기지정된 제1 키 프레임의 전문가와, 상기 사용자 영상의 프레임 중 상기 제1 키 프레임에 대응하는 제2 키 프레임의 사용자 간의 비교에 따른 프레임 일치율을 판단하는 단계; 및
    판단한 상기 프레임 일치율에 기초하여 상기 가이드 동작에 대한 상기 사용자 동작의 동작 일치율을 판단하는 단계를 포함하는 것을 특징으로 하는 동작 평가 방법.
  2. 제 1 항에 있어서, 상기 프레임 일치율을 판단하는 단계에서
    상기 프레임 일치율은 상기 제1 키 프레임 상의 전문가 골격 이미지와 상기 제2 키 프레임 상의 사용자 골격 이미지 간의 골격 일치율에 따른 것이며,
    상기 전문가 골격 이미지와 상기 사용자 골격 이미지는 전문가 또는 사용자 신체의 하나 이상의 관절과, 하나 이상의 상기 관절 간의 연결선이 포함되는 것을 특징으로 하는 동작 평가 방법.
  3. 제 2 항에 있어서, 상기 프레임 일치율을 판단하는 단계에서
    상기 가이드 영상의 프레임 중 기지정된 제1 키 프레임의 수는 하나 이상이고,
    각각의 상기 제1 키 프레임의 전문가 골격 이미지에는 상기 제1 키 프레임별로 촬영된 포즈에서 핵심이 되는 신체 부위에 따라 한정 지정된 일부 관절과 연결선에 대한 골격 한정 정보가 부가되어 있으며,
    상기 골격 일치율은 상기 골격 한정 정보에 따라 한정 지정된 일부 관절과 연결선을 기초로 판단한 것을 특징으로 하는 동작 평가 방법.
  4. 제 2 항에 있어서, 상기 프레임 일치율을 판단하는 단계는
    상기 제1 키 프레임이 재생된 시점으로부터 소정 이내의 시간 동안 촬영되어 수집된 상기 사용자의 영상 프레임 중, 임의로 선택된 하나의 프레임을 상기 제2 키 프레임으로 선택하는 단계;
    선택한 상기 제2 키 프레임에 사용자 골격 이미지를 생성하여 부가하는 단계;
    상기 제1 키 프레임의 전문가 골격 이미지와 상기 제2 키 프레임의 사용자 골격 이미지를 비교하여 상기 제2 키 프레임의 골격 일치율을 판단하는 단계; 및
    판단한 상기 제2 키 프레임의 골격 일치율을 상기 프레임 일치율로 판단하는 단계를 포함하는 것을 특징으로 하는 동작 평가 방법.
  5. 제 2 항에 있어서, 상기 프레임 일치율을 판단하는 단계는
    수집된 상기 사용자 영상의 프레임 중, 상기 제1 키 프레임이 재생된 시점으로부터 소정 이내의 시간 동안 촬영된 하나 이상의 후보 프레임을 선택하는 단계;
    선택한 하나 이상의 상기 후보 프레임에 사용자 골격 이미지를 생성하여 부가하는 단계;
    상기 제1 키 프레임의 전문가 골격 이미지에, 각각의 상기 후보 프레임의 사용자 골격 이미지를 비교하여 각각의 상기 후보 프레임의 골격 일치율을 판단하는 단계; 및
    각각의 상기 후보 프레임 중, 판단한 골격 일치율이 가장 높은 후보 프레임을 상기 제2 키 프레임으로 선택하고, 선택한 상기 제2 키 프레임의 골격 일치율을 상기 프레임 일치율로 판단하는 단계를 포함하는 것을 특징으로 하는 동작 평가 방법.
  6. 제 1 항에 있어서, 상기 동작 평가 방법은
    상기 사용자 동작의 촬영을 위한 사용자 위치가 소정 위치 이내인지 여부, 사용자의 신체 정면이 촬영되는지 여부 중, 적어도 하나의 조건을 포함하는 촬영 조건이 충족되었는지 판단하는 단계를 더 포함하고,
    상기 사용자 영상을 수집하는 단계는 상기 가이드 영상의 재생이 요청되면, 상기 촬영 조건이 충족되었을 때 상기 가이드 영상의 재생을 시작하는 것을 특징으로 하는 동작 평가 방법.
  7. 제 1 항에 있어서, 상기 동작 평가 방법은
    상기 동작 일치율이 기준치 이상인 경우에만 카운트하여 상기 사용자 동작 횟수를 카운트하는 단계를 더 포함하는 것을 특징으로 하는 동작 평가 방법.
PCT/KR2021/015151 2021-05-03 2021-10-27 동작 평가 방법 WO2022234906A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0057471 2021-05-03
KR1020210057471A KR102501300B1 (ko) 2021-05-03 2021-05-03 동작 평가 방법

Publications (1)

Publication Number Publication Date
WO2022234906A1 true WO2022234906A1 (ko) 2022-11-10

Family

ID=83932787

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/015151 WO2022234906A1 (ko) 2021-05-03 2021-10-27 동작 평가 방법

Country Status (2)

Country Link
KR (1) KR102501300B1 (ko)
WO (1) WO2022234906A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150139502A1 (en) * 2013-11-21 2015-05-21 Mo' Motion Ventures Jump Shot and Athletic Activity Analysis System
KR20170119338A (ko) * 2016-04-18 2017-10-27 (주)아이들 운동정보 처리 장치 및 방법
KR20180130834A (ko) * 2017-05-30 2018-12-10 (주)유인케어 운동 치료를 위한 동작 가이드 제공 방법 및 장치
KR102000763B1 (ko) * 2018-02-07 2019-07-16 주식회사 인프라웨어테크놀러지 퍼스널 트레이닝 서비스를 제공하는 스마트 미러 장치
US20200222757A1 (en) * 2019-01-15 2020-07-16 Shane Yang Augmented Cognition Methods And Apparatus For Contemporaneous Feedback In Psychomotor Learning

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101840014B1 (ko) * 2017-09-26 2018-03-19 (주)스타캐슬커뮤니케이션즈 음악 매칭 댄싱 동작 인식 장치 및 매칭 방법
KR102157322B1 (ko) 2018-12-13 2020-09-17 (주)아이유웰 피트니스 컨텐츠의 재생 방법
KR102266219B1 (ko) 2019-05-08 2021-06-17 아이픽셀 주식회사 퍼스널 트레이닝 서비스 제공 방법 및 시스템
KR102194282B1 (ko) * 2019-05-17 2020-12-23 네이버 주식회사 포즈 유사도 판별 모델 생성방법 및 포즈 유사도 판별 모델 생성장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150139502A1 (en) * 2013-11-21 2015-05-21 Mo' Motion Ventures Jump Shot and Athletic Activity Analysis System
KR20170119338A (ko) * 2016-04-18 2017-10-27 (주)아이들 운동정보 처리 장치 및 방법
KR20180130834A (ko) * 2017-05-30 2018-12-10 (주)유인케어 운동 치료를 위한 동작 가이드 제공 방법 및 장치
KR102000763B1 (ko) * 2018-02-07 2019-07-16 주식회사 인프라웨어테크놀러지 퍼스널 트레이닝 서비스를 제공하는 스마트 미러 장치
US20200222757A1 (en) * 2019-01-15 2020-07-16 Shane Yang Augmented Cognition Methods And Apparatus For Contemporaneous Feedback In Psychomotor Learning

Also Published As

Publication number Publication date
KR102501300B1 (ko) 2023-02-21
KR20220150127A (ko) 2022-11-10

Similar Documents

Publication Publication Date Title
WO2020040363A1 (ko) 4d 아바타를 이용한 동작가이드장치 및 방법
WO2019088462A1 (ko) 혈압 추정 모델 생성 시스템 및 방법과 혈압 추정 시스템 및 방법
WO2020149591A1 (en) Method and apparatus for detecting abnormality of caller
WO2017051945A1 (ko) 질환 모델 기반의 의료 정보 서비스 제공 방법 및 장치
KR102266219B1 (ko) 퍼스널 트레이닝 서비스 제공 방법 및 시스템
CN105635669B (zh) 基于三维运动捕捉数据与实拍视频的动作对比系统及方法
WO2022050489A1 (ko) 온라인 그룹을 기반으로 하는 홈 트레이닝 제공 시스템 및 그 방법
WO2020235804A1 (ko) 포즈 유사도 판별 모델 생성방법 및 포즈 유사도 판별 모델 생성장치
WO2009107975A1 (en) Image comparison device using personal video recorder and method using the same
US20110021317A1 (en) System and method for displaying anonymously annotated physical exercise data
CN107423674A (zh) 一种基于人脸识别的寻人方法、电子设备及存储介质
WO2021157956A1 (ko) 방송 관리 서버 및 이를 이용한 방송 관리 방법
WO2018090740A1 (zh) 一种基于混合现实技术实现陪伴的方法及装置
WO2022004961A1 (ko) 두 개의 골프영상과 결과 데이터를 하나로 겹쳐서 확인하는 어플리케이션을 이용한 자세비교 및 교정 방법
WO2011115410A2 (en) Apparatus and method for producing user-defined golf course, server for producing user-defined golf course and virtual golf simulation method using the golf course
WO2022234906A1 (ko) 동작 평가 방법
WO2023167553A1 (ko) 운동량 측정을 기반으로 하는 스크린 클라이밍 시스템
WO2022092589A1 (ko) 인공지능 기반의 운동 코칭 장치
WO2016064107A1 (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
JP2009034360A (ja) トレーニングシステムおよびトレーニングシステム用装置
WO2023113492A1 (ko) 카메라와 레이더 센서를 이용한 스포츠 트레이닝 영상 제공방법
WO2013048043A2 (ko) 시각 코드를 이용한 원격 로그인 클라이언트, 모바일 장치, 원격 로그인 서버 및 원격 로그인 방법
CN112057833A (zh) 一种羽毛球正手高远球挥拍动作识别方法
WO2011115412A2 (en) Apparatus and method for producing user-defined golf course, server for producing user-defined golf course and virtual golf simulation method using the golf course
WO2022239988A1 (ko) 댄스 매칭 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21939910

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21939910

Country of ref document: EP

Kind code of ref document: A1