WO2021241920A1 - 피트니스 센터 내 운동 지도 서비스 및 시스템 - Google Patents

피트니스 센터 내 운동 지도 서비스 및 시스템 Download PDF

Info

Publication number
WO2021241920A1
WO2021241920A1 PCT/KR2021/005934 KR2021005934W WO2021241920A1 WO 2021241920 A1 WO2021241920 A1 WO 2021241920A1 KR 2021005934 W KR2021005934 W KR 2021005934W WO 2021241920 A1 WO2021241920 A1 WO 2021241920A1
Authority
WO
WIPO (PCT)
Prior art keywords
exercise
user
touch object
area
coordinates
Prior art date
Application number
PCT/KR2021/005934
Other languages
English (en)
French (fr)
Inventor
권기환
구경모
김지호
Original Assignee
주식회사 픽셀스코프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 픽셀스코프 filed Critical 주식회사 픽셀스코프
Publication of WO2021241920A1 publication Critical patent/WO2021241920A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A63B2024/0015—Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/75—Measuring physiological parameters of the user calorie expenditure
    • A63B2230/755—Measuring physiological parameters of the user calorie expenditure used as a control parameter for the apparatus

Definitions

  • the present invention relates to an exercise guidance service and system in a fitness center, and more particularly, to a service and system for detecting a user's movement using a plurality of sensors and guiding an exercise based thereon.
  • receiving personal guidance from a professional trainer at a fitness center may be a bit difficult for modern people in terms of time, and personally visiting a fitness center may have a disadvantage in that the will to exercise decreases rather quickly.
  • the method using 3D image information can acquire various information such as the location and distance of the touch moment, but there is a technical difficulty in that it is necessary to recognize a person in the image and track it in order to recognize a touch in the image information.
  • An object of the present invention is to solve the above-described problem, and to recognize the user's movement by recognizing the user's touch using a lidar sensor, and to determine whether the user is implementing the correct operation based on this. .
  • Another object of the present invention is to motivate the user when exercising by analyzing the movement of the user identified through the sensor and displaying the exercise results between the users on a central screen.
  • a method for guiding exercise in a fitness center when a user is recognized in a first area detectable by each of at least one lidar sensor, setting the first area to an active state Step a, step b of displaying a guide in the first area based on the exercise set when receiving an exercise set and an exercise start signal from the leader terminal, recognizing the movement of the user performing an exercise through the guide, and the A step c of calculating the accuracy of movement and a step d of calculating calories based on the accuracy corresponding to at least one user, generating a list listed based on the accuracy and calories, and displaying the ranking information on the central screen It is characterized by a job.
  • the present invention provides a system for providing an exercise map service in a fitness center, a sensor unit for recognizing a user in a first area where each of at least one lidar sensor can detect, and when the user is recognized in the first area, the A control unit for activating the use of the first area and recognizing the movement of the user performing an exercise based on a guide corresponding to the exercise set when an exercise set and an exercise start signal are received from the leader terminal, the accuracy of the movement and at least Calculating calories based on the accuracy corresponding to one user, displaying the control unit and the guide for generating a list listed based on the calculated accuracy and calories in the first area, and displaying the list on the central screen It is characterized in that it includes a display unit.
  • a touch can be recognized using a lidar sensor, and a touch can be recognized only by installing a small sensor without large equipment, thereby making it possible to efficiently organize a space.
  • the present invention recognizes the user's movement by recognizing the user's touch using the lidar sensor, determines whether the user is implementing the correct operation based on this, and compares and displays the exercise results between the users on the central screen. It can motivate users when they exercise.
  • the present invention can provide a sense of reality to users using the content by providing a touch recognition technology with high accuracy in technologies related to body motion recognition such as AR and VR content.
  • FIG. 1 is a diagram for explaining an example of a system for providing an exercise guidance service in a fitness center according to an embodiment of the present invention
  • FIG. 2 is a schematic flowchart of an exercise map service according to an embodiment of the present invention.
  • FIG. 3 is a standby screen displayed on a first area of an exercise map service according to an embodiment of the present invention
  • FIG. 5 is a flowchart for explaining a method of detecting a user's movement according to an embodiment of the present invention
  • FIG. 6 is a view for explaining a method for recognizing a touch object according to an embodiment of the present invention.
  • FIG. 7 is a view for explaining a state of a touch object according to an embodiment of the present invention.
  • FIG. 8 is a view for explaining a screen displayed on the center screen according to an embodiment of the present invention.
  • FIG. 9 is a schematic configuration diagram of an exercise guidance system according to an embodiment of the present invention.
  • each component may be implemented as a hardware processor, respectively, the above components may be integrated into one hardware processor, or the above components may be combined with each other and implemented as a plurality of hardware processors.
  • the exercise map system includes a first area 10 where a user is located, a second area (not shown) where a leader is located, a sensor unit 100 for recognizing the user's movement, and a controller for controlling the system. 200 , and a display unit 400 that provides an exercise guide to the first region 10 and controls the central screen 20 .
  • 10 first regions may be formed, and the arrangement of the first regions may be formed in various shapes such as a circle shape as well as a straight line shape.
  • FIG. 2 is a schematic flowchart of an exercise map service according to an embodiment of the present invention.
  • the subject of the exercise trial method according to an embodiment of the present invention may be implemented as a server, and is hereinafter referred to as a server.
  • the server may recognize the user in the first area where each of the at least one lidar sensor can detect.
  • the server when the server recognizes the user in the first area, the server may set the first area to an active state. For example, it is assumed that a total of 10 first areas are configured in the exercise map system, and the server that recognizes the user from the sensors of the four first areas activates only the four first areas, and the user is not recognized. The remaining six first regions may be maintained in an inactive state. In this way, the server can prevent unnecessary power consumption of the exercise guidance system by selectively controlling the sensor of the first area. Furthermore, when another user enters the first area in an inactive state afterward, the sensor of the first area recognizes the other user, and the server receiving it may set the first area to an active state.
  • the server may receive the exercise set selected by the leader from the leader terminal.
  • An exercise set may include at least one motion, either created by the instructor or purchased or rented by another instructor and shared by other instructors. More specifically, the exercise set may be set in units of 30 minutes or 1 hour per set, and movements included in the exercise set may be added or subtracted according to the judgment of the leader.
  • the leader may access the server through the leader terminal in order to share or trade exercise sets with other leaders, select and combine motions registered in the server, and combine at least one motion to create an exercise set.
  • a leader needs an exercise set that includes a push-up, lunge, and sprint motion set
  • the server searches for an exercise set that includes the motion set among already shared workout sets from other instructors. can do. If an exercise set does not exist, or if an existing exercise set is unsatisfactory, the instructor can create an exercise set that includes a push-up-stand-in-place-lunge motion configuration.
  • Doja searches for a suitable exercise set that includes a desired motion among the exercise sets shared on the server, the user can purchase the exercise set or select the rental days and rent it.
  • the leader can check the list of exercise sets he has created and purchased/rented exercise sets through the leader terminal, and when he selects the exercise set he wants to provide to the user from the list, the leader terminal sends the selected exercise set from the leader to the server can be sent to
  • step 400 when the server receives the exercise set from the leader terminal through the above configuration, the server may display a standby screen in the first area.
  • the standby screen means a screen indicating the exercise standby state by displaying 'ready' or 'ready' as shown in FIG. 3 .
  • step 500 when the server receives the exercise start signal from the leader terminal, it ends displaying the standby screen, and sequentially displays a guide for at least one operation included in the received exercise set in the activated first area.
  • the guide according to an embodiment of the present invention will be displayed to guide the location of any one of the body parts when the user needs to touch the ground while performing an operation.
  • the guide displayed on the first area may be as shown in FIG. 4 .
  • step 600 when the user located in the first area performs an exercise based on the guide displayed in the first area, the server may detect the movement of the user's body part (object) through the sensor.
  • the server detects the user's body part (object) and provides sensing information for each object.
  • the sensing information may include at least one of distance, direction, speed, temperature, material distribution and concentration characteristics from the sensor to the object, or 3D image information.
  • the lidar sensor may recognize a motion in which a body part such as a user's hand or foot touches the floor.
  • the sensor according to an embodiment of the present invention senses the floor at a distance of about 4.6 m at an angle of 180 degrees forward, and thus may recognize a motion of the user touching the floor in the sensingable area.
  • the sensingable area may depend on the performance of the lidar sensor used.
  • the server may further include a camera module including a depth camera and/or a 3D camera to simultaneously photograph the first area.
  • the server can grasp the entire user movement with the image captured from the camera module as well as the movement of the touch object recognized through the lidar sensor. Since the motion of the touch object can only detect the motion of simply touching the floor, the present invention can obtain information on how the user's body is moving by further including a camera module.
  • the server may extract the coordinates of the object based on all sensing information collected from the lidar sensor.
  • the server may extract coordinates only for the recognized touch object within the preset angle range. More specifically, the server may extract the coordinates of the object by using the distance and direction included in the sensing information.
  • the coordinates of the object mean coordinates corresponding to the two-dimensional distance map having the location where the sensor is installed as the origin.
  • the server may display the extracted coordinates of the object for each frame in a flat coordinate system that is a two-dimensional distance map.
  • the server may display the object included in the first frame at corresponding coordinates of the first planar coordinate system, and may display the object included in the second frame at corresponding coordinates of the second planar coordinate system. In this way, the server will allocate a plane coordinate system for each frame.
  • the server may perform clustering on at least one or more objects displayed in the planar coordinate system to extract the first touch object of the first frame and the first coordinates of the first touch object.
  • the server may extract the first touch object of the first frame and the first coordinates of the first touch object by using a plane coordinate system in which objects belonging to the first frame are displayed.
  • the server will calculate a first distance between the coordinates of each object in a planar coordinate system in which the object for the first frame is displayed, and perform clustering to form a cluster according to the distance.
  • the server will set the cluster generated by performing clustering by comparing the first distance with a preset first distance threshold as the first touch object.
  • the server may determine that at least one or more objects included in the group having a first distance equal to or less than a first distance threshold value are the first touch objects. In this case, if a plurality of clusters are formed in the first frame, a plurality of first touch objects may also be formed, and sensing information of objects not included in the first touch object will be deleted.
  • the server may extract the first coordinates of the first touch object.
  • the first coordinate may be a point or an area.
  • the server may add the first touch object, the first coordinates of the first touch object, and the number of objects belonging to the first touch object to the touch object list.
  • the server will determine the noise from the first touch object included in the touch object list by using the number of objects included in the first touch object.
  • the server may determine the first touch object as noise.
  • the predetermined level may be different according to the setting of the administrator.
  • the server will remove the first touch object determined to be noise from the touch object list.
  • the process of removing the first touch object determined as noise from the touch object list may be performed before or after adding information on the first touch object to the touch object list.
  • the server will determine the state of the first touch object by using the first touch object and the first coordinates of the first frame included in the touch object list. Referring to FIG. 7 , in order to determine the state of the first touch object, the server may consider a second frame that is a previous frame continuous with the first frame, and a third frame that is a next frame.
  • the second touch object does not exist in the second frame and the first touch object exists in the first frame, it may be determined that the first touch object is in the enter state. This means that there is no sensing information in the previous frame, but a new touch object is sensed, and the new touch object is recognized.
  • the enter state is similar to pressing the mouse button.
  • the server may compare the second distance with a preset second distance threshold, and if the second distance is greater than the second distance threshold, determine the first touch object as the enter state. Since the first touch object is located in a different area from the second touch object, the server may determine that a new touch object has been recognized.
  • the stay state may provide information that a touch object having already sensed information continues to exist.
  • the second distance is smaller than the second distance threshold value and the first coordinate and the second coordinate are not the same, it may be determined that the first touch object is in a moving state. This means that the sensing information is present in the second frame, but the sensing information is sensed at a location other than the same location in the first frame, meaning that the touch object has moved.
  • the move state is similar to the state of dragging the mouse.
  • the first touch object may be determined as an exit state. This means that the first touch object no longer exists in the third frame, and the exit state is similar to the state in which the mouse button is released.
  • a third distance between the first coordinates and the third coordinates of the third touch object in the third frame can be calculated have.
  • the server may compare the third distance with a preset second distance threshold, and if the third distance is greater than the second distance threshold, determine the first touch object as an exit state. Since the first touch object and the third touch object are located in different regions, the server may determine that the first touch object disappears and a new third touch object is recognized. Also, when the third distance is smaller than the second distance threshold, the server may determine the first touch object as a stay state or a move state.
  • the server may determine the movement of the first touch object, that is, the user in consideration of the number of various cases.
  • the server may convert the first coordinates into real coordinates to determine whether the first touch object is located in a preset effective area.
  • the effective area may be the entire sensing area, a divided area of the entire sensing area, or the same area as the guide displayed in the first area.
  • by setting an effective area it is possible to confirm that a touch object enters a specific area or that a touch object is recognized at a specific location.
  • the server may determine the movement of the touch object located in the effective area. Based on the touch object located in the effective area, the server measures the speed of the user's footsteps, or analyzes the information of the touch object recognized in the effective area to measure the sequential movement of the area or the time spent in a specific area. can The server will use the actual coordinates of the touch object and the time at which the touch object is recognized in order to detect the above-described movement of the touch object.
  • the server says that the recognized touch object stayed in the effective area for 1 minute and 10.09 seconds. will judge
  • the server may measure touch counts such as jumps within the effective area.
  • the server may measure the number of jumps by determining that the user is jumping when the first touch object repeatedly appears at the same first coordinates in several consecutive frames.
  • the server may track the user's movement by using the first recognized touch object, the last recognized touch object, and a touch object existing therebetween in the effective area. Through this, the server can also track the motion of lifting or dragging an object located at a specific location.
  • the server may calculate the accuracy of the user's movement and the calories consumed based on the state of the recognized first touch object (the user's body part). More specifically, the server may calculate the accuracy of the user's movement by calculating the accuracy of the first touch object with respect to the guide (effective area). For example, if the first touch object is recognized only in 50% of the effective area, the server may calculate the accuracy of the corresponding effective area as 50%. In other words, the server may calculate the accuracy of each of the plurality of valid areas displayed in the first area and sum them up to derive the accuracy of the user's movement, and further may be reflected in the calculation of consumed calories. The server will calculate step 700 in real time with respect to all actions performed by the user while exercising.
  • the server may use a constant for each exercise, the user's weight, and the number of exercises in order to calculate the calories consumed.
  • the constant for each exercise can be calculated through the amount of muscle strength used, heart rate change, and target constant for each exercise. It is a value divided according to each exercise, and the target constant is an arbitrary value defined for each exercise. It has a value of 0.5 to 0.6 for basic exercise, 0.6 to 0.7 for weight loss, strength maintenance and strengthening exercise, and 0.8 to 1.0 for strength and physical strength increase exercise. can
  • the server may generate a listed list based on the calorie consumption calculated for at least one user exercising in the first area. Through this, the server can instill a competitive spirit in the user, and the user can obtain the driving force to exercise harder through this.
  • the server may display the listed list on the central screen. Furthermore, the server may further display the exercise progress time and/or the remaining time on the central screen. Through this, the server allows the user to obtain exercise-related information at a glance.
  • a screen displayed on the central screen according to an embodiment of the present invention is shown in FIG. 8 .
  • the exercise map apparatus may include a sensor unit 100 , a control unit 200 , a calculation unit 300 , and a display unit 400 .
  • the sensor unit 100 may recognize the user in the first area.
  • the first area means an area detectable by at least one lidar sensor.
  • the LiDAR sensor recognizes that light is reflected off an object after it is emitted, and the distance can be calculated based on the time it takes for the light to return.
  • LiDAR sensors are being used in various fields such as autonomous vehicle driving, construction, and aerial surveying.
  • the lidar sensor may acquire relatively accurate distance information compared to other distance sensors.
  • the sensor unit 100 senses the floor at a distance of about 4.6 m at an angle of 180 degrees forward, and thus may recognize a motion of the user touching the floor in the first sensing area.
  • the sensingable area may depend on the performance of the lidar sensor used.
  • At least one sensor unit 100 may be provided to configure at least one first area to be used by many users.
  • the sensor unit 100 may generate sensing information for each object of the user's body part (object) measured in the first area.
  • the sensing information for each object may include at least one of a distance to an object, a direction, a speed, a temperature, a material distribution and concentration characteristics, or 3D image information.
  • the sensor unit 100 may further include a camera module including a depth camera and/or a 3D camera to simultaneously photograph the first area.
  • the server can grasp the entire user movement with the image captured from the camera module as well as the movement of the touch object recognized through the lidar sensor. Since the motion of the touch object can only detect the motion of simply touching the floor, the present invention can obtain information on how the user's body is moving by further including a camera module.
  • the controller 200 may activate the use of the first area in which the user is located. For example, when a total of 10 first areas are configured in the exercise map system, and the sensor unit 100 recognizes a user in four first areas among them, the controller 100 activates only the corresponding four first areas. and the other six first regions may be maintained in an inactive state.
  • the controller 200 may display a standby screen in the activated first area.
  • the standby screen means a screen notifying the exercise standby state, such as 'ready' or 'ready' as shown in FIG. 3 .
  • An exercise set may include at least one motion, either created by the instructor or purchased or rented by another instructor and shared by other instructors. More specifically, the exercise set may be set in units of 30 minutes or 1 hour per set, and movements included in the exercise set may be added or subtracted according to the judgment of the leader.
  • control unit 200 When the control unit 200 receives the exercise start signal from the leader terminal, it ends displaying the standby screen in the first area and sequentially provides a guide for at least one operation included in the exercise set received in the activated first area.
  • the guide according to an embodiment of the present invention will be displayed to guide the location of any one of the body parts when the user needs to touch the ground while performing an operation.
  • the guide displayed on the first area may be as shown in FIG. 4 .
  • the control unit 200 may detect the movement of the user's body part (object) through the sensor unit 100 . To perform this operation, the control unit 200 may include a coordinate extractor 210 , a data management unit 220 , a state determination unit 230 , a transformation unit 240 , and a motion recognition unit 250 .
  • the coordinate extraction unit 210 may extract the coordinates of the object based on the sensing information for each object generated by the sensor unit 100 .
  • the coordinate extraction unit 210 may extract coordinates only for a touch object recognized within a preset angle range. More specifically, the coordinate extraction unit 210 may extract the coordinates of the object by using the distance and direction included in the sensing information. In this case, the coordinates of the object mean coordinates corresponding to the two-dimensional distance map having the location where the sensor is installed as the origin.
  • the coordinate extractor 210 may display the coordinates of the object for each frame in a planar coordinate system that is a two-dimensional distance map.
  • the coordinate extractor 210 may display the object included in the first frame at corresponding coordinates of the first planar coordinate system, and may display the object included in the second frame at corresponding coordinates of the second planar coordinate system. In this way, the coordinate extraction unit 210 will allocate a planar coordinate system for each frame.
  • the data manager 220 may perform clustering on at least one or more objects displayed in the planar coordinate system to extract the first touch object of the first frame and the first coordinates of the first touch object.
  • the data manager 220 may extract the first touch object of the first frame and the first coordinates of the first touch object by using a planar coordinate system in which objects belonging to the first frame are displayed.
  • the data manager 220 calculates a first distance between coordinates of each object in a plane coordinate system in which an object for the first frame is displayed, and performs clustering to form a cluster according to the distance.
  • the data manager 220 sets the cluster generated by performing clustering by comparing the first distance with a preset first distance threshold as the first touch object.
  • the data management unit 220 may view at least one or more objects included in the cluster, in which the first distance between the objects extracted from the first frame is less than or equal to the first distance threshold, as the first touch object.
  • the data management unit 220 may also set a plurality of first touch objects.
  • the data management unit 220 When the data management unit 220 sets the first touch object, it will extract the first coordinates of the first touch object.
  • the first coordinate may be a point or an area.
  • the data manager 220 may add the first touch object, the first coordinates of the first touch object, and the number of objects belonging to the first touch object to the touch object list.
  • the data manager 220 determines the noise from the first touch object included in the touch object list by using the number of objects included in the first touch object.
  • the data manager 220 may determine the first touch object as noise when the number of objects included in the first touch object is less than a predetermined level. In this case, the predetermined level may be different according to the setting of the administrator.
  • the data manager 220 will remove the first touch object determined to be noise from the list of touch objects. The process of removing the first touch object determined as noise from the touch object list may be performed before or after adding information on the first touch object to the touch object list.
  • the state determination unit 230 may determine the state of the first touch object by using the first touch object and the first coordinates of the first frame extracted from the data management unit 300 included in the touch object list. Referring to FIG. 7 , in order to determine the state of the first touch object, the state determiner 230 may consider a second frame that is a previous frame continuous with the first frame, and a third frame that is a next frame.
  • the state determination unit 230 may check whether the second touch object exists in the second frame. Referring to (1) of FIG. 7 , if the second touch object does not exist in the second frame, the state determiner 230 may determine the first touch object as the enter state. This means that a new touch object is sensed while there is no sensing information in the previous frame, and the new touch object is recognized. The enter state is similar to pressing the mouse button.
  • the state determiner 230 may calculate a second distance between the first coordinates and the second coordinates of the second touch object in the second frame. According to (2) of FIG. 7 , the state determination unit 230 compares the second distance with a preset second distance threshold value, and when the second distance is greater than the second distance threshold value, the first touch object enters the enter state. can judge Since the first touch object is located in a different area from the second touch object, the state determiner 230 may determine that a new touch object has been recognized.
  • the state determination unit 230 may determine the first touch object as a stay state.
  • the stay state may provide information that a touch object having already sensed information continues to exist.
  • the state determination unit 230 determines that the first touch object is in the move state if the first coordinate and the second coordinate are not the same and the second distance is less than the second distance threshold value. can do. This means that the sensing information is present in the second frame, but the sensing information is sensed at a location other than the same location in the first frame, meaning that the touch object has moved.
  • the move state is similar to the state of dragging the mouse.
  • the state determiner 230 may determine the first touch object as an exit state. This means that the first touch object no longer exists in the third frame, and the exit state is similar to the state in which the mouse button is released.
  • the state determiner 230 determines a third distance between the first coordinates and the third coordinates of the third touch object in the third frame. can be calculated.
  • the state determination unit 230 may compare the third distance with a preset second distance threshold and determine the first touch object as an exit state when the third distance is greater than the second distance threshold. Since the first touch object and the third touch object are located in different regions, the state determiner 230 may determine that the first touch object disappears and a new third touch object is recognized.
  • the state determination unit 230 may determine the first touch object as a stay state or a move state when the third distance is smaller than the second distance threshold value.
  • the state determiner 230 may determine the state of the first touch object in consideration of the number of various cases as at least one touch object exists for each frame as described above.
  • the transform unit 240 may convert the first coordinates into actual coordinates to determine whether the first touch object is located in a preset effective area.
  • the effective region may be the entire sensing region or a region obtained by dividing the entire sensing region. In the touch recognition method according to an embodiment of the present invention, by setting an effective area, it is possible to confirm that a touch object enters into a specific area or that the touch object is recognized at a specific location.
  • the motion recognizer 250 may recognize the movement of the touch object located in the effective area.
  • the motion recognition unit 250 measures the speed of a user's footsteps based on the touch object located in the effective area, or analyzes information of the touch object recognized in the effective area to sequentially move the area or stay in a specific area. time can be measured.
  • the motion recognition unit 250 will use the actual coordinates of the touch object and the time at which the touch object is recognized in order to recognize the above-described movement of the touch object.
  • the motion recognition unit 250 may measure a touch count such as a jump within the effective area.
  • the motion recognition unit 250 may determine the number of jumps by determining that the user is jumping when the first touch object repeatedly appears at the same first coordinates in several consecutive frames.
  • the motion recognizer 250 may track the movement of the user by using the first recognized touch object, the last recognized touch object, and a touch object existing therebetween in the effective area. In addition, the motion recognition unit 250 may also track the motion of lifting or dragging an object located at a specific location.
  • the calculator 300 may calculate the accuracy of the user's movement based on the state of the recognized first touch object (the user's body part). More specifically, the calculator 300 may calculate the accuracy of the user's movement by calculating the accuracy of the first touch object with respect to the guide (effective area).
  • the calculation unit 300 may calculate the accuracy of each of the plurality of valid areas displayed in the first area, and sum them up to derive the accuracy of the user's movement. Furthermore, the calculator 300 may further calculate the calorie consumption based on the user's accuracy. The calculator 300 will calculate the accuracy of the movement and the calories consumed in real time for all the operations performed by the user during the exercise.
  • the calculator 300 may list a calorie value based on the accuracy of the movement calculated for each of at least one user exercising in the first area.
  • the display 400 may display the touch object for the effective area in the first area.
  • a beam projector may be used to display the screen on which the touch object is displayed on the display unit 400 at a location corresponding to the actual coordinates, that is, in the effective area of the sensor.
  • the display 400 may induce the user to touch the target position by not only displaying the touch object, but also displaying the target position where the touch object should be located. At this time, the target location will be displayed differently according to the user's body information.
  • the display unit 400 may set the same effective area in each area to induce multi-touch. Also, the display unit 400 may induce the user to touch a specific section reciprocally.
  • the display unit 400 may induce the user's movement by displaying the target location. Due to these characteristics, the touch recognition device of the present invention may be used to guide a user to an appropriate exercise posture. The user may check the target position displayed on the display unit 400 and correct the exercise posture by touching the target position with a hand and/or a foot.
  • the display unit 400 may display the list listed by the operation unit 300 on the central screen, and may further display the exercise progress time and/or the remaining time. This allows the user to obtain exercise-related information at a glance.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 피트니스 센터 내에서 운동을 지도하는 방법에 있어서, 사용자의 움직임을 인식하여 사용자가 정확한 동작을 구현하고 있는 지 판단하는 것을 일 목적으로 한다. 이를 달성하기 위한 본 발명은 적어도 하나의 라이다 센서 각각이 감지 가능한 제1 영역에 사용자가 인식되면, 상기 제1 영역을 활성 상태로 설정하는 a 단계, 지도자 단말로부터 운동 세트 및 운동 시작 신호를 수신하면 상기 운동 세트를 기반으로 상기 제1 영역에 가이드를 표시하는 b 단계, 상기 가이드를 통해 운동을 수행하는 상기 사용자의 움직임을 인식하고, 상기 움직임의 정확도를 연산하는 c 단계 및 적어도 하나의 사용자에 대응하는 정확도를 기반으로 칼로리를 연산하고, 상기 정확도 및 칼로리를 기반으로 리스팅된 리스트를 생성하여 중앙 스크린에 순위 정보를 표시하는 d 단계를 포함하는 것을 특징으로 한다.

Description

피트니스 센터 내 운동 지도 서비스 및 시스템
본 발명은 피트니스 센터 내 운동 지도 서비스 및 시스템에 관한 것으로, 보다 자세하게는 복수 개의 센서를 이용하여 사용자의 움직임을 파악하고, 이를 기반으로 운동을 지도하는 서비스 및 시스템에 관한 것이다.
최근 소득 수준의 향상에 따라 건강에 대한 관심이 증대되면서, 다양한 운동을 즐기는 인구 수가 점점 늘어나고 있으며, 이와 관련하여 피트니스 관련 산업에 대한 관심 역시 증가하고 있다.
그러나 피트니스 센터에서 전문 트레이너의 개인 지도를 받는 것은 현대인들에겐 시간적으로 다소 어려움이 될 수 있으며, 피트니스 센터에 개인적으로 방문하는 것은 운동 의지가 다소 빠르게 감소하는 단점이 있을 수 있다.
이에 따라 피트니스 센터에서 스크린 스포츠를 도입하는 등 소비자에게 다양한 운동 기회를 제공하고 있다. 스크린 스포츠에서 가장 중요한 기술요소는 사용자의 움직임을 인식하는 것인데, 종래의 움직 인식 방법에는 압전 센서를 사용하는 방법과 마이크로소프트사의 키넥트, 인텔사의 리얼센스와 같은 장비를 사용하여 3차원 영상 정보를 사용하는 방법을 주로 사용하였다. 압전 센서를 사용하는 방법은, 오락실에서 볼 수 있는 DDR 펌프 기계의 방식과 유사하여, 실제로 터치가 발생하는 위치 아래에 센서가 설치되어야 하기 때문에 센서 주변부의 터치 인식의 어려움과 터치로 인한 센서의 고장이 쉽게 발생한다는 문제가 있다.
한편 3차원 영상 정보를 사용하는 방법은, 터치 순간의 위치, 거리 등의 다양한 정보를 획득할 수 있으나, 영상 정보에서 터치를 인식하기 위해서는 영상에서 사람을 인식하고 이를 추적해야 한다는 기술적 어려움이 있다.
본 발명은 전술한 문제점을 해결하기 위한 것으로서, 라이다 센서를 이용하여 사용자의 터치를 인식함으로써 사용자의 움직임을 파악하고, 이를 기반으로 사용자가 정확한 동작을 구현하고 있는 지를 파악하는 것을 일 목적으로 한다.
또한 본 발명은 센서를 통해 파악된 사용자의 움직임을 분석하여 중앙 스크린에 사용자 간 운동 결과를 비교 표시하여 사용자가 운동할 때 동기를 부여하는 것을 일 목적으로 한다.
이러한 목적을 달성하기 위한 본 발명은 피트니스 센터 내에서 운동을 지도하는 방법에 있어서, 적어도 하나의 라이다 센서 각각이 감지 가능한 제1 영역에 사용자가 인식되면, 상기 제1 영역을 활성 상태로 설정하는 a 단계, 지도자 단말로부터 운동 세트 및 운동 시작 신호를 수신하면 상기 운동 세트를 기반으로 상기 제1 영역에 가이드를 표시하는 b 단계, 상기 가이드를 통해 운동을 수행하는 상기 사용자의 움직임을 인식하고, 상기 움직임의 정확도를 연산하는 c 단계 및 적어도 하나의 사용자에 대응하는 정확도를 기반으로 칼로리를 연산하고, 상기 정확도 및 칼로리를 기반으로 리스팅된 리스트를 생성하여 중앙 스크린에 순위 정보를 표시하는 d 단계를 포함하는 것을 일 특징으로 한다.
또한 본 발명은 피트니스 센터 내에서 운동 지도 서비스를 제공하는 시스템에 있어서, 적어도 하나의 라이다 센서 각각이 감지 가능한 제1 영역에서 사용자를 인식하는 센서부, 상기 제1 영역에 상기 사용자가 인식되면 상기 제1 영역의 사용을 활성화하고, 지도자 단말로부터 운동 세트 및 운동 시작 신호를 수신하면 상기 운동 세트에 대응하는 가이드를 기반으로 운동을 수행하는 상기 사용자의 움직임을 인식하는 제어부, 상기 움직임의 정확도 및 적어도 하나의 사용자에 대응하는 정확도를 기반으로 칼로리를 연산하며, 연산된 정확도 및 칼로리를 기반으로 리스팅 된 리스트를 생성하는 제어부 및 상기 가이드를 상기 제1 영역에 표시하고, 상기 리스트를 중앙 스크린에 표시하는 디스플레이부를 포함하는 것을 일 특징으로 한다.
전술한 바와 같은 본 발명에 의하면, 라이다 센서를 이용하여 터치를 인식할 수 있어, 큰 장비 없이 소형 센서 설치만으로 터치를 인식할 수 있어 공간 구성을 효율적으로 할 수 있다.
또한 본 발명은 라이다 센서를 이용하여 사용자의 터치를 인식함으로써 사용자의 움직임을 파악하고, 이를 기반으로 사용자가 정확한 동작을 구현하고 있는 지를 판단하며, 또한 중앙 스크린에 사용자 간 운동 결과를 비교 표시하여 사용자가 운동할 때 동기를 부여할 수 있다.
또한 본 발명은 AR, VR 컨텐츠와 같은 신체 동작 인식과 관련된 기술에서 높은 정확도의 터치 인식 기술을 제공함으로써 컨텐츠를 이용하는 사용자에게 실재감을 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 의한 피트니스 센터 내 운동 지도 서비스를 제공하는 시스템의 일 예를 설명하기 위한 도면,
도 2는 본 발명의 일 실시 예에 의한 운동 지도 서비스의 대략적인 순서도,
도 3은 본 발명의 일 실시 예에 의한 운동 지도 서비스의 제1 영역에 표시되는 대기 화면,
도 4는 본 발명의 일 실시 예에 의한 운동 지도 서비스의 제1 영역에 표시되는 가이드,
도 5는 본 발명의 일 실시 예에 의한 사용자의 움직임을 감지하는 방법을 설명하기 위한 순서도,
도 6은 본 발명의 일 실시 예에 의한 터치 객체를 인식하는 방법을 설명하기 위한 도면,
도 7은 본 발명의 일 실시 예에 의한 터치 객체의 상태를 설명하기 위한 도면,
도 8은 본 발명의 일 실시 예에 의한 중앙 스크린에 표시되는 화면을 설명하기 위한 도면,
도 9는 본 발명의 일 실시 예에 의한 운동 지도 시스템의 대략적인 구성도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.
본 명세서에서 사용되는 용어는 단지 특정 예시적 실시 예들을 설명할 목적을 가지고 있으며 한정할 의도로 사용되는 것이 아니다. 본 명세서에서 사용된 바와 같은 단수적 표현들은 또한, 해당 문장에서 명확하게 달리 표시하지 않는 한, 복수의 의미를 포함하도록 의도될 수 있다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다. 용어 "포함한다", "포함하는", "포함하고 있는", "구비하는", "갖는", "가지고 있는" 등은 내포적 의미를 갖는 바, 이에 따라 이러한 용어들은 그 기재된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트를 특정하며, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 혹은 추가를 배제하지 않는다. 본 명세서에서 설명되는 방법의 단계 들, 프로세스들, 동작들은, 구체적으로 그 수행 순서가 확정되는 경우가 아니라면, 이들의 수행을 논의된 혹은 예시된 그러한 특정 순서로 반드시 해야 하는 것으로 해석돼서는 안 된다. 추가적인 혹은 대안적인 단계들이 사용될 수 있음을 또한 이해해야 한다.
또한, 각각의 구성요소는 각각 하드웨어 프로세서로 구현될 수 있고, 위 구성요소들이 통합되어 하나의 하드웨어 프로세서로 구현될 수 있으며, 또는 위 구성요소들이 서로 조합되어 복수 개의 하드웨어 프로세서로 구현될 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 의한 피트니스 센터 내 운동 지도 서비스를 제공하는 시스템의 일 예를 설명하기 위한 도면이다. 도 1을 참조하면, 운동 지도 시스템은 사용자가 위치하는 제1 영역(10), 지도자가 위치하는 제2 영역(미도시), 사용자의 움직임을 인식하는 센서부(100), 시스템을 컨트롤하는 제어부(200), 그리고 제1 영역(10)에 운동 가이드를 제공하고 중앙 스크린(20)을 제어하는 디스플레이부(400)를 포함한다. 도 1의 예에 의하면 제1 영역은 10개로 구성될 수 있으며, 제1 영역의 배치는 직선 형태 뿐 아니라 원 형태 등 다양한 모양으로 형성될 수 있다.
도 2는 본 발명의 일 실시 예에 의한 운동 지도 서비스의 대략적인 순서도이다. 본 발명의 일 실시 예에 의한 운동 시도 방법의 주체는 서버로 구현될 수 있는 바, 이하에서는 서버로 명명한다.
단계 100에서, 서버는 적어도 하나의 라이다 센서 각각이 감지 가능한 제1 영역에서, 사용자를 인식할 수 있다.
단계 200에서, 서버는 제1 영역에서 사용자를 인식하면, 제1 영역을 활성 상태로 설정할 수 있다. 예를 들어 운동 지도 시스템에 총 10개의 제1 영역이 구성되어 있다고 가정하고, 그 중 4개의 제1 영역의 센서로부터 사용자를 인식한 서버는 4개의 제1 영역만을 활성화하고, 사용자가 인식되지 않은 나머지 6개의 제1 영역은 비활성 상태로 유지할 수 있다. 이와 같이 서버는 제1 영역의 센서를 선택적으로 제어함으로써 운동 지도 시스템의 불필요한 전력 소모를 방지할 수 있다. 나아가 이후에 다른 사용자가 비활성 상태의 제1 영역에 진입하면, 해당 제1 영역의 센서는 다른 사용자를 인식하게 되고 이를 수신한 서버는 해당 제1 영역을 활성 상태로 설정할 수 있다.
단계 300에서, 서버는 지도자 단말로부터 지도자가 선택한 운동 세트를 수신할 수 있다. 운동 세트는 지도자가 직접 생성하거나 또는 다른 지도자가 생성하여 공유한 것을 구매 또는 대여한 것으로, 적어도 하나의 동작을 포함할 것이다. 보다 구체적으로 운동 세트는 한 세트 당 30분 또는 1시간 단위로 설정될 수 있으며 지도자의 판단에 따라 운동 세트에 포함된 동작을 더하거나 감할 수 있다.
지도자는 다른 지도자와 운동 세트를 공유 또는 거래하기 위하여 지도자 단말을 통해 서버에 접속할 수 있으며, 서버에 등록된 동작을 선택 및 조합하여 적어도 하나의 동작을 조합하여 운동 세트를 생성할 수 있다.
예를 들어, 지도자는 팔굽혀펴기, 런지, 왕복달리기의 동작 구성을 포함하는 운동 세트를 필요로 하여, 서버에 다른 지도자로부터 이미 공유된 운동 세트 중 상기 동작 구성을 포함하는 운동 세트가 있는 지 검색할 수 있다. 만약 운동 세트가 존재하지 않거나, 존재하는 운동 세트가 만족스럽지 못할 경우 지도자는 팔굽혀펴기 - 제자리뛰기 - 런지의 동작 구성을 포함하는 운동 세트를 생성할 수 있다. 도자는 서버에 공유된 운동 세트 중 원하는 동작을 포함하는 적합한 운동 세트를 검색하면, 운동 세트를 구매하거나 대여 일수를 선택하여 대여할 수 있다.
지도자는 자신이 생성한 운동 세트 및 구매/대여한 운동 세트의 리스트를 지도자 단말을 통해 확인할 수 있으며, 상기 리스트에서 사용자에게 제공하고자 하는 운동 세트를 선택하면, 지도자 단말은 지도자로부터 선택된 운동 세트를 서버에 전송할 수 있다.
단계 400에서, 서버는 상기 구성을 통해 지도자 단말로부터 운동 세트를 수신하면, 제1 영역에 대기 화면을 표시할 수 있다. 대기 화면은 도 3과 같이 '준비' 혹은 'ready' 등을 표시하여 운동 대기 상태를 알리는 화면을 의미한다.
단계 500에서, 서버는 지도자 단말로부터 운동 시작 신호를 수신하면, 대기 화면을 표시하는 것을 종료하고, 활성화된 제1 영역에 수신된 운동 세트에 포함되는 적어도 하나의 동작에 대한 가이드를 순차적으로 표시할 수 있다. 본 발명의 일 실시 예에 의한 가이드는 사용자가 동작을 수행함에 있어서 신체 부위 중 어느 하나가 지면에 닿아야 할 경우, 그 위치를 안내하기 위하여 표시될 것이다. 본 발명의 일 실시 예에 의하여 제1 영역에 표시되는 가이드는 도 4와 같을 수 있다.
단계 600에서, 서버는 제1 영역에 위치한 사용자가 제1 영역에 표시되는 가이드를 기반으로 운동을 수행하면, 센서를 통해 사용자의 신체 부위(객체)의 움직임을 감지할 수 있다. 단계 600을 보다 구체적으로 설명하기 위하여 사용자의 움직임을 감지하는 방법을 설명하기 위한 순서도가 도시된 도 5를 참조하면, 단계 610에서 서버는 사용자의 신체 부위(객체)를 감지하여 객체 별 센싱 정보를 생성할 수 있다. 센싱 정보는 센서로부터 객체까지의 거리, 방향, 속도, 온도, 물질 분포 및 농도 특성 또는 3D 영상 정보 중 적어도 하나를 포함할 수 있다. 라이다 센서는 바닥을 센싱함으로써, 사용자의 손, 발 등 신체 부위가 바닥을 터치하는 동작을 인식할 수 있다.
본 발명의 일 실시 예에 의한 센서는 전방 180도 각도로 약 4.6m의 거리의 바닥을 센싱함으로써, 센싱 가능 영역에서 사용자가 바닥을 터치하는 동작을 인식할 수 있다. 센싱 가능 영역은 사용되는 라이다 센서의 성능에 따라 좌우될 수 있다.
나아가 서버는 깊이 카메라 및/또는 3D 카메라를 포함하는 카메라 모듈을 더 구비하여, 제1 영역 영역을 동시에 촬영할 수 있다. 서버는 라이더 센서를 통해 인식된 터치 객체의 움직임 뿐 아니라 카메라 모듈로부터 촬영된 영상으로 사용자 움직임 전체를 파악할 수 있다. 터치 객체의 움직임은 단순히 바닥을 터치하는 동작만을 파악할 수 있기 때문에, 본 발명은 카메라 모듈을 더 구비함으로써 사용자가 신체를 어떻게 움직이고 있는 지에 대한 정보를 획득 가능하다.
단계 620에서, 서버는 라이다 센서로부터 수집한 모든 센싱 정보를 기반으로 객체의 좌표를 추출할 수 있다. 서버는 기 설정된 각도 범위 내에서 인식된 터치 객체에 대해서만 좌표를 추출할 수 있다. 보다 구체적으로 서버는 센싱 정보에 포함된 거리와 방향을 이용하여 객체의 좌표를 추출할 수 있다. 이 때 객체의 좌표는 센서가 설치된 위치를 원점으로 하는 2차원 거리맵에 대응하는 좌표를 의미한다.
나아가 서버는 추출한 각 프레임 별 객체의 좌표를 2차원 거리맵인 평면 좌표계에 표시할 수 있다. 서버는 제1 프레임에 포함된 객체를 제1 평면 좌표계의 해당 좌표에 표시할 수 있고, 제2 프레임에 포함된 객체를 제2 평면 좌표계의 해당 좌표에 표시할 수 있다. 이와 같이 서버는 프레임마다 평면 좌표계를 할당할 것이다.
단계 630에서, 서버는 평면 좌표계에 표시된 적어도 하나 이상의 객체에 대한 클러스터링을 수행하여, 제1 프레임의 제1 터치 객체 및 제1 터치 객체의 제1 좌표를 추출할 수 있다. 서버는 제1 프레임에 속한 객체를 표시한 평면 좌표계를 이용하여 제1 프레임의 제1 터치 객체 및 제1 터치 객체의 제1 좌표를 추출할 수 있다.
구체적으로, 서버는 제1 프레임에 대한 객체가 표시된 평면 좌표계에서, 각 객체의 좌표들 간의 제1 거리를 연산하여 거리에 따라 군집을 형성하는 클러스터링을 수행할 것이다. 서버는 제1 거리와 기 설정된 제1 거리 임계 값을 비교하여 클러스터링을 수행함으로써 생성된 군집을 제1 터치 객체로 설정할 것이다.
도 6을 참조하면, 서버는 제1 거리가 제1 거리 임계 값 이하인, 군집에 포함되는 적어도 하나 이상의 객체를 제1 터치 객체라고 판단할 수 있다. 이 때, 제1 프레임에 군집이 복수 개 형성되면, 제1 터치 객체도 복수 개 형성될 수 있으며, 제1 터치 객체에 포함되지 않는 객체의 센싱 정보는 삭제될 것이다.
서버는 제1 터치 객체를 설정하면, 제1 터치 객체의 제1 좌표를 추출할 수 있다. 이 때, 제1 좌표는 한 점일 수도 있고 영역일 수도 있다. 서버는 제1 터치 객체, 제1 터치 객체의 제1 좌표, 그리고 제1 터치 객체에 속하는 객체의 수를 터치 객체 리스트에 추가할 수 있다.
한편, 서버는 터치 객체 리스트에 포함된 제1 터치 객체에서, 제1 터치 객체에 포함된 객체의 수를 이용하여 노이즈를 판단할 것이다. 서버는 제1 터치 객체에 포함된 객체의 수가 일정 수준 미만이면 제1 터치 객체를 노이즈로 판단할 수 있다. 이 때, 일정 수준은 관리자의 설정에 따라 상이할 수 있다. 서버는 노이즈라고 판단된 제1 터치 객체를 터치 객체 리스트에서 제거할 것이다.
노이즈라고 판단된 제1 터치 객체를 터치 객체 리스트에서 제거하는 과정은, 제1 터치 객체에 대한 정보를 터치 객체 리스트에 추가하기 이전에 수행될 수도, 이후에 수행될 수도 있다.
단계 640에서, 서버는 터치 객체 리스트에 포함된 제1 프레임의 제1 터치 객체 및 제1 좌표를 이용하여, 제1 터치 객체의 상태를 판단할 것이다. 도 7을 참조하면, 서버는 제1 터치 객체의 상태를 판단하기 위하여, 제1 프레임과 연속하는 이전 프레임인 제2 프레임과 다음 프레임인 제3 프레임을 고려할 수 있다.
서버는 제1 터치 객체의 상태를 판단하는 과정에 있어서,
(1) 제2 프레임에 제2 터치 객체가 존재하지 않고, 제1 프레임에 제1 터치 객체가 존재하면, 제1 터치 객체를 enter 상태로 판단할 수 있다. 이는 이전 프레임에서 센싱 정보가 없다가 새로운 터치 객체가 센싱된 것으로, 새로운 터치 객체가 인식되었음을 의미한다. enter 상태는 마우스 버튼을 누르는 상태와 유사하다.
(2) 제2 프레임에 제2 터치 객체가, 제1 프레임에 제1 터치 객체가 존재하면, 제1 좌표와 제2 프레임에서의 제2 터치 객체의 제2 좌표 사이의 제2 거리를 연산할 수 있다. 도 7의 (2)에 따르면, 서버는 제2 거리와 기 설정된 제2 거리 임계 값을 비교하여, 제2 거리가 제2 거리 임계 값보다 크면 제1 터치 객체를 enter 상태로 판단할 수 있다. 서버는 제1 터치 객체가 제2 터치 객체와는 다른 영역에 위치하기 때문에, 새로운 터치 객체가 인식되었다고 판단할 수 있다.
(3) 제2 거리가 제2 거리 임계 값 보다 작고, 제1 좌표와 제2 좌표가 동일하면 제1 터치 객체를 stay 상태로 판단할 수 있다. stay 상태는 이미 센싱 정보가 있는 터치 객체가 계속하여 존재한다는 정보를 제공할 수 있다.
(4) 제2 거리가 제2 거리 임계 값 보다 작고, 제1 좌표와 제2 좌표가 동일하지 않으면 제1 터치 객체를 move 상태로 판단할 수 있다. 이는 제2 프레임에 센싱 정보가 존재하나, 제1 프레임에서는 같은 위치가 아닌 다른 위치에서 센싱된 것으로, 터치 객체가 이동하였음을 의미한다. move 상태는 마우스를 드래그하는 상태와 유사하다.
(5) 제1 프레임에 제1 터치 객체가 존재하고, 제3 프레임에 제3 터치 객체가 존재하지 않으면, 제1 터치 객체를 exit 상태로 판단할 수 있다. 이는 제1 터치 객체가 제3 프레임에는 더 이상 존재하지 않음을 의미하며, exit 상태는 마우스 버튼을 떼는 상태와 유사하다.
(6) 제1 프레임에 제1 터치 객체가, 제3 프레임에 제3 터치 객체가 존재하면, 제1 좌표와 제3 프레임에서 제3 터치 객체의 제3 좌표 사이의 제3 거리를 연산할 수 있다. 서버는 제3 거리와 기 설정된 제2 거리 임계 값을 비교하여, 제3 거리가 제2 거리 임계 값 보다 크면 제1 터치 객체를 exit 상태로 판단할 수 있다. 서버는 제1 터치 객체와 제3 터치 객체가 다른 영역에 위치하기 때문에, 제1 터치 객체가 사라지고 새로운 제3 터치 객체가 인식되었다고 판단할 수 있다. 또한 서버는 제3 거리가 제2 거리 임계 값보다 작으면 제1 터치 객체를 stay 상태 또는 move 상태로 판단할 수 있다.
서버는 위와 같이 일 프레임마다 적어도 하나 이상의 터치 객체가 존재함에 따라, 다양한 경우의 수를 고려하여 제1 터치 객체, 즉 사용자의 움직임을 판단할 수 있다.
단계 650에서, 서버는 제1 좌표를 실제 좌표로 변환하여, 제1 터치 객체가 기 설정된 유효 영역에 위치하는 지를 판단할 수 있다. 유효 영역은 전체 센싱 영역일 수 있고, 전체 센싱 영역을 분할한 영역일 수도 있고, 제1 영역에 표시된 가이드와 동일한 영역일 수도 있다. 본 발명의 일 실시 예에 의한 운동 지도 방법은, 유효 영역을 설정함으로써 특정 영역 내에 터치 객체가 진입하거나 특정 위치에서 터치 객체가 인식되는 것을 확인할 수 있다.
단계 660에서, 서버는 유효 영역에 위치한 터치 객체의 움직임을 파악할 수 있다. 서버는 유효 영역에 위치한 터치 객체를 기반으로, 사용자가 뛰는 발걸음의 속도를 측정하거나, 유효 영역에서 인식되는 터치 객체의 정보를 분석하여 영역을 순차적으로 움직이는 동작이나 특정 영역에 머무르는 시간 등을 측정할 수 있다. 서버는 상술한 터치 객체의 움직임을 파악하기 위해 터치 객체의 실제 좌표와 터치 객체가 인식된 시간을 이용할 것이다.
예를 들어, 유효 영역에서 터치 객체가 12시 24분 31.44초에 처음 인식되고, 12시 25분 41.53초에 마지막으로 인식되면, 서버는 인식된 터치 객체가 1분 10.09초동안 유효 영역에 머물렀다고 판단할 것이다.
나아가 서버는 유효 영역 내에서 점프와 같은 터치 카운트를 측정할 수 있다. 서버는 여러 개의 연속되는 프레임에서, 제1 터치 객체가 동일한 제1 좌표에 반복적으로 나타나면 사용자가 점프하고 있다고 판단하여 점프 횟수를 측정할 수 있다.
또한 서버는 유효 영역에서 처음 인식된 터치 객체와 마지막으로 인식된 터치 객체, 그리고 그 사이에 존재하는 터치 객체를 이용하여 사용자의 동선을 추적할 수 있다. 이를 통해 서버는 특정 위치에 위치한 물체를 들어서 혹은 끌어서 옮기는 모션에 대한 추적 또한 가능하다.
다시 도 2에 대한 설명으로 복귀하면, 단계 700에서, 서버는 인식된 제1 터치 객체(사용자의 신체 부위)의 상태를 기반으로 사용자의 움직임의 정확도 및 소모 칼로리를 연산할 수 있다. 보다 구체적으로, 서버는 가이드(유효 영역)에 대한 제1 터치 객체의 정확도를 연산하여 사용자의 움직임에 대한 정확도를 연산할 수 있다. 예를 들어 유효 영역의 50%에서만 제1 터치 객체가 인식되면, 서버는 해당 유효 영역의 정확도를 50%로 연산할 수 있다. 다시 말해서 서버는 제1 영역에 표시되는 복수 개의 유효 영역 각각에 대한 정확도를 연산하고 이를 합산하여 사용자 움직임의 정확도를 도출할 수 있으며, 나아가 소모 칼로리의 연산에 반영할 수 있다. 서버는 단계 700을 사용자가 운동을 진행함에 있어서 수행하는 모든 동작에 대하여 실시간으로 연산할 것이다.
서버는 소모 칼로리를 연산하기 위하여 운동별 상수, 사용자의 체중 및 운동횟수를 사용할 수 있다. 운동별 상수는 수학식 1과 같이 개별 운동의 근력 사용량, 심박수 변화량, 목표 상수를 통해 산정될 수 있으며, 이 중 근력상수는 사용하는 신체부위(팔, 등근육, 허벅지, 복근, 허리 등)에 따라 구분된 값이며, 목표 상수는 운동 별로 정의된 임의의 값으로 기본 운동은 0.5~0.6, 체중감량, 근력유지 및 강화 운동은 0.6~0.7, 근력, 체력 증강 운동은 0.8~1.0의 값을 가질 수 있다.
Figure PCTKR2021005934-appb-img-000001
단계 800에서, 서버는 제1 영역에서 운동 중인 적어도 하나의 사용자에 대하여 연산된 소모 칼로리를 기반으로 리스팅된 리스트를 생성할 수 있다. 이를 통해 서버는 사용자에게 경쟁심리를 심어줄 수 있으며 사용자는 이를 통해 운동을 보다 열심히 하고자 하는 원동력을 얻을 수 있다.
단계 900에서, 서버는 리스팅된 리스트를 중앙 스크린에 표시할 수 있다. 나아가 서버는 중앙 스크린에 운동 진행 시간 및/또는 잔여 시간을 더 표시할 수 있다. 이를 통해 서버는 사용자가 한 눈에 운동 관련 정보를 획득할 수 있게 한다. 본 발명의 일 실시 예에 의한 중앙 스크린에 표시되는 화면은 도 8과 같다.
도 9는 본 발명의 일 실시 예에 의한 운동 지도 시스템의 대략적인 구성도이다. 도 9를 참조하면, 운동 지도 장치는 센서부(100), 제어부(200), 연산부(300), 그리고 디스플레이부(400)를 포함할 수 있다.
센서부(100)는 제1 영역에서 사용자를 인식할 수 있다. 이 때 제1 영역은 적어도 하나의 라이다 센서가 감지 가능한 영역을 의미한다. 라이다 센서(LiDAR) 센서는 빛을 방출한 후 물체에 반사되어 돌아오는 것을 인식하여 빛이 돌아오는 데 걸리는 시간을 통해 거리를 연산할 수 있다. 라이다 센서는 차량의 자율주행 분야, 건설 분야, 항공측량 분야 등 다양한 분야에 활용되고 있다. 라이다 센서는 다른 거리 센서와 대비하여 비교적 정확한 거리 정보를 획득할 수 있다.
센서부(100)는 전방 180도 각도로 약 4.6m의 거리의 바닥을 센싱함으로써, 센싱이 가능한 제1 영역에서 사용자가 바닥을 터치하는 동작을 인식할 수 있다. 센싱 가능 영역은 사용되는 라이다 센서의 성능에 따라 좌우될 수 있다. 센서부(100)는 적어도 하나 구비되어 많은 사용자가 이용할 수 있도록 적어도 하나의 제1 영역을 구성할 수 있다.
센서부(100)는 제1 영역에서 측정된 사용자의 신체 부위(객체)에 대한 객체 별 센싱 정보를 생성할 수 있다. 객체 별 센싱 정보는 객체까지의 거리, 방향, 속도, 온도, 물질 분포 및 농도 특성 또는 3D 영상 정보 중 적어도 하나를 포함할 수 있다.
나아가 센서부(100)는 깊이 카메라 및/또는 3D 카메라를 포함하는 카메라 모듈을 더 구비하여, 제1 영역 영역을 동시에 촬영할 수 있다. 서버는 라이더 센서를 통해 인식된 터치 객체의 움직임 뿐 아니라 카메라 모듈로부터 촬영된 영상으로 사용자 움직임 전체를 파악할 수 있다. 터치 객체의 움직임은 단순히 바닥을 터치하는 동작만을 파악할 수 있기 때문에, 본 발명은 카메라 모듈을 더 구비함으로써 사용자가 신체를 어떻게 움직이고 있는 지에 대한 정보를 획득 가능하다.
제어부(200)는 센서부(100)를 통해 제1 영역에 사용자가 위치한다고 인식하면, 사용자가 위치한 제1 영역의 사용을 활성화할 수 있다. 예를 들어 운동 지도 시스템에 총 10개의 제1 영역이 구성되어 있고, 센서부(100)에서 그 중 4개의 제1 영역에서 사용자를 인식하면, 제어부(100)는 해당 4개의 제1 영역만을 활성화하고 다른 6개의 제1 영역은 비활성 상태로 유지할 수 있다.
제어부(200)는 운동 지도를 담당하는 지도자의 단말로부터 운동 세트를 수신하면, 활성화된 제1 영역에 대기 화면을 표시할 수 있다. 대기 화면은 도 3과 같이 '준비' 혹은 'ready' 등과 같이 운동 대기 상태를 알리는 화면을 의미한다. 운동 세트는 지도자가 직접 생성하거나 또는 다른 지도자가 생성하여 공유한 것을 구매 또는 대여한 것으로, 적어도 하나의 동작을 포함할 것이다. 보다 구체적으로 운동 세트는 한 세트 당 30분 또는 1시간 단위로 설정될 수 있으며 지도자의 판단에 따라 운동 세트에 포함된 동작을 더하거나 감할 수 있다.
제어부(200)는 지도자 단말로부터 운동 시작 신호를 수신하면, 제1 영역에 대기 화면을 표시하는 것을 종료하고 활성화된 제1 영역에 수신된 운동 세트에 포함되는 적어도 하나의 동작에 대한 가이드를 순차적으로 표시할 수 있다. 본 발명의 일 실시 예에 의한 가이드는 사용자가 동작을 수행함에 있어서 신체 부위 중 어느 하나가 지면에 닿아야 할 경우, 그 위치를 안내하기 위하여 표시될 것이다. 본 발명의 일 실시 예에 의하여 제1 영역에 표시되는 가이드는 도 4와 같을 수 있다.
제어부(200)는 제1 영역에 위치한 사용자가 제1 영역에 표시되는 가이드를 기반으로 운동을 수행하면, 센서부(100)를 통해 사용자의 신체 부위(객체)의 움직임을 감지할 수 있다. 이러한 동작을 수행하기 위해 제어부(200)는 좌표 추출부(210), 데이터 관리부(220), 상태 판단부(230), 변환부(240), 그리고 모션 인식부(250)를 포함할 수 있다.
좌표 추출부(210)는 센서부(100)에서 생성된 객체 별 센싱 정보를 기반으로 객체의 좌표를 추출할 수 있다. 좌표 추출부(210)는 기 설정된 각도 범위 내에서 인식된 터치 객체에 대해서만 좌표를 추출할 수 있다. 보다 구체적으로 좌표 추출부(210)는 센싱 정보에 포함된 거리와 방향을 이용하여 객체의 좌표를 추출할 수 있다. 이 때 객체의 좌표는 센서가 설치된 위치를 원점으로 하는 2차원 거리맵에 대응하는 좌표를 의미한다.
좌표 추출부(210)는 각 프레임 별 객체의 좌표를 2차원 거리맵인 평면 좌표계에 표시할 수 있다. 좌표 추출부(210)는 제1 프레임에 포함된 객체를 제1 평면 좌표계의 해당 좌표에 표시할 수 있고, 제2 프레임에 포함된 객체를 제2 평면 좌표계의 해당 좌표에 표시할 수 있다. 이와 같이 좌표 추출부(210)는 프레임마다 평면 좌표계를 할당할 것이다.
데이터 관리부(220)는 평면 좌표계에 표시된 적어도 하나 이상의 객체에 대한 클러스터링을 수행하여, 제1 프레임의 제1 터치 객체 및 제1 터치 객체의 제1 좌표를 추출할 수 있다. 데이터 관리부(220)는 제1 프레임에 속한 객체를 표시한 평면 좌표계를 이용하여 제1 프레임의 제1 터치 객체 및 제1 터치 객체의 제1 좌표를 추출할 수 있다.
데이터 관리부(220)는 제1 프레임에 대한 객체가 표시된 평면 좌표계에서, 각 객체의 좌표들 간의 제1 거리를 연산하여, 거리에 따라 군집을 형성하는 클러스터링을 수행할 것이다. 데이터 관리부(220)는 제1 거리와 기 설정된 제1 거리 임계 값을 비교하여 클러스터링을 수행함으로써 생성된 군집을 제1 터치 객체로 설정할 것이다.
도 6을 참조하면, 데이터 관리부(220)는 제1 프레임에서 추출된 객체들 간의 제1 거리가 제1 거리 임계 값 이하인, 군집에 포함되는 적어도 하나 이상의 객체를 제1 터치 객체로 볼 수 있다. 데이터 관리부(220)는 제1 프레임에 군집이 복수 개 형성되면, 제1 터치 객체도 복수 개 설정할 수 있다.
데이터 관리부(220)는 제1 터치 객체를 설정하면, 제1 터치 객체의 제1 좌표를 추출할 것이다. 이 때, 제1 좌표는 한 점일 수도 있고 영역일 수도 있다. 데이터 관리부(220)는 제1 터치 객체, 제1 터치 객체의 제1 좌표, 제1 터치 객체에 속하는 객체의 수를 터치 객체 리스트에 추가할 수 있다.
한편 데이터 관리부(220)는 터치 객체 리스트에 포함된 제1 터치 객체에서, 제1 터치 객체에 포함된 객체의 수를 이용하여 노이즈를 판단할 것이다. 데이터 관리부(220)는 제1 터치 객체에 포함된 객체의 수가 일정 수준 미만이면 제1 터치 객체를 노이즈로 판단할 수 있다. 이 때, 일정 수준은 관리자의 설정에 따라 상이할 수 있다. 데이터 관리부(220)는 노이즈라고 판단된 제1 터치 객체를 터치 객체 리스트에서 제거할 것이다. 노이즈라고 판단된 제1 터치 객체를 터치 객체 리스트에서 제거하는 과정은, 제1 터치 객체에 대한 정보를 터치 객체 리스트에 추가하기 이전에 수행될 수도, 이후에 수행될 수도 있다.
상태 판단부(230)는 터치 객체 리스트에 포함된, 데이터 관리부(300)로부터 추출된 제1 프레임의 제1 터치 객체 및 제1 좌표를 이용하여, 제1 터치 객체의 상태를 판단할 것이다. 도 7을 참조하면, 상태 판단부(230)는 제1 터치 객체의 상태를 판단하기 위하여, 제1 프레임과 연속하는 이전 프레임인 제2 프레임과 다음 프레임인 제3 프레임을 고려할 수 있다.
상태 판단부(230)는 제2 프레임에 제2 터치 객체가 존재하는 지 확인할 것이다. 도 7의 (1)에 따르면, 상태 판단부(230)는 제2 프레임에 제2 터치 객체가 존재하지 않으면, 제1 터치 객체를 enter 상태로 판단할 수 있다. 이는 이전 프레임에서 센싱 정보가 없다가 새로운 터치 객체가 센싱된 것으로, 새로운 터치 객체가 인식되었음을 의미한다. enter 상태는 마우스 버튼을 누르는 상태와 유사하다.
상태 판단부(230)는 제2 프레임에 제2 터치 객체가 존재하면, 제1 좌표와 제2 프레임에서의 제2 터치 객체의 제2 좌표 사이의 제2 거리를 연산할 수 있다. 도 7의 (2)에 따르면, 상태 판단부(230)는 제2 거리와 기 설정된 제2 거리 임계 값을 비교하여, 제2 거리가 제2 거리 임계 값보다 크면 제1 터치 객체를 enter 상태로 판단할 수 있다. 상태 판단부(230)는 제1 터치 객체가 제2 터치 객체와는 다른 영역에 위치하기 때문에, 새로운 터치 객체가 인식되었다고 판단할 수 있다.
도 7의 (3)에 따르면, 상태 판단부(230)는 제1 좌표와 제2 좌표가 동일하면 제1 터치 객체를 stay 상태로 판단할 수 있다. stay 상태는 이미 센싱 정보가 있는 터치 객체가 계속하여 존재한다는 정보를 제공할 수 있다.
도 7의 (4)에 따르면, 상태 판단부(230)는 제1 좌표와 제2 좌표가 동일하지 않고, 제2 거리가 제2 거리 임계 값보다 작으면, 제1 터치 객체를 move 상태로 판단할 수 있다. 이는 제2 프레임에 센싱 정보가 존재하나, 제1 프레임에서는 같은 위치가 아닌 다른 위치에서 센싱된 것으로, 터치 객체가 이동하였음을 의미한다. move 상태는 마우스를 드래그하는 상태와 유사하다.
도 7의 (5)에 따르면, 상태 판단부(230)는 제3 프레임에 제3 터치 객체가 존재하지 않으면, 제1 터치 객체를 exit 상태로 판단할 수 있다. 이는 제1 터치 객체가 제3 프레임에는 더 이상 존재하지 않음을 의미하며, exit 상태는 마우스 버튼을 떼는 상태와 유사하다.
나아가 도 7에 별도로 도시되지 않았으나, 상태 판단부(230)는 제3 프레임에 제3 터치 객체가 존재하면, 제1 좌표와 제3 프레임에서 제3 터치 객체의 제3 좌표 사이의 제3 거리를 연산할 수 있다. 상태 판단부(230)는 제3 거리와 기 설정된 제2 거리 임계 값을 비교하여, 제3 거리가 제2 거리 임계 값 보다 크면 제1 터치 객체를 exit 상태로 판단할 수 있다. 상태 판단부(230)는 제1 터치 객체와 제3 터치 객체가 다른 영역에 위치하기 때문에, 제1 터치 객체가 사라지고 새로운 제3 터치 객체가 인식되었다고 판단할 수 있다.
상태 판단부(230)는 제3 거리가 제2 거리 임계 값보다 작으면 제1 터치 객체를 stay 상태 또는 move 상태로 판단할 수 있다.
상태 판단부(230)는 위와 같이 일 프레임마다 적어도 하나 이상의 터치 객체가 존재함에 따라, 다양한 경우의 수를 고려하여 제1 터치 객체의 상태를 판단할 수 있다.
변환부(240)는 제1 좌표를 실제 좌표로 변환하여 제1 터치 객체가 기 설정된 유효 영역에 위치하는 지를 판단할 수 있다. 유효 영역은 전체 센싱 영역일 수 있고, 전체 센싱 영역을 분할한 영역일 수도 있다. 본 발명의 일 실시 예에 의한 터치 인식 방법은, 유효 영역을 설정함으로써 특정 영역 내에 터치 객체가 진입하거나 특정 위치에서 터치 객체가 인식되는 것을 확인할 수 있다.
모션 인식부(250)는 유효 영역에 위치한 터치 객체의 움직임을 파악할 수 있다. 모션 인식부(250)는 유효 영역에 위치한 터치 객체를 기반으로, 사용자가 뛰는 발걸음의 속도를 측정하거나, 유효 영역에서 인식되는 터치 객체의 정보를 분석하여 영역을 순차적으로 움직이는 동작이나 특정 영역에 머무르는 시간 등을 측정할 수 있다. 모션 인식부(250)는 상술한 터치 객체의 움직임을 파악하기 위해 터치 객체의 실제 좌표와 터치 객체가 인식된 시간을 이용할 것이다.
모션 인식부(250)는 유효 영역 내에서 점프와 같은 터치 카운트를 측정할 수 있다. 모션 인식부(250)는 여러 개의 연속되는 프레임에서, 제1 터치 객체가 동일한 제1 좌표에 반복적으로 나타나면 사용자가 점프하고 있다고 판단하여 점프 횟수를 측정할 수 있다.
모션 인식부(250)는 유효 영역에서 처음 인식된 터치 객체와 마지막으로 인식된 터치 객체, 그리고 그 사이에 존재하는 터치 객체를 이용하여 사용자의 동선을 추적할 수 있다. 또한 모션 인식부(250)는 특정 위치에 위치한 물체를 들어서 혹은 끌어서 옮기는 모션에 대한 추적 또한 가능하다.
다시 도 8에 대한 설명으로 복귀하면, 연산부(300)는 인식된 제1 터치 객체(사용자의 신체 부위)의 상태를 기반으로 사용자의 움직임의 정확도를 연산할 수 있다. 보다 구체적으로, 연산부(300)는 가이드(유효 영역)에 대한 제1 터치 객체의 정확도를 연산하여 사용자의 움직임에 대한 정확도를 연산할 수 있다.
연산부(300)는 서버는 제1 영역에 표시되는 복수 개의 유효 영역 각각에 대한 정확도를 연산하고 이를 합산하여 사용자 움직임의 정확도를 도출할 수 있다. 나아가 연산부(300)는 사용자의 정확도를 기반으로 소모 칼로리를 더 연산할 수 있다. 연산부(300)는 사용자가 운동을 진행함에 있어서 수행하는 모든 동작에 대하여 실시간으로 움직임의 정확도 및 소모 칼로리를 연산할 것이다.
연산부(300)는 제1 영역에서 운동 중인 적어도 하나의 사용자 각각에 대하여 연산된 움직임의 정확도를 기반으로 하는 칼로리 값을 리스팅할 수 있다.
디스플레이부(400)는 제1 영역에서 유효 영역에 대한 터치 객체를 표시할 수 있다. 디스플레이부(400)로 터치 객체가 표시된 화면을 실제 좌표와 대응하는 위치, 즉 센서의 유효 영역에 표시되도록 빔 프로젝터를 이용할 수 있다.
디스플레이부(400)는 터치 객체를 표시할 뿐 아니라, 터치 객체가 위치해야 할 타겟 위치를 표시하여 사용자가 타겟 위치를 터치하도록 유도할 수 있다. 이 때, 타겟 위치는 사용자의 신체정보에 따라 상이하게 표시될 것이다.
디스플레이부(400)는 전체 센싱 영역을 특정 개수로 분할하여 사용할 경우, 각 영역에 동일한 유효 영역을 설정하여 멀티 터치하도록 유도할 수도 있다. 또한 디스플레이부(400)는 특정 구간을 왕복으로 터치하도록 유도할 수도 있다.
이와 같이 디스플레이부(400)는 타겟 위치를 표시함으로써, 사용자의 움직임을 유도할 수 있다. 이러한 특성상, 본 발명의 터치 인식 장치는 사용자에게 적절한 운동 자세를 가이드 하는 데에 사용될 수 있다. 사용자는 디스플레이부(400)로부터 표시되는 타겟 위치를 확인하고 타겟 위치를 손 및/또는 발로 터치함으로써 운동 자세를 바로잡을 수 있다.
나아가 디스플레이부(400)는 연산부(300)에서 리스팅한 리스트를 중앙 스크린에 표시할 수 있으며, 운동 진행 시간 및/또는 잔여 시간을 더 표시할 수 있다. 이를 통해 사용자가 한 눈에 운동 관련 정보를 획득할 수 있게 한다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (8)

  1. 피트니스 센터 내에서 운동을 지도하는 방법에 있어서,
    적어도 하나의 라이다 센서 각각이 감지 가능한 제1 영역에 사용자가 인식되면, 상기 제1 영역을 활성 상태로 설정하는 a 단계;
    지도자 단말로부터 운동 세트 및 운동 시작 신호를 수신하면 상기 운동 세트를 기반으로 상기 제1 영역에 가이드를 표시하는 b 단계;
    상기 가이드를 통해 운동을 수행하는 상기 사용자의 움직임을 인식하고, 상기 움직임의 정확도를 연산하는 c 단계; 및
    적어도 하나의 사용자에 대응하는 정확도를 기반으로 칼로리를 연산하고, 상기 정확도 및 칼로리를 기반으로 리스팅된 리스트를 생성하여 중앙 스크린에 순위 정보를 표시하는 d 단계를 포함하는 운동 지도 방법.
  2. 제1항에 있어서,
    상기 b 단계는,
    상기 지도자 단말로부터 지도자로부터 선택된 상기 사용자에 적합한 운동 세트를 입력을 수신하는 단계;
    상기 제1 영역에 대기 화면을 표시하는 단계;
    상기 지도자 단말로부터 시작 신호를 수신하면, 상기 제1 영역에 상기 운동 세트에 대응하는 적어도 하나의 동작의 가이드를 순차적으로 표시하는 단계를 포함하는 운동 지도 방법.
  3. 제2항에 있어서,
    상기 운동 세트는 적어도 하나의 동작을 포함하되,
    상기 지도자가 생성하거나, 또는 다른 지도자가 공유한 것을 구매 또는 대여 가능한 것을 특징으로 하는 운동 지도 방법.
  4. 제1항에 있어서,
    상기 c 단계는,
    제1 프레임에서 상기 사용자의 좌표를 추출하고, 상기 좌표에 대한 클러스터링을 수행하여, 상기 제1 프레임의 제1 터치 객체 및 상기 제1 터치 객체의 제1 좌표를 연산하는 단계;
    상기 제1 터치 객체 및 제1 좌표를 이용하여 상기 제1 터치 객체의 상태를 판단하는 단계;
    상기 제1 좌표를 실제 좌표로 변환하여, 상기 제1 좌표가 기 설정된 유효 영역에 위치하는 지 판단하는 단계; 및
    상기 판단 결과를 기반으로 상기 사용자의 움직임의 정확도를 연산하는 단계를 포함하는 운동 지도 방법.
  5. 제4항에 있어서,
    상기 제1 좌표가 상기 기 설정된 유효 영역에 위치하면 상기 실제 좌표에 상기 제1 터치 객체를 표시하는 단계를 더 포함하는 운동 지도 방법.
  6. 제4항에 있어서,
    상기 사용자가 상기 운동 세트의 동작을 수행하는 동안, 상기 제1 좌표와 상기 유효 영역의 중첩 정도 및 그 횟수를 기반으로 상기 움직임의 정확도를 연산하는 단계;
    상기 정확도를 기반으로 상기 사용자의 소모 칼로리를 연산하는 단계를 포함하는 것을 특징으로 하는 운동 지도 방법.
  7. 제1항에 있어서,
    상기 d 단계는,
    상기 중앙 스크린에 상기 지도자 단말로부터 시작 신호를 수신한 시간으로부터 경과한 시간 및/또는 잔여 시간을 더 표시하는 것을 특징으로 하는 운동 지도 방법.
  8. 피트니스 센터 내에서 운동 지도 서비스를 제공하는 시스템에 있어서,
    적어도 하나의 라이다 센서 각각이 감지 가능한 제1 영역에서 사용자를 인식하는 센서부;
    상기 제1 영역에 상기 사용자가 인식되면 상기 제1 영역의 사용을 활성화하고, 지도자 단말로부터 운동 세트 및 운동 시작 신호를 수신하면 상기 운동 세트에 대응하는 가이드를 기반으로 운동을 수행하는 상기 사용자의 움직임을 인식하는 제어부;
    상기 움직임의 정확도를 연산하고, 상기 정확도를 이용하여 칼로리를 연산하며, 적어도 하나의 사용자에 대응하는 칼로리를 기반으로 리스팅 된 리스트를 생성하는 제어부; 및
    상기 가이드를 상기 제1 영역에 표시하고, 상기 리스트를 중앙 스크린에 표시하는 디스플레이부를 포함하는 운동 지도 시스템.
PCT/KR2021/005934 2020-05-26 2021-05-12 피트니스 센터 내 운동 지도 서비스 및 시스템 WO2021241920A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200062762A KR102407011B1 (ko) 2020-05-26 2020-05-26 피트니스 센터 내 운동 지도 서비스 및 시스템
KR10-2020-0062762 2020-05-26

Publications (1)

Publication Number Publication Date
WO2021241920A1 true WO2021241920A1 (ko) 2021-12-02

Family

ID=78744685

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/005934 WO2021241920A1 (ko) 2020-05-26 2021-05-12 피트니스 센터 내 운동 지도 서비스 및 시스템

Country Status (2)

Country Link
KR (1) KR102407011B1 (ko)
WO (1) WO2021241920A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102590549B1 (ko) * 2023-01-09 2023-10-17 (주)휴먼아이티솔루션 사용자 제스처 분석 장치 및 이를 이용한 운동 자세 분석 정보 제공 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016174893A (ja) * 2015-03-19 2016-10-06 パナソニックＩｐマネジメント株式会社 制御装置
KR20180054293A (ko) * 2016-11-15 2018-05-24 박종찬 스마트 트레이닝 장치
KR101931784B1 (ko) * 2018-08-29 2018-12-21 주식회사 큐랩 복수의 사용자 대결 구도의 가상 피트니스 시스템
KR101980378B1 (ko) * 2019-02-22 2019-08-28 (주)대우루컴즈 동적 움직임과 신체 밸런스를 이용한 운동자세 유도장치
KR102088333B1 (ko) * 2019-08-20 2020-03-13 주식회사 마이베네핏 혼합 현실 기반 운동 장치를 이용한 팀 트레이닝 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948501B1 (en) * 2009-12-22 2015-02-03 Hrl Laboratories, Llc Three-dimensional (3D) object detection and multi-agent behavior recognition using 3D motion data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016174893A (ja) * 2015-03-19 2016-10-06 パナソニックＩｐマネジメント株式会社 制御装置
KR20180054293A (ko) * 2016-11-15 2018-05-24 박종찬 스마트 트레이닝 장치
KR101931784B1 (ko) * 2018-08-29 2018-12-21 주식회사 큐랩 복수의 사용자 대결 구도의 가상 피트니스 시스템
KR101980378B1 (ko) * 2019-02-22 2019-08-28 (주)대우루컴즈 동적 움직임과 신체 밸런스를 이용한 운동자세 유도장치
KR102088333B1 (ko) * 2019-08-20 2020-03-13 주식회사 마이베네핏 혼합 현실 기반 운동 장치를 이용한 팀 트레이닝 시스템

Also Published As

Publication number Publication date
KR20210145931A (ko) 2021-12-03
KR102407011B1 (ko) 2022-06-10

Similar Documents

Publication Publication Date Title
Velloso et al. Qualitative activity recognition of weight lifting exercises
WO2013115529A1 (en) Virtual golf simulation apparatus and method for supporting generation of virtual green
WO2014104828A2 (ko) 실내 스크린 야구 연습 시스템 및 그 구현 방법
US20100045609A1 (en) Method for automatically configuring an interactive device based on orientation of a user relative to the device
WO2012128568A2 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
WO2021241920A1 (ko) 피트니스 센터 내 운동 지도 서비스 및 시스템
WO2015020396A1 (en) Motion recognition method and apparatus
WO2023167553A1 (ko) 운동량 측정을 기반으로 하는 스크린 클라이밍 시스템
WO2014058136A1 (ko) 이미지를 이용한 신장 측정 방법 및 이동 로봇 장치
KR20200005780A (ko) 개인용 피트니스 관리 장치
CN109523574A (zh) 一种行走轨迹预测方法和电子设备
WO2012091516A2 (ko) 골프 컨텐츠 제공장치 및 이를 이용하는 골프 컨텐츠 제공 시스템, 가상 골프 시뮬레이션 장치와, 골프 컨텐츠 제공방법 및 가상 골프 시뮬레이션 방법
WO2021167312A1 (ko) 라이다 센서를 구비한 터치 인식 방법 및 장치
WO2018093216A1 (ko) 운동 유형 인식 장치 및 방법
WO2013157876A1 (ko) 가상 골프 시뮬레이션 방법 및 시스템
WO2018038449A1 (ko) 훈련 컨텐츠의 난이도를 설정하는 방법 및 이를 운용하는 전자 장치
WO2016129773A1 (ko) 피드백을 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2018044059A1 (ko) 피트니스 모니터링 시스템
WO2017086533A1 (ko) Nui/nux 기반의 vr환경 게임 컨트롤을 시뮬레이션하는 방법 및 시스템
WO2017217567A1 (ko) 피트니스 모니터링 시스템
WO2016204334A1 (ko) 실감형 인터랙티브 콘텐츠에 기반한 운동시스템 및 그 방법
WO2019117664A1 (ko) 자동화 배팅 연습 장치를 이용한 스크린 야구 연습 시스템 및 이의 관리 시스템
WO2019225772A1 (ko) 모바일 기기를 이용한 통합 운동 관리 및 권장 플랫폼 시스템
Pham et al. A study on skeleton-based action recognition and its application to physical exercise recognition
WO2023282389A1 (ko) 두경부 영상 이미지를 이용한 지방량 산출 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21813159

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21813159

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 05/06/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21813159

Country of ref document: EP

Kind code of ref document: A1