WO2017217725A1 - User recognition content providing system and operating method for same - Google Patents

User recognition content providing system and operating method for same Download PDF

Info

Publication number
WO2017217725A1
WO2017217725A1 PCT/KR2017/006112 KR2017006112W WO2017217725A1 WO 2017217725 A1 WO2017217725 A1 WO 2017217725A1 KR 2017006112 W KR2017006112 W KR 2017006112W WO 2017217725 A1 WO2017217725 A1 WO 2017217725A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
interface screen
knee
foot
bent
Prior art date
Application number
PCT/KR2017/006112
Other languages
French (fr)
Korean (ko)
Inventor
권찬영
Original Assignee
(주)블루클라우드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)블루클라우드 filed Critical (주)블루클라우드
Publication of WO2017217725A1 publication Critical patent/WO2017217725A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]

Definitions

  • the present invention relates to a user-recognized content providing system and a method of operating the same.
  • a user recognizes a user to generate a predetermined event according to a bending motion of a knee by a projector projecting an interface screen and a motion recognition sensor recognizing a user's motion.
  • An object of the present invention is to provide a user-recognized content providing system and a method of operating the same, which can generate a predetermined event according to the bending motion of the knee by the projector unit projecting the interface screen and the motion recognition sensor unit recognizes the user's motion. do.
  • the interface screen providing unit for projecting the interface screen toward the space where the user is located, the operation recognition to recognize the user's operation
  • the sensor unit and the user raises their feet on the interface screen and keeps their knees bent for the first selection time
  • the position of the foot corresponding to the bent knee of the user is compared with the interface screen for a predetermined event.
  • it comprises a control unit for generating a.
  • the interface screen providing unit for projecting the interface screen toward the space in which the user is located, the operation recognition for recognizing the operation of the user
  • the controller may further include a controller configured to generate a predetermined event according to a result of comparing the position of the foot corresponding to the user's bent knee with the interface screen.
  • the user recognition content providing system may further include a display unit configured to display the interface screen or a content screen corresponding to the predetermined event under the control of the controller.
  • control unit may determine whether the user's knee is bent according to the position of the user's foot, knee and pelvis measured by the motion recognition sensor unit.
  • the interface screen providing unit projecting the interface screen toward the space where the user is located, the motion recognition sensor unit Recognizing the motion of the user, and when the user keeps the foot on the interface screen and bends the knee for the first selection time, the controller controls the position of the foot corresponding to the bent knee of the user. And generating a predetermined event in comparison with the screen.
  • the interface screen providing unit projecting the interface screen toward the space in which the user is located, the motion recognition sensor unit Recognizing a user's motion, when the user puts the foot on the interface screen, the control unit compares the position of the user's foot and the interface screen, and corresponding to the foot placed on the interface screen And when the user's knee is bent and stretched, the control unit generates a predetermined event according to a result of comparing the position of the foot corresponding to the user's bent and stretched knee with the interface screen.
  • the controller corresponds to the user's bent knee.
  • the method may further include generating a predetermined event by comparing the position of the foot with the interface screen.
  • the control unit may be the bent knee of the user.
  • the method may further include generating a predetermined event according to a result of comparing the position of the foot corresponding to the interface screen with the position of the foot.
  • the controller may display the position of the foot corresponding to the bent knee of the user on the interface screen.
  • the method may further include generating a predetermined event according to the result of the comparison.
  • the controller may further include generating a predetermined event according to a result of comparing the position of the foot corresponding to the bent knee of the user with the interface screen.
  • the controller compares the position of the foot placed on the interface screen with the interface screen. To generate a predetermined event.
  • control unit may determine whether the user's knee is bent according to the position of the user's foot, knee and pelvis measured by the motion recognition sensor unit.
  • the controller may include at least one of a position of the interface screen providing unit, a direction in which the interface screen providing unit projects the interface screen, a bottom surface of a space in which the interface screen is projected, and a position of the motion recognition sensor unit. In consideration of this, the position of the foot corresponding to the bent knee of the user may be compared with the interface screen.
  • the computer-readable recording medium is a computer-readable recording medium that stores a program for performing an operation method of the user recognition content providing system. It features.
  • the projector generates a predetermined event according to the bending operation of the knee by projecting the interface screen and the motion recognition sensor unit recognizes the user's motion. It can be effected.
  • the user recognition content providing system and its operation method according to an embodiment of the present invention as described above, a simple and effective exercise operation without the hassle of having to wear additional tools on the user's body to recognize the user's motion Through the user recognition content providing system can be operated.
  • the user recognition content providing system and the operation method according to an embodiment of the present invention as described above, by effectively determining the user's choice of a specific object by various combinations of the position of the user's foot and the knee bending operation, The success rate of object selection can be maximized.
  • FIG. 1 is a view showing a user recognition content providing system according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method of operating a user recognition content providing system according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a method of operating a system for providing a user recognition content according to another embodiment of the present invention.
  • 4A to 4C are diagrams illustrating a use state of a system for providing user recognition content according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of operating a user recognition content providing system according to another exemplary embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a method of operating a user recognition content providing system according to another embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a method of operating a user recognition content providing system according to another embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a method of operating a user recognition content providing system according to another embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a method of operating a user recognition content providing system according to another embodiment of the present invention.
  • FIG. 10 is a diagram illustrating an interface screen projected by a user recognition content providing system according to an exemplary embodiment.
  • the user recognition content providing system 10 may include a motion recognition sensor unit 200, an interface screen providing unit 300, and a display unit 400.
  • the user recognition content providing system 10 further includes a controller (100 of FIG. 4A) that provides an exercise program by controlling the motion recognition sensor unit 200 and the interface screen providing unit 300. can do.
  • the user-recognized content providing system 10 projects the interface screen of a desired exercise program on the floor through the interface screen providing unit 300, thereby providing various contents desired by the user as one content providing system. You can run an exercise program. That is, the user recognition content providing system 10 according to an embodiment of the present invention displays the interface screen of the exercise program based on the interactive content that guides the user's operation through the interface screen providing unit 300.
  • the motion recognition sensor unit 200 may detect the user's movement and transfer the same to the control unit 100.
  • the controller 100 may recognize coordinate information of main points (hands, feet, heads, and joints) of the user detected by the motion recognition sensor unit 200 to determine whether the motion program matches the motion of the user.
  • the controller 100 may provide a workout environment in which the user feels the same as reality by synchronizing the motion program with the user's movement.
  • the exercise program projected to the user's exercise space by the interface screen providing unit 300 induces human sense and cognition based on ICT (Information and Communication Technology) to expand the experience and emotion similar to the reality, Objects, people, and virtual objects can be based on immersive interactive content that interacts.
  • the realistic interactive content includes a virtual object for inducing an action to be taken by a user according to an exercise program (for example, when the arm is bent in the buffy exercise, which is one of the whole body movements that bends and runs, the hand should touch the floor).
  • Coordinate information and information on the order, the interval of change of the coordinates, and the like.
  • the coordinate information may be optimally provided to the user according to the user's age, gender, physical fitness, exercise amount, exercise program under training, and the like.
  • the exercise program stores a sequence of a user's exercise motion, and the controller 100 may output a sequence of the exercise action of the stored program through the interface screen providing unit 300.
  • the sequence may be stored in various forms such as a table form, a markup language in XML form, and a data structure.
  • the motion recognition sensor unit 200 may recognize a user's motion in the front exercise space.
  • the motion recognition sensor unit 200 may include at least one camera, a depth camera, an infrared sensor, or a combination thereof to detect the user and the user's movement from the front.
  • a plurality of motion recognition sensors 200 may be installed around the user (front, rear, left and right) to generate a multi-view image to recognize the user's motion. That is, the motion recognition sensor unit 200 may detect the user's motion space in three-dimensional or multi-view.
  • the motion recognition sensor unit 200 transmits the collected user, user's motion and spatial information to the control unit 100 to provide a more realistic three-dimensional motion interface optimized for the user and enable precise user's motion recognition.
  • the camera may be a camera that captures a left image and a right image to generate a 3D image, and may be regarded as implementing a multiview using a plurality of cameras.
  • data about the parallax of the left and right images may be extracted from the depth value of the depth camera or the 3D image, and used to convert the distance from the object. If the distance is close, the depth value is large, and if the distance is far, the depth value is used.
  • the motion recognition sensor unit 200 transmits infrared rays to a human body within a recognition range, and then detects infrared signals reflected from the human body, thereby displaying important joint parts of the human body as a plurality of points (for example, 20 points). In this way, the movement, speed, and position of the human body can be recognized.
  • the motion recognition sensor unit 200 may separate one person by a method such as recognizing a person at the closest distance when several people are located within a recognition range, and separately separating several people. It can also be recognized.
  • the motion recognition sensor unit 200 may be implemented by a "Kinect" device of Microsoft Corp. capable of motion capture and voice recognition, and generated by the motion recognition sensor unit 200.
  • the motion recognition signal is digital data for indicating the motion and position of the human body detected by the motion recognition sensor unit 200.
  • the position information and depth of a plurality of points representing the important joint parts of the detected human body may include information.
  • the interface screen providing unit 300 may project the interface screen toward the space where the user is located.
  • the interface screen providing unit 300 may include a projector unit 310 and a reflecting unit 320.
  • the interface screen providing unit 300 may project an enlarged image sufficiently in a place where a sufficient projection distance is not secured, such as a low ceiling, and project an image according to an exercise program at the same position even with a change in height.
  • the projector unit 310 may project an interface screen for executing an exercise program based on sensory interactive content to the reflector 320.
  • the projector 310 may exchange data with the controller 100 through a wired or wireless interface of various methods such as HDMI, RGB, BNC, and Wireless HD.
  • the projector unit 310 may project an interface screen for an exercise program based on immersive interactive content to the reflector 320 through a connection with the controller 100.
  • the position and the projection angle of the projector 310 may be variously changed in order to adjust the size and position of the projected interface screen according to the type of exercise program. As an example, the projector 310 may be moved up, down, left and right and rotated 360 degrees through a rail or bracket.
  • the reflector 320 may reflect the interface screen projected from the projector 310 and reflect the bottom of the exercise space of the user.
  • the reflector 320 may be formed of any one of a flat mirror, a convex mirror, a concave mirror, or an atypical mirror, and according to an embodiment, a bottom surface on which the interface screen is projected from the projector 310 according to the type and characteristic of the exercise program. You can adjust the size of the exercise space by adjusting the throwing distance. For example, when the reflector 320 is implemented as a planar mirror, the projection distance is twice as large as the distance between the planar mirrors in the projector 310 than when directly projected onto the bottom surface of the projector 310. Increased effect can be obtained.
  • the distance between the convex mirror and the distance according to the magnification of the convex mirror in the projector unit 310 is greater than when the projector unit 310 is directly projected onto the bottom surface.
  • the effect of increasing the projection distance can be obtained.
  • the reflecting unit 320 is implemented as a concave mirror, the projection distance is shorter than when the projector unit 310 is directly projected on the bottom surface, but the image projected by the projector unit 310 concentrates the light projected in a bright place. There is an effect that can be obtained.
  • the projection distance may be increased to secure an enlarged virtual motion space, and may be generated because the angle reflected by the mirror is not perpendicular to the floor surface. You can also correct distortion on the screen.
  • the reflector 320 may be applied to the acrylic or plastic by applying a paint having a higher reflection coefficient than a general mirror so that distortion of the image according to the distance to be projected does not occur.
  • the reflector 320 may move up, down, left, and right or rotate to adjust an angle reflected back and forth or left and right.
  • the reflector 320 may be moved up, down, left and right and rotated 360 degrees through a rail or bracket.
  • FIG. 1 shows that the reflecting unit 320 is formed as one reflective mirror, this is merely an example.
  • the reflecting unit 320 includes a plurality of reflecting mirrors to display the interface screen between the reflecting mirrors. By arranging to reflect, the projection distance between the projector 310 and the bottom surface can be further extended.
  • the projector unit 310 is installed in the lower portion of the user recognition content providing system 10, and a few reflective mirrors are zigzag in the middle, and then configured to be finally projected onto the floor surface through the reflective mirrors installed on the ceiling. Can be.
  • the interface screen providing unit 300 may include a plurality of projectors 310. In this case, by outputting a plurality of screens through different reflecting units 320, the image effects may be generated to overlap each other or to be adjacently output.
  • the interface screen providing unit 300 may omit the reflection unit 320 so that the interface screen projected by the projector 310 may be directly projected onto the floor.
  • the display 400 may display the interface screen or display a content screen corresponding to a predetermined event generated by the controller 100 under the control of the controller 100.
  • the display unit 400 may output a result of the user's motion recognized by the motion recognition sensor unit 200, and may display information about the motion and the result of the user's exercise according to the user's position or direction change during the exercise. You can output
  • the display unit 400 displays information including exercise amount information, user information, exercise evaluation and results, calorie information consumed, personal health information, confirmation of one's exercise contents, or a combination thereof according to the user's movement. By checking during or after the exercise, the user may provide an environment in which the user can exercise more efficiently.
  • the controller 100 may recognize a user detected by the motion recognition sensor unit 200, extract registered user information, and prepare an exercise program to be provided to the user.
  • the control unit 100 uses the interface screen providing unit 300 to display an interface screen composed of virtual objects of an exercise program generated based on realistic interactive content based on user information downloaded through a wired / wireless interface unit (not shown). Can be provided to
  • the controller 100 may recognize the user's motion through the motion recognition sensor unit 200 to recognize the user's motion in the actual exercise program according to the sequence of the exercise motion including the start and the end of the exercise program.
  • the controller 100 may provide a more realistic three-dimensional interface screen optimized for the user environment based on three-dimensional stereoscopic information on the motion space detected by the motion recognition sensor unit 200.
  • the controller 100 may project the user's exercise motion and body recognition state onto the floor through the interface screen providing unit 300 so that the user can immediately know.
  • the control unit 100 may accurately recognize a user's motion through the motion recognition sensor unit 200, and the user's motion recognized by the motion recognition sensor unit 200 with the correct reference motion provided by the corresponding exercise program. By comparing the motions in real time, if the user's motion does not match the reference motion, the corrected body image is displayed together with the posture correction message through the interface screen providing unit 300 or the display unit 400. It can lead to accurate movement.
  • the controller 100 may notify the motion recognition time by providing motion evaluation information to the user using sound effects or screen effects at the moment of motion recognition.
  • the controller 100 may compare the position of the foot corresponding to the bent knee of the user with the interface screen when the user raises the foot on the interface screen and maintains the bent knee for the first selection time. Can trigger an event. That is, when the motion recognition sensor unit 200 recognizes the user's motion and maintains the user's knee bent on one leg for the first selection time, the controller 100 may be placed on the user's bent knee on the interface screen. An event of a button corresponding to the position of the corresponding foot may be generated. As an example, the first selection time may be set to 2 seconds.
  • the control unit 100 sets the first selection time when the user raises one foot on the interface screen and bends the knee. It can be set shorter than the first selection time in the case. As an example, the first selection time in this case may be set to 1.7 seconds.
  • the user may be able to define a specific button on an interface screen by bending his knee in terms such as “quick selection”. The selection time can be defined in terms such as "quick selection time”.
  • the controller 100 compares the position of the foot corresponding to the bent knee of the user with the interface screen. To generate a predetermined event.
  • the controller 100 compares the position of the foot of the user with the interface screen and corresponds to the foot placed on the interface screen.
  • a predetermined event may be generated according to a result of comparing the position of the foot corresponding to the user's bent knee with the interface screen. That is, when the motion recognition sensor unit 200 recognizes the user's motion and the user bends and straightens the knee of one leg, the controller 100 corresponds to the position of the foot corresponding to the user's bent and extended knee on the interface screen. Can trigger an event of a button. This will be further described with reference to FIGS. 3 and 4A to 4C.
  • control unit 100 may determine whether the user's knee is bent according to the position of the user's foot, knee, and pelvis measured by the motion recognition sensor unit 200. That is, as described above, since the motion recognition sensor unit 200 may display important joint parts of the human body as a plurality of points (for example, 20 points), the user may compare the position and angle of the foot, knee, and pelvis of the user. It can be determined whether the knee of the person is bent.
  • control unit 100 the position of the interface screen providing unit 300, the direction in which the interface screen providing unit 300 projects the interface screen, the bottom surface of the space on which the interface screen is projected and the operation recognition
  • the position of the foot corresponding to the bent knee of the user may be compared with the interface screen in consideration of at least one of the positions of the sensor unit 200.
  • the control unit 100 In order for the control unit 100 to accurately determine the button corresponding to the position of the foot corresponding to the user's bent knee on the interface screen, the relative position of the interface screen providing unit 300 and the motion recognition sensor unit 200 and the interface screen This is because information such as projection angle and direction should be taken into account. That is, the controller 100 synchronizes the motion recognition sensor unit 200 with the interface screen providing unit 300 to recognize the spatial coordinates of the interface screen providing unit 300 and the motion recognition sensor unit 200 projecting the interface screen. It can provide a synchronization process for.
  • the posture information including the height or inclination of the user recognition content providing system 10 or a combination thereof is detected and transmitted to the controller 100. It may further include a posture detection unit (not shown).
  • the controller 100 controls the interface screen providing unit 300 based on location information such as height and inclination from the bottom of the space to automatically correct the size, distance, and position of the image projected into the virtual exercise space. Can be. That is, the controller 100 may control the size, distance, and position of the image projected in the virtual space to be always the same even if the height or inclination of the user recognition content providing system 10 is changed.
  • the controller 100 may automatically adjust the exercise intensity according to the user's movement, gender, age, physical fitness, condition, and the like.
  • the controller 100 automatically increases the response speed of the exercise program when the user operates faster and faster in response to the speed at which the user executes the exercise program. On the other hand, if the speed decreases, the controller 100 slows the response speed of the exercise program and optimizes the exercise. It can provide an interface.
  • the user-recognized content providing system 10 is connected to a remote management system (not shown) by wire or wirelessly, the age, gender, physical strength, exercise amount of each individual user, exercise program, etc.
  • the apparatus may further include a wired / wireless interface unit (not shown) that provides a network interface to download various user information and realistic interactive content.
  • the remote management system may store and manage the exercise information of each individual in a database (not shown) connected to the remote management system, and provide the exercise program to the user-recognized content providing system 10 according to an embodiment of the present invention. Or an exercise program produced by the user.
  • the user recognition content providing system 10 may download the exercise program from the remote management system based on user information and information on an exercise space, and may be stored in the controller 100. You can also use realistic interactive content-based exercise programs.
  • the user-recognized content providing system 10 recognizes a user in real time, and transmits and receives the user's exercise information in the remote management system by transmitting and receiving the user's information and spatial information with the remote management system. It can be managed seamlessly.
  • the user recognition content providing system 10 according to an embodiment of the present invention and the remote management system are automatically seamlessly linked to each other to perform health care through the user's personal information and exercise information without a user's separate operation. It will be possible.
  • the user-recognized content providing system 10 according to an embodiment of the present invention may continuously manage data such as average exercise amount, intensity, exercise period, etc. for each user to manage exercise history. Accordingly, the user can check and effectively manage athletic performance without time and space constraints.
  • the wired / wireless interface unit may communicate with an external device including a smart terminal, a remote controller, and a dedicated terminal through a wireless communication network including IrDA, Bluetooth, UWB and ZigBee.
  • the wired / wireless interface may receive an exercise program from the external device, or control the operation of the interface screen providing unit 300 based on the control signal.
  • Users can remotely adjust the size, distance and position of the image projected into the virtual exercise space by using a smart terminal such as a smart phone, a tablet PC, etc. or an external device including a remote controller or a dedicated control terminal through a wireless communication network. Can be.
  • a smart terminal such as a smart phone, a tablet PC, etc.
  • an external device including a remote controller or a dedicated control terminal through a wireless communication network.
  • software control such as changing an exercise program to be executed or increasing an exercise level in the exercise program may be possible.
  • the user recognition content providing system 10 may further include a power supply (not shown).
  • the power supply unit may supply power to components such as the control unit 100, the motion recognition sensor unit 200, the interface screen providing unit 300, and the display unit 400.
  • the power supply unit may receive power from the outside using a power cable and supply the power to the component, or may be implemented as a rechargeable internal battery to supply power to the component.
  • FIG. 2 is a flowchart illustrating a method of operating a user recognition content providing system according to an embodiment of the present invention.
  • the operation method 20 of the user recognition content providing system illustrated in FIG. 2 may be performed by the user recognition content providing system 10 according to an embodiment of the present invention.
  • the interface screen providing unit 300 projects an interface screen toward a user's exercise space (S21). It may include.
  • the motion recognition sensor unit 200 may include a step (S22) of recognizing the operation of the user.
  • the controller 100 analyzes the position of the user's foot, knee, and pelvis measured by the motion recognition sensor unit 200 to determine an angle formed by the user's foot, knee, and pelvis at a first reference angle ( Example: 90 degrees) or less, it can be determined that the user's knee is bent.
  • a first reference angle Example: 90 degrees
  • the controller 100 recognizes that the user maintains the bent knee of one leg for the first selection time by the motion recognition sensor 200, the position of the foot corresponding to the bent knee of the user on the interface screen Can trigger an event of a button that matches
  • the control unit 100 when the user raises both feet on the interface screen and bends both knees, the first selection time is the first time when the user raises one foot on the interface screen and bent knees 1 It can be set shorter than the selection time.
  • a predetermined event may be generated by comparing the position of the foot corresponding to the bent knee of the user with the interface screen. That is, the controller 100 may determine whether the user's knee is bent after the user places a foot on a specific button on the interface screen. In addition, when the user bends the knee while keeping the foot on a specific button on the interface screen, the controller 100 compares the position of the foot corresponding to the bent knee of the user with the interface screen to perform a predetermined event. Can be generated.
  • the control unit 100 displays a screen corresponding to the push-up exercise program through the display unit 400 to allow the user to push-ups.
  • the interface screen providing unit 300 may also project a screen associated with a push-up exercise to the floor.
  • FIG. 3 is a flowchart illustrating a method of operating a system for providing a user recognition content according to another embodiment of the present invention.
  • the operation method 30 of the user recognition content providing system illustrated in FIG. 3 may be performed by the user recognition content providing system 10 according to an embodiment of the present invention.
  • the interface screen providing unit 300 projects an interface screen toward a user's exercise space (S31). It may include.
  • the operation method 30 of the user recognition content providing system may include the step (S32) of the motion recognition sensor unit 200 to recognize the user's operation.
  • control unit 100 determines the position of the foot and the user's foot. Comparing the interface screen (S33) may be included.
  • control unit 100 may know the position of the user's foot through the motion recognition sensor unit 200, and determine which button is selected by the user on the interface screen projected by the interface screen providing unit 300. have.
  • the control unit 100 may include generating a predetermined event according to a result of comparing the position of the foot corresponding to the curved knee of the user with the interface screen (S34).
  • the controller 100 analyzes the position of the user's foot, knee, and pelvis measured by the motion recognition sensor unit 200 to determine an angle formed by the user's foot, knee, and pelvis at a first reference angle ( For example, 90 degrees) or less, it may be determined that the user's knee is bent. If the angle formed by the user's foot, knee, and pelvis is greater than or equal to a second reference angle (eg, 150 degrees), the user's knee is determined to be stretched. can do. When the user recognizes that the user's bent knee is extended by the motion recognition sensor unit 200, the controller 100 may generate an event of a button corresponding to the position of the foot corresponding to the bent knee of the user on the interface screen. .
  • a first reference angle For example, 90 degrees
  • a second reference angle eg, 150 degrees
  • the controller 100 may determine whether the user's knee is bent and stretched after the user places a foot on a specific button on the interface screen. In addition, when the user bends the knee while keeping the foot on a specific button on the interface screen, the controller 100 compares the position of the foot corresponding to the bent and extended knee of the user with the predetermined interface event. Can be generated.
  • 4A to 4C are diagrams illustrating a use state of a system for providing user recognition content according to an embodiment of the present invention.
  • the interface screen providing unit 300 of the user recognition content providing system 10 may project the interface screen S on the floor where the user is located.
  • the interface screen S may include a plurality of buttons B.
  • the interface screen S may be changed in various forms. According to an embodiment, there may be a preparation position where a footprint is displayed on the interface screen S, and selectable exercise program buttons may be displayed on the interface screen S when the user moves to the preparation position.
  • the user may select one of the buttons B on the interface screen S, put his feet up, and bend his knees. That is, the user may bend the knee while moving to the ready position by selecting any one of the front buttons (B) to put the foot.
  • the control unit 100 can detect the button (B) put the foot through the motion recognition sensor unit 200, the user bends the knee
  • the recognition sensor unit 200 may detect it.
  • the user touches any one button B on the interface screen S as shown in FIG. 4B.
  • the button corresponding to the position of the foot corresponding to the bent knee of the user is selected and a predetermined event can be executed.
  • the user may extend the knee bent in FIG. 4B with one foot on the selection button to clearly indicate his agency.
  • the operation method 30 of the user-recognized content providing system according to another exemplary embodiment of the present invention described above with reference to FIG. 3 when the user bends the knee as shown in FIG. It is determined that the button corresponding to the position of the foot corresponding to the knee is selected, and a predetermined event can be executed.
  • the user may select two buttons with both legs or bend both knees of the legs to select two buttons. Accordingly, the user may issue a command by combining the two buttons.
  • FIG. 5 is a flowchart illustrating a method of operating a user recognition content providing system according to another exemplary embodiment of the present invention.
  • the operation method 40 of the user recognition content providing system illustrated in FIG. 5 may be performed by the user recognition content providing system 10 according to an embodiment of the present invention.
  • the interface screen providing unit 300 projects an interface screen toward a user's exercise space (S41).
  • the motion recognition sensor unit 200 recognizes the user's motion (S42) and when the user puts his foot on the interface screen
  • the control unit 100 determines the position of the user's foot and the interface screen. Comparing may include the step (S43). Since the steps S41, S42, and S43 are similar to the steps S31, S32, and S33 described above with reference to FIG. 3, a detailed description thereof will be omitted.
  • the control unit 100 may include generating a predetermined event according to a result of comparing the position of the foot corresponding to the user's bent knee with the interface screen (S45). Since step S45 is similar to step S34 described above with reference to FIG. 3, a detailed description thereof will be omitted.
  • a method 40 for operating a user-recognized content providing system includes: when the user's bent knee is not extended (S44-> NO), the user raises a foot on the interface screen. If the bent knee is maintained for the first selection time, the controller 100 further includes generating a predetermined event by comparing the position of the foot corresponding to the bent knee of the user with the interface screen (S46). can do.
  • the controller 100 selects a button corresponding to the position of the foot corresponding to the bent knee of the user. It can be determined that the predetermined event is generated.
  • the control unit 100 when the user raises both feet on the interface screen and bends both knees, the first selection time is the first time when the user raises one foot on the interface screen and bent knees 1 It can be set shorter than the selection time.
  • FIG. 6 is a flowchart illustrating a method of operating a user recognition content providing system according to another embodiment of the present invention.
  • the operation method 50 of the user recognition content providing system illustrated in FIG. 6 may be performed by the user recognition content providing system 10 according to an exemplary embodiment.
  • the interface screen providing unit 300 projects an interface screen toward a user's exercise space (S51).
  • the motion recognition sensor unit 200 recognizes the user's motion (S52) and when the user puts his foot on the interface screen
  • the control unit 100 determines the position of the foot of the user and the interface screen. Comparing may include the step (S53).
  • the steps S51, S52, and S53 are similar to the steps S31, S32, and S33 described above with reference to FIG.
  • step S55 is similar to step S34 described above with reference to FIG. 3, a detailed description thereof will be omitted.
  • Operation method 50 of the user recognition content providing system when the bent knee of the user is not extended (S54-> NO), the bent knee of the user and the bent of the user Generating a predetermined event according to a result of comparing the position of the foot corresponding to the bent knee of the user with the interface screen when the height of at least one of the feet corresponding to the true knee rises (S56) ) May be further included.
  • step S56 of the method 50 of operating the user recognition content providing system may be performed.
  • step S56 may be performed.
  • the controller 100 may recognize the knee as if the knee is normally extended.
  • FIG. 7 is a flowchart illustrating a method of operating a user recognition content providing system according to another embodiment of the present invention.
  • the operation method 60 of the user recognition content providing system illustrated in FIG. 7 may be performed by the user recognition content providing system 10 according to an embodiment of the present invention.
  • steps S61, S62, S63, S64, and S65 included in a method 60 of operating a user-recognized content providing system according to another embodiment of the present invention are described with reference to FIG. 6. Since it is similar to the steps S53, S54 and S55, detailed description thereof will be omitted.
  • the method 60 for operating a user-recognized content providing system includes at least one of the user's pelvis, spine, and shoulders when the user's bent knee is not extended (S64-> NO). If the height of the control unit 100 may further include generating a predetermined event according to a result of comparing the position of the foot corresponding to the bent knee of the user with the interface screen (S66).
  • step S66 of the operation method 60 of the user recognition content providing system may be performed.
  • the control unit 100 when the user is bent knees, but the foot is not fully stretched, if the height of at least one of the user's pelvis, spine and shoulder rises more than a certain distance, even if the knee is not fully extended, the knee is normally You can perform the S66 step by admitting as unfolded. As an example, when the height of the user's pelvis and shoulders rises at the same time, the controller 100 may recognize the knees as if they were normally extended.
  • FIG. 8 is a flowchart illustrating a method of operating a user recognition content providing system according to another embodiment of the present invention.
  • the operation method 70 of the user recognition content providing system illustrated in FIG. 8 may be performed by the user recognition content providing system 10 according to an embodiment of the present invention.
  • steps S71, S72, S73, S74, and S75 included in a method 70 of operating a user-recognized content providing system according to another embodiment of the present invention are described with reference to FIG. 6. Since it is similar to the steps S53, S54 and S55, detailed description thereof will be omitted.
  • Operation method of the user recognition content providing system according to another embodiment of the present invention when the bent knee of the user is not extended (S74-> NO), the position of the bent knee of the user, the user
  • the cumulative change amount of at least one of the position of the pelvis and the position of the shoulder of the user is measured, and if the cumulative change amount exceeds a preset threshold, the controller 100 adjusts the position of the foot corresponding to the bent knee of the user.
  • the method may further include generating a predetermined event according to a result of comparing with the interface screen (S76).
  • the step S76 may be performed by acknowledging that the knee is normally extended in order to compensate for the user's effort.
  • the controller 100 may measure the cumulative position change amount by analyzing a user's motion detected by the motion recognition sensor unit 200. As an example, the cumulative position change may be measured while the user puts his foot on a specific button on the interface screen.
  • FIG. 9 is a flowchart illustrating a method of operating a user recognition content providing system according to another embodiment of the present invention.
  • the operation method 80 of the user recognition content providing system illustrated in FIG. 9 may be performed by the user recognition content providing system 10 according to an embodiment of the present invention.
  • a method 80 of operating a user recognition content providing system according to another embodiment of the present invention illustrated in FIG. 9 combines the operation method of the user recognition content providing system described above with reference to FIGS. 3 and 6 to 8. will be.
  • steps S81, S82, and S83 included in the operation method 80 of the user-recognized content providing system according to another embodiment of the present invention may be similar to the steps S51, S52, and S53 described above with reference to FIG. 6. Similar descriptions are omitted here.
  • a method 80 for operating a user-recognized content providing system includes bending the user's knee corresponding to a foot placed on the interface screen (S84-> YES).
  • the controller 100 may include generating a predetermined event according to a result of comparing the position of the foot corresponding to the bent knee of the user with the interface screen (S88).
  • step S88 may be performed.
  • the height of at least one of the bent knee of the user and the foot corresponding to the bent knee of the user does not increase. If not (S85-> NO), if the height of at least one of the pelvis, spine and shoulder of the user rises (S86-> YES) step S88 can be performed.
  • the operation method 80 of the user recognition content providing system when the height of at least one of the pelvis, spine and shoulder of the user does not rise (S86-> NO), If the cumulative change amount of at least one of the position of the bent knee of the user, the position of the pelvis of the user, and the position of the shoulder of the user is measured and the cumulative change amount exceeds a preset threshold (S87-> YES), the Step S88 may be performed. When the cumulative change amount does not exceed the preset threshold (S87-> NO), it can return to step S84 again.
  • a method 80 of operating a user recognition content providing system according to another embodiment of the present invention illustrated in FIG. 9 combines the operation method of the user recognition content providing system described above with reference to FIGS. 3 and 6 to 8. As such, the algorithm may be more sophisticated to not miss the user intended input.
  • steps S85, S86, and S87 shown in FIG. 9 is exemplary and may be variously changed according to the embodiment.
  • the steps S46 described with reference to FIG. 5 may also be combined with the steps S85, S86, and S87.
  • steps S84, S85, S86, and S87 the result may be determined within a predetermined time set by the controller 100 in advance.
  • the operating method of the user-recognized content providing system according to the present invention a computer that stores a program for performing the operation method of the user-recognized content providing system according to an embodiment of the present invention described above with reference to FIGS. It may be performed by a readable recording medium.
  • the operation method of the user recognition content providing system according to the present invention is performed by a computer program stored in a medium in order to execute the operation method of the user recognition content providing system described above with reference to FIGS. 2 to 9 in combination with hardware. Can be. It is possible to implement the operation method of the user-recognized content providing system according to the present invention as computer-readable codes on a computer-readable recording medium.
  • Computer-readable recording media include any type of recording device that stores data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, and floppy. Disk, optical data storage, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • FIG. 10 is a diagram illustrating an interface screen projected by a user recognition content providing system according to an exemplary embodiment.
  • the interface screen may include a ready position where a footprint is displayed, and buttons corresponding to various exercise programs may be displayed.
  • the screen illustrated in FIG. 10 is an example, and the layout, configuration, interface, and detailed operation of the screen may be variously changed.
  • the control unit 100 the user puts a foot on the interface screen
  • the user may generate a predetermined event by comparing the position of the foot placed on the interface screen with the interface screen.
  • the second selection time may be set to 3 seconds and longer than the first selection time. That is, the controller 100 may determine that the corresponding button is selected even when the user keeps the foot on the specific button for more than the second selection time in addition to the operation of bending the knee when the user selects the button on the interface screen. .
  • the control unit 100 sets the second selection time when the user puts one foot on a specific button on the interface screen. It can be set shorter than the second selection time.
  • the user may keep the user's foot on a specific button on the interface screen for a second selection time to select a specific button, and “slow selection”.
  • the second selection time may be defined in terms such as “slow selection time”.
  • the user's selection of a specific object by various combinations of the position of the user's foot, the bending motion of the knee, and the blood of the knee and the holding time in each movement are variously combined. Can effectively understand the will. Accordingly, the success rate of object selection by the user can be maximized.
  • the user-recognized content providing system has been described with reference to an exercise system that recognizes a user's motion, selects an exercise menu, and provides exercise content corresponding to the selected menu.
  • the present invention is not limited thereto, and the present invention can be applied to an advertisement device that selects various advertisements by displaying an interface screen in a space where the user is located, and selecting a menu displayed on the interface screen.
  • the present invention can be applied to a rehabilitation medical device that provides various rehabilitation operations by projecting an interface screen in a space where a user is located and selecting a menu projected on an interface screen by a user who needs rehabilitation.
  • various embodiments described herein can be implemented by hardware, middleware, microcode, software and / or combinations thereof.
  • various embodiments may include one or more application specific semiconductors (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs). ), Processors, controllers, microcontrollers, microprocessors, other electronic units designed to perform the functions presented herein, or a combination thereof.
  • ASICs application specific semiconductors
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • Processors controllers, microcontrollers, microprocessors, other electronic units designed to perform the functions presented herein, or a combination thereof.
  • various embodiments may be embedded in or encoded on a computer-readable medium containing instructions. Instructions embedded in or encoded on a computer-readable medium may cause a programmable processor or other processor to perform a method, for example, when the instructions are executed.
  • Computer-readable media includes both computer storage media and communication media including any medium that facilitates transfer of a computer program from one place to another.
  • the storage medium may be any available medium that can be accessed by a computer.
  • such computer-readable media may include RAM, ROM, EEPROM, CD-ROM, or other optical disk storage media, magnetic disk storage media or other magnetic storage devices, or instructions for accessing the desired program code by a computer or It can include any other medium that can be used to carry or store in the form of data structures.
  • Such hardware, software, firmware, etc. may be implemented within the same device or within separate devices to support the various operations and functions described herein.
  • the components, units, modules, components, etc., described herein as "parts" may be implemented separately or separately as discrete but interoperable logic devices.
  • the depiction of different features for modules, units, etc. is intended to highlight different functional embodiments and does not necessarily mean that they must be realized by individual hardware or software components. Rather, functionality associated with one or more modules or units may be performed by separate hardware or software components or integrated into common or separate hardware or software components.
  • the user recognition content providing system and its operation method according to embodiments of the present invention can be used in the industry related to the user recognition content providing system.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Disclosed are a user recognition content providing system and an operating method for same. The user recognition content providing system comprises: an interface screen provision unit which projects an interface screen toward a space where a user is located; a movement recognition sensor unit which recognizes the movements of a user; and a control unit which, when the user places their foot on the interface screen, compares the interface screen and the location of the user's foot, and, if the user's knee that corresponds to the foot placed on the interface screen has been extended and then bent, generates a specific event according to the result of a comparison of the location of the foot corresponding to the user's extended and then bent knee and the interface screen.

Description

사용자 인식 컨텐츠 제공 시스템 및 그 동작방법User-recognized content providing system and its operation method
본 발명은 사용자 인식 컨텐츠 제공 시스템 및 그 동작방법에 관한 것으로서, 특히 프로젝터부가 인터페이스 화면을 투사하고 동작인식센서부가 사용자의 동작을 인식함으로써 무릎의 굽힘 동작에 따라 소정의 이벤트를 발생시킬 수 있는 사용자 인식 컨텐츠 제공 시스템 및 그 동작방법에 관한 것이다.The present invention relates to a user-recognized content providing system and a method of operating the same. In particular, a user recognizes a user to generate a predetermined event according to a bending motion of a knee by a projector projecting an interface screen and a motion recognition sensor recognizing a user's motion. A content providing system and an operation method thereof.
최근 들어 건강과 웰빙에 대한 관심이 증대되면서 운동이 중요하다는 점은 누구나 인식하고 있다. 그러나 시간과 공간적인 제약 때문에 규칙적으로 체육관이나 헬스클럽 등을 찾아 운동을 하기는 쉽지 않다.Everyone is aware of the importance of exercise in recent years as health and well-being has increased. However, due to time and space constraints, it is not easy to regularly visit a gym or gym.
이와 관련하여 가상공간이나 증강현실이 구현된 전자기기를 활용한 운동시스템이 최근 각광받고 있다. 그러나 이러한 종래의 기술들은 가상공간을 형성하는 콘텐츠를 제공하여 사용자에게 현실감 있는 체험을 할 수 있도록 하는 장치나 방법에 대해서 제시하고 있으나, 사용자의 동작을 인식하기 위해 사용자의 몸에 추가적인 도구를 착용해야 하는 번거로움이 있고, 사용자의 동작을 직접 인식하지 못하여 사용자의 동작에 능동적으로 대응하지 못하는 문제점이 있다. 이에 따라, 실감형 인터랙티브 콘텐츠를 제공하면서도 간편하고 편리한 동작으로 운동시스템을 조작할 수 있는 기술이 요구되고 있다.In this regard, a movement system using electronic devices in which virtual space or augmented reality is implemented has recently been in the spotlight. However, these prior arts suggest a device or a method for providing a realistic experience to a user by providing content forming a virtual space, but an additional tool must be worn on the user's body to recognize the user's motion. There is a hassle, and there is a problem that does not recognize the user's motion directly and does not actively respond to the user's motion. Accordingly, there is a demand for a technology capable of operating the exercise system with simple and convenient operation while providing realistic interactive content.
본 발명은, 프로젝터부가 인터페이스 화면을 투사하고 동작인식센서부가 사용자의 동작을 인식함으로써 무릎의 굽힘 동작에 따라 소정의 이벤트를 발생시킬 수 있는 사용자 인식 컨텐츠 제공 시스템 및 그 동작방법을 제공하는 것을 목적으로 한다.An object of the present invention is to provide a user-recognized content providing system and a method of operating the same, which can generate a predetermined event according to the bending motion of the knee by the projector unit projecting the interface screen and the motion recognition sensor unit recognizes the user's motion. do.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 사용자 인식 컨텐츠 제공 시스템은, 사용자가 위치하는 공간을 향해 인터페이스 화면을 투사하는 인터페이스화면제공부, 상기 사용자의 동작을 인식하는 동작인식센서부, 및 상기 사용자가 상기 인터페이스 화면상에 발을 올리고 무릎을 굽힌 상태가 제1 선택시간 동안 유지되는 경우, 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교하여 소정의 이벤트를 발생시키는 제어부를 포함하는 것을 특징으로 한다.In order to achieve the above object, the user recognition content providing system according to an embodiment of the present invention, the interface screen providing unit for projecting the interface screen toward the space where the user is located, the operation recognition to recognize the user's operation When the sensor unit and the user raises their feet on the interface screen and keeps their knees bent for the first selection time, the position of the foot corresponding to the bent knee of the user is compared with the interface screen for a predetermined event. It characterized in that it comprises a control unit for generating a.
상기와 같은 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템은, 사용자가 위치하는 공간을 향해 인터페이스 화면을 투사하는 인터페이스화면제공부, 상기 사용자의 동작을 인식하는 동작인식센서부, 및 상기 사용자가 상기 인터페이스 화면상에 발을 올려놓는 경우, 상기 사용자의 발의 위치와 상기 인터페이스 화면을 비교하고, 상기 인터페이스 화면상에 올려놓은 발에 대응되는 상기 사용자의 무릎이 굽혔다 펴지는 경우, 상기 사용자의 굽혔다 펴진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교한 결과에 따라 소정의 이벤트를 발생시키는 제어부를 포함하는 것을 특징으로 한다.In order to achieve the above object, the user recognition content providing system according to another embodiment of the present invention, the interface screen providing unit for projecting the interface screen toward the space in which the user is located, the operation recognition for recognizing the operation of the user When the sensor unit and the user put the foot on the interface screen, the position of the user's foot and the interface screen is compared, and the user's knee corresponding to the foot placed on the interface screen is bent and stretched. The controller may further include a controller configured to generate a predetermined event according to a result of comparing the position of the foot corresponding to the user's bent knee with the interface screen.
바람직하게는, 상기 사용자 인식 컨텐츠 제공 시스템은, 상기 제어부의 제어에 따라, 상기 인터페이스 화면 또는 상기 소정의 이벤트에 대응되는 콘텐츠 화면을 표시하는 디스플레이부를 더 포함할 수 있다.Preferably, the user recognition content providing system may further include a display unit configured to display the interface screen or a content screen corresponding to the predetermined event under the control of the controller.
또한 바람직하게는, 상기 제어부는, 상기 동작인식센서부에 의해 측정된 상기 사용자의 발, 무릎 및 골반의 위치에 따라 상기 사용자의 무릎이 굽혀졌는지 여부를 판단할 수 있다.Also preferably, the control unit may determine whether the user's knee is bent according to the position of the user's foot, knee and pelvis measured by the motion recognition sensor unit.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법은, 인터페이스화면제공부가 사용자가 위치하는 공간을 향해 인터페이스 화면을 투사하는 단계, 동작인식센서부가 상기 사용자의 동작을 인식하는 단계, 및 상기 사용자가 상기 인터페이스 화면상에 발을 올리고 무릎을 굽힌 상태가 제1 선택시간 동안 유지되는 경우, 제어부가 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교하여 소정의 이벤트를 발생시키는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, the operation method of the user-recognized content providing system according to an embodiment of the present invention, the interface screen providing unit projecting the interface screen toward the space where the user is located, the motion recognition sensor unit Recognizing the motion of the user, and when the user keeps the foot on the interface screen and bends the knee for the first selection time, the controller controls the position of the foot corresponding to the bent knee of the user. And generating a predetermined event in comparison with the screen.
상기와 같은 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법은, 인터페이스화면제공부가 사용자가 위치하는 공간을 향해 인터페이스 화면을 투사하는 단계, 동작인식센서부가 상기 사용자의 동작을 인식하는 단계, 상기 사용자가 상기 인터페이스 화면상에 발을 올려놓는 경우, 제어부가 상기 사용자의 발의 위치와 상기 인터페이스 화면을 비교하는 단계, 및 상기 인터페이스 화면상에 올려놓은 발에 대응되는 상기 사용자의 무릎이 굽혔다 펴지는 경우, 상기 제어부가 상기 사용자의 굽혔다 펴진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교한 결과에 따라 소정의 이벤트를 발생시키는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, the operation method of the user-recognized content providing system according to another embodiment of the present invention, the interface screen providing unit projecting the interface screen toward the space in which the user is located, the motion recognition sensor unit Recognizing a user's motion, when the user puts the foot on the interface screen, the control unit compares the position of the user's foot and the interface screen, and corresponding to the foot placed on the interface screen And when the user's knee is bent and stretched, the control unit generates a predetermined event according to a result of comparing the position of the foot corresponding to the user's bent and stretched knee with the interface screen.
바람직하게는, 상기 사용자의 굽혀진 무릎이 펴지지 않은 경우, 상기 사용자가 상기 인터페이스 화면상에 발을 올리고 무릎을 굽힌 상태가 제1 선택시간 동안 유지되면, 상기 제어부가 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교하여 소정의 이벤트를 발생시키는 단계를 더 포함할 수 있다.Preferably, when the user's bent knee is not extended, when the user raises his foot on the interface screen and keeps his knees bent for the first selection time, the controller corresponds to the user's bent knee. The method may further include generating a predetermined event by comparing the position of the foot with the interface screen.
또한 바람직하게는, 상기 사용자의 굽혀진 무릎이 펴지지 않은 경우, 상기 사용자의 굽혀진 무릎 및 상기 사용자의 굽혀진 무릎에 대응되는 발 중 적어도 하나의 높이가 상승하면 상기 제어부가 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교한 결과에 따라 소정의 이벤트를 발생시키는 단계를 더 포함할 수 있다.Also preferably, when the bent knee of the user is not extended, when the height of at least one of the bent knee of the user and the foot corresponding to the bent knee of the user is increased, the control unit may be the bent knee of the user. The method may further include generating a predetermined event according to a result of comparing the position of the foot corresponding to the interface screen with the position of the foot.
또한 바람직하게는, 상기 사용자의 굽혀진 무릎이 펴지지 않은 경우, 상기 사용자의 골반, 척추 및 어깨 중 적어도 하나의 높이가 상승하면 상기 제어부가 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교한 결과에 따라 소정의 이벤트를 발생시키는 단계를 더 포함할 수 있다.Also, when the bent knee of the user is not extended, when the height of at least one of the pelvis, the spine, and the shoulder of the user rises, the controller may display the position of the foot corresponding to the bent knee of the user on the interface screen. The method may further include generating a predetermined event according to the result of the comparison.
또한 바람직하게는, 상기 사용자의 굽혀진 무릎이 펴지지 않은 경우, 상기 사용자의 굽혀진 무릎의 위치, 상기 사용자의 골반의 위치, 및 상기 사용자의 어깨의 위치 중 적어도 하나의 누적 변화량을 측정하여 상기 누적 변화량이 미리 설정된 임계치를 초과하면, 상기 제어부가 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교한 결과에 따라 소정의 이벤트를 발생시키는 단계를 더 포함할 수 있다.Also preferably, when the bent knee of the user is not extended, the cumulative change amount of at least one of the position of the bent knee of the user, the position of the pelvis of the user, and the position of the shoulder of the user may be measured and accumulated. When the amount of change exceeds a preset threshold, the controller may further include generating a predetermined event according to a result of comparing the position of the foot corresponding to the bent knee of the user with the interface screen.
또한 바람직하게는, 상기 제어부는, 상기 사용자가 상기 인터페이스 화면상에 발을 올려놓은 상태가 제2 선택시간 동안 유지되는 경우, 상기 사용자가 상기 인터페이스 화면상에 올려놓은 발의 위치를 상기 인터페이스 화면과 비교하여 소정의 이벤트를 발생시킬 수 있다.Also preferably, when the state in which the user places the foot on the interface screen is maintained for a second selection time, the controller compares the position of the foot placed on the interface screen with the interface screen. To generate a predetermined event.
또한 바람직하게는, 상기 제어부는, 상기 동작인식센서부에 의해 측정된 상기 사용자의 발, 무릎 및 골반의 위치에 따라 상기 사용자의 무릎이 굽혀졌는지 여부를 판단할 수 있다.Also preferably, the control unit may determine whether the user's knee is bent according to the position of the user's foot, knee and pelvis measured by the motion recognition sensor unit.
또한 바람직하게는, 상기 제어부는, 상기 인터페이스화면제공부의 위치, 상기 인터페이스화면제공부가 상기 인터페이스 화면을 투사하는 방향, 상기 인터페이스 화면이 투사되는 공간의 바닥면 및 상기 동작인식센서부의 위치 중 적어도 하나를 고려하여 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교 분석할 수 있다.Also, preferably, the controller may include at least one of a position of the interface screen providing unit, a direction in which the interface screen providing unit projects the interface screen, a bottom surface of a space in which the interface screen is projected, and a position of the motion recognition sensor unit. In consideration of this, the position of the foot corresponding to the bent knee of the user may be compared with the interface screen.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일실시예에 따른 컴퓨터로 읽을 수 있는 기록매체는, 상기 사용자 인식 컨텐츠 제공 시스템의 동작방법을 수행하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록매체인 것을 특징으로 한다.In order to achieve the above object, the computer-readable recording medium according to an embodiment of the present invention is a computer-readable recording medium that stores a program for performing an operation method of the user recognition content providing system. It features.
상기와 같은 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템 및 그 동작방법은, 프로젝터부가 인터페이스 화면을 투사하고 동작인식센서부가 사용자의 동작을 인식함으로써 무릎의 굽힘 동작에 따라 소정의 이벤트를 발생시킬 수 있는 효과가 있다.The user recognition content providing system and its operation method according to an embodiment of the present invention as described above, the projector generates a predetermined event according to the bending operation of the knee by projecting the interface screen and the motion recognition sensor unit recognizes the user's motion. It can be effected.
또한, 상기와 같은 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템 및 그 동작방법은, 사용자의 동작을 인식하기 위해 사용자의 몸에 추가적인 도구를 착용해야 하는 번거로움 없이 간단하면서도 효과적인 운동 동작을 통해 사용자 인식 컨텐츠 제공 시스템을 조작할 수 있는 효과가 있다.In addition, the user recognition content providing system and its operation method according to an embodiment of the present invention as described above, a simple and effective exercise operation without the hassle of having to wear additional tools on the user's body to recognize the user's motion Through the user recognition content providing system can be operated.
또한, 상기와 같은 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템 및 그 동작방법은, 사용자의 발의 위치와 무릎의 굽힘 동작을 다양하게 조합하여 사용자의 특정 오브젝트의 선택의지를 효과적으로 파악함으로써, 오브젝트 선택의 성공률을 극대화 시킬 수 있다.In addition, the user recognition content providing system and the operation method according to an embodiment of the present invention as described above, by effectively determining the user's choice of a specific object by various combinations of the position of the user's foot and the knee bending operation, The success rate of object selection can be maximized.
도 1은 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템을 나타내는 도면이다.1 is a view showing a user recognition content providing system according to an embodiment of the present invention.
도 2는 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법을 나타내는 순서도(Flowchart)이다.2 is a flowchart illustrating a method of operating a user recognition content providing system according to an embodiment of the present invention.
도 3은 본 발명의 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법을 나타내는 순서도이다.3 is a flowchart illustrating a method of operating a system for providing a user recognition content according to another embodiment of the present invention.
도 4a 내지 도 4c는 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 사용 상태를 나타내는 도면이다.4A to 4C are diagrams illustrating a use state of a system for providing user recognition content according to an embodiment of the present invention.
도 5는 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법을 나타내는 순서도이다.5 is a flowchart illustrating a method of operating a user recognition content providing system according to another exemplary embodiment of the present invention.
도 6은 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법을 나타내는 순서도이다.6 is a flowchart illustrating a method of operating a user recognition content providing system according to another embodiment of the present invention.
도 7은 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법을 나타내는 순서도이다.7 is a flowchart illustrating a method of operating a user recognition content providing system according to another embodiment of the present invention.
도 8은 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법을 나타내는 순서도이다.8 is a flowchart illustrating a method of operating a user recognition content providing system according to another embodiment of the present invention.
도 9는 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법을 나타내는 순서도이다.9 is a flowchart illustrating a method of operating a user recognition content providing system according to another embodiment of the present invention.
도 10은 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템에 의해 투사되는 인터페이스 화면을 나타내는 도면이다.10 is a diagram illustrating an interface screen projected by a user recognition content providing system according to an exemplary embodiment.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다. DETAILED DESCRIPTION In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings which illustrate preferred embodiments of the present invention and the contents described in the drawings.
이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Like reference numerals in the drawings denote like elements.
도 1은 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템을 나타내는 도면이다. 본 실시예에 따른 사용자 인식 컨텐츠 제공 시스템은, 사용자의 동작을 인식하여 운동 메뉴를 선택하고, 선택된 메뉴에 대응하는 운동 컨텐츠를 제공하는 운동시스템을 예를 들어 설명한다. 도 1을 참조하면, 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)은 동작인식센서부(200), 인터페이스화면제공부(300) 및 디스플레이부(400)를 포함할 수 있다. 도 1에 도시되지는 않았으나 상기 사용자 인식 컨텐츠 제공 시스템(10)은 동작인식센서부(200)와 인터페이스화면제공부(300)를 제어하여 운동프로그램을 제공하는 제어부(도 4a의 100)를 더 포함할 수 있다.1 is a view showing a user recognition content providing system according to an embodiment of the present invention. The user recognition content providing system according to the present exemplary embodiment will be described with reference to an exercise system that recognizes a user's motion, selects an exercise menu, and provides exercise content corresponding to the selected menu. Referring to FIG. 1, the user recognition content providing system 10 according to an exemplary embodiment may include a motion recognition sensor unit 200, an interface screen providing unit 300, and a display unit 400. Although not shown in FIG. 1, the user recognition content providing system 10 further includes a controller (100 of FIG. 4A) that provides an exercise program by controlling the motion recognition sensor unit 200 and the interface screen providing unit 300. can do.
본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)은 인터페이스화면제공부(300)를 통해 원하는 운동프로그램의 인터페이스 화면을 바닥에 투사함으로써, 하나의 컨텐츠 제공 시스템으로 사용자가 원하는 다양한 형태의 운동 프로그램을 실행할 수 있다. 즉, 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)은 인터페이스화면제공부(300)를 통해 사용자의 동작을 안내하는 실감형 인터랙티브 콘텐츠에 기반한 운동프로그램의 인터페이스 화면을 사용자의 운동공간에 표시할 수 있고, 사용자가 일정한 동작을 취하면 동작인식센서부(200)가 사용자의 움직임을 감지하여 상기 제어부(100)에 전달할 수 있다. 제어부(100)는 동작인식센서부(200)에 의해 감지된 사용자의 주요 포인트(손, 발, 머리, 관절)의 좌표정보를 인식하여 운동프로그램과 사용자의 동작이 일치하는지 판단할 수 있다. 제어부(100)는 상기 운동프로그램과 사용자의 움직임을 동기화시켜 사용자가 현실과 동질감을 느낄 수 있는 운동환경을 제공할 수 있다.The user-recognized content providing system 10 according to an embodiment of the present invention projects the interface screen of a desired exercise program on the floor through the interface screen providing unit 300, thereby providing various contents desired by the user as one content providing system. You can run an exercise program. That is, the user recognition content providing system 10 according to an embodiment of the present invention displays the interface screen of the exercise program based on the interactive content that guides the user's operation through the interface screen providing unit 300. When the user takes a certain operation, the motion recognition sensor unit 200 may detect the user's movement and transfer the same to the control unit 100. The controller 100 may recognize coordinate information of main points (hands, feet, heads, and joints) of the user detected by the motion recognition sensor unit 200 to determine whether the motion program matches the motion of the user. The controller 100 may provide a workout environment in which the user feels the same as reality by synchronizing the motion program with the user's movement.
상기 인터페이스화면제공부(300)에 의해 사용자의 운동공간에 투사되는 운동프로그램은 ICT(Information and Communication Technology)를 기반으로 인간의 감각과 인지를 유발하여 실제와 유사한 경험 및 감성을 확장하고, 사람과 사물, 사람과 가상의 오브젝트가 인터랙션을 하는 실감형 인터랙티브 콘텐츠에 기반할 수 있다. 상기 실감형 인터랙티브 콘텐츠에는 운동프로그램에 따라 사용자가 취해야 할 동작을 유도하기 위한 가상의 오브젝트(예를 들어 팔을 굽혔다가 뛰는 전신 운동의 하나인 버피운동에서 팔을 굽혔을 때 바닥에 손이 닿아야 하는 부분)에 대한 좌표정보와 순서, 좌표의 변화 간격 등에 관한 정보가 포함될 수 있다. 이 좌표정보는 사용자의 나이, 성별, 체력, 운동량, 훈련 중인 운동프로그램 등에 따라 사용자에 최적화되어 제공될 수 있다. 상기 운동프로그램은 사용자의 운동동작에 대한 시퀀스를 저장하고 있으며, 상기 제어부(100)는 저장하고 있는 프로그램의 운동동작에 대한 시퀀스를 인터페이스화면제공부(300)를 통해서 출력할 수 있다. 상기 시퀀스는 테이블 형태, XML 형태의 마크업 언어(markup language), 데이터 구조와 같은 다양한 형태로 저장될 수 있다.The exercise program projected to the user's exercise space by the interface screen providing unit 300 induces human sense and cognition based on ICT (Information and Communication Technology) to expand the experience and emotion similar to the reality, Objects, people, and virtual objects can be based on immersive interactive content that interacts. The realistic interactive content includes a virtual object for inducing an action to be taken by a user according to an exercise program (for example, when the arm is bent in the buffy exercise, which is one of the whole body movements that bends and runs, the hand should touch the floor). Coordinate information) and information on the order, the interval of change of the coordinates, and the like. The coordinate information may be optimally provided to the user according to the user's age, gender, physical fitness, exercise amount, exercise program under training, and the like. The exercise program stores a sequence of a user's exercise motion, and the controller 100 may output a sequence of the exercise action of the stored program through the interface screen providing unit 300. The sequence may be stored in various forms such as a table form, a markup language in XML form, and a data structure.
동작인식센서부(200)는, 전방의 운동공간에서 사용자의 동작을 인식할 수 있다. 상기 동작인식센서부(200)는 적어도 하나 이상의 카메라, 뎁쓰 카메라, 적외선 센서 또는 이들의 조합으로 구성되어서 사용자와 사용자의 움직임을 전방에서 감지할 수 있다. 한편, 사용자의 주위(전후좌우)에 복수의 동작인식센서부(200)가 설치되어 멀티뷰 이미지를 생성하여 사용자의 동작을 인식할 수도 있다. 즉, 동작인식센서부(200)는 사용자의 운동공간을 3차원의 입체적 혹은 멀티뷰로 감지할 수 있다. 동작인식센서부(200)는 이렇게 수집된 사용자, 사용자의 움직임 및 공간 정보를 제어부(100)에 전송하여 사용자에게 최적화된 보다 생동감 있는 입체적인 운동인터페이스를 제공하고 정밀한 사용자의 동작인식을 가능케 한다. 상기 카메라는 3차원 영상을 생성하기 위해서 좌영상 및 우영상을 촬영하는 카메라일 수 있으며, 복수의 카메라를 이용하여 멀티뷰를 구현하는 것으로 볼 수도 있다. 또한 뎁쓰 카메라의 뎁쓰값이나 3차원 영상에서 좌우영상의 시차에 대한 데이터를 추출하여, 오브젝트와의 거리를 환산하는데 활용할 수 있다. 거리가 가까우면 뎁쓰값이 크고, 거리가 멀면 뎁쓰값이 작게 되는 원리를 이용한 것이다.The motion recognition sensor unit 200 may recognize a user's motion in the front exercise space. The motion recognition sensor unit 200 may include at least one camera, a depth camera, an infrared sensor, or a combination thereof to detect the user and the user's movement from the front. Meanwhile, a plurality of motion recognition sensors 200 may be installed around the user (front, rear, left and right) to generate a multi-view image to recognize the user's motion. That is, the motion recognition sensor unit 200 may detect the user's motion space in three-dimensional or multi-view. The motion recognition sensor unit 200 transmits the collected user, user's motion and spatial information to the control unit 100 to provide a more realistic three-dimensional motion interface optimized for the user and enable precise user's motion recognition. The camera may be a camera that captures a left image and a right image to generate a 3D image, and may be regarded as implementing a multiview using a plurality of cameras. In addition, data about the parallax of the left and right images may be extracted from the depth value of the depth camera or the 3D image, and used to convert the distance from the object. If the distance is close, the depth value is large, and if the distance is far, the depth value is used.
일례로서, 상기 동작인식센서부(200)는, 인식범위 내의 인체로 적외선을 송출한 후 인체로부터 반사되는 적외선 신호를 감지함으로써, 인체의 중요 관절 부위를 복수 개의 점(예: 20개)으로 표시할 수 있고 이에 따라 인체의 움직임, 속도 및 위치 등을 인식할 수 있다. 또한, 상기 동작인식센서부(200)는, 인식범위 내에 여러 사람이 위치하는 경우 가장 가까운 거리에 있는 사람을 인식하는 등의 방법으로 한 명의 사람을 분리할 수도 있고, 여러 사람을 각각 별개로 분리하여 인식할 수도 있다. 일례로서, 상기 동작인식센서부(200)는 모션 캡쳐(Motion Capture) 및 음성 인식이 가능한 마이크로소프트(Microsoft)사의 "키넥트" 장치에 의해 구현될 수 있고, 동작인식센서부(200)에서 생성되는 동작 인식 신호는 동작인식센서부(200)에서 감지된 인체의 움직임 및 위치를 나타내기 위한 디지털 데이터로서, 예를 들면, 감지된 인체의 중요 관절 부위를 표현한 복수 개의 점들의 위치 정보 및 깊이(Depth) 정보를 포함할 수 있다.For example, the motion recognition sensor unit 200 transmits infrared rays to a human body within a recognition range, and then detects infrared signals reflected from the human body, thereby displaying important joint parts of the human body as a plurality of points (for example, 20 points). In this way, the movement, speed, and position of the human body can be recognized. In addition, the motion recognition sensor unit 200 may separate one person by a method such as recognizing a person at the closest distance when several people are located within a recognition range, and separately separating several people. It can also be recognized. As an example, the motion recognition sensor unit 200 may be implemented by a "Kinect" device of Microsoft Corp. capable of motion capture and voice recognition, and generated by the motion recognition sensor unit 200. The motion recognition signal is digital data for indicating the motion and position of the human body detected by the motion recognition sensor unit 200. For example, the position information and depth of a plurality of points representing the important joint parts of the detected human body ( Depth) may include information.
인터페이스화면제공부(300)는, 사용자가 위치하는 공간을 향해 인터페이스 화면을 투사할 수 있다. 일례로서, 인터페이스화면제공부(300)는 프로젝터부(310) 및 반사부(320)를 포함할 수 있다. 인터페이스화면제공부(300)는, 낮은 천장과 같이 충분한 투사거리가 확보되지 않는 장소에서도 영상을 충분히 확대하여 투사할 수 있고, 높이의 변화에도 같은 위치에 운동프로그램에 따른 영상을 투사할 수 있다.The interface screen providing unit 300 may project the interface screen toward the space where the user is located. As an example, the interface screen providing unit 300 may include a projector unit 310 and a reflecting unit 320. The interface screen providing unit 300 may project an enlarged image sufficiently in a place where a sufficient projection distance is not secured, such as a low ceiling, and project an image according to an exercise program at the same position even with a change in height.
상기 프로젝터부(310)는 실감형 인터랙티브 콘텐츠에 기반한 운동프로그램을 수행하기 위한 인터페이스 화면을 상기 반사부(320)로 투사할 수 있다. 프로젝터부(310)는 HDMI, RGB, BNC, Wireless HD 등 다양한 방식의 유무선 인터페이스를 통해 상기 제어부(100)와 데이터를 주고받을 수 있다. 프로젝터부(310)는 제어부(100)와의 연결을 통해 실감형 인터랙티브 콘텐츠에 기반한 운동프로그램을 위한 인터페이스 화면을 상기 반사부(320)로 투사할 수 있다. 프로젝터부(310)의 위치 및 투사 각도는 운동프로그램의 종류에 따라 투사되는 인터페이스 화면의 크기와 위치를 조정할 수 있도록 하기 위해 다양하게 변경될 수 있다. 일례로서, 상기 프로젝터부(310)는 레일이나 브라켓 등을 통해 상하좌우 이동 및 360도 회전이 가능할 수 있다.The projector unit 310 may project an interface screen for executing an exercise program based on sensory interactive content to the reflector 320. The projector 310 may exchange data with the controller 100 through a wired or wireless interface of various methods such as HDMI, RGB, BNC, and Wireless HD. The projector unit 310 may project an interface screen for an exercise program based on immersive interactive content to the reflector 320 through a connection with the controller 100. The position and the projection angle of the projector 310 may be variously changed in order to adjust the size and position of the projected interface screen according to the type of exercise program. As an example, the projector 310 may be moved up, down, left and right and rotated 360 degrees through a rail or bracket.
반사부(320)는, 프로젝터부(310)로부터 투사된 인터페이스 화면을 반사하여 사용자의 운동공간의 바닥면으로 반사할 수 있다. 반사부(320)는 실시예에 따라 평면거울, 볼록거울, 오목거울 또는 비정형 거울 중의 어느 하나로 형성될 수 있으며, 운동프로그램의 종류와 특징에 따라 프로젝터부(310)에서 인터페이스 화면이 투사될 바닥면까지의 투사거리를 조절함으로써 운동공간의 크기를 조절할 수 있다. 예를 들어, 반사부(320)가 평면거울로 구현되는 경우에는 프로젝터부(310)에서 바닥면에 바로 투사될 때보다 프로젝터부(310)에서 상기 평면거울 사이의 거리의 2배만큼 투사거리가 늘어나는 효과를 얻을 수 있다. 또한, 반사부(320)가 볼록거울로 구현되는 경우에는 프로젝터부(310)에서 바닥면에 바로 투사될 때보다 프로젝터부(310)에서 상기 볼록거울 사이의 거리와 볼록거울의 배율에 따른 거리만큼 투사거리가 늘어나는 효과를 얻을 수 있다. 또한, 반사부(320)가 오목거울로 구현되는 경우에는 프로젝터부(310)에서 바닥면에 바로 투사될 때보다 투사거리는 짧아지지만 프로젝터부(310)에서 투사되는 빛을 집중시켜 밝은 곳에서도 선명한 영상을 얻을 수 있는 효과가 있다. 또한, 반사부(320)가 비정형거울로 구현되는 경우에는 투사거리를 늘려 확대된 증강된 가상 운동공간을 확보할 수 있고, 거울에 반사되어 바닥면에 투사되는 각도가 수직이 아니어서 발생할 수 있는 화면의 왜곡을 보정할 수도 있다. 일례로서, 상기 반사부(320)는 투사되는 거리에 따른 영상의 왜곡이 발생하지 않도록 일반거울보다 반사계수가 높은 도료를 아크릴이나 플라스틱에 도포하여 사용할 수 있다.The reflector 320 may reflect the interface screen projected from the projector 310 and reflect the bottom of the exercise space of the user. The reflector 320 may be formed of any one of a flat mirror, a convex mirror, a concave mirror, or an atypical mirror, and according to an embodiment, a bottom surface on which the interface screen is projected from the projector 310 according to the type and characteristic of the exercise program. You can adjust the size of the exercise space by adjusting the throwing distance. For example, when the reflector 320 is implemented as a planar mirror, the projection distance is twice as large as the distance between the planar mirrors in the projector 310 than when directly projected onto the bottom surface of the projector 310. Increased effect can be obtained. In addition, when the reflecting unit 320 is implemented as a convex mirror, the distance between the convex mirror and the distance according to the magnification of the convex mirror in the projector unit 310 is greater than when the projector unit 310 is directly projected onto the bottom surface. The effect of increasing the projection distance can be obtained. In addition, when the reflecting unit 320 is implemented as a concave mirror, the projection distance is shorter than when the projector unit 310 is directly projected on the bottom surface, but the image projected by the projector unit 310 concentrates the light projected in a bright place. There is an effect that can be obtained. In addition, when the reflecting unit 320 is implemented as an atypical mirror, the projection distance may be increased to secure an enlarged virtual motion space, and may be generated because the angle reflected by the mirror is not perpendicular to the floor surface. You can also correct distortion on the screen. As one example, the reflector 320 may be applied to the acrylic or plastic by applying a paint having a higher reflection coefficient than a general mirror so that distortion of the image according to the distance to be projected does not occur.
또한, 반사부(320)는 상하좌우로 이동하거나 회전이 가능하여 전후 또는 좌우로 반사되는 각도를 조절할 수 있다. 일례로서, 상기 반사부(320)는 레일이나 브라켓 등을 통해 상하좌우 이동 및 360도 회전이 가능할 수 있다. 이를 통해 사용자 인식 컨텐츠 제공 시스템(10)의 설치 이후에도 운동하고자 하는 주변환경에 따라 운동프로그램의 인터페이스 화면이 투사되는 위치를 다양하게 변경할 수 있다.In addition, the reflector 320 may move up, down, left, and right or rotate to adjust an angle reflected back and forth or left and right. As an example, the reflector 320 may be moved up, down, left and right and rotated 360 degrees through a rail or bracket. Through this, even after installation of the user-recognized content providing system 10, the position where the interface screen of the exercise program is projected may be variously changed according to the surrounding environment to be exercised.
한편, 도 1에는 상기 반사부(320)가 하나의 반사거울로 형성되는 것이 도시되어 있으나 이는 예시적인 것으로서, 상기 반사부(320)는 복수 개의 반사거울을 구비하여 상기 반사거울 간에 상기 인터페이스 화면을 반사하도록 배치함으로써, 상기 프로젝터부(310)와 바닥면 사이의 투사 거리를 더욱 길게 확장할 수 있다. 일례로서, 프로젝터부(310)를 사용자 인식 컨텐츠 제공 시스템(10)의 아랫부분에 설치하고 중간에 몇 개의 반사거울을 지그재그로 설치한 후 천정에 설치된 반사거울을 통해서 최종적으로 바닥면에 투사하도록 구성될 수 있다.Meanwhile, although FIG. 1 shows that the reflecting unit 320 is formed as one reflective mirror, this is merely an example. The reflecting unit 320 includes a plurality of reflecting mirrors to display the interface screen between the reflecting mirrors. By arranging to reflect, the projection distance between the projector 310 and the bottom surface can be further extended. As an example, the projector unit 310 is installed in the lower portion of the user recognition content providing system 10, and a few reflective mirrors are zigzag in the middle, and then configured to be finally projected onto the floor surface through the reflective mirrors installed on the ceiling. Can be.
또한, 인터페이스화면제공부(300)는 복수 개의 프로젝터부(310)를 포함할 수도 있다. 이 경우 여러 개의 화면을 각각 다른 반사부(320)를 통해서 출력함으로써, 서로 오버랩되어 출력되거나 인접하여 출력되도록 하는 영상효과를 만들어낼 수 있다.In addition, the interface screen providing unit 300 may include a plurality of projectors 310. In this case, by outputting a plurality of screens through different reflecting units 320, the image effects may be generated to overlap each other or to be adjacently output.
한편, 다른 실시예로서 상기 인터페이스화면제공부(300)는 반사부(320)가 생략되어 프로젝터부(310)에서 투사된 인터페이스 화면이 바닥면으로 바로 투사될 수 있다.Meanwhile, as another embodiment, the interface screen providing unit 300 may omit the reflection unit 320 so that the interface screen projected by the projector 310 may be directly projected onto the floor.
디스플레이부(400)는, 제어부(100)의 제어에 따라, 상기 인터페이스 화면을 표시하거나 제어부(100)에 의해 발생되는 소정의 이벤트에 대응되는 콘텐츠 화면을 표시할 수 있다. 디스플레이부(400)는 사용자의 동작이 동작인식센서부(200)에 의해 인식된 결과를 출력할 수 있고, 운동 중 사용자의 위치나 방향 변화에 따른 움직임 및 사용자가 운동한 결과에 대한 정보를 실시간으로 출력할 수 있다. 디스플레이부(400)는 사용자의 움직임에 따른 운동량 정보, 사용자 정보, 운동 평가 및 결과, 소모된 칼로리 정보, 개인의 헬스 정보, 자신의 운동내용 확인 또는 이들의 조합을 포함한 정보를 표시하여 사용자가 운동도중이나 운동 후에 확인할 수 있도록 하여 사용자가 보다 효율적으로 운동할 수 있는 환경을 제공할 수 있다.The display 400 may display the interface screen or display a content screen corresponding to a predetermined event generated by the controller 100 under the control of the controller 100. The display unit 400 may output a result of the user's motion recognized by the motion recognition sensor unit 200, and may display information about the motion and the result of the user's exercise according to the user's position or direction change during the exercise. You can output The display unit 400 displays information including exercise amount information, user information, exercise evaluation and results, calorie information consumed, personal health information, confirmation of one's exercise contents, or a combination thereof according to the user's movement. By checking during or after the exercise, the user may provide an environment in which the user can exercise more efficiently.
제어부(100)는, 동작인식센서부(200)에 의해 감지된 사용자를 인식하여 등록된 사용자 정보를 추출하고, 사용자에게 제공될 운동프로그램을 준비할 수 있다. 제어부(100)는 유무선인터페이스부(미도시)를 통해 다운로드한 사용자 정보를 바탕으로 실감형 인터랙티브 콘텐츠에 기반하여 생성된 운동프로그램의 가상 오브젝트로 구성된 인터페이스 화면을 인터페이스화면제공부(300)를 통해 사용자에게 제공할 수 있다. 제어부(100)는 동작인식센서부(200)를 통해 사용자의 동작을 인식하여 운동프로그램의 시작과 종료를 포함한 운동동작에 대한 시퀀스에 따라 사용자의 실제 운동프로그램에서의 동작을 인식할 수 있다. 또한, 제어부(100)는, 동작인식센서부(200)에 의해 감지된 운동공간에 대한 3차원 입체적 정보를 바탕으로 사용자 환경에 최적화된 보다 생동감 있는 입체적인 인터페이스 화면을 제공할 수 있다.The controller 100 may recognize a user detected by the motion recognition sensor unit 200, extract registered user information, and prepare an exercise program to be provided to the user. The control unit 100 uses the interface screen providing unit 300 to display an interface screen composed of virtual objects of an exercise program generated based on realistic interactive content based on user information downloaded through a wired / wireless interface unit (not shown). Can be provided to The controller 100 may recognize the user's motion through the motion recognition sensor unit 200 to recognize the user's motion in the actual exercise program according to the sequence of the exercise motion including the start and the end of the exercise program. In addition, the controller 100 may provide a more realistic three-dimensional interface screen optimized for the user environment based on three-dimensional stereoscopic information on the motion space detected by the motion recognition sensor unit 200.
제어부(100)는, 사용자의 운동 동작 및 신체 인식 상태 등을 사용자가 즉각적으로 알 수 있도록 인터페이스화면제공부(300)를 통해 바닥면에 투사할 수도 있다. 제어부(100)는, 동작인식센서부(200)를 통해 사용자의 운동동작을 정확하게 인식할 수 있으며, 해당 운동프로그램에서 제공되는 정확한 기준동작과 상기 동작인식센서부(200)가 인식한 사용자의 운동동작을 실시간으로 비교하여, 상기 사용자의 운동동작이 상기 기준동작과 일치하지 않는 경우에는 인터페이스화면제공부(300) 또는 디스플레이부(400)를 통해 자세 교정의 메시지와 함께 교정된 신체 이미지를 함께 표시하여 정확한 운동동작으로 유도할 수 있다. 제어부(100)는, 상기 사용자의 동작인식에 의해 운동동작 화면이 변화할 경우에는 동작인식 순간에 음향효과나 화면효과를 이용하여 사용자에게 동작평가 정보를 제공함으로써 동작인식 시점을 알려줄 수 있다.The controller 100 may project the user's exercise motion and body recognition state onto the floor through the interface screen providing unit 300 so that the user can immediately know. The control unit 100 may accurately recognize a user's motion through the motion recognition sensor unit 200, and the user's motion recognized by the motion recognition sensor unit 200 with the correct reference motion provided by the corresponding exercise program. By comparing the motions in real time, if the user's motion does not match the reference motion, the corrected body image is displayed together with the posture correction message through the interface screen providing unit 300 or the display unit 400. It can lead to accurate movement. When the exercise motion screen is changed by the motion recognition of the user, the controller 100 may notify the motion recognition time by providing motion evaluation information to the user using sound effects or screen effects at the moment of motion recognition.
제어부(100)는, 상기 사용자가 상기 인터페이스 화면상에 발을 올리고 무릎을 굽힌 상태가 제1 선택시간 동안 유지되는 경우, 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교하여 소정의 이벤트를 발생시킬 수 있다. 즉, 동작인식센서부(200)가 사용자의 동작을 인식하여 사용자가 어느 한쪽 다리의 무릎을 굽힌 상태를 제1 선택시간 동안 유지하는 경우, 제어부(100)는 인터페이스 화면상에서 사용자의 굽혀진 무릎에 대응되는 발의 위치와 일치하는 버튼의 이벤트를 발생시킬 수 있다. 일례로서, 상기 제1 선택시간은 2초로 설정될 수 있다.The controller 100 may compare the position of the foot corresponding to the bent knee of the user with the interface screen when the user raises the foot on the interface screen and maintains the bent knee for the first selection time. Can trigger an event. That is, when the motion recognition sensor unit 200 recognizes the user's motion and maintains the user's knee bent on one leg for the first selection time, the controller 100 may be placed on the user's bent knee on the interface screen. An event of a button corresponding to the position of the corresponding foot may be generated. As an example, the first selection time may be set to 2 seconds.
다른 실시예로서, 상기 사용자가 상기 인터페이스 화면상에 두 발을 올리고 양 무릎을 굽히는 경우, 상기 제어부(100)는 상기 제1 선택시간을 상기 사용자가 상기 인터페이스 화면상에 한쪽 발을 올리고 무릎을 굽힌 경우의 제1 선택시간보다 짧게 설정할 수 있다. 일례로서, 이 경우의 제1 선택시간은 1.7초로 설정될 수 있다. 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)과 관련하여, 사용자가 무릎을 굽혀서 인터페이스 화면상의 특정 버튼을 선택하는 것을 “빠른 선택”과 같은 용어로 정의할 수 있고, 상기 제1 선택시간은 “빠른 선택시간”과 같은 용어로 정의할 수 있다.In another embodiment, when the user raises both feet on the interface screen and bends both knees, the control unit 100 sets the first selection time when the user raises one foot on the interface screen and bends the knee. It can be set shorter than the first selection time in the case. As an example, the first selection time in this case may be set to 1.7 seconds. In relation to the user-recognized content providing system 10 according to an embodiment of the present invention, the user may be able to define a specific button on an interface screen by bending his knee in terms such as “quick selection”. The selection time can be defined in terms such as "quick selection time".
다른 실시예로서, 상기 제어부(100)는, 상기 사용자가 상기 인터페이스 화면상에 발을 올려놓은 후 상기 사용자의 무릎이 굽혀지면, 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교하여 소정의 이벤트를 발생시킬 수 있다.In another embodiment, if the user's knee is bent after the user puts the foot on the interface screen, the controller 100 compares the position of the foot corresponding to the bent knee of the user with the interface screen. To generate a predetermined event.
또한, 다른 실시예로서, 상기 제어부(100)는 상기 사용자가 상기 인터페이스 화면상에 발을 올려놓는 경우, 상기 사용자의 발의 위치와 상기 인터페이스 화면을 비교하고, 상기 인터페이스 화면상에 올려놓은 발에 대응되는 상기 사용자의 무릎이 굽혔다 펴지는 경우, 상기 사용자의 굽혔다 펴진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교한 결과에 따라 소정의 이벤트를 발생시킬 수 있다. 즉, 동작인식센서부(200)가 사용자의 동작을 인식하여 사용자가 어느 한쪽 다리의 무릎을 굽혔다가 펴는 경우, 제어부(100)는 인터페이스 화면상에서 사용자의 굽혔다 펴진 무릎에 대응되는 발의 위치와 일치하는 버튼의 이벤트를 발생시킬 수 있다. 이에 대해서는 도 3 및 도 4a 내지 도 4c를 참조하여 추가로 상술하기로 한다.In another embodiment, when the user puts his foot on the interface screen, the controller 100 compares the position of the foot of the user with the interface screen and corresponds to the foot placed on the interface screen. When the user's knee is bent and stretched, a predetermined event may be generated according to a result of comparing the position of the foot corresponding to the user's bent knee with the interface screen. That is, when the motion recognition sensor unit 200 recognizes the user's motion and the user bends and straightens the knee of one leg, the controller 100 corresponds to the position of the foot corresponding to the user's bent and extended knee on the interface screen. Can trigger an event of a button. This will be further described with reference to FIGS. 3 and 4A to 4C.
일례로서, 상기 제어부(100)는 동작인식센서부(200)에 의해 측정된 상기 사용자의 발, 무릎 및 골반의 위치에 따라 상기 사용자의 무릎이 굽혀졌는지 여부를 판단할 수 있다. 즉, 상술한 바와 같이, 동작인식센서부(200)는 인체의 중요 관절 부위를 복수 개의 점(예: 20개)으로 표시할 수 있으므로 사용자의 발, 무릎 및 골반의 위치 및 각도를 비교하여 사용자의 무릎이 굽혀졌는지 여부를 판단할 수 있다.As an example, the control unit 100 may determine whether the user's knee is bent according to the position of the user's foot, knee, and pelvis measured by the motion recognition sensor unit 200. That is, as described above, since the motion recognition sensor unit 200 may display important joint parts of the human body as a plurality of points (for example, 20 points), the user may compare the position and angle of the foot, knee, and pelvis of the user. It can be determined whether the knee of the person is bent.
또한, 상기 제어부(100)는, 인터페이스화면제공부(300)의 위치, 상기 인터페이스화면제공부(300)가 상기 인터페이스 화면을 투사하는 방향, 상기 인터페이스 화면이 투사되는 공간의 바닥면 및 상기 동작인식센서부(200)의 위치 중 적어도 하나를 고려하여 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교 분석할 수 있다. 제어부(100)가 인터페이스 화면상에서 사용자의 굽혀진 무릎에 대응되는 발의 위치와 일치하는 버튼을 정확하게 판단하기 위해서는, 인터페이스화면제공부(300)와 동작인식센서부(200)의 상대적인 위치 및 인터페이스 화면의 투사 각도 및 방향 등과 같은 정보들을 고려해야 하기 때문이다. 즉, 제어부(100)는 동작인식센서부(200)와 인터페이스화면제공부(300)를 동기화하여, 인터페이스 화면을 투사하는 인터페이스화면제공부(300)와 동작인식센서부(200)의 공간좌표 인식에 대한 동기화 프로세스를 제공할 수 있다.In addition, the control unit 100, the position of the interface screen providing unit 300, the direction in which the interface screen providing unit 300 projects the interface screen, the bottom surface of the space on which the interface screen is projected and the operation recognition The position of the foot corresponding to the bent knee of the user may be compared with the interface screen in consideration of at least one of the positions of the sensor unit 200. In order for the control unit 100 to accurately determine the button corresponding to the position of the foot corresponding to the user's bent knee on the interface screen, the relative position of the interface screen providing unit 300 and the motion recognition sensor unit 200 and the interface screen This is because information such as projection angle and direction should be taken into account. That is, the controller 100 synchronizes the motion recognition sensor unit 200 with the interface screen providing unit 300 to recognize the spatial coordinates of the interface screen providing unit 300 and the motion recognition sensor unit 200 projecting the interface screen. It can provide a synchronization process for.
또한, 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)은, 상기 사용자 인식 컨텐츠 제공 시스템(10)의 높이나 기울기 또는 이들의 조합을 포함하는 자세정보를 감지하여 제어부(100)로 전송하는 자세감지부(미도시)를 더 포함할 수 있다. 제어부(100)는, 공간 바닥면으로부터의 높이, 기울기 등의 위치정보를 기반으로 인터페이스화면제공부(300)를 제어하여 가상의 운동공간으로 투사되는 영상의 크기, 거리 및 위치를 자동으로 보정할 수 있다. 즉, 상기 제어부(100)는 사용자 인식 컨텐츠 제공 시스템(10)의 높이나 기울기가 변경되더라도 가상공간에 투사되는 영상의 크기, 거리 및 위치가 항상 동일하도록 제어할 수 있다. In addition, the user recognition content providing system 10 according to an embodiment of the present invention, the posture information including the height or inclination of the user recognition content providing system 10 or a combination thereof is detected and transmitted to the controller 100. It may further include a posture detection unit (not shown). The controller 100 controls the interface screen providing unit 300 based on location information such as height and inclination from the bottom of the space to automatically correct the size, distance, and position of the image projected into the virtual exercise space. Can be. That is, the controller 100 may control the size, distance, and position of the image projected in the virtual space to be always the same even if the height or inclination of the user recognition content providing system 10 is changed.
제어부(100)는, 사용자의 움직임, 성별, 나이, 체력, 컨디션 등에 따라 운동 강도가 자동으로 조절되도록 할 수 있다. 제어부(100)는 사용자가 운동프로그램을 수행하는 스피드에 반응하여 점점 빠르게 동작하면 자동적으로 운동 프로그램의 반응 속도를 빠르게 하고, 반면에 스피드가 느려지면 운동 프로그램의 반응 속도를 천천히 하여 사용자에게 최적화된 운동인터페이스를 제공할 수 있다.The controller 100 may automatically adjust the exercise intensity according to the user's movement, gender, age, physical fitness, condition, and the like. The controller 100 automatically increases the response speed of the exercise program when the user operates faster and faster in response to the speed at which the user executes the exercise program. On the other hand, if the speed decreases, the controller 100 slows the response speed of the exercise program and optimizes the exercise. It can provide an interface.
한편, 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)은 원격관리시스템(미도시)에 유선 또는 무선으로 연결되어 사용자 각 개인의 나이, 성별, 체력, 운동량, 훈련 중인 운동프로그램 등 다양한 사용자 정보와 실감형 인터랙티브 콘텐츠를 다운로드 받을 수 있도록 네트워크 인터페이스를 제공하는 유무선인터페이스부(미도시)를 더 포함할 수 있다.On the other hand, the user-recognized content providing system 10 according to an embodiment of the present invention is connected to a remote management system (not shown) by wire or wirelessly, the age, gender, physical strength, exercise amount of each individual user, exercise program, etc. The apparatus may further include a wired / wireless interface unit (not shown) that provides a network interface to download various user information and realistic interactive content.
상기 원격관리시스템은 각 개인의 운동정보를 원격관리시스템에 연결된 데이터베이스(미도시)에 저장하여 관리할 수 있고, 운동프로그램을 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)에 제공하거나 사용자에 의해 제작된 운동 프로그램을 제공받을 수 있다. 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)은, 사용자 정보와 운동공간에 대한 정보를 바탕으로 상기 원격관리시스템으로부터 상기 운동프로그램을 다운로드할 수 있고, 제어부(100)에 저장되어 있는 실감형 인터랙티브 콘텐츠 기반 운동프로그램을 사용할 수도 있다.The remote management system may store and manage the exercise information of each individual in a database (not shown) connected to the remote management system, and provide the exercise program to the user-recognized content providing system 10 according to an embodiment of the present invention. Or an exercise program produced by the user. The user recognition content providing system 10 according to an exemplary embodiment of the present invention may download the exercise program from the remote management system based on user information and information on an exercise space, and may be stored in the controller 100. You can also use realistic interactive content-based exercise programs.
본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)은 실시간으로 사용자를 인식하고, 해당 사용자의 정보와 공간정보를 상기 원격관리시스템과 송수신하여 사용자의 운동정보를 원격관리시스템에서 심리스(seamless)하게 관리할 수 있다. 사용자가 별도의 조작을 할 필요 없이 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)과 원격관리시스템이 연동하여 자동으로 심리스하게 사용자의 개인정보와 운동정보를 통해서 건강관리를 수행할 수 있게 되는 것이다. 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)은 사용자별 평균운동량, 강도, 운동주기 등과 같은 데이터를 지속적으로 축적하여 운동 이력을 관리할 수 있다. 이에 따라 사용자는 시간적, 공간적 제약 없이 운동성과를 확인하고 효과적으로 관리할 수 있다.The user-recognized content providing system 10 according to an embodiment of the present invention recognizes a user in real time, and transmits and receives the user's exercise information in the remote management system by transmitting and receiving the user's information and spatial information with the remote management system. It can be managed seamlessly. The user recognition content providing system 10 according to an embodiment of the present invention and the remote management system are automatically seamlessly linked to each other to perform health care through the user's personal information and exercise information without a user's separate operation. It will be possible. The user-recognized content providing system 10 according to an embodiment of the present invention may continuously manage data such as average exercise amount, intensity, exercise period, etc. for each user to manage exercise history. Accordingly, the user can check and effectively manage athletic performance without time and space constraints.
또한, 상기 유무선인터페이스부는 IrDA, Bluetooth, UWB 및 ZigBee 등을 포함하는 무선 통신망을 통해 스마트 단말, 리모트컨트롤러 및 전용 단말기를 포함하는 외부기기와 통신을 수행할 수 있다. 상기 유무선인터페이스부는 상기 외부기기로부터 운동프로그램을 입력받을 수도 있고, 또는 제어신호를 입력받아 이를 기반으로 상기 인터페이스화면제공부(300)의 동작을 제어할 수도 있다. 사용자는 무선 통신망을 통해 스마트폰, 태블릿 PC 등과 같은 스마트단말이나 리모트컨트롤러 또는 전용 제어 단말기를 포함하는 외부기기를 이용하여 가상의 운동공간으로 투사되는 영상의 크기, 거리 및 위치를 무선으로 원격에서 조절할 수 있다. 이와 같이 외부기기를 이용할 경우, 영상의 크기, 거리 및 위치를 조절하는 하드웨어적 제어 이외에도 실행되는 운동프로그램을 바꾸거나 운동프로그램 내 운동레벨을 높이는 등의 소프트웨어적 제어도 가능할 수 있다.The wired / wireless interface unit may communicate with an external device including a smart terminal, a remote controller, and a dedicated terminal through a wireless communication network including IrDA, Bluetooth, UWB and ZigBee. The wired / wireless interface may receive an exercise program from the external device, or control the operation of the interface screen providing unit 300 based on the control signal. Users can remotely adjust the size, distance and position of the image projected into the virtual exercise space by using a smart terminal such as a smart phone, a tablet PC, etc. or an external device including a remote controller or a dedicated control terminal through a wireless communication network. Can be. As described above, in case of using an external device, in addition to hardware control for adjusting the size, distance, and position of an image, software control such as changing an exercise program to be executed or increasing an exercise level in the exercise program may be possible.
또한, 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)은 전원공급부(미도시)를 더 포함할 수 있다. 상기 전원공급부는 제어부(100), 동작인식센서부(200), 인터페이스화면제공부(300) 및 디스플레이부(400) 등의 구성요소에 전원을 공급할 수 있다. 전원공급부는 전원 케이블을 이용하여 외부에서 전원을 공급받아 상기 구성요소로 공급하거나, 충전식 내장 배터리로 구현되어 상기 구성요소로 전원을 공급할 수 있다.In addition, the user recognition content providing system 10 according to an embodiment of the present invention may further include a power supply (not shown). The power supply unit may supply power to components such as the control unit 100, the motion recognition sensor unit 200, the interface screen providing unit 300, and the display unit 400. The power supply unit may receive power from the outside using a power cable and supply the power to the component, or may be implemented as a rechargeable internal battery to supply power to the component.
도 2는 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법을 나타내는 순서도(Flowchart)이다. 도 2에 도시된 사용자 인식 컨텐츠 제공 시스템의 동작방법(20)은 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)에 의해 수행될 수 있다.2 is a flowchart illustrating a method of operating a user recognition content providing system according to an embodiment of the present invention. The operation method 20 of the user recognition content providing system illustrated in FIG. 2 may be performed by the user recognition content providing system 10 according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(20)은, 인터페이스화면제공부(300)가 사용자의 운동공간을 향해 인터페이스 화면을 투사하는 단계(S21)를 포함할 수 있다.Referring to FIG. 2, in the operation method 20 of a user-recognized content providing system according to an exemplary embodiment, the interface screen providing unit 300 projects an interface screen toward a user's exercise space (S21). It may include.
다음으로, 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(20)은, 동작인식센서부(200)가 상기 사용자의 동작을 인식하는 단계(S22)를 포함할 수 있다.Next, the operation method 20 of the user recognition content providing system according to an embodiment of the present invention, the motion recognition sensor unit 200 may include a step (S22) of recognizing the operation of the user.
다음으로, 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(20)은, 상기 사용자가 상기 인터페이스 화면상에 발을 올리고 무릎을 굽힌 상태가 제1 선택시간 동안 유지되는 경우, 제어부(100)가 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교하여 소정의 이벤트를 발생시키는 단계(S23)를 포함할 수 있다.Next, the operation method 20 of the user-recognized content providing system according to an embodiment of the present invention, the control unit when the user keeps the foot on the interface screen and bent knees for a first selection time, Comparing the position of the foot corresponding to the bent knee of the user with the interface screen 100 may generate a predetermined event (S23).
일례로서, 상기 제어부(100)는 동작인식센서부(200)에 의해 측정된 상기 사용자의 발, 무릎 및 골반의 위치를 분석하여 상기 사용자의 발, 무릎 및 골반이 이루는 각도가 제1 기준각도(예: 90도) 이하인 경우 사용자의 무릎이 굽혀진 것으로 판단할 수 있다. 제어부(100)는 동작인식센서부(200)에 의해 사용자가 어느 한쪽 다리의 무릎을 굽힌 상태를 제1 선택시간 동안 유지한 것으로 인식된 경우, 인터페이스 화면상에서 사용자의 굽혀진 무릎에 대응되는 발의 위치와 일치하는 버튼의 이벤트를 발생시킬 수 있다.For example, the controller 100 analyzes the position of the user's foot, knee, and pelvis measured by the motion recognition sensor unit 200 to determine an angle formed by the user's foot, knee, and pelvis at a first reference angle ( Example: 90 degrees) or less, it can be determined that the user's knee is bent. When the controller 100 recognizes that the user maintains the bent knee of one leg for the first selection time by the motion recognition sensor 200, the position of the foot corresponding to the bent knee of the user on the interface screen Can trigger an event of a button that matches
또한, 제어부(100)는, 상기 사용자가 상기 인터페이스 화면상에 두 발을 올리고 양 무릎을 굽히는 경우, 상기 제1 선택시간을 상기 사용자가 상기 인터페이스 화면상에 한쪽 발을 올리고 무릎을 굽힌 경우의 제1 선택시간보다 짧게 설정할 수 있다.In addition, the control unit 100, when the user raises both feet on the interface screen and bends both knees, the first selection time is the first time when the user raises one foot on the interface screen and bent knees 1 It can be set shorter than the selection time.
또한, 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(20)은, 사용자가 인터페이스 화면상의 특정 버튼에 발을 올려놓은 후 버튼에 올려놓은 발에 대응되는 무릎을 굽히는 경우, 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교하여 소정의 이벤트를 발생시킬 수 있다. 즉, 제어부(100)는 사용자의 무릎이 굽혀졌는지 여부를 사용자가 인터페이스 화면상의 특정 버튼에 발을 올려놓은 이후에 판단할 수 있다. 또한, 제어부(100)는 사용자가 인터페이스 화면상의 특정 버튼에 발을 올려놓은 상태를 유지하면서 무릎을 굽힌 경우, 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교하여 소정의 이벤트를 발생시킬 수 있다.In addition, the operation method 20 of the user-recognized content providing system according to an embodiment of the present invention, when the user bends the knee corresponding to the foot placed on the button after placing the foot on a particular button on the interface screen, A predetermined event may be generated by comparing the position of the foot corresponding to the bent knee of the user with the interface screen. That is, the controller 100 may determine whether the user's knee is bent after the user places a foot on a specific button on the interface screen. In addition, when the user bends the knee while keeping the foot on a specific button on the interface screen, the controller 100 compares the position of the foot corresponding to the bent knee of the user with the interface screen to perform a predetermined event. Can be generated.
일례로서, 사용자가 무릎을 굽혀 선택한 버튼이 팔굽혀펴기 버튼인 경우, 제어부(100)는 팔굽혀펴기 운동프로그램에 대응되는 화면을 디스플레이부(400)를 통해 표시하여 사용자가 팔굽혀펴기 운동을 할 수 있도록 하며, 실시예에 따라 인터페이스화면제공부(300)도 팔굽혀펴기 운동과 관련된 화면을 바닥면에 투사할 수 있다.As an example, when the user selects a button to bend his knees as the push-up button, the control unit 100 displays a screen corresponding to the push-up exercise program through the display unit 400 to allow the user to push-ups. In accordance with an embodiment, the interface screen providing unit 300 may also project a screen associated with a push-up exercise to the floor.
도 3은 본 발명의 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법을 나타내는 순서도이다. 도 3에 도시된 사용자 인식 컨텐츠 제공 시스템의 동작방법(30)은 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)에 의해 수행될 수 있다.3 is a flowchart illustrating a method of operating a system for providing a user recognition content according to another embodiment of the present invention. The operation method 30 of the user recognition content providing system illustrated in FIG. 3 may be performed by the user recognition content providing system 10 according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(30)은, 인터페이스화면제공부(300)가 사용자의 운동공간을 향해 인터페이스 화면을 투사하는 단계(S31)를 포함할 수 있다.Referring to FIG. 3, in operation 30 of a user-recognized content providing system according to another exemplary embodiment, the interface screen providing unit 300 projects an interface screen toward a user's exercise space (S31). It may include.
다음으로, 본 발명의 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(30)은, 동작인식센서부(200)가 상기 사용자의 동작을 인식하는 단계(S32)를 포함할 수 있다.Next, the operation method 30 of the user recognition content providing system according to another embodiment of the present invention may include the step (S32) of the motion recognition sensor unit 200 to recognize the user's operation.
다음으로, 본 발명의 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(30)은, 상기 사용자가 상기 인터페이스 화면상에 발을 올려놓는 경우, 제어부(100)가 상기 사용자의 발의 위치와 상기 인터페이스 화면을 비교하는 단계(S33)를 포함할 수 있다.Next, in operation 30 of the user-recognized content providing system according to another embodiment of the present invention, when the user places a foot on the interface screen, the control unit 100 determines the position of the foot and the user's foot. Comparing the interface screen (S33) may be included.
즉, 제어부(100)는 동작인식센서부(200)를 통해 사용자의 발의 위치를 알 수 있고, 인터페이스화면제공부(300)를 통해 투사된 인터페이스 화면상에서 어떤 버튼이 사용자에 의해 선택되었는지 판단할 수 있다.That is, the control unit 100 may know the position of the user's foot through the motion recognition sensor unit 200, and determine which button is selected by the user on the interface screen projected by the interface screen providing unit 300. have.
다음으로, 본 발명의 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(30)은, 상기 인터페이스 화면상에 올려놓은 발에 대응되는 상기 사용자의 무릎이 굽혔다 펴지는 경우, 상기 제어부(100)가 상기 사용자의 굽혔다 펴진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교한 결과에 따라 소정의 이벤트를 발생시키는 단계(S34)를 포함할 수 있다.Next, the operation method 30 of the user recognition content providing system according to another embodiment of the present invention, when the user's knee corresponding to the foot placed on the interface screen is bent and stretched, the control unit 100 The method may include generating a predetermined event according to a result of comparing the position of the foot corresponding to the curved knee of the user with the interface screen (S34).
일례로서, 상기 제어부(100)는 동작인식센서부(200)에 의해 측정된 상기 사용자의 발, 무릎 및 골반의 위치를 분석하여 상기 사용자의 발, 무릎 및 골반이 이루는 각도가 제1 기준각도(예: 90도) 이하인 경우 사용자의 무릎이 굽혀진 것으로 판단할 수 있고, 상기 사용자의 발, 무릎 및 골반이 이루는 각도가 제2 기준각도(예: 150도) 이상인 경우 사용자의 무릎이 펴진 것으로 판단할 수 있다. 제어부(100)는 동작인식센서부(200)에 의해 사용자의 굽혀진 무릎이 펴진 것으로 인식된 경우, 인터페이스 화면상에서 사용자의 굽혔다 펴진 무릎에 대응되는 발의 위치와 일치하는 버튼의 이벤트를 발생시킬 수 있다.For example, the controller 100 analyzes the position of the user's foot, knee, and pelvis measured by the motion recognition sensor unit 200 to determine an angle formed by the user's foot, knee, and pelvis at a first reference angle ( For example, 90 degrees) or less, it may be determined that the user's knee is bent. If the angle formed by the user's foot, knee, and pelvis is greater than or equal to a second reference angle (eg, 150 degrees), the user's knee is determined to be stretched. can do. When the user recognizes that the user's bent knee is extended by the motion recognition sensor unit 200, the controller 100 may generate an event of a button corresponding to the position of the foot corresponding to the bent knee of the user on the interface screen. .
일례로서, 제어부(100)는 사용자의 무릎이 굽혀졌다 펴졌는지 여부를 사용자가 인터페이스 화면상의 특정 버튼에 발을 올려놓은 이후에 판단할 수 있다. 또한, 제어부(100)는 사용자가 인터페이스 화면상의 특정 버튼에 발을 올려놓은 상태를 유지하면서 무릎을 굽혔다 편 경우, 상기 사용자의 굽혔다 펴진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교하여 소정의 이벤트를 발생시킬 수 있다.As an example, the controller 100 may determine whether the user's knee is bent and stretched after the user places a foot on a specific button on the interface screen. In addition, when the user bends the knee while keeping the foot on a specific button on the interface screen, the controller 100 compares the position of the foot corresponding to the bent and extended knee of the user with the predetermined interface event. Can be generated.
도 4a 내지 도 4c는 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 사용 상태를 나타내는 도면이다.4A to 4C are diagrams illustrating a use state of a system for providing user recognition content according to an embodiment of the present invention.
도 4a를 참조하면, 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)의 인터페이스화면제공부(300)는 사용자가 위치한 바닥면에 인터페이스 화면(S)을 투사할 수 있다. 도 4a에 도시된 바와 같이, 인터페이스 화면(S)은 복수 개의 버튼들(B)을 포함할 수 있으나 이는 예시적인 것으로서 상기 인터페이스 화면(S)은 다양한 형태로 변경될 수 있다. 실시예에 따라, 상기 인터페이스 화면(S) 상에는 발자국이 표시된 준비위치가 존재할 수 있고, 사용자가 준비위치로 이동하는 경우 선택 가능한 운동 프로그램 버튼들이 인터페이스 화면(S)에 표시될 수도 있다.Referring to FIG. 4A, the interface screen providing unit 300 of the user recognition content providing system 10 according to an exemplary embodiment of the present invention may project the interface screen S on the floor where the user is located. As shown in FIG. 4A, the interface screen S may include a plurality of buttons B. However, the interface screen S may be changed in various forms. According to an embodiment, there may be a preparation position where a footprint is displayed on the interface screen S, and selectable exercise program buttons may be displayed on the interface screen S when the user moves to the preparation position.
도 4b를 참조하면, 사용자는 인터페이스 화면(S) 상의 어느 하나의 버튼(B)을 선택하여 발을 올려놓고 무릎을 굽힐 수 있다. 즉, 사용자는 준비위치로 이동한 후 전방의 버튼들(B) 중 어느 하나를 선택하여 발을 올려놓으면서 무릎을 굽힐 수 있다. 사용자가 인터페이스 화면상의 특정 버튼(B)에 발을 올려놓으면 제어부(100)가 동작인식센서부(200)를 통해 발을 올려놓은 버튼(B)을 감지할 수 있고, 사용자가 무릎을 굽히는 것도 동작인식센서부(200)가 감지할 수 있다.Referring to FIG. 4B, the user may select one of the buttons B on the interface screen S, put his feet up, and bend his knees. That is, the user may bend the knee while moving to the ready position by selecting any one of the front buttons (B) to put the foot. When the user puts the foot on a specific button (B) on the interface screen, the control unit 100 can detect the button (B) put the foot through the motion recognition sensor unit 200, the user bends the knee The recognition sensor unit 200 may detect it.
도 2를 참조하여 상술한 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(20)은, 사용자가 도 4b와 같이 인터페이스 화면(S) 상의 어느 하나의 버튼(B)에 발을 올리고 무릎을 굽힌 상태가 제1 선택시간 동안 유지되는 경우, 사용자의 굽혀진 무릎에 대응되는 발의 위치와 일치하는 버튼이 선택된 것으로 판단하고, 소정의 이벤트를 실행시킬 수 있다.In the operation method 20 of the user-recognized content providing system according to an exemplary embodiment of the present invention described above with reference to FIG. 2, the user touches any one button B on the interface screen S as shown in FIG. 4B. When the raised and bent knees are maintained for the first selection time, it is determined that the button corresponding to the position of the foot corresponding to the bent knee of the user is selected and a predetermined event can be executed.
도 4c를 참조하면, 사용자는 자신의 선택의지를 명확히 표시하기 위해 한쪽 발을 선택 버튼 위에 올린 채로 도 4b에서 굽혔던 무릎을 펼 수 있다. 도 3을 참조하여 상술한 본 발명의 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(30)은, 사용자가 도 4b와 같이 무릎을 굽힌 후 도 4c와 같이 무릎을 펴는 경우 사용자가 굽혔다가 편 무릎에 대응되는 발의 위치와 일치하는 버튼이 선택된 것으로 판단하고, 소정의 이벤트를 실행시킬 수 있다.Referring to FIG. 4C, the user may extend the knee bent in FIG. 4B with one foot on the selection button to clearly indicate his agency. In the operation method 30 of the user-recognized content providing system according to another exemplary embodiment of the present invention described above with reference to FIG. 3, when the user bends the knee as shown in FIG. It is determined that the button corresponding to the position of the foot corresponding to the knee is selected, and a predetermined event can be executed.
한편, 실시예에 따라, 사용자는 양쪽 다리로 2개의 버튼을 선택할 수도 있고 양쪽 다리의 무릎을 모두 굽혀서 2개의 버튼을 선택할 수도 있다. 이에 따라, 사용자는 2개의 버튼을 조합하여 명령을 내릴 수도 있다.On the other hand, according to an embodiment, the user may select two buttons with both legs or bend both knees of the legs to select two buttons. Accordingly, the user may issue a command by combining the two buttons.
도 5는 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법을 나타내는 순서도이다. 도 5에 도시된 사용자 인식 컨텐츠 제공 시스템의 동작방법(40)은 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)에 의해 수행될 수 있다. 5 is a flowchart illustrating a method of operating a user recognition content providing system according to another exemplary embodiment of the present invention. The operation method 40 of the user recognition content providing system illustrated in FIG. 5 may be performed by the user recognition content providing system 10 according to an embodiment of the present invention.
도 5를 참조하면, 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(40)은, 인터페이스화면제공부(300)가 사용자의 운동공간을 향해 인터페이스 화면을 투사하는 단계(S41), 동작인식센서부(200)가 상기 사용자의 동작을 인식하는 단계(S42) 및 상기 사용자가 상기 인터페이스 화면상에 발을 올려놓는 경우, 제어부(100)가 상기 사용자의 발의 위치와 상기 인터페이스 화면을 비교하는 단계(S43)를 포함할 수 있다. 상기 S41, S42 및 S43 단계는 도 3을 참조하여 상술한 S31, S32 및 S33 단계와 유사하므로 자세한 설명은 생략한다.Referring to FIG. 5, in operation 40 of a user-recognized content providing system according to another exemplary embodiment, the interface screen providing unit 300 projects an interface screen toward a user's exercise space (S41). ), When the motion recognition sensor unit 200 recognizes the user's motion (S42) and when the user puts his foot on the interface screen, the control unit 100 determines the position of the user's foot and the interface screen. Comparing may include the step (S43). Since the steps S41, S42, and S43 are similar to the steps S31, S32, and S33 described above with reference to FIG. 3, a detailed description thereof will be omitted.
다음으로, 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(40)은, 상기 인터페이스 화면상에 올려놓은 발에 대응되는 상기 사용자의 무릎이 굽혔다 펴지는 경우(S44 -> YES), 상기 제어부(100)가 상기 사용자의 굽혔다 펴진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교한 결과에 따라 소정의 이벤트를 발생시키는 단계(S45)를 포함할 수 있다. 상기 S45 단계는 도 3을 참조하여 상술한 S34 단계와 유사하므로 자세한 설명은 생략한다.Next, the operation method 40 of the user recognition content providing system according to another embodiment of the present invention, when the user's knee corresponding to the foot placed on the interface screen is bent and stretched (S44-> YES) The control unit 100 may include generating a predetermined event according to a result of comparing the position of the foot corresponding to the user's bent knee with the interface screen (S45). Since step S45 is similar to step S34 described above with reference to FIG. 3, a detailed description thereof will be omitted.
본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(40)은, 상기 사용자의 굽혀진 무릎이 펴지지 않은 경우(S44 -> NO), 상기 사용자가 상기 인터페이스 화면상에 발을 올리고 무릎을 굽힌 상태가 제1 선택시간 동안 유지되면, 상기 제어부(100)가 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교하여 소정의 이벤트를 발생시키는 단계(S46)를 더 포함할 수 있다.According to another embodiment of the present invention, a method 40 for operating a user-recognized content providing system includes: when the user's bent knee is not extended (S44-> NO), the user raises a foot on the interface screen. If the bent knee is maintained for the first selection time, the controller 100 further includes generating a predetermined event by comparing the position of the foot corresponding to the bent knee of the user with the interface screen (S46). can do.
즉, 사용자가 인터페이스 화면상에 발을 올린 후 무릎을 펴지 않고 무릎을 굽힌 상태로 제1 선택시간 이상 유지하면, 제어부(100)는 사용자의 굽혀진 무릎에 대응되는 발의 위치와 일치하는 버튼이 선택된 것으로 판단하고 소정의 이벤트를 발생시킬 수 있다.That is, if the user raises the foot on the interface screen and keeps the knees bent without extending the knee for more than the first selection time, the controller 100 selects a button corresponding to the position of the foot corresponding to the bent knee of the user. It can be determined that the predetermined event is generated.
또한, 제어부(100)는, 상기 사용자가 상기 인터페이스 화면상에 두 발을 올리고 양 무릎을 굽히는 경우, 상기 제1 선택시간을 상기 사용자가 상기 인터페이스 화면상에 한쪽 발을 올리고 무릎을 굽힌 경우의 제1 선택시간보다 짧게 설정할 수 있다.In addition, the control unit 100, when the user raises both feet on the interface screen and bends both knees, the first selection time is the first time when the user raises one foot on the interface screen and bent knees 1 It can be set shorter than the selection time.
도 6은 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법을 나타내는 순서도이다. 도 6에 도시된 사용자 인식 컨텐츠 제공 시스템의 동작방법(50)은 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)에 의해 수행될 수 있다. 6 is a flowchart illustrating a method of operating a user recognition content providing system according to another embodiment of the present invention. The operation method 50 of the user recognition content providing system illustrated in FIG. 6 may be performed by the user recognition content providing system 10 according to an exemplary embodiment.
도 6을 참조하면, 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(50)은, 인터페이스화면제공부(300)가 사용자의 운동공간을 향해 인터페이스 화면을 투사하는 단계(S51), 동작인식센서부(200)가 상기 사용자의 동작을 인식하는 단계(S52) 및 상기 사용자가 상기 인터페이스 화면상에 발을 올려놓는 경우, 제어부(100)가 상기 사용자의 발의 위치와 상기 인터페이스 화면을 비교하는 단계(S53)를 포함할 수 있다. 상기 S51, S52 및 S53 단계는 도 3을 참조하여 상술한 S31, S32 및 S33 단계와 유사하므로 자세한 설명은 생략한다.Referring to FIG. 6, in operation 50 of a user-recognized content providing system according to another exemplary embodiment, the interface screen providing unit 300 projects an interface screen toward a user's exercise space (S51). ), When the motion recognition sensor unit 200 recognizes the user's motion (S52) and when the user puts his foot on the interface screen, the control unit 100 determines the position of the foot of the user and the interface screen. Comparing may include the step (S53). The steps S51, S52, and S53 are similar to the steps S31, S32, and S33 described above with reference to FIG.
다음으로, 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(50)은, 상기 인터페이스 화면상에 올려놓은 발에 대응되는 상기 사용자의 무릎이 굽혔다 펴지는 경우(S54 -> YES), 상기 제어부(100)가 상기 사용자의 굽혔다 펴진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교한 결과에 따라 소정의 이벤트를 발생시키는 단계(S55)를 포함할 수 있다. 상기 S55 단계는 도 3을 참조하여 상술한 S34 단계와 유사하므로 자세한 설명은 생략한다.Next, the operation method 50 of the user recognition content providing system according to another embodiment of the present invention, when the user's knee corresponding to the foot placed on the interface screen is bent and stretched (S54-> YES) The controller 100 may generate a predetermined event according to a result of comparing the position of the foot corresponding to the user's bent knee with the interface screen (S55). Since step S55 is similar to step S34 described above with reference to FIG. 3, a detailed description thereof will be omitted.
본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(50)은, 상기 사용자의 굽혀진 무릎이 펴지지 않은 경우(S54 -> NO), 상기 사용자의 굽혀진 무릎 및 상기 사용자의 굽혀진 무릎에 대응되는 발 중 적어도 하나의 높이가 상승하면 상기 제어부(100)가 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교한 결과에 따라 소정의 이벤트를 발생시키는 단계(S56)를 더 포함할 수 있다. Operation method 50 of the user recognition content providing system according to another embodiment of the present invention, when the bent knee of the user is not extended (S54-> NO), the bent knee of the user and the bent of the user Generating a predetermined event according to a result of comparing the position of the foot corresponding to the bent knee of the user with the interface screen when the height of at least one of the feet corresponding to the true knee rises (S56) ) May be further included.
즉, 사용자의 복장 상태와 주변의 환경 등에 의해 사용자의 무릎이 굽혀졌다 펴진 것이 감지가 되지 않을 수 있고, 때로는 사용자가 무릎을 굽혔다가 충분히 펴지 않고 발을 떼는 경우가 있으므로, 이러한 점을 감안하여 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(50)의 S56 단계가 수행될 수 있다.In other words, the user may be unable to detect that the user's knee is bent and stretched due to the state of the user's clothes and the surrounding environment. According to another embodiment of the present invention, step S56 of the method 50 of operating the user recognition content providing system may be performed.
상기 제어부(100)는, 사용자가 무릎을 굽혔다가 충분히 펴지 않고 발을 뗐을 경우에는, 무릎 관절의 높이 및 발의 높이 중 적어도 하나의 높이가 소정 거리 이상 상승하면 무릎이 완전히 펴지지 않아도 무릎이 정상적으로 펴진 것과 같이 인정하여 S56 단계를 수행할 수 있다. 일례로서, 상기 제어부(100)는 사용자의 무릎의 높이가 일정 거리 상승하는 경우, 무릎이 정상적으로 펴진 것과 같이 인정할 수 있다.When the user bends the knees and does not straighten the foot, the control unit 100 increases the height of at least one of the height of the knee joint and the height of the foot by more than a predetermined distance. As admitted, step S56 may be performed. As an example, when the height of the user's knee rises a certain distance, the controller 100 may recognize the knee as if the knee is normally extended.
도 7은 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법을 나타내는 순서도이다. 도 7에 도시된 사용자 인식 컨텐츠 제공 시스템의 동작방법(60)은 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)에 의해 수행될 수 있다. 7 is a flowchart illustrating a method of operating a user recognition content providing system according to another embodiment of the present invention. The operation method 60 of the user recognition content providing system illustrated in FIG. 7 may be performed by the user recognition content providing system 10 according to an embodiment of the present invention.
도 7을 참조하면, 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(60)에 포함되는 S61, S62, S63, S64 및 S65 단계는 도 6을 참조하여 상술한 S51, S52, S53, S54 및 S55 단계와 유사하므로 자세한 설명은 생략한다.Referring to FIG. 7, steps S61, S62, S63, S64, and S65 included in a method 60 of operating a user-recognized content providing system according to another embodiment of the present invention are described with reference to FIG. 6. Since it is similar to the steps S53, S54 and S55, detailed description thereof will be omitted.
본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(60)은, 상기 사용자의 굽혀진 무릎이 펴지지 않은 경우(S64 -> NO), 상기 사용자의 골반, 척추 및 어깨 중 적어도 하나의 높이가 상승하면 상기 제어부(100)가 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교한 결과에 따라 소정의 이벤트를 발생시키는 단계(S66)를 더 포함할 수 있다.According to another embodiment of the present invention, the method 60 for operating a user-recognized content providing system includes at least one of the user's pelvis, spine, and shoulders when the user's bent knee is not extended (S64-> NO). If the height of the control unit 100 may further include generating a predetermined event according to a result of comparing the position of the foot corresponding to the bent knee of the user with the interface screen (S66).
즉, 사용자의 복장 상태와 주변의 환경 등에 의해 사용자의 무릎이 굽혀졌다 펴진 것이 감지가 되지 않을 수 있고, 때로는 사용자가 무릎을 굽혔다가 충분히 펴지 않고 발을 떼는 경우가 있으므로, 이러한 점을 감안하여 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(60)의 S66 단계가 수행될 수 있다.In other words, the user may be unable to detect that the user's knee is bent and stretched due to the state of the user's clothes and the surrounding environment. According to another embodiment of the present invention, step S66 of the operation method 60 of the user recognition content providing system may be performed.
상기 제어부(100)는, 사용자가 무릎을 굽혔다가 충분히 펴지 않고 발을 뗐을 경우에는, 사용자의 골반, 척추 및 어깨 중 적어도 하나의 높이가 일정 거리 이상 상승하면, 무릎이 완전히 펴지지 않아도 무릎이 정상적으로 펴진 것과 같이 인정하여 S66 단계를 수행할 수 있다. 일례로서, 상기 제어부(100)는 사용자의 골반과 어깨의 높이가 동시에 올라가는 경우, 무릎이 정상적으로 펴진 것과 같이 인정할 수 있다.The control unit 100, when the user is bent knees, but the foot is not fully stretched, if the height of at least one of the user's pelvis, spine and shoulder rises more than a certain distance, even if the knee is not fully extended, the knee is normally You can perform the S66 step by admitting as unfolded. As an example, when the height of the user's pelvis and shoulders rises at the same time, the controller 100 may recognize the knees as if they were normally extended.
도 8은 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법을 나타내는 순서도이다. 도 8에 도시된 사용자 인식 컨텐츠 제공 시스템의 동작방법(70)은 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)에 의해 수행될 수 있다. 8 is a flowchart illustrating a method of operating a user recognition content providing system according to another embodiment of the present invention. The operation method 70 of the user recognition content providing system illustrated in FIG. 8 may be performed by the user recognition content providing system 10 according to an embodiment of the present invention.
도 8을 참조하면, 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(70)에 포함되는 S71, S72, S73, S74 및 S75 단계는 도 6을 참조하여 상술한 S51, S52, S53, S54 및 S55 단계와 유사하므로 자세한 설명은 생략한다.Referring to FIG. 8, steps S71, S72, S73, S74, and S75 included in a method 70 of operating a user-recognized content providing system according to another embodiment of the present invention are described with reference to FIG. 6. Since it is similar to the steps S53, S54 and S55, detailed description thereof will be omitted.
본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(70)은, 상기 사용자의 굽혀진 무릎이 펴지지 않은 경우(S74 -> NO), 상기 사용자의 굽혀진 무릎의 위치, 상기 사용자의 골반의 위치, 및 상기 사용자의 어깨의 위치 중 적어도 하나의 누적 변화량을 측정하여 상기 누적 변화량이 미리 설정된 임계치를 초과하면, 상기 제어부(100)가 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교한 결과에 따라 소정의 이벤트를 발생시키는 단계(S76)를 더 포함할 수 있다.Operation method of the user recognition content providing system according to another embodiment of the present invention (70), when the bent knee of the user is not extended (S74-> NO), the position of the bent knee of the user, the user The cumulative change amount of at least one of the position of the pelvis and the position of the shoulder of the user is measured, and if the cumulative change amount exceeds a preset threshold, the controller 100 adjusts the position of the foot corresponding to the bent knee of the user. The method may further include generating a predetermined event according to a result of comparing with the interface screen (S76).
즉, 사용자의 복장 상태와 주변의 환경 등에 의해 사용자의 무릎이 굽혀졌다 펴진 것이 감지가 되지 않을 수 있는데, 사용자가 몸을 움직여서 버튼을 선택하려는 동작을 하는 과정에서 사용자의 무릎, 골반 및 어깨 중 적어도 하나의 누적 위치 변화량이 미리 설정된 임계치를 초과하는 경우에는, 사용자의 노력을 보상하는 차원에서 무릎이 정상적으로 펴진 것과 같이 인정하여 S76 단계가 수행될 수 있다. 제어부(100)는 동작인식센서부(200)에 의해 감지되는 사용자의 동작을 분석하여 상기 누적 위치 변화량을 측정할 수 있다. 일례로서, 상기 누적 위치 변화량은 사용자가 인터페이스 화면상의 특정 버튼에 발을 올려놓는 동안 측정될 수 있다.That is, it may not be detected that the user's knee is bent and stretched due to the state of the user's clothes and the surrounding environment. At least one of the user's knee, pelvis, and shoulder may be detected while the user moves the body to select a button. When one cumulative position change amount exceeds a preset threshold, the step S76 may be performed by acknowledging that the knee is normally extended in order to compensate for the user's effort. The controller 100 may measure the cumulative position change amount by analyzing a user's motion detected by the motion recognition sensor unit 200. As an example, the cumulative position change may be measured while the user puts his foot on a specific button on the interface screen.
도 9는 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법을 나타내는 순서도이다. 도 9에 도시된 사용자 인식 컨텐츠 제공 시스템의 동작방법(80)은 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)에 의해 수행될 수 있다. 도 9에 도시된 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(80)은, 도 3 및 도 6 내지 도 8을 참조하여 상술한 사용자 인식 컨텐츠 제공 시스템의 동작방법을 결합한 것이다.9 is a flowchart illustrating a method of operating a user recognition content providing system according to another embodiment of the present invention. The operation method 80 of the user recognition content providing system illustrated in FIG. 9 may be performed by the user recognition content providing system 10 according to an embodiment of the present invention. A method 80 of operating a user recognition content providing system according to another embodiment of the present invention illustrated in FIG. 9 combines the operation method of the user recognition content providing system described above with reference to FIGS. 3 and 6 to 8. will be.
도 9를 참조하면, 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(80)에 포함되는 S81, S82 및 S83 단계는 도 6을 참조하여 상술한 S51, S52 및 S53 단계와 유사하므로 자세한 설명은 생략한다.Referring to FIG. 9, steps S81, S82, and S83 included in the operation method 80 of the user-recognized content providing system according to another embodiment of the present invention may be similar to the steps S51, S52, and S53 described above with reference to FIG. 6. Similar descriptions are omitted here.
본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(80)은, 상기 인터페이스 화면상에 올려놓은 발에 대응되는 상기 사용자의 무릎이 굽혔다 펴지는 경우(S84 -> YES), 상기 제어부(100)가 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교한 결과에 따라 소정의 이벤트를 발생시키는 단계(S88)를 포함할 수 있다.According to another embodiment of the present invention, a method 80 for operating a user-recognized content providing system includes bending the user's knee corresponding to a foot placed on the interface screen (S84-> YES). The controller 100 may include generating a predetermined event according to a result of comparing the position of the foot corresponding to the bent knee of the user with the interface screen (S88).
다음으로, 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(80)은, 상기 사용자의 굽혀진 무릎이 펴지지 않은 경우(S84 -> NO), 상기 사용자의 굽혀진 무릎 및 상기 사용자의 굽혀진 무릎에 대응되는 발 중 적어도 하나의 높이가 상승하면(S85 -> YES) 상기 S88 단계가 수행될 수 있다.Next, if the user's bent knee is not extended (S84-> NO), the operation method 80 of the user recognition content providing system according to another embodiment of the present invention, the user's bent knee and the When the height of at least one of the feet corresponding to the bent knee of the user rises (S85-> YES), step S88 may be performed.
다음으로, 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(80)은, 상기 사용자의 굽혀진 무릎 및 상기 사용자의 굽혀진 무릎에 대응되는 발 중 적어도 하나의 높이가 상승하지 않은 경우(S85 -> NO), 상기 사용자의 골반, 척추 및 어깨 중 적어도 하나의 높이가 상승하면(S86 -> YES) 상기 S88 단계가 수행될 수 있다.Next, in the operation method 80 of the user recognition content providing system according to another embodiment of the present invention, the height of at least one of the bent knee of the user and the foot corresponding to the bent knee of the user does not increase. If not (S85-> NO), if the height of at least one of the pelvis, spine and shoulder of the user rises (S86-> YES) step S88 can be performed.
다음으로, 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(80)은, 상기 사용자의 골반, 척추 및 어깨 중 적어도 하나의 높이가 상승하지 않은 경우(S86 -> NO), 상기 사용자의 굽혀진 무릎의 위치, 상기 사용자의 골반의 위치, 및 상기 사용자의 어깨의 위치 중 적어도 하나의 누적 변화량을 측정하여 상기 누적 변화량이 미리 설정된 임계치를 초과하면(S87 -> YES), 상기 S88 단계가 수행될 수 있다. 상기 누적 변화량이 미리 설정된 임계치를 초과하지 않는 경우(S87 -> NO)에는, 다시 S84 단계로 돌아갈 수 있다.Next, the operation method 80 of the user recognition content providing system according to another embodiment of the present invention, when the height of at least one of the pelvis, spine and shoulder of the user does not rise (S86-> NO), If the cumulative change amount of at least one of the position of the bent knee of the user, the position of the pelvis of the user, and the position of the shoulder of the user is measured and the cumulative change amount exceeds a preset threshold (S87-> YES), the Step S88 may be performed. When the cumulative change amount does not exceed the preset threshold (S87-> NO), it can return to step S84 again.
도 9에 도시된 본 발명의 또 다른 실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법(80)은, 도 3 및 도 6 내지 도 8을 참조하여 상술한 사용자 인식 컨텐츠 제공 시스템의 동작방법을 결합한 것으로서, 알고리즘이 더욱 정교하여 사용자가 의도하는 입력을 누락시키지 않을 수 있다. A method 80 of operating a user recognition content providing system according to another embodiment of the present invention illustrated in FIG. 9 combines the operation method of the user recognition content providing system described above with reference to FIGS. 3 and 6 to 8. As such, the algorithm may be more sophisticated to not miss the user intended input.
한편, 도 9에 도시된 S85, S86, S87 단계의 순서는 예시적인 것으로서 실시예에 따라 다양하게 변경될 수 있다. 또한, 실시예에 따라 도 5를 참조하여 상술한 S46 단계도 S85, S86, S87 단계와 함께 조합될 수 있다. 또한, S84, S85, S86, S87 단계는 제어부(100)에 의해 미리 설정된 소정의 시간 내에 결과를 판단할 수 있다.Meanwhile, the order of the steps S85, S86, and S87 shown in FIG. 9 is exemplary and may be variously changed according to the embodiment. In addition, according to an embodiment, the steps S46 described with reference to FIG. 5 may also be combined with the steps S85, S86, and S87. Also, in steps S84, S85, S86, and S87, the result may be determined within a predetermined time set by the controller 100 in advance.
한편, 본 발명에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법은, 도 2 내지 도 9를 참조하여 상술한 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법을 수행하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록매체에 의해 수행될 수 있다. 또한, 본 발명에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법은, 하드웨어와 결합되어 도 2 내지 도 9를 참조하여 상술한 사용자 인식 컨텐츠 제공 시스템의 동작방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램에 의해 수행될 수 있다. 본 발명에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법을 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함하며, 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수도 있다.On the other hand, the operating method of the user-recognized content providing system according to the present invention, a computer that stores a program for performing the operation method of the user-recognized content providing system according to an embodiment of the present invention described above with reference to FIGS. It may be performed by a readable recording medium. In addition, the operation method of the user recognition content providing system according to the present invention is performed by a computer program stored in a medium in order to execute the operation method of the user recognition content providing system described above with reference to FIGS. 2 to 9 in combination with hardware. Can be. It is possible to implement the operation method of the user-recognized content providing system according to the present invention as computer-readable codes on a computer-readable recording medium. Computer-readable recording media include any type of recording device that stores data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, and floppy. Disk, optical data storage, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
한편, 도 2 내지 도 9에 도시된 단계들의 순서는 예시적인 것으로서 본 발명의 효과를 상실하지 않는 범위에서 그 순서가 다양하게 변경될 수 있고, 실시예에 따라 특정 단계가 생략될 수도 있다.On the other hand, the order of the steps shown in Figures 2 to 9 are exemplary and may be variously changed in a range that does not lose the effects of the present invention, specific steps may be omitted depending on the embodiment.
도 10은 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템에 의해 투사되는 인터페이스 화면을 나타내는 도면이다.10 is a diagram illustrating an interface screen projected by a user recognition content providing system according to an exemplary embodiment.
도 10에 도시된 바와 같이, 상기 인터페이스 화면에는 발자국이 표시된 준비위치가 포함될 수 있고, 다양한 운동 프로그램에 대응되는 버튼들이 표시될 수 있다. 도 10에 도시된 화면은 예시적인 것으로서, 화면의 레이아웃이나 구성, 인터페이스, 구체적인 동작 등은 다양하게 변경될 수 있다.As illustrated in FIG. 10, the interface screen may include a ready position where a footprint is displayed, and buttons corresponding to various exercise programs may be displayed. The screen illustrated in FIG. 10 is an example, and the layout, configuration, interface, and detailed operation of the screen may be variously changed.
한편, 도 2 내지 도 9를 참조하여 상술한 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템의 동작방법과 관련하여, 상기 제어부(100)는, 상기 사용자가 상기 인터페이스 화면상에 발을 올려놓은 상태가 제2 선택시간 동안 유지되는 경우, 상기 사용자가 상기 인터페이스 화면상에 올려놓은 발의 위치를 상기 인터페이스 화면과 비교하여 소정의 이벤트를 발생시킬 수도 있다. 일례로서, 상기 제2 선택시간은 3초로 설정될 수 있으며, 제1 선택시간보다 길게 설정될 수 있다. 즉, 제어부(100)는 사용자가 인터페이스 화면상의 버튼을 선택할 때 무릎을 굽히는 동작 이외에도, 사용자가 특정 버튼에 발을 올려놓은 후 제2 선택시간 이상 유지하는 경우에도 해당 버튼이 선택된 것으로 판단할 수 있다.On the other hand, with respect to the operation method of the user-recognized content providing system according to an embodiment of the present invention described above with reference to FIGS. 2 to 9, the control unit 100, the user puts a foot on the interface screen When the released state is maintained for the second selection time, the user may generate a predetermined event by comparing the position of the foot placed on the interface screen with the interface screen. As an example, the second selection time may be set to 3 seconds and longer than the first selection time. That is, the controller 100 may determine that the corresponding button is selected even when the user keeps the foot on the specific button for more than the second selection time in addition to the operation of bending the knee when the user selects the button on the interface screen. .
다른 실시예로서, 상기 사용자가 상기 인터페이스 화면상의 특정 버튼에 두 발을 올려놓은 경우, 상기 제어부(100)는 상기 제2 선택시간을 상기 사용자가 상기 인터페이스 화면상의 특정 버튼에 한쪽 발을 올린 경우의 제2 선택시간보다 짧게 설정할 수 있다. 본 발명의 일실시예에 따른 사용자 인식 컨텐츠 제공 시스템(10)과 관련하여, 사용자가 인터페이스 화면상의 특정 버튼 위에 발을 올려놓은 상태를 제2 선택시간 동안 유지하여 특정 버튼을 선택하는 것을 “느린 선택”과 같은 용어로 정의할 수 있고, 상기 제2 선택시간은 “느린 선택시간”과 같은 용어로 정의할 수 있다.In another embodiment, when the user puts two feet on a specific button on the interface screen, the control unit 100 sets the second selection time when the user puts one foot on a specific button on the interface screen. It can be set shorter than the second selection time. In connection with the user-recognized content providing system 10 according to an embodiment of the present invention, the user may keep the user's foot on a specific button on the interface screen for a second selection time to select a specific button, and “slow selection”. The second selection time may be defined in terms such as “slow selection time”.
전술한 바와 같이, 본 발명에 기재된 다양한 실시예들에 따르면, 사용자의 발의 위치, 무릎의 굽힘 동작, 및 무릎의 피는 동작과 각 동작에서의 유지시간을 다양하게 조합하여, 사용자의 특정 오브젝트의 선택의지를 효과적으로 파악할 수 있다. 이에 따라, 사용자의 오브젝트 선택의 성공률을 극대화 시킬 수 있다.As described above, according to various embodiments described in the present invention, the user's selection of a specific object by various combinations of the position of the user's foot, the bending motion of the knee, and the blood of the knee and the holding time in each movement are variously combined. Can effectively understand the will. Accordingly, the success rate of object selection by the user can be maximized.
상술한 바와 같이, 본 발명의 일 실시예에 따른 사용자 인식 컨텐츠 제공 시스템은, 사용자의 동작을 인식하여 운동 메뉴를 선택하고, 선택된 메뉴에 대응하는 운동 컨텐츠를 제공하는 운동시스템을 예를 들어 설명하였다. 그러나, 이에 한정되는 것은 아니고, 다른 다양한 어플리케이션, 예컨대, 사용자가 위치하는 공간에 인터페이스 화면을 투시하고, 사용자가 인터페이스 화면에 투시된 메뉴를 선택함으로써, 다양한 광고를 선택하는 광고장치에도 적용할 수 있다. 또한, 재활이 필요한 사용자에게, 사용자가 위치하는 공간에 인터페이스 화면을 투시하고, 재활이 필요한 사용자가 인터페이스 화면에 투시된 메뉴를 선택함으로써, 다양한 재활 동작을 제공하는 재활 의료장치에도 적용할 수 있다.As described above, the user-recognized content providing system according to an exemplary embodiment of the present invention has been described with reference to an exercise system that recognizes a user's motion, selects an exercise menu, and provides exercise content corresponding to the selected menu. . However, the present invention is not limited thereto, and the present invention can be applied to an advertisement device that selects various advertisements by displaying an interface screen in a space where the user is located, and selecting a menu displayed on the interface screen. . Also, the present invention can be applied to a rehabilitation medical device that provides various rehabilitation operations by projecting an interface screen in a space where a user is located and selecting a menu projected on an interface screen by a user who needs rehabilitation.
본 명세서에 기재된 다양한 실시예들은 하드웨어, 미들웨어, 마이크로코드, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그램어블 논리 디바이스(PLD)들, 필드 프로그램어블 게이트 어레이(FPGA)들, 프로세서들, 컨트롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 여기서 제시되는 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 조합 내에서 구현될 수 있다.Various embodiments described herein can be implemented by hardware, middleware, microcode, software and / or combinations thereof. For example, various embodiments may include one or more application specific semiconductors (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs). ), Processors, controllers, microcontrollers, microprocessors, other electronic units designed to perform the functions presented herein, or a combination thereof.
또한, 예를 들어, 다양한 실시예들은 명령들을 포함하는 컴퓨터-판독가능한 매체에 수록되거나 인코딩될 수 있다. 컴퓨터-판독가능한 매체에 수록 또는 인코딩된 명령들은 프로그램 가능한 프로세서 또는 다른 프로세서로 하여금 예컨대, 명령들이 실행될 때 방법을 수행하게끔 할 수 있다. 컴퓨터-판독가능한 매체는 컴퓨터 저장 매체, 및 하나의 장소로부터 다른 장소로 컴퓨터 프로그램의 이송을 용이하게 하는 임의의 매체를 포함하는 통신 매체 모두를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 예를 들어, 이러한 컴퓨터-판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM 또는 기타 광학 디스크 저장 매체, 자기 디스크 저장 매체 또는 기타 자기 저장 디바이스, 또는 원하는 프로그램 코드를 컴퓨터에 의해 액세스가능한 명령들 또는 데이터 구조들의 형태로 반송하거나 저장하는데 이용될 수 있는 임의의 다른 매체를 포함할 수 있다.Also, for example, various embodiments may be embedded in or encoded on a computer-readable medium containing instructions. Instructions embedded in or encoded on a computer-readable medium may cause a programmable processor or other processor to perform a method, for example, when the instructions are executed. Computer-readable media includes both computer storage media and communication media including any medium that facilitates transfer of a computer program from one place to another. The storage medium may be any available medium that can be accessed by a computer. For example, such computer-readable media may include RAM, ROM, EEPROM, CD-ROM, or other optical disk storage media, magnetic disk storage media or other magnetic storage devices, or instructions for accessing the desired program code by a computer or It can include any other medium that can be used to carry or store in the form of data structures.
이러한 하드웨어, 소프트웨어, 펌웨어 등은 본 명세서에 기술된 다양한 동작들 및 기능들을 지원하도록 동일한 디바이스 내에서 또는 개별 디바이스들 내에서 구현될 수 있다. 추가적으로, 본 발명에서 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 또는 소프트웨어 컴포넌트들 내에 통합될 수 있다.Such hardware, software, firmware, etc. may be implemented within the same device or within separate devices to support the various operations and functions described herein. In addition, the components, units, modules, components, etc., described herein as "parts" may be implemented separately or separately as discrete but interoperable logic devices. The depiction of different features for modules, units, etc. is intended to highlight different functional embodiments and does not necessarily mean that they must be realized by individual hardware or software components. Rather, functionality associated with one or more modules or units may be performed by separate hardware or software components or integrated into common or separate hardware or software components.
특정한 순서로 동작들이 도면에 도시되어 있지만, 이러한 동작들이 원하는 결과를 달성하기 위해 도시된 특정한 순서, 또는 순차적인 순서로 수행되거나, 또는 모든 도시된 동작이 수행되어야 할 필요가 있는 것으로 이해되지 말아야 한다. 임의의 환경에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 상술한 실시예에서 다양한 구성요소들의 구분은 모든 실시예에서 이러한 구분을 필요로 하는 것으로 이해되어서는 안되며, 기술된 구성요소들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키징될 수 있다는 것이 이해되어야 한다.Although the operations are shown in the drawings in a specific order, it should not be understood that these operations are performed in the specific order shown, or sequential order, to achieve the desired result, or that all illustrated actions need to be performed. . In some circumstances, multitasking and parallel processing may be advantageous. Moreover, the division of various components in the above-described embodiments should not be understood as requiring such division in all embodiments, and the described components are generally integrated together into a single software product or packaged into multiple software products. It should be understood that it can.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.
본 발명의 실시예들에 따른 사용자 인식 컨텐츠 제공 시스템 및 그 동작방법은 사용자 인식 컨텐츠 제공 시스템 관련 산업에 이용될 수 있다.The user recognition content providing system and its operation method according to embodiments of the present invention can be used in the industry related to the user recognition content providing system.

Claims (14)

  1. 사용자가 위치하는 공간을 향해 인터페이스 화면을 투사하는 인터페이스화면제공부;An interface screen providing unit projecting an interface screen toward a space where a user is located;
    상기 사용자의 동작을 인식하는 동작인식센서부; 및A motion recognition sensor unit recognizing a motion of the user; And
    상기 사용자가 상기 인터페이스 화면상에 발을 올리고 무릎을 굽힌 상태가 제1 선택시간 동안 유지되는 경우, 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교하여 소정의 이벤트를 발생시키는 제어부를 포함하는 것을 특징으로 하는 사용자 인식 컨텐츠 제공 시스템.A control unit for generating a predetermined event by comparing the position of the foot corresponding to the bent knee of the user with the interface screen when the user raises the foot on the interface screen and keeps the knee bent for the first selection time User-recognized content providing system comprising a.
  2. 사용자가 위치하는 공간을 향해 인터페이스 화면을 투사하는 인터페이스화면제공부;An interface screen providing unit projecting an interface screen toward a space where a user is located;
    상기 사용자의 동작을 인식하는 동작인식센서부; 및A motion recognition sensor unit recognizing a motion of the user; And
    상기 사용자가 상기 인터페이스 화면상에 발을 올려놓는 경우, 상기 사용자의 발의 위치와 상기 인터페이스 화면을 비교하고, 상기 인터페이스 화면상에 올려놓은 발에 대응되는 상기 사용자의 무릎이 굽혔다 펴지는 경우, 상기 사용자의 굽혔다 펴진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교한 결과에 따라 소정의 이벤트를 발생시키는 제어부를 포함하는 것을 특징으로 하는 사용자 인식 컨텐츠 제공 시스템.When the user puts his foot on the interface screen, the position of the user's foot is compared with the interface screen, and when the user's knee corresponding to the foot placed on the interface screen is bent and stretched, the user And a control unit for generating a predetermined event according to a result of comparing the position of the foot corresponding to the bent and extended knee of the interface screen.
  3. 제1항 또는 제2항에 있어서, 상기 사용자 인식 컨텐츠 제공 시스템은,The system of claim 1, wherein the user recognition content providing system comprises:
    상기 제어부의 제어에 따라, 상기 인터페이스 화면 또는 상기 소정의 이벤트에 대응되는 콘텐츠 화면을 표시하는 디스플레이부를 더 포함하는 것을 특징으로 하는 사용자 인식 컨텐츠 제공 시스템.And a display unit configured to display the interface screen or a content screen corresponding to the predetermined event under the control of the controller.
  4. 제3항에 있어서, 상기 제어부는,The method of claim 3, wherein the control unit,
    상기 동작인식센서부에 의해 측정된 상기 사용자의 발, 무릎 및 골반의 위치에 따라 상기 사용자의 무릎이 굽혀졌는지 여부를 판단하는 것을 특징으로 하는 사용자 인식 컨텐츠 제공 시스템.And determining whether the user's knee is bent according to the positions of the user's feet, knees, and pelvis measured by the motion recognition sensor unit.
  5. 인터페이스화면제공부가 사용자가 위치하는 공간을 향해 인터페이스 화면을 투사하는 단계;Projecting the interface screen toward the space in which the interface screen providing unit is located;
    동작인식센서부가 상기 사용자의 동작을 인식하는 단계; 및Recognizing a motion of the user by a motion recognition sensor unit; And
    상기 사용자가 상기 인터페이스 화면상에 발을 올리고 무릎을 굽힌 상태가 제1 선택시간 동안 유지되는 경우, 제어부가 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교하여 소정의 이벤트를 발생시키는 단계를 포함하는 것을 특징으로 하는 사용자 인식 컨텐츠 제공 시스템의 동작방법.When the user raises his foot on the interface screen and keeps his knees bent for the first selection time, the controller generates a predetermined event by comparing the position of the foot corresponding to the bent knee of the user with the interface screen. Operating method of the user-recognized content providing system comprising a step of making.
  6. 인터페이스화면제공부가 사용자가 위치하는 공간을 향해 인터페이스 화면을 투사하는 단계;Projecting the interface screen toward the space in which the interface screen providing unit is located;
    동작인식센서부가 상기 사용자의 동작을 인식하는 단계; Recognizing a motion of the user by a motion recognition sensor unit;
    상기 사용자가 상기 인터페이스 화면상에 발을 올려놓는 경우, 제어부가 상기 사용자의 발의 위치와 상기 인터페이스 화면을 비교하는 단계; 및When the user puts his foot on the interface screen, comparing the position of the foot of the user with the interface screen by the controller; And
    상기 인터페이스 화면상에 올려놓은 발에 대응되는 상기 사용자의 무릎이 굽혔다 펴지는 경우, 상기 제어부가 상기 사용자의 굽혔다 펴진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교한 결과에 따라 소정의 이벤트를 발생시키는 단계를 포함하는 것을 특징으로 하는 사용자 인식 컨텐츠 제공 시스템의 동작방법.When the user's knee corresponding to the foot placed on the interface screen is bent and stretched, the controller generates a predetermined event according to a result of comparing the position of the foot corresponding to the user's bent and extended knee with the interface screen. Operating method of the user-recognized content providing system comprising a step of making.
  7. 제6항에 있어서,The method of claim 6,
    상기 사용자의 굽혀진 무릎이 펴지지 않은 경우, 상기 사용자가 상기 인터페이스 화면상에 발을 올리고 무릎을 굽힌 상태가 제1 선택시간 동안 유지되면, 상기 제어부가 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교하여 소정의 이벤트를 발생시키는 단계를 더 포함하는 것을 특징으로 하는 사용자 인식 컨텐츠 제공 시스템의 동작방법.If the user's bent knee is not extended, if the user raises his foot on the interface screen and keeps his knees bent for the first selection time, the controller controls the position of the foot corresponding to the user's bent knee. And generating a predetermined event in comparison with the interface screen.
  8. 제6항에 있어서,The method of claim 6,
    상기 사용자의 굽혀진 무릎이 펴지지 않은 경우, 상기 사용자의 굽혀진 무릎 및 상기 사용자의 굽혀진 무릎에 대응되는 발 중 적어도 하나의 높이가 상승하면 상기 제어부가 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교한 결과에 따라 소정의 이벤트를 발생시키는 단계를 더 포함하는 것을 특징으로 하는 사용자 인식 컨텐츠 제공 시스템의 동작방법.When the bent knee of the user is not extended, when the height of at least one of the bent knee of the user and the foot corresponding to the bent knee of the user increases, the control unit positions the foot corresponding to the bent knee of the user. And generating a predetermined event according to the result of comparing the interface screen with the interface screen.
  9. 제6항에 있어서,The method of claim 6,
    상기 사용자의 굽혀진 무릎이 펴지지 않은 경우, 상기 사용자의 골반, 척추 및 어깨 중 적어도 하나의 높이가 상승하면 상기 제어부가 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교한 결과에 따라 소정의 이벤트를 발생시키는 단계를 더 포함하는 것을 특징으로 하는 컨텐츠 제공 시스템의 동작방법.When the curved knee of the user is not extended, when the height of at least one of the pelvis, the spine, and the shoulder of the user increases, the controller compares the position of the foot corresponding to the curved knee of the user with the interface screen. And generating a predetermined event according to the operation of the content providing system.
  10. 제6항에 있어서,The method of claim 6,
    상기 사용자의 굽혀진 무릎이 펴지지 않은 경우, 상기 사용자의 굽혀진 무릎의 위치, 상기 사용자의 골반의 위치, 및 상기 사용자의 어깨의 위치 중 적어도 하나의 누적 변화량을 측정하여 상기 누적 변화량이 미리 설정된 임계치를 초과하면, 상기 제어부가 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교한 결과에 따라 소정의 이벤트를 발생시키는 단계를 더 포함하는 것을 특징으로 하는 사용자 인식 컨텐츠 제공 시스템의 동작방법.When the bent knee of the user is not extended, the cumulative change amount of at least one of the position of the bent knee of the user, the position of the pelvis of the user, and the position of the shoulder of the user is measured so that the cumulative change amount is a preset threshold. Exceeding, generating a predetermined event according to a result of comparing the position of the foot corresponding to the bent knee of the user with the interface screen; Way.
  11. 제5항 내지 제10항 중 어느 한 항에 있어서, 상기 제어부는,The method according to any one of claims 5 to 10, wherein the control unit,
    상기 사용자가 상기 인터페이스 화면상에 발을 올려놓은 상태가 제2 선택시간 동안 유지되는 경우, 상기 사용자가 상기 인터페이스 화면상에 올려놓은 발의 위치를 상기 인터페이스 화면과 비교하여 소정의 이벤트를 발생시키는 것을 특징으로 하는 사용자 인식 컨텐츠 제공 시스템의 동작방법.If the user has placed the foot on the interface screen is maintained for a second selection time, the position of the foot placed on the interface screen by the user compared to the interface screen to generate a predetermined event A method of operating a user recognition content providing system.
  12. 제5항 또는 제6항 중 어느 한 항에 있어서, 상기 제어부는,The method according to claim 5 or 6, wherein the control unit,
    상기 동작인식센서부에 의해 측정된 상기 사용자의 발, 무릎 및 골반의 위치에 따라 상기 사용자의 무릎이 굽혀졌는지 여부를 판단하는 것을 특징으로 하는 사용자 인식 컨텐츠 제공 시스템의 동작방법.And determining whether the user's knee is bent according to the positions of the user's feet, knees, and pelvis measured by the motion recognition sensor unit.
  13. 제5항 또는 제6항 중 어느 한 항에 있어서, 상기 제어부는,The method according to claim 5 or 6, wherein the control unit,
    상기 인터페이스화면제공부의 위치, 상기 인터페이스화면제공부가 상기 인터페이스 화면을 투사하는 방향, 상기 인터페이스 화면이 투사되는 공간의 바닥면 및 상기 동작인식센서부의 위치 중 적어도 하나를 고려하여 상기 사용자의 굽혀진 무릎에 대응되는 발의 위치를 상기 인터페이스 화면과 비교 분석하는 것을 특징으로 하는 사용자 인식 컨텐츠 제공 시스템의 동작방법.In consideration of at least one of a position of the interface screen providing unit, a direction in which the interface screen providing unit projects the interface screen, a bottom surface of a space in which the interface screen is projected, and a position of the motion recognition sensor unit, the user's bent knee And comparing and analyzing the position of the corresponding foot with the interface screen.
  14. 제5항 내지 제10항 중 어느 한 항에 기재된 사용자 인식 컨텐츠 제공 시스템의 동작방법을 수행하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having stored thereon a program for performing the method of operating the user-recognized content providing system according to any one of claims 5 to 10.
PCT/KR2017/006112 2016-06-13 2017-06-13 User recognition content providing system and operating method for same WO2017217725A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160073414A KR101860753B1 (en) 2016-06-13 2016-06-13 User recognition content providing system and operating method thereof
KR10-2016-0073414 2016-06-13

Publications (1)

Publication Number Publication Date
WO2017217725A1 true WO2017217725A1 (en) 2017-12-21

Family

ID=60663647

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/006112 WO2017217725A1 (en) 2016-06-13 2017-06-13 User recognition content providing system and operating method for same

Country Status (2)

Country Link
KR (1) KR101860753B1 (en)
WO (1) WO2017217725A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220280834A1 (en) * 2021-03-05 2022-09-08 John S. Keeney Agility ladder projection systems, devices, and methods

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102125254B1 (en) * 2018-05-15 2020-06-22 (주)블루클라우드 User-recognized walking motion measurement system and method for measuring walking motion using the same
KR102049096B1 (en) * 2019-03-27 2019-11-26 주식회사 마이베네핏 Mixed reality based exercise system
KR102054148B1 (en) * 2019-04-17 2019-12-12 주식회사 지티온 system for playing sports-related interactive contents software inducing player's kinetic behavior
KR102352366B1 (en) 2019-04-30 2022-01-18 부산대학교 산학협력단 Smart mirror, smart mirroring rehabilitation system and method for rehabilitation training thereof
KR102051004B1 (en) * 2019-05-03 2019-12-03 주식회사 마이베네핏 Mixed reality based exercise system providing optimized sound
KR102366102B1 (en) * 2021-08-20 2022-02-24 주식회사 조이펀 System for providing realistic interactive exercise content based on 3d character
KR102354559B1 (en) 2021-08-24 2022-01-21 한국기술교육대학교 산학협력단 Multi-kinds interface devices for content control
KR102510412B1 (en) 2022-01-21 2023-03-16 서정협 Bidirectional augmented reality content generating system
KR102434017B1 (en) 2022-03-30 2022-08-22 유디포엠(주) Augmented reality content display device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960006880A (en) * 1994-08-01 1996-03-22 유재원 Comprehensive health management system by nutrition evaluation and exercise prescription
KR20110101328A (en) * 2010-03-08 2011-09-16 에스케이텔레콤 주식회사 Method for transmitting contents using gesture recognition and terminal thereof
JP2014529420A (en) * 2011-08-08 2014-11-13 ギャリー・アンド・マリー・ウエスト・ヘルス・インスティテュート Non-invasive motion tracking system, apparatus and method for enhancing physical rehabilitation performed on a patient
KR20160061557A (en) * 2014-11-21 2016-06-01 대한민국(국립재활원장) System and method for assisting ambulatory rehabilitation using projected image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960006880A (en) * 1994-08-01 1996-03-22 유재원 Comprehensive health management system by nutrition evaluation and exercise prescription
KR20110101328A (en) * 2010-03-08 2011-09-16 에스케이텔레콤 주식회사 Method for transmitting contents using gesture recognition and terminal thereof
JP2014529420A (en) * 2011-08-08 2014-11-13 ギャリー・アンド・マリー・ウエスト・ヘルス・インスティテュート Non-invasive motion tracking system, apparatus and method for enhancing physical rehabilitation performed on a patient
KR20160061557A (en) * 2014-11-21 2016-06-01 대한민국(국립재활원장) System and method for assisting ambulatory rehabilitation using projected image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEE, CHANG HUI: "Fitness Program Development using BlueCloude, and Mixed Reality", MAEIL BUSINESS NEWSPAPER, 9 February 2015 (2015-02-09), XP055463193, Retrieved from the Internet <URL:http://news.mk.co.kr/newsRead.php?year=2015&no=131280> *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220280834A1 (en) * 2021-03-05 2022-09-08 John S. Keeney Agility ladder projection systems, devices, and methods
US12017112B2 (en) * 2021-03-05 2024-06-25 John S. Keeney Agility ladder projection systems, devices, and methods

Also Published As

Publication number Publication date
KR101860753B1 (en) 2018-05-24
KR20170140726A (en) 2017-12-21

Similar Documents

Publication Publication Date Title
WO2017217725A1 (en) User recognition content providing system and operating method for same
WO2018155973A2 (en) Apparatus and method for virtual reality-based radiology training
JP5256561B2 (en) Information input device, information output device and method
WO2018054056A1 (en) Interactive exercise method and smart head-mounted device
WO2020040363A1 (en) Method and device for guiding motion using 4d avatar
CN108572728B (en) Information processing apparatus, information processing method, and program
JPWO2009072435A1 (en) Image recognition apparatus and image recognition method
WO2020130689A1 (en) Electronic device for recommending play content, and operation method therefor
WO2017126741A1 (en) Hmd device and method for controlling same
WO2015008935A1 (en) Cardio pulmonary resuscitation (cpr) training simulation system and method for operating same
US20210004132A1 (en) Information processing device, information processing method, and program
US20210081092A1 (en) Information processing system, information processing method, and program
JP6651086B1 (en) Image analysis program, information processing terminal, and image analysis system
KR20190130761A (en) User-recognized walking motion measurement system and method for measuring walking motion using the same
WO2018042948A1 (en) Information processing system, method of information processing, and program
WO2016204335A1 (en) Device for providing augmented virtual exercise space by exercise system based on immersive interactive contents and method therefor
WO2012026681A9 (en) Virtual reality martial arts system using a network, and method for controlling same
WO2019035586A1 (en) Method and apparatus for providing posture guide
JP2017068468A (en) Information processing device, information processing method, and program
KR20160150215A (en) An exercising system based on augmented interactive contents and the method thereof
TWI533238B (en) A Movement detection and judgment device and method
JP2011092657A (en) Game system for performing operation by using a plurality of light sources
KR101268640B1 (en) Display system and method for large screen
JP2021131764A (en) Information processing device, information processing method, program, and information processing system
KR20200031255A (en) System for sharing of image data or video data for interaction contents and the method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17813549

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 1.4.19)

122 Ep: pct application non-entry in european phase

Ref document number: 17813549

Country of ref document: EP

Kind code of ref document: A1