WO2020040363A1 - 4d 아바타를 이용한 동작가이드장치 및 방법 - Google Patents

4d 아바타를 이용한 동작가이드장치 및 방법 Download PDF

Info

Publication number
WO2020040363A1
WO2020040363A1 PCT/KR2018/016186 KR2018016186W WO2020040363A1 WO 2020040363 A1 WO2020040363 A1 WO 2020040363A1 KR 2018016186 W KR2018016186 W KR 2018016186W WO 2020040363 A1 WO2020040363 A1 WO 2020040363A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
avatar
motion
guide
information
Prior art date
Application number
PCT/KR2018/016186
Other languages
English (en)
French (fr)
Inventor
황영배
이주리
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Publication of WO2020040363A1 publication Critical patent/WO2020040363A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A63B2024/0096—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load using performance related parameters for controlling electronic or video games or avatars

Definitions

  • the present invention relates to a motion guide device using a 4D avatar and a motion guide method using the same, in particular, an operation using a 4D avatar that provides a customized rehabilitation exercise using an avatar instructing a rehabilitation exercise and an avatar moving according to a user's motion.
  • a guide device and an operation guide method using the same are examples of a motion guide device using a 4D avatar and a motion guide method using the same.
  • the interaction-based rehabilitation game device is a camera for photographing the movement of the user and the display unit to perform the rehabilitation treatment while the user looking at the screen It includes a vision sensor such as.
  • the rehabilitation game apparatus when the user follows the movement of the avatar displayed on the display unit, the rehabilitation game apparatus digitizes the rehabilitation state of the user by analyzing image data photographed by the user.
  • the avatar displayed in the prior art has a side effect in which the user feels heterogeneity as a previously designed avatar regardless of the user.
  • the user by simply photographing the user and showing it as it is, there is a disadvantage in that the user cannot give a posture correction guide or a comparison display with the correct posture in real time.
  • the present invention provides a user avatar output unit for generating a 4D avatar including the user's motion information and outputs the operation of the 4D avatar on the screen;
  • a guide avatar output unit configured to output a guide avatar for guiding the user to perform a specific operation;
  • the present invention provides a motion guide apparatus using a 4D avatar including a user motion determination unit for comparing the motion of the user avatar and the guide avatar to determine the motion of the user.
  • the user avatar output unit may generate a 4D avatar in which the 3D model of the user is deformed by using motion estimation, extract the joint information of the user from the 4D avatar, and extract the motion information of the user through a change amount of the joint information for each frame. It is desirable to estimate.
  • the guide avatar output unit may output a guide avatar for guiding a user-specific rehabilitation exercise based on the medical information of the user.
  • the user motion determination unit may determine whether the user avatar performs a matching operation according to the motion of the guide avatar by analyzing or predicting the motion of the user avatar.
  • the user motion determination unit may determine the user's motion and guide the user to proceed to the next step or to allow the user to perform the motion again.
  • the motion guide device using the 4D avatar further includes a database unit for accumulating and recording data determining the user avatar motion, wherein the user motion determining unit searches for the database unit and feeds back the user's improvement of the specific motion to the user. It is preferable.
  • the user avatar output unit may estimate motion information for each user and output a user avatar model for each user.
  • the user operation judging unit evaluates the proximity by comparing the movement of the user avatar with the movement of the guide avatar for each frame photographed by the camera unit, and the proximity is assigned to an evaluation site for each body part. It can be calculated using the error size and the weight given to the evaluation site.
  • the motion guide apparatus using the 4D avatar may include a database unit in which training motions and user information are stored, and the user motion determining unit adaptively controls deformation of the guide avatar based on the user information.
  • the motion guide device using the 4D avatar may include a database unit in which a training operation and user information are stored, and the user operation determining unit rotates the user avatar according to the training operation and displays the user avatar output on the user avatar output unit.
  • the present invention also includes a motion estimator for estimating a user's motion using an image captured by a camera unit;
  • a 4D avatar generating unit which performs 4D reconstruction using the motion information estimated by the motion estimating unit and generates a 4D avatar;
  • a motion guide device using a 4D avatar comprising a 4D avatar control unit for controlling the movement of the 4D avatar using the user's motion information.
  • the motion guide device using the 4D avatar includes a database unit in which a training motion and user information are stored, the 4D avatar controller may control a guide avatar and a user avatar, and the guide avatar corresponds to a training motion based on patient information. It is preferable to control to display through the 4D avatar, the user avatar to move in accordance with the user's motion.
  • the motion guide device using the 4D avatar includes a user avatar output unit, a guide avatar output unit, and a user motion determiner, wherein the user avatar output unit generates a 4D avatar including user's motion information and Outputting a motion of the 4D avatar on a screen;
  • the guide avatar outputting unit outputting a guide avatar for guiding a user to perform a specific operation;
  • the user motion determination unit provides a motion guide method using a 4D avatar including comparing the motions of the user avatar and the guide avatar to determine the motion of the user.
  • the user avatar output unit may include: generating a 4D avatar in which the 3D model of the user is transformed through motion estimation; Extracting the joint information of the user from the 4D avatar and estimating the motion information of the user based on the amount of change of the joint information for each frame.
  • the user operation judging unit compares and analyzes the guide avatar displayed through the guide avatar output unit and the user avatar displayed through the user avatar output unit to present the next training operation when the movement of the guide avatar and the user avatar is within a set range.
  • the present invention provides a motion guide apparatus using a 4D avatar includes a motion estimator, a 4D avatar generator, and a 4D avatar controller, and the motion estimator estimates a user's motion using an image captured by a camera unit.
  • the 4D avatar generating unit performing 4D reconstruction using the motion information estimated by the motion estimating unit and generating a 4D avatar;
  • the 4D avatar control unit provides a motion guide method using the 4D avatar, which includes controlling the movement of the 4D avatar using the user's motion information.
  • the user's motion can be more accurately estimated by 4D reconstructing the user's figure, thereby inducing the user to perform the rehabilitation exercise in a correct posture.
  • the user can concentrate on rehabilitation without dissimilarity, and the user's posture can be analyzed more accurately by allowing the 4D model that embodies the user's appearance to simulate the user's movement. It is another object of the present invention.
  • FIG. 1 is an exemplary view showing a rehabilitation exercise method according to the prior art
  • FIG. 2 is a block diagram showing the configuration of a motion guide device using a 4D avatar according to the present invention
  • FIG. 3 is a configuration diagram showing a configuration of a 4D calculation unit in FIG. 2;
  • FIG. 4 is an exemplary view showing an example of using a motion guide device using a 4D avatar according to the present invention
  • FIG. 5 is an exemplary view showing a display example of the emphasis guide in the user display of FIG.
  • FIG. 6 is an exemplary view showing an embodiment of a user's rehabilitation exercise
  • FIG. 7 is an exemplary view showing an example of a rotating display of a user avatar in the user display of FIG. 4;
  • FIG. 8 is an exemplary view showing an example of a rehabilitation exercise game simulation by the simulation unit
  • FIG. 9 is a flowchart illustrating a process of generating evaluation information in a motion guide method using a 4D avatar according to the present invention.
  • FIG. 10 is a flowchart illustrating a motion guide method using a 4D avatar according to the present invention.
  • the rehabilitation exercise apparatus 100 using the 4D avatar includes a user avatar output unit 500, a 4D operator 300, a 4D avatar controller 570, a guide avatar output unit 400,
  • the user motion determining unit 600, the database unit 700, and the simulation unit 800 may be configured to be included.
  • the camera unit 200 may generally include a camera capable of capturing a plurality of moving images, and may include at least one pair of cameras to generate a 3D image.
  • the camera in order to photograph the front, rear, left and right of the object to be photographed, the camera may be installed at a predetermined angle around the object.
  • At least one pair of RGB cameras is required to generate a 3D image, but one or more RGB-D cameras including depth information may be used according to circumstances.
  • the camera unit 200 may further include an IR camera.
  • the 4D operator 300 may be driven in a server, and may be included in the user avatar output unit 500 to estimate the motion of the user avatar. That is, the image data photographed by the camera unit 200 is transmitted to the 4D operator to estimate the user's movement in real time.
  • the 4D operator 300 includes a 4D avatar generating unit 310, a motion estimation unit 320, an encoding unit 330, and a communication unit 340.
  • the 4D avatar generating unit 310 matches a plurality of images photographed from a multi-view or generates a 4D model using color information and depth information.
  • the 4D model may include mesh information and shows the same shape as that of the user.
  • the 4D avatar generating unit 310 may separate the object and the background through a segmentation process, and the 4D model separated from the background may be deformed by simulating the motion of an actual user in the motion estimation unit 320.
  • the motion estimation unit 320 may estimate the user's motion through an optimization process by comparing the image of the user photographed by the camera unit using the deformation function and the energy function. This process creates a 4D avatar that looks the same as the user and moves in the same way as the user's movement. That is, the 4D avatar refers to an avatar in which the 3D model of the user is transformed through motion estimation.
  • the 4D avatar includes motion connection information of a previous frame and a subsequent frame, and the part which is unknown from the previous frame may be supplemented by using later frame information. As a result, the entire user's appearance is completely restored in 3D.
  • the 4D avatar controller 570 may control the movement of the guide avatar and the user avatar. That is, the guide avatar may control to display the corresponding training motion through the 4D avatar based on the user information, and the user avatar may be controlled to move according to the user's motion.
  • the operation guide apparatus using the 4D avatar photographs a user in the camera unit 200 and generates a 4D avatar in the 4D calculator using the captured image information.
  • the guide avatar output unit 400 may generate a guide avatar by copying the generated 4D avatar, and may display the generated guide avatar on a display.
  • the guide avatar may be modified and displayed in a predetermined motion according to a rehabilitation exercise program. That is, the guide avatar output unit 400 guides a user-specific rehabilitation exercise operation based on the medical information of the user through the guide avatar.
  • the mesh information corresponding to the left arm of the guide avatar may be detected, and the mesh may be deformed to raise the vertically.
  • the rehabilitation program can be composed of various programs such as aerobic exercise, resistance exercise, and flexibility exercise.
  • the 4D avatar may calculate the amount of change in the joint and the skeleton using information such as the position of the joint, the speed and angle of the movement of the skeleton, including joint information and skeleton information, and the user's motion according to the amount of change in the joint and the skeleton. Information can be estimated.
  • the motion information may include a user's posture, a direction of movement, a speed of motion, a user's available motion range, a predictive motion based on the determination of continuity, and the like.
  • the user operation determination unit 600 shows the evaluation operation through the guide avatar.
  • the evaluation operation is to determine the state of the user
  • the user operation determination unit 600 determines the user state by analyzing the user's movement.
  • the user's motion is photographed by the camera unit, the 4D operator is restored to the 4D avatar, and the user avatar output unit 500 displays the user's motion as a user avatar through the display using the 4D avatar.
  • the guide avatar output unit 400 and the user avatar output unit 500 may be provided using separate monitor devices, or may be divided and displayed on one monitor device. In addition, the guide avatar and the user avatar may be displayed to overlap.
  • the user motion determination unit 600 compares the movement of the user avatar with the movement of the guide avatar, analyzes the difference, generates evaluation information according to the degree of difference, and classifies the user state.
  • the evaluation information may be generated according to the evaluation part.
  • the evaluation part may be a neck, shoulder, waist, knee, ankle, etc., and evaluation information may be generated for each evaluation part.
  • the shoulder evaluation information can be stored as a percentage according to the degree of agreement, such as 66%.
  • the guide avatar may repeat the movement of raising and lowering the knee by 90 °, and the evaluation information is calculated by measuring the maximum knee position and the raising and lowering speed of the user avatar. This calculation can be calculated using the user's joint and skeleton information.
  • the evaluation information may be evaluated by dividing it into one step, two steps, three steps, and the like, and may be variously modified according to a use environment.
  • a classification method may be classified into various stages according to the use environment, and the classified user status and evaluation information may be stored in the database unit 700.
  • the user operation determination unit 600 may show a screen overlapping the guide avatar and the user avatar as shown in FIG. 5, and by showing the overlapped screen, the user may be able to more clearly show the difference.
  • an emphasis guide such as an arrow or a character may be displayed on a portion to be moved further with respect to a portion having a large difference.
  • evaluation information is generated for each evaluation unit, and the evaluation information is stored as 4D avatar information of the corresponding user in the database unit. That is, the 4D avatar information of the user may be provided with exercise ability according to the evaluation information for each body part as well as information about the user shape. Therefore, the 4D avatar generated for each specific user may be displayed with limited movement deformation according to the exercise ability assigned to each body part.
  • the movement of the right knee of the user A's 4D avatar may not be bent more than a certain height and bent at least 45 °.
  • the user who has been evaluated by the user operation determination unit 600 displays the training operation by the appropriate rehabilitation training program according to the evaluation from the next rehabilitation training.
  • the database unit 700 stores user information such as a user's name, age, disease name, evaluation information, rehabilitation schedule, user avatar information, and the like, and rehabilitation program and training operation according to the user state are stored. have.
  • the database unit 700 detects corresponding user information and training program, and displays the training operation through the guide avatar.
  • the specific user's information may be input through login information such as ID and password or face recognition.
  • the user operation determining unit 600 may adaptively control the deformation of the guide avatar based on user information.
  • the user operation determining unit may adaptively display the deformation of the guide avatar through the guide avatar output unit by determining the deformation degree of the guide avatar based on user information.
  • the user motion determining unit reads the evaluation information of the corresponding user from the database and calculates and determines the deformation degree and the motion of the guide avatar according to the evaluation information corresponding to the evaluation site.
  • the degree of deformation of the guide avatar may indicate an operating range of the guide avatar.
  • the user's motion judging unit controls the movement of the guide avatar by setting the left shoulder raising angle of the guide avatar to 77%, which is 10 ° more than the evaluation information. do.
  • the guide avatar shows the left shoulder up to 70 °.
  • the movement of the guide avatar may be divided and set in stages such as stage 1, stage 2, stage 3, and the like. In this way, the guide avatar can guide different postures according to the user's state, thereby guiding the user's exercise ability as much as possible, rather than requiring the user to move excessively.
  • the user avatar is a three-dimensional model consisting of a mesh connection.
  • an image captured by a camera unit using an energy function is a model in which a three-dimensional model is deformed by a deformation function using a rotation parameter or a parallel moving parameter. After determining the parameter to minimize the energy function compared to the frame, the motion of the user avatar is estimated and restored.
  • the deformation function may be of the form
  • G is a modified parameter
  • k is a set of ED nodes
  • w is a weight
  • v m is the m th vertex.
  • R is a rotation parameter and T represents a parallel shift parameter.
  • the user operation determination unit 600 compares the movement of the guide avatar and the user avatar, and if the difference exceeds the critical range, the highlight guide can be displayed on the screen using a symbol or a character such as an arrow. Can induce the movement to the correct posture.
  • the rehabilitation exercise may be performed by performing the following operation through the guide avatar.
  • the motion of the guide avatar and the user avatar may be compared by estimating a skeleton.
  • the user operation determining unit may evaluate the proximity by comparing the movement of the user avatar with the movement of the guide avatar for each frame photographed by the camera unit.
  • the proximity may be assigned to an evaluation site for each body part, and may be calculated using an error size of the evaluation site and a weight assigned to the evaluation site.
  • the evaluation part may be assigned to the shoulder, waist, and knee according to the user's condition.
  • the user's motion determination unit compares the movement of the shoulder, waist, and knee part.
  • the user motion judging unit compares the arm raised angle, the waist bent, and the knee bent by the guide avatar and the user avatar, and measures the difference.
  • the weight may be set to the waist 0.5, the shoulder 0.3, and the knee 0.2. have.
  • the user operation determining unit transmits a guidement through the speaker. For example, as shown in FIG. 6, when the user moves his or her body at the corner of the wall, the user operation determining unit analyzes the movement of the user avatar and transmits the announcement through the speaker. At this time, the motion of the guide avatar and the user avatar is similarly compared.
  • the data determining the user avatar operation is cumulatively recorded in the database unit, and the user operation determination unit may search the database unit to provide feedback to the user about the degree of improvement of the specific operation.
  • the user operation judging part may rotate the user avatar to show the user's movement at an appropriate angle through the user avatar output unit when the side or the rear part of the user is not required for the user's posture guidance. That is, the user operation determination unit detects the point of view that the viewpoint viewed from a particular angle is most effective according to the training operation, and rotates the user avatar to the point of view through the user avatar output unit to display the user avatar output unit. have.
  • the time point may be set in advance or may be to estimate the most effective time point according to the training operation.
  • the user's motion determination unit determines that the view point from the side is most effective, and rotates the user avatar 90 ° through the user avatar output unit. It shows the user's movement from the side. Therefore, the user can see the appearance at the necessary angle while rehabilitating as the existing posture facing the front without the need to turn the body in order to display the side, it is helpful to take the correct posture.
  • the motion data of the user avatar are all stored in the database unit 700, and the user's 4D avatar information may be updated according to the rehabilitation exercise result. That is, when the exercise ability is improved for each evaluation part according to the rehabilitation exercise, the information may be reflected in the 4D avatar information of the user and the degree of motion deformation limitation may be changed.
  • the user's 4D avatar information may be transmitted to a desired place using a wired or wireless communication network, and when the user moves to another place, rehabilitation may be performed by using his own 4D avatar as it is at the moved place. .
  • rehabilitation may be performed by using his own 4D avatar as it is at the moved place.
  • even if the medical staff is changed in the moving place it is possible to ensure the continuity of the rehabilitation exercise using the 4D avatar information.
  • the simulation unit 800 can store the user's evaluation information for each body part using the user's 4D avatar is limited to the movement can simulate the user's movement even in the absence of the user.
  • the motion information about how much the left arm of a specific user rises, how much the right knee is bent and can be moved at a speed is stored in the 4D avatar. Restore the motion of the 4D avatar.
  • the simulation unit 800 may be used to produce user-customized content.
  • the simulation unit 800 may simulate the user's movement using 4D avatar information of a specific user.
  • the direction in which the ball flows, the speed of the ball, etc. can be appropriately adjusted according to the movement of a specific user.
  • the difficulty or format of the rehabilitation exercise content is too difficult or too easy for the user to prevent the training effect from being reduced, and the customized content can be provided according to the specific user's state, thereby improving the effect of the rehabilitation exercise. It can be maximized.
  • the rehabilitation apparatus using the 4D avatar according to the present invention can perform a rehabilitation exercise at the same time as well as alone. That is, the 4D operator 300 may generate a 4D avatar for each object by segmenting a plurality of objects photographed by the camera unit 200, and each 4D avatar is displayed as a user avatar through a user avatar output unit. Can be.
  • the user when the user starts the rehabilitation exercise for the first time, the user is photographed by the camera unit and the 4D avatar of the user is generated by the 4D operator.
  • the 4D avatar may be generated by a 3D mesh, and the avatar may be transformed and moved according to the user's movement through motion estimation.
  • the 4D operator generates a guide avatar by copying the generated 4D avatar, and the guide avatar generated by the 4D operator is displayed through the guide avatar output unit.
  • the user operation determining unit detects the evaluation operation stored in the database unit and causes the guide avatar to display the evaluation operation.
  • the user can simultaneously view the guide avatar and the user avatar through the guide avatar output unit and the user avatar output unit, and follow the evaluation operation performed by the guide avatar.
  • the 4D operator restores the motion of the user avatar using the motion image information of the user photographed by the camera unit and displays the motion of the user avatar.
  • the user operation determination unit generates the evaluation information of the user by comparing the movement of the guide avatar and the user avatar.
  • the evaluation information may include various information about the user's state, and the evaluation information may be generated for each evaluation part.
  • the user motion determination unit reads the evaluation information of the user from the database unit and loads a training program corresponding to the evaluation information. Then, the training motions belonging to the training program are displayed through the guide avatar. In this case, the user operation determining unit may calculate the degree of deformation of the guide avatar based on the evaluation information and control the movement of the guide avatar accordingly.
  • the user sees the motion of the guide avatar and performs the same operation.
  • the 4D calculator shows the user's movement through the user avatar.
  • the user motion judging unit compares the movement of the guide avatar with the user avatar and displays the next motion if it is within the setting range. You can display and give the correct action. And it is desirable to repeat the same operation to train.
  • the rehabilitation exercise according to the present invention can be performed by several people in one place, and the 4D operator may generate and display 4D avatars of respective users photographed by the camera unit. That is, when there are a plurality of users, the user avatar output unit may output the user avatar model for each user by estimating the motion information for each user.

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Rehabilitation Tools (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 사용자 자신의 3차원 아바타를 생성하여 3차원 아바타가 사용자의 움직임을 모사하여 동일한 움직임을 보여줌으로써, 재활운동을 지시하는 아바타와 사용자의 동작에 따라 움직이는 아바타를 이용하여 맞춤형 재활운동을 제공하는 4D 아바타를 이용한 동작 가이드 장치 및 그것을 이용한 동작 가이드 방법에 관한 것이다. 이를 위하여, 본 발명은 본 발명은 사용자의 움직임 정보를 포함하는 4D 아바타를 생성하고 상기 4D 아바타의 동작을 화면에 출력하는 사용자 아바타 출력부; 상기 사용자에게 특정 동작의 수행을 가이드하는 가이드 아바타를 출력하는 가이드 아바타 출력부; 상기 사용자 아바타와 상기 가이드 아바타의 동작을 비교하여 상기 사용자의 동작을 판단하는 사용자 동작 판단부를 포함하는 4D 아바타를 이용한 동작 가이드 장치를 제공한다. 따라서, 본 발명에 의하면, 사용자의 모습을 4D 복원하여 보여줌으로써 사용자의 움직임을 더욱 정밀하게 추정할 수 있고, 이에 따라 사용자가 재활운동을 올바른 자세로 수행할 수 있도록 유도할 수 있다.

Description

[규칙 제26조에 의한 보정 13.02.2019]　4D 아바타를 이용한 동작가이드장치 및 방법
본 발명은 4D 아바타를 이용한 동작가이드장치 및 그것을 이용한 동작가이드방법에 관한 것이며, 구체적으로 재활운동을 지시하는 아바타와 사용자의 동작에 따라 움직이는 아바타를 이용하여 맞춤형 재활운동을 제공하는 4D 아바타를 이용한 동작가이드장치 및 그것을 이용한 동작가이드방법에 관한 것이다.
재활운동은 사용자 개개인의 상태에 따라 진행해야 하며, 사용자가 직접 병원을 방문하여 재활운동을 수행하는 것이 일반적이다. 하지만, 병원을 자주 방문하여 진단을 받고 운동을 수행하는 것이 사용자의 입장에서는 번거롭게 느껴질 수 있다. 재활운동은 꾸준히 자주 반복하여 수행하는 것이 매우 중요하나, 병원 방문의 번거로움과 재택 재활운동은 강제성이 없으므로 꾸준히 운동을 하지 않는 사용자들도 많다. 이러한 문제를 해결하기 위하여, 간단한 동작을 수행하여 진단을 수행하고 그 자리에서 재활운동을 수행할 수 있는 재활운동장치에 필요하다. 또한, 혼자 재활운동을 수행하는 것이 지루하게 느껴지는 사용자들을 위해, 다수의 사용자가 함께 모여 재활운동을 진행할 수 있도록 한다면 재활운동을 좀 더 적극적으로 수행하도록 할 수 있을 것이다.
도 1을 참조하면, 종래기술에 의한 인터렉션 기반의 재활게임장치(공개특허 제10-2014-0112121호)는 사용자가 화면을 보면서 재활치료를 수행할 수 있는 디스플레이부와 사용자의 움직임을 촬영하는 카메라와 같은 비전센서를 포함한다.
상기한 재활게임장치는 사용자가 디스플레이부에 표시된 아바타가 움직이는 동작을 따라하면, 재활게임장치에서는 사용자를 촬영한 영상데이터를 분석함으로써 사용자의 재활상태를 수치화한다.
하지만, 종래기술에서 표시되는 아바타는 사용자와 전혀 관계없이 미리 디자인된 아바타로서 사용자는 이질감을 느끼게 되는 부작용이 있다. 또한, 단순히 사용자를 촬영하여 그대로 보여줌으로써 사용자에게 더 필요한 자세교정 안내나 정확한 자세와의 비교표시 등을 실시간으로 해줄수 없는 단점이 있다.
사용자의 모습을 4D 복원하여 4D 모델을 생성하고, 생성된 4D 모델을 이용하여 사용자가 특정 동작을 수행하도록 동작을 가이드한 뒤, 사용자의 상태를 분석하고 맞춤형 재활운동을 제공하거나 게임 등으로 이용할 수 있도록 하는 것이 본 발명의 목적이다.
상기한 목적을 달성하기 위하여, 본 발명은 사용자의 움직임 정보를 포함하는 4D 아바타를 생성하고 상기 4D 아바타의 동작을 화면에 출력하는 사용자 아바타 출력부; 상기 사용자에게 특정 동작의 수행을 가이드하는 가이드 아바타를 출력하는 가이드 아바타 출력부; 상기 사용자 아바타와 상기 가이드 아바타의 동작을 비교하여 상기 사용자의 동작을 판단하는 사용자 동작 판단부를 포함하는 4D 아바타를 이용한 동작 가이드 장치를 제공한다.
상기 사용자 아바타 출력부는, 사용자의 3차원 모델이 움직임 추정을 통해 변형되어 움직이는 4D 아바타를 생성하고, 상기 4D 아바타로부터 사용자의 관절 정보를 추출하고 프레임별 상기 관절 정보의 변화량을 통해 상기 사용자의 움직임 정보를 추정하는 것이 바람직하다.
상기 가이드 아바타 출력부는, 사용자의 의료 정보를 기초로 사용자 맞춤형 재활 운동 동작을 가이드하는 가이드 아바타를 출력할 수 있다.
상기 사용자 동작 판단부는, 상기 사용자 아바타의 동작을 분석 또는 예측하여 상기 사용자 아바타가 상기 가이드 아바타의 동작에 따라 일치하는 동작을 수행했는지 여부를 판단할 수 있다.
상기 사용자 동작 판단부는 사용자의 동작을 판단하여 사용자에게 다음 단계로 진행 또는 사용자가 동작을 재수행하도록 가이드할 수 있다.
상기 4D 아바타를 이용한 동작 가이드 장치는 사용자 아바타 동작을 판단한 데이터를 누적적으로 기록하는 데이터베이스부를 더 포함하고, 상기 사용자동작판단부는 상기 데이터베이스부를 검색하여 상기 사용자의 특정 동작에 대한 호전도를 사용자에게 피드백하는 것이 바람직하다.
상기 사용자 아바타 출력부는, 복수의 사용자가 있는 경우, 각 사용자별로 움직임 정보를 추정하여 각각의 사용자에 대한 사용자 아바타 모델을 출력하는 것이 바람직하다.
상기 사용자동작판단부는 상기 카메라부에서 촬영된 프레임별로 상기 사용자아바타의 움직임을 상기 가이드아바타의 움직임과 비교하여 근접도를 평가하고, 상기 근접도는 신체부위별로 평가부위가 지정되고, 상기 평가부위의 오차크기 및 상기 평가부위에 부여된 가중치를 이용하여 계산될 수 있다.
4D 아바타를 이용한 동작 가이드 장치는 훈련동작 및 사용자정보가 저장되는 데이터베이스부를 포함하고, 상기 사용자동작판단부는 상기 사용자정보에 기초하여 상기 가이드아바타의 변형을 적응적으로 제어하는 것이 바람직하다.
4D 아바타를 이용한 동작 가이드 장치는 훈련동작 및 사용자정보가 저장되는 데이터베이스부를 포함하고, 상기 사용자동작판단부는 훈련동작에 따라 사용자아바타를 회전시켜 사용자아바타출력부에 표시하는 것이 바람직하다.
본 발명은 또한, 카메라부에 의해 촬영된 영상을 이용하여 사용자의 움직임을 추정하는 움직임 추정부; 상기 움직임 추정부에 의해 추정된 움직임 정보를 이용하여 4D 복원을 수행하고 4D 아바타를 생성하는 4D 아바타 생성부; 상기 사용자의 움직임 정보를 이용하여 상기 4D 아바타의 움직임을 제어하는 4D 아바타 제어부를 포함하여 구성되는 4D 아바타를 이용한 동작 가이드 장치를 제공한다.
4D 아바타를 이용한 동작 가이드 장치는 훈련동작 및 사용자정보가 저장되는 데이터베이스부를 포함하고, 상기 4D 아바타 제어부는 가이드 아바타와 사용자 아바타를 제어할 수 있으며, 상기 가이드 아바타는 환자정보에 기초하여 대응하는 훈련동작을 상기 4D 아바타를 통해 보여주도록 제어하고, 상기 사용자 아바타는 사용자의 동작에 따라 움직이도록 제어하는 것이 바람직하다.
한편, 본 발명에 의하면, 4D 아바타를 이용한 동작 가이드 장치는 사용자 아바타 출력부, 가이드 아바타 출력부 및 사용자 동작 판단부를 포함하고, 상기 사용자 아바타 출력부는 사용자의 움직임 정보를 포함하는 4D 아바타를 생성하고 상기 4D 아바타의 동작을 화면에 출력하는 단계; 상기 가이드 아바타 출력부는 상기 사용자에게 특정 동작의 수행을 가이드하는 가이드 아바타를 출력하는 단계; 상기 사용자 동작 판단부는 상기 사용자 아바타와 상기 가이드 아바타의 동작을 비교하여 상기 사용자의 동작을 판단하는 단계를 포함하는 4D 아바타를 이용한 동작 가이드 방법을 제공한다.
상기 사용자 아바타 출력부는, 사용자의 3차원 모델이 움직임 추정을 통해 변형되어 움직이는 4D 아바타를 생성하는 단계; 상기 4D 아바타로부터 사용자의 관절 정보를 추출하고 프레임별 상기 관절 정보의 변화량을 통해 상기 사용자의 움직임 정보를 추정하는 단계를 수행하는 것이 바람직하다.
상기 사용자동작판단부는 상기 가이드아바타출력부를 통해 표시되는 가이드아바타와 상기 사용자아바타출력부를 통해 표시되는 사용자아바타를 비교 및 분석하여 상기 가이드아바타와 사용자아바타의 움직임이 설정범위 이내이면 다음 훈련동작을 제시하고, 상기 가이드아바타와 사용자아바타의 움직임이 설정범위를 벗어나면 강조가이드를 표시하여 주는 단계를 수행하는 것이 바람직하다.
마지막으로, 본 발명은, 4D 아바타를 이용한 동작 가이드 장치는 움직임 추정부, 4D 아바타 생성부 및 4D 아바타 제어부를 포함하고, 상기 움직임 추정부는 카메라부에 의해 촬영된 영상을 이용하여 사용자의 움직임을 추정하는 단계; 상기 4D 아바타 생성부는 상기 움직임 추정부에 의해 추정된 움직임 정보를 이용하여 4D 복원을 수행하고 4D 아바타를 생성하는 단계; 상기 4D 아바타 제어부는 상기 사용자의 움직임 정보를 이용하여 상기 4D 아바타의 움직임을 제어하는 단계를 포함하여 수행하는 4D 아바타를 이용한 동작 가이드 방법을 제공한다.
본 발명에 의하면, 사용자의 모습을 4D 복원하여 보여줌으로써 사용자의 움직임을 더욱 정밀하게 추정할 수 있고, 이에 따라 사용자가 재활운동을 올바른 자세로 수행할 수 있도록 유도할 수 있다.
또한, 다수의 사용자가 함께 사용할 수 있으므로, 여러 명이 함께 한 공간에서 재활운동을 수행함으로써 보다 즐겁게 재활운동에 참여할 수 있다.
그리고, 사용자의 모습을 4D 복원하여 보여줌으로써 이질감없이 재활운동에 집중할 수 있도록 하여 주며, 사용자의 모습을 그대로 구현한 4D 모델이 사용자의 움직임을 모사하여 그대로 움직이게 함으로써 사용자의 자세를 더욱 정확하게 분석할 수 있도록 하는 것이 본 발명의 또 다른 목적이다.
도 1은 종래기술에 의한 재활운동방법을 나타내는 예시도;
도 2는 본 발명에 의한 4D 아바타를 이용한 동작 가이드 장치의 구성을 나타내는 구성도;
도 3은 도 2에서 4D연산부의 구성을 나타내는 구성도;
도 4는 본 발명에 의한 4D 아바타를 이용한 동작 가이드 장치 사용예를 나타내는 예시도;
도 5는 도4의 사용자디스플레이에서 강조가이드의 표시예를 나타내는 예시도;
도 6은 사용자의 재활운동 실시예를 나타내는 예시도;
도 7은 도 4의 사용자디스플레이에서 사용자아바타의 회전 디스플레이의 예를 나타내는 예시도;
도 8은 시뮬레이션부에 의한 재활운동 게임 시뮬레이션의 예를 나타내는 예시도;
도 9는 본 발명에 의한 4D 아바타를 이용한 동작 가이드 방법에서 평가정보생성과정을 나타내는 순서도;
도 10은 본 발명에 의한 4D 아바타를 이용한 동작 가이드 방법을 나타내는 순서도.
본 발명의 실시예의 구성 및 작용에 대하여 첨부한 도면을 참조하여 상세하게 설명한다.
도 2를 참조하면, 본 발명에 의한 4D 아바타를 이용한 재활운동장치(100)는 사용자아바타출력부(500), 4D연산부(300), 4D아바타 제어부(570), 가이드아바타출력부(400), 사용자동작판단부(600), 데이터베이스부(700), 시뮬레이션부(800)를 포함하여 구성될 수 있다.
카메라부(200)는 일반적으로 복수 개의 동영상 촬영이 가능한 카메라로 이루어질 수 있으며, 3차원 영상을 생성하기 위해 적어도 한 쌍의 카메라로 이루어질 수 있다. 또한, 촬영되는 객체의 전후좌우 전면을 촬영하기 위해서는 객체의 주위로 일정각도 간격으로 카메라를 설치할 수도 있다.
3차원 영상을 생성하기 위해서는 최소 한 쌍의 RGB카메라가 필요하지만, 상황에 따라 깊이정보를 포함하는 하나 이상의 RGB-D카메라를 이용할 수도 있다. 또한, 카메라부(200)에는 IR카메라가 더 포함될 수도 있다.
상기 4D연산부(300)는 서버에서 구동될 수 있으며, 상기 사용자아바타출력부(500)에 포함되어 사용자아바타의 움직임을 추정할 수 있다. 즉, 상기 카메라부(200)에 의해 촬영된 영상데이터는 상기 4D연산부로 전송되어 실시간으로 사용자의 움직임이 추정된다.
구체적으로, 도 3을 참조하면, 상기 4D연산부(300)는 4D아바타생성부(310), 움직임추정부(320), 인코딩부(330), 통신부(340)를 포함하여 구성된다.
상기 4D아바타생성부(310)에서는 다시점에서 촬영된 복수의 영상을 정합하거나 색상정보 및 깊이정보를 이용하여 4D모델을 생성한다. 상기 4D모델은 메쉬정보를 포함할 수 있으며, 사용자의 모습과 동일한 형상을 보여준다.
또한, 상기 4D아바타생성부(310)는 세그멘테이션(segmentation) 과정을 통하여 객체와 배경을 분리할 수 있으며, 이렇게 배경과 분리된 4D모델은 움직임추정부(320)에서 실제 사용자의 움직임을 모사하여 변형된다. 예를 들어, 상기 움직임추정부(320)에서는 변형함수와 에너지함수를 이용하여 카메라부에 의해 촬영된 사용자의 영상과 비교하여 최적화 과정을 통해 사용자의 움직임을 추정할 수 있다. 이러한 과정을 통해 사용자와 동일한 모습을 하며, 사용자의 움직임과 동일하게 움직이는 4D 아바타가 생성된다. 즉, 4D 아바타는 사용자의 3차원 모델이 움직임 추정을 통해 변형되어 움직이는 아바타를 의미한다. 상기 4D 아바타는 이전 프레임과 이후 프레임의 움직임 연결정보를 포함하며, 이전 프레임에서 가려짐 등으로 알 수 없었던 부분을 이후 프레임 정보를 이용하여 보완할 수 있다. 이에 따라 사용자의 전체 모습이 3D로 완전하게 복원된다.
상기 4D아바타 제어부(570)에서는 가이드 아바타와 사용자 아바타의 움직임을 제어할 수 있다. 즉, 가이드 아바타는 사용자 정보에 기초하여 대응하는 훈련동작을 상기 4D 아바타를 통해 보여주도록 제어하고, 사용자 아바타는 사용자의 동작에 따라 움직이도록 제어할 수 있다.
도 4를 참조하면, 본 실시예에 의한 4D 아바타를 이용한 동작가이드장치는 카메라부(200)에서 사용자를 촬영하고, 촬영된 영상정보를 이용하여 4D연산부에서는 4D 아바타를 생성한다. 또한, 가이드아바타출력부(400)에서는 생성된 4D 아바타를 복사하여 가이드아바타를 생성하고, 생성된 가이드아바타를 디스플레이를 통해 표시하여 줄 수 있다.
상기 가이드아바타는 재활운동 프로그램에 따라 정해진 동작으로 변형되어 표시될 수 있다. 즉, 가이드아바타출력부(400)는 상기 가이드아바타를 통해 사용자의 의료정보를 기초로 사용자 맞춤형 재활운동 동작을 가이드한다.
예를 들어, 왼쪽 팔을 수직으로 들어 올리는 동작 같은 경우, 가이드아바타의 왼쪽 팔에 대응하는 메쉬정보를 검출하고, 상기 메쉬를 변형시켜 수직으로 올리는 동작을 구현할 수 있다. 이러한 재활운동 프로그램은 유산소운동, 저항성운동, 유연성운동 등 여러가지 프로그램으로 이루어 질 수 있다.
상기 4D 아바타는 관절정보 및 골격정보를 포함하여 관절의 위치 및 골격의 움직임 속도 및 각도 등의 정보를 이용하여 관절 및 골격의 변화량을 산출할 수 있으며, 이러한 관절 및 골격의 변화량에 따라 사용자의 움직임 정보를 추정할 수 있다.
상기 움직임 정보는 사용자의 자세, 움직임 방향, 움직임 속도, 사용자 가용동작범위, 연속성 판단에 기초한 예측동작 등을 포함할 수 있다.
처음 재활운동을 시작하는 경우, 사용자동작판단부(600)에서는 평가동작을 가이드아바타를 통해 보여준다. 상기 평가동작은 사용자의 상태를 파악하기 위한 것으로서, 사용자동작판단부(600)에서는 사용자의 움직임을 분석하여 사용자상태를 판단하게 된다.
구체적으로, 사용자의 움직임은 카메라부에 의해 촬영되며, 4D연산부에서 4D 아바타로 복원되며, 사용자아바타출력부(500)는 상기 4D 아바타를 이용하여 디스플레이를 통해 사용자의 움직임을 사용자아바타로 표시한다.
상기 가이드아바타출력부(400) 및 사용자아바타출력부(500)는 별개의 모니터 장치를 이용하여 구비될 수도 있고, 하나의 모니터 장치에 화면을 분할하여 표시할 수도 있다. 또한, 가이드아바타와 사용자아바타는 겹쳐지게 표시될 수도 있다.
상기 사용자동작판단부(600)에서는 사용자아바타의 움직임과 가이드아바타의 움직임을 비교하여 차이가 나는 부분을 분석하여 그 차이 정도에 따라 평가정보를 생성하고 사용자상태를 분류한다.
상기 평가정보는 평가부위에 따라 생성될 수 있다. 상기 평가부위는 목, 어깨, 허리, 무릎, 발목 등이 될 수 있으며, 각 평가부위별로 평가정보가 생성될 수 있다.
예를 들어, 어깨 평가를 위하여 가이드아바타가 왼쪽 팔을 수직으로 올리는 동작을 가이드아바타출력부를 통하여 보여주었을 때, 사용자아바타의 왼쪽 팔 움직임이 수직에 미치지 못하고 60°에 머물렀다면 사용자동작판단부(600)에서는 어깨 평가정보를 66% 등 일치도에 따른 비율로 저장할 수 있다.
평가부위가 무릎인 경우 가이드아바타는 무릎을 90°로 들어 올렸다 내렸다 하는 움직임을 반복할 수 있으며, 사용자아바타의 최고 무릎 위치 및 올리고 내리는 속도 등을 측정하여 평가정보를 계산하게 된다. 이러한 계산은 사용자의 관절 및 골격정보를 이용하여 계산될 수 있다.
상기 평가정보는 1단계, 2단계, 3단계 등으로 구획하여 평가될 수도 있으며, 사용환경에 따라 여러가지로 변형될 수 있다. 또한, 이러한 분류방법은 사용환경에 따라 여러가지 단계로 분류될 수 있으며, 분류된 사용자상태 및 평가정보는 데이터베이스부(700)에 저장될 수 있다.
이때, 사용자동작판단부(600)에서는 도 5와 같이 가이드아바타와 사용자아바타를 겹친 화면을 보여줄 수 있으며, 이렇게 겹친 화면을 보여주면 사용자로 하여금 차이가 나는 부분을 좀 더 확실하게 보여줄 수가 있다. 그리고, 사용자동작판단부(600)에서는 차이가 많이 나는 부분에 대해서는 더 움직여야 할 부분에 화살표나 문자 등의 강조가이드를 표시하여 줄 수 있다.
상기 사용자동작판단부(600)에 의하여 평가가 끝나면, 평가부위별로 평가정보가 생성되고, 이러한 평가정보는 데이터베이스부에 해당 사용자의 4D 아바타 정보로 저장된다. 즉, 사용자의 4D 아바타 정보에는 사용자 형상에 대한 정보뿐만 아니라, 신체부위별로 상기 평가정보에 따라 운동능력이 부여될 수 있다. 따라서, 특정 사용자마다 생성되는 4D 아바타는 신체부위별로 부여된 운동능력에 따라 움직임 변형이 제한되어 표시될 수 있다.
예를 들어, A사용자의 오른쪽 무릎의 평가정보가 2단계인 경우 A사용자의 4D 아바타의 오른쪽 무릎은 일정 높이 이상 올라가지 않고 45°이상 굽혀지지 않도록 움직임이 제한될 수 있다.
사용자동작판단부(600)에 의하여 평가가 끝난 사용자는 다음 재활훈련때부터 상기 평가에 따라 적절한 재활훈련프로그램에 의한 훈련동작이 표시된다.
즉, 데이터베이스부(700)에는 사용자의 이름, 나이, 병명, 평가정보, 재활훈련스케줄, 사용자아바타정보 등의 사용자정보가 저장되어 있으며, 또한, 사용자상태에 따른 재활훈련프로그램 및 훈련동작이 저장되어 있다.
사용자동작판단부(600)에서는 특정 사용자의 정보가 입력되면, 데이터베이스부(700)에서 대응하는 사용자정보 및 훈련프로그램 등을 검출하여 가이드아바타를 통해 훈련동작을 표시하여 준다. 상기 특정 사용자의 정보는 아이디, 비밀번호와 같은 로그인 정보를 입력받거나 얼굴인식 등으로 입력될 수 있다.
이때, 상기 사용자동작판단부(600)에서는 사용자정보를 기초로 하여 상기 가이드아바타의 변형을 적응적으로 제어할 수 있다. 상기 사용자동작판단부는 사용자정보에 기초하여 상기 가이드아바타의 변형정도를 판단하여 가이드아바타출력부를 통해 가이드아바타의 변형을 적응적으로 표시하도록 할 수 있다.
구체적으로, 사용자동작판단부에서는 데이터베이스부에서 해당 사용자의 평가정보를 독출하여 평가부위에 대응하는 평가정보에 따라 가이드아바타의 변형정도 및 동작을 계산하여 판단한다. 상기 가이드아바타의 변형정도는 가이드아바타의 동작범위를 나타낼 수 있다.
예를 들어, 해당 사용자의 왼쪽 어깨 평가정보가 66%로 독출된 경우, 사용자동작판단부에서는 가이드아바타의 왼쪽 어깨 올림 각도를 평가정보보다 10°많은 77%로 설정하여 상기 가이드아바타의 움직임을 제어한다. 따라서, 가이드아바타는 왼쪽 어깨를 70°까지 올린 자세를 보여준다. 상기 가이드아바타의 움직임은 1단계, 2단계, 3단계 등의 단계별로 구획되어 설정될 수도 있다. 이렇게 가이드아바타는 사용자의 상태에 따라 다른 자세를 가이드함으로써 사용자에게 무리한 동작을 요구하기 보다는 사용자의 운동능력을 최대한 끌어낼 수 있는 동작을 안내할 수 있다.
사용자가 가이드아바타의 움직임을 따라 하면, 사용자의 움직임은 카메라부(200)에 의해 촬영되며, 카메라부에 의해 촬영된 영상정보를 이용하여 4D연산부에서는 사용자아바타를 생성하여 사용자아바타출력부를 통해 표시하여 준다. 상기 사용자아바타는 메쉬의 연결로 이루어진 3차원 모델로서, 4D연산부에서는 회전파라메타, 평행이동파라메타 등을 이용한 변형함수에 의해 3차원 모델을 변형시킨 모델을 에너지함수를 이용하여 카메라부에 의해 촬영되는 영상프레임과 비교하여 에너지함수가 최소가 되도록 하는 파라메타를 결정한 후, 사용자아바타의 움직임을 추정하여 복원한다.
변형함수의 예를 들면 다음과 같은 형태가 될 수 있다.
Figure PCTKR2018016186-appb-I000001
여기서, G는 변형파라메타이고 k는 ED노드의 집합이며, w는 가중치를 의미한다. 또한, vm은 m번째 버텍스이다. 또한, R은 회전파라메타이며, T는 평행이동 파라메타를 나타낸다.
사용자동작판단부(600)에서는 가이드아바타와 사용자아바타의 움직임을 비교하여 그 차이가 임계범위를 넘는 경우, 그 부위를 화살표와 같은 기호나 문자를 이용하여 강조가이드를 화면에 표시하여 줄 수 있으며 사용자가 올바른 자세로 동작을 진행하도록 유도할 수 있다. 또한, 사용자아바타의 움직임이 가이드아바타의 움직임과 설정범위 내에서 일치하는 경우, 가이드아바타를 통해 다음 동작을 취하도록 하여 재활운동을 진행할 수 있다. 상기 가이드아바타와 사용자아바타의 움직임 비교는 골격을 추정하여 비교할 수도 있다.
상기 사용자동작판단부는 상기 카메라부에서 촬영된 프레임별로 상기 사용자아바타의 움직임을 상기 가이드아바타의 움직임과 비교하여 근접도를 평가할 수 있다. 또한, 상기 근접도는 신체부위별 평가부위가 지정되고, 상기 평가부위의 오차크기 및 상기 평가부위에 부여된 가중치를 이용하여 계산될 수 있다.
예를 들어, 사용자의 상태에 따라 평가부위는 어깨, 허리, 무릎이 지정될 수 있으며, 이러한 경우 사용자동작판단부에서는 어깨, 허리, 무릎 부위의 움직임을 비교하게 된다. 즉, 사용자동작판단부에서는 가이드아바타와 사용자아바타의 팔 올린 각도, 허리의 휘어진 정도, 무릎의 굽어진 정도를 비교하여 그 차이를 측정하며, 가중치는 허리 0.5, 어깨 0.3, 무릎 0.2로 설정될 수 있다.
사용자동작판단부는 사용자아바타가 회전하여 카메라부를 향하고 있지 않다고 판단되는 경우에는 스피커를 통해 안내멘트를 전송하게 된다. 예를 들어, 도 6과 같이 벽 모퉁이에 손을 대로 몸을 움직이는 경우, 사용자동작판단부에서는 사용자아바타의 움직임을 분석하여 스피커를 통해 안내멘트를 전송한다. 이때에도 마찬가지로 가이드아바타와 사용자아바타의 움직임은 비교된다.
상기 데이터베이스부에는 사용자 아바타 동작을 판단한 데이터가 누적적으로 기록되며, 상기 사용자동작판단부는 상기 데이터베이스부를 검색하여 상기 사용자의 특정 동작에 대한 호전도를 사용자에게 피드백해줄 수 있다.
한편, 사용자동작판단부는 사용자의 자세안내를 위해 사용자의 앞부분이 아닌 옆쪽이나 뒷부분이 필요한 경우 사용자아바타를 회전시켜 적절한 각도에서의 사용자의 움직임을 사용자아바타출력부를 통해 보여줄 수 있다. 즉, 상기 사용자동작판단부는 훈련동작에 따라 특정 각도에서 바라보는 시점이 가장 효과적이라고 판단되는 시점을 검출하고, 사용자아바타출력부를 통해 사용자아바타를 상기 시점으로 회전시켜 사용자아바타출력부에 표시하도록 할 수 있다. 상기 시점은 미리 설정되어 있을 수도 있고, 훈련동작에 따라 가장 효과적인 시점을 추정하게 할 수도 있다.
예를 들어, 도 7과 같이 사용자가 의자에 앉아서 무릎을 들어올리는 자세를 취할 경우, 사용자동작판단부에서는 측면에서 바라보는 시점이 가장 효과적이라고 판단하고 사용자아바타출력부를 통해 사용자아바타를 90° 회전시켜 측면에서 바라본 사용자의 움직임을 보여주게 된다. 따라서, 사용자는 측면을 표시하기 위해 일부러 몸을 돌릴 필요없이 정면을 향하는 기존 자세 그대로 재활운동을 하면서 필요한 각도에서의 모습을 볼 수 있어 정확한 운동자세를 취하는데 도움이 된다.
상기한 사용자아바타의 움직임 데이터는 모두 데이터베이스부(700)에 저장되며, 사용자의 4D 아바타 정보는 재활운동 결과에 따라 업데이트될 수 있다. 즉, 재활운동에 따라 평가부위별로 운동능력이 향상된 경우 이러한 정보는 사용자의 4D 아바타 정보에 반영되어 움직임 변형 제한 정도가 변경될 수 있다.
또한, 사용자의 4D 아바타 정보는 유무선 통신망을 이용하여 원하는 다른 장소에 전송될 수 있으며, 사용자가 다른 장소로 이동한 경우 이동한 장소에서 자신의 고유한 4D 아바타를 그대로 이용하여 재활운동을 할 수 있다. 또한, 이동한 장소에서 담당 의료진이 바뀐 경우에도 상기 4D 아바타 정보를 이용하여 재활운동의 연속성을 보장할 수 있다.
한편, 시뮬레이션부(800)에서는 신체부위별로 사용자의 평가정보가 저장되어 움직임이 제한되는 사용자의 4D 아바타를 이용하여 사용자가 없는 상태에서도 사용자의 운동모습을 시뮬레이션할 수 있다. 즉, 특정 사용자의 왼쪽 팔이 어느 정도까지 올라가는지, 오른쪽 무릎이 어느 정도까지 굽어지고 어느 정도 속도로 움직일 수 있는지 등에 대한 운동정보가 4D 아바타에 저장되어 있으며, 이러한 정보를 이용하여 특정 사용자에 대응하는 4D 아바타의 움직임을 복원한다.
이러한 시뮬레이션부(800)에서는 사용자 맞춤형 콘텐츠 생산에 이용될 수 있다.
구체적으로, 도 8과 같이 가상현실에서 공이 날라오는 것을 사용자의 모션으로 막아야 하는 게임형 재활운동에서 시뮬레이션부(800)에서는 특정 사용자의 4D 아바타 정보를 이용하여 사용자의 움직임을 시뮬레이션 할 수 있다. 또한, 시뮬레이션 결과에 따라 공이 날라오는 방향, 공의 속도 등을 특정사용자의 움직임에 맞추어 적절하게 조절할 수 있다.
따라서, 본 발명에 의하면, 재활운동 콘텐츠의 난이도나 형식 등이 사용자에게는 너무 어렵거나 너무 쉬워 훈련효과가 저감되는 것을 방지하고, 특정 사용자의 상태에 따라 맞춤형 콘텐츠를 제공할 수 있어 재활운동의 효과를 극대화할 수 있다.
본 발명에 의한 4D 아바타를 이용한 재활운동장치는 혼자 뿐만 아니라 다수가 동시에 재활운동을 수행할 수 있다. 즉, 4D연산부(300)에서는 카메라부(200)에 의해 촬영된 복수의 객체를 세그멘테이션하여 각각의 객체에 대해 4D 아바타를 생성할 수 있으며, 각각의 4D 아바타는 사용자아바타출력부를 통해 사용자아바타로 표시될 수 있다.
다음으로, 도 9 및 도 10을 참조하여 본 발명에 의한 4D 아바타를 이용한 재활운동방법에 대해 설명한다.
먼저, 사용자가 처음 재활운동을 시작하면 카메라부에 의해 사용자가 촬영되면서 4D연산부에 의해 사용자의 4D 아바타가 생성된다. 상기 4D 아바타는 3차원 메쉬에 의해 생성될 수 있으며, 움직임 추정을 통해 사용자의 움직임에 따라 변형되어 움직이게 되는 아바타이다.
또한, 상기 4D연산부는 생성된 상기 4D 아바타를 복사하여 가이드아바타를 생성하고, 4D연산부에 의해 생성된 가이드아바타는 가이드아바타출력부를 통해 표시된다.
그러면, 사용자동작판단부에서는 데이터베이스부에 저장된 평가동작을 검출하여 가이드아바타로 하여금 평가동작을 표시하도록 한다. 사용자는 가이드아바타출력부 및 사용자아바타출력부를 통해 가이드아바타와 사용자아바타를 동시에 볼 수 있으며, 가이드아바타가 행하는 평가동작을 따라한다.
이때, 4D연산부는 카메라부에 의해 촬영되는 사용자의 움직임 영상정보를 이용하여 사용자아바타의 움직임을 복원하여 사용자아바타출력부에 표시한다.
이와 함께, 사용자동작판단부에서는 가이드아바타 및 사용자아바타의 움직임을 비교하여 사용자의 평가정보를 생성한다. 상기 평가정보에는 사용자의 상태에 대한 다양한 정보가 포함될 수 있으며, 평가부위별로 평가정보가 생성될 수 있다.
다음 재활운동시 사용자정보가 입력되면, 사용자동작판단부에서는 데이터베이스부로부터 해당 사용자의 평가정보를 독출하여 상기 평가정보에 대응하는 훈련프로그램을 불러온다. 그리고, 상기 훈련프로그램에 속하는 훈련동작을 가이드아바타를 통해 표시한다. 이때, 사용자동작판단부에서는 상기 평가정보에 기초하여 가이드아바타의 변형정도를 계산하고 이에 따라 가이드아바타의 움직임을 제어할 수 있다.
사용자는 가이드아바타의 동작을 보고 똑같은 동작을 수행하며, 이때 4D연산부에서는 사용자아바타를 통해 사용자의 움직임을 보여주게 된다.
사용자동작판단부에서는 가이드아바타와 사용자아바타의 움직임을 비교하여 설정범위 이내이면 다음동작을 표시하여 주고, 가이드아바타와 사용자아바타의 움직임 차이가 설정범위 밖이면 차이가 나는 평가부위에 화살표와 같은 강조가이드를 표시하여 주고 바른 동작을 제시하여 줄 수 있다. 그리고, 같은 동작을 반복하여 훈련하게 하는 것이 바람직하다.
본 발명에 의한 재활운동은 한 장소에 여러명이 같이 할 수 있으며, 4D연산부는 카메라부에 의해 촬영되는 각각의 사용자들의 4D아바타를 생성하여 표시하여 줄 수 있다. 즉, 상기 사용자 아바타 출력부는, 복수의 사용자가 있는 경우, 각 사용자별로 움직임 정보를 추정하여 각각의 사용자에 대한 사용자 아바타 모델을 출력할 수 있다.
상기한 실시예는 재활운동을 위주로 설명하였지만, 본 발명은 게임 등 다른 응용분야에 적용될 수도 있다.
상기에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (13)

  1. 사용자의 움직임 정보를 포함하는 4D 아바타를 생성하고상기 4D 아바타의 동작을 화면에 출력하는 사용자 아바타 출력부;
    상기 사용자에게 특정 동작의 수행을 가이드하는 가이드 아바타를 출력하는 가이드 아바타 출력부;
    상기 사용자 아바타와 상기 가이드 아바타의 동작을 비교하여 상기 사용자의 동작을 판단하는 사용자 동작 판단부를 포함하는 4D 아바타를 이용한 동작 가이드 장치.
  2. 제1항에 있어서,
    상기 사용자 아바타 출력부는,
    사용자의 3차원 모델 움직임 동작 정보를 포함하는 4D 아바타를 생성하고,
    사용자의 관절 정보를 이용하여 프레임별 상기 관절 정보의 변화량을 통해 상기 사용자의 움직임 정보를 추정하는 것을 특징으로 하는 4D 아바타를 이용한 동작 가이드 장치.
  3. 제1항에 있어서,
    상기 가이드 아바타 출력부는,
    사용자의 의료 정보를 기초로 사용자 맞춤형 재활 운동 동작을 가이드하는 가이드 아바타를 출력하는, 4D 아바타를 이용한 동작 가이드 장치.
  4. 제3항에 있어서,
    상기 사용자 동작 판단부는,
    상기 사용자 아바타의 동작을 분석 또는 예측하여 상기 사용자 아바타가 상기 가이드 아바타의 동작에 따라 일치하는 동작을 수행했는지 여부를 판단하는, 4D 아바타를 이용한 동작 가이드 장치.
  5. 제3항에 있어서,
    상기 사용자 동작 판단부는 사용자의 동작을 판단하여 사용자에게 다음 단계로 진행 또는 사용자가 동작을 재수행하도록 하는 4D 아바타를 이용한 동작 가이드 장치.
  6. 제5항에 있어서,
    사용자 아바타 동작을 판단한 데이터를 누적적으로 기록하는 데이터베이스부를 더 포함하고,
    상기 사용자동작판단부는 상기 데이터베이스부를 검색하여 상기 사용자의 특정 동작에 대한 호전도를 사용자에게 피드백하는 4D 아바타를 이용한 동작 가이드 장치.
  7. 제1항에 있어서,
    상기 사용자 아바타 출력부는,
    복수의 사용자가 있는 경우, 각 사용자별로 움직임 정보를 추정하여 각각의 사용자에 대한 사용자 아바타 모델을 출력하는, 4D 아바타를 이용한 동작 가이드 장치.
  8. 제1항에 있어서,
    상기 사용자 동작 판단부는 프레임별로 상기 사용자아바타의 움직임을 상기 가이드아바타의 움직임과 비교하여 근접도를 평가하고,
    상기 근접도는 신체부위별로 평가부위가 지정되고, 상기 평가부위의 오차크기 및 상기 평가부위에 부여된 가중치를 이용하여 계산되는 것을 특징으로 하는 4D 아바타를 이용한 동작 가이드 장치.
  9. 제1항에 있어서,
    상기 사용자동작판단부는 사용자정보에 기초하여 상기 가이드아바타의 변형정도를 판단하여 가이드아바타출력부를 통해 가이드아바타의 변형을 적응적으로 표시하도록 하는 것을 특징으로 하는 4D 아바타를 이용한 동작 가이드 장치.
  10. 제1항에 있어서,
    상기 사용자동작판단부는 훈련동작에 따라 사용자아바타출력부를 통해 사용자아바타를 회전시켜 사용자아바타출력부에 표시하도록 하는 것을 특징으로 하는 4D 아바타를 이용한 동작 가이드 장치.
  11. 사용자의 움직임 정보를 포함하는 4D 아바타를 생성하고 상기 4D 아바타의 동작을 화면에 출력하는 단계;
    상기 사용자에게 특정 동작의 수행을 가이드하는 가이드 아바타를 출력하는 단계;
    상기 사용자 아바타와 상기 가이드 아바타의 동작을 비교하여 상기 사용자의 동작을 판단하는 단계를 포함하는 4D 아바타를 이용한 동작 가이드 방법.
  12. 제11항에 있어서,
    상기 4D 아바타의 동작을 화면에 출력하는 단계는,
    사용자의 3차원 모델 움직임 동작 정보를 포함하는 4D 아바타를 생성하는 단계;
    사용자의 관절 정보를 이용하여 프레임별 상기 관절 정보의 변화량을 통해 상기 사용자의 움직임 정보를 추정하는 단계를 더 포함하는 것을 특징으로 하는 4D 아바타를 이용한 동작 가이드 방법.
  13. 제11항에 있어서,
    상기 사용자의 동작을 판단하는 단계는,
    상기 가이드아바타와 사용자아바타를 비교 및 분석하여
    상기 가이드아바타와 사용자아바타의 움직임이 설정범위 이내이면 다음 훈련동작을 제시하고,
    상기 가이드아바타와 사용자아바타의 움직임이 설정범위를 벗어나면 강조가이드를 표시하여 주는 단계를 더 포함하는 것을 특징으로 하는 4D 아바타를 이용한 재활운동방법.
PCT/KR2018/016186 2018-08-23 2018-12-19 4d 아바타를 이용한 동작가이드장치 및 방법 WO2020040363A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0098837 2018-08-23
KR1020180098837A KR102125748B1 (ko) 2018-08-23 2018-08-23 4d 아바타를 이용한 동작가이드장치 및 방법

Publications (1)

Publication Number Publication Date
WO2020040363A1 true WO2020040363A1 (ko) 2020-02-27

Family

ID=69592677

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/016186 WO2020040363A1 (ko) 2018-08-23 2018-12-19 4d 아바타를 이용한 동작가이드장치 및 방법

Country Status (2)

Country Link
KR (1) KR102125748B1 (ko)
WO (1) WO2020040363A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102567029B1 (ko) * 2020-08-05 2023-08-16 주식회사 디랙스 웨이트 운동 기기 및 방법
KR102241414B1 (ko) * 2020-10-23 2021-04-19 아이디어링크 주식회사 머신 러닝 모델을 이용한 특정 움직임에 대한 피드백을 제공하는 전자 장치 및 그 동작 방법
KR102294261B1 (ko) 2020-12-22 2021-08-26 정재훈 근력 운동의 코칭을 위한 운동 동작 평가 시스템
KR102556863B1 (ko) * 2020-12-31 2023-07-20 동국대학교 산학협력단 사용자 맞춤형 운동 훈련 방법 및 시스템
KR102432250B1 (ko) 2021-12-16 2022-08-12 가천대학교 산학협력단 케어용 챗봇을 제공하는 시스템
KR102429627B1 (ko) 2021-12-16 2022-08-08 가천대학교 산학협력단 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템
WO2023128512A1 (ko) * 2021-12-28 2023-07-06 주식회사 디랙스 Ai운동가이드장치 및 방법
KR102676846B1 (ko) * 2021-12-31 2024-06-20 경북대학교 산학협력단 메타버스 환경에서 돔 디스플레이 운영 방법
KR20230134264A (ko) 2022-03-14 2023-09-21 주식회사 초메디신 인공지능 아바타 기반의 예비문진 및 비대면 진료 매칭서비스 제공방법
KR102575387B1 (ko) * 2023-01-09 2023-09-06 (주)휴먼아이티솔루션 관절 가동 범위 인식을 기반으로 캐릭터를 구현 및 운동 컨텐츠를 제공하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100784835B1 (ko) * 2006-10-27 2007-12-14 에스케이씨앤씨 주식회사 아바타를 이용한 체형 관리 서비스 시스템 및 그 방법
KR101234006B1 (ko) * 2011-02-25 2013-02-18 디게이트 주식회사 네츄럴 인터렉션 기반 건강 및 재활 기능성 게임시스템
KR20130100816A (ko) * 2012-02-01 2013-09-12 (주)대양이티엔씨 센서 정보와 헬스 아바타를 이용한 운동 관리 시스템
KR20140068403A (ko) * 2012-11-28 2014-06-09 주식회사 솔미테크 근력 트레이닝 가이드 시스템
KR101784410B1 (ko) * 2016-11-15 2017-11-06 단국대학교 천안캠퍼스 산학협력단 운동 자세 인식 방법 및 이를 적용하는 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100784835B1 (ko) * 2006-10-27 2007-12-14 에스케이씨앤씨 주식회사 아바타를 이용한 체형 관리 서비스 시스템 및 그 방법
KR101234006B1 (ko) * 2011-02-25 2013-02-18 디게이트 주식회사 네츄럴 인터렉션 기반 건강 및 재활 기능성 게임시스템
KR20130100816A (ko) * 2012-02-01 2013-09-12 (주)대양이티엔씨 센서 정보와 헬스 아바타를 이용한 운동 관리 시스템
KR20140068403A (ko) * 2012-11-28 2014-06-09 주식회사 솔미테크 근력 트레이닝 가이드 시스템
KR101784410B1 (ko) * 2016-11-15 2017-11-06 단국대학교 천안캠퍼스 산학협력단 운동 자세 인식 방법 및 이를 적용하는 시스템

Also Published As

Publication number Publication date
KR102125748B1 (ko) 2020-06-23
KR20200022776A (ko) 2020-03-04

Similar Documents

Publication Publication Date Title
WO2020040363A1 (ko) 4d 아바타를 이용한 동작가이드장치 및 방법
US11069144B2 (en) Systems and methods for augmented reality body movement guidance and measurement
KR100772497B1 (ko) 골프 클리닉 시스템 및 그것의 운용방법
JP6045139B2 (ja) 映像生成装置、映像生成方法及びプログラム
US8213678B2 (en) System and method of analyzing the movement of a user
EP2203896B1 (en) Method and system for selecting the viewing configuration of a rendered figure
JP2009542397A (ja) 健康管理装置
WO2017217725A1 (ko) 사용자 인식 컨텐츠 제공 시스템 및 그 동작방법
JP7008342B2 (ja) 運動評価システム
KR101446653B1 (ko) 네츄럴 인터렉션 기반의 건강 및 재활 게임 장치 및 방법
JP7492722B2 (ja) 運動評価システム
WO2022050489A1 (ko) 온라인 그룹을 기반으로 하는 홈 트레이닝 제공 시스템 및 그 방법
KR20180080848A (ko) 게임엔진으로 구현된 가상현실을 이용한 재활치료시스템 및 방법
WO2022092589A1 (ko) 인공지능 기반의 운동 코칭 장치
WO2014104463A1 (ko) 네츄럴 인터렉션 기반의 건강 및 재활 장치
JP2016077346A (ja) 運動支援システム、運動支援方法、及び運動支援プログラム
WO2018038449A1 (ko) 훈련 컨텐츠의 난이도를 설정하는 방법 및 이를 운용하는 전자 장치
JP2023162333A (ja) トレーニング機器の制御方法
JP2018187284A (ja) 運動状態診断システムおよび運動状態診断プログラム
WO2016204334A1 (ko) 실감형 인터랙티브 콘텐츠에 기반한 운동시스템 및 그 방법
US20240198177A1 (en) Exercise instruction and feedback systems and methods
WO2022145563A1 (ko) 사용자 맞춤형 운동 훈련 방법 및 시스템
JP2021068069A (ja) 無人トレーニングの提供方法
CN111860213A (zh) 增强现实系统及其控制方法
WO2012128572A2 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18930945

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18930945

Country of ref document: EP

Kind code of ref document: A1