WO2023077660A1 - 基于混合现实的太极拳训练方法及系统、设备及存储介质 - Google Patents

基于混合现实的太极拳训练方法及系统、设备及存储介质 Download PDF

Info

Publication number
WO2023077660A1
WO2023077660A1 PCT/CN2021/143915 CN2021143915W WO2023077660A1 WO 2023077660 A1 WO2023077660 A1 WO 2023077660A1 CN 2021143915 W CN2021143915 W CN 2021143915W WO 2023077660 A1 WO2023077660 A1 WO 2023077660A1
Authority
WO
WIPO (PCT)
Prior art keywords
tai chi
animation
training
holographic
tai
Prior art date
Application number
PCT/CN2021/143915
Other languages
English (en)
French (fr)
Inventor
杨珊莉
王浩宇
吴剑煌
Original Assignee
福建中医药大学附属康复医院
中国科学院深圳先进技术研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 福建中医药大学附属康复医院, 中国科学院深圳先进技术研究院 filed Critical 福建中医药大学附属康复医院
Publication of WO2023077660A1 publication Critical patent/WO2023077660A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Definitions

  • the present application relates to the technical field of sports and health, in particular to a Tai Chi training method and system, equipment and storage medium.
  • the present application provides a Tai Chi training method and system, equipment and storage medium based on mixed reality.
  • the present application provides a Tai Chi training method based on mixed reality, and the Tai Chi training method includes:
  • the acquisition of preset holographic Tai Chi animation includes:
  • the standard skeleton motion information is matched with the virtual motion information to obtain the preset holographic Tai Chi animation.
  • the holographic images of the pre-recorded standard Tai Chi movements include:
  • each camera device and adjacent camera devices are the same.
  • the playing of the preset holographic Tai Chi animation includes:
  • a gyroscope and/or an inertial sensor on the hybrid display device to detect the position and orientation of the user's head
  • the preset holographic Tai Chi animation is rendered on the hybrid display device based on the position and orientation of the user's head.
  • the Tai Chi training method also includes:
  • the Tai Chi training animation and the preset holographic Tai Chi animation are fused and displayed on the hybrid display device.
  • the matching of the preset holographic Tai Chi animation and the Tai Chi training animation includes:
  • the preset holographic Tai Chi animation is scaled and/or moved, so that the preset holographic Tai Chi animation is consistent with the Tai Chi animation. Punch training animations for matching and overlay rendering.
  • the acquisition of the Tai Chi standard degree of the user includes:
  • the Tai Chi training method also includes:
  • the present application also provides a Tai Chi training system based on mixed reality, the Tai Chi training system includes a mixed reality device, several somatosensory cameras and a processing terminal; wherein,
  • the processing terminal is used to obtain a preset holographic Tai Chi animation, and transmit the preset holographic Tai Chi animation to the mixed reality device;
  • the mixed reality device is used to play the preset holographic Tai Chi animation
  • the plurality of somatosensory cameras are used to collect the user's Tai Chi training animation, and transmit the Tai Chi training animation to the processing terminal;
  • the processing terminal is further configured to match the preset holographic Tai Chi animation with the Tai Chi training animation, acquire and output the user's Tai Chi standard level.
  • the present application also provides a terminal device, where the terminal device includes a memory and a processor, wherein the memory is coupled to the processor;
  • the memory is used for storing program data
  • the processor is used for executing the program data to realize the above-mentioned Tai Chi training method.
  • the present application also provides a computer storage medium, which is used to store program data, and when the program data is executed by a processor, it is used to realize the above-mentioned Tai Chi training method.
  • the Tai Chi training system obtains the preset holographic Tai Chi animation; plays the preset holographic Tai Chi animation, and collects the user's Tai Chi training animation; matches the preset holographic Tai Chi animation and the Tai Chi training animation , to obtain and output the user's Tai Chi standard level.
  • the Tai Chi training method of the present application provides real-time action guidance for the user's movement by matching the preset holographic Tai Chi animation with the user's real-time Tai Chi training animation, and provides good training for the user. Auxiliary and guiding significance.
  • Fig. 1 is the structural representation of the Tai Chi training system that the application provides;
  • Fig. 2 is the schematic flow chart of the Tai Chi training system provided by the application
  • Fig. 3 is a schematic flow sheet of an embodiment of the Tai Chi training method provided by the application.
  • Fig. 4 is a schematic diagram of the full-time Tai Chi holographic projection guidance provided by the application that moves with the user's viewing angle;
  • Fig. 5 is a schematic diagram of the standard Tai Chi holographic projection fusion display and comparison guidance provided by this application;
  • FIG. 6 is a schematic structural diagram of an embodiment of a terminal device provided by the present application.
  • Fig. 7 is a schematic structural diagram of an embodiment of a computer storage medium provided by the present application.
  • Figure 1 is a schematic structural diagram of the Tai Chi training system provided by this application
  • Figure 2 is a Schematic diagram of the flow of the Tai Chi training system provided.
  • the Tai Chi training system 100 of the embodiment of the present application includes a mixed reality device 11 , several somatosensory cameras 12 , a processing terminal 13 and a vital signal collection device 14 .
  • the Tai Chi training system 100 composed of the above equipment can be used to implement the Tai Chi training method provided in this application.
  • the Tai Chi training system 100 in FIG. 1 is introduced in conjunction with FIG. 2 .
  • the somatosensory camera 12 may be a motion capture device as shown in FIG. 2
  • the processing terminal 13 may be a computing host as shown in FIG. 2 .
  • the Tai Chi training system 100 includes two major parts, a hardware system and a software system.
  • the hardware system includes head-mounted mixed reality devices, motion capture devices, computer hosts, and various vital sign monitoring devices.
  • the head-mounted mixed reality device is used as a display terminal to show patients all the information in the Tai Chi training process.
  • the motion capture device is used to identify and capture the user's actions; the host computer is used for high-performance computing processing; the vital sign signal monitoring device is used to collect the user's vital sign information in real time.
  • the software system includes a mixed reality real-time rendering module, an action recognition and 3D character matching module, a vital sign display module, and a training data management module.
  • the mixed reality real-time rendering module mainly keeps the 3D Tai Chi master in front of the user's field of vision automatically based on the patient's current body position and orientation;
  • the motion recognition and 3D character matching module mainly uses machine learning algorithms and the collaboration of multiple motion capture devices Work, correctly identify the user's actions and map them on the virtual character, and match them to the user;
  • the vital sign display module is mainly used to render the user's real-time vital sign data such as heart rate;
  • the training data management module is mainly used to manage User training data.
  • the sports involved in the embodiments of the present application include sports in multiple fields and directions, for example, dance sports, fitness sports, life sports, and the like.
  • the Tai Chi exercise is introduced as a specific embodiment, therefore, the applicable exercise types will not be listed one by one in the subsequent description.
  • FIG. 3 is a schematic flowchart of an embodiment of the Tai Chi training method provided by the present application.
  • the Tai Chi training method of the embodiment of the present application specifically includes the following steps:
  • Step S31 Obtain a preset holographic Tai Chi animation.
  • the user needs to build the above-mentioned Tai Chi training system first, including building a hardware system and a software system.
  • a somatosensory camera or other motion capture device it is necessary to place a somatosensory camera or other motion capture device at intervals of 120° in the training area of the user, and each camera or other capture device is facing the user in the training area.
  • at least three somatosensory cameras are required in the Tai Chi training system, and the distance and interval angle between each camera device and adjacent camera devices are the same.
  • the interval angle should be set to 120°; when the number of somatosensory cameras is four, the interval angle should be set to 90°.
  • three somatosensory cameras are taken as an example for illustration.
  • the user wears a wearable vital signal acquisition device and puts on mixed reality glasses or a helmet.
  • the computing host, the mixed reality device and the vital signal acquisition device are all connected through wireless signals, such as wireless network or bluetooth.
  • the Tai Chi training system acquires pre-stored holographic Tai Chi animations, such as holographic images of holographic Tai Chi masters.
  • the holographic Tai Chi animation needs to be recorded and produced in advance when the user uses the Tai Chi training system.
  • the production process is as follows:
  • the average value of the skeleton positions in the skeleton information extracted by three somatosensory cameras can be used to obtain the final skeleton information, or the skeleton position extracted by a certain somatosensory camera can be used as the initial value, for example, the other two
  • the skeleton position extracted by the first somatosensory camera is used to verify and adjust the initial value.
  • Step S32 Play the preset holographic Tai Chi animation, and collect the user's Tai Chi training animation.
  • the mixed reality glasses or the mixed reality helmet internally render the animation of a virtual three-dimensional Tai Chi master exercising Tai Chi, forming a holographic projection of the virtual Tai Chi master.
  • the Tai Chi training system detects the position and orientation of the user's head according to the gyroscope and/or inertial sensor on the hybrid display helmet, and then renders the holographic image of the three-dimensional Tai Chi master to the orientation of the user's head, allowing the user to For any Tai Chi moves, such as turning around, you can see the projection of the holographic Tai Chi master in front of your eyes as an action guide. As shown in Figure 4, keep the holographic projection of the Tai Chi master within the user's visual range.
  • the Tai Chi training system can also use the somatosensory camera in the system to collect the user's Tai Chi training animation in real time.
  • the user's Tai Chi training animation and the preset holographic Tai Chi animation can be fused and displayed, so that the user can view the gap between his own Tai Chi movements and standard Tai Chi movements in real time, as well as real-time action comparison guidance, as shown in the figure
  • the Tai Chi training animation can be superimposed and displayed with the preset holographic Tai Chi animation to make the action comparison effect more obvious;
  • the Tai Chi training animation can be matched with the preset holographic Tai Chi animation to Obtain the user's Tai Chi standard level.
  • Step S33 Match the preset holographic Tai Chi animation and Tai Chi training animation to acquire and output the user's Tai Chi standard level.
  • the Taijiquan training system realizes real-time assessment of the standard degree of Taijiquan movements by matching the preset holographic Taijiquan animation and the Taijiquan training animation.
  • the Tai Chi training system pre-stores the holographic Tai Chi animation, it can directly extract the standard skeleton movement information of the standard Tai Chi.
  • three somatosensory cameras extract the motion information of the user's training skeleton, and map the standard Tai Chi master's movements with the user's motion skeleton.
  • the Taijiquan training system can move the holographic image of a standard Taijiquan master performing Taijiquan, and detect the user's skeleton data according to the somatosensory data to perform height scaling, so that the virtual Taijiquan master can match the user's real position and overlay rendering.
  • the Taijiquan training system quantitatively analyzes the standard degree of Taijiquan of the user according to the position offset of different joint nodes (shoulder joints, knee joints, wrist joints, etc.) on the user's skeleton and the corresponding joints of the standard Taijiquan master.
  • User training provides data guidance.
  • the Tai Chi training system can also monitor the vital signs of the user in real time.
  • the heartbeat sensor can monitor the user's pulse in real time, and transmit the data to the mixed reality device through wireless signal transmission, and display the user's real-time heart rate in the visible area of the mixed reality device. Warning.
  • the Tai Chi training system can also realize the storage and replay of the user's training data, as well as the generation of Tai Chi evaluation and training reports.
  • the Tai Chi movement skeleton data and various vital signs data generated by the user during the entire training process will be recorded and saved in the mixed reality device, and synchronized on the computer through wireless signal transmission.
  • the user can watch the training record on the hybrid display device at any time, and the training record is played in chronological order, and the user can see a holographic projection of himself performing Tai Chi and view real-time vital sign data.
  • the Tai Chi training system automatically exports Tai Chi evaluation and training reports in text format, and evaluates the user's Tai Chi training results from the accuracy of Tai Chi movements and various physiological parameters.
  • the Taijiquan training system in the embodiment of the present application can provide users with full-time and whole-process holographic projection guidance of Taijiquan masters.
  • the holographic projection of standard Tai Chi movements can be matched to the user, and the user can observe the deviation between their limb position and the limb position of the holographic projection during training
  • the detection gives training warnings and suggestions; using mixed reality equipment, users can not only see the virtual objects of holographic projection, but also see the real world.
  • the Tai Chi training method of this application is safer Higher, can also effectively reduce the user's dizziness.
  • the Tai Chi training system acquires the preset holographic Tai Chi animation; plays the preset holographic Tai Chi animation, and collects the user's Tai Chi training animation; matches the preset holographic Tai Chi animation with the Tai Chi training animation , to obtain and output the user's Tai Chi standard level.
  • the Tai Chi training method of the present application provides real-time action guidance for the user's movement by matching the preset holographic Tai Chi animation with the user's real-time Tai Chi training animation, and provides good training for the user. Auxiliary and guiding significance.
  • the writing order of each step does not mean a strict execution order and constitutes any limitation on the implementation process.
  • the specific execution order of each step should be based on its function and possible
  • the inner logic is OK.
  • FIG. 6 is a schematic structural diagram of another embodiment of the terminal device provided in the present application.
  • the terminal device 400 in this embodiment of the present application includes a memory 41 and a processor 42, where the memory 41 and the processor 42 are coupled.
  • the memory 41 is used for storing program data
  • the processor 42 is used for executing the program data to realize the Tai Chi training method described in the above-mentioned embodiments.
  • the processor 42 may also be referred to as a CPU (Central Processing Unit, central processing unit).
  • the processor 42 may be an integrated circuit chip with signal processing capability.
  • the processor 42 can also be a general-purpose processor, a digital signal processor (DSP, Digital Signal Process), an application specific integrated circuit (ASIC, Application Specific Integrated Circuit), a field programmable gate array (FPGA, Field Programmable Gate Array) or other possible Program logic devices, discrete gate or transistor logic devices, discrete hardware components.
  • DSP digital signal processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • Program logic devices discrete gate or transistor logic devices, discrete hardware components.
  • the general purpose processor can be a microprocessor or the processor 42 can be any conventional processor or the like.
  • the present application also provides a computer storage medium.
  • the computer storage medium 500 is used to store program data 51.
  • the program data 51 is executed by the processor, it is used to realize Tai Chi training as described in the above-mentioned embodiment. method.
  • the present application also provides a computer program product, wherein the above-mentioned computer program product includes a computer program, and the above-mentioned computer program is operable to cause a computer to execute the Tai Chi training method as described in the embodiment of the present application.
  • the computer program product may be a software installation package.
  • the Tai Chi training method described in the above embodiments of the present application when implemented as a software function unit and sold or used as an independent product, can be stored in a device, such as a computer-readable storage medium.
  • a device such as a computer-readable storage medium.
  • the technical solution of the present application is essentially or part of the contribution to the prior art or all or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium , including several instructions to make a computer device (which may be a personal computer, server, or network device, etc.) or a processor (processor) execute all or part of the steps of the methods described in various embodiments of the present invention.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), magnetic disk or optical disc, etc., which can store program codes. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种太极拳训练方法及其系统、设备以及计算机存储介质。该太极拳训练方法包括：获取预设全息太极拳动画（S31）；播放预设全息太极拳动画，以及采集用户的太极拳训练动画（S32）；将预设全息太极拳动画以及太极拳训练动画进行匹配，获取并输出所述用户的太极拳标准程度（S33）。上述太极拳训练方法通过预设全息太极拳动画与用户实时的太极拳训练动画进行匹配的方式，对用户的太极拳运动进行实时的动作指导，对用户的太极拳运动训练提供很好的辅助作用和指导意义。

Description

基于混合现实的太极拳训练方法及系统、设备及存储介质 技术领域
本申请涉及运动与健康技术领域，特别是涉及一种太极拳训练方法及系统、设备及存储介质。
背景技术
首先，随着计算机技术的发展以及显示硬件和计算芯片硬件的快速迭代升级，虚拟现实、增强显示和混合显示技术高速发展，同时此类技术依托的硬件设备成本也逐渐降低至普通消费者能够承担的地步。依托与此类设备的内容也呈指数式爆发增长，同时其开发难度也大大降低。
其次，随着人工智能技术的发展，通过视觉图像识别人体并提取骨骼，进而计算人体各个关节位置，从而进行动作识别的方法已经趋于成熟和稳定，此类体感设备也作为游戏外设逐渐走进了千家万户。
然而，目前对于运动训练领域，还停留在通过电视机或者屏幕播放，用户或者患者按照屏幕播放内容进行学习，没有专业老师现场指导，无法确保动作的准确性，同样缺少数据监测，无法客观评价训练成果。
发明内容
本申请提供了一种基于混合现实的太极拳训练方法及系统、设备及存储介质。
本申请提供了一种基于混合现实的太极拳训练方法，所述太极拳训练方法包括：
获取预设全息太极拳动画；
播放所述预设全息太极拳动画，以及采集用户的太极拳训练动画；
将所述预设全息太极拳动画以及所述太极拳训练动画进行匹配，获取并输 出所述用户的太极拳标准程度。
其中，所述获取预设全息太极拳动画，包括：
预先录制标准太极拳动作的全息影像；
基于所述全息影像提取标准骨架运动信息；
将预设三维建模与骨骼动画进行绑定，建立虚拟运动形象；
将所述标准骨架运动信息与所述虚拟运动信息进行匹配，得到所述预设全息太极拳动画。
其中，所述预先录制标准太极拳动作的全息影像，包括：
采用至少三台摄像设备采集标准太极拳动作的动作视频；
分别从每台摄像设备的动作视频中识别骨架运动信息；
利用所述至少三台摄像设备获取的骨架运动信息交叉验证，得到所述标准骨架运动信息；
基于所述标准骨架运动信息构建所述标准太极拳动作的全息影像；
其中，所述每台摄像设备与相邻摄像设备的距离和间隔角度相同。
其中，所述播放所述预设全息太极拳动画，包括：
采用混合显示设备上的陀螺仪和/或惯性传感器检测所述用户头部的位置以及朝向；
基于所述用户头部的位置以及朝向在所述混合显示设备中渲染所述预设全息太极拳动画。
其中，所述采集用户的太极拳训练动画之后，所述太极拳训练方法还包括：
将所述太极拳训练动画和所述预设全息太极拳动画在所述混合显示设备中融合显示。
其中，所述将所述预设全息太极拳动画以及所述太极拳训练动画进行匹配，包括：
基于所述太极拳训练动画提取训练骨架运动信息；
基于所述预设全息太极拳动画提取标准骨架运动信息；
通过将所述标准骨架运动信息对所述训练骨架运动信息进行映射的方式，对所述预设全息太极拳动画进行缩放和/或移动，以使所述预设全息太极拳动画与所述太极拳训练动画进行匹配和重叠渲染。
其中，所述获取所述用户的太极拳标准程度，包括：
提取所述太极拳训练动画中的第一目标节点位置；
提取所述预设全息太极拳动画中的第二目标节点位置；
计算所述第一目标节点位置和所述第二目标节点位置的位置偏移量；
基于所述位置偏移量，确定所述用户的太极拳标准程度。
其中，所述太极拳训练方法还包括：
采集并显示所述用户在运动过程中的生命体征信息；
判断所述生命体征信息是否处于预设体征范围内；
若否，输出警示信息。
本申请还提供了一种基于混合现实的太极拳训练系统，所述太极拳训练系统包括混合现实设备、若干体感摄像头以及处理终端；其中，
所述处理终端，用于获取预设全息太极拳动画，将所述预设全息太极拳动画传输至所述混合现实设备；
所述混合现实设备，用于播放所述预设全息太极拳动画；
所述若干体感摄像头，用于采集用户的太极拳训练动画，将所述太极拳训练动画传输至所述处理终端；
所述处理终端，还用于将所述预设全息太极拳动画以及所述太极拳训练动画进行匹配，获取并输出所述用户的太极拳标准程度。
本申请还提供了一种终端设备，所述终端设备包括存储器和处理器，其中，所述存储器与所述处理器耦接；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的太极拳训练方法。
本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现上述的太极拳训练方法。
本申请的有益效果是：太极拳训练系统获取预设全息太极拳动画；播放预设全息太极拳动画，以及采集用户的太极拳训练动画；将预设全息太极拳动画以及太极拳训练动画进行匹配，获取并输出所述用户的太极拳标准程度。通过上述方式，本申请的太极拳训练方法通过预设全息太极拳动画与用户实时的太极拳训练动画进行匹配的方式，对用户的运动进行实时的动作指导，对用户的运动训练提供很好的辅助作用和指导意义。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的太极拳训练系统的结构示意图；
图2是本申请提供的太极拳训练系统的流程示意图；
图3是本申请提供的太极拳训练方法一实施例的流程示意图；
图4是本申请提供的随用户视角移动的全时太极拳全息投影指导的示意图；
图5是本申请提供的标准太极拳全息投影融合显示和比对指导的示意图；
图6是本申请提供的终端设备一实施例的结构示意图；
图7是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
随着科学技术的发展和社会经济水平的提高，混合现实设备出现并且以亲民的价格走入了千家万户的生活，各种具备身体数据监测功能的数字手表也成为人们生活中必备的消费品。基于混合现实设备和外置的人体生命体征传感器，通过蓝牙或者无线网络实现数据互联，并构建太极拳训练评估系统，可以有效地解决传统太极拳运动训练过程中缺乏专业指导，缺乏体征监测，缺乏效果评估的痛点，为健康人强身健体和患者重拾健康提供有意义的强化和指导。
再次，随着芯片技术的发展，各种生命体征的检测设备逐渐小型化和便携化，具备心肺检测功能的可穿戴式设备已经成为广大群众日常消费品。
最后，网络以及蓝牙等通讯方法的普及，使得各种不同类型的设备可以通过无线网络和蓝牙等方式进行数据传输和互联。
对此，本申请实施例提供了一种基于混合现实技术的太极拳训练系统，具体请参阅图1和图2，图1是本申请提供的太极拳训练系统的结构示意图，图2是本申请提供的太极拳训练系统的流程示意图。
如图1所示，本申请实施例的太极拳训练系统100包括混合现实设备11、若干体感摄像头12、处理终端13以及生命信号采集设备14。上述设备组成的太极拳训练系统100可以用于实现本申请提供的太极拳训练方法。
具体地，结合图2对图1的太极拳训练系统100进行介绍。体感摄像头12可以为图2所示的运动捕捉设备，处理终端13可以为图2所示的计算主机。其中，太极拳训练系统100包括硬件系统和软件系统两大部分。
硬件系统包括头戴式混合现实设备、动作捕捉设备、电脑主机、各种生命信号体征监测设备。头戴式混合现实设备作为显示终端，向患者展现太极拳训练过程中的所有信息。动作捕捉设备用于识别和捕捉用户的动作；电脑主机用于高性能计算的处理；生命体征信号监测设备用于实时采集用户的生命体征信息。
软件系统包括混合现实实时渲染模块，动作识别及三维角色匹配模块，生命体征显示模块，训练数据管理模块。混合现实实时渲染模块主要根据患者当前的体位和朝向，自动将三维的太极拳大师时刻保持在用户的视野前方；动作识别及三维角色匹配模块主要通过机器学习算法，通过多台动作捕捉设备的协同工作，正确识别用户的动作并将其映射在虚拟的角色上，并将其匹配在用户身上；生命体征显示模块主要用于渲染心率等用户实时的生命体征数据；训练数据管理模块主要用于管理用户的训练数据。
需要说明的是，本申请实施例所涉及的运动包括多个领域以及多个方向的运动，例如，舞蹈运动、健身运动、生命运动等。在本申请对于以下实施例的介绍中，以太极拳运动为一种具体实施例进行介绍，因此，在后续描述中对于可以适用的运动类型不一一列举。
下面继续介绍适用于上述太极拳训练系统的太极拳训练方法，具体请参阅图3，图3是本申请提供的太极拳训练方法一实施例的流程示意图。
具体而言，如图3所示，本申请实施例的太极拳训练方法具体包括以下步骤：
步骤S31：获取预设全息太极拳动画。
在本申请实施例中，用户需要先搭建上述太极拳训练系统，包括搭建硬件系统和软件系统。
具体地，需要分别在用户的训练区域每间隔120°放置一台体感摄像机或者其他运动捕捉设备，每台摄像机或其他捕捉设备均正对着训练区域中的用户。需要说明的是，太极拳训练系统中的体感摄像机需要至少三台，且每台摄像设备与相邻摄像设备的距离和间隔角度相同。例如，当体感摄像机的数量为三台 时，则间隔角度应当设置为120°；当体感摄像机的数量为四台时，则间隔角度应当设置为90°。后面的描述中，以三台体感摄像机为例进行说明。
然后，将三台体感摄像机连接在同一台计算主机上。用户佩戴可穿戴式生命信号采集设备，并戴上混合现实眼镜或头盔。计算主机、混合现实设备和生命信号采集设备均通过无线信号进行连接，例如无线网络或者蓝牙等。
太极拳训练系统获取预先存储的全息太极拳动画，例如全息太极拳宗师全息影像。该全息太极拳动画需要在用户使用该太极拳训练系统提前录制制作，制作过程具体如下：
邀请太极拳师傅站在三台体感摄像机对准的中心处，启动系统进行全息影像的录制。三台体感摄像机从不同的方位和角度识别太极拳师傅的动作并提取骨架，由于三台体感摄像机的识别结果可以交叉验证，因此可以大大提供太极拳所有招式的识别率，包括含有转身的招式。提取到太极拳师傅的之后，我们将太极拳的不同招式的骨架运动信息保存作为标准的招式指导数据库。然后通过三维建模和骨骼动画绑定，建立虚拟的太极拳师傅形象，并将招式骨架运动信息绑定在虚拟的太极拳师傅模型上，这样就达到了施展全套太极拳的虚拟太极拳师傅动画。
其中，对于识别结果的交叉验证，可以采用三台体感摄像机提取的骨架信息中的骨架位置均值得到最终确定的骨架信息，也可以将某一台体感摄像机提取的骨架位置作为初始值，例如其他两台体感摄像机提取的骨架位置对该初始值进行验证和调整等。
下面，即可根据提前录制的全息太极拳动画对用户进行实时的太极拳指导训练。
步骤S32：播放预设全息太极拳动画，以及采集用户的太极拳训练动画。
在本申请实施例中，太极拳训练系统启动之后，混合现实眼镜或混合现实头盔内部渲染虚拟的三维太极拳师施展太极拳的动画，形成虚拟的太极拳师全息投影。
进一步地，由于在运动过程中，用户的位置和朝向都在不同变化，因此需 要结合用户的实时位置和实时朝向对虚拟的太极拳师傅全息投影进行位置上的调整。
具体地，太极拳训练系统根据混合显示头盔上的陀螺仪和/或惯性传感器检测用户头部的位置以及朝向，然后将三维太极拳师的全息影像渲染到用户头部的朝向，使用户无论在施展太极拳的何种招式，例如包括转身的招式时，均可以在眼前看到全息太极拳师的投影作为动作指导，如图4所示，保持太极拳师傅的全息投影在用户的可视范围内。
太极拳训练系统除了可以展示太极拳师傅的全息投影外，还可以利用系统中的体感摄像头实时采集用户的太极拳训练动画。一方面可以将用户的太极拳训练动画和预设全息太极拳动画进行融合显示，使得用户可以实时查看自身太极拳动作和标准太极拳动作之间的差距，以及实时的动作比对指导，如图5所示，可以将太极拳训练动画与预设全息太极拳动画进行叠加显示，使得动作比对效果更明显；另一方面可以通过将太极拳训练动画与预设全息太极拳动画进行匹配，以获取用户的太极拳标准程度。
步骤S33：将预设全息太极拳动画以及太极拳训练动画进行匹配，获取并输出用户的太极拳标准程度。
在本申请实施例中，太极拳训练系统通过将预设全息太极拳动画以及太极拳训练动画进行匹配，实现实时的太极拳动作标准度评估。
由于太极拳训练系统预先存储全息太极拳动画，可以直接提取标准的太极拳的标准骨架运动信息。在用户进行实时的太极拳训练时，三台体感摄像机提取用户的训练骨架运动信息，并将标准的太极拳师的动作与用户的运动骨架进行映射。
具体地，太极拳训练系统可以将标准太极拳师傅施展太极拳时的全息影像进行移动，并根据体感数据检测到用户骨架数据进行身高上的缩放，使虚拟的太极拳师与用户的真实位置进行匹配和重叠渲染。这样，当用户施展太极拳时，不仅可以如步骤S32那样在视角的身体朝向的正前方看到标准太极拳师的全息投影指导，还可以看自己身上标准太极拳师打拳的投影，观察自己的肢体与全息太极拳师肢体的偏移角度，从主观上对自己的动作准确度进行评估，并通过 移动自己的肢体与全息太极拳师的对应肢体重合的方式对自己的动作进行自主纠正。
除此之外，太极拳训练系统根据用户骨架上不同关节节点(肩关节、膝关节、腕关节等)与标准太极拳师傅对应关节的位置偏移量，定量分析用户的太极拳标准程度，为用户的训练提供数据指导。
进一步地，太极拳训练系统还可以对用户的生命体征进行实时监测。
由于用户身上佩戴着可穿戴式的生命体征监测设备，以心跳监测传感器为例。心跳传感器可以实时监测用户的脉搏，并将数据通过无线信号传输手段传递到混合现实设备当中，将用户的实时心率显示在混合现实设备的可视区域，系统监测心跳数值，当超过正常范围时给出警示。
另外，当每次用户运动训练完成后，太极拳训练系统还可以实现用户训练数据的保存与重放以及太极拳评估和训练报告生成。
具体地，用户在整个训练过程中产生的太极拳运动骨架数据，以及各项生命体征数据均会进行记录并保存在混合现实设备中，并通过无线信号传输方式同步在电脑上。用户可以随时在混合显示设备中观看训练记录，该训练记录以时间顺序进行播放，用户可以看到自己施展太极拳的全息投影并查看实时的生命体征数据。
太极拳训练系统自动导出文本格式的太极拳评估和训练报告，从太极拳动作的准确度以及各种生理参数指标对用户的太极拳训练结果进行评价。
本申请实施例的太极拳训练系统可以为用户提供全时，全过程的太极拳大师全息投影指导，用户无论进行太极拳的何种动作，太极拳大师施展太极拳的全息投影都会在用户的可视范围内，避免传统训练方式下在施展某些转身动作时丢失指导；可以将标准太极拳动作的全息投影匹配到用户身上，用户在训练时观察自己的肢体位置与全息投影的肢体位置的偏差即可在主观上对自己的动作准确度有所评价，并可以通过将肢体移动与全息投影的标准重合的方式来纠正自己的动作；可以实时显示用户的心率等生命体征，并对异常数据进行检测给出训练警示和建议；采用混合现实设备，用户既可以看到全息投影的虚拟 物体，也可以看到真实世界，相对于完全沉浸式的虚拟现实头盔，本申请的太极拳训练方法安全性较高，也可以有效降低用户的晕眩感。
在本申请实施例中，太极拳训练系统获取预设全息太极拳动画；播放预设全息太极拳动画，以及采集用户的太极拳训练动画；将预设全息太极拳动画以及太极拳训练动画进行匹配，获取并输出所述用户的太极拳标准程度。通过上述方式，本申请的太极拳训练方法通过预设全息太极拳动画与用户实时的太极拳训练动画进行匹配的方式，对用户的运动进行实时的动作指导，对用户的运动训练提供很好的辅助作用和指导意义。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
为实现上述实施例的太极拳训练方法，本申请还提出了一种终端设备，具体请参阅图6，图6是本申请提供的终端设备另一实施例的结构示意图。
本申请实施例的终端设备400包括存储器41和处理器42，其中，存储器41和处理器42耦接。
存储器41用于存储程序数据，处理器42用于执行程序数据以实现上述实施例所述的太极拳训练方法。
在本实施例中，处理器42还可以称为CPU(Central Processing Unit，中央处理单元)。处理器42可能是一种集成电路芯片，具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现场可编程门阵列(FPGA，Field Programmable Gate Array)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器42也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，如图7所示，计算机存储介质500用于存储程序数据51，程序数据51在被处理器执行时，用以实现如上述实施例所述的太极拳训练方法。
本申请还提供一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如本申请实施例所述的太极拳训练方法。该计算机程序产品可以为一个软件安装包。
本申请上述实施例所述的太极拳训练方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

  1. 一种基于混合现实的太极拳训练方法，其特征在于，所述太极拳训练方法包括：
    获取预设全息太极拳动画；
    播放所述预设全息太极拳动画，以及采集用户的太极拳训练动画；
    将所述预设全息太极拳动画以及所述太极拳训练动画进行匹配，获取并输出所述用户的太极拳标准程度。
  2. 根据权利要求1所述的太极拳训练方法，其特征在于，
    所述获取预设全息太极拳动画，包括：
    预先录制标准太极拳动作的全息影像；
    基于所述全息影像提取标准骨架运动信息；
    将预设三维建模与骨骼动画进行绑定，建立虚拟运动形象；
    将所述标准骨架运动信息与所述虚拟运动信息进行匹配，得到所述预设全息太极拳动画。
  3. 根据权利要求2所述的太极拳训练方法，其特征在于，
    所述预先录制标准太极拳动作的全息影像，包括：
    采用至少三台摄像设备采集标准太极拳动作的动作视频；
    分别从每台摄像设备的动作视频中识别骨架运动信息；
    利用所述至少三台摄像设备获取的骨架运动信息交叉验证，得到所述标准骨架运动信息；
    基于所述标准骨架运动信息构建所述标准太极拳动作的全息影像；
    其中，所述每台摄像设备与相邻摄像设备的距离和间隔角度相同。
  4. 根据权利要求1所述的太极拳训练方法，其特征在于，
    所述播放所述预设全息太极拳动画，包括：
    采用混合显示设备上的陀螺仪和/或惯性传感器检测所述用户头部的位置以及朝向；
    基于所述用户头部的位置以及朝向在所述混合显示设备中渲染所述预设全息太极拳动画。
  5. 根据权利要求4所述的太极拳训练方法，其特征在于，
    所述采集用户的太极拳训练动画之后，所述太极拳训练方法还包括：
    将所述太极拳训练动画和所述预设全息太极拳动画在所述混合显示设备中融合显示。
  6. 根据权利要求1所述的太极拳训练方法，其特征在于，
    所述将所述预设全息太极拳动画以及所述太极拳训练动画进行匹配，包括：
    基于所述太极拳训练动画提取训练骨架运动信息；
    基于所述预设全息太极拳动画提取标准骨架运动信息；
    通过将所述标准骨架运动信息对所述训练骨架运动信息进行映射的方式，对所述预设全息太极拳动画进行缩放和/或移动，以使所述预设全息太极拳动画与所述太极拳训练动画进行匹配和重叠渲染。
  7. 根据权利要求1或6所述的太极拳训练方法，其特征在于，
    所述获取所述用户的太极拳标准程度，包括：
    提取所述太极拳训练动画中的第一目标节点位置；
    提取所述预设全息太极拳动画中的第二目标节点位置；
    计算所述第一目标节点位置和所述第二目标节点位置的位置偏移量；
    基于所述位置偏移量，确定所述用户的太极拳标准程度。
  8. 根据权利要求1所述的太极拳训练方法，其特征在于，
    所述太极拳训练方法还包括：
    采集并显示所述用户在运动过程中的生命体征信息；
    判断所述生命体征信息是否处于预设体征范围内；
    若否，输出警示信息。
  9. 一种基于混合现实的太极拳训练系统，其特征在于，所述太极拳训练系统包括混合现实设备、若干体感摄像头以及处理终端；其中，
    所述处理终端，用于获取预设全息太极拳动画，将所述预设全息太极拳动画传输至所述混合现实设备；
    所述混合现实设备，用于播放所述预设全息太极拳动画；
    所述若干体感摄像头，用于采集用户的太极拳训练动画，将所述太极拳训练动画传输至所述处理终端；
    所述处理终端，还用于将所述预设全息太极拳动画以及所述太极拳训练动画进行匹配，获取并输出所述用户的太极拳标准程度。
  10. 一种终端设备，其特征在于，所述终端设备包括存储器和处理器，其中，所述存储器与所述处理器耦接；
    其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现权利要求1-8任一项所述的太极拳训练方法。
  11. 一种存储介质，其特征在于，所述存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现权利要求1-8任一项所述的太极拳训练方法。
PCT/CN2021/143915 2021-11-04 2021-12-31 基于混合现实的太极拳训练方法及系统、设备及存储介质 WO2023077660A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111299685.0 2021-11-04
CN202111299685.0A CN114187651A (zh) 2021-11-04 2021-11-04 基于混合现实的太极拳训练方法及系统、设备及存储介质

Publications (1)

Publication Number Publication Date
WO2023077660A1 true WO2023077660A1 (zh) 2023-05-11

Family

ID=80540657

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/143915 WO2023077660A1 (zh) 2021-11-04 2021-12-31 基于混合现实的太极拳训练方法及系统、设备及存储介质

Country Status (2)

Country Link
CN (1) CN114187651A (zh)
WO (1) WO2023077660A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114470709A (zh) * 2022-03-29 2022-05-13 山东体育学院 一种具有多功能的太极拳训练装置
CN114822127B (zh) * 2022-04-20 2024-04-02 深圳市铱硙医疗科技有限公司 一种基于虚拟现实设备的训练方法及训练装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150099252A1 (en) * 2013-10-03 2015-04-09 Autodesk, Inc. Enhancing movement training with an augmented reality mirror
CN106097787A (zh) * 2016-08-18 2016-11-09 四川以太原力科技有限公司 基于虚拟现实的肢体教学方法与教学系统
CN106110627A (zh) * 2016-06-20 2016-11-16 曲大方 体育和武术运动动作校正设备和方法
CN107341612A (zh) * 2017-07-07 2017-11-10 上海理工大学 一种基于太极拳的康复训练的动作评价方法
TW201818372A (zh) * 2016-11-10 2018-05-16 國立臺灣大學 頭戴式太極拳輔助學習系統
CN108376487A (zh) * 2018-02-09 2018-08-07 冯侃 基于虚拟现实中的肢体训练系统及方法
CN112755485A (zh) * 2020-12-23 2021-05-07 武汉体育学院 一种对太极拳习练者的动作诊断分析与反馈系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108616752B (zh) * 2018-04-25 2020-11-06 北京赛博恩福科技有限公司 支持增强现实交互的头戴设备及控制方法
CN109011508A (zh) * 2018-07-30 2018-12-18 三星电子（中国）研发中心 一种智能教练系统及方法
CN111881887A (zh) * 2020-08-21 2020-11-03 董秀园 基于多摄像头的运动姿态监测和指导方法及装置
CN113241150A (zh) * 2021-06-04 2021-08-10 华北科技学院(中国煤矿安全技术培训中心) 一种混合现实环境中的康复训练评估方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150099252A1 (en) * 2013-10-03 2015-04-09 Autodesk, Inc. Enhancing movement training with an augmented reality mirror
CN106110627A (zh) * 2016-06-20 2016-11-16 曲大方 体育和武术运动动作校正设备和方法
CN106097787A (zh) * 2016-08-18 2016-11-09 四川以太原力科技有限公司 基于虚拟现实的肢体教学方法与教学系统
TW201818372A (zh) * 2016-11-10 2018-05-16 國立臺灣大學 頭戴式太極拳輔助學習系統
CN107341612A (zh) * 2017-07-07 2017-11-10 上海理工大学 一种基于太极拳的康复训练的动作评价方法
CN108376487A (zh) * 2018-02-09 2018-08-07 冯侃 基于虚拟现实中的肢体训练系统及方法
CN112755485A (zh) * 2020-12-23 2021-05-07 武汉体育学院 一种对太极拳习练者的动作诊断分析与反馈系统

Also Published As

Publication number Publication date
CN114187651A (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
CN109298779B (zh) 基于虚拟代理交互的虚拟训练系统与方法
US9892655B2 (en) Method to provide feedback to a physical therapy patient or athlete
WO2023077660A1 (zh) 基于混合现实的太极拳训练方法及系统、设备及存储介质
CN108815804B (zh) 基于myo臂环和移动端的vr上肢康复训练平台及方法
WO2019075824A1 (zh) 一种儿童跑步姿态纠正训练系统
US11682157B2 (en) Motion-based online interactive platform
CN113505662B (zh) 一种健身指导方法、装置及存储介质
CN113694343A (zh) 一种基于vr技术的沉浸式抗压力心理训练系统及方法
CN115115810A (zh) 一种基于空间姿态捕捉的多人协同病灶定位与增强展示方法
WO2023160356A1 (zh) 一种增强虚拟现实系统用户体验的方法及系统
US20190102951A1 (en) Sensor-based object tracking and monitoring
Ma et al. Development of the Interactive Rehabilitation Game System for Children with Autism Based on Game Psychology
Metsis et al. Computer aided rehabilitation for patients with rheumatoid arthritis
CN111312363B (zh) 一种基于虚拟现实的双手协调性增强系统
Yan Construction and Application of Virtual Reality‐Based Sports Rehabilitation Training Program
CN113035000A (zh) 一种面向中枢整合康复治疗技术的虚拟现实训练系统
CN116099181A (zh) 基于元宇宙下的上肢力量训练辅助系统及其使用方法
Zhou Role of human body posture recognition method based on wireless network Kinect in line dance aerobics and gymnastics training
Barioni et al. BalletVR: a Virtual Reality System for Ballet Arm Positions Training
CN215875885U (zh) 一种基于vr技术的沉浸式抗压力心理训练系统
US20210097885A1 (en) Quantified Movement Feedback System
CA3187416A1 (en) Methods and systems for communication and interaction using 3d human movement data
Brownridge Real-time motion capture for analysis and presentation within virtual environments
Liu et al. PianoSyncAR: Enhancing Piano Learning through Visualizing Synchronized Hand Pose Discrepancies in Augmented Reality
KR102669062B1 (ko) 운동 보조 서비스 제공 로봇 및 운동 보조 서비스 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21963166

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE