WO2021098147A1 - Vr体感数据检测方法、装置、计算机设备及存储介质 - Google Patents

Vr体感数据检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
WO2021098147A1
WO2021098147A1 PCT/CN2020/087024 CN2020087024W WO2021098147A1 WO 2021098147 A1 WO2021098147 A1 WO 2021098147A1 CN 2020087024 W CN2020087024 W CN 2020087024W WO 2021098147 A1 WO2021098147 A1 WO 2021098147A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
action
standard
human body
current
Prior art date
Application number
PCT/CN2020/087024
Other languages
English (en)
French (fr)
Inventor
张�杰
Original Assignee
深圳壹账通智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳壹账通智能科技有限公司 filed Critical 深圳壹账通智能科技有限公司
Publication of WO2021098147A1 publication Critical patent/WO2021098147A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • This application relates to the field of image recognition technology, and in particular to a VR somatosensory data detection method, device, computer equipment and storage medium.
  • a VR device ie, a virtual reality device
  • a VR device collects human movements, it is generally based on pattern recognition technology.
  • the related information of an object or phenomenon constitutes the mode of the object or phenomenon.
  • Pattern recognition research mainly focuses on two aspects. One is how graduate students perceive objects (including people), which belongs to the category of cognitive science, and the other is how to use computers to realize the theories and methods of pattern recognition under a given task.
  • automatic pattern recognition means that the machine can automatically classify specific samples into a certain pattern without human interference.
  • Automatic pattern recognition technology is an important part of artificial intelligence technology.
  • automatic pattern recognition is mainly realized by applying relevant methods in machine learning. Commonly used pattern recognition methods include statistical pattern recognition methods, syntactic structure pattern recognition methods, and artificial neural network pattern recognition methods.
  • the inventor realizes that traditional pattern recognition technology is more difficult to calculate for human action recognition, and the effectiveness of pattern recognition is relatively low, especially the recognition rate of continuous actions is relatively low, and incorrect actions cannot be corrected in time.
  • the embodiments of the application provide a VR somatosensory data detection method, device, computer equipment, and storage medium, which are designed to solve the problem that the recognition rate of continuous human action recognition through pattern recognition technology in the prior art is low, and the wrong action cannot be performed. Problems corrected in time.
  • an embodiment of the present application provides a VR somatosensory data detection method, which includes:
  • an embodiment of the present application provides a VR somatosensory data detection device, which includes:
  • the initial standard data collection unit is used to receive the standard motion characteristic data collected and uploaded by the key sensors in the collection terminal;
  • the standard 3D node data acquisition unit is configured to obtain standard 3D node data by performing action decomposition on the standard action feature data
  • the standard action data collection acquiring unit is used to transform the standard 3D node data according to a preset human body action mapping table to obtain a corresponding standard action data set; wherein, the human body action mapping table stores multiple standards The mapping relationship between 3D node data and standard motion data;
  • the current movement data collection acquiring unit is configured to receive the current movement characteristic data collected and uploaded by the target terminal, and sequentially obtain the corresponding current movement data collection through movement decomposition and conversion according to the data of the human body movement mapping table;
  • the current similarity calculation unit is used to obtain the current similarity between the human body action sequence in the current action data set and the corresponding human body action sequence in the standard action data set; wherein, most of the current action data set A human body action value arranged in time series constitutes a human body action sequence corresponding to the current action data set, and a plurality of human body action values arranged in time series in the standard action data set constitute a human body corresponding to the standard action data set Sequence of actions; and
  • the notification unit is configured to send reminder information of the current similarity to the corresponding target terminal if the similarity is lower than a preset similarity threshold.
  • an embodiment of the present application provides a computer device, which includes a memory, a processor, and a computer program stored on the memory and running on the processor, and the processor executes the computer
  • a VR somatosensory data detection method is implemented in the program, which includes: receiving standard motion characteristic data collected and uploaded by each key sensor in the collection terminal; obtaining standard 3D node data by performing motion decomposition on the standard motion characteristic data; The standard 3D node data is converted according to a preset human body motion mapping table to obtain a corresponding standard motion data set; wherein, the human body motion mapping table stores a variety of mapping relationships between standard 3D node data and standard motion data Receiving the current action feature data collected and uploaded by the target terminal, and sequentially through action decomposition and conversion according to the human body action mapping table data to obtain the corresponding current action data set; obtaining the human body action sequence in the current action data set and The current similarity between corresponding human body action sequences in the standard action data set; wherein a plurality of human body action values arranged
  • the embodiments of the present application also provide a computer-readable storage medium, wherein the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the processor executes a VR somatosensory data detection method, which includes:
  • the embodiments of the application provide a VR somatosensory data detection method, device, computer equipment, and storage medium.
  • the human body motion is scanned in real time through VR, and the standard motion is matched and recognized, and the similarity between the current motion and the standard motion is recognized. Action prompts promptly.
  • FIG. 1 is a schematic diagram of an application scenario of a VR somatosensory data detection method provided by an embodiment of the application;
  • FIG. 2 is a schematic flowchart of a method for detecting VR somatosensory data according to an embodiment of the application
  • FIG. 3 is a schematic diagram of a sub-flow of a method for detecting VR somatosensory data provided by an embodiment of the application;
  • FIG. 4 is a schematic diagram of another sub-flow of the VR somatosensory data detection method provided by an embodiment of the application.
  • FIG. 5 is a schematic diagram of another sub-flow of the VR somatosensory data detection method provided by an embodiment of the application.
  • FIG. 6 is a schematic diagram of another sub-flow of the VR somatosensory data detection method provided by an embodiment of the application.
  • FIG. 7 is a schematic block diagram of a VR somatosensory data detection device provided by an embodiment of the application.
  • FIG. 8 is a schematic block diagram of subunits of the VR somatosensory data detection device provided by an embodiment of the application.
  • FIG. 9 is a schematic block diagram of another subunit of the VR somatosensory data detection device provided by an embodiment of the application.
  • FIG. 10 is a schematic block diagram of another subunit of the VR somatosensory data detection device provided by an embodiment of the application;
  • FIG. 11 is a schematic block diagram of another subunit of the VR somatosensory data detection device provided by an embodiment of the application.
  • FIG. 12 is a schematic block diagram of a computer device provided by an embodiment of this application.
  • Figure 1 is a schematic diagram of the application scenario of the VR somatosensory data detection method provided by an embodiment of the application
  • Figure 2 is a schematic flowchart of the VR somatosensory data detection method provided by an embodiment of the application, the VR somatosensory data detection The method is applied to a server, and the method is executed by application software installed in the server.
  • the method includes steps S110 to S160.
  • a VR device can be used as a collection terminal to collect continuous actions made by the human body.
  • VR devices are virtual reality hardware devices, they generally include interactive devices.
  • Interactive devices include position trackers, data gloves, three-dimensional mice, motion capture devices, eye trackers, force feedback devices, and other interactive devices.
  • a VR device is a motion capture device, it includes multiple key sensors (the key sensor generally uses an acceleration sensor or a gesture sensor).
  • the key sensor generally uses an acceleration sensor or a gesture sensor.
  • the multiple key sensors in the VR device are distributed on the user's body. Key positions, such as head, left palm, left elbow joint, right palm, right elbow joint, left knee joint, right knee joint, etc. Scan the human body movements in real time through the VR device to get a set of standard movements. Then, the VR device collects the set of standard actions to obtain the standard action feature data, and then the VR device uploads the standard action feature data to the server.
  • sensors are generally set up at the joint node positions of the human body that need to be collected, and these nodes are all key sensor nodes.
  • the action characteristic data corresponding to the action can be collected.
  • the standard action characteristic data corresponding to the standard action is first collected through the VR device at this time.
  • S120 Obtain standard 3D node data by performing action decomposition on the standard action feature data.
  • the method before step S120, the method further includes:
  • the color image is subjected to gray-scale processing to obtain a gray-scale image.
  • the Kinect Fusion Explorer-D2D a developer tool for Kinect cameras provided by Microsoft
  • Kinect Explorer-D2D another developer tool of the Kinect camera
  • the color image may be grayed out by maximizing. That is, the maximum value of the R, G, and B values of each pixel in the color image is taken as the gray value of the pixel, so that the color image is grayed out to obtain a gray image.
  • step S120 includes:
  • S126 Obtain the remaining mark points of each key sensor node from the mark points on the grayscale image and remove 5 fingertips to obtain a remaining mark point set on the grayscale image;
  • S127 Multiply the screen coordinates corresponding to each mark point in the remaining mark point set by the matching matrix to obtain standard 3D node data corresponding to the standard action feature data.
  • the standard motion characteristic data can be converted into point cloud data through Geomagic software (ie Jie Mo software) .
  • the screen coordinates corresponding to the mark points of each key sensor node on the gray image in the gray image are obtained to realize the one-to-one mapping of each key sensor node on the gray image.
  • Geomagic software can be used to perform surface fitting and normal vector calculation on the point cloud data to obtain the normal vector angle between the points in the surface for feature point extraction. Specifically, when the angle between the point in the surface and the normal vector of the neighboring point is greater than or equal to the preset angle threshold, the point is a feature point; on the contrary, if the angle between the point and the normal vector of the neighboring point is If the included angle is less than the included angle threshold, the point is not a feature point, until all feature points in the point cloud data are extracted to obtain point cloud feature points.
  • the matching matrix is obtained according to the three-dimensional coordinate matrix composed of 3D node data corresponding to the point cloud feature points of the 5 fingertips and the screen coordinate matrix composed of the screen coordinates corresponding to the 5 fingertips.
  • the remaining mark points in the color image are multiplied by the matching matrix to obtain the corresponding standard 3D node data.
  • the marked points of each key sensor node in the color image can be effectively converted into standard 3D node data.
  • step S122 includes:
  • S1222 Divide the gray image into a target area and a background area according to the initial gray threshold to form a segmented image, and obtain a first average gray value corresponding to the target area and a second average corresponding to the background area grayscale value;
  • first obtain the initial grayscale threshold according to the maximum grayscale value and the minimum grayscale value of the grayscale image; that is, T 0 (f max +f min )/2, where f max is the maximum grayscale image Gray value, f min is the minimum gray value of the gray image.
  • the gray image is divided into a target area and a background area according to the initial gray threshold to form a segmented image, and a first average gray value corresponding to the target area and a second average gray value corresponding to the background area are obtained.
  • f(i,j) is the gray value of the point (i,j) on the grayscale image
  • N(i,j) is the weight of the point (i,j) on the grayscale image
  • W is the total number of pixels in the width direction on the grayscale image
  • H is the total number of pixels in the height direction on the grayscale image.
  • step S125 includes:
  • the screen coordinate matrix composed of the screen coordinates corresponding to the fingertips of the five fingers in the color image is A
  • the three-dimensional coordinate matrix composed of the 3D node data corresponding to the point cloud feature points of the five fingertips is B
  • B -1 A H
  • H is the matching matrix.
  • the matching matrix calculated based on the three-dimensional coordinate matrix composed of the screen coordinate matrix corresponding to the fingertips of 5 fingers in the color image and the 3D node data corresponding to the point cloud feature points of the 5 fingertips can be used as a higher accuracy
  • the transformation matrix effectively transforms the marked points of each key sensor node in the color image into standard 3D node data.
  • the 3D node data is converted into corresponding descriptive node data, and subtle changes in actions can be identified through the descriptive node data, and finally a set of standard action data sets are obtained.
  • the 3D node data can be understood as the three-dimensional space coordinate data corresponding to the key nodes of the human body.
  • the 3D node data corresponding to the color image of each frame can constitute the 3D node data set corresponding to the color image of the frame, and every two phases are calculated.
  • the difference value between the 3D node data sets between adjacent frames (this difference value can be recorded as descriptive node data), according to the difference value, query the human body action value corresponding to the difference value in the preset human body action mapping table, That is, the corresponding standard motion data set can be obtained by combining multiple human body motion values.
  • the human body motion mapping table stores a variety of mapping relationships between standard 3D node data and standard motion data.
  • S140 Receive the current action feature data collected and uploaded by the target terminal, and sequentially perform action decomposition and conversion according to the human body action mapping table data to obtain a corresponding current action data set.
  • the human body motion is scanned in real time through the VR device to obtain the current motion.
  • the current motion characteristic data can be obtained.
  • the current motion feature data is decomposed to obtain the current 3D node data.
  • the current 3D node data is converted into corresponding current descriptive node data, the subtle changes in the action can be identified through the current descriptive node data, and a set of current action data sets are finally obtained.
  • step S110-step S130 refers to step S110-step S130. That is, the specific process of performing action decomposition on the current action feature data in step S140 refers to step S120, and the specific process of converting the current action feature data according to the human body action mapping table data in step S140 refers to step S130.
  • the human body motion is collected in real time through the VR device, and matched and recognized with the standard motion, and the similarity between the current motion and the standard motion is recognized, so as to prompt the wrong motion in time.
  • the current motion data set includes multiple human motion values (for example, [1323579])
  • this current motion data set can be regarded as a row vector.
  • the standard motion data set is also composed of multiple human motion values to form a row vector, and the Euclidean distance between these two row vectors is calculated to obtain the current motion data set and the standard motion data set. The current similarity between the corresponding data sets.
  • step S150 includes:
  • the distance between the two row vectors can be calculated.
  • the Euclidean distance of, and the Euclidean distance as the current similarity.
  • the reminder information of the current similarity is sent to the corresponding target terminal, indicating that the collected current action data set and standard after the same period of time have passed.
  • the similarity between the action data sets is low, that is, the current action corresponding to the current action feature data is not standard, and the user needs to be prompted to correct the action in time.
  • the reminder information includes the value of similarity and text information indicating that the similarity is lower than the similarity threshold.
  • the reminder information is: the similarity of your current action is 90%, and the similarity is lower than 95%, please pay attention to the corrective action.
  • This method realizes real-time scanning of human movements by VR, and matching recognition with standard movements, accurately identifying the similarity between current movements and standard movements, and prompting wrong movements in time.
  • the embodiments of the present application also provide a VR somatosensory data detection device, which is used to execute any embodiment of the aforementioned VR somatosensory data detection method.
  • FIG. 7 is a schematic block diagram of a VR somatosensory data detection device provided by an embodiment of the present application.
  • the VR somatosensory data detection device 100 can be configured in a server.
  • the VR somatosensory data detection device 100 includes an initial standard data acquisition unit 110, a standard 3D node data acquisition unit 120, a standard action data set acquisition unit 130, a current action data set acquisition unit 140, and a current similarity calculation unit 150 , Notification unit 160.
  • the initial standard data collection unit 110 is used to receive the standard motion characteristic data collected and uploaded by the key sensors in the collection terminal.
  • a VR device can be used as a collection terminal to collect continuous actions made by the human body.
  • VR devices are virtual reality hardware devices, they generally include interactive devices.
  • Interactive devices include position trackers, data gloves, three-dimensional mice, motion capture devices, eye trackers, force feedback devices, and other interactive devices.
  • a VR device is a motion capture device, it includes multiple key sensors (the key sensor generally uses an acceleration sensor or a gesture sensor).
  • the key sensor generally uses an acceleration sensor or a gesture sensor.
  • the multiple key sensors in the VR device are distributed on the user's body. Key positions, such as head, left palm, left elbow joint, right palm, right elbow joint, left knee joint, right knee joint, etc. Scan the human body movements in real time through the VR device to get a set of standard movements. Then, the VR device collects the set of standard actions to obtain the standard action feature data, and then the VR device uploads the standard action feature data to the server.
  • sensors are generally set up at the joint node positions of the human body that need to be collected, and these nodes are all key sensor nodes.
  • the action characteristic data corresponding to the action can be collected.
  • the standard action characteristic data corresponding to the standard action is first collected through the VR device at this time.
  • the standard 3D node data obtaining unit 120 is configured to obtain standard 3D node data by performing action decomposition on the standard action feature data.
  • the VR somatosensory data detection device 100 further includes:
  • a color image acquisition unit for acquiring a color image corresponding to the standard motion characteristic data
  • the grayscale processing unit is used to perform grayscale processing on the color image to obtain a grayscale image.
  • the Kinect Fusion Explorer-D2D a developer tool for Kinect cameras provided by Microsoft
  • Kinect Explorer-D2D another developer tool of the Kinect camera
  • the color image may be grayed out by maximizing. That is, the maximum value of the R, G, and B values of each pixel in the color image is taken as the gray value of the pixel, so that the color image is grayed out to obtain a gray image.
  • the standard 3D node data obtaining unit 120 includes:
  • the point cloud data acquisition unit 121 is configured to convert the collected standard motion characteristic data into point cloud data
  • the first screen coordinate acquiring unit 122 is configured to acquire the screen coordinates corresponding to the marked points of each key sensor node on the grayscale image;
  • the point cloud feature point set obtaining unit 123 is configured to obtain point cloud feature points in the point cloud data to form a point cloud feature point set;
  • the fingertip feature acquisition unit 124 is configured to acquire the point cloud feature points of the five fingertips in the point cloud feature point set, and the 3D node data corresponding to the point cloud feature points of the five fingertips;
  • the matching matrix obtaining unit 125 is configured to correspondingly obtain the matching matrix according to the screen coordinate matrix corresponding to the point cloud feature points of the five fingertips, and according to the inverse matrix of the corresponding three-dimensional coordinate matrix of the 3D node data corresponding to the five fingertips;
  • the mark point processing unit 126 is used to obtain the mark points of each key sensor node on the gray image and remove the remaining mark points of the 5 fingertips to obtain a set of remaining mark points on the gray image;
  • the node data conversion unit 127 is configured to multiply the screen coordinates corresponding to each mark point in the remaining mark point set by the matching matrix to obtain standard 3D node data corresponding to the standard action feature data.
  • the standard motion characteristic data can be converted into point cloud data through Geomagic software (ie Jie Mo software) .
  • the screen coordinates corresponding to the mark points of each key sensor node on the gray image in the gray image are obtained to realize the one-to-one mapping of each key sensor node on the gray image.
  • Geomagic software can be used to perform surface fitting and normal vector calculation on the point cloud data to obtain the normal vector angle between the points in the surface for feature point extraction. Specifically, when the angle between the point in the surface and the normal vector of the neighboring point is greater than or equal to the preset angle threshold, the point is a feature point; on the contrary, if the angle between the point and the normal vector of the neighboring point is If the included angle is less than the included angle threshold, the point is not a feature point, until all feature points in the point cloud data are extracted to obtain point cloud feature points.
  • the matching matrix is obtained according to the three-dimensional coordinate matrix composed of 3D node data corresponding to the point cloud feature points of the 5 fingertips and the screen coordinate matrix composed of the screen coordinates corresponding to the 5 fingertips.
  • the remaining mark points in the color image are multiplied by the matching matrix to obtain the corresponding standard 3D node data.
  • the marked points of each key sensor node in the color image can be effectively converted into standard 3D node data.
  • the first screen coordinate acquiring unit 122 includes:
  • the initial grayscale threshold obtaining unit 1221 is configured to obtain the initial grayscale threshold according to the maximum grayscale value and the minimum grayscale value of the grayscale image;
  • the background separation unit 1222 is configured to divide the gray image into a target area and a background area according to the initial gray threshold to form a segmented image, and obtain the first average gray value corresponding to the target area and the background area The corresponding second average gray value;
  • the second screen coordinate acquiring unit 1223 is configured to acquire the screen coordinates corresponding to the marked points of each key sensor node on the segmented image.
  • first obtain the initial grayscale threshold according to the maximum grayscale value and the minimum grayscale value of the grayscale image; that is, T 0 (f max +f min )/2, where f max is the maximum grayscale image Gray value, f min is the minimum gray value of the gray image.
  • the gray image is divided into a target area and a background area according to the initial gray threshold to form a segmented image, and a first average gray value corresponding to the target area and a second average gray value corresponding to the background area are obtained.
  • the screen coordinates corresponding to each mark point can be obtained by referring to the above formula (1) and formula (2). ).
  • the matching matrix obtaining unit 125 includes:
  • the three-dimensional coordinate matrix obtaining unit 1251 is configured to obtain 3D node data corresponding to the point cloud feature points of the five fingertips according to the point cloud feature points of the five fingertips to form a three-dimensional coordinate matrix;
  • the screen coordinate matrix obtaining unit 1252 is configured to obtain the screen coordinates corresponding to the fingertips of the five fingers in the color image to form a screen coordinate matrix;
  • the matching matrix calculation unit 1253 is configured to multiply the inverse matrix of the three-dimensional coordinate matrix by the screen coordinate matrix to obtain a corresponding matching matrix.
  • the screen coordinate matrix composed of the screen coordinates corresponding to the fingertips of the five fingers in the color image is A
  • the three-dimensional coordinate matrix composed of the 3D node data corresponding to the point cloud feature points of the five fingertips is B
  • B -1 A H
  • H is the matching matrix.
  • the matching matrix calculated based on the three-dimensional coordinate matrix composed of the screen coordinate matrix corresponding to the fingertips of 5 fingers in the color image and the 3D node data corresponding to the point cloud feature points of the 5 fingertips can be used as a higher accuracy
  • the transformation matrix effectively transforms the marked points of each key sensor node in the color image into standard 3D node data.
  • the standard motion data set acquisition unit 130 is configured to convert the standard 3D node data according to a preset human body motion mapping table to obtain a corresponding standard motion data set; wherein, the human body motion mapping table stores multiple types The mapping relationship between standard 3D node data and standard action data.
  • the 3D node data is converted into corresponding descriptive node data, and subtle changes in actions can be identified through the descriptive node data, and finally a set of standard action data sets are obtained.
  • the 3D node data can be understood as the three-dimensional space coordinate data corresponding to the key nodes of the human body.
  • the 3D node data corresponding to the color image of each frame can constitute the 3D node data set corresponding to the color image of the frame, and every two phases are calculated.
  • the difference value between the 3D node data sets between adjacent frames (this difference value can be recorded as descriptive node data), according to the difference value, query the human body action value corresponding to the difference value in the preset human body action mapping table, That is, the corresponding standard motion data set can be obtained by combining multiple human body motion values.
  • the human body motion mapping table stores a variety of mapping relationships between standard 3D node data and standard motion data.
  • the current action data set acquisition unit 140 is configured to receive the current action feature data collected and uploaded by the target terminal, and sequentially obtain the corresponding current action data set through action decomposition and conversion according to the human body action mapping table data.
  • the human body motion is scanned in real time through the VR device to obtain the current motion.
  • the current motion characteristic data can be obtained.
  • the current motion feature data is decomposed to obtain the current 3D node data.
  • the current 3D node data is converted into corresponding current descriptive node data, the subtle changes in the action can be identified through the current descriptive node data, and a set of current action data sets are finally obtained.
  • step S110-step S130 For the specific process, refer to step S110-step S130.
  • the current similarity calculation unit 150 is configured to obtain the current similarity between the human body action sequence in the current action data set and the corresponding human body action sequence in the standard action data set; wherein, in the current action data set A plurality of human body motion values arranged in time series constitute a human body motion sequence corresponding to the current motion data set, and a plurality of human body motion values arranged in time series in the standard motion data set are formed corresponding to the standard motion data set Human action sequence.
  • the current motion data set includes multiple human motion values (for example, [1323579])
  • this current motion data set can be regarded as a row vector.
  • the standard motion data set is also composed of multiple human motion values to form a row vector, and the Euclidean distance between these two row vectors is calculated to obtain the current motion data set and the standard motion data set. The current similarity between the corresponding data sets.
  • the current similarity calculation unit 150 includes:
  • the first one-dimensional row vector obtaining unit 151 is configured to obtain the first one-dimensional row vector corresponding to each human body action sequence in the current action data set;
  • the second one-dimensional row vector obtaining unit 152 is configured to obtain a second one-dimensional row vector corresponding to each human body motion sequence in the standard motion data set;
  • the Euclidean distance calculation unit 153 is configured to obtain the Euclidean distance between the first one-dimensional row vector and the second one-dimensional row vector, and use the Euclidean distance as the current similarity.
  • the distance between the two row vectors can be calculated.
  • the Euclidean distance of, and the Euclidean distance as the current similarity.
  • the notification unit 160 is configured to send reminder information of the current similarity to the corresponding target terminal if the similarity is lower than a preset similarity threshold.
  • the reminder information of the current similarity is sent to the corresponding target terminal, indicating that the collected current action data set and standard after the same period of time have passed.
  • the similarity between the action data sets is low, that is, the current action corresponding to the current action feature data is not standard, and the user needs to be prompted to correct the action in time.
  • the reminder information includes the value of similarity and text information indicating that the similarity is lower than the similarity threshold.
  • the reminder information is: the similarity of your current action is 90%, and the similarity is lower than 95%, please pay attention to the corrective action.
  • the device realizes real-time scanning of human movements by VR, and matching recognition with standard movements, accurately identifying the similarity between current movements and standard movements, and prompting wrong movements in time.
  • the aforementioned VR somatosensory data detection device can be implemented in the form of a computer program, and the computer program can be run on a computer device as shown in FIG. 12.
  • FIG. 12 is a schematic block diagram of a computer device according to an embodiment of the present application.
  • the computer device 500 is a server, and the server may be an independent server or a server cluster composed of multiple servers.
  • the computer device 500 includes a processor 502, a memory, and a network interface 505 connected through a system bus 501, where the memory may include a non-volatile storage medium 503 and an internal memory 504.
  • the non-volatile storage medium 503 can store an operating system 5031 and a computer program 5032.
  • the processor 502 can execute the VR somatosensory data detection method.
  • the network interface 505 is used for network communication, such as providing data information transmission.
  • the structure shown in FIG. 12 is only a block diagram of part of the structure related to the solution of the present application, and does not constitute a limitation on the computer device 500 to which the solution of the present application is applied.
  • the specific computer device 500 may include more or fewer components than shown in the figure, or combine certain components, or have a different component arrangement.
  • the processor 502 is configured to run a computer program 5032 stored in a memory to implement the VR somatosensory data detection method disclosed in the embodiment of the present application.
  • the embodiment of the computer device shown in FIG. 12 does not constitute a limitation on the specific configuration of the computer device.
  • the computer device may include more or less components than those shown in the figure. Or some parts are combined, or different parts are arranged.
  • the computer device may only include a memory and a processor. In such an embodiment, the structures and functions of the memory and the processor are consistent with the embodiment shown in FIG. 12, and will not be repeated here.
  • the processor 502 may be a central processing unit (Central Processing Unit, CPU), and the processor 502 may also be other general-purpose processors, digital signal processors (Digital Signal Processors, DSPs), and special purpose processors.
  • Integrated circuit Application Specific Integrated Circuit, ASIC
  • off-the-shelf programmable gate array Field-Programmable Gate Array, FPGA
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor.
  • a computer-readable storage medium may be non-volatile or may be a volatile computer-readable storage medium.
  • the computer-readable storage medium stores a computer program, where the computer program is executed by a processor to implement the VR somatosensory data detection method disclosed in the embodiments of the present application.
  • the functional units in the various embodiments of the present application may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated unit can be implemented in the form of hardware or software functional unit.
  • the integrated unit is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a storage medium.
  • the technical solution of this application is essentially or the part that contributes to the existing technology, or all or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium. It includes several instructions to make a computer device (which may be a personal computer, a server, or a network device, etc.) execute all or part of the steps of the methods described in the various embodiments of the present application.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (ROM, Read-Only Memory), magnetic disk or optical disk and other media that can store program codes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种VR体感数据检测方法、装置、计算机设备及存储介质。该方法包括通过对标准动作特征数据进行动作分解得到标准3D节点数据（S120）；将标准3D节点数据根据人体动作映射表进行数据转化得到对应的标准动作数据集合（S130）；接收由目标终端上传的当前动作特征数据，依次通过动作分解和根据人体动作映射表数据转化，得到对应的当前动作数据集合（S140）；获取当前动作数据集合中各人体动作序列与标准动作数据集合中对应人体动作序列之间的当前相似度（S150）；若相似度低于相似度阈值，将提醒信息发送至对应的目标终端（S160）。该方法实现了由VR实时扫描人体动作，并和标准动作进行匹配识别，精准识别当前的动作与标准动作的相似度，对于错误动作进行及时提示。

Description

VR体感数据检测方法、装置、计算机设备及存储介质
本申请要求于2019年11月22日提交中国专利局、申请号为201911154959.X，发明名称为“VR体感数据检测方法、装置、计算机设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像识别技术领域，尤其涉及一种VR体感数据检测方法、装置、计算机设备及存储介质。
背景技术
目前，VR设备(即虚拟现实设备)采集人体动作时，一般是基于模式识别技术。
当人们看到某物或现象时，人们首先会收集该物体或现象的所有信息，然后将其行为特征与头脑中己有的相关信息相比较，如果找到一个相同或相似的匹配，人们就可以将该物体或现象识别出来。因此，某物体或现象的相关信息，如空间信息、时间信息等，就构成了该物体或现象的模式。
模式识别研究主要集中在两方面，一是研究生物体(包括人)是如何感知对象的，属于认识科学的范畴，二是在给定的任务下，如何用计算机实现模式识别的理论和方法。自动模式识别简单来说是指无需人为干扰，机器能自动把具体的样本归类到某一个模式，自动模式识别技术是人工智能技术重要组成部分。现在自动模式识别主要是应用机器学习中有关方法实现。常用的模式识别方法有统计模式识别方法、句法结构模式识别方法、人工神经网络模式识别方法。
发明人意识到传统模式识别技术，对人体动作识别计算难度比较大，模式识别的有效性比较低，尤其对连续动作的识别率比较低，无法对错误动作进行及时纠正。
发明内容
本申请实施例提供了一种VR体感数据检测方法、装置、计算机设备及存储介质，旨在解决现有技术中通过模式识别技术对连续人体动作识别的识别率较低，且无法对错误动作进行及时纠正的问题。
第一方面，本申请实施例提供了一种VR体感数据检测方法，其包括：
接收由采集终端中各关键传感器所采集并上传的标准动作特征数据；通过对所述标准动作特征数据进行动作分解得到标准3D节点数据；将所述标准3D节点数据根据预先设置的人体动作映射表进行数据转化，得到对应的标准动作数据集合；其中，所述人体动作映射表中存储有多种标准3D节点数据与标准动作数据的映射关系；接收由目标终端所采集并上传的当前动作特征数据，依次通过动作分解和根据所述人体动作映射表数据转化，得到对应的当前动作数据集合；获取所述当前动作数据集合中人体动作序列与所述标准动作数据集合中对应的人体动作序列之间的当前相似度；其中，所述当前动作数据集合中的多个依时序排列的人体动作值组成与所述当前动作数据集合对应的人体动作序列，所述标准动作数据集合中的多个依时序排列的人体动作值组成与所述标准动作数据集合对应的人体动作序列；以及若所述相似度低于预设的相似度阈值，将所述当前相似度的提醒信息发送至对应的目标终端。
第二方面，本申请实施例提供了一种VR体感数据检测装置，其包括：
初始标准数据采集单元，用于接收由采集终端中各关键传感器所采集并上传的标准动作特征数据；
标准3D节点数据获取单元，用于通过对所述标准动作特征数据进行动作分解得到标准3D节点数据；
标准动作数据集合获取单元，用于将所述标准3D节点数据根据预先设置的人体动作映射表进行数据转化，得到对应的标准动作数据集合；其中，所述人体动作映射表中存储有多种标准3D节点数据与标准动作数据的映射关系；
当前动作数据集合获取单元，用于接收由目标终端所采集并上传的当前动作特征数据，依次通过动作分解和根据所述人体动作映射表数据转化，得到对应的当前动作数据集合；
当前相似度计算单元，用于获取所述当前动作数据集合中人体动作序列与所述标准动作数据集合中对应的人体动作序列之间的当前相似度；其中，所述当前动作数据集合中的多个依时序排列的人体动作值组成与所述当前动作数据集合对应的人体动作序列，所述标准动作数据集合中的多个依时序排列的人体动作值组成与所述标准动作数据集合对应的人体动作序列；以及
通知单元，用于若所述相似度低于预设的相似度阈值，将所述当前相似度的提醒信息发送至对应的目标终端。
第三方面，本申请实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种VR体感数据检测方法，其包括：接收由采集终端中各关键传感器所采集并上传的标准动作特征数据；通过对所述标准动作特征数据进行动作分解得到标准3D节点数据；将所述标准3D节点数据根据预先设置的人体动作映射表进行数据转化，得到对应的标准动作数据集合；其中，所述人体动作映射表中存储有多种标准3D节点数据与标准动作数据的映射关系；接收由目标终端所采集并上传的当前动作特征数据，依次通过动作分解和根据所述人体动作映射表数据转化，得到对应的当前动作数据集合；获取所述当前动作数据集合中人体动作序列与所述标准动作数据集合中对应的人体动作序列之间的当前相似度；其中，所述当前动作数据集合中的多个依时序排列的人体动作值组成与所述当前动作数据集合对应的人体动作序列，所述标准动作数据集合中的多个依时序排列的人体动作值组成与所述标准动作数据集合对应的人体动作序列；以及若所述相似度低于预设的相似度阈值，将所述当前相似度的提醒信息发送至对应的目标终端。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行一种VR体感数据检测方法，其包括：
接收由采集终端中各关键传感器所采集并上传的标准动作特征数据；通过对所述标准动作特征数据进行动作分解得到标准3D节点数据；将所述标准3D节点数据根据预先设置的人体动作映射表进行数据转化，得到对应的标准动作数据集合；其中，所述人体动作映射表中存储有多种标准3D节点数据与标准动作数据的映射关系；接收由目标终端所采集并上传的当前动作特征数据，依次通过动作分解和根据所述人体动作映射表数据转化，得到对应的当前动作数据集合；获取所述当前动作数据集合中人体动作序列与所述标准动作数据集合中对应的人体动作序列之间的当前相似度；其中，所述当前动作数据集合中的多个依时序排列的人体动作值组成与所述当前动作数据集合对应的人体动作序列，所述标准动作数据集合中的多个依时序排列的人体动作值组成与所述标准动作数据集合对应的人体动作序列；以及若所述相似度低于预设的相似度阈值，将所述当前相似度的提醒信息发送至对应的目标终端。
本申请实施例提供了一种VR体感数据检测方法、装置、计算机设备及存储介质，通过VR实时扫描人体动作，并和标准动作进行匹配识别，识别当前的动作与标准动作的相似度，对于错误动作进行及时提示。
附图说明
图1为本申请实施例提供的VR体感数据检测方法的应用场景示意图；
图2为本申请实施例提供的VR体感数据检测方法的流程示意图；
图3为本申请实施例提供的VR体感数据检测方法的子流程示意图；
图4为本申请实施例提供的VR体感数据检测方法的另一子流程示意图；
图5为本申请实施例提供的VR体感数据检测方法的另一子流程示意图；
图6为本申请实施例提供的VR体感数据检测方法的另一子流程示意图；
图7为本申请实施例提供的VR体感数据检测装置的示意性框图；
图8为本申请实施例提供的VR体感数据检测装置的子单元示意性框图；
图9为本申请实施例提供的VR体感数据检测装置的另一子单元示意性框图；
图10为本申请实施例提供的VR体感数据检测装置的另一子单元示意性框图；
图11为本申请实施例提供的VR体感数据检测装置的另一子单元示意性框图；
图12为本申请实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本申请实施例提供的VR体感数据检测方法的应用场景示意图；图2为本申请实施例提供的VR体感数据检测方法的流程示意图，该VR体感数据检测方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。
如图2所示，该方法包括步骤S110～S160。
S110、接收由采集终端中各关键传感器所采集并上传的标准动作特征数据。
在本实施例中，通过VR设备作为采集终端可对人体做出的连续动作进行采集。由于VR设备即虚拟现实硬件设备，一般包括交互设备，交互设备包括位置追踪仪、数据手套、三维鼠标、动作捕捉设备、眼动仪、力反馈设备以及其他交互设备。例如，当VR设备为动作捕捉设备时则是包括多个关键传感器(关键传感器一般采用加速度传感器或是姿态传感器)，用户穿戴VR设备时，VR设备中的多个关键传感器分布在用户身上的多个关键位置，如头部，左手手掌，左手肘关节，右手掌，右手肘关节，左膝关节，右膝关节等。通过VR设备实时扫描人体动作，得到一套标准动作。之后VR设备将该套标准动作进行动作特征采集，从而得到标准动作特征数据，之后由VR设备将所述标准动作特征数据上传至服务器。
即用户穿戴了VR设备后，一般针对需要采集的人体关节节点位置处都设置了传感器，这些节点均为关键传感器节点。当用户每作出一个动作，均能采集到与该动作对应的动作特征数据。由于为了先录入标准动作，此时先通过VR设备采集标准动作所对应的的标准动作特征数据。
S120、通过对所述标准动作特征数据进行动作分解得到标准3D节点数据。
在本实施例中，对所述标准动作特征数据进行动作分解时，是基于点云数据和匹配矩阵进行转化。利用所述标准动作特征数据进行动作分解时，是基于该标准动作特征数据所对应的原始的多帧彩色图像。
在一实施例中，步骤S120之前还包括：
采集与所述标准动作特征数据对应的彩色图像；
将所述彩色图像进行灰度化处理，得到灰度图像。
在本实施例中，可以利用微软提供的Kinect相机的开发者工具Kinect Fusion Explorer-D2D获取stl格式的标准动作特征数据。还可以利用Kinect相机的另一个开发者工具Kinect Explorer-D2D采集与所述标准特征数据对应的彩色图像。为了在最大程度保持图像的图像特征的前提下降低图像大小，可以通过最大发对所述彩色图像进行灰度化处理。即取所述彩色图像中每一像素点的R、G、B值中的最大值以作为该像素点的灰度值，从而将所述彩色图像进行灰度化处理，得到灰度图像。
在一实施例中，如图3所示，步骤S120包括：
S121、将所采集的标准动作特征数据转化为点云数据；
S122、获取各关键传感器节点在灰度图像上的标记点所对应的屏幕坐标；
S123、获取所述点云数据中的点云特征点，以组成点云特征点集；
S124、获取点云特征点集中5个手指指尖的点云特征点，及与5个手指指尖的点云特征点对应的3D节点数据；
S125、根据5个手指指尖的点云特征点对应的屏幕坐标矩阵，及根据5个手指指尖对应的3D节点数据相应三维坐标矩阵的逆矩阵，对应获取匹配矩阵；
S126、获取各关键传感器节点在灰度图像上的标记点中去掉5个手指指尖的剩余标记点，以得到灰度图像上的剩余标记点集；
S127、将所述剩余标记点集中各标记点对应的屏幕坐标乘以所述匹配矩阵，得到与所述标准动作特征数据对应的标准3D节点数据。
在本实施例中，为了更清楚的理解由标准动作特征数据通过动作分解得到3D节点数据的过程，下面以手部手势为例来说明。
当通过了微软提供的Kinect相机的开发者工具Kinect Fusion Explorer-D2D获取stl格式的标准动作特征数据后，可先通过Geomagic软件(即杰魔软件)将所述标准动作特征数据转化为点云数据。
之后，再获取灰度图像中各关键传感器节点在灰度图像上的标记点所对应的屏幕坐标，实现各关键传感器节点在灰度图像上的一一映射。
获取了点云数据后，可以采用Geomagic软件对点云数据对所述点云数据进行曲面拟合和法向量计算，得到曲面里点与点之间的法向量夹角以进行特征点提取。具体的，当曲面中该点与邻域点的法向量的夹角大于或者等于预先设置的夹角阈值，则该点是特征点；相反，如果，如果该点与邻域点的法向量的夹角小于夹角阈值，则该点不是特征点，直至点云数据中的所有特征点被提取出来，得到点云特征点。
然后，获取点云特征点集中5个手指指尖的点云特征点，及与5个手指指尖的点云特征点对应的3D节点数据，并获取彩色图像中5个手指指尖对应的屏幕坐标，根据由5个手指指尖的点云特征点对应的3D节点数据组成的三维坐标矩阵与由5个手指指尖对应的屏幕坐标组成的屏幕坐标矩阵获取匹配矩阵。
最后，将彩色图像中剩余的标记点通过乘以匹配矩阵，以得到对应的标准3D节点数据。通过获取匹配矩阵，能有效的将各关键传感器节点在彩色图像中的标记点转化为标准3D节点数据。
在一实施例中，如图4所示，步骤S122包括：
S1221、根据所述灰度图像的最大灰度值和最小灰度值获取初始灰度阈值；
S1222、根据所述初始灰度阈值将所述灰度图像划分为目标区域和背景区域以组成分割图像，并获取与目标区域对应的第一平均灰度值、及与背景区域对应的第二平均灰度值；
S1223、获取各关键传感器节点在分割图像上的标记点所对应的屏幕坐标。
在本实施例中，先根据灰度图像的最大灰度值和最小灰度值获取初始灰度阈值；即T 0＝(f max+f min)/2，其中f max为灰度图像的最大灰度值，f min为灰度图像的最小灰度值。
然后，根据初始灰度阈值将灰度图像划分为目标区域和背景区域以组成分割图像，并获取与目标区域对应的第一平均灰度值、及与背景区域对应的第二平均灰度值。
最后，获取所述分割图像中各关键传感器节点在分割图像上的标记点所对应的屏幕坐标。
由于中各关键传感器节点在灰度图像上的标记点在经历灰度化后仍能保留在灰度图像上，此时求得各标记点对应的屏幕坐标参考如下公式(1)和公式(2)：
Figure PCTCN2020087024-appb-000001
Figure PCTCN2020087024-appb-000002
其中，f(i，j)为灰度图像上点(i，j)的灰度值，N(i，j)为灰度图像上点(i，j)的权重，一般N(i，j)为f(i，j)的个数，W为灰度图像上宽度方向上的总像素点数，H为灰度图像上高度方向上的总像素点数。
在一实施例中，如图5所示，步骤S125包括：
S1251、根据5个手指指尖的点云特征点，获取与5个手指指尖的点云特征点对应的3D节点数据，以组成三维坐标矩阵；
S1252、获取所述彩色图像中与5个手指指尖对应的屏幕坐标，以组成屏幕坐标矩阵；
S1253、将所述三维坐标矩阵的逆矩阵乘以所述屏幕坐标矩阵，得到对应的匹配矩阵。
在本实施例中，设彩色图像中5个手指指尖对应的屏幕坐标组成的屏幕坐标矩阵为A，且5个手指指尖的点云特征点对应的3D节点数据组成的三维坐标矩阵为B，则B -1A＝H，其中H为匹配矩阵。以彩色图像中5个手指指尖对应的屏幕坐标矩阵，和5个手指指尖的点云特征点对应的3D节点数据组成的三维坐标矩阵为参考而计算的匹配矩阵能作为精准度较高的转化矩阵，有效将各关键传感器节点在彩色图像中的标记点转化为标准3D节点数据。
S130、将所述标准3D节点数据根据预先设置的人体动作映射表进行数据转化，得到对应的标准动作数据集合；其中，所述人体动作映射表中存储有多种标准3D节点数据与标准动作数据的映射关系。
在本实施例中，将3D节点数据转化成相应的描述性节点数据，通过描述性节点数据可以识别出动作的细微变化之处，最终得到一套标准动作数据集合。
具体的，3D节点数据可以理解为人体关键节点对应的三维空间坐标数据，每一帧的彩色图像对应的各3D节点数据即可组成该帧彩色图像对应的3D节点数据集，计算每两个相邻帧之间的3D节点数据集之间的差异值(这一差异值可记为描述性节点数据)，根据该差异值在预先设置的人体动作映射表查询该差异值对应的人体动作值，即可由多个人体动作值组合得到对应的标准动作数据集合。其中，所述人体动作映射表中存储有多种标准3D节点数据与标准动作数据的映射关系。
S140、接收由目标终端所采集并上传的当前动作特征数据，依次通过动作分解和根据所述人体动作映射表数据转化，得到对应的当前动作数据集合。
在本实施例中，在获取所述标准动作数据集合后，通过VR设备实时扫描人体动作，得到当前动作。通过对当前动作进行动作特征采集，从而得到当前动作特征数据。之后对当前动作特征数据进行动作分解，得到当前3D节点数据。将当前3D节点数据转化成相应的当前描述性节点数据，通过当前描述性节点数据可以识别出动作的细微变化之处，最终得到一套当前动作数据集合。具体过程参考步骤S110-步骤S130。即步骤S140中对当前动作特征数据进行动作分解的具体过程参考步骤S120，步骤S140中对当前动作特征数据根据所述人体动作映射表数据转化的具体过程参考步骤S130。
S150、获取所述当前动作数据集合中人体动作序列与所述标准动作数据集合中对应的人体动作序列之间的当前相似度；其中，所述当前动作数据集合中的多个依时序排列的人体动作值组成与所述当前动作数据集合对应的人体动作序列，所述标准动作数据集合中的多个依时序排列的人体动作值组成与所述标准动作数据集合对应的人体动作序列。
在本实施例中，通过VR设备实时采集人体动作，并和标准动作进行匹配识别，识别当前动作与标准动作的相似度，以对错误动作进行及时提示。
具体的，由于所述当前动作数据集合中包括多个人体动作值(例如[1323579]),这一当前动作数据集合可以视为一个行向量。同样的，所述标准动作数据集合也由多个人体动作值组成行向量，计算这两个行向量之间的欧氏距离，即可获取所述当前动作数据集合与所述标准动作数据集合中对应数据集合之间的当前相似度。
在一实施例中，如图6所示，步骤S150包括：
S151、获取所述当前动作数据集合中各人体动作序列对应的第一一维行向量；
S152、获取所述标准动作数据集合中各人体动作序列对应的第二一维行向量；
S153、获取所述第一一维行向量与所述第二一维行向量之间的欧氏距离，以所述欧氏距离作为所述当前相似度。
在本实施例中，当获取了所述当前动作数据集合对应的第一一维行向量，和所述标准动作数据集合对应的第二一维行向量后，即可计算两个行向量之间的欧氏距离，以所述欧氏距离作为所述当前相似度。通过这一计算方式，能对经过同样时长所述采集的当前动作数据集合和标准动作数据集合进行相似度计算，以作为是否进行非标准动作的及时提示所参考的参数依据。
S160、若所述相似度低于预设的相似度阈值，将所述当前相似度的提醒信息发送至对应的目标终端。
在本实施例中，若所述相似度低于预设的相似度阈值，将所述当前相似度的提醒信息发送至对应的目标终端，表示经过同样时长所述采集的当前动作数据集合和标准动作数据集合之间的相似度较低，即当前动作特征数据对应的当前动作并不标准，需要提示用户及时矫正动作。其中，所述提醒信息中包括相似度的取值，以及提示相似度低于相似度阈值的文本信息。例如，所述提醒信息为：您的当前动作的相似度为90％，低于达标相似度95％，请注意矫正动作。
该方法实现了由VR实时扫描人体动作，并和标准动作进行匹配识别，精准识别当前的动作与标准动作的相似度，对于错误动作进行及时提示。
本申请实施例还提供一种VR体感数据检测装置，该VR体感数据检测装置用于执行前述VR体感数据检测方法的任一实施例。具体地，请参阅图7，图7是本申请实施例提供的VR体感数据检测装置的示意性框图。该VR体感数据检测装置100可以配置于服务器中。
如图7所示，VR体感数据检测装置100包括初始标准数据采集单元110、标准3D节点数据获取单元120、标准动作数据集合获取单元130、当前动作数据集合获取单元140、当前相似度计算单元150、通知单元160。
初始标准数据采集单元110，用于接收由采集终端中各关键传感器所采集并上传的标准动作特征数据。
在本实施例中，通过VR设备作为采集终端可对人体做出的连续动作进行采集。由于VR设备即虚拟现实硬件设备，一般包括交互设备，交互设备包括位置追踪仪、数据手套、三维鼠标、动作捕捉设备、眼动仪、力反馈设备以及其他交互设备。例如，当VR设备为动作捕捉设备时则是包括多个关键传感器(关键传感器一般采用加速度传感器或是姿态传感器)，用户穿戴VR设备时，VR设备中的多个关键传感器分布在用户身上的多个关键位置，如头部，左手手掌，左手肘关节，右手掌，右手肘关节，左膝关节，右膝关节等。通过VR设备实时扫描人体动作，得到一套标准动作。之后VR设备将该套标准动作进行动作特征采集，从而得到标准动作特征数据，之后由VR设备将所述标准动作特征数据上传至服务器。
即用户穿戴了VR设备后，一般针对需要采集的人体关节节点位置处都设置了传感器，这些节点均为关键传感器节点。当用户每作出一个动作，均能采集到与该动作对应的动作特征数据。由于为了先录入标准动作，此时先通过VR设备采集标准动作所对应的的标准动作特征数据。
标准3D节点数据获取单元120，用于通过对所述标准动作特征数据进行动作分解得到标准3D节点数据。
在本实施例中，对所述标准动作特征数据进行动作分解时，是基于点云数据和匹配矩阵进行转化。利用所述标准动作特征数据进行动作分解时，是基于该标准动作特征数据所对应的原始的多帧彩色图像。
在一实施例中，VR体感数据检测装置100还包括：
彩色图像获取单元，用于采集与所述标准动作特征数据对应的彩色图像；
灰度化处理单元，用于将所述彩色图像进行灰度化处理，得到灰度图像。
在本实施例中，可以利用微软提供的Kinect相机的开发者工具Kinect Fusion Explorer-D2D获取stl格式的标准动作特征数据。还可以利用Kinect相机的另一个开发者工具Kinect Explorer-D2D采集与所述标准特征数据对应的彩色图像。为了在最大程度保持图像的图像特征的前提下降低图像大小，可以通过最大发对所述彩色图像进行灰度化处理。即取所述彩色图像中每一像素点的R、G、B值中的最大值以作为该像素点的灰度值，从而将所述彩色图像进行灰度化处理，得到灰度图像。
在一实施例中，如图8所示，标准3D节点数据获取单元120包括：
点云数据获取单元121，用于将所采集的标准动作特征数据转化为点云数据；
第一屏幕坐标获取单元122，用于获取各关键传感器节点在灰度图像上的标记点所对应的屏幕坐标；
点云特征点集获取单元123，用于获取所述点云数据中的点云特征点，以组成点云特征点集；
手指指尖特征获取单元124，用于获取点云特征点集中5个手指指尖的点云特征点，及与5个手指指尖的点云特征点对应的3D节点数据；
匹配矩阵获取单元125，用于根据5个手指指尖的点云特征点对应的屏幕坐标矩阵，及根据5个手指指尖对应的3D节点数据相应三维坐标矩阵的逆矩阵，对应获取匹配矩阵；
标记点处理单元126，用于获取各关键传感器节点在灰度图像上的标记点中去掉5个手指指尖的剩余标记点，以得到灰度图像上的剩余标记点集；
节点数据转化单元127，用于将所述剩余标记点集中各标记点对应的屏幕坐标乘以所述匹配矩阵，得到与所述标准动作特征数据对应的标准3D节点数据。
在本实施例中，为了更清楚的理解由标准动作特征数据通过动作分解得到3D节点数据的过程，下面以手部手势为例来说明。
当通过了微软提供的Kinect相机的开发者工具Kinect Fusion Explorer-D2D获取stl格式的标准动作特征数据后，可先通过Geomagic软件(即杰魔软件)将所述标准动作特征数据转化为点云数据。
之后，再获取灰度图像中各关键传感器节点在灰度图像上的标记点所对应的屏幕坐标，实现各关键传感器节点在灰度图像上的一一映射。
获取了点云数据后，可以采用Geomagic软件对点云数据对所述点云数据进行曲面拟合和法向量计算，得到曲面里点与点之间的法向量夹角以进行特征点提取。具体的，当曲面中该点与邻域点的法向量的夹角大于或者等于预先设置的夹角阈值，则该点是特征点；相反，如果，如果该点与邻域点的法向量的夹角小于夹角阈值，则该点不是特征点，直至点云数据中的所有特征点被提取出来，得到点云特征点。
然后，获取点云特征点集中5个手指指尖的点云特征点，及与5个手指指尖的点云特征点对应的3D节点数据，并获取彩色图像中5个手指指尖对应的屏幕坐标，根据由5个手指 指尖的点云特征点对应的3D节点数据组成的三维坐标矩阵与由5个手指指尖对应的屏幕坐标组成的屏幕坐标矩阵获取匹配矩阵。
最后，将彩色图像中剩余的标记点通过乘以匹配矩阵，以得到对应的标准3D节点数据。通过获取匹配矩阵，能有效的将各关键传感器节点在彩色图像中的标记点转化为标准3D节点数据。
在一实施例中，如图9所示，第一屏幕坐标获取单元122包括：
初始灰度阈值获取单元1221，用于根据所述灰度图像的最大灰度值和最小灰度值获取初始灰度阈值；
背景分离单元1222，用于根据所述初始灰度阈值将所述灰度图像划分为目标区域和背景区域以组成分割图像，并获取与目标区域对应的第一平均灰度值、及与背景区域对应的第二平均灰度值；
第二屏幕坐标获取单元1223，用于获取各关键传感器节点在分割图像上的标记点所对应的屏幕坐标。
在本实施例中，先根据灰度图像的最大灰度值和最小灰度值获取初始灰度阈值；即T 0＝(f max+f min)/2，其中f max为灰度图像的最大灰度值，f min为灰度图像的最小灰度值。
然后，根据初始灰度阈值将灰度图像划分为目标区域和背景区域以组成分割图像，并获取与目标区域对应的第一平均灰度值、及与背景区域对应的第二平均灰度值。
最后，获取所述分割图像中各关键传感器节点在分割图像上的标记点所对应的屏幕坐标。
由于中各关键传感器节点在灰度图像上的标记点在经历灰度化后仍能保留在灰度图像上，此时求得各标记点对应的屏幕坐标参考如上公式(1)和公式(2)。
在一实施例中，如图10所示，匹配矩阵获取单元125包括：
三维坐标矩阵获取单元1251，用于根据5个手指指尖的点云特征点，获取与5个手指指尖的点云特征点对应的3D节点数据，以组成三维坐标矩阵；
屏幕坐标矩阵获取单元1252，用于获取所述彩色图像中与5个手指指尖对应的屏幕坐标，以组成屏幕坐标矩阵；
匹配矩阵计算单元1253，用于将所述三维坐标矩阵的逆矩阵乘以所述屏幕坐标矩阵，得到对应的匹配矩阵。
在本实施例中，设彩色图像中5个手指指尖对应的屏幕坐标组成的屏幕坐标矩阵为A，且5个手指指尖的点云特征点对应的3D节点数据组成的三维坐标矩阵为B，则B -1A＝H，其中H为匹配矩阵。以彩色图像中5个手指指尖对应的屏幕坐标矩阵，和5个手指指尖的点云特征点对应的3D节点数据组成的三维坐标矩阵为参考而计算的匹配矩阵能作为精准度较高的转化矩阵，有效将各关键传感器节点在彩色图像中的标记点转化为标准3D节点数据。
标准动作数据集合获取单元130，用于将所述标准3D节点数据根据预先设置的人体动作映射表进行数据转化，得到对应的标准动作数据集合；其中，所述人体动作映射表中存储有多种标准3D节点数据与标准动作数据的映射关系。
在本实施例中，将3D节点数据转化成相应的描述性节点数据，通过描述性节点数据可以识别出动作的细微变化之处，最终得到一套标准动作数据集合。
具体的，3D节点数据可以理解为人体关键节点对应的三维空间坐标数据，每一帧的彩色图像对应的各3D节点数据即可组成该帧彩色图像对应的3D节点数据集，计算每两个相邻帧之间的3D节点数据集之间的差异值(这一差异值可记为描述性节点数据)，根据该差异值在预先设置的人体动作映射表查询该差异值对应的人体动作值，即可由多个人体动作值组合得到对应的标准动作数据集合。其中，所述人体动作映射表中存储有多种标准3D节点数据与标准动作数据的映射关系。
当前动作数据集合获取单元140，用于接收由目标终端所采集并上传的当前动作特征数据，依次通过动作分解和根据所述人体动作映射表数据转化，得到对应的当前动作数据集合。
在本实施例中，在获取所述标准动作数据集合后，通过VR设备实时扫描人体动作，得 到当前动作。通过对当前动作进行动作特征采集，从而得到当前动作特征数据。之后对当前动作特征数据进行动作分解，得到当前3D节点数据。将当前3D节点数据转化成相应的当前描述性节点数据，通过当前描述性节点数据可以识别出动作的细微变化之处，最终得到一套当前动作数据集合。具体过程参考步骤S110-步骤S130。
当前相似度计算单元150，用于获取所述当前动作数据集合中人体动作序列与所述标准动作数据集合中对应的人体动作序列之间的当前相似度；其中，所述当前动作数据集合中的多个依时序排列的人体动作值组成与所述当前动作数据集合对应的人体动作序列，所述标准动作数据集合中的多个依时序排列的人体动作值组成与所述标准动作数据集合对应的人体动作序列。
在本实施例中，通过VR设备实时采集人体动作，并和标准动作进行匹配识别，识别当前动作与标准动作的相似度，以对错误动作进行及时提示。
具体的，由于所述当前动作数据集合中包括多个人体动作值(例如[1323579]),这一当前动作数据集合可以视为一个行向量。同样的，所述标准动作数据集合也由多个人体动作值组成行向量，计算这两个行向量之间的欧氏距离，即可获取所述当前动作数据集合与所述标准动作数据集合中对应数据集合之间的当前相似度。
在一实施例中，如图11所示，当前相似度计算单元150包括：
第一一维行向量获取单元151，用于获取所述当前动作数据集合中各人体动作序列对应的第一一维行向量；
第二一维行向量获取单元152，用于获取所述标准动作数据集合中各人体动作序列对应的第二一维行向量；
欧氏距离计算单元153，用于获取所述第一一维行向量与所述第二一维行向量之间的欧氏距离，以所述欧氏距离作为所述当前相似度。
在本实施例中，当获取了所述当前动作数据集合对应的第一一维行向量，和所述标准动作数据集合对应的第二一维行向量后，即可计算两个行向量之间的欧氏距离，以所述欧氏距离作为所述当前相似度。通过这一计算方式，能对经过同样时长所述采集的当前动作数据集合和标准动作数据集合进行相似度计算，以作为是否进行非标准动作的及时提示所参考的参数依据。
通知单元160，用于若所述相似度低于预设的相似度阈值，将所述当前相似度的提醒信息发送至对应的目标终端。
在本实施例中，若所述相似度低于预设的相似度阈值，将所述当前相似度的提醒信息发送至对应的目标终端，表示经过同样时长所述采集的当前动作数据集合和标准动作数据集合之间的相似度较低，即当前动作特征数据对应的当前动作并不标准，需要提示用户及时矫正动作。其中，所述提醒信息中包括相似度的取值，以及提示相似度低于相似度阈值的文本信息。例如，所述提醒信息为：您的当前动作的相似度为90％，低于达标相似度95％，请注意矫正动作。
该装置实现了由VR实时扫描人体动作，并和标准动作进行匹配识别，精准识别当前的动作与标准动作的相似度，对于错误动作进行及时提示。
上述VR体感数据检测装置可以实现为计算机程序的形式，该计算机程序可以在如图12所示的计算机设备上运行。
请参阅图12，图12是本申请实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图12，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行VR体感数据检测方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行VR体感数据检测方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本申请实施例公开的VR体感数据检测方法。
本领域技术人员可以理解，图12中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图12所示实施例一致，在此不再赘述。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(Central ProcessingUnit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本申请的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性或者可以为易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本申请实施例公开的VR体感数据检测方法。
在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

  1. 一种VR体感数据检测方法，其中，包括：
    接收由采集终端中各关键传感器所采集并上传的标准动作特征数据；
    通过对所述标准动作特征数据进行动作分解得到标准3D节点数据；
    将所述标准3D节点数据根据预先设置的人体动作映射表进行数据转化，得到对应的标准动作数据集合；其中，所述人体动作映射表中存储有多种标准3D节点数据与标准动作数据的映射关系；
    接收由目标终端所采集并上传的当前动作特征数据，依次通过动作分解和根据所述人体动作映射表数据转化，得到对应的当前动作数据集合；
    获取所述当前动作数据集合中人体动作序列与所述标准动作数据集合中对应的人体动作序列之间的当前相似度；其中，所述当前动作数据集合中的多个依时序排列的人体动作值组成与所述当前动作数据集合对应的人体动作序列，所述标准动作数据集合中的多个依时序排列的人体动作值组成与所述标准动作数据集合对应的人体动作序列；以及
    若所述相似度低于预设的相似度阈值，将所述当前相似度的提醒信息发送至对应的目标终端。
  2. 根据权利要求1所述的VR体感数据检测方法，其中，所述通过对所述标准动作特征数据进行动作分解得到标准3D节点数据之前，还包括：
    采集与所述标准动作特征数据对应的彩色图像；
    将所述彩色图像进行灰度化处理，得到灰度图像。
  3. 根据权利要求2所述的VR体感数据检测方法，其中，所述通过对所述标准动作特征数据进行动作分解得到标准3D节点数据，包括：
    将所采集的标准动作特征数据转化为点云数据；
    获取各关键传感器节点在灰度图像上的标记点所对应的屏幕坐标；
    获取所述点云数据中的点云特征点，以组成点云特征点集；
    获取点云特征点集中5个手指指尖的点云特征点，及与5个手指指尖的点云特征点对应的3D节点数据；
    根据5个手指指尖的点云特征点对应的屏幕坐标矩阵，及根据5个手指指尖对应的3D节点数据相应三维坐标矩阵的逆矩阵，对应获取匹配矩阵；
    获取各关键传感器节点在灰度图像上的标记点中去掉5个手指指尖的剩余标记点，以得到灰度图像上的剩余标记点集；
    将所述剩余标记点集中各标记点对应的屏幕坐标乘以所述匹配矩阵，得到与所述标准动作特征数据对应的标准3D节点数据。
  4. 根据权利要求3所述的VR体感数据检测方法，其中，所述获取各关键传感器节点在灰度图像上的标记点所对应的屏幕坐标，包括：
    根据所述灰度图像的最大灰度值和最小灰度值获取初始灰度阈值；
    根据所述初始灰度阈值将所述灰度图像划分为目标区域和背景区域以组成分割图像，并获取与目标区域对应的第一平均灰度值、及与背景区域对应的第二平均灰度值；
    获取各关键传感器节点在分割图像上的标记点所对应的屏幕坐标。
  5. 根据权利要求3所述的VR体感数据检测方法，其中，所述根据5个手指指尖的点云特征点对应的屏幕坐标矩阵，及根据5个手指指尖对应的3D节点数据相应三维坐标矩阵的逆矩阵，对应获取匹配矩阵，包括：
    根据5个手指指尖的点云特征点，获取与5个手指指尖的点云特征点对应的3D节点数据，以组成三维坐标矩阵；
    获取所述彩色图像中与5个手指指尖对应的屏幕坐标，以组成屏幕坐标矩阵；
    将所述三维坐标矩阵的逆矩阵乘以所述屏幕坐标矩阵，得到对应的匹配矩阵。
  6. 根据权利要求1所述的VR体感数据检测方法，其中，所述获取所述当前动作数据集合中人体动作序列与所述标准动作数据集合中对应的人体动作序列之间的当前相似度，包括：
    获取所述当前动作数据集合中各人体动作序列对应的第一一维行向量；
    获取所述标准动作数据集合中各人体动作序列对应的第二一维行向量；
    获取所述第一一维行向量与所述第二一维行向量之间的欧氏距离，以所述欧氏距离作为所述当前相似度。
  7. 一种VR体感数据检测装置，其中，包括：
    初始标准数据采集单元，用于接收由采集终端中各关键传感器所采集并上传的标准动作特征数据；
    标准3D节点数据获取单元，用于通过对所述标准动作特征数据进行动作分解得到标准3D节点数据；
    标准动作数据集合获取单元，用于将所述标准3D节点数据根据预先设置的人体动作映射表进行数据转化，得到对应的标准动作数据集合；其中，所述人体动作映射表中存储有多种标准3D节点数据与标准动作数据的映射关系；
    当前动作数据集合获取单元，用于接收由目标终端所采集并上传的当前动作特征数据，依次通过动作分解和根据所述人体动作映射表数据转化，得到对应的当前动作数据集合；
    当前相似度计算单元，用于获取所述当前动作数据集合中人体动作序列与所述标准动作数据集合中对应的人体动作序列之间的当前相似度；其中，所述当前动作数据集合中的多个依时序排列的人体动作值组成与所述当前动作数据集合对应的人体动作序列，所述标准动作数据集合中的多个依时序排列的人体动作值组成与所述标准动作数据集合对应的人体动作序列；以及
    通知单元，用于若所述相似度低于预设的相似度阈值，将所述当前相似度的提醒信息发送至对应的目标终端。
  8. 根据权利要求7所述的VR体感数据检测装置，其中，所述当前相似度计算单元，包括：
    第一一维行向量获取单元，用于获取所述当前动作数据集合中各人体动作序列对应的第一一维行向量；
    第二一维行向量获取单元，用于获取所述标准动作数据集合中各人体动作序列对应的第二一维行向量；
    欧氏距离计算单元，用于获取所述第一一维行向量与所述第二一维行向量之间的欧氏距离，以所述欧氏距离作为所述当前相似度。
  9. 一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现一种VR体感数据检测方法其中，包括：
    接收由采集终端中各关键传感器所采集并上传的标准动作特征数据；
    通过对所述标准动作特征数据进行动作分解得到标准3D节点数据；
    将所述标准3D节点数据根据预先设置的人体动作映射表进行数据转化，得到对应的标准动作数据集合；其中，所述人体动作映射表中存储有多种标准3D节点数据与标准动作数据的映射关系；
    接收由目标终端所采集并上传的当前动作特征数据，依次通过动作分解和根据所述人体动作映射表数据转化，得到对应的当前动作数据集合；
    获取所述当前动作数据集合中人体动作序列与所述标准动作数据集合中对应的人体动作序列之间的当前相似度；其中，所述当前动作数据集合中的多个依时序排列的人体动作值组成与所述当前动作数据集合对应的人体动作序列，所述标准动作数据集合中的多个依时序排列的人体动作值组成与所述标准动作数据集合对应的人体动作序列；以及
    若所述相似度低于预设的相似度阈值，将所述当前相似度的提醒信息发送至对应的目标终端。
  10. 根据权利要求9所述的计算机设备，其中，所述通过对所述标准动作特征数据进行动作分解得到标准3D节点数据之前，还包括：
    采集与所述标准动作特征数据对应的彩色图像；
    将所述彩色图像进行灰度化处理，得到灰度图像。
  11. 根据权利要求10所述的计算机设备，其中，所述通过对所述标准动作特征数据进行动作分解得到标准3D节点数据，包括：
    将所采集的标准动作特征数据转化为点云数据；
    获取各关键传感器节点在灰度图像上的标记点所对应的屏幕坐标；
    获取所述点云数据中的点云特征点，以组成点云特征点集；
    获取点云特征点集中5个手指指尖的点云特征点，及与5个手指指尖的点云特征点对应的3D节点数据；
    根据5个手指指尖的点云特征点对应的屏幕坐标矩阵，及根据5个手指指尖对应的3D节点数据相应三维坐标矩阵的逆矩阵，对应获取匹配矩阵；
    获取各关键传感器节点在灰度图像上的标记点中去掉5个手指指尖的剩余标记点，以得到灰度图像上的剩余标记点集；
    将所述剩余标记点集中各标记点对应的屏幕坐标乘以所述匹配矩阵，得到与所述标准动作特征数据对应的标准3D节点数据。
  12. 根据权利要求11所述的计算机设备，其中，所述获取各关键传感器节点在灰度图像上的标记点所对应的屏幕坐标，包括：
    根据所述灰度图像的最大灰度值和最小灰度值获取初始灰度阈值；
    根据所述初始灰度阈值将所述灰度图像划分为目标区域和背景区域以组成分割图像，并获取与目标区域对应的第一平均灰度值、及与背景区域对应的第二平均灰度值；
    获取各关键传感器节点在分割图像上的标记点所对应的屏幕坐标。
  13. 根据权利要求11所述的计算机设备，其中，所述根据5个手指指尖的点云特征点对应的屏幕坐标矩阵，及根据5个手指指尖对应的3D节点数据相应三维坐标矩阵的逆矩阵，对应获取匹配矩阵，包括：
    根据5个手指指尖的点云特征点，获取与5个手指指尖的点云特征点对应的3D节点数据，以组成三维坐标矩阵；
    获取所述彩色图像中与5个手指指尖对应的屏幕坐标，以组成屏幕坐标矩阵；
    将所述三维坐标矩阵的逆矩阵乘以所述屏幕坐标矩阵，得到对应的匹配矩阵。
  14. 根据权利要求9所述的计算机设备，其中，所述获取所述当前动作数据集合中人体动作序列与所述标准动作数据集合中对应的人体动作序列之间的当前相似度，包括：
    获取所述当前动作数据集合中各人体动作序列对应的第一一维行向量；
    获取所述标准动作数据集合中各人体动作序列对应的第二一维行向量；
    获取所述第一一维行向量与所述第二一维行向量之间的欧氏距离，以所述欧氏距离作为所述当前相似度。
  15. 一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行一种所述的VR体感数据检测方法，其中，包括：
    接收由采集终端中各关键传感器所采集并上传的标准动作特征数据；
    通过对所述标准动作特征数据进行动作分解得到标准3D节点数据；
    将所述标准3D节点数据根据预先设置的人体动作映射表进行数据转化，得到对应的标准动作数据集合；其中，所述人体动作映射表中存储有多种标准3D节点数据与标准动作数据的映射关系；
    接收由目标终端所采集并上传的当前动作特征数据，依次通过动作分解和根据所述人体动作映射表数据转化，得到对应的当前动作数据集合；
    获取所述当前动作数据集合中人体动作序列与所述标准动作数据集合中对应的人体动作序列之间的当前相似度；其中，所述当前动作数据集合中的多个依时序排列的人体动作值组成与所述当前动作数据集合对应的人体动作序列，所述标准动作数据集合中的多个依时序排列的人体动作值组成与所述标准动作数据集合对应的人体动作序列；以及
    若所述相似度低于预设的相似度阈值，将所述当前相似度的提醒信息发送至对应的目标终端。
  16. 根据权利要求15所述的存储介质，其中，所述通过对所述标准动作特征数据进行动作分解得到标准3D节点数据之前，还包括：
    采集与所述标准动作特征数据对应的彩色图像；
    将所述彩色图像进行灰度化处理，得到灰度图像。
  17. 根据权利要求16所述的存储介质，其中，所述通过对所述标准动作特征数据进行动作分解得到标准3D节点数据，包括：
    将所采集的标准动作特征数据转化为点云数据；
    获取各关键传感器节点在灰度图像上的标记点所对应的屏幕坐标；
    获取所述点云数据中的点云特征点，以组成点云特征点集；
    获取点云特征点集中5个手指指尖的点云特征点，及与5个手指指尖的点云特征点对应的3D节点数据；
    根据5个手指指尖的点云特征点对应的屏幕坐标矩阵，及根据5个手指指尖对应的3D节点数据相应三维坐标矩阵的逆矩阵，对应获取匹配矩阵；
    获取各关键传感器节点在灰度图像上的标记点中去掉5个手指指尖的剩余标记点，以得到灰度图像上的剩余标记点集；
    将所述剩余标记点集中各标记点对应的屏幕坐标乘以所述匹配矩阵，得到与所述标准动作特征数据对应的标准3D节点数据。
  18. 根据权利要求17所述的存储介质，其中，所述获取各关键传感器节点在灰度图像上的标记点所对应的屏幕坐标，包括：
    根据所述灰度图像的最大灰度值和最小灰度值获取初始灰度阈值；
    根据所述初始灰度阈值将所述灰度图像划分为目标区域和背景区域以组成分割图像，并获取与目标区域对应的第一平均灰度值、及与背景区域对应的第二平均灰度值；
    获取各关键传感器节点在分割图像上的标记点所对应的屏幕坐标。
  19. 根据权利要求17所述的存储介质，其中，所述根据5个手指指尖的点云特征点对应的屏幕坐标矩阵，及根据5个手指指尖对应的3D节点数据相应三维坐标矩阵的逆矩阵，对应获取匹配矩阵，包括：
    根据5个手指指尖的点云特征点，获取与5个手指指尖的点云特征点对应的3D节点数据，以组成三维坐标矩阵；
    获取所述彩色图像中与5个手指指尖对应的屏幕坐标，以组成屏幕坐标矩阵；
    将所述三维坐标矩阵的逆矩阵乘以所述屏幕坐标矩阵，得到对应的匹配矩阵。
  20. 根据权利要求15所述的存储介质，其中，所述获取所述当前动作数据集合中人体动作序列与所述标准动作数据集合中对应的人体动作序列之间的当前相似度，包括：
    获取所述当前动作数据集合中各人体动作序列对应的第一一维行向量；
    获取所述标准动作数据集合中各人体动作序列对应的第二一维行向量；
    获取所述第一一维行向量与所述第二一维行向量之间的欧氏距离，以所述欧氏距离作为所述当前相似度。
PCT/CN2020/087024 2019-11-22 2020-04-26 Vr体感数据检测方法、装置、计算机设备及存储介质 WO2021098147A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911154959.XA CN111160088A (zh) 2019-11-22 2019-11-22 Vr体感数据检测方法、装置、计算机设备及存储介质
CN201911154959.X 2019-11-22

Publications (1)

Publication Number Publication Date
WO2021098147A1 true WO2021098147A1 (zh) 2021-05-27

Family

ID=70556115

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/087024 WO2021098147A1 (zh) 2019-11-22 2020-04-26 Vr体感数据检测方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN111160088A (zh)
WO (1) WO2021098147A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705536A (zh) * 2021-09-18 2021-11-26 深圳市领存技术有限公司 连续动作打分方法、装置及存储介质
CN115661935A (zh) * 2022-10-31 2023-01-31 海信集团控股股份有限公司 一种人体动作准确度确定方法和设备
CN113705536B (zh) * 2021-09-18 2024-05-24 深圳市领存技术有限公司 连续动作打分方法、装置及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113058261B (zh) * 2021-04-22 2024-04-19 杭州当贝网络科技有限公司 基于现实场景和游戏场景的体感动作识别方法及系统
CN114418460B (zh) * 2022-03-28 2022-06-10 四川高速公路建设开发集团有限公司 应用于bim的施工流程信息分析方法及建设管理系统
CN114694263B (zh) * 2022-05-30 2022-09-02 深圳智华科技发展有限公司 动作识别方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015161307A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Systems and methods for augmented and virtual reality
CN107030692A (zh) * 2017-03-28 2017-08-11 浙江大学 一种基于感知增强的机械手遥操作方法及系统
CN108664119A (zh) * 2017-10-31 2018-10-16 中国农业大学 一种配置体感动作与虚拟操作间映射关系的方法及装置
CN108875708A (zh) * 2018-07-18 2018-11-23 广东工业大学 基于视频的行为分析方法、装置、设备、系统及存储介质
CN110020633A (zh) * 2019-04-12 2019-07-16 腾讯科技（深圳）有限公司 姿态识别模型的训练方法、图像识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015161307A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Systems and methods for augmented and virtual reality
CN107030692A (zh) * 2017-03-28 2017-08-11 浙江大学 一种基于感知增强的机械手遥操作方法及系统
CN108664119A (zh) * 2017-10-31 2018-10-16 中国农业大学 一种配置体感动作与虚拟操作间映射关系的方法及装置
CN108875708A (zh) * 2018-07-18 2018-11-23 广东工业大学 基于视频的行为分析方法、装置、设备、系统及存储介质
CN110020633A (zh) * 2019-04-12 2019-07-16 腾讯科技（深圳）有限公司 姿态识别模型的训练方法、图像识别方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705536A (zh) * 2021-09-18 2021-11-26 深圳市领存技术有限公司 连续动作打分方法、装置及存储介质
CN113705536B (zh) * 2021-09-18 2024-05-24 深圳市领存技术有限公司 连续动作打分方法、装置及存储介质
CN115661935A (zh) * 2022-10-31 2023-01-31 海信集团控股股份有限公司 一种人体动作准确度确定方法和设备

Also Published As

Publication number Publication date
CN111160088A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
WO2021098147A1 (zh) Vr体感数据检测方法、装置、计算机设备及存储介质
JP6942488B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US11017210B2 (en) Image processing apparatus and method
WO2022166243A1 (zh) 捏合手势检测识别方法、装置及系统
CN109934065B (zh) 一种用于手势识别的方法和装置
JP6554900B2 (ja) テンプレート作成装置及びテンプレート作成方法
JP2008527541A5 (zh)
CN109359514B (zh) 一种面向deskVR的手势跟踪识别联合策略方法
CN109544606B (zh) 基于多个Kinect的快速自动配准方法及系统
US9734435B2 (en) Recognition of hand poses by classification using discrete values
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及系统
CN107272899B (zh) 一种基于动态手势的vr交互方法、装置及电子设备
KR101559502B1 (ko) 실시간 손 포즈 인식을 통한 비접촉식 입력 인터페이스 방법 및 기록 매체
JP2018119833A (ja) 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
CN111210275B (zh) 基于vr数据的用户画像构建方法、装置及计算机设备
JP5704909B2 (ja) 注目領域検出方法、注目領域検出装置、及びプログラム
JP4710426B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN116580169B (zh) 一种数字人驱动方法及装置、电子设备和存储介质
JPH0620055A (ja) 画像信号処理方法とその装置
JP2019149119A (ja) 画像処理装置、画像処理方法及びプログラム
JP2021144359A (ja) 学習装置、推定装置、学習方法、及びプログラム
Makihara et al. Grasp pose detection for deformable daily items by pix2stiffness estimation
KR101868520B1 (ko) 손 제스처 인식 방법 및 그 장치
US20210326657A1 (en) Image recognition method and device thereof and ai model training method and device thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20890014

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 18.10.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20890014

Country of ref document: EP

Kind code of ref document: A1