WO2022001739A1 - 标记点识别方法、装置、设备和存储介质 - Google Patents

标记点识别方法、装置、设备和存储介质 Download PDF

Info

Publication number
WO2022001739A1
WO2022001739A1 PCT/CN2021/101394 CN2021101394W WO2022001739A1 WO 2022001739 A1 WO2022001739 A1 WO 2022001739A1 CN 2021101394 W CN2021101394 W CN 2021101394W WO 2022001739 A1 WO2022001739 A1 WO 2022001739A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
marker point
rigid body
point
points
Prior art date
Application number
PCT/CN2021/101394
Other languages
English (en)
French (fr)
Inventor
吴昆临
许秋子
Original Assignee
深圳市瑞立视多媒体科技有限公司
瑞立视科技(昆明)有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市瑞立视多媒体科技有限公司, 瑞立视科技(昆明)有限公司 filed Critical 深圳市瑞立视多媒体科技有限公司
Publication of WO2022001739A1 publication Critical patent/WO2022001739A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • the present invention relates to the technical field of motion capture, and in particular, to a method, device, device and storage medium for identifying a marker point.
  • Motion capture is a high-tech technology that measures and records the motion trajectory or posture of objects in real three-dimensional space, and reconstructs the state of moving objects in virtual three-dimensional space.
  • motion capture systems There are many types of motion capture systems, which can be generally divided into five categories according to technical principles: mechanical, acoustic, electromagnetic, inertial sensor, and optical.
  • the current optical motion capture technology it can be divided into two types: marked point optics and unmarked point optics, according to different target feature types.
  • the marked point optics will stick multiple marks on the actor's motion capture suit. Point, the motion capture system will calculate the 3D position of these markers in each frame, and then calculate the pose of the actor in the current frame through the position of the motion capture suit corresponding to the 3D position of the previous frame and the 3D position of the current frame. The reason is that sometimes the marked points are not calculated by the motion capture system due to occlusion or other reasons, resulting in confusion in the subsequent calculation of the actor's pose.
  • the main purpose of the present invention is to solve the technical problem of confusion when identifying the rigid body marking points in the existing optical motion capture system under the circumstance that the rigid body is blocked.
  • a first aspect of the present invention provides a marker point identification method, comprising:
  • the recognition results include a rigid marker set and a non-rigid marker set;
  • the preset task allocation algorithm identify the first marker point corresponding to each rigid body marker point in the rigid body marker point set from all the marker points to be identified;
  • the second marker point set is identified, and the corresponding relationship between each non-rigid body marker point in the non-rigid body marker point set and the second marker point in the second marker point set is obtained.
  • the preset task allocation algorithm identify from all the to-be-identified marker points and each rigid body marker point in the rigid body marker point set.
  • the corresponding first marked points include:
  • the preset distance threshold from all the to-be-identified marker points, select a candidate marker point corresponding to each rigid body marker point in the current frame in the rigid body marker point set;
  • a first total loss value where the first loss matrix is smallest is calculated, and a first marker point corresponding to the rigid body marker point is identified from the candidate marker points based on the first total loss value.
  • each rigid body marker point in the rigid body marker point set is selected from all the to-be-identified marker points.
  • the corresponding candidate markers in the current frame include:
  • a to-be-identified marker point whose first distance from the rigid body marker point is smaller than the distance threshold is selected as a candidate marker point corresponding to the rigid body marker point.
  • the constructing the first loss matrix based on the rigid body marker point set and the candidate marker points corresponding to each rigid body marker point includes:
  • a first loss matrix between the rigid body marker point and all the marker points to be identified is constructed.
  • the calculating a first loss value between the rigid body marker point and its corresponding candidate marker point includes:
  • a first loss value between the second rigid body marker point and the corresponding candidate marker point is calculated.
  • the first marker points corresponding to the rigid body marker points identified in include:
  • the first loss value and the second loss value in the first loss matrix calculating a plurality of first total loss values when different rigid body markers are paired with corresponding candidate marker points;
  • a first marker point corresponding to the rigid body marker point is identified from the candidate marker points based on the first total loss value.
  • the second marker point set is identified according to the task allocation algorithm, and each non-rigid body in the non-rigid body marker point set is obtained.
  • the corresponding relationship between the marking point and the second marking point in the second marking point set includes:
  • the distance threshold select a candidate marker point corresponding to each non-rigid marker point in the current frame in the non-rigid marker point set from the second marker point set;
  • a second aspect of the present invention provides a marking point identification device, comprising:
  • an acquisition module used for acquiring the recognition results of the markers of the previous frame in the motion capture system, and all the markers to be recognized in the current frame, wherein the recognition results include a set of rigid markers and a set of non-rigid markers;
  • a first identification module configured to identify a first marker point corresponding to each rigid body marker point in the rigid body marker point set from all the marker points to be identified according to a preset task allocation algorithm
  • a culling module for culling all the first marking points from all the marking points to be identified to obtain a second marking point set
  • the second identification module is configured to identify the second marker point set according to the task allocation algorithm, and obtain each non-rigid marker point in the non-rigid marker point set and the second marker point in the second marker point set. Correspondence of marked points.
  • the first identification module includes:
  • Candidate point selection unit for according to the preset distance threshold, from all the described marking points to be identified, select the corresponding candidate marking point of each rigid marking point in the current frame in the described rigid marking point set;
  • a matrix construction unit configured to construct a first loss matrix based on the rigid body marker point set and the candidate marker points corresponding to each rigid body marker point;
  • an identification unit configured to calculate the minimum first total loss value of the first loss matrix, and identify a first marker point corresponding to the rigid body marker point from the candidate marker points based on the first total loss value .
  • the candidate point selection unit is specifically used for:
  • a to-be-identified marker point whose first distance from the rigid body marker point is smaller than the distance threshold is selected as a candidate marker point corresponding to the rigid body marker point.
  • the matrix construction unit includes:
  • a loss calculation subunit configured to calculate a first loss value between the rigid body marker point and its corresponding candidate marker point
  • a subunit is set for setting the second loss value between the rigid body marker point and all the non-candidate marker points in the marker points to be identified as a preset value
  • a construction subunit configured to construct a first loss matrix between the rigid body marker point and all the to-be-identified marker points according to the first loss value and the second loss value.
  • the loss calculation subunit is specifically used for:
  • a first loss value between the second rigid body marker point and the corresponding candidate marker point is calculated.
  • the identifying unit is specifically configured to:
  • the first loss value and the second loss value in the first loss matrix calculate a plurality of first total loss values when different rigid body markers are paired with corresponding candidate marker points;
  • a first marker point corresponding to the rigid body marker point is identified from the candidate marker points based on the first total loss value.
  • the second identification module is specifically used for:
  • the distance threshold select a candidate marker point corresponding to each non-rigid marker point in the current frame in the non-rigid marker point set from the second marker point set;
  • a third aspect of the present invention provides a marker point identification device, comprising: a memory and at least one processor, wherein instructions are stored in the memory, the memory and the at least one processor are interconnected by a line; the at least one processor The processor invokes the instructions in the memory to cause the marker recognition device to execute the marker recognition method described above.
  • a fourth aspect of the present invention provides a computer-readable storage medium, where instructions are stored in the computer-readable storage medium, which, when executed on a computer, cause the computer to execute the above-mentioned method for marking point identification.
  • each frame obtains the identification result of the mark point of the previous frame and all the mark points to be identified in the current frame, wherein the identification result includes a rigid body mark point set and a non-rigid body mark point set;
  • FIG. 1 is a schematic diagram of a first embodiment of a method for identifying marker points in an embodiment of the present invention
  • FIG. 2 is a schematic diagram of a second embodiment of a method for identifying marker points in an embodiment of the present invention
  • FIG. 3 is a schematic diagram of a third embodiment of a method for identifying marker points in an embodiment of the present invention.
  • FIG. 4 is a schematic diagram of a fourth embodiment of a method for identifying marker points in an embodiment of the present invention.
  • FIG. 5 is a schematic diagram of a fifth embodiment of a method for identifying a marker point in an embodiment of the present invention.
  • FIG. 6 is a schematic diagram of an embodiment of a marker point identification device in an embodiment of the present invention.
  • FIG. 7 is a schematic diagram of another embodiment of a marker point identification device in an embodiment of the present invention.
  • FIG. 8 is a schematic diagram of an embodiment of a marker point identification device in an embodiment of the present invention.
  • Fig. 10 is the 3D position numerical table of each rigid body marker point of the marker point identification method in the embodiment of the present invention.
  • Fig. 11 is the 3D position numerical table of each mark point to be identified in the mark point identification method in the embodiment of the present invention.
  • FIG. 12 is a correspondence table between each rigid body marker and candidate marker points in the marker point identification method according to the embodiment of the present invention.
  • the embodiments of the present invention provide a marker point identification method, device, device and storage medium.
  • the identification result of the marker point of the previous frame and all the markers to be identified in the current frame are obtained through each frame.
  • Marker points wherein the recognition result includes a rigid body marker point set and a non-rigid body marker point set; according to the task allocation algorithm, identify the first marker point corresponding to each rigid body marker point in the rigid body marker point set from all the marker points to be identified ; Eliminate all the first markers from all the markers to be identified to obtain the second marker set; identify the second marker set according to the task assignment algorithm, and obtain each non-rigid marker in the non-rigid marker set The correspondence between the point and the second marker point in the second marker point set.
  • the first embodiment of the method for identifying a marker point in the embodiment of the present invention includes:
  • the execution body of the present invention may be a marker point identification device, and may also be a terminal or a server, which is not specifically limited here.
  • the embodiment of the present invention is described by taking a server as an execution subject as an example.
  • the motion capture system will capture and identify the marker points on the actor's motion capture suit in each frame, and each frame needs to perform the step of marking points first, and then complete the identification according to the marked points of the previous frame that have been identified.
  • multiple marker points are set on the motion capture suit, and these marker points are set to distinguish between rigid body markers and non-rigid marker points.
  • It refers to an object whose shape and size remain unchanged during motion and after being subjected to force, and the relative position of each internal point remains unchanged.
  • an absolute rigid body does not exist, but is only an ideal model, because any object is subjected to force. After the action, they are all deformed more or less. If the degree of deformation is extremely small relative to the geometric size of the object itself, the deformation can be ignored when studying the motion of the object.
  • the object can be regarded as a rigid body, and in motion capture.
  • the capture system will obtain the 3D position of the marker in the system in each frame.
  • the movement position of some parts of the body between frames is very small.
  • these parts can be regarded as Rigid body, such as head, forearm, calf and other parts, and set the marker points on these parts as rigid body marker points, and the marker points captured in the previous frame except the rigid body marker points are all non-rigid body marker points.
  • a certain number of marking points will be set on the corresponding part of each rigid body, generally not less than 4, which is not limited in the invention, because the relative positions of the rigid body marking points of the rigid body are almost identical. Therefore, by prioritizing the identification of the marked points on the rigid body, the efficiency and identification accuracy are high.
  • the task allocation algorithm may be a Hungarian algorithm, a simulated annealing algorithm, a network flow algorithm, etc., which is not limited in the present invention.
  • the set includes LFHD, RFHD, RFHD and RBHD as an example.
  • the marker points to be recognized by the motion capture system in the current frame are points 1, 2, 3, 4, 5, 6, 7, 8, and 9 respectively, with a total of 9 points.
  • point 3 is the first marker point of the current frame corresponding to LFHD
  • point 2 is the first marker point of the current frame corresponding to RFHD
  • point 6 is corresponding to LBHD
  • points 3, 2, 6 and 5 are the rigid body markers of the head in the current frame point.
  • points 2, 3, 5 and 6 Eliminate from the points 1, 2, 3, 4, 5, 6, 7, 8, and 9 to be identified, and the remaining points 1, 4, 6, 7, 8, and 9 are the ones that have been captured in the current frame.
  • the subsequent steps are mainly to identify the mark points to be identified in the second mark point set.
  • the task allocation algorithm is the same as the above-mentioned task allocation algorithm, and the calculation steps are the same.
  • the marker points that is, the identification of all the marker points to be identified, completes the motion capture of the actor through the position corresponding to each identified marker point to be identified in the current frame.
  • the recognition results of the markers in the previous frame and all the markers to be recognized in the current frame are obtained, wherein the recognition results include a rigid marker set and a non-rigid marker set; according to the task allocation algorithm, from A first marker point corresponding to each rigid body marker point in the rigid body marker point set is identified from all the to-be-identified marker points; all the first marker points are removed from all the to-be-recognized marker points to obtain a second marker point set; According to the task allocation algorithm, the second marker point set is identified, and the corresponding relationship between each non-rigid body marker point in the non-rigid body marker point set and the second marker point in the second marker point set is obtained.
  • the second embodiment of the method for identifying a marker point in the embodiment of the present invention includes:
  • the motion capture system will set the world coordinate system in the system, and set the three-dimensional coordinates according to the position of each marker point of the motion capture suit on the actor in the system.
  • the distance relationship between the two points can be calculated according to the coordinate information of the two points. If the three-dimensional coordinate information of the rigid body marker point is (c 1 , d 1 , e 1 ), the The three-dimensional coordinate information is (c 2 , d 2 , e 2 ), then the formula for calculating the distance between two points is:
  • D is the first distance value between the rigid body marker point of the previous frame and the marker point of the current frame.
  • the purpose of setting the distance threshold is to select a candidate marker with a closer distance for each rigid body marker.
  • the distance threshold is set to 0.2 meters, and the rigid body marker LFHD of the previous frame is captured with the motion of the current frame. If the distance between marker 2 captured by the system is 0.3 meters, marker 2 is not a candidate marker for LFHD, and the distance between LFHD and captured marker 3 is 0.15 meters, then marker 3 is a candidate for LFHD Mark the point.
  • the embodiment of the present invention describes in detail the process of selecting a candidate marker point corresponding to the rigid body marker point of the previous frame from all the marker points captured by the motion capture system of the current frame. Markers avoid the process of calculating the loss values of all markers captured by the motion capture system of the current frame and the rigid body markers of the previous frame, which greatly saves the calculation process and improves the recognition efficiency and accuracy.
  • the second embodiment of the method for identifying a marker point in the embodiment of the present invention includes:
  • the head area is set as a rigid body as an example
  • the rigid body marker points in the head area are LFHD, RFHD, RFHD and RBHD respectively, and there are a total of 9 marker points captured by the motion capture system in the current frame, Marked as 1, 2, 3, 4, 5, 6, 7, 8, and 9, respectively
  • the candidate markers corresponding to LFHD are points 2, 3, 6,
  • the candidate markers corresponding to RFHD are points 2, 3, 5, 6
  • the candidate marker points corresponding to RFHD are 0, 2, 3, 5, 6,
  • the candidate marker points corresponding to RBHD are 0, 2, 5, 6, and the LFHD in the rigid body marker points is used as the first marker in this embodiment.
  • a marker point respectively calculate the distance between LFHD and other rigid body markers, that is, LFHD-RFHD, LFHD-LBHD and LFHD-RBHD, these distance values are the first distance, in this embodiment, the first distance of LFHD-RFHD The distance value is 0.160.
  • the candidate marker points corresponding to the first rigid body marker point LFHD are points 2, 3, and 6 respectively.
  • the other rigid body marker points are RFHD.
  • the distances between point 2 and point 2, point 2 and point 3, point 2 and point 5, and point 2 and point 6 are calculated respectively, which are 0.000 and 0.135 respectively. , 0.133, 0.199.
  • the distance between point 2 and point 3 is the closest to the distance between LFHD and RFHD.
  • the distance difference is 0.000
  • the distance difference between LFHD-RBHD and the candidate point is 0.003
  • the loss values of LFHD and other candidate markers 3 and 6 are calculated respectively, as well as the rigid markers RFHD, RFHD and RBHD except the first rigid marker LFHD and the corresponding candidate markers loss value between.
  • the loss value of the rigid body marker point and the non-candidate marker point does not need to be calculated, and the loss value is directly set to a large value, such as 100, to facilitate subsequent calculation and selection of the minimum total loss value.
  • first loss value and the second loss value construct a first loss matrix between the rigid body marking point and all the marking points to be identified
  • the embodiment of the present invention describes in detail the process of selecting a candidate marker point corresponding to the rigid body marker point of the previous frame from all the marker points captured by the motion capture system of the current frame. Markers avoid the process of calculating the loss values of all markers captured by the motion capture system of the current frame and the rigid body markers of the previous frame, which greatly saves the calculation process and improves the recognition efficiency and accuracy.
  • the fourth embodiment of the method for identifying a marker point in the embodiment of the present invention includes:
  • the preset distance threshold from all the markers to be identified, select a candidate marker corresponding to each rigid marker in the current frame in the rigid marker set;
  • the first loss value and the second loss value in the first loss matrix calculate a plurality of first total loss values when different rigid body markers are paired with corresponding candidate marker points;
  • the markers to be identified captured by the motion capture system in the current frame are points 1, 2, 3, 4, 5, and 6 , 7, 8, and 9, respectively, the calculated first loss values are shown in Figure 9, and the constructed first loss matrix is as follows:
  • different total loss values can be calculated when different rigid body markers correspond to different candidate marker points.
  • the qualification is that the matching of the rigid body marker points with the candidate marker points does not conflict with other rigid body markers.
  • both the rigid body markers LFHD and RFHD correspond to candidate marker 2.
  • marker 2 is matched with LFHD or with RFHD.
  • the Hungarian algorithm and the simulated annealing algorithm can also be used for calculation to directly obtain the minimum total loss value, which is not limited in the present invention.
  • the rigid body marker points of the rigid body in the previous frame and all the marker points of the current frame are determined through each frame, and according to the distance threshold, the rigid body marker points corresponding to the current frame are selected from all the marker points.
  • the fifth embodiment of the method for identifying a marker point in the embodiment of the present invention includes:
  • a preset task allocation algorithm identify a first marker point corresponding to each rigid body marker point in the rigid body marker point set from all the marker points to be identified;
  • the identification process of the non-rigid body markers in the current frame is similar to the recognition process of the rigid body markers in the previous embodiment, except that the rigid body markers are replaced with non-rigid markers, and all the markers to be identified are replaced by The second marker point set after excluding the rigid body marker points is not repeated in this embodiment.
  • the rigid body marker points of the rigid body in the previous frame and all the marker points of the current frame are determined through each frame, and according to the distance threshold, the rigid body marker points are selected from all the marker points in the current frame.
  • Corresponding candidate marker points construct the first loss matrix according to the rigid body marker points and candidate marker points of the previous frame; calculate the minimum first total loss value of the first loss matrix according to the task allocation algorithm, and based on the first total loss value Identify the rigid body markers corresponding to the rigid body of the current frame from the candidate marker points; delete the rigid body markers of the rigid body of the current frame from all marker points, and identify the corresponding non-rigid body markers of the current frame that are not rigid bodies according to all remaining markers.
  • the rigid body markers LFHD, RFHD, RFHD and RBHD in the head area are obtained, and the 3D position information is shown in Figure 10.
  • the motion capture system captures a total of 9 markers 0, 1, 2, 3, 4, 5, 6, 7, and 8, the 3D position information is shown in Figure 11, and the preset distance is 0.2, then the previous frame LFHD, RFHD, RFHD and RBHD capture the marker points in the current frame
  • the corresponding candidate marker points are shown in Figure 12. Calculate the loss value between the rigid body marker point and the corresponding candidate marker point. Taking LFHD and No.
  • each marker point is there are 4 rigid body marker points on the head, and each marker point is There are 3 sides, taking LFHD as an example, the three sides are LFHD-RFHD, LFHD-LBHD, LFHD-RBHD, and the calculated distance of LFHD-RFHD is 0.160. Calculate the candidate marker points 2 and 3 of RFHD between point 2 and RFHD. The distances between , 4, and 6 are 0.000, 0.135, 0.133, and 0.199, respectively.
  • the distance difference between LFHD-LBHD and candidate marker points is 0.000
  • the distance difference between LFHD-RBHD and candidate points is 0.003
  • the average of the above three distance differences is 0.0093
  • the loss between LFHD and point 2 The value is 0.0093.
  • an embodiment of the device for identifying a marker point provided by the embodiment of the present invention includes:
  • the acquisition module 601 is used to acquire the identification result of the mark point of the previous frame in the motion capture system, and all the mark points to be identified in the current frame, wherein the identification result includes a rigid body mark point set and a non-rigid body mark point set;
  • the first identification module 602 is configured to identify, according to a preset task allocation algorithm, a first marker point corresponding to each rigid body marker point in the rigid body marker point set from all the marker points to be identified;
  • a removal module 603, configured to remove all the first marked points from all the to-be-identified marked points to obtain a second set of marked points;
  • the second identification module 604 is configured to identify the second marker point set according to the task assignment algorithm, and obtain each non-rigid marker point in the non-rigid marker point set and the first marker point in the second marker point set. The correspondence between the two markers.
  • the marker point recognition device runs a marker point recognition method, and the method includes: acquiring the recognition result of the marker point of the previous frame and all the marker points to be recognized in the current frame, wherein the recognition result includes a rigid body Marker point set and non-rigid body marker point set; according to the task assignment algorithm, identify the first marker point corresponding to each rigid body marker point in the rigid body marker point set from all the marker points to be identified; All the markers to be identified are eliminated to obtain the second marker set; according to the task allocation algorithm, the second marker set is identified to obtain each non-rigid marker in the non-rigid marker set and the first marker in the second marker set. The correspondence between the two markers. By identifying the marker points on rigid and non-rigid bodies separately, the frequency of marker point confusion due to occlusion or other reasons can be reduced.
  • another embodiment of the device for identifying a marker point in the embodiment of the present invention includes:
  • the acquisition module 601 is used to acquire the identification result of the mark point of the previous frame in the motion capture system, and all the mark points to be identified in the current frame, wherein the identification result includes a rigid body mark point set and a non-rigid body mark point set;
  • the first identification module 602 is configured to identify, according to a preset task allocation algorithm, a first marker point corresponding to each rigid body marker point in the rigid body marker point set from all the marker points to be identified;
  • a removal module 603, configured to remove all the first marked points from all the to-be-identified marked points to obtain a second set of marked points;
  • the second identification module 604 is configured to identify the second marker point set according to the task assignment algorithm, and obtain each non-rigid marker point in the non-rigid marker point set and the first marker point in the second marker point set. The correspondence between the two markers.
  • the first identification module 602 includes:
  • the candidate point selection unit 6021 is used to select a candidate marker point corresponding to each rigid body marker point in the current frame in the rigid body marker point set from all the to-be-identified marker points according to a preset distance threshold;
  • a matrix construction unit 6022 configured to construct a first loss matrix based on the rigid body marker point set and the candidate marker points corresponding to each rigid body marker point;
  • An identifying unit 6023 configured to calculate the minimum first total loss value of the first loss matrix, and identify a first marker corresponding to the rigid body marker point from the candidate marker points based on the first total loss value point.
  • the candidate point selection unit 6021 is specifically used for:
  • a to-be-identified marker point whose first distance from the rigid body marker point is smaller than the distance threshold is selected as a candidate marker point corresponding to the rigid body marker point.
  • the matrix construction unit 6022 includes:
  • Setting subunit 60222 for setting the second loss value between the rigid body marker point and all the non-candidate marker points in the to-be-identified marker points to a preset value
  • a construction subunit 60223, configured to construct a first loss matrix between the rigid body marker point and all the to-be-identified marker points according to the first loss value and the second loss value.
  • the loss calculation subunit 60221 is specifically used for:
  • a first loss value between the second rigid body marker point and the corresponding candidate marker point is calculated.
  • the identifying unit 6023 is specifically used for:
  • the first loss value and the second loss value in the first loss matrix calculating a plurality of first total loss values when different rigid body markers are paired with corresponding candidate marker points;
  • a first marker point corresponding to the rigid body marker point is identified from the candidate marker points based on the first total loss value.
  • the second identification module 604 is specifically used for:
  • the distance threshold select a candidate marker point corresponding to each non-rigid marker point in the current frame in the non-rigid marker point set from the second marker point set;
  • the marker recognition device runs a marker recognition method, which includes: determining the rigid body marker of the rigid body in the previous frame and the current frame. For all the markers, according to the distance threshold, select the candidate markers corresponding to the rigid markers in the current frame among all markers; construct the first loss matrix according to the rigid markers and candidate markers of the previous frame; according to the task allocation algorithm , calculate the minimum first total loss value of the first loss matrix, and identify the rigid body markers corresponding to the rigid body of the current frame from the candidate markers based on the first total loss value; delete the rigid body markers of the rigid body of the current frame from all markers , and identify the corresponding non-rigid body markers of the current frame of the non-rigid body according to all the remaining markers.
  • FIGS 6 and 7 above describe in detail the marker identification device in the embodiment of the present invention from the perspective of modular functional entities, and the following describes the marker identification device in the embodiment of the present invention in detail from the perspective of hardware processing.
  • FIG. 8 is a schematic structural diagram of a marker recognition device provided by an embodiment of the present invention.
  • the marker recognition device 800 may vary greatly due to different configurations or performances, and may include one or more processors (central processing units). , CPU) 810 (eg, one or more processors) and memory 820, one or more storage media 830 (eg, one or more mass storage devices) storing application programs 833 or data 832.
  • the memory 820 and the storage medium 830 may be short-term storage or persistent storage.
  • the program stored in the storage medium 830 may include one or more modules (not shown), and each module may include a series of instructions to operate on the marker recognition device 800.
  • the processor 810 may be configured to communicate with the storage medium 830 to execute a series of instruction operations in the storage medium 830 on the marker identification device 800 .
  • the marker identification device 800 may also include one or more power supplies 840, one or more wired or wireless network interfaces 850, one or more input and output interfaces 860, and/or, one or more operating systems 831, such as Windows Server , Mac OS X, Unix, Linux, FreeBSD and more.
  • operating systems 831 such as Windows Server , Mac OS X, Unix, Linux, FreeBSD and more.
  • the present invention also provides a computer-readable storage medium.
  • the computer-readable storage medium may be a non-volatile computer-readable storage medium.
  • the computer-readable storage medium may also be a volatile computer-readable storage medium.
  • the computer-readable storage medium stores instructions that, when executed on a computer, cause the computer to perform the steps of the marker point identification method.
  • the integrated unit if implemented in the form of a software functional unit and sold or used as an independent product, may be stored in a computer-readable storage medium.
  • the technical solution of the present invention is essentially or the part that contributes to the prior art, or all or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium , including several instructions for causing a computer device (which may be a personal computer, a server, or a network device, etc.) to execute all or part of the steps of the methods described in the various embodiments of the present invention.
  • the aforementioned storage medium includes: U disk, mobile hard disk, read-only memory (ROM), random access memory (RAM), magnetic disk or optical disk and other media that can store program codes .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及动作捕捉领域，公开了一种标记点识别方法、装置、设备及存储介质，用于识别动作捕捉过程中识别动捕服上的标记点。该方法包括：获取前一帧的标记点识别的刚体标记点集和非刚体标记点集结果，以及当前帧中所有的待识别标记点；根据任务分配算法，从所有的待识别标记点中识别出与刚体标记点集中每个刚体标记点对应的第一标记点；将所有的第一标记点从所有的待识别标记点中剔除，得到第二标记点集；根据任务分配算法，对第二标记点集进行识别，得到非刚体标记点集中每个非刚体标记点与第二标记点集中的第二标记点的对应关系。通过对刚体和非刚体上标记点分开识别，能降低由于遮挡或其他原因出现标记点错乱的频率。

Description

标记点识别方法、装置、设备和存储介质 技术领域
本发明涉及动作捕捉技术领域，尤其涉及一种标记点识别方法、装置、设备及存储介质。
背景技术
动作捕捉是测量、记录物体在真实三维空间中的运动轨迹或者姿态，并在虚拟三维空间中重建运动物体状态的高新技术。动作捕捉系统种类较多，一般地按照技术原理可分为：机械式、声学式、电磁式、惯性传感器式、光学式等五大类。
在当前的光学式动作捕捉技术当中，根据目标特征类型不同又可分为标记点式光学和无标记点式光学两类，其中标记点式光学会在演员的动捕服上贴上多个标记点，动作捕捉系统每一帧都会计算这些标记点的3D位置，然后通过前一帧3D位置对应的动捕服的部位和当前帧的3D位置，计算演员当前帧的姿态，这种方式的缺点在于有时候标记点会因为遮挡或是其他原因，而没有被动作捕捉系统计算出来，导致后续计算演员姿态时出现错乱。
发明内容
本发明的主要目的在于解决现有光学式动捕系统中，在刚体被遮挡的环境下，对刚体标记点进行识别时会出现错乱的技术问题。
本发明第一方面提供了一种标记点识别方法，包括：
获取动捕系统中前一帧的标记点的识别结果，以及当前帧中所有的待识别标记点，其中，所述识别结果包括刚体标记点集和非刚体标记点集；
根据预置的任务分配算法，从所有的待识别标记点中识别出与所述刚体标记点集中每个刚体标记点对应的第一标记点；
将所有的所述第一标记点从所有的所述待识别标记点中剔除，得到第二标记点集；
根据所述任务分配算法，对所述第二标记点集进行识别，得到所述非刚体标记点集中每个非刚体标记点与所述第二标记点集中的第二标记点的对应关系。
可选的，在本发明第一方面的第一种实现方式中，所述根据预置的任务分配算法，从所有的待识别标记点中识别出与所述刚体标记点集中每个刚体标记 点对应的第一标记点包括：
根据预置的距离阈值，从所有的所述待识别标记点中选出所述刚体标记点集中每个刚体标记点在当前帧中对应的候选标记点；
基于所述刚体标记点集和每个刚体标记点对应的候选标记点，构建第一损耗矩阵；
计算所述第一损耗矩阵最小的第一总损耗值，并基于所述第一总损耗值从所述候选标记点中识别出与所述刚体标记点对应的第一标记点。
可选的，在本发明第一方面的第二种实现方式中，所述根据预置的距离阈值，从所有的所述待识别标记点中选出所述刚体标记点集中每个刚体标记点在当前帧中对应的候选标记点包括：
获取所述刚体标记点和所有的所述待识别标记点的三维坐标位置；
根据所述刚体标记点和所有的所述待识别标记点的三维坐标位置，计算所述刚体标记点与所有的所述待识别标记点之间的第一距离；
从所有的所述待识别标记点中选择与所述刚体标记点之间的第一距离小于所述距离阈值的待识别标记点作为所述刚体标记点对应的候选标记点。
可选的，在本发明第一方面的第三种实现方式中，所述基于所述刚体标记点集和每个刚体标记点对应的候选标记点，构建第一损耗矩阵包括：
计算所述刚体标记点与其对应的候选标记点之间的第一损耗值；
将所述刚体标记点与所有的所述待识别标记点中的非候选标记点之间的第二损耗值设置为预置数值；
根据所述第一损耗值和所述第二损耗值，构建所述刚体标记点与所有的所述待识别标记点之间的第一损耗矩阵。
可选的，在本发明第一方面的第四种实现方式中，所述计算所述刚体标记点与其对应的候选标记点之间的第一损耗值包括：
从所述刚体标记点集中任意选择一个刚体标记点作为第一刚体标记点，将其它的刚体标记点作为第二刚体标记点；
计算所述第一刚体标记点与所述第二刚体标记点之间的第二距离；
计算所述第一刚体标记点对应的候选标记点中的第一候选标记点与所述第二刚体标记点对应的候选标记点之间的第三距离；
计算所述第二距离和所述第三距离的距离差值，并根据所述距离差值计算所述第一刚体标记点与所述第一候选标记点之间的第一损耗值；
计算所述第一刚体标记点与对应的各候选标记点中除所述第一候选标记点外的候选标记点之间的第一损耗值；
计算所述第二刚体标记点与对应的候选标记点之间的第一损耗值。
可选的，在本发明第一方面的第五种实现方式中，所述计算所述第一损耗矩阵最小的第一总损耗值，并基于所述第一总损耗值从所述候选标记点中识别出与所述刚体标记点对应的第一标记点包括：
根据所述第一损耗矩阵中的所述第一损耗值和所述第二损耗值，计算不同刚体标记点与对应候选标记点进行配对时的多个第一总损耗值；
将多个所述第一总损耗值按照从小到大的顺序进行排序，得到总损耗值序列，并根据所述总损耗值序列的序号选择最小第一总损耗值；
基于所述第一总损耗值从所述候选标记点中识别出与所述刚体标记点对应的第一标记点。
可选的，在本发明第一方面的第六种实现方式中，所述根据所述任务分配算法，对所述第二标记点集进行识别，得到所述非刚体标记点集中每个非刚体标记点与所述第二标记点集中的第二标记点的对应关系包括：
根据所述距离阈值，从所述第二标记点集中选出所述非刚体标记点集中每个非刚体标记点在当前帧对应的候选标记点；
基于所述非刚体标记点集和每个非刚体标记点对应的候选标记点，构建第二损耗矩阵；
计算所述第二损耗矩阵最小的第二总损耗值，并基于所述最小的第二总损耗值得到所述非刚体标记点集中每个非刚体标记点与所述第二标记点集中的第二标记点的对应关系。
本发明第二方面提供了一种标记点识别装置，包括：
获取模块，用于获取动捕系统中前一帧的标记点的识别结果，以及当前帧中所有的待识别标记点，其中，所述识别结果包括刚体标记点集和非刚体标记点集；
第一识别模块，用于根据预置的任务分配算法，从所有的待识别标记点中识别出与所述刚体标记点集中每个刚体标记点对应的第一标记点；
剔除模块，用于将所有的所述第一标记点从所有的所述待识别标记点中剔除，得到第二标记点集；
第二识别模块，用于根据所述任务分配算法，对所述第二标记点集进行识别，得到所述非刚体标记点集中每个非刚体标记点与所述第二标记点集中的第二标记点的对应关系。
可选的，在本发明第二方面的第一种实现方式中，所述第一识别模块包括：
候选点选取单元，用于根据预置的距离阈值，从所有的所述待识别标记点 中选出所述刚体标记点集中每个刚体标记点在当前帧中对应的候选标记点；
矩阵构建单元，用于基于所述刚体标记点集和每个刚体标记点对应的候选标记点，构建第一损耗矩阵；
识别单元，用于计算所述第一损耗矩阵最小的第一总损耗值，并基于所述第一总损耗值从所述候选标记点中识别出与所述刚体标记点对应的第一标记点。
可选的，在本发明第二方面的第二种实现方式中，所述候选点选取单元具体用于：
获取所述刚体标记点和所有的所述待识别标记点的三维坐标位置；
根据所述刚体标记点和所有的所述待识别标记点的三维坐标位置，计算所述刚体标记点与所有的所述待识别标记点之间的第一距离；
从所有的所述待识别标记点中选择与所述刚体标记点之间的第一距离小于所述距离阈值的待识别标记点作为所述刚体标记点对应的候选标记点。
可选的，在本发明第二方面的第三种实现方式中，所述矩阵构建单元包括：
损耗计算子单元，用于计算所述刚体标记点与其对应的候选标记点之间的第一损耗值；
设置子单元，用于将所述刚体标记点与所有的所述待识别标记点中的非候选标记点之间的第二损耗值设置为预置数值；
构建子单元，用于根据所述第一损耗值和所述第二损耗值，构建所述刚体标记点与所有的所述待识别标记点之间的第一损耗矩阵。
可选的，在本发明第二方面的第四种实现方式中，所述损耗计算子单元具体用于：
从所述刚体标记点集中任意选择一个刚体标记点作为第一刚体标记点，将其它的刚体标记点作为第二刚体标记点；
计算所述第一刚体标记点与所述第二刚体标记点之间的第二距离；
计算所述第一刚体标记点对应的候选标记点中的第一候选标记点与所述第二刚体标记点对应的候选标记点之间的第三距离；
计算所述第二距离和所述第三距离的距离差值，并根据所述距离差值计算所述第一刚体标记点与所述第一候选标记点之间的第一损耗值；
计算所述第一刚体标记点与对应的各候选标记点中除所述第一候选标记点外的候选标记点之间的第一损耗值；
计算所述第二刚体标记点与对应的候选标记点之间的第一损耗值。
可选的，在本发明第二方面的第五种实现方式中，所述识别单元具体用于：
根据所述第一损耗矩阵中的所述第一损耗值和所述第二损耗值，计算不同 刚体标记点与对应候选标记点进行配对时的多个第一总损耗值；
将多个所述第一总损耗值按照从小到大的顺序进行排序，得到总损耗值序列，并根据所述总损耗值序列的序号选择最小第一总损耗值；
基于所述第一总损耗值从所述候选标记点中识别出与所述刚体标记点对应的第一标记点。
可选的，在本发明第二方面的第六种实现方式中，所述第二识别模块具体用于：
根据所述距离阈值，从所述第二标记点集中选出所述非刚体标记点集中每个非刚体标记点在当前帧对应的候选标记点；
基于所述非刚体标记点集和每个非刚体标记点对应的候选标记点，构建第二损耗矩阵；
计算所述第二损耗矩阵最小的第二总损耗值，并基于所述最小的第二总损耗值得到所述非刚体标记点集中每个非刚体标记点与所述第二标记点集中的第二标记点的对应关系。
本发明第三方面提供了一种标记点识别设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述标记点识别设备执行上述的标记点识别方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的标记点识别方法。
本发明提供的技术方案中，每一帧通过获取前一帧的标记点的识别结果，以及当前帧中所有的待识别标记点，其中，识别结果包括刚体标记点集和非刚体标记点集；根据任务分配算法，从所有的待识别标记点中识别出与刚体标记点集中每个刚体标记点对应的第一标记点；将所有的第一标记点从所有的待识别标记点中剔除，得到第二标记点集；根据任务分配算法，对第二标记点集进行识别，得到非刚体标记点集中每个非刚体标记点与第二标记点集中的第二标记点的对应关系。通过对刚体和非刚体上标记点分开识别，能降低由于遮挡或其他原因出现标记点错乱的频率。
附图说明
图1为本发明实施例中标记点识别方法的第一个实施例示意图；
图2为本发明实施例中标记点识别方法的第二个实施例示意图；
图3为本发明实施例中标记点识别方法的第三个实施例示意图；
图4为本发明实施例中标记点识别方法的第四个实施例示意图；
图5为本发明实施例中标记点识别方法的第五个实施例示意图；
图6为本发明实施例中标记点识别装置的一个实施例示意图；
图7为本发明实施例中标记点识别装置的另一个实施例示意图；
图8为本发明实施例中标记点识别设备的一个实施例示意图；
图9为本发明实施例中标记点识别方法的各刚体标记点与对应的候选标记点之间的损耗值数值表；
图10为本发明实施例中标记点识别方法的各刚体标记点的3D位置数值表；
图11为本发明实施例中标记点识别方法的各待识别标记点的3D位置数值表；
图12为本发明实施例中标记点识别方法的各刚体标记点与候选标记点的对应关系表。
具体实施方式
本发明实施例提供了一种标记点识别方法、装置、设备及存储介质，本发明的技术方案中，通过每一帧获取前一帧的标记点的识别结果，以及当前帧中所有的待识别标记点，其中，识别结果包括刚体标记点集和非刚体标记点集；根据任务分配算法，从所有的待识别标记点中识别出与刚体标记点集中每个刚体标记点对应的第一标记点；将所有的第一标记点从所有的待识别标记点中剔除，得到第二标记点集；根据任务分配算法，对第二标记点集进行识别，得到非刚体标记点集中每个非刚体标记点与第二标记点集中的第二标记点的对应关系。通过对刚体和非刚体上标记点分开识别，能降低由于遮挡或其他原因出现标记点错乱的频率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中标记点识别方法的第一个实施例包括：
101、获取动捕系统中前一帧的标记点的识别结果，以及当前帧中所有的待识别标记点，其中，识别结果包括刚体标记点集和非刚体标记点集；
可以理解的是，本发明的执行主体可以为标记点识别装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
在本实施例中，动捕系统每一帧都会对演员动捕服上的标记点进行捕捉和识别，每帧需要先进行标记点的步骤，再根据已经进行识别的前一帧标记点完成对当前帧标记点的识别，如此往复，完成一整套动作捕捉过程。
在本实施例中，对演员进行动作捕捉之前，会在动捕服上设置有多个标记点，并将这些标记点进行刚体标记点和非刚体标记点的区分设置，在实际应用中，刚体是指在运动中和受力作用后，形状和大小不变，而且内部各点的相对位置不变的物体，绝对刚体实际上是不存在的，只是一种理想模型，因为任何物体在受力作用后，都或多或少地变形，如果变形的程度相对于物体本身几何尺寸来说极为微小，在研究物体运动时变形就可以忽略不计，可以将该物体视为刚体，而在动作捕捉的过程中，捕捉系统在每一帧都会获取标记点在系统中的3D位置，在演员进行移动时，身体的部分部位在帧与帧之间的移动位置很小，此时可以将这些部位看作刚体，例如头部，小臂，小腿等部位，并将这些部位上的标记点设置为刚体标记点，而前一帧捕捉到的标记点中除了刚体标记点外的都是非刚体标记点。
在本实施例中，在每个刚体对应的部位上都会设置有一定数量的标记点，一般设置不少于4个，在发明中不作限定，刚体的刚体标记点之间由于相对位置几乎不会改变，所以通过优先识别刚体上的标记点的方式，效率和识别精准度都较高。
102、根据预置的任务分配算法，从所有的待识别标记点中识别出与刚体标记点集中每个刚体标记点对应的第一标记点。
在本实施例中，所述任务分配算法可以为匈牙利算法、模拟退火算法、网络流算法等，本发明不做限定，在本实施例中，以前一帧识别到的头部区域的刚体标记点集包括LFHD、RFHD、RFHD和RBHD为例，动作捕捉系统在当前帧识别到的待识别标记点分别为点1、2、3、4、5、6、7、8、9，共9个点，通过任务分配算法进行解算后，分别识别到3号点是LFHD对应的当前帧的第一标记点，2号点是RFHD对应的当前帧的第一标记点，6号点是LBHD对应的当前帧的 第一标记点，5号点是RBHD对应的当前帧的第一标记点，则识别出3号点、2号点、6号点和5号点在当前帧为头部的刚体标记点。
103、将所有的第一标记点从所有的待识别标记点中剔除，得到第二标记点集；
在本实施例中，在第一次进行解算识别出3号点、2号点、6号点和5号点在当前帧为头部的刚体标记点后，将点2、3、5和6从待识别标记点1、2、3、4、5、6、7、8、9中剔除，剩下的点1、4、6、7、8、9即为当前帧已捕捉到的但尚未识别的第二标记点集，后续步骤主要为对第二标记点集中的待识别标记点进行识别。
104、根据任务分配算法，对第二标记点集进行识别，得到非刚体标记点集中每个非刚体标记点与第二标记点集中的第二标记点的对应关系。
在本实施例中，所述任务分配算法和上述的任务分配算法相同，解算步骤相同，通过识别前步骤识别后剩余的第二标记点集，完成动作捕捉过程中对刚体标记点和非刚体标记点，也就是所有待识别标记点的识别，通过识别到的每个待识别标记点在当前帧对应的位置，完成对演员动作捕捉的。
在本实施例中，获取前一帧的标记点的识别结果，以及当前帧中所有的待识别标记点，其中，识别结果包括刚体标记点集和非刚体标记点集；根据任务分配算法，从所有的待识别标记点中识别出与刚体标记点集中每个刚体标记点对应的第一标记点；将所有的第一标记点从所有的待识别标记点中剔除，得到第二标记点集；根据任务分配算法，对第二标记点集进行识别，得到非刚体标记点集中每个非刚体标记点与第二标记点集中的第二标记点的对应关系。通过对刚体和非刚体上标记点分开识别，能降低由于遮挡或其他原因出现标记点错乱的频率。
请参阅图2，本发明实施例中标记点识别方法的第二个实施例包括：
201、获取动捕系统中前一帧的标记点的识别结果，以及当前帧中所有的待识别标记点，其中，识别结果包括刚体标记点集和非刚体标记点集；
202、获取刚体标记点和所有的待识别标记点的三维坐标位置；
在本实施例中，动作捕捉系统会在系统中设置世界坐标系，根据演员上的动捕服各标记点在系统中的位置，设置三维坐标。
203、根据刚体标记点和所有的待识别标记点的三维坐标位置，计算刚体标记点与所有的待识别标记点之间的第一距离；
在本实施例中，根据两个点的坐标信息，能够计算两点间的距离关系，若 刚体标记点的三维坐标信息为(c 1，d 1，e 1)，当前帧某一标记点的三维坐标信息为(c 2，d 2，e 2)，则两点间的距离计算公式为：
Figure PCTCN2021101394-appb-000001
其中，D为前一帧的刚体标记点与当前帧标记点的第一距离值。
204、从所有的待识别标记点中选择与刚体标记点之间的第一距离小于距离阈值的待识别标记点作为刚体标记点对应的候选标记点；
在本实施例中，设置距离阈值的目的是为了给每个刚体标记点选择距离较近的候选标记点，例如将距离阈值设置为0.2米，前一帧的刚体标记点LFHD与当前帧动作捕捉系统捕捉到的标记点2之间的距离为0.3米，则标记点2不是LFHD的候选标记点，LFHD与捕捉到的标记点3之间的距离为0.15米，则标记点3是LFHD的候选标记点。
205、基于刚体标记点集和每个刚体标记点对应的候选标记点，构建第一损耗矩阵。
206、计算第一损耗矩阵最小的第一总损耗值，并基于第一总损耗值从候选标记点中识别出与刚体标记点对应的第一标记点。
207、将所有的第一标记点从所有的待识别标记点中剔除，得到第二标记点集；
208、根据任务分配算法，对第二标记点集进行识别，得到非刚体标记点集中每个非刚体标记点与第二标记点集中的第二标记点的对应关系。
本发明实施例在上一实施例的基础上，详细描述了从当前帧动作捕捉系统捕捉到的所有标记点中选择与前一帧刚体标记点对应的候选标记点的过程，通过选择对应的候选标记点，避免了计算当前帧动作捕捉系统捕捉到的所有标记点与前一帧刚体标记点的损耗值的过程，极大的节省了计算过程，提高识别效率和精准度。
请参阅图3，本发明实施例中标记点识别方法的第二个实施例包括：
301、获取动捕系统中前一帧的标记点的识别结果，以及当前帧中所有的待识别标记点，其中，识别结果包括刚体标记点集和非刚体标记点集；
302、根据预置的距离阈值，从所有的待识别标记点中选出刚体标记点集中每个刚体标记点在当前帧中对应的候选标记点；
303、从刚体标记点集中任意选择一个刚体标记点作为第一刚体标记点，将其它的刚体标记点作为第二刚体标记点；
304、计算第一刚体标记点与第二刚体标记点之间的第二距离；
在本实施例中，以头部区域设置为刚体为例，所述头部区域的刚体标记点分别为LFHD、RFHD、RFHD和RBHD，在当前帧动作捕捉系统捕捉到的标记点共有9个，分别标记为1、2、3、4、5、6、7、8和9，其中，LFHD对应的候选标记点分别为点2、3、6，RFHD对应的候选标记点为点2、3、5、6，RFHD对应的候选标记点为0、2、3、5、6，RBHD对应的候选标记点为0、2、5、6，将刚体标记点中的LFHD作为本实施例中的第一标记点，分别计算LFHD与其他刚体标记点的距离，也就是LFHD-RFHD、LFHD-LBHD和LFHD-RBHD，这些距离值都为第一距离，在本实施例中，LFHD-RFHD的第一距离值为0.160。
305、计算第一刚体标记点对应的候选标记点中的第一候选标记点与第二刚体标记点对应的候选标记点之间的第三距离；
在本实施例中，第一刚体标记点LFHD对应的候选标记点分别为点2、3、6，以第一刚体标记点LFHD和对应的候选标记点2为例，其他刚体标记点为RFHD，RFHD对应的候选标记点2、3、5和6，则分别计算点2和点2、点2和点3、点2和点5、点2和点6之间的距离，分别为0.000、0.135、0.133、0.199。
306、计算第二距离和第三距离的距离差值，并根据距离差值计算第一刚体标记点与第一候选标记点之间的第一损耗值；
307、计算第一刚体标记点与对应的各候选标记点中除第一候选标记点外的候选标记点之间的第一损耗值；
308、计算第二刚体标记点与对应的候选标记点之间的第一损耗值；
在本实施例中，2号点和3号点之间的距离和上述LFHD-RFHD的距离，最相近，这个距离差异是0.160-0.135＝0.025，通过相同方法，计算LFHD-LBHD和候选点的距离差异0.000，LFHD-RBHD和候选点的距离差异0.003，LFHD和点2的损耗值，通过上述三个距离差异求平均值得到，则损耗值为(0.025+0.000+0.003)/3＝0.0093。
在本实施例中，通过相同的方法，分别计算LFHD与其他候选标记点3和6的损耗值，以及除了第一刚体标记点LFHD外的刚体标记点RFHD、RFHD和RBHD与对应的候选标记点之间的损耗值。
309、将刚体标记点与所有的待识别标记点中的非候选标记点之间的第二损耗值设置为预置数值；
在本实施例中，刚体标记点与非候选标记点的损耗值不需要进行计算，直接将该损耗值设置为一个大值，例如100，方便后续进行最小总损耗值的计算选择。
310、根据第一损耗值和第二损耗值，构建刚体标记点与所有的待识别标记 点之间的第一损耗矩阵；
311、计算第一损耗矩阵最小的第一总损耗值，并基于第一总损耗值从候选标记点中识别出与刚体标记点对应的第一标记点；
312、将所有的第一标记点从所有的待识别标记点中剔除，得到第二标记点集；
313、根据任务分配算法，对第二标记点集进行识别，得到非刚体标记点集中每个非刚体标记点与第二标记点集中的第二标记点的对应关系。
本发明实施例在上一实施例的基础上，详细描述了从当前帧动作捕捉系统捕捉到的所有标记点中选择与前一帧刚体标记点对应的候选标记点的过程，通过选择对应的候选标记点，避免了计算当前帧动作捕捉系统捕捉到的所有标记点与前一帧刚体标记点的损耗值的过程，极大的节省了计算过程，提高识别效率和精准度。
请参阅图4，本发明实施例中标记点识别方法的第四个实施例包括：
401、获取动捕系统中前一帧的标记点的识别结果，以及当前帧中所有的待识别标记点，其中，识别结果包括刚体标记点集和非刚体标记点集；
402、根据预置的距离阈值，从所有的待识别标记点中选出刚体标记点集中每个刚体标记点在当前帧中对应的候选标记点；
403、基于刚体标记点集和每个刚体标记点对应的候选标记点，构建第一损耗矩阵；
404、根据第一损耗矩阵中的第一损耗值和第二损耗值，计算不同刚体标记点与对应候选标记点进行配对时的多个第一总损耗值；
在本实施例中，以头部的四个刚体标记点LFHD、RFHD、RFHD和RBHD为例，当前帧动作捕捉系统捕捉到的待识别标记点为点1、2、3、4、5、6、7、8和9，分别计算得到的第一损耗值如图9所示，构建的第一损耗矩阵如下：
Figure PCTCN2021101394-appb-000002
根据上面的第一损耗矩阵，可以计算得到不同刚体标记点对应不同的候选标记点时的不同的总损耗值，限定条件为刚体标记点与候选标记点匹配是不与其他刚体标记点出现冲突，例如刚体标记点LFHD、RFHD均对应有候选标记点2，在计算一次总损耗值时，标记点2与LFHD进行匹配，或者与RFHD进行匹配。
405、将多个第一总损耗值按照从小到大的顺序进行排序，得到总损耗值序 列，并根据总损耗值序列的序号选择最小第一总损耗值；
406、基于第一总损耗值从候选标记点中识别出与刚体标记点对应的第一标记点；
在实际应用中，还可以应用匈牙利算法、模拟退火算法进行计算，直接得到最小的总损耗值，本发明不做限定。
407、将所有的第一标记点从所有的待识别标记点中剔除，得到第二标记点集；
408、根据任务分配算法，对第二标记点集进行识别，得到非刚体标记点集中每个非刚体标记点与第二标记点集中的第二标记点的对应关系。
本实施例在前实施例的基础上，通过每一帧确定前一帧中刚体的刚体标记点和当前帧的所有标记点，根据距离阈值，在所有标记点中选择刚体标记点在当前帧对应的候选标记点；根据前一帧的刚体标记点和候选标记点，构建第一损耗矩阵；根据任务分配算法，计算第一损耗矩阵最小的第一总损耗值，并基于第一总损耗值从候选标记点中识别当前帧刚体对应的刚体标记点；将当前帧刚体的刚体标记点从所有标记点中删除，并根据剩余所有标记点识别非刚体当前帧的对应的非刚体标记点。通过对刚体和非刚体上标记点分开识别，能够降低由于遮挡或是其他原因出现标记点错乱的频率。
请参阅图5，本发明实施例中标记点识别方法的第五个实施例包括：
501、获取动捕系统中前一帧的标记点的识别结果，以及当前帧中所有的待识别标记点，其中，识别结果包括刚体标记点集和非刚体标记点集；
502、根据预置的任务分配算法，从所有的待识别标记点中识别出与刚体标记点集中每个刚体标记点对应的第一标记点；
503、将所有的第一标记点从所有的待识别标记点中剔除，得到第二标记点集；
504、根据距离阈值，从第二标记点集中选出非刚体标记点集中每个非刚体标记点在当前帧对应的候选标记点；
505、基于非刚体标记点集和每个非刚体标记点对应的候选标记点，构建第二损耗矩阵；
506、计算第二损耗矩阵最小的第二总损耗值，并基于最小的第二总损耗值得到非刚体标记点集中每个非刚体标记点与第二标记点集中的第二标记点的对应关系。
在本实施例中，非刚体标记点在当前帧的识别过程与前实施例中刚体标记 点的识别过程类似，只是将刚体标记点替换成非刚体标记点，将所有的待识别标记点替换成剔除刚体标记点后的第二标记点集，本实施例不再赘述。
在本实施例在前实施例的基础上，通过每一帧确定前一帧中刚体的刚体标记点和当前帧的所有标记点，根据距离阈值，在所有标记点中选择刚体标记点在当前帧对应的候选标记点；根据前一帧的刚体标记点和候选标记点，构建第一损耗矩阵；根据任务分配算法，计算第一损耗矩阵最小的第一总损耗值，并基于第一总损耗值从候选标记点中识别当前帧刚体对应的刚体标记点；将当前帧刚体的刚体标记点从所有标记点中删除，并根据剩余所有标记点识别非刚体当前帧的对应的非刚体标记点。通过对刚体和非刚体上标记点分开识别，能够降低由于遮挡或是其他原因出现标记点错乱的频率。
下面对本发明完整的技术方案进行说明。具体实现过程：
在动作捕捉系统在完成前一帧识别后，得到头部区域的刚体标记点LFHD、RFHD、RFHD和RBHD，3D位置信息如图10，在当前帧动作捕捉系统捕捉到共有9个标记点0、1、2、3、4、5、6、7、和8，3D位置信息如图11，设置的距离预设为0.2，则前一帧LFHD、RFHD、RFHD和RBHD在当前帧捕捉的标记点的对应的候选标记点如图12，计算刚体标记点与对应的候选标记点之间的损耗值，以LFHD和2号点为例，头部的刚体标记点有4个，每个标记点都有3条边，以LFHD为例，三条边分别为LFHD-RFHD，LFHD-LBHD，LFHD-RBHD，其中计算得到LFHD-RFHD的距离是0.160，计算2号点与RFHD的候选标记点2、3、4、6之间的距离，分别为0.000，0.135，0.133，0.199，其中，2号点与3号点之间的距离与LFHD-RFHD之间的距离差异最小，为0.160-135＝0.025，以相同方法计算LFHD-LBHD和候选标记点的距离差异为0.000，LFHD-RBHD和候选点的距离差异0.003，将上述三个距离差异求平均值为0.0093，则LFHD和2号点之间的损耗值为0.0093，使用上述例子的方法计算不同刚体标记点与对应的不同候选标记点之间的损耗值，并将刚体标记点与非候选标记点之间的损耗值设置为100，得到以图9所示的数值构建的损耗矩阵，并使用任意的任务分配算法，计算得到最小的总损耗值为0.0006，识别结果为LFHD为在当前帧的对应标记点为点3，RFHD是点2，LBHD是点6，RBHD是点5，完成对头部刚体标记点的识别，并将点2、3、5、6从当前帧的待识别标记点中剔除，得到剩余的待识别标记点0、1、4、7、8、9，并对非刚体标记点进行识别，识别过程与刚体标记点的识别过程相似，此处不再赘述。
上面对本发明实施例中标记点识别方法进行了描述，下面对本发明实施例中标记点识别装置进行描述，请参阅图6，本发明实施例提供的标记点识别装置的一个实施例包括：
获取模块601，用于获取动捕系统中前一帧的标记点的识别结果，以及当前帧中所有的待识别标记点，其中，所述识别结果包括刚体标记点集和非刚体标记点集；
第一识别模块602，用于根据预置的任务分配算法，从所有的待识别标记点中识别出与所述刚体标记点集中每个刚体标记点对应的第一标记点；
剔除模块603，用于将所有的所述第一标记点从所有的所述待识别标记点中剔除，得到第二标记点集；
第二识别模块604，用于根据所述任务分配算法，对所述第二标记点集进行识别，得到所述非刚体标记点集中每个非刚体标记点与所述第二标记点集中的第二标记点的对应关系。
本发明实施例中，所述标记点识别装置运行标记点识别方法，该方法包括：获取前一帧的标记点的识别结果，以及当前帧中所有的待识别标记点，其中，识别结果包括刚体标记点集和非刚体标记点集；根据任务分配算法，从所有的待识别标记点中识别出与刚体标记点集中每个刚体标记点对应的第一标记点；将所有的第一标记点从所有的待识别标记点中剔除，得到第二标记点集；根据任务分配算法，对第二标记点集进行识别，得到非刚体标记点集中每个非刚体标记点与第二标记点集中的第二标记点的对应关系。通过对刚体和非刚体上标记点分开识别，能降低由于遮挡或其他原因出现标记点错乱的频率。
请参阅图7，本发明实施例中标记点识别装置的另一个实施例包括：
获取模块601，用于获取动捕系统中前一帧的标记点的识别结果，以及当前帧中所有的待识别标记点，其中，所述识别结果包括刚体标记点集和非刚体标记点集；
第一识别模块602，用于根据预置的任务分配算法，从所有的待识别标记点中识别出与所述刚体标记点集中每个刚体标记点对应的第一标记点；
剔除模块603，用于将所有的所述第一标记点从所有的所述待识别标记点中剔除，得到第二标记点集；
第二识别模块604，用于根据所述任务分配算法，对所述第二标记点集进行识别，得到所述非刚体标记点集中每个非刚体标记点与所述第二标记点集中的第二标记点的对应关系。
其中，所述第一识别模块602包括：
候选点选取单元6021，用于根据预置的距离阈值，从所有的所述待识别标记点中选出所述刚体标记点集中每个刚体标记点在当前帧中对应的候选标记点；
矩阵构建单元6022，用于基于所述刚体标记点集和每个刚体标记点对应的候选标记点，构建第一损耗矩阵；
识别单元6023，用于计算所述第一损耗矩阵最小的第一总损耗值，并基于所述第一总损耗值从所述候选标记点中识别出与所述刚体标记点对应的第一标记点。
可选的，所述候选点选取单元6021具体用于：
获取所述刚体标记点和所有的所述待识别标记点的三维坐标位置；
根据所述刚体标记点和所有的所述待识别标记点的三维坐标位置，计算所述刚体标记点与所有的所述待识别标记点之间的第一距离；
从所有的所述待识别标记点中选择与所述刚体标记点之间的第一距离小于所述距离阈值的待识别标记点作为所述刚体标记点对应的候选标记点。
其中，所述矩阵构建单元6022包括：
损耗计算子单元60221，用于计算所述刚体标记点与其对应的候选标记点之间的第一损耗值；
设置子单元60222，用于将所述刚体标记点与所有的所述待识别标记点中的非候选标记点之间的第二损耗值设置为预置数值；
构建子单元60223，用于根据所述第一损耗值和所述第二损耗值，构建所述刚体标记点与所有的所述待识别标记点之间的第一损耗矩阵。
可选的，所述损耗计算子单元60221具体用于：
从所述刚体标记点集中任意选择一个刚体标记点作为第一刚体标记点，将其它的刚体标记点作为第二刚体标记点；
计算所述第一刚体标记点与所述第二刚体标记点之间的第二距离；
计算所述第一刚体标记点对应的候选标记点中的第一候选标记点与所述第二刚体标记点对应的候选标记点之间的第三距离；
计算所述第二距离和所述第三距离的距离差值，并根据所述距离差值计算所述第一刚体标记点与所述第一候选标记点之间的第一损耗值；
计算所述第一刚体标记点与对应的各候选标记点中除所述第一候选标记点外的候选标记点之间的第一损耗值；
计算所述第二刚体标记点与对应的候选标记点之间的第一损耗值。
可选的，所述识别单元6023具体用于：
根据所述第一损耗矩阵中的所述第一损耗值和所述第二损耗值，计算不同刚体标记点与对应候选标记点进行配对时的多个第一总损耗值；
将多个所述第一总损耗值按照从小到大的顺序进行排序，得到总损耗值序列，并根据所述总损耗值序列的序号选择最小第一总损耗值；
基于所述第一总损耗值从所述候选标记点中识别出与所述刚体标记点对应的第一标记点。
可选的，所述第二识别模块604具体用于：
根据所述距离阈值，从所述第二标记点集中选出所述非刚体标记点集中每个非刚体标记点在当前帧对应的候选标记点；
基于所述非刚体标记点集和每个非刚体标记点对应的候选标记点，构建第二损耗矩阵；
计算所述第二损耗矩阵最小的第二总损耗值，并基于所述最小的第二总损耗值得到所述非刚体标记点集中每个非刚体标记点与所述第二标记点集中的第二标记点的对应关系。
本发明实施例在上一实施例的基础上，详细描述了各模块的功能，所述标记点识别装置运行标记点识别方法，该方法包括：确定前一帧中刚体的刚体标记点和当前帧的所有标记点，根据距离阈值，在所有标记点中选择刚体标记点在当前帧对应的候选标记点；根据前一帧的刚体标记点和候选标记点，构建第一损耗矩阵；根据任务分配算法，计算第一损耗矩阵最小的第一总损耗值，并基于第一总损耗值从候选标记点中识别当前帧刚体对应的刚体标记点；将当前帧刚体的刚体标记点从所有标记点中删除，并根据剩余所有标记点识别非刚体当前帧的对应的非刚体标记点。通过对刚体和非刚体上标记点分开识别，能够降低由于遮挡或是其他原因出现标记点错乱的频率。
上面图6和图7从模块化功能实体的角度对本发明实施例中的标记点识别装置进行详细描述，下面从硬件处理的角度对本发明实施例中标记点识别设备进行详细描述。
图8是本发明实施例提供的一种标记点识别设备的结构示意图，该标记点识别设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)810(例如，一个或一个以上处理器)和存储器820，一个或一个以上存储应用程序833或数据832的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器820和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或 一个以上模块(图示没标出)，每个模块可以包括对标记点识别设备800中的一系列指令操作。更进一步地，处理器810可以设置为与存储介质830通信，在标记点识别设备800上执行存储介质830中的一系列指令操作。
标记点识别设备800还可以包括一个或一个以上电源840，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口860，和/或，一个或一个以上操作系统831，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图8示出的标记点识别设备结构并不构成对本申请提供的标记点识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述标记点识别方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

  1. 一种标记点识别方法，其特征在于，所述标记点识别方法包括：
    获取动捕系统中前一帧的标记点的识别结果，以及当前帧中所有的待识别标记点，其中，所述识别结果包括刚体标记点集和非刚体标记点集；
    根据预置的任务分配算法，从所有的待识别标记点中识别出与所述刚体标记点集中每个刚体标记点对应的第一标记点；
    将所有的所述第一标记点从所有的所述待识别标记点中剔除，得到第二标记点集；
    根据所述任务分配算法，对所述第二标记点集进行识别，得到所述非刚体标记点集中每个非刚体标记点与所述第二标记点集中的第二标记点的对应关系。
  2. 根据权利要求1所述的标记点识别方法，其特征在于，所述根据预置的任务分配算法，从所有的待识别标记点中识别出与所述刚体标记点集中每个刚体标记点对应的第一标记点包括：
    根据预置的距离阈值，从所有的所述待识别标记点中选出所述刚体标记点集中每个刚体标记点在当前帧中对应的候选标记点；
    基于所述刚体标记点集和每个刚体标记点对应的候选标记点，构建第一损耗矩阵；
    计算所述第一损耗矩阵最小的第一总损耗值，并基于所述第一总损耗值从所述候选标记点中识别出与所述刚体标记点对应的第一标记点。
  3. 根据权利要求2所述的标记点识别方法，其特征在于，所述根据预置的距离阈值，从所有的所述待识别标记点中选出所述刚体标记点集中每个刚体标记点在当前帧中对应的候选标记点包括：
    获取所述刚体标记点和所有的所述待识别标记点的三维坐标位置；
    根据所述刚体标记点和所有的所述待识别标记点的三维坐标位置，计算所述刚体标记点与所有的所述待识别标记点之间的第一距离；
    从所有的所述待识别标记点中选择与所述刚体标记点之间的第一距离小于所述距离阈值的待识别标记点作为所述刚体标记点对应的候选标记点。
  4. 根据权利要求2所述的标记点识别方法，其特征在于，所述基于所述刚体标记点集和每个刚体标记点对应的候选标记点，构建第一损耗矩阵包括：
    计算所述刚体标记点与其对应的候选标记点之间的第一损耗值；
    将所述刚体标记点与所有的所述待识别标记点中的非候选标记点之间的第二损耗值设置为预置数值；
    根据所述第一损耗值和所述第二损耗值，构建所述刚体标记点与所有的所述待识别标记点之间的第一损耗矩阵。
  5. 根据权利要求4所述的标记点识别方法，其特征在于，所述计算所述刚体标记点与其对应的候选标记点之间的第一损耗值包括：
    从所述刚体标记点集中任意选择一个刚体标记点作为第一刚体标记点，将其它的刚体标记点作为第二刚体标记点；
    计算所述第一刚体标记点与所述第二刚体标记点之间的第二距离；
    计算所述第一刚体标记点对应的候选标记点中的第一候选标记点与所述第二刚体标记点对应的候选标记点之间的第三距离；
    计算所述第二距离和所述第三距离的距离差值，并根据所述距离差值计算所述第一刚体标记点与所述第一候选标记点之间的第一损耗值；
    计算所述第一刚体标记点与对应的各候选标记点中除所述第一候选标记点外的候选标记点之间的第一损耗值；
    计算所述第二刚体标记点与对应的候选标记点之间的第一损耗值。
  6. 根据权利要求2所述的标记点识别方法，其特征在于，所述计算所述第一损耗矩阵最小的第一总损耗值，并基于所述第一总损耗值从所述候选标记点中识别出与所述刚体标记点对应的第一标记点包括：
    根据所述第一损耗矩阵中的所述第一损耗值和所述第二损耗值，计算不同刚体标记点与对应候选标记点进行配对时的多个第一总损耗值；
    将多个所述第一总损耗值按照从小到大的顺序进行排序，得到总损耗值序列，并根据所述总损耗值序列的序号选择最小第一总损耗值；
    基于所述第一总损耗值从所述候选标记点中识别出与所述刚体标记点对应的第一标记点。
  7. 根据权利要求1-6中任一项所述的标记点识别方法，其特征在于，所述根据所述任务分配算法，对所述第二标记点集进行识别，得到所述非刚体标记点集中每个非刚体标记点与所述第二标记点集中的第二标记点的对应关系包括：
    根据所述距离阈值，从所述第二标记点集中选出所述非刚体标记点集中每个非刚体标记点在当前帧对应的候选标记点；
    基于所述非刚体标记点集和每个非刚体标记点对应的候选标记点，构建第二损耗矩阵；
    计算所述第二损耗矩阵最小的第二总损耗值，并基于所述最小的第二总损耗值得到所述非刚体标记点集中每个非刚体标记点与所述第二标记点集中的第二标记点的对应关系。
  8. 一种标记点识别装置，其特征在于，所述标记点识别装置包括：
    获取模块，用于获取动捕系统中前一帧的标记点的识别结果，以及当前帧中所有的待识别标记点，其中，所述识别结果包括刚体标记点集和非刚体标记点集；
    第一识别模块，用于根据预置的任务分配算法，从所有的待识别标记点中识别出与所述刚体标记点集中每个刚体标记点对应的第一标记点；
    剔除模块，用于将所有的所述第一标记点从所有的所述待识别标记点中剔除，得到第二标记点集；
    第二识别模块，用于根据所述任务分配算法，对所述第二标记点集进行识别，得到所述非刚体标记点集中每个非刚体标记点与所述第二标记点集中的第二标记点的对应关系。
  9. 一种标记点识别设备，其特征在于，所述标记点识别设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
    所述至少一个处理器调用所述存储器中的所述指令，以使得所述标记点识别设备执行如权利要求1-7中任一项所述的标记点识别方法。
  10. 一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的标记点识别方法。
PCT/CN2021/101394 2020-07-02 2021-06-22 标记点识别方法、装置、设备和存储介质 WO2022001739A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010628426.7A CN111767912B (zh) 2020-07-02 2020-07-02 标记点识别方法、装置、设备和存储介质
CN202010628426.7 2020-07-02

Publications (1)

Publication Number Publication Date
WO2022001739A1 true WO2022001739A1 (zh) 2022-01-06

Family

ID=72723445

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/101394 WO2022001739A1 (zh) 2020-07-02 2021-06-22 标记点识别方法、装置、设备和存储介质

Country Status (2)

Country Link
CN (1) CN111767912B (zh)
WO (1) WO2022001739A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972431A (zh) * 2022-05-27 2022-08-30 深圳市瑞立视多媒体科技有限公司 基于模板图匹配刚体标记点的方法、装置及相关设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767912B (zh) * 2020-07-02 2023-09-05 深圳市瑞立视多媒体科技有限公司 标记点识别方法、装置、设备和存储介质
CN112508992B (zh) * 2020-12-11 2022-04-19 深圳市瑞立视多媒体科技有限公司 一种追踪刚体位置信息的方法及其装置、设备
CN114463394A (zh) * 2021-12-31 2022-05-10 深圳市瑞立视多媒体科技有限公司 刚体识别方法、装置、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894377A (zh) * 2010-06-07 2010-11-24 中国科学院计算技术研究所 三维标记点序列的跟踪方法及其系统
CN108805903A (zh) * 2018-05-24 2018-11-13 讯飞幻境(北京)科技有限公司 一种基于ar引擎的多标记点识别方法和装置
CN109949418A (zh) * 2019-03-12 2019-06-28 上海曼恒数字技术股份有限公司 一种刚体生成方法、装置、设备及存储介质
CN110728754A (zh) * 2019-10-10 2020-01-24 深圳市瑞立视多媒体科技有限公司 刚体标记点识别方法、装置、设备及存储介质
CN110796701A (zh) * 2019-10-21 2020-02-14 深圳市瑞立视多媒体科技有限公司 标记点的识别方法、装置、设备及存储介质
US20200105000A1 (en) * 2018-09-28 2020-04-02 Glo Big Boss Ltd. Systems and methods for real-time rigid body motion prediction
CN111767912A (zh) * 2020-07-02 2020-10-13 深圳市瑞立视多媒体科技有限公司 标记点识别方法、装置、设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633528A (zh) * 2017-08-22 2018-01-26 北京致臻智造科技有限公司 一种刚体识别方法及系统
WO2020107312A1 (zh) * 2018-11-29 2020-06-04 深圳市瑞立视多媒体科技有限公司 一种刚体配置方法及光学动作捕捉方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894377A (zh) * 2010-06-07 2010-11-24 中国科学院计算技术研究所 三维标记点序列的跟踪方法及其系统
CN108805903A (zh) * 2018-05-24 2018-11-13 讯飞幻境(北京)科技有限公司 一种基于ar引擎的多标记点识别方法和装置
US20200105000A1 (en) * 2018-09-28 2020-04-02 Glo Big Boss Ltd. Systems and methods for real-time rigid body motion prediction
CN109949418A (zh) * 2019-03-12 2019-06-28 上海曼恒数字技术股份有限公司 一种刚体生成方法、装置、设备及存储介质
CN110728754A (zh) * 2019-10-10 2020-01-24 深圳市瑞立视多媒体科技有限公司 刚体标记点识别方法、装置、设备及存储介质
CN110796701A (zh) * 2019-10-21 2020-02-14 深圳市瑞立视多媒体科技有限公司 标记点的识别方法、装置、设备及存储介质
CN111767912A (zh) * 2020-07-02 2020-10-13 深圳市瑞立视多媒体科技有限公司 标记点识别方法、装置、设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972431A (zh) * 2022-05-27 2022-08-30 深圳市瑞立视多媒体科技有限公司 基于模板图匹配刚体标记点的方法、装置及相关设备

Also Published As

Publication number Publication date
CN111767912B (zh) 2023-09-05
CN111767912A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
WO2022001739A1 (zh) 标记点识别方法、装置、设备和存储介质
US11400598B2 (en) Information processing apparatus, method, and robot system
WO2020259481A1 (zh) 定位方法及装置、电子设备、可读存储介质
Song et al. CAD-based pose estimation design for random bin picking using a RGB-D camera
CN110287772B (zh) 平面手掌掌心区域提取方法及装置
CN107705322A (zh) 运动目标识别跟踪方法和系统
JPWO2015186436A1 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
KR20120048370A (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
EP3376433B1 (en) Image processing apparatus, image processing method, and image processing program
CN107953329A (zh) 物体识别和姿态估计方法、装置及机械臂抓取系统
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
JP2011133273A (ja) 推定装置及びその制御方法、プログラム
JP2007249592A (ja) ３次元物体認識システム
JP2016014954A (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
CN106650628B (zh) 一种基于三维k曲率的指尖检测方法
JP6381368B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR20200076267A (ko) 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템
Lambrecht Robust few-shot pose estimation of articulated robots using monocular cameras and deep-learning-based keypoint detection
CN105447869B (zh) 基于粒子群优化算法的摄像机自标定方法及装置
JP7277116B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2015184054A (ja) 同定装置、方法及びプログラム
CN113822946B (zh) 一种基于计算机视觉的机械臂抓取方法
JP2017097578A (ja) 情報処理装置及び方法
JP7178803B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
CN110991292A (zh) 动作识别比对方法、系统、计算机存储介质和电子装置

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 22.05.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21832448

Country of ref document: EP

Kind code of ref document: A1