WO2018207292A1 - 対象物認識方法、装置、システム、プログラム - Google Patents

対象物認識方法、装置、システム、プログラム Download PDF

Info

Publication number
WO2018207292A1
WO2018207292A1 PCT/JP2017/017721 JP2017017721W WO2018207292A1 WO 2018207292 A1 WO2018207292 A1 WO 2018207292A1 JP 2017017721 W JP2017017721 W JP 2017017721W WO 2018207292 A1 WO2018207292 A1 WO 2018207292A1
Authority
WO
WIPO (PCT)
Prior art keywords
geometric
geometric model
joints
geometric models
models
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/017721
Other languages
English (en)
French (fr)
Inventor
村上　亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to PCT/JP2017/017721 priority Critical patent/WO2018207292A1/ja
Publication of WO2018207292A1 publication Critical patent/WO2018207292A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present disclosure relates to an object recognition method, an object recognition apparatus, an object recognition system, and an object recognition program.
  • Point cloud data including point cloud position information obtained from a sensor that obtains three-dimensional position information, and fitting a given geometric model (such as a cylinder or a cone) based on the point cloud data of one scene
  • a given geometric model such as a cylinder or a cone
  • an object of the present invention is to accurately recognize a joint or skeleton of an object based on point cloud data related to the object having a plurality of joints.
  • point cloud data related to the surface of an object having a plurality of joints is acquired from a sensor that obtains three-dimensional position information, and a plurality of geometric models having axes are included in the point cloud data. And applying a fitting process for deriving respective positions and axial directions of a plurality of geometric models that apply to the point cloud data, and based on a result of the fitting process, the plurality of the models that apply to the point cloud data.
  • two second geometries among the three joints of the object associated with each of the one or more first geometric models and the plurality of geometric models that apply to the point cloud data Recognizing at least one of two joints of the object associated with a skeleton of the object across a model, executed by a computer Object recognition method is provided.
  • FIG. 10 is a schematic flowchart for explaining a determination method by a full width at half maximum by a length calculation unit 128; 3 is a schematic flowchart showing an example of the overall operation of the object recognition system 1. It is a schematic flowchart which shows an example of a site
  • FIG. 1 is a diagram schematically showing a schematic configuration of an object recognition system 1 according to an embodiment.
  • FIG. 1 shows a target person S (an example of an object) for explanation.
  • the object recognition system 1 includes a distance image sensor 21 and an object recognition apparatus 100.
  • the distance image sensor 21 acquires a distance image of the subject S.
  • the distance image sensor 21 is a three-dimensional image sensor, measures the distance by sensing the entire space, and acquires a distance image (an example of point cloud data) having distance information for each pixel like a digital image.
  • the acquisition method of distance information is arbitrary.
  • the distance information acquisition method may be an active stereo method in which a specific pattern is projected onto an object, read by an image sensor, and the distance is acquired by a triangulation method from the geometric distortion of the projection pattern.
  • a TOF (Time-of-Flight) method may be used in which laser light is irradiated, reflected light is read by an image sensor, and a distance is measured from the phase shift.
  • the distance image sensor 21 may be installed in a manner in which the position is fixed, or may be installed in a manner in which the position is movable.
  • the object recognition device 100 recognizes the joint and skeleton of the subject S based on the distance image obtained from the distance image sensor 21. This recognition method will be described in detail later.
  • the target person S is a person or a humanoid robot, and has a plurality of joints. In the following, it is assumed that the target person S is a person as an example.
  • the target person S may be a specific individual or an unspecified person depending on the application. For example, when the use is an analysis of a movement during a competition such as gymnastics, the target person S may be an athlete.
  • the distance image sensor 21 is preferably a target as shown schematically in FIG. A plurality of points are installed so that point cloud data close to the three-dimensional shape of the person S can be obtained.
  • the object recognition device 100 may be realized in the form of a computer connected to the distance image sensor 21.
  • the connection between the object recognition apparatus 100 and the distance image sensor 21 may be realized by a wired communication path, a wireless communication path, or a combination thereof.
  • the object recognition apparatus 100 when the object recognition apparatus 100 is in the form of a server that is relatively remote to the distance image sensor 21, the object recognition apparatus 100 may be connected to the distance image sensor 21 via a network.
  • the network may include, for example, a wireless communication network of a mobile phone, the Internet, World Wide Web, VPN (virtual private network), WAN (Wide Wide Area Network), a wired network, or any combination thereof.
  • the wireless communication path is based on short-range wireless communication, Bluetooth (registered trademark), Wi-Fi (Wireless Fidelity), or the like. It may be realized. Further, the object recognition device 100 may be realized in cooperation with two or more different devices (for example, a computer and a server).
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the object recognition apparatus 100.
  • the object recognition apparatus 100 includes a control unit 101, a main storage unit 102, an auxiliary storage unit 103, a drive device 104, a network I / F unit 106, and an input unit 107.
  • the control unit 101 is an arithmetic device that executes a program stored in the main storage unit 102 or the auxiliary storage unit 103, receives data from the input unit 107 or the storage device, calculates, processes, and outputs the data to the storage device or the like. To do.
  • the control unit 101 may include, for example, a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the main storage unit 102 is a ROM (Read Only Memory), a RAM (Random Access Memory), or the like, and a storage device that stores or temporarily stores programs and data such as an OS and application software that are basic software executed by the control unit 101 It is.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the auxiliary storage unit 103 is an HDD (Hard Disk Drive) or the like, and is a storage device that stores data related to application software.
  • HDD Hard Disk Drive
  • the drive device 104 reads the program from the recording medium 105, for example, a flexible disk, and installs it in the storage device.
  • the recording medium 105 stores a predetermined program.
  • the program stored in the recording medium 105 is installed in the object recognition device 100 via the drive device 104.
  • the installed predetermined program can be executed by the object recognition apparatus 100.
  • the network I / F unit 106 is an interface between the target object recognition apparatus 100 and a peripheral device having a communication function connected via a network constructed by a data transmission path such as a wired and / or wireless line.
  • the input unit 107 includes a keyboard having cursor keys, numeric input, various function keys, and the like, a mouse, a slice pad, and the like.
  • the input unit 107 may correspond to other input methods such as voice input and gestures.
  • various processes described below can be realized by causing the object recognition apparatus 100 to execute a program. It is also possible to record the program on the recording medium 105 and cause the object recognition apparatus 100 to read the recording medium 105 on which the program is recorded, thereby realizing various processes described below.
  • various types of recording media can be used as the recording medium 105.
  • a recording medium that records information optically, electrically, or magnetically such as a CD-ROM, a flexible disk, or a magneto-optical disk, or a semiconductor memory that electrically records information, such as a ROM or flash memory It may be.
  • the recording medium 105 does not include a carrier wave.
  • FIG. 3 is a block diagram illustrating an example of functions of the object recognition apparatus 100.
  • the object recognition apparatus 100 includes a data input unit 120 (an example of an acquisition unit), a clustering unit 122, an EM algorithm unit 124 (an example of a fitting processing unit), a model optimization unit 126, and a length calculation unit 128. including.
  • the object recognition apparatus 100 further includes a part recognition unit 130, a skeleton shaping unit 132 (an example of a recognition processing unit), and an output unit 134.
  • Each unit 120 to 134 can be realized by the control unit 101 illustrated in FIG. 2 executing one or more programs stored in the main storage unit 102.
  • a part of the function of the object recognition apparatus 100 may be realized by a computer that can be incorporated in the distance image sensor 21.
  • the object recognition apparatus 100 includes a geometric model database 140 (indicated as “geometric model DB” in FIG. 3).
  • the geometric model database 140 may be realized by the auxiliary storage unit 103 illustrated in FIG.
  • the distance image (hereinafter referred to as “point cloud data”) is input from the distance image sensor 21 and the joint model to be used is input to the data input unit 120.
  • the point cloud data is as described above, and may be input for each frame period, for example.
  • the point cloud data may include a set of distance images from the plurality of distance image sensors 21.
  • the joint model to be used is an arbitrary model related to the subject S, for example, a model represented by a plurality of joints and a skeleton (link) between the joints.
  • a joint model as shown in FIG. 4 is used.
  • the joint model as shown in FIG. 4 is a 16-joint model having one head, three torso parts (torso parts), both arm parts, and both leg parts. Others are defined as joints at both ends and midpoint.
  • the joint model includes 16 joints a0 to a15 and 15 skeletons b1 to b15 (or also referred to as “parts b1 to b15”) connecting the joints.
  • the joints a4 and a7 are left and right shoulder joints, and the joint a2 is a joint related to the cervical spine.
  • the joints a14 and a15 are the left and right hip joints, and the joint a0 is a joint related to the lumbar spine.
  • the skeletons b14 and b15 related to the hip joint and the skeletons b4 and b7 related to the shoulder joint are skeletons (hereinafter referred to as “hidden skeletons”) that cannot be accurately recognized only by fitting using a geometric model described later. Also called).
  • hidden skeletons skeletons
  • the clustering unit 122 clusters the point cloud data input to the data input unit 120, performs fitting for each cluster, and obtains an initial fitting result (initial value used for fitting using a geometric model described later).
  • Kmeans ++ method or the like can be used as a clustering method.
  • the number of clusters given to the clustering unit 122 may be manually input, or a predetermined number corresponding to the skeleton model may be used.
  • the predetermined number corresponding to the skeleton model is, for example, a value obtained by subtracting the number of parts related to the hidden skeleton from the total number of parts related to the skeleton model. That is, in the case of the 16 joint (15 sites) model shown in FIG.
  • the predetermined number that is the initial number of clusters is “11”.
  • a part of the model is rejected according to the fitting result by clustering.
  • a rejection method a method may be used in which a threshold is set for the data sum of the posterior distribution, which is an expected value of the number of point cloud data that can be explained by the model, and the model below the threshold is rejected.
  • the clustering unit 122 can obtain an initial value used for fitting using a geometric model described later by performing fitting again with the number of clusters.
  • an initial value used for fitting may be acquired by the machine learning unit.
  • the machine learning unit performs label division (region recognition) on 15 sites based on the point cloud data input to the data input unit 120.
  • a random forest may be used as the machine learning method, and the difference between the distance values of the target pixel and the surrounding pixels may be used as the feature amount.
  • a method of performing multi-class classification of each pixel using a distance image as an input may be used.
  • feature quantities other than the difference in distance value may be used, or deep learning (Deep Learning) in which learning is performed including parameters corresponding to the feature quantities may be used.
  • the EM algorithm unit 124 sets the parameter ⁇ by the EM algorithm based on the point cloud data input to the data input unit 120, the geometric model in the geometric model database 140, and the initial value of the fitting obtained by the clustering unit 122. To derive. The reason why the initial value of fitting obtained by the clustering unit 122 is used is that it is useful to give an initial value close to a solution to some extent in the EM algorithm.
  • the initial value is an initial value related to the number of parts M and a parameter ⁇ described later.
  • the geometric model in the geometric model database 140 is, for example, a cylinder, and a case where it is mainly a cylinder will be described below. The possibility of other geometric models will be described later.
  • the EM algorithm unit 124 determines the parameter ⁇ so that the point cloud data x n is most concentrated on the surface of the geometric model.
  • the point group data x n is a set (x 1 , x 2 ,..., X N ) of N points (for example, position vectors) expressed by three-dimensional spatial coordinates (x, y, z). is there.
  • the x component and y component of the spatial coordinates are values of two-dimensional coordinates in the image plane
  • the x component is a horizontal component
  • the y component is a vertical component.
  • the z component represents a distance.
  • the part m is a part (part) of the point cloud data for each geometric model, and is a part associated with the geometric model and the part of the subject S along with the geometric model.
  • the part m may be associated with two parts of the subject S at the same time. For example, in a state where the subject S is stretching the elbow, a part (part b6 or part b9 in FIG. 4) from the elbow joint to the wrist joint (offspring side joint) and the elbow joint to the shoulder joint ( A part up to the ancestor side joint (part b5 or part b8 in FIG. 4) can be one part m.
  • r m and ⁇ 2 are scalars, and c m 0 and e m 0 are vectors.
  • e m 0 is a unit vector. That is, e m 0 is a unit vector representing the direction of the axis of the cylinder.
  • the position c m 0 is a position vector related to the position of an arbitrary point on the axis of the cylinder.
  • the length (height) in the axial direction of the cylinder is indefinite.
  • the orientation e m 0 of the geometric model is the same concept as the axial direction of the geometric model.
  • p (x n ) is a mixed probability distribution model of the point cloud data x n , as described above, ⁇ 2 is a variance, and M is the number of clusters obtained by the clustering unit 122. .
  • the corresponding log likelihood function is as follows.
  • N is the number of data (the number of data included in the point cloud data related to one frame).
  • Equation 2 is a log-likelihood function of a mixed Gaussian model
  • an EM algorithm or the like can be used.
  • the EM algorithm unit 124 derives a parameter ⁇ and a variance ⁇ 2 that maximize the log likelihood function based on the EM algorithm.
  • the surface residual ⁇ m (x n , ⁇ ) is expressed such that the exponent part in Equation 2 is a square difference. Specifically, It is as follows.
  • the EM algorithm is an iteration of an E step for calculating an expected value and an M step for maximizing the expected value.
  • the EM algorithm unit 124 calculates the following posterior distribution p nm .
  • the EM algorithm unit 124 derives a parameter ⁇ and a variance ⁇ 2 that maximize the following expected value Q ( ⁇ , ⁇ 2 ).
  • the posterior distribution p nm is treated as a constant.
  • P is the sum of all parts of the data sum of the posterior distribution p nm (hereinafter, also referred to as “the sum of all parts of the data sum of the posterior distribution p nm ”), and is as follows.
  • the expected value Q ( ⁇ , ⁇ 2) estimate of the variance sigma 2 to maximize the sigma 2 * is as follows.
  • the estimated value r * m of the thickness r m can be directly minimized as follows.
  • Equation 9 is an average operation using the posterior distribution p nm , and is as follows for an arbitrary tensor or matrix A nm .
  • the estimated value e * m 0 of the direction e m 0 is the principal component of the point cloud data, it can be derived based on the principal component analysis. That is, the estimated value e * m 0 of the direction e m 0 can be obtained as the direction of the eigenvector having the largest eigenvalue of the following variance-covariance matrix ⁇ xx .
  • ⁇ x n > p has dependency on the part m and corresponds to the center of gravity (center) of the geometric model (cylinder) related to the part m.
  • the variance-covariance matrix ⁇ xx is also specific to the part m and corresponds to the direction of the geometric model (cylinder) related to the part m.
  • the direction e m 0 may be derived by linear approximation. Good.
  • the update formula based on the minute rotation is defined in such a manner that the norm is preserved, and is as follows.
  • ⁇ e is a minute rotation vector.
  • the estimated value ⁇ e * of ⁇ e is obtained by differentiating the equation of Formula 8 by ⁇ e, and is as follows.
  • Equation 14 represents transposition.
  • e 1 and e 2 are unit vectors orthogonal to the direction e m 0 .
  • a nm and b nm in Equation 13 are as follows (regardless of the notation of joints a0 to a15 and skeletons b1 to b15 shown in FIG. 4).
  • the estimated value e * m 0 of the direction e m 0 is as follows.
  • the inverse matrix of the covariance matrix ⁇ yy and the vector ⁇ y2y (subscript “y 2 y”) are as follows.
  • the EM algorithm unit 124 first obtains the estimated value c * m 0 of the position c m 0 and then obtains the estimated value r * m of the thickness r m .
  • the thickness r m of the parameters ⁇ may be manually entered by the user, the shape information It may be set automatically based on this.
  • the EM algorithm unit 124 derives the remaining elements (position c m 0 and direction e m 0 ) of the parameter ⁇ .
  • the other measurement may be a precise measurement in advance or may be executed in parallel.
  • the model optimizing unit 126 has the best fit at the time of fitting among the plurality of types executed.
  • a geometric model of is derived.
  • the plurality of types of geometric models include geometric models other than cylinders, which are at least one of a cone, a trapezoidal column, an elliptical column, an elliptical cone, and a trapezoidal elliptical column.
  • the multiple types of geometric models related to one part may not include a cylinder.
  • the plurality of types of geometric models related to one part may be different for each part.
  • a single fixed geometric model may be used without using a plurality of types of geometric models.
  • the EM algorithm unit 124 first fits each part using a cylindrical geometric model. Next, the EM algorithm unit 124 switches a geometric model related to a certain part from a cylinder to another (for example, a cone), and performs fitting to the same part. Then, the model optimizing unit 126 selects the geometric model having the largest logarithmic likelihood function as the type of geometric model having the best fit. The model optimizing unit 126 may select the geometric model having the largest sum of all the parts of the posterior distribution data sum as the geometric model having the best fit, instead of the geometric model having the largest log likelihood function. Good.
  • the surface residual ⁇ m (x n , ⁇ ) may be expressed as:
  • the position c m 0 corresponds to the vertex position
  • the direction e m 0 is a unit vector of the central axis.
  • the vector nm is a normal vector at a certain point on the surface of the cone.
  • the surface residual ⁇ m (x n , ⁇ ) may be the same as in the case of a cone. That is, in the case of a trapezoidal column, it can be expressed by defining a distribution with respect to a part of a cone.
  • the surface residual ⁇ m (x n , ⁇ ) may be expressed as follows.
  • d m is the focal length
  • a m is the length of the major axis of the cross-section of an ellipse
  • n m ' is the unit vector in the long axis direction.
  • the position c m 0 corresponds to the position on the axis
  • the direction e m 0 is a unit vector of the axis of the elliptic cylinder (axial direction).
  • the surface residual ⁇ m (x n , ⁇ ) may be expressed as follows.
  • ⁇ m1 and ⁇ m2 are inclination angles in the major axis and minor axis directions, respectively.
  • the position c m 0 corresponds to the vertex position, and the direction e m 0 is a unit vector of the central axis.
  • the surface residual ⁇ m (x n , ⁇ ) may be the same as in the case of the elliptical cone.
  • the EM algorithm unit 124 preferably performs a finite length process.
  • the finite length process is a process of calculating the posterior distribution p nm only for data satisfying a predetermined condition among the point cloud data x n and setting the posterior distribution p nm to 0 for other data.
  • the finite length process is a process for preventing data irrelevant to the part m from being mixed, and the predetermined condition is set so that data irrelevant to the part m can be excluded. Thereby, it can suppress that the point cloud data which should not be actually related influences analysis.
  • the data satisfying the predetermined condition may be data satisfying the following expression, for example.
  • l m 0 is an input length related to the part m
  • ⁇ is a margin (for example, 1.2).
  • the input length l m 0 can be manually input, or may be set based on the shape information of the subject S obtained by other measurement.
  • the length calculation unit 128 calculates the length (part) from the center to the end of the geometric model.
  • the length parameter l m corresponding to (the length from the center of m to the end) is derived.
  • the length calculation unit 128 may calculate the length parameter l m of the part m using the variance-covariance matrix ⁇ xx as follows.
  • C is a constant multiple correction value.
  • the length calculation section 128, the length parameter l m site m may be calculated by determination by the full width at half maximum.
  • the full width at half maximum refers to the interval up to where the number of data is halved compared to where there is a lot of data.
  • the length calculation unit 128 derives a length parameter by finding the “cut” of the part m.
  • the length calculation unit 128 finely cuts the part m along the axial direction in the form of a ring whose normal is the axial direction related to the direction e m 0 , and counts the number of data contained therein.
  • a point where the value is equal to or less than a predetermined threshold is defined as a “break”. Specifically, in the determination based on the full width at half maximum, the predetermined threshold is half the maximum value of the count value, but may be a value other than half, such as 0.1 times the maximum value of the count value.
  • FIG. 5 is a diagram schematically showing a derivation result (fitting result by a geometric model) by the EM algorithm unit 124
  • FIG. 6 is a schematic flowchart for explaining a determination method by the full width at half maximum by the length calculation unit 128. .
  • the head and the torso are each fitted with a single cylinder, and both the arms and the legs are fitted with a single cylinder.
  • a method for calculating the length parameter l m (l + m and l ⁇ m ) of the part m will be described as a representative case where the arm portion of the subject S is the part m.
  • the arm is recognized as one part by the EM algorithm part 124 because the elbow joint is extended (it is applied by one geometric model). .
  • step S602 the length calculation unit 128 counts the number of data satisfying the following condition among the point cloud data xn .
  • ⁇ X n ⁇ e m 0 > p corresponds to the center of the part m.
  • ⁇ l m corresponds to the width of the ring cut (width along the axial direction e m 0 ), and is, for example, 0.01 l m 0 .
  • l m 0 is the input length related to the part m as described above.
  • S m is a threshold for the posterior distribution p nm , and is 0.1, for example.
  • step S604 the length calculation unit 128 sets the reference value Cref based on the count number obtained in step S602. For example, the length calculation unit 128 sets the count obtained in step S602 as the reference value Cref.
  • step S606 n is incremented by “1”.
  • step S608 the length calculation unit 128 counts the number of data satisfying the following condition in the point cloud data xn . That is, the length calculator 128 in the next section shifted by .DELTA.l m, counts the number of the following conditions data.
  • step S610 the length calculation unit 128 determines whether or not the number of data counted in step S608 is equal to or less than a predetermined number times (for example, 0.5 times) the reference value Cref. If the determination result is “YES”, the process proceeds to step S612, and otherwise, the process from step S606 is repeated.
  • a predetermined number times for example, 0.5 times
  • step S620 to step S632 the length calculation unit 128 proceeds in the reverse direction (ancestor side), and in the same way, from the center to the ancestor side end of the part m shown in FIG.
  • the length parameter l - m of is calculated.
  • the length calculation unit 128, as follows, may be calculated length parameter l m site m.
  • N m is a subset of n defined below, and is a set of n whose posterior distribution p nm is smaller than a certain threshold value p m th .
  • the threshold value p m th is, for example, as follows.
  • the subset N m is a set of data that does not belong to the part m in the point cloud data x n . Therefore, the length calculation section 128, among the subsets N m, the distance from the center (number 29
  • ) to data is minimized Based on this, the length parameter lm of the part m is calculated.
  • Region recognition unit 130 a derivation result of the parameters of site m (r m, c m 0 , and e m 0), on the basis of the derivation result of the length parameter l m site m, performs a part recognition process.
  • the part recognition process includes recognizing the correspondence between the part m and each part of the subject S (see the parts b1 to b15 in FIG. 4).
  • the position of the end of the part m on the axis (the end that determines the length parameter l m ) can be derived.
  • the position ⁇ m 0 of the end portion on the axis of the part m satisfies the following.
  • Equation 32 the second term on the right side of Equation 32 is as follows at the end on the ancestor side and the end on the descendant side.
  • l ⁇ m is the center of the part m Is a length parameter from to the ancestor side, and is calculated by the length calculation unit 128 as described above.
  • ⁇ is a constant, and may be 1, for example.
  • a “joint point” refers to a representative point related to a joint (a point representing a position related to a joint), and an end (position) of the part m that can be derived in this way also corresponds to the joint point.
  • Region recognition unit 130 by using the thickness r m, identifying the main site.
  • the main part is the part with the largest thickness, and is the trunk of the subject S in this embodiment.
  • the part recognizing unit 130 recognizes the thickest part or two adjacent first and second thickest parts whose thickness difference is less than a predetermined value as the main part of the object. Specifically, when the difference between the first largest part m1 and the second largest part m2 is less than a predetermined value, the part recognition unit 130 determines which part m1, m2 Is also identified as a torso. The predetermined value is a matching value corresponding to the difference in thickness between the parts m1 and m2. On the other hand, when the difference between the first largest part m1 and the second largest part m2 is equal to or greater than a predetermined value, the part recognition unit 130 converts only the first largest part m1 into the trunk (part b1 + part. identified as b2).
  • the site recognition unit 130 sets a “cut flag” for the site ml.
  • the significance of the disconnect flag will be described later. Accordingly, for example, in FIG. 4, even when the part b1 and the part b2 are straightly extended according to the posture of the subject S, the part b1 and the part b2 can be recognized as the trunks related to the part m1 and the part m2. .
  • the part recognizing unit 130 determines (identifies) a joint point in the vicinity of the bottom of the torso after identifying the main part (torso).
  • the part recognition unit 130 For the bottom surface of the body part, the part recognition unit 130 has an end part on the body part side in a minute cylinder (or an elliptical column or a trapezoidal column) set at the position of the end part on the bottom surface side of the body part.
  • the two parts ml and mr to which the position of belong are specified.
  • a predetermined value may be used for the height of the minute cylinder.
  • the part recognition unit 130 divides the parts ml and mr into the part related to the left leg (refer to part b10 or part b10 + b11 in FIG. 4) and the part related to the right leg (refer to part b12 or part b12 + b13 in FIG. 4).
  • the part recognizing part 130 When the part recognizing part 130 identifies the part ml related to the left leg part, the part recognizing part 130 includes a body part in a sphere (hereinafter also referred to as “connected sphere”) set at the position of the end part far from the body part in the part ml. It is determined whether or not there is a part having an end position on the side close to. A predetermined value may be used for the diameter of the connecting sphere. If there is a part ml2 having the position of the end close to the torso in the connecting sphere, the part recognition unit 130 recognizes the part ml as the thigh b10 of the left leg, and the part ml2 This is recognized as the shin b11 of the left leg.
  • the part recognition unit 130 recognizes the part ml as a part including both the thigh and shin of the left leg. To do.
  • the site recognition unit 130 sets a “cut flag” for the site ml. Thereby, for example, in FIG. 4, even when the parts b ⁇ b> 10 and b ⁇ b> 11 extend straight according to the posture of the subject S, the parts b ⁇ b> 10 and b ⁇ b> 11 can be recognized as parts related to the left leg.
  • the part recognizing unit 130 identifies the part mr related to the right leg part, the part close to the body part in the sphere (connected sphere) set at the position of the end part far from the body part in the part mr. It is determined whether or not there is a part having the position of the end. A predetermined value may be used for the diameter of the connecting sphere.
  • the part recognition unit 130 recognizes the part mr as the thigh b12 of the right leg, and the part mr2 This is recognized as the right leg shin b13.
  • the part recognition unit 130 recognizes the part mr as a part including both the thigh and shin of the right leg. To do. In this case, the part recognition unit 130 sets a “cut flag” for the part mr. Thereby, for example, in FIG. 4, even when the parts b12 and b13 extend straight according to the posture of the subject S, the parts b12 and b13 can be recognized as parts related to the right leg.
  • the part recognition part 130 will determine (identify) the joint point in the side surface vicinity of a trunk
  • the site recognizing unit 130 is located on the side surface in the axial direction (principal axis) of the torso, and the two joint points closest to the head side surface are the base joint points of the left and right arms (joint points related to the shoulder joint). Identify as.
  • the part recognizing unit 130 identifies a joint point included in a thin torus (a torus related to a cylinder) on the side surface of the trunk as a joint point of the base of the arm. A predetermined value may be used as the thickness of the torus.
  • the part recognition unit 130 divides the parts mlh and mrh including the base joint points of the left and right arm parts into the part related to the left hand (see part b5 or part b5 + b6 in FIG. 4) and the part related to the right hand (in FIG. 4). Recognized as part b8 or part b8 + b9).
  • the part recognition unit 130 When the part recognition unit 130 identifies the part mlh related to the left hand, the position of the end part on the side close to the trunk part in the sphere (connected sphere) set to the position of the end part far from the trunk part in the part mlh. It is determined whether or not there is a part having. A predetermined value may be used for the diameter of the connecting sphere. Then, when there is a part mlh2 having the position of the end on the side close to the trunk part in the connecting sphere, the part recognition unit 130 recognizes the part mlh as the upper arm part b5 of the left hand, and the part mlh2 Recognized as the left arm forearm b6.
  • the part recognition unit 130 recognizes the part mlh as a part including both the upper arm part and the forearm part of the left hand. To do. In this case, the part recognition unit 130 sets a “cut flag” for the part mlh. Thereby, for example, in FIG. 4, even when the parts b5 and b6 extend straight in accordance with the posture of the subject S, the parts b5 and b6 can be recognized as the parts related to the left hand.
  • the part recognizing part 130 identifies the part mrh related to the right hand, the end on the side close to the torso is within the sphere (connected sphere) set at the position of the end far from the torso in the part mrh. It is determined whether or not there is a part having the position of the part. A predetermined value may be used for the diameter of the connecting sphere. And when the part mrh2 which has the position of the edge part near the trunk
  • the part recognition unit 130 recognizes the part mrh as a part including both the upper arm part and the forearm part of the right hand. To do. In this case, the part recognition unit 130 sets a “cut flag” for the part mrh. Thereby, for example, in FIG. 4, even when the parts b8 and b9 are straightly extended according to the posture of the subject S, the parts b8 and b9 can be recognized as the parts related to the right hand.
  • the skeleton shaping unit 132 performs a cutting process, a joining process, and a connecting process as the skeleton shaping process.
  • the cutting process is a process of separating one part into two further parts.
  • the part to be separated is a part of the part m in which the above-described cutting flag is set.
  • the geometric model related to the part to be cut (that is, the geometric model related to the part for which the above-described cutting flag is set) is an example of the first geometric model.
  • the parts for which the cutting flag is set are, for example, the parts recognized as one part by the fitting by the geometric model when the straight flag is extended, such as the upper arm part and the forearm part (see parts b5 and b6 in FIG. 4). It is.
  • the cutting process separates such originally two sites into two further sites.
  • Equation 32 the second term on the right side of Equation 32 is as follows. Note that the derivation results of c m 0 and e m 0 are used to derive the intermediate joint point.
  • ⁇ is a constant, and may be 1, for example.
  • ⁇ may be set based on the shape information of the subject S obtained by other measurement.
  • the cutting process even when the part m originally includes a part consisting of two parts, it is possible to derive three joint points by cutting into two further parts. Therefore, for example, even when the legs are stretched and the elbows and knees are straightened, the three joint points can be derived by the cutting process.
  • the joining process is a process of generating a hidden skeleton as a straight line connecting two joint points related to two predetermined parts m.
  • the geometric model related to the predetermined two parts m to be combined is an example of the second geometric model.
  • the hidden skeletons include skeletons b14 and b15 related to the hip joint and skeletons b4 and b7 related to the shoulder joint.
  • the joint point a0 on the bottom surface side of the part b1 and the joint point a14 on the trunk part side of the part b10 correspond to the two joint points to be combined.
  • the predetermined two joints correspond to the joint point a0 on the bottom surface side of the part b1 and the joint point a15 on the trunk part side of the part b12.
  • the predetermined two joints correspond to the joint point a2 on the head side of the part b2 and the joint point a4 on the trunk part side of the part b5.
  • the predetermined two joints correspond to a joint point a2 on the head side of the part b2 and a joint point a7 on the trunk part side of the part b8.
  • a hidden skeleton (a straight line corresponding to the link) can be derived by the coupling process.
  • the direction of the straight line related to the hidden skeleton may be used as the direction es 0 of the part s related to the hidden skeleton, and the position on the straight line may be the position c s 0 of the part s related to the hidden skeleton. It may be used as
  • connection process is a process of integrating (connecting) joint points (common joint points) related to the same joint that can be derived from geometric models related to different parts into one joint point.
  • the joint points to be connected are, for example, two joint points in the connecting sphere described above (joint points related to the joints a5, a8, a10, and a12 in FIG. 4).
  • Such connection processing relating to the arm portion and the leg portion is executed when the cutting flag is not set.
  • the other joint points to be connected are related to the joint point of the neck, and are two joint points (joint points related to the joint a2 in FIG. 4) obtained from both the geometric model of the head and the geometric model of the torso. is there.
  • the point of articulation other consolidated in case of identification thickness r m is 1 largest part m1 and the second largest site m2 and as each barrel, the joint between the portions m1 and site m2 Points (joint points related to the joint a1 in FIG. 4). That is, the connection process related to the body is executed when the cutting flag is not set.
  • connection process may be a process of simply selecting one of the joint points. Or, the method using the average value of two joint points, the method using the value of the part with the larger data sum of the posterior distribution of the two parts related to the two joint points, the data sum of the posterior distribution A method using a weighted value may be used.
  • the skeleton shaping unit 132 preferably performs further symmetrization processing as the skeleton shaping processing.
  • the symmetrization process is a process of correcting the parameters symmetrically with respect to the parts that are essentially symmetrical.
  • symmetrical parts are, for example, left and right arm parts and left and right leg parts.
  • the skeleton shaping unit 132 sets the largest sum of the posterior distribution data for the thickness r m and the length parameter l m of the parameter ⁇ . You may unify.
  • the thickness r m and length parameters l m of the left leg For example if the data sum of the posterior distribution of the left leg is greater than the sum of data of the posterior distribution of the right leg, the thickness r m and length parameters l m of the left leg, the thickness of the right leg portion It is to correct the r m and length parameters l m.
  • the thickness r m and length parameters l m By utilizing the left-right symmetry, it is possible to improve the accuracy of the thickness r m and length parameters l m.
  • the output unit 134 outputs the skeleton information of the subject S (indicated as “recognition result” in FIG. 3) to a display device or the like (not shown).
  • the output unit 160 may output the skeleton information of the subject S approximately in real time for each frame period.
  • the output unit 160 may output the skeleton information in time series in non-real time for the purpose of explaining the movement of the subject S.
  • the skeletal information may include information that can specify the positions of the joints a0 to a15.
  • the skeleton information may include information that can specify the position, orientation, and thickness of the skeletons b1 to b15.
  • the use of the skeleton information is arbitrary, but may be used to derive the skeleton information in the next frame period.
  • the skeletal information may ultimately be used for analysis of the movement of the subject S during competition such as gymnastics. For example, in the analysis of the movement of the subject S at the time of gymnastics competition, technique recognition and technique quantification (score etc.) based on skeleton information may be realized.
  • the movement of the target person S assumed to be an operator may be analyzed and used for a robot program. Alternatively, it can be used for user interface by gestures, personal identification, quantification of skilled techniques, and the like.
  • the cutting process is performed on the result obtained by performing the fitting using the geometric model.
  • the joint that connects the two parts can be accurately recognized.
  • the combining process is performed on the result obtained by performing the fitting using the geometric model.
  • the joint or skeleton of the subject S can be accurately recognized based on the point cloud data of the subject S.
  • FIG. 7 is a schematic flowchart showing an example of the overall operation of the object recognition system 1
  • FIG. 8 is a schematic flowchart showing an example of the part recognition process.
  • 9A and 9B are explanatory diagrams of the processing of FIG.
  • point group data x n relating to a certain temporary point (one scene) is shown.
  • step S700 the point cloud data xn relating to a certain temporary point is input to the data input unit 120.
  • step S702 the clustering unit 122 acquires an initial value used for fitting using a geometric model based on the point cloud data xn obtained in step S700.
  • the details of the processing (initial value acquisition method) of the clustering unit 122 are as described above.
  • step S704 the EM algorithm unit 124 executes the E step of the EM algorithm based on the point cloud data xn obtained in step S700 and the initial value obtained in step S702. Details of the E step of the EM algorithm are as described above.
  • step S710 the EM algorithm unit 124 determines whether there is an unprocessed part, that is, whether j ⁇ M. If there is an unprocessed part, the process from step S706 is repeated through step S711. If there is no unprocessed part, the process proceeds to step S712.
  • step S711 the EM algorithm unit 124 increments j by “1”.
  • step S712 the EM algorithm unit 124 determines whether or not it has converged.
  • the convergence condition for example, that the log-likelihood function is not more than a predetermined value or that the moving average of the log-likelihood function is not more than a predetermined value may be used.
  • step S714 the model optimization unit 126 performs a model optimization process. For example, the model optimization unit 126 calculates the total part sum of the data sum of the posterior distribution related to the geometric model used this time. If the total part sum of the data sum of the posterior distribution is less than the predetermined reference value, the EM algorithm unit 124 is instructed to change the geometric model, and the processes from step S704 to step S712 are executed again. Alternatively, the model optimizing unit 126 instructs the EM algorithm unit 124 to change the geometric model regardless of the total part sum of the data sum of the posterior distribution related to the geometric model used this time. The process of S712 is executed again. In this case, the model optimizing unit 126 selects the geometric model having the largest sum of all parts of the data sum of the posterior distribution as the type of geometric model having the best fit.
  • parameters ⁇ (r m , c m 0 , and e m 0 ) relating to a plurality of geometric models applied to the point cloud data x n are obtained. It is done.
  • the geometric model M1 is a geometric model related to the head of the subject S
  • the geometric model M2 is a geometric model related to the torso of the subject S
  • the geometric models M3 and M4 are both arms of the subject S.
  • the geometric models M5 and M6 are geometric models related to both legs of the subject S.
  • the geometric models M1 to M6 are all cylindrical.
  • step S716 the length calculation unit 128 determines the length parameter l m of each geometric model (see the geometric models M1 to M6) based on the point cloud data x n and the parameter ⁇ obtained in the processing up to step S714. Is derived. Deriving the length parameter l m includes deriving the length parameter l + m and the length parameter l ⁇ m with respect to the center of the part m as described above.
  • step S7108 the part recognition unit 130 performs part recognition processing.
  • the site recognition process is as described above, but an example procedure will be described later with reference to FIG.
  • step S720 the skeleton shaping unit 132 performs a cutting process, a combining process, and a connecting process based on the part recognition process result obtained in step S718.
  • the skeletal shaping unit 132 performs a cutting process on the part for which the cutting flag is set.
  • the details of the cutting process are as described above.
  • the coupling process is as described above, and includes deriving the straight lines related to the skeletons b14 and b15 related to the hip joint and the skeletons b4 and b7 related to the shoulder joint.
  • the details of the connection process are as described above.
  • step S720 When the processing up to step S720 is completed, as conceptually shown in FIG. 9B, the position of each joint related to the cutting processing, the hidden skeleton, and the like are derived.
  • step S722 the skeleton shaping unit 132 performs a symmetrization process based on the data sum of the posterior distribution obtained in steps S704 to S712.
  • the details of the symmetrization process are as described above.
  • step S718 the part recognition process in step S718 will be described with reference to FIG.
  • step S800 the region recognition unit 130, the thickness r m, the difference between the thick portion in the first and second is equal to or greater than a predetermined value. If the determination result is “YES”, the process proceeds to step S802, and otherwise, the process proceeds to step S804.
  • the region recognition unit 130 identifies the thickness r m greater portion m1 to the first as the barrel (straight elongated body portion), it sets the cut flag for site m1.
  • the part to which the geometric model M2 is associated is the first thickest part m1 whose difference from the second thickest part is a predetermined value or more, and the cutting flag is set. .
  • the cutting flag is set for the part m1 in this way, the cutting process is executed for the part m1 in step S720 of FIG.
  • step S804 the region recognition unit 130, and a thickness r m greater part the second greater portion m1 to the first m2, identified as the barrel.
  • step S806 the part recognition unit 130 recognizes the head.
  • the part recognition unit 130 recognizes a part mh near the upper surface of the part m1 as a head.
  • the part to which the geometric model M1 is associated is recognized as the head.
  • step S808 the part recognizing unit 130 recognizes the left and right legs near the bottom of the trunk. That is, as described above, the part recognizing unit 130 identifies the left and right two joint points in the vicinity of the bottom surface of the trunk as the root joint point of each leg part, and the parts ml and mr having the two joint points are It is recognized as a part related to the leg part.
  • step S810 the part recognizing unit 130 has joint points related to the other parts ml2 and mr2 on the end side (the side far from the trunk part) of the parts ml and mr related to the left and right legs recognized in step S808. It is determined whether or not. At this time, the part recognizing unit 130 determines the left and right leg parts separately. If the determination result is “YES”, the process proceeds to step S812, and otherwise, the process proceeds to step S814.
  • step S812 the part recognizing unit 130 recognizes the parts ml and mr related to the left and right legs recognized in step S808 as thighs, and uses the other parts ml2 and mr2 recognized in step S810 as the shin parts. recognize.
  • step S720 of FIG. 7 the connection process is executed for the parts ml and ml2, and the connection process is executed for the parts mr and mr2.
  • step S814 the part recognition unit 130 recognizes the parts ml and mr related to the left and right legs recognized in step S808 as straight legs, and sets a cutting flag for the parts ml and mr. .
  • the cutting flag is set for the parts ml and mr in this way, the cutting process is executed for the parts ml and mr in step S720 of FIG.
  • step S816 the part recognizing unit 130 recognizes the left and right arms on the left and right side surfaces on the upper side of the trunk (the side far from the leg). That is, as described above, the part recognizing unit 130 identifies the two joint points included in the thin torus on the side surface of the torso as the root joint points of the respective arm parts, and the parts mlh, mrh having the two joint points. Is recognized as a part related to the left and right arms.
  • step S8108 the part recognizing unit 130 has joint points related to the other parts mlh2 and mrh2 on the terminal side (the side far from the trunk) of the parts mlh and mrh related to the left and right arms recognized in step S808. It is determined whether or not. At this time, the part recognizing unit 130 determines the left and right arm parts separately. If the determination result is “YES”, the process proceeds to step S820, and otherwise, the process proceeds to step S822.
  • step S820 the part recognition unit 130 recognizes the parts mlh and mrh related to the left and right arms recognized in step S816 as the upper arm part, and recognizes the other parts mlh2 and mrh2 recognized in step S818 as the forearm part. To do.
  • step S720 of FIG. 7 the connection process is executed for the parts mlh and mlh2, and the connection process is executed for the parts mrh and mrh2.
  • step S822 the part recognizing unit 130 recognizes the parts mlh and mrh related to the left and right arm parts recognized in step S816 as straight arms, and sets a cutting flag for the parts mlh and mrh. .
  • the cutting flag is set for the parts mlh and mrh in this way, the cutting process is executed for the parts mlh and mrh in step S720 of FIG.
  • FIGS. 7 and 8 it is possible to accurately recognize the joint or skeleton of the subject S based on the point cloud data xn of the subject S related to a certain temporary point (one scene). Become.
  • the processing shown in FIGS. 7 and 8 may be repeatedly executed for each frame period.
  • the parameters ⁇ and variance ⁇ 2 obtained in the previous frame and the previous frame are used.
  • the parameter ⁇ or the like related to the next frame may be derived using the existing geometric model.
  • the point group data xn has been formulated assuming that all of the point group data xn exists in the vicinity of the geometric model surface.
  • the point group data xn includes noise and the like. If such data away from the surface is mixed, the posterior distribution of the E step may become unstable and may not be calculated correctly. Therefore, a uniform distribution may be added as a noise term to the distribution p (x n ) as follows.
  • u is an arbitrary weight.
  • the posterior distribution is corrected as follows.
  • u c is defined as follows.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

３次元の位置情報を得るセンサから、複数の関節を有する対象物の表面に係る点群データを取得し、前記点群データに、軸を有する幾何モデルを複数の個所で別々に当てはめ、前記点群データに当てはまる複数の幾何モデルのそれぞれの位置及び軸方向を導出する当てはめ処理を行い、前記当てはめ処理の結果に基づいて、前記点群データに当てはまる前記複数の幾何モデルのうちの、１つ以上の第１幾何モデルのそれぞれに対応付けられる前記対象物の３つの関節、及び、前記点群データに当てはまる前記複数の幾何モデルのうちの、２つの第２幾何モデルにわたる前記対象物の骨格に対応付けられる前記対象物の２つの関節、のうちの少なくともいずれか一方を認識することを含む、コンピュータにより実行される対象物認識方法が開示される。

Description

対象物認識方法、装置、システム、プログラム
　本開示は、対象物認識方法、対象物認識装置、対象物認識システム、及び対象物認識プログラムに関する。
　３次元の位置情報を得るセンサから得られる点群の各位置情報を含む点群データであって、１シーンの点群データに基づいて、所与の幾何モデル（円柱や円錐など）をフィッティングして、点群データに係る物体の部位を検出する技術が知られている。
堀内英一による「シングルスキャン点群データのための半形状幾何学モデル」、日本ロボット学会誌 Vol. 32, No. 8, pp.721 (2014)
　しかしながら、上記のような従来技術では、複数の関節を有する対象物に係る点群データに基づいて、対象物の関節又は骨格を精度良く認識することが難しい。例えば、関節を有する対象物の場合は、関節で繋がる２つの部位が真っ直ぐに伸ばされていると、１つの部位として認識される虞があり、該２つの部位を繋ぐ関節の位置を精度良く認識することが難しい。また、例えば人の肩や股関節に係る骨格は、幾何モデルを用いたフィッティングだけでは精度良く認識できない骨格（隠れた骨格）となる。
　そこで、１つの側面では、本発明は、複数の関節を有する対象物に係る点群データに基づいて、対象物の関節又は骨格を精度良く認識することを目的とする。
　本開示の一局面によれば、３次元の位置情報を得るセンサから、複数の関節を有する対象物の表面に係る点群データを取得し、前記点群データに、軸を有する幾何モデルを複数の個所で別々に当てはめ、前記点群データに当てはまる複数の幾何モデルのそれぞれの位置及び軸方向を導出する当てはめ処理を行い、前記当てはめ処理の結果に基づいて、前記点群データに当てはまる前記複数の幾何モデルのうちの、１つ以上の第１幾何モデルのそれぞれに対応付けられる前記対象物の３つの関節、及び、前記点群データに当てはまる前記複数の幾何モデルのうちの、２つの第２幾何モデルにわたる前記対象物の骨格に対応付けられる前記対象物の２つの関節、のうちの少なくともいずれか一方を認識することを含む、コンピュータにより実行される対象物認識方法が提供される。
　本開示によれば、複数の関節を有する対象物に係る点群データに基づいて、対象物の関節又は骨格を精度良く認識することが可能となる。
一実施例による対象物認識システムの概略構成を模式的に示す図である。 対象物認識装置のハードウェア構成の一例を示す図である。 対象物認識装置の機能の一例を示すブロック図である。 関節モデルの一例の説明図である。 ＥＭアルゴリズム部１２４による導出結果を模式的に示す図である。 長さ算出部１２８による半値全幅による決定方法の説明用の概略フローチャートである。 対象物認識システム１の全体動作の一例を示す概略フローチャートである。 部位認識処理の一例を示す概略フローチャートである。 対象物認識システムによる処理の説明図である。 対象物認識システムによる処理の説明図である。
　以下、添付図面を参照しながら各実施例について詳細に説明する。以下、特に言及しない限り、「あるパラメータ（例えば後述のパラメータθ）を導出する」とは、「該パラメータの値を導出する」ことを意味する。
　図１は、一実施例による対象物認識システム１の概略構成を模式的に示す図である。図１には、説明用に、対象者Ｓ（対象物の一例）が示されている。
　対象物認識システム１は、距離画像センサ２１と、対象物認識装置１００とを含む。
　距離画像センサ２１は、対象者Ｓの距離画像を取得する。例えば、距離画像センサ２１は、３次元画像センサであり、空間全体のセンシングを行って距離を計測し、デジタル画像のように画素毎に距離情報を持つ距離画像（点群データの一例）を取得する。距離情報の取得方式は任意である。例えば、距離情報の取得方式は、特定のパターンを対象に投影してそれをイメージセンサで読み取り、投影パターンの幾何学的な歪みから三角測量の方式により距離を取得するアクティブステレオ方式であってもよい。また、レーザー光を照射してイメージセンサで反射光を読み取り、その位相のずれから距離を計測するTOF（Time-of-Flight）方式であってもよい。
　尚、距離画像センサ２１は、位置が固定される態様で設置されてもよいし、位置が可動な態様で設置されてもよい。
　対象物認識装置１００は、距離画像センサ２１から得られる距離画像に基づいて、対象者Ｓの関節や骨格を認識する。この認識方法については、後で詳説する。対象者Ｓは、人や人型のロボットであり、複数の関節を有する。以下では、一例として、対象者Ｓは、人であるものとする。対象者Ｓは、用途に応じて、特定の個人であってもよいし、不特定の人であってもよい。例えば、用途が体操等の競技時の動きの解析である場合、対象者Ｓは、競技選手であってよい。尚、用途が、体操やフィギュアスケート等の競技時のような激しい動き（高速かつ複雑な動作）を解析する場合、距離画像センサ２１は、好ましくは、図１に模式的に示すように、対象者Ｓの３次元形状に近い点群データが得られるように、複数個設置される。
　対象物認識装置１００は、距離画像センサ２１に接続されるコンピュータの形態で実現されてもよい。対象物認識装置１００と距離画像センサ２１との接続は、有線による通信路、無線による通信路、又はこれらの組み合わせで実現されてよい。例えば、対象物認識装置１００が距離画像センサ２１に対して比較的遠隔に配置されるサーバの形態である場合、対象物認識装置１００は、ネットワークを介して距離画像センサ２１に接続されてもよい。この場合、ネットワークは、例えば、携帯電話の無線通信網、インターネット、World Wide Web、VPN（virtual private network）、WAN（Wide Area Network）、有線ネットワーク、又はこれらの任意の組み合わせ等を含んでもよい。他方、対象物認識装置１００が距離画像センサ２１に対して比較的近傍に配置される場合、無線による通信路は、近距離無線通信、ブルーツース（登録商標）、Ｗｉ－Ｆｉ（Wireless Fidelity）等により実現されてもよい。また、対象物認識装置１００は、異なる２つ以上の装置（例えばコンピュータやサーバ等）により協動して実現されてもよい。
　図２は、対象物認識装置１００のハードウェア構成の一例を示す図である。
　図２に示す例では、対象物認識装置１００は、制御部１０１、主記憶部１０２、補助記憶部１０３、ドライブ装置１０４、ネットワークＩ／Ｆ部１０６、入力部１０７を含む。
　制御部１０１は、主記憶部１０２や補助記憶部１０３に記憶されたプログラムを実行する演算装置であり、入力部１０７や記憶装置からデータを受け取り、演算、加工した上で、記憶装置などに出力する。制御部１０１は、例えばＣＰＵ（Central Processing Unit)やＧＰＵ（Graphics Processing Unit）を含んでよい。
　主記憶部１０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部１０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
　補助記憶部１０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
　ドライブ装置１０４は、記録媒体１０５、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。
　記録媒体１０５は、所定のプログラムを格納する。この記録媒体１０５に格納されたプログラムは、ドライブ装置１０４を介して対象物認識装置１００にインストールされる。インストールされた所定のプログラムは、対象物認識装置１００により実行可能となる。
　ネットワークＩ／Ｆ部１０６は、有線及び／又は無線回線などのデータ伝送路により構築されたネットワークを介して接続された通信機能を有する周辺機器と対象物認識装置１００とのインターフェースである。
　入力部１０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、マウスやスライスパット等を有する。入力部１０７は、音声入力やジェスチャー等の他の入力方法に対応してもよい。
　尚、図２に示す例において、以下で説明する各種処理等は、プログラムを対象物認識装置１００に実行させることで実現することができる。また、プログラムを記録媒体１０５に記録し、このプログラムが記録された記録媒体１０５を対象物認識装置１００に読み取らせて、以下で説明する各種処理等を実現させることも可能である。なお、記録媒体１０５は、様々なタイプの記録媒体を用いることができる。例えば、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等であってよい。なお、記録媒体１０５には、搬送波は含まれない。
　図３は、対象物認識装置１００の機能の一例を示すブロック図である。
　対象物認識装置１００は、データ入力部１２０（取得部の一例）と、クラスタリング部１２２と、ＥＭアルゴリズム部１２４（当てはめ処理部の一例）と、モデル最適化部１２６と、長さ算出部１２８とを含む。また、対象物認識装置１００は、更に、部位認識部１３０と、骨格整形部１３２（認識処理部の一例）と、出力部１３４とを含む。各部１２０乃至１３４は、図２に示す制御部１０１が主記憶部１０２に記憶された１つ以上のプログラムを実行することで実現できる。尚、対象物認識装置１００の機能の一部は、距離画像センサ２１に内蔵されうるコンピュータにより実現されてもよい。また、対象物認識装置１００は、幾何モデルデータベース１４０（図３では、"幾何モデルＤＢ"と表記）を含む。幾何モデルデータベース１４０は、図２に示す補助記憶部１０３により実現されてよい。
　データ入力部１２０には、距離画像センサ２１から距離画像（以下、「点群データ」と称する）が入力されるとともに、使用する関節モデルが入力される。点群データは、上述のとおりであり、例えばフレーム周期毎に入力されてよい。また、複数の距離画像センサ２１が用いられる場合は、点群データは、複数の距離画像センサ２１からの距離画像の集合を含んでよい。
　使用する関節モデルは、対象者Ｓに係る任意のモデルであり、例えば、複数の関節と、関節間の骨格（リンク）とで表されるモデルである。本実施例では、一例として、図４に示すような関節モデルが用いられる。図４に示すような関節モデルは、頭部が１つ、胴部（胴体部）、両腕部、及び両脚部がそれぞれ３つの関節を持つ１６関節モデルであり、頭部は両端が関節として規定され、その他は両端及び中点の３つが関節として規定される。具体的には、関節モデルは、１６個の関節ａ０～ａ１５と、関節間を繋ぐ１５個の骨格ｂ１～ｂ１５（又は「部位ｂ１～ｂ１５」とも称する）とからなる。尚、理解できるように、例えば関節ａ４，ａ７は、左右の肩の関節であり、関節ａ２は、頸椎に係る関節である。また、関節ａ１４，ａ１５は、左右の股関節であり、関節ａ０は、腰椎に係る関節である。このような関節モデルでは、股関節に係る骨格ｂ１４、ｂ１５や、肩の関節に係る骨格ｂ４、ｂ７は、後述の幾何モデルを用いたフィッティングだけでは精度良く認識できない骨格（以下、「隠れた骨格」とも称する）となる。尚、以下の説明において、関節や部位に関する位置関係について、「祖先」とは、体の中心に近い側を指し、「子孫」とは、体の中心から遠い側を指す。
　クラスタリング部１２２は、データ入力部１２０に入力される点群データをクラスタリングして、クラスター毎にフィッティングを行って初期あてはめ結果（後述の幾何モデルを用いたフィッティングに用いる初期値）を取得する。クラスタリング手法としては、Kmeans++法などを用いることができる。尚、クラスタリング部１２２に与えられるクラスター数は、手動による入力でもよいが、骨格モデルに応じた所定数が用いられてもよい。骨格モデルに応じた所定数は、例えば、骨格モデルに係る部位の総数から、隠れた骨格に係る部位の数を引いた値である。即ち、図４に示す16関節（15部位）モデルの場合、4部位が隠れた骨格となるため、最初のクラスター数である所定数は"11"である。この場合、クラスタリングによるフィッティング結果に応じて、モデルの一部が棄却される。棄却方法としては、モデルで説明できる点群データの数の期待値である事後分布のデータ和に対して閾値を設定し、閾値以下のモデルを棄却する方法が用いられてよい。棄却数が決まると、クラスタリング部１２２は、再びそのクラスター数でフィッティングを行うことで、後述の幾何モデルを用いたフィッティングに用いる初期値を得ることができる。
　尚、変形例では、クラスタリング部１２２に代えて、機械学習部が用いてフィッティングに用いる初期値が取得されてもよい。この場合、機械学習部は、データ入力部１２０に入力される点群データに基づいて、15部位についてラベル分け（部位認識）を行う。機械学習方式としてランダムフォレストを用い、特徴量として注目画素と周辺画素の距離値の差が使用されてもよい。また、距離画像を入力として各画素のマルチクラス分類(Multi-class Classification)を行う方式であってもよい。また、ランダムフォレストの場合でも距離値の差以外の特徴量を使ってもよいし、特徴量に相当するパラメータも含めて学習を行う深層学習(Deep Learning)を用いてもよい。
　ＥＭアルゴリズム部１２４は、データ入力部１２０に入力される点群データと、幾何モデルデータベース１４０内の幾何モデルと、クラスタリング部１２２で得たフィッティングの初期値とに基づいて、ＥＭアルゴリズムによりパラメータθを導出する。クラスタリング部１２２で得たフィッティングの初期値を用いるのは、EMアルゴリズムではある程度、解に近い初期値を与えることが有用であるためである。初期値は、部位数Ｍや、後述のパラメータθに係る初期値である。幾何モデルデータベース１４０内の幾何モデルは、例えば円柱であり、以下では、主に円柱である場合について説明する。他の幾何モデルの可能性は後述する。
　ＥＭアルゴリズム部１２４は、点群データｘｎが幾何モデルの表面に最も集まるようパラメータθを決定する。点群データｘｎは、３次元の空間座標（ｘ，ｙ，ｚ）で表現されるＮ個の各点（例えば位置ベクトル）の集合（ｘ１、ｘ２、・・・、ｘＮ）である。この場合、例えば空間座標のｘ成分及びｙ成分は、画像平面内の２次元座標の値であり、ｘ成分は、水平方向の成分であり、ｙ成分は、垂直方向の成分である。また、ｚ成分は、距離を表す。
　パラメータθは、部位ｍ（ｍ＝１，２、・・・、Ｍ）に係る幾何モデル（ここでは円柱）の太さ（径）ｒｍ、部位ｍに係る幾何モデルの位置ｃｍ ０と向きｅｍ ０、及び、分散σ２の４つある。尚、部位ｍとは、幾何モデルごとの点群データの部位（一部）であり、幾何モデル及びそれに伴い対象者Ｓの部位に対応付けられる部位である。部位ｍは、対象者Ｓの２部位に同時に対応付けられる場合もある。例えば、対象者Ｓが肘を伸ばしている状態では、肘の関節から手首の関節（子孫側の関節）までの部位（図４の部位ｂ６や部位ｂ９）と、肘の関節から肩の関節（先祖側の関節）までの部位（図４の部位ｂ５や部位ｂ８）とが一の部位ｍとなりうる。
　ｒｍ及びσ２は、スカラーであり、ｃｍ ０及びｅｍ ０は、ベクトルである。また、ｅｍ ０は、単位ベクトルとする。即ち、ｅｍ ０は、円柱の軸の向きを表す単位ベクトルである。また、位置ｃｍ ０は、円柱の軸上の、任意の点の位置に係る位置ベクトルである。尚、円柱の軸方向の長さ（高さ）は不定とされる。また、幾何モデルの向きｅｍ ０は、幾何モデルの軸方向と同じ概念である。
　点群データｘｎと部位ｍの表面残差εｍ(ｘｎ,θ)（表面に垂直な方向の差）がガウス分布であることを仮定すると、幾何モデル全体は以下の通り表現できる。
Figure JPOXMLDOC01-appb-M000001
 ここで、ｐ（ｘｎ）は、点群データｘｎの混合確率分布モデルであり、上述のように、σ２は、分散であり、Ｍは、クラスタリング部１２２で得たクラスタ数が用いられる。このとき、対応する対数尤度関数は、以下のとおりである。
Figure JPOXMLDOC01-appb-M000002
 ここで、Ｎは、データ数（１フレームに係る点群データに含まれるデータ数）である。
　数２は、混合ガウスモデルの対数尤度関数であるため、ＥＭアルゴリズム等を用いることができる。本実施例では、ＥＭアルゴリズム部１２４は、ＥＭアルゴリズムに基づいて、対数尤度関数を最大化するパラメータθ及び分散σ２を導出する。
　部位ｍに係る幾何モデルが円柱であるとき、表面残差εｍ(ｘｎ,θ)は、次の通り表現できる。尚、ベクトル間の符号"×"は外積を表す。
εｍ(ｘｎ,θ)＝｜（ｘｎ－ｅｍ ０）×ｅｍ ０｜－ｒｍ
但し、本実施例では、線形化のため、表面残差εｍ(ｘｎ,θ)は、数２の中での指数部分が二乗の差となるように表現され、具体的には以下のとおりである。
Figure JPOXMLDOC01-appb-M000003
 　ＥＭアルゴリズムは、知られているように、期待値を算出するEステップと、期待値を最大化するMステップの繰返しである。
　Eステップでは、ＥＭアルゴリズム部１２４は、以下の事後分布ｐｎｍを計算する。
Figure JPOXMLDOC01-appb-M000004
 　Mステップでは、ＥＭアルゴリズム部１２４は、以下の期待値Ｑ（θ,σ２)を最大化するパラメータθ及び分散σ２を導出する。尚、Ｍステップでは、事後分布ｐｎｍは定数として扱われる。
Figure JPOXMLDOC01-appb-M000005
 ここで、Ｐは、事後分布ｐｎｍのデータ和の全部位の和（以下、「事後分布ｐｎｍのデータ和の全部位和」とも称する）であり、以下のとおりである。
Figure JPOXMLDOC01-appb-M000006
 期待値Ｑ（θ,σ２)の分散σ２による偏微分から、期待値Ｑ（θ,σ２)を最大化する分散σ２の推定値σ２ ＊は、以下のとおりである。
Figure JPOXMLDOC01-appb-M000007
 この推定値σ２ ＊を数５の式に代入すると、以下のとおりである。
Figure JPOXMLDOC01-appb-M000008
 パラメータθの各要素（ｒｍ、ｃｍ ０、及びｅｍ ０）に関して、太さｒｍの推定値ｒ＊ｍは、以下の通り、直接的に最小化が可能である。
Figure JPOXMLDOC01-appb-M000009
 ここで、数９における表現〈〉ｐについて、事後分布ｐｎｍを用いた平均操作であり、任意のテンソルないし行列Ａｎｍに対して、以下の通りとする。
Figure JPOXMLDOC01-appb-M000010
 向きｅｍ ０の推定値ｅ＊ｍ ０は、点群データの主成分であることに着目すると、主成分分析に基づいて導出できる。即ち、向きｅｍ ０の推定値ｅ＊ｍ ０は、以下の分散共分散行列σｘｘの最も固有値の大きい固有ベクトルの向きとして求めることができる。
Figure JPOXMLDOC01-appb-M000011
 尚、数１０に示す平均操作により、ｍについては和をとっていない。従って、〈ｘｎ〉ｐは、部位ｍに対する依存性を有し、部位ｍに係る幾何モデル（円柱）の重心(中心)に対応する。同様に、分散共分散行列σｘｘも部位ｍに固有であり、部位ｍに係る幾何モデル（円柱）の向きに対応する。
或いは、期待値Ｑ（θ,σ２)は、パラメータθの各要素（ｒｍ、ｃｍ ０、及びｅｍ ０）に関して非線形であるので、向きｅｍ ０は、線形近似により導出されてもよい。具体的には、微小回転による更新式は、ノルムが保存される態様で規定され、以下のとおりである。
Figure JPOXMLDOC01-appb-M000012
 ここで、Δｅは、微小回転ベクトルである。このとき、Δｅの推定値Δｅ＊は、数８の式をΔｅで微分することで得られ、以下のとおりである。
Figure JPOXMLDOC01-appb-M000013
 ここで、Ｂｍの逆行列は、以下の通りであり、
Figure JPOXMLDOC01-appb-M000014
 数１４におけるＷは、以下の通りである。
Figure JPOXMLDOC01-appb-M000015
 尚、数１４や数１５において（以下も同様）、Ｔは、転置を表す。数１５において、ｅ１及びｅ２は、向きｅｍ ０に対して直交する単位ベクトルである。
また、数１３におけるａｎｍやｂｎｍは、以下のとおりである（図４に示した関節ａ０～ａ１５や骨格ｂ１～ｂ１５の表記とは無関係である）。
Figure JPOXMLDOC01-appb-M000016
Figure JPOXMLDOC01-appb-M000017
 よって、向きｅｍ ０の推定値ｅ＊ｍ ０は、以下の通りである。
Figure JPOXMLDOC01-appb-M000018
 　このとき、太さｒｍの推定値ｒ＊ｍを数８の式に代入し、位置ｃｍ ０の偏微分から、位置ｃｍ ０の推定値ｃ＊ｍ ０は、以下の通り、直接的に導出可能である。
Figure JPOXMLDOC01-appb-M000019
 ここで、共分散行列σｙｙの逆行列、及び、ベクトルσｙ２ｙ（下付き「ｙ２ｙ」）、以下のとおりである。
Figure JPOXMLDOC01-appb-M000020
Figure JPOXMLDOC01-appb-M000021
 　尚、上記の場合、ＥＭアルゴリズム部１２４は、まず、位置ｃｍ ０の推定値ｃ＊ｍ ０を求めてから、太さｒｍの推定値ｒ＊ｍを求めることになる。
　尚、変形例では、例えば他の計測によって対象者Ｓの形状情報を所持している場合などでは、パラメータθのうちの太さｒｍは、ユーザにより手入力されてもよいし、形状情報に基づいて自動的に設定されてもよい。この場合、ＥＭアルゴリズム部１２４は、パラメータθのうちの残りの要素（位置ｃｍ ０及び向きｅｍ ０）を導出することになる。尚、他の計測は、事前の精密な計測であってもよいし、並行して実行されるものであってもよい。
　モデル最適化部１２６は、ＥＭアルゴリズム部１２４が一の部位に対して複数種類の幾何モデルを用いてフィッティングを実行する際、実行した複数種類のうちの、フィッティングの際のあてはまりが最も良好な種類の幾何モデルを導出する。
　複数種類の幾何モデルは、円柱以外の幾何モデルとして、円錐、台形柱、楕円柱、楕円錐、及び台形楕円柱のうちの少なくともいずれか１つに係る幾何モデルを含む。但し、一の部位に係る複数種類の幾何モデルは、円柱を含まなくてもよい。また、一の部位に係る複数種類の幾何モデルは、部位ごとに異なってもよい。また、一部の特定の部位については、複数種類の幾何モデルを用いずに、単一の固定の幾何モデルが使用されてもよい。
　例えば、ＥＭアルゴリズム部１２４は、まず、円柱の幾何モデルを用いて、各部位に対するフィッテングを行う。次いで、ＥＭアルゴリズム部１２４は、ある部位に係る幾何モデルを、円柱から他（例えば円錐等）に切り替え、同部位に対するフィッテングを行う。そして、モデル最適化部１２６は、対数尤度関数の最も大きな幾何モデルを、あてはまりが最も良好な種類の幾何モデルとして選択する。モデル最適化部１２６は、対数尤度関数の最も大きな幾何モデルに代えて、事後分布のデータ和の全部位和が最も大きな幾何モデルを、あてはまりが最も良好な種類の幾何モデルとして選択してもよい。
　円錐の場合、表面残差εｍ(ｘｎ,θ)は、以下の通り表現されてよい。
Figure JPOXMLDOC01-appb-M000022
 ここで、位置ｃｍ ０は頂点位置に対応し、向きｅｍ ０は、中心軸の単位ベクトルである。また、ベクトルｎｍは、円錐の表面上のある1点における法線ベクトルである。
　台形柱の場合、表面残差εｍ(ｘｎ,θ)は、円錐の場合と同様であってよい。即ち台形柱の場合、円錐の一部に対して分布を規定することで表現できる。
　楕円柱の場合、表面残差εｍ(ｘｎ,θ)は、以下の通り表現されてよい。
Figure JPOXMLDOC01-appb-M000023
 ここで、ｄｍは、焦点距離であり、ａｍは、断面の楕円の長軸の長さであり、ｎｍ 'は、長軸方向の単位ベクトルである。尚、同様に、位置ｃｍ ０は軸上の位置に対応し、向きｅｍ ０は、楕円柱の軸（軸方向）の単位ベクトルである。
　また、楕円錐の場合、表面残差εｍ(ｘｎ,θ)は、以下の通り表現されてよい。
Figure JPOXMLDOC01-appb-M000024
 ここで、ψｍ１及びψｍ２は、それぞれ長軸及び短軸方向への傾斜角である。また、同様に、位置ｃｍ ０は頂点位置に対応し、向きｅｍ ０は、中心軸の単位ベクトルである。
　また、台形柱と円錐との関係と同様、台形楕円柱の場合、表面残差εｍ(ｘｎ,θ)は、楕円錐の場合と同様であってよい。
　ここで、長さが無限として定式化されている円柱や楕円柱などの幾何モデルを用いる場合、Ｅステップでは、ＥＭアルゴリズム部１２４は、好ましくは、有限長処理を行う。有限長処理は、点群データｘｎのうちの、所定の条件を満たすデータについてのみ事後分布ｐｎｍを算出し、他のデータについては事後分布ｐｎｍを０とする処理である。有限長処理は、部位ｍに無関係なデータの混入を防ぐための処理であり、所定の条件は、部位ｍに無関係なデータを排除できるように設定される。これにより、実際には関係ないはずの点群データが解析に影響を及ぼすことを抑制できる。所定の条件を満たすデータは、例えば、以下の式を満たすデータであってよい。
Figure JPOXMLDOC01-appb-M000025
 ここで、ｌｍ ０は、部位ｍに係る入力長さであり、αはマージン（例えば１．２）である。数２５によれば、点群データのうちの、幾何モデルの中心（又は中心位置、以下同じ）からの軸方向の距離が所定距離（＝αｌｍ ０）以上のデータに対し、事後分布が０とされる。入力長さｌｍ ０は、手入力することも可能であるし、他の計測によって得られる対象者Ｓの形状情報に基づいて設定されてもよい。
　長さ算出部１２８は、長さが無限として定式化されている円柱や楕円柱などの幾何モデルがＥＭアルゴリズム部１２４によって利用された場合に、幾何モデルの中心から端部までの長さ（部位ｍの中心から端部までの長さ）に対応する長さパラメータｌｍを導出する。例えば、長さ算出部１２８は、部位ｍの長さパラメータｌｍを、分散共分散行列σｘｘを用いて以下の通り算出してもよい。
Figure JPOXMLDOC01-appb-M000026
 尚、Ｃは、定数倍の補正値である。
　或いは、長さ算出部１２８は、部位ｍの軸方向に沿った点群データの分布態様に基づいて、部位ｍの長さパラメータｌｍを導出してもよい。具体的には、長さ算出部１２８は、部位ｍの長さパラメータｌｍを、半値全幅による決定によって算出してもよい。半値全幅とはデータが多いところと比べて、データ数が半分になるところまでの区間を指す。長さ算出部１２８は、部位ｍの「切れ目」を見つけることで長さパラメータを導出する。即ち、長さ算出部１２８は、部位ｍを、向きｅｍ ０に係る軸方向を法線とする輪の態様で軸方向に沿って細かく輪切りにして、その中に含まれるデータ数をカウントし、所定の閾値以下になったところを「切れ目」と規定する。具体的には、半値全幅による決定では、所定の閾値は、カウント値の最大値の半分であるが、カウント値の最大値の０．１倍のような半分以外の値であってもよい。
　ここで、図５及び図６を参照して、長さ算出部１２８による半値全幅による決定方法の一例を具体的に説明する。
　図５は、ＥＭアルゴリズム部１２４による導出結果（幾何モデルによるフィッティング結果）を模式的に示す図であり、図６は、長さ算出部１２８による半値全幅による決定方法の説明用の概略フローチャートである。
　図５では、頭部及び胴部がそれぞれ１つずつの円柱でフィッテングされており、両腕部及び両脚部が、それぞれ片方ずつ、１つずつの円柱でフィッテングされている。図５では、対象者Ｓの腕部が部位ｍである場合について代表して、部位ｍの長さパラメータｌｍ（ｌ＋ ｍ及びｌ－ ｍ）の算出方法について説明する。尚、図５に示すように、ここでは、腕部は、肘の関節が伸ばされているため、ＥＭアルゴリズム部１２４により１つの部位として認識されている（１つの幾何モデルで当てはめられている）。
　ステップＳ６００では、長さ算出部１２８は、ｎ＝１に設定する。ｎの意義は後述する。
　ステップＳ６０２では、長さ算出部１２８は、点群データｘｎのうちの、次の条件を満たすデータの数をカウントする。
Figure JPOXMLDOC01-appb-M000027
 〈ｘｎ・ｅｍ ０〉ｐは、部位ｍの中心に対応する。Δｌｍは、輪切りの幅（軸方向ｅｍ ０に沿った幅）に対応し、例えば０．０１ｌｍ ０である。尚、ｌｍ ０は、上述のように、部位ｍに係る入力長さである。Ｓｍは、事後分布ｐｎｍに対する閾値であり、例えば０．１である。
　ステップＳ６０４では、長さ算出部１２８は、ステップＳ６０２で得たカウント数に基づいて、基準値Ｃｒｅｆを設定する。例えば、長さ算出部１２８は、ステップＳ６０２で得たカウント数を、基準値Ｃｒｅｆとして設定する。
　ステップＳ６０６では、ｎを"１"だけインクリメントする。
　ステップＳ６０８では、長さ算出部１２８は、点群データｘｎのうちの、次の条件を満たすデータの数をカウントする。即ち、長さ算出部１２８は、Δｌｍだけずらした次の区間において、次の条件を満たすデータの数をカウントする。
Figure JPOXMLDOC01-appb-M000028
 　ステップＳ６１０では、長さ算出部１２８は、ステップＳ６０８でカウントしたデータ数が、基準値Ｃｒｅｆの所定数倍（例えば０．５倍）以下であるか否かを判定する。判定結果が"ＹＥＳ"の場合は、ステップＳ６１２に進み、それ以外の場合は、ステップＳ６０６からの処理を繰り返す。
　ステップＳ６１２では、長さ算出部１２８は、現在のｎの値を用いて、部位ｍのうちの、中心から子孫側の端部までの長さパラメータｌ＋ ｍを、ｎΔｌｍとして算出する。即ち、ｌ＋ ｍ＝ｎΔｌｍとして算出する。
　ステップＳ６２０～ステップＳ６３２では、長さ算出部１２８は、逆方向（祖先側）に進むことで、同様の考えた方で、図５に示す部位ｍのうちの、中心から祖先側の端部までの長さパラメータｌ－ ｍを算出する。
　尚、変形例として、長さ算出部１２８は、次の通り、部位ｍの長さパラメータｌｍを算出してもよい。
Figure JPOXMLDOC01-appb-M000029
 ここで、Ｎｍは、以下で定義されるｎの部分集合であり、ある閾値ｐｍ ｔｈより事後分布ｐｎｍが小さいｎの集合である。
Figure JPOXMLDOC01-appb-M000030
 閾値ｐｍ ｔｈは、例えば、以下の通りである。
Figure JPOXMLDOC01-appb-M000031
 これは、部分集合Ｎｍは、点群データｘｎのうちの、部位ｍに属さないデータの集合を表す。従って、長さ算出部１２８は、部分集合Ｎｍのうちの、中心からの距離（数２９の｜ｘｎ・ｅｍ ０－〈ｘｎ・ｅｍ ０〉ｐ｜）が最小となるデータに基づいて、部位ｍの長さパラメータｌｍを算出していることになる。
　部位認識部１３０は、部位ｍのパラメータ（ｒｍ、ｃｍ ０、及びｅｍ ０）の導出結果と、部位ｍの長さパラメータｌｍの導出結果とに基づいて、部位認識処理を行う。部位認識処理は、部位ｍと対象者Ｓの各部位（図４の各部位ｂ１～ｂ１５参照）との対応関係を認識することを含む。
　ここで、部位ｍの長さパラメータｌｍの導出結果及びｃｍ ０及びｅｍ ０の導出結果によれば、部位ｍの中心（＝〈ｘｎ・ｅｍ ０〉ｐ）からの長さパラメータｌ＋ ｍ、ｌ－ ｍに基づいて、部位ｍの軸上の端部（長さパラメータｌｍを決める端部）の位置を導出できる。具体的には、部位ｍの軸上の端部の位置ξｍ ０は、以下を満たす。
Figure JPOXMLDOC01-appb-M000032
 このとき、数３２の右辺第２項は、祖先側の端部と、子孫側の端部とで以下の通りとなる。
Figure JPOXMLDOC01-appb-M000033
 ここで、ｌ＋ ｍは、上述のように、部位ｍの中心（＝〈ｘｎ・ｅｍ ０〉ｐ）からの子孫側への長さパラメータであり、ｌ－ ｍは、部位ｍの中心からの祖先側への長さパラメータであり、上述のように長さ算出部１２８により算出される。βは、定数であり、例えば１であってよい。
　以下の説明で、「関節点」とは、関節に係る代表点（関節に係る位置を表す点）を指し、このようにして導出できる部位ｍの端部（位置）も関節点に対応する。また、以下の説明で、部位ｍ＊（＊は、任意の記号）は、パラメータ（ｒｍ、ｃｍ ０、及びｅｍ ０）が得られた部位ｍ（ｍ＝１，２、・・・、Ｍ）のうちの特定の部位を表す。部位認識部１３０は、太さｒｍを利用して、主部位を識別する。主部位は、太さが最も大きい部位であり、本実施例では、対象者Ｓの胴部である。
　部位認識部１３０は、最も太い部位、又は、太さの差が所定値未満でありかつ隣接する２つの１番目と２番目に太い部位を、対象物の主部位として認識する。具体的には、部位認識部１３０は、１番目に大きい部位ｍ１と2番目に大きい部位ｍ２との間の差が所定値未満である場合は、部位認識部１３０は、いずれの部位ｍ１、ｍ２も胴部として識別する。所定値は、部位ｍ１、ｍ２の太さの差に対応した適合値である。他方、１番目に大きい部位ｍ１と2番目に大きい部位ｍ２との間の差が所定値以上である場合は、部位認識部１３０は、１番目に大きい部位ｍ１だけを、胴部（部位ｂ１＋部位ｂ２）として識別する。この場合、部位認識部１３０は、部位ｍｌに対して、「切断フラグ」を設定する。切断フラグの意義は後述する。これにより、例えば、図４において、対象者Ｓの姿勢に応じて、部位ｂ１及び部位ｂ２が真っ直ぐ伸びている場合でも、部位ｂ１及び部位ｂ２を、部位ｍ１及び部位ｍ２に係る胴部として認識できる。
　部位認識部１３０は、主部位（胴部）を識別すると、胴部の底面近傍にある関節点を判定（識別）する。胴部の底面に対しては、部位認識部１３０は、胴部の底面側の端部の位置に設定される微小な円柱（あるいは楕円柱や台形柱など）内に、胴部側の端部の位置が属する２つの部位ｍｌ，ｍｒを特定する。尚、微小な円柱の高さは所定の値が使用されてもよい。そして、部位認識部１３０は、部位ｍｌ，ｍｒを、左脚部に係る部位（図４の部位ｂ１０又は、部位ｂ１０＋ｂ１１参照）と右脚部に係る部位（図４の部位ｂ１２又は、部位ｂ１２＋ｂ１３参照）として認識する。
　部位認識部１３０は、左脚部に係る部位ｍｌを識別すると、部位ｍｌにおける胴部から遠い側の端部の位置に設定される球（以下、「連結球」とも称する）内に、胴部に近い側の端部の位置を有する部位が存在するか否かを判定する。尚、連結球の径は所定の値が使用されてもよい。そして、連結球内に、胴部に近い側の端部の位置を有する部位ｍｌ２が存在する場合は、部位認識部１３０は、部位ｍｌを、左脚部の腿ｂ１０として認識し、部位ｍｌ２を、左脚部の脛ｂ１１として認識する。他方、連結球内に、胴部に近い側の端部の位置を有する部位が存在しない場合は、部位認識部１３０は、部位ｍｌを、左脚部の腿と脛の双方を含む部位として認識する。この場合、部位認識部１３０は、部位ｍｌに対して、「切断フラグ」を設定する。これにより、例えば、図４において、対象者Ｓの姿勢に応じて、部位ｂ１０及びｂ１１が真っ直ぐ伸びている場合でも、部位ｂ１０及びｂ１１を、左脚部に係る部位として認識できる。
　同様に、部位認識部１３０は、右脚部に係る部位ｍｒを識別すると、部位ｍｒにおける胴部から遠い側の端部の位置に設定される球（連結球）内に、胴部に近い側の端部の位置を有する部位が存在するか否かを判定する。尚、連結球の径は所定の値が使用されてもよい。そして、連結球内に、胴部に近い側の端部の位置を有する部位ｍｒ２が存在する場合は、部位認識部１３０は、部位ｍｒを、右脚部の腿ｂ１２として認識し、部位ｍｒ２を、右脚部の脛ｂ１３として認識する。他方、連結球内に、胴部に近い側の端部の位置を有する部位が存在しない場合は、部位認識部１３０は、部位ｍｒを、右脚部の腿と脛の双方を含む部位として認識する。この場合、部位認識部１３０は、部位ｍｒに対して、「切断フラグ」を設定する。これにより、例えば、図４において、対象者Ｓの姿勢に応じて、部位ｂ１２及びｂ１３が真っ直ぐ伸びている場合でも、部位ｂ１２及びｂ１３を、右脚部に係る部位として認識できる。
　また、部位認識部１３０は、主部位（胴部）を識別すると、胴部の側面近傍にある関節点を判定（識別）する。部位認識部１３０は、胴部の軸方向（主軸）の側面にあり、かつ頭部側の面から最も近い２関節点を左右の腕部の根本の関節点（肩の関節に係る関節点）として識別する。例えば、部位認識部１３０は、胴部の側面における薄いトーラス（円柱に係るトーラス）内に含まれる関節点を、腕部の根本の関節点として識別する。尚、トーラスの厚さなどは所定の値が使用されてもよい。そして、部位認識部１３０は、左右の腕部の根本の関節点を含む部位ｍｌｈ，ｍｒｈを、左手に係る部位（図４の部位ｂ５又は、部位ｂ５＋ｂ６参照）と右手に係る部位（図４の部位ｂ８又は、部位ｂ８＋ｂ９参照）として認識する。
　部位認識部１３０は、左手に係る部位ｍｌｈを識別すると、部位ｍｌｈにおける胴部から遠い側の端部の位置に設定される球（連結球）内に、胴部に近い側の端部の位置を有する部位が存在するか否かを判定する。なお、連結球の径は所定の値が使用されてもよい。そして、連結球内に、胴部に近い側の端部の位置を有する部位ｍｌｈ２が存在する場合は、部位認識部１３０は、部位ｍｌｈを、左手の上腕部ｂ５として認識し、部位ｍｌｈ２を、左手の前腕部ｂ６として認識する。他方、連結球内に、胴部に近い側の端部の位置を有する部位が存在しない場合は、部位認識部１３０は、部位ｍｌｈを、左手の上腕部と前腕部の双方を含む部位として認識する。この場合、部位認識部１３０は、部位ｍｌｈに対して、「切断フラグ」を設定する。これにより、例えば、図４において、対象者Ｓの姿勢に応じて、部位ｂ５及びｂ６が真っ直ぐ伸びている場合でも、部位ｂ５及びｂ６を、左手に係る部位として認識できる。
　同様に、部位認識部１３０は、右手に係る部位ｍｒｈを識別すると、部位ｍｒｈにおける胴部から遠い側の端部の位置に設定される球（連結球）内に、胴部に近い側の端部の位置を有する部位が存在するか否かを判定する。なお、連結球の径は所定の値が使用されてもよい。そして、連結球内に、胴部に近い側の端部の位置を有する部位ｍｒｈ２が存在する場合は、部位認識部１３０は、部位ｍｒｈを、右手の上腕部ｂ８として認識し、部位ｍｒｈ２を、右手の前腕部ｂ９として認識する。他方、連結球内に、胴部に近い側の端部の位置を有する部位が存在しない場合は、部位認識部１３０は、部位ｍｒｈを、右手の上腕部と前腕部の双方を含む部位として認識する。この場合、部位認識部１３０は、部位ｍｒｈに対して、「切断フラグ」を設定する。これにより、例えば、図４において、対象者Ｓの姿勢に応じて、部位ｂ８及びｂ９が真っ直ぐ伸びている場合でも、部位ｂ８及びｂ９を、右手に係る部位として認識できる。
　骨格整形部１３２は、骨格整形処理として、切断処理、結合処理、及び連結処理を行う。
　切断処理は、一の部位を、２つの更なる部位に分離する処理である。分離対象の部位は、部位ｍのうちの、上述の切断フラグが設定された部位である。尚、切断処理の対象となる部位に係る幾何モデル（即ち上述の切断フラグが設定された部位に係る幾何モデル）は、第１幾何モデルの一例である。切断フラグが設定された部位は、例えば上腕部と前腕部（図４の部位ｂ５及びｂ６参照）のような、真っ直ぐ伸ばした状態であるときに幾何モデルによる当てはめで一の部位として認識された部位である。切断処理は、このような本来２部位からなる部位を、２つの更なる部位に分離する。パラメータθの各要素（ｒｍ、ｃｍ ０、及びｅｍ ０）のうち、２つの更なる部位のｒｍ及びｅｍ ０は、そのままである。他方、骨格整形部１３２は、２つの更なる部位のｃｍ ０の間の関節の位置（即ち、切断フラグが設定された部位の中間の関節点）を、数３２に従って求める。中間の関節点の場合は、数３２の右辺第２項は、以下の通りである。尚、中間の関節点の導出には、ｃｍ ０及びｅｍ ０の導出結果が用いられる。
Figure JPOXMLDOC01-appb-M000034
 上述のように、βは、定数であり、例えば１であってよい。β＝１の場合は、部位ｍの中心（＝〈ｘｎ・ｅｍ ０〉ｐ）が、本来２部位からなる部位ｍの中間の関節点を表すことになる。或いは、βは、他の計測によって得られる対象者Ｓの形状情報に基づいて設定されてもよい。
　このようにして切断処理によれば、部位ｍが、本来２部位からなる部位を含む場合でも、２つの更なる部位に切断して、３つの関節点を導出できる。従って、例えば脚部が伸ばされて肘や膝が真っ直ぐ伸びている場合でも、切断処理によって３つの関節点を導出できる。
　結合処理は、隠れた骨格で繋がる２つの部位ｍの位置ｃｍ ０、向きｅｍ ０、及び長さパラメータｌｍに基づいて、２つの部位ｍにわたる直線に対応付けれる対象者Ｓの隠れた骨格を導出する処理である。具体的には、結合処理は、隠れた骨格を、所定の２つの部位ｍに係る２関節点間を結ぶ直線として生成する処理である。尚、結合処理の対象となる所定の２つの部位ｍに係る幾何モデルは、第２幾何モデルの一例である。隠れた骨格とは、図４を参照して上述したように、股関節に係る骨格ｂ１４、ｂ１５や、肩の関節に係る骨格ｂ４、ｂ７がある。股関節に係る骨格ｂ１４については、結合処理の対象となる２関節点は、部位ｂ１の底面側の関節点ａ０と、部位ｂ１０の胴部側の関節点ａ１４とが対応する。また、股関節に係る骨格ｂ１５については、所定の２関節は、部位ｂ１の底面側の関節点ａ０と、部位ｂ１２の胴部側の関節点ａ１５とが対応する。肩の関節に係る骨格ｂ４については、所定の２関節は、部位ｂ２の頭部側の関節点ａ２と、部位ｂ５の胴部側の関節点ａ４とが対応する。肩の関節に係る骨格ｂ７については、所定の２関節は、部位ｂ２の頭部側の関節点ａ２と、部位ｂ８の胴部側の関節点ａ７とが対応する。
　このようにして結合処理によれば、関節モデルが隠れた骨格を含む場合でも、結合処理により隠れた骨格（リンクに対応する直線）を導出できる。尚、隠れた骨格に係る直線の方向は、隠れた骨格に係る部位ｓの向きｅｓ ０として利用されてもよいし、直線上の位置は、隠れた骨格に係る部位ｓの位置ｃｓ ０として利用されてもよい。
　連結処理は、異なる部位に係る幾何モデルから導出できる同じ関節に係る関節点（共通の関節点）を、１つの関節点に統合（連結）する処理である。例えば、連結対象の関節点は、例えば上述した連結球内の２つの関節点（図４の関節ａ５、ａ８、ａ１０、ａ１２に係る関節点）である。このような腕部及び脚部に係る連結処理は、切断フラグが設定されない場合に実行される。また、他の連結対象の関節点は、首の関節点に係り、頭部の幾何モデルと胴部の幾何モデルの両方から得られる２つの関節点（図４の関節ａ２に係る関節点）である。また、他の連結対象の関節点は、太さｒｍが１番目に大きい部位ｍ１と2番目に大きい部位ｍ２とをそれぞれ胴部として識別した場合において、部位ｍ１と部位ｍ２との間の関節点（図４の関節ａ１に係る関節点）である。即ち、胴部に係る連結処理は、切断フラグが設定されない場合に実行される。
　連結処理は、単にいずれか一方の関節点を選択する処理であってもよい。或いは、２つの関節点の平均値を利用する方法や、２つの関節点に係る２つの部位のうち、事後分布のデータ和が大きい方の部位の値を利用する方法、事後分布のデータ和で重み付けした値を利用する方法などであってもよい。
　骨格整形部１３２は、骨格整形処理として、好ましくは、更に、対称化処理を行う。対称化処理は、本来実質的に左右対称な部位に対して、パラメータについても左右対称に補正する処理である。本来実質的に左右対称な部位は、例えば左右の腕部や、左右の脚部である。例えば左右の腕部（左右の脚部についても同様）について、骨格整形部１３２は、パラメータθのうちの太さｒｍと、長さパラメータｌｍについて、事後分布のデータ和の最も大きい方に統一してよい。例えば左脚部に係る事後分布のデータ和が右脚部に係る事後分布のデータ和よりも大きい場合、左脚部に係る太さｒｍと長さパラメータｌｍに、右脚部に係る太さｒｍと長さパラメータｌｍを補正する。これにより、左右の対称性を利用して、太さｒｍや長さパラメータｌｍの精度を高めることができる。
　出力部１３４は、表示装置等（図示せず）に、対象者Ｓの骨格情報（図３では、"認識結果"と表記）を出力する。例えば、出力部１６０は、フレーム周期ごとに、略リアルタイムに、対象者Ｓの骨格情報を出力してもよい。或いは、対象者Ｓの動きの解説用などでは、出力部１６０は、非リアルタイムで、骨格情報を時系列に出力してもよい。骨格情報は、関節ａ０～ａ１５の各位置を特定できる情報を含んでもよい。また、骨格情報は、骨格ｂ１～ｂ１５の位置や、向き、太さを特定できる情報を含んでもよい。骨格情報の用途は任意であるが、次のフレーム周期における同骨格情報の導出に利用されてもよい。また、骨格情報は、最終的には、体操等の競技時の対象者Ｓの動きの解析に利用されてもよい。例えば体操の競技時の対象者Ｓの動きの解析では、骨格情報に基づく技の認識や技の定量化（得点など）が実現されてもよい。また、他の用途としては、作業者を想定する対象者Ｓの動きを解析して、ロボットプログラムに利用されてもよい。或いは、ジェスチャーによるユーザインターフェースや、個人の識別、熟練技術の定量化などに利用することもできる。
　本実施例によれば、上述のように、幾何モデルを用いてフィッテングを行って得られる結果に対して、切断処理が実行される。これにより、例えば対象者Ｓの胴部や腕部、脚部のような、関節で繋がる２つの部位が真っ直ぐに伸ばされている場合でも、該２つの部位を繋ぐ関節を精度良く認識できる。即ち、幾何モデルを用いたフィッテングだけでは一部位としてしか認識できないような状況下（本来は２つの部位が一部位としてしか認識できないような状況下）でも、２つの部位を繋ぐ関節を精度良く認識できる。また、本実施例によれば、上述のように、幾何モデルを用いてフィッテングを行って得られる結果に対して、結合処理が実行される。これにより、幾何モデルを用いたフィッテングだけでは精度良く認識し難い隠れた骨格についても精度良く認識できる。このようにして、本実施例によれば、対象者Ｓの点群データに基づいて、対象者Ｓの関節又は骨格を精度良く認識できる。
　次に、図７以降の概略フローチャートを参照して、本実施例による対象物認識システム１の動作例について説明する。
　図７は、対象物認識システム１の全体動作の一例を示す概略フローチャートであり、図８は、部位認識処理の一例を示す概略フローチャートである。図９Ａ及び図９Ｂは、図７の処理等の説明図である。図９Ａ及び図９Ｂには、ある一時点（一シーン）に係る点群データｘｎがそれぞれ示されている。
　ステップＳ７００では、データ入力部１２０に、ある一時点に係る点群データｘｎが入力される。
　ステップＳ７０２では、クラスタリング部１２２は、ステップＳ７００で得た点群データｘｎに基づいて、幾何モデルを用いたフィッティングに用いる初期値を取得する。クラスタリング部１２２の処理（初期値の取得方法）の詳細は上述のとおりである。
　ステップＳ７０４では、ＥＭアルゴリズム部１２４は、ステップＳ７００で得た点群データｘｎと、ステップＳ７０２で得た初期値とに基づいて、ＥＭアルゴリズムのＥステップを実行する。ＥＭアルゴリズムのＥステップの詳細は上述のとおりである。
　ステップＳ７０５では、ＥＭアルゴリズム部１２４は、ｊ＝１に設定する。
　ステップＳ７０６では、ＥＭアルゴリズム部１２４は、ｊ番目の部位ｊ（ｍ＝ｊ）について有限長処理を行う。有限長処理の詳細は上述のとおりである。
　ステップＳ７０８では、ＥＭアルゴリズム部１２４は、ステップＳ７０４で得たＥステップの結果と、ステップＳ７０６で得た有限長処理結果とに基づいて、ｊ番目の部位ｊ（ｍ＝ｊ）についてＥＭアルゴリズムのＭステップを実行する。ＥＭアルゴリズムのＭステップの詳細は上述のとおりである。
　ステップＳ７１０では、ＥＭアルゴリズム部１２４は、未処理部位が有るか否か、即ちｊ＜Ｍであるか否かを判定する。未処理部位が有る場合は、ステップＳ７１１を経て、ステップＳ７０６からの処理を繰り返す。未処理部位が無い場合は、ステップＳ７１２に進む。
　ステップＳ７１１では、ＥＭアルゴリズム部１２４は、ｊを"１"だけインクリメントする。
　ステップＳ７１２では、ＥＭアルゴリズム部１２４は、収束したか否かを判定する。収束条件としては、例えば、対数尤度関数が所定の値以下であることや、対数尤度関数の移動平均が所定の値以下であることなどが使用されてもよい。
　ステップＳ７１４では、モデル最適化部１２６は、モデル最適化処理を行う。例えば、モデル最適化部１２６は、今回の使用した幾何モデルに係る事後分布のデータ和の全部位和を算出する。そして、事後分布のデータ和の全部位和が所定基準値未満である場合は、ＥＭアルゴリズム部１２４に幾何モデルの変更を指示して、ステップＳ７０４からステップＳ７１２の処理を再度実行させる。或いは、モデル最適化部１２６は、今回の使用した幾何モデルに係る事後分布のデータ和の全部位和の如何にかかわらず、ＥＭアルゴリズム部１２４に幾何モデルの変更を指示して、ステップＳ７０４からステップＳ７１２の処理を再度実行させる。この場合、モデル最適化部１２６は、事後分布のデータ和の全部位和が最も大きな幾何モデルを、あてはまりが最も良好な種類の幾何モデルとして選択する。
　ステップＳ７１４までの処理が終了すると、図９Ａに示すように、点群データｘｎに対して当てはめられた複数の幾何モデルに係るパラメータθ（ｒｍ、ｃｍ ０、及びｅｍ ０）が得られる。図９Ａに示す例では、点群データｘｎに対して当てはめられた６つの幾何モデルＭ１～Ｍ６が概念的に示される。幾何モデルＭ１は、対象者Ｓの頭部に係る幾何モデルであり、幾何モデルＭ２は、対象者Ｓの胴部に係る幾何モデルであり、幾何モデルＭ３及びＭ４は、対象者Ｓの両腕部に係る幾何モデルであり、幾何モデルＭ５及びＭ６は、対象者Ｓの両脚部に係る幾何モデルである。図９Ａに示す例では、幾何モデルＭ１～Ｍ６は、全て円柱である。
　ステップＳ７１６では、長さ算出部１２８は、点群データｘｎと、ステップＳ７１４までの処理で得られるパラメータθとに基づいて、各幾何モデル（幾何モデルＭ１～Ｍ６参照）の長さパラメータｌｍを導出する。長さパラメータｌｍを導出することは、上述のように、部位ｍの中心に対して、長さパラメータｌ＋ ｍ及び長さパラメータｌ－ ｍを導出することを含む。
　ステップＳ７１８では、部位認識部１３０は、部位認識処理を行う。部位認識処理は、上述のとおりであるが、一例の手順については、図８を参照して後述する。
　ステップＳ７２０では、骨格整形部１３２は、ステップＳ７１８で得た部位認識処理結果等に基づいて、切断処理、結合処理、及び連結処理を行う。骨格整形部１３２は、切断フラグが設定された部位については切断処理を行う。切断処理の詳細は上述のとおりである。また、結合処理は、上述のとおりであり、股関節に係る骨格ｂ１４、ｂ１５や、肩の関節に係る骨格ｂ４、ｂ７に係る各直線を導出することを含む。また、連結処理の詳細は上述のとおりである。
　ステップＳ７２０までの処理が終了すると、図９Ｂに概念的に示すように、切断処理に係る各関節の位置や、隠れた骨格等が導出される。
　ステップＳ７２２では、骨格整形部１３２は、ステップＳ７０４～ステップＳ７１２で得られる事後分布のデータ和に基づいて、対称化処理を行う。対称化処理の詳細は上述のとおりである。
　続いて、ステップＳ７１８における部位認識処理を図８を参照して説明する。
　ステップＳ８００では、部位認識部１３０は、太さｒｍについて、１番目と２番目に太い部位の差が所定値以上であるか否かを判定する。判定結果が"ＹＥＳ"の場合は、ステップＳ８０２に進み、それ以外の場合は、ステップＳ８０４に進む。
　ステップＳ８０２では、部位認識部１３０は、太さｒｍが１番目に大きい部位ｍ１を胴部（真っ直ぐ伸びた胴部）として識別し、部位ｍ１に対して切断フラグを設定する。例えば、図９Ａに示す例では、幾何モデルＭ２が対応付けられる部位は、２番目に太い部位との差が所定値以上である１番目に太い部位ｍ１となり、切断フラグが設定されることになる。尚、このようにして部位ｍ１に切断フラグが設定されると、図７のステップＳ７２０にて部位ｍ１に対して切断処理が実行されることになる。
　ステップＳ８０４では、部位認識部１３０は、太さｒｍが１番目に大きい部位ｍ１と2番目に大きい部位ｍ２とを、胴部として識別する。
　ステップＳ８０６では、部位認識部１３０は、頭部を認識する。例えば、部位認識部１３０は、部位ｍ１の上面近傍の部位ｍｈを、頭部として認識する。例えば図９Ａに示す例では、幾何モデルＭ１が対応付けられる部位が頭部として認識されることになる。
　ステップＳ８０８では、部位認識部１３０は、胴部の底面近傍に左右の脚部を認識する。即ち、部位認識部１３０は、上述のように、胴部の底面近傍に左右の2関節点を各脚部の根本の関節点として識別し、該2関節点を有する部位ｍｌ，ｍｒを、左右の脚部に係る部位と認識する。
　ステップＳ８１０では、部位認識部１３０は、ステップＳ８０８で認識した左右の脚部に係る部位ｍｌ，ｍｒの末端側（胴部から遠い側）に、他の部位ｍｌ２，ｍｒ２に係る関節点が存在するか否かを判定する。この際、部位認識部１３０は、左右の脚部についてそれぞれ別に判定する。判定結果が"ＹＥＳ"の場合は、ステップＳ８１２に進み、それ以外の場合は、ステップＳ８１４に進む。
　ステップＳ８１２では、部位認識部１３０は、ステップＳ８０８で認識した左右の脚部に係る部位ｍｌ，ｍｒを、腿部として認識するとともに、ステップＳ８１０で認識した他の部位ｍｌ２，ｍｒ２を、脛部として認識する。尚、この場合、図７のステップＳ７２０にて、部位ｍｌ，ｍｌ２に対して連結処理が実行され、部位ｍｒ，ｍｒ２に対して連結処理が実行されることになる。
　ステップＳ８１４では、部位認識部１３０は、ステップＳ８０８で認識した左右の脚部に係る部位ｍｌ，ｍｒを、真っ直ぐ伸びた脚部であると認識し、部位ｍｌ，ｍｒに対して切断フラグを設定する。尚、このようにして部位ｍｌ，ｍｒに切断フラグが設定されると、図７のステップＳ７２０にて部位ｍｌ，ｍｒに対してそれぞれ切断処理が実行されることになる。
　ステップＳ８１６では、部位認識部１３０は、胴部の上側（脚部から遠い側）の左右の側面に左右の腕部を認識する。即ち、部位認識部１３０は、上述のように、胴部の側面における薄いトーラス内に含まれる２関節点を各腕部の根本の関節点として識別し、該2関節点を有する部位ｍｌｈ，ｍｒｈを、左右の腕部に係る部位と認識する。
　ステップＳ８１８では、部位認識部１３０は、ステップＳ８０８で認識した左右の腕部に係る部位ｍｌｈ，ｍｒｈの末端側（胴部から遠い側）に、他の部位ｍｌｈ２，ｍｒｈ２に係る関節点が存在するか否かを判定する。この際、部位認識部１３０は、左右の腕部についてそれぞれ別に判定する。判定結果が"ＹＥＳ"の場合は、ステップＳ８２０に進み、それ以外の場合は、ステップＳ８２２に進む。
　ステップＳ８２０では、部位認識部１３０は、ステップＳ８１６で認識した左右の腕部に係る部位ｍｌｈ，ｍｒｈを上腕部として認識するとともに、ステップＳ８１８で認識した他の部位ｍｌｈ２，ｍｒｈ２を、前腕部として認識する。尚、この場合、図７のステップＳ７２０にて、部位ｍｌｈ，ｍｌｈ２に対して連結処理が実行され、部位ｍｒｈ，ｍｒｈ２に対して連結処理が実行されることになる。
　ステップＳ８２２では、部位認識部１３０は、ステップＳ８１６で認識した左右の腕部に係る部位ｍｌｈ，ｍｒｈを、真っ直ぐ伸びた腕部であると認識し、部位ｍｌｈ，ｍｒｈに対して切断フラグを設定する。尚、このようにして部位ｍｌｈ，ｍｒｈに切断フラグが設定されると、図７のステップＳ７２０にて部位ｍｌｈ，ｍｒｈに対してそれぞれ切断処理が実行されることになる。
　図７及び図８に示す処理によれば、ある一時点（一シーン）に係る対象者Ｓの点群データｘｎに基づいて、対象者Ｓの関節又は骨格を精度良く認識することが可能となる。尚、図７及び図８に示す処理は、フレーム周期ごとに繰り返し実行されてもよいし、次のフレームに対しては、前回のフレームで得たパラメータθ及び分散σ２や前回のフレームで用いた幾何モデルを利用して、次のフレームに係るパラメータθ等が導出されてもよい。
　以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
　例えば、上述した実施例では、点群データｘｎがすべて幾何モデル表面近傍に存在するとして定式化してきたが、点群データｘｎにはノイズなども含まれる。そのような表面から離れたデータが混入すると、Ｅステップの事後分布が数値不安定となり正しく計算されない場合がある。そこで、分布ｐ（ｘｎ）には、以下のように、ノイズ項として一様分布が追加されてもよい。
Figure JPOXMLDOC01-appb-M000035
 ここで、ｕは任意の重みである。このとき、事後分布は以下のように修正される。
Figure JPOXMLDOC01-appb-M000036
 ここで、ｕｃは、以下の通り定義される。
Figure JPOXMLDOC01-appb-M000037
 これにより、分母にｕｃが導入され、数値不安定が解消される。尚、Ｅステップのみの変更であり、Ｍステップはそのままでよい。
１　対象物認識システム
２１　距離画像センサ
１００　対象物認識装置
１０１　制御部
１０２　主記憶部
１０３　補助記憶部
１０４　ドライブ装置
１０５　記録媒体
１０７　入力部
１２０　データ入力部
１２２　クラスタリング部
１２４　ＥＭアルゴリズム部
１２６　モデル最適化部
１２８　長さ算出部
１３０　部位認識部
１３２　骨格整形部
１３４　出力部
１４０　幾何モデルデータベース

Claims (25)

  1. 　３次元の位置情報を得るセンサから、複数の関節を有する対象物の表面に係る点群データを取得し、
    　前記点群データに、軸を有する幾何モデルを複数の個所で別々に当てはめ、前記点群データに当てはまる複数の幾何モデルのそれぞれの位置及び軸方向を導出する当てはめ処理を行い、
    　前記当てはめ処理の結果に基づいて、
    　　前記点群データに当てはまる前記複数の幾何モデルのうちの、１つ以上の第１幾何モデルのそれぞれに対応付けられる前記対象物の３つの関節、及び、
    　　前記点群データに当てはまる前記複数の幾何モデルのうちの、２つの第２幾何モデルにわたる前記対象物の骨格に対応付けられる前記対象物の２つの関節、
    のうちの少なくともいずれか一方を認識することを含む、コンピュータにより実行される対象物認識方法。
  2. 　前記第１幾何モデルの軸方向の中心から端部までの長さに対応する長さパラメータを導出することを更に含み、
    　前記第１幾何モデルに対応付けられる３つの関節を認識することは、前記第１幾何モデルの前記長さパラメータの導出結果に更に基づく、請求項１に記載の対象物認識方法。
  3. 　前記第１幾何モデルに対応付けられる３つの関節を認識することは、前記第１幾何モデルの軸方向の中心に基づいて前記３つの関節のうちの中間の関節の位置を導出し、前記第１幾何モデルの軸上にありかつ前記第１幾何モデルの前記長さを決める両端部の各位置に基づいて前記３つの関節のうちの残りの２つの関節の位置を導出することを含む、請求項２に記載の対象物認識方法。
  4. 　前記当てはめ処理は、事後分布の導出を伴う反復的な演算に基づき、
    　前記中間の関節の位置は、前記第１幾何モデルの軸方向の中心に対応し、
    　前記中間の関節の位置を導出することは、前記点群データの各点と前記第１幾何モデルの軸方向との内積に対して、事後分布を用いた平均操作を行うことを含む、請求項３に記載の対象物認識方法。
  5. 　前記２つの第２幾何モデルの軸方向の中心から端部までの長さに対応する長さパラメータを導出することを更に含み、
    　前記骨格に対応付けられる２つの関節を認識することは、前記２つの第２幾何モデルの軸方向の前記長さパラメータの導出結果に更に基づく、請求項１に記載の対象物認識方法。
  6. 　前記骨格に対応付けられる２つの関節を認識することは、前記２つの第２幾何モデルのそれぞれの軸上にありかつ前記長さを決める端部の位置に基づいて、前記２つの関節の位置を導出することを含む、請求項５に記載の対象物認識方法。
  7. 　前記当てはめ処理は、事後分布の導出を伴う反復的な演算に基づき、
    　前記点群データに当てはまる前記複数の幾何モデルのそれぞれの軸方向の中心から端部までの長さに対応する長さパラメータを導出し、
    　前記点群データに当てはまる前記複数の幾何モデルのそれぞれについて、軸方向に垂直な方向の太さを導出又は取得し、
    　前記当てはめ処理の結果と、前記長さパラメータの導出結果と、前記太さの導出結果又は取得結果とに基づいて、前記点群データに当てはまる前記複数の幾何モデルと、前記対象物の各部位との対応関係を認識することを更に含む、請求項１に記載の対象物認識方法。
  8. 　前記長さパラメータを導出することは、前記複数の幾何モデルのそれぞれごとに、前記当てはめ処理の結果と、前記点群データと、事後分布とに基づいて、幾何モデルの軸方向に沿った前記点群データの分布態様を評価することを含む、請求項７に記載の対象物認識方法。
  9. 　前記対応関係を認識することは、前記複数の幾何モデルのうちの、２番目に太い幾何モデルとの前記太さの差が所定値以上である１番目に太い幾何モデルを、又は、前記太さの差が所定値未満である１番目と２番目に太い幾何モデルを、前記対象物の主部位に対応付けることを含み、
    　２番目に太い幾何モデルとの前記太さの差が所定値以上である１番目に太い幾何モデルが、前記対象物の主部位に対応付けれた場合、前記第１幾何モデルは、前記対象物の主部位に対応付けれた該幾何モデルを含む、請求項７又は８に記載の対象物認識方法。
  10. 　前記対象物は、人、又は、人型のロボットであり、
    　前記主部位は、胴部であり、
    　前記対応関係を認識することは、前記複数の幾何モデルのうちの、前記胴部の軸方向に最も位置が近い幾何モデルを、前記対象物の頭部に対応付けることを含む、請求項９に記載の対象物認識方法。
  11. 　前記対応関係を認識することは、前記複数の幾何モデルのうちの、前記胴部の軸方向で前記胴部に対して前記頭部とは逆側の位置を持つ２つの幾何モデルを、前記対象物の左右の脚部にそれぞれ対応付けることを更に含み、
    　前記左右の脚部に対応付けられた前記幾何モデルのうちの少なくともいずれか一方が、前記胴部に対応付けられた幾何モデル以外の他の幾何モデルと隣接していない場合、前記第１幾何モデルは、前記左右の脚部に対応付けられた前記幾何モデルのうちの、前記他の幾何モデルと隣接していない幾何モデルを含む、請求項１０に記載の対象物認識方法。
  12. 　前記左右の脚部に対応付けられた前記幾何モデルのそれぞれに関する事後分布のデータ和に基づいて、前記左右の脚部に対応付けられた前記幾何モデルのうちの、該データ和の小さい方に係る前記太さ又は前記長さパラメータを、該データ和の大きい方に係る前記太さ又は前記長さパラメータに基づき補正することを更に含む、請求項１１に記載の対象物認識方法。
  13. 　前記２つの第２幾何モデルは、前記胴部に対応付けられた前記幾何モデルと、左又は右の前記脚部に対応付けられた前記幾何モデルとを含み、前記骨格に対応付けられる２つの関節は、前記脚部の根本の関節と、前記胴部における前記脚部側の関節である、請求項１１に記載の対象物認識方法。
  14. 　前記対応関係を認識することは、前記複数の幾何モデルのうちの、前記胴部の軸方向に対して垂直な側でありかつ前記頭部に対して１番目と２番目に近い位置を持つ２つの幾何モデルを、左右の腕部にそれぞれ対応付けることを更に含み、
    　前記左右の腕部に対応付けられた前記幾何モデルのうちの少なくともいずれか一方が、前記胴部に対応付けられた幾何モデル以外の他の幾何モデルと隣接していない場合、前記第１幾何モデルは、前記左右の腕部に対応付けられた前記幾何モデルのうちの、前記他の幾何モデルと隣接していない幾何モデルを含む、請求項１０に記載の対象物認識方法。
  15. 　前記左右の腕部に対応付けられた前記幾何モデルのそれぞれに関する事後分布のデータ和に基づいて、前記左右の腕部に対応付けられた前記幾何モデルのうちの、該データ和の小さい方に係る前記太さ又は前記長さパラメータを、該データ和の大きい方に係る前記太さ又は前記長さパラメータに基づき補正することを更に含む、請求項１４に記載の対象物認識方法。
  16. 　前記２つの第２幾何モデルは、前記胴部に対応付けられた前記幾何モデルと、左又は右の前記腕部に対応付けられた前記幾何モデルとを含み、前記骨格に対応付けられる２つの関節は、前記腕部の根本の関節と、前記胴部における頭部側の関節である、請求項１４に記載の対象物認識方法。
  17. 　前記当てはめ処理の結果と、前記長さパラメータの導出結果とに基づいて、隣接する２つの前記幾何モデルのそれぞれの軸上にありかつそれぞれの軸方向の前記長さを決める両端部のうちの、隣接する前記幾何モデルに近接する側の端部の各位置を導出し、導出した該端部の各位置に基づいて、該２つの幾何モデル間に対応付けられる関節の位置を導出することを更に含む、請求項７～１６のうちのいずれか１項に記載の対象物認識方法。
  18. 　前記当てはめ処理は、前記幾何モデルの表面に前記点群データが集まるようにパラメータを導出する処理を含み、
    　前記パラメータは、前記幾何モデルの位置、軸方向、及び前記幾何モデルの表面に対する前記点群データの表面残差がガウス分布するときの分散を含む、請求項１～１７のうちのいずれか１項に記載の対象物認識方法。
  19. 　前記幾何モデルは、円柱、円錐、台形柱、楕円柱、楕円錐、及び台形楕円柱のうちの少なくともいずれか１つに係り、
    　前記当てはめ処理は、２種類以上の前記幾何モデルを用いて実行され、
    　前記当てはめ処理の結果は、当てはまりが最も良好な種類の前記幾何モデルに基づく、請求項１８に記載の対象物認識方法。
  20. 　前記当てはめ処理は、前記点群データに含まれるノイズを一様分布でモデル化することを含む、請求項１８又は１９に記載の対象物認識方法。
  21. 　前記当てはめ処理は、ＥＭ（expectation-maximization）アルゴリズムに基づく、請求項１８～２０のいずれか１項に記載の対象物認識方法。
  22. 　前記当てはめ処理は、ＥＭアルゴリズムのＥステップにおいて、前記点群データのうちの、前記幾何モデルの軸方向の中心からの軸方向の距離が所定距離以上のデータに対し、事後分布を０にすることを含む、請求項２１に記載の対象物認識方法。
  23. 　３次元の位置情報を得るセンサから、複数の関節を有する対象物の表面に係る点群データを取得する取得部と、
    　前記点群データに、軸を有する幾何モデルを複数の個所で別々に当てはめ、前記点群データに当てはまる複数の幾何モデルのそれぞれの位置及び軸方向を導出する当てはめ処理を行う当てはめ処理部と、
    　前記当てはめ処理の結果に基づいて、前記点群データに当てはまる前記複数の幾何モデルのうちの、１つ以上の第１幾何モデルのそれぞれに対応付けられる前記対象物の３つの関節を認識すること、及び、前記点群データに当てはまる前記複数の幾何モデルのうちの、２つの第２幾何モデルにわたる前記対象物の骨格に対応付けられる前記対象物の２つの関節を認識すること、のうちの少なくともいずれか一方を行う認識処理部とを含む、対象物認識装置。
  24. 　３次元の位置情報を得るセンサと、
    　前記センサから、複数の関節を有する対象物の表面に係る点群データを取得する取得部と、
    　前記点群データに、軸を有する幾何モデルを複数の個所で別々に当てはめ、前記点群データに当てはまる複数の幾何モデルのそれぞれの位置及び軸方向を導出する当てはめ処理を行う当てはめ処理部と、
    　前記当てはめ処理の結果に基づいて、前記点群データに当てはまる前記複数の幾何モデルのうちの、１つ以上の第１幾何モデルのそれぞれに対応付けられる前記対象物の３つの関節を認識すること、及び、前記点群データに当てはまる前記複数の幾何モデルのうちの、２つの第２幾何モデルにわたる前記対象物の骨格に対応付けられる前記対象物の２つの関節を認識すること、のうちの少なくともいずれか一方を行う認識処理部とを含む、対象物認識システム。
  25. 　３次元の位置情報を得るセンサから、複数の関節を有する対象物の表面に係る点群データを取得し、
    　前記点群データに、軸を有する幾何モデルを複数の個所で別々に当てはめ、前記点群データに当てはまる複数の幾何モデルのそれぞれの位置及び軸方向を導出する当てはめ処理を行い、
    　前記当てはめ処理の結果に基づいて、前記点群データに当てはまる前記複数の幾何モデルのうちの、１つ以上の第１幾何モデルのそれぞれに対応付けられる前記対象物の３つの関節を認識すること、及び、前記点群データに当てはまる前記複数の幾何モデルのうちの、２つの第２幾何モデルにわたる前記対象物の骨格に対応付けられる前記対象物の２つの関節を認識すること、のうちの少なくともいずれか一方を実行する、
    　処理をコンピュータに実行させる対象物認識プログラム。
PCT/JP2017/017721 2017-05-10 2017-05-10 対象物認識方法、装置、システム、プログラム Ceased WO2018207292A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/017721 WO2018207292A1 (ja) 2017-05-10 2017-05-10 対象物認識方法、装置、システム、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/017721 WO2018207292A1 (ja) 2017-05-10 2017-05-10 対象物認識方法、装置、システム、プログラム

Publications (1)

Publication Number Publication Date
WO2018207292A1 true WO2018207292A1 (ja) 2018-11-15

Family

ID=64104605

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/017721 Ceased WO2018207292A1 (ja) 2017-05-10 2017-05-10 対象物認識方法、装置、システム、プログラム

Country Status (1)

Country Link
WO (1) WO2018207292A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021064942A1 (ja) * 2019-10-03 2021-04-08
WO2021117165A1 (ja) 2019-12-11 2021-06-17 富士通株式会社 生成方法、生成プログラム及び情報処理システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012046392A1 (ja) * 2010-10-08 2012-04-12 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
JP2015102913A (ja) * 2013-11-21 2015-06-04 キヤノン株式会社 姿勢推定装置及び姿勢推定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012046392A1 (ja) * 2010-10-08 2012-04-12 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
JP2015102913A (ja) * 2013-11-21 2015-06-04 キヤノン株式会社 姿勢推定装置及び姿勢推定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
EIICHI HORIUCHI: "Hemi-form Geometric Models for Single-scan 3D Point Clouds", JOURNAL OF THE ROBOTICS SOCIETY OF JAPAN, vol. 32, no. 8, 15 October 2014 (2014-10-15), pages 721 - 730, XP055545372 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021064942A1 (ja) * 2019-10-03 2021-04-08
WO2021064942A1 (ja) 2019-10-03 2021-04-08 富士通株式会社 評価方法、評価プログラムおよび情報処理システム
CN114503151A (zh) * 2019-10-03 2022-05-13 富士通株式会社 评价方法、评价程序以及信息处理系统
JP7268754B2 (ja) 2019-10-03 2023-05-08 富士通株式会社 評価方法、評価プログラムおよび情報処理装置
WO2021117165A1 (ja) 2019-12-11 2021-06-17 富士通株式会社 生成方法、生成プログラム及び情報処理システム

Similar Documents

Publication Publication Date Title
JP6996557B2 (ja) 対象物認識方法、装置、システム、プログラム
CN107122705B (zh) 基于三维人脸模型的人脸关键点检测方法
US10189162B2 (en) Model generation apparatus, information processing apparatus, model generation method, and information processing method
CN108334816B (zh) 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法
JP5924862B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN101833672B (zh) 基于约束采样与形状特征的稀疏表示人脸识别方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
KR101333836B1 (ko) 에이에이엠 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법
JP6947215B2 (ja) 情報処理装置、モデルデータ作成プログラム、モデルデータ作成方法
KR101700377B1 (ko) 아바타 생성을 위한 처리 장치 및 방법
JP2014085933A (ja) ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム
US20210216759A1 (en) Recognition method, computer-readable recording medium recording recognition program, and learning method
JP7439004B2 (ja) 行動認識装置、学習装置、および行動認識方法
KR101460313B1 (ko) 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법
JP4535096B2 (ja) 平面抽出方法、その装置、そのプログラム、その記録媒体及び撮像装置
WO2015029287A1 (ja) 特徴点位置推定装置、特徴点位置推定方法および特徴点位置推定プログラム
KR102948410B1 (ko) 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN120411545A (zh) 基于OpenPose的人体骨骼点定位识别方法及系统
WO2018207292A1 (ja) 対象物認識方法、装置、システム、プログラム
Bierbaum et al. Robust shape recovery for sparse contact location and normal data from haptic exploration
JP4765075B2 (ja) ステレオ画像を利用した物体の位置および姿勢認識システムならびに物体の位置および姿勢認識方法を実行するプログラム
CN114926518A (zh) 基于PointNet的深度摄像头外参自动标定方法、装置及相关设备
CN111612912B (zh) 一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法
Persson 3D Estimation of Joints for Motion Analysis in Sports Medicine: A study examining the possibility for monocular 3D estimation to be used as motion analysis for applications within sports with the goal to prevent injury and improve sport specific motion
Okada et al. Improved Ethnicity Classification Using Normal Vector Features in Large-Scale Facial Point Clouds

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17909490

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17909490

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP