WO2023062757A1 - 情報処理プログラム、情報処理方法、および情報処理装置 - Google Patents

情報処理プログラム、情報処理方法、および情報処理装置 Download PDF

Info

Publication number
WO2023062757A1
WO2023062757A1 PCT/JP2021/037946 JP2021037946W WO2023062757A1 WO 2023062757 A1 WO2023062757 A1 WO 2023062757A1 JP 2021037946 W JP2021037946 W JP 2021037946W WO 2023062757 A1 WO2023062757 A1 WO 2023062757A1
Authority
WO
WIPO (PCT)
Prior art keywords
skeleton
data
smoothing
information processing
estimation
Prior art date
Application number
PCT/JP2021/037946
Other languages
English (en)
French (fr)
Inventor
雅人 阪田
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2023553829A priority Critical patent/JPWO2023062757A1/ja
Priority to PCT/JP2021/037946 priority patent/WO2023062757A1/ja
Publication of WO2023062757A1 publication Critical patent/WO2023062757A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an information processing program, an information processing method, and an information processing apparatus.
  • a skeleton tracking signal indicating the shape of the skeleton of the person being watched over, which is detected from a two-dimensional image that is a captured image of the person being watched over.
  • a technique for estimating a three-dimensional posture of a person by using a skeleton model is also a technique for estimating a three-dimensional posture of a person by using a skeleton model.
  • the present invention aims to improve the accuracy of skeleton estimation.
  • skeletal data representing the skeleton of the recognized object in time series based on sensor data of the object is acquired, and based on the acquired skeletal data, each part of the skeleton of the object is acquired.
  • an information processing program for calculating a feature amount representing a temporal change in movement of the body, and specifying a target part of the skeleton represented by the skeleton data to be smoothed based on the calculated feature amount.
  • FIG. 1 is an explanatory diagram of an example of an information processing method according to an embodiment.
  • FIG. 2 is an explanatory diagram showing an example of skeleton recognition processing.
  • FIG. 3 is an explanatory diagram showing a system configuration example of the information processing system 300.
  • FIG. 4 is a block diagram showing a hardware configuration example of the skeleton estimation device 301.
  • FIG. 5 is an explanatory diagram showing an example of joint points forming a skeleton.
  • FIG. 6 is an explanatory diagram showing an example of the data structure of skeleton data.
  • FIG. 7 is a block diagram showing a functional configuration example of the skeleton estimation device 301.
  • FIG. 8 is an explanatory diagram showing an example of the parts of the skeleton.
  • FIG. 9 is an explanatory diagram showing an example of the contents of the edge data table 900.
  • FIG. 10 is an explanatory diagram showing an example of the contents stored in the relative angle table 1000.
  • FIG. 11 is an explanatory diagram showing an example of the contents of the angular velocity table 1100.
  • FIG. 12 is an explanatory diagram showing an example of the contents stored in the angular acceleration table 1200.
  • FIG. 13 is an explanatory diagram (part 1) showing an example of a smoothing filter.
  • FIG. 14 is an explanatory diagram (part 2) showing an example of the smoothing filter.
  • FIG. 15 is a flowchart showing an example of a skeleton estimation processing procedure of the skeleton estimation device 301.
  • FIG. 16 is a flowchart illustrating an example of a specific processing procedure for edge data calculation processing.
  • FIG. 17 is a flowchart (part 1) illustrating an example of a specific processing procedure of feature amount calculation processing.
  • FIG. 18 is a flowchart (part 2) showing an example of a specific processing procedure of feature amount calculation processing.
  • FIG. 19 is a flowchart (part 3) showing an example of a specific processing procedure of feature amount calculation processing.
  • FIG. 20 is a flowchart (Part 1) showing an example of a specific processing procedure of the smoothing degree determination process.
  • FIG. 21 is a flowchart (part 2) showing an example of a specific processing procedure of the smoothing degree determination process.
  • FIG. 22 is an explanatory diagram showing an example of an estimation result of the skeleton of a performer (balance beam).
  • FIG. 23A is an explanatory diagram (Part 1) showing an example of the result of estimating the skeleton of the performer (the ring).
  • FIG. 23B is an explanatory diagram (part 2) showing an example of the result of estimating the skeleton of the performer (the ring).
  • FIG. 24 is an explanatory diagram showing the time change of the z-coordinate of the tip of the left foot.
  • FIG. 25 is an explanatory diagram showing a specific example of the technique recognition result.
  • FIG. 1 is an explanatory diagram of an example of an information processing method according to an embodiment.
  • an information processing apparatus 101 is a computer that specifies a target portion to be smoothed out of skeleton data representing the skeleton of an object.
  • the object is, for example, a person whose skeleton is to be estimated.
  • the target object may be an animal other than a human such as a gorilla or a monkey, or may be a robot.
  • Skeleton estimation is a technology that estimates the skeleton of an object by recognizing the skeleton based on sensor data about the object.
  • a skeleton is a skeleton that supports an object, and is a structure formed by, for example, a plurality of bones connected by joints.
  • a joint is a movable joint that connects bone to bone.
  • the need for skeletal estimation is increasing, for example, in fields such as sports, healthcare, and entertainment.
  • skeletal estimation technology techniques can be recognized based on the results of skeletal estimation, and the performance can be scored.
  • FIG. 2 is an explanatory diagram showing an example of skeleton recognition processing.
  • skeleton recognition processing 200 includes human detection processing 201 , 2Dpose estimation processing 202 and 3Dpose estimation processing 203 .
  • Human detection processing 201 detects a human area from a plurality of images 210 .
  • a plurality of images 210 are images (multi-viewpoint images) obtained by photographing a person (object) from multiple viewpoints.
  • the 2D pose estimation process 202 identifies joint positions from the human area detected by the human detection process 201 .
  • the 2D pose estimation process 202 generates a 2D heatmap 220 .
  • the 2D heat map 220 represents, for example, the probability that the location is a joint for each pixel on each image of the plurality of images 210 .
  • the 3D pose estimation processing 203 integrates the 2D heat map 220 and the camera placement information 230 to identify the positions (coordinates) of the human joints in the three-dimensional space.
  • the camera placement information 230 indicates the placement position of each camera that captured the multiple images 210 .
  • Skeletal data 240 is generated in the 3D pose estimation process 203 .
  • the skeleton data 240 is information representing a human skeleton (skeletal shape), and indicates the positions of joints forming the skeleton in a three-dimensional space.
  • skeletal recognition processing 200 for example, time-series images of a person are processed, and skeletal data 240 (time-series data) representing temporal changes in the position of each joint in a three-dimensional space is generated. generated.
  • the skeleton data 240 is a set of frames indicating the position of each joint in the three-dimensional space at each point in time.
  • a filter called a Savitzky-Golay smoothing filter may be applied.
  • the Savitzky-Golay smoothing filter is an example of a filter used to smooth a signal with a wide frequency range of noisy but noise-free parts.
  • the Savitzky-Golay smoothing filter approximates time-series data with a polynomial within a window of a certain frame, and uses the polynomial output as a value after smoothing.
  • the Savitzky-Golay smoothing filter for example, the following non-patent document can be referred to.
  • Mendez, C. G. M. Mendez, S. H. , Solis, A. L. , Figueroa, H. V. R. , Hernandez, A. M. : The effects of using a noise filter and feature selection in action recognition: an empirical study. In: International Conference on Mechanicals, Electronics and Automotive Engineering (ICMEAE), pp. 43-48 (2017)
  • the characteristics of the smoothing filter be variable according to human motion. For example, if a person moves slowly, it may be desirable to smooth the noise over a long period of time to remove as much noise as possible. Taking the ring event in gymnastics as an example, if noise is introduced into the stationary technique, there is a possibility that the stationary determination related to the score cannot be performed normally.
  • the leg angle is important for hoop jumps and split leg jumps. For this reason, for example, if smoothing is not removed at the toe joints, the angle may appear smaller than before smoothing, which may be disadvantageous to the athlete at the time of scoring.
  • the allowable amount of shake may differ.
  • the cross suspension results in a smaller amount of shaking. For this reason, if the standard of cross suspension is met, it is not possible to properly determine whether the leg is horizontally supported or not, and it is not possible to perform technique recognition determination or the like normally.
  • the accuracy of skeletal estimation is improved by controlling the parts of the skeleton represented by the skeleton data to be smoothed according to the time change of the movement of each part of the skeleton of the object.
  • the information processing device 101 acquires skeleton data representing the skeleton of the object recognized based on the sensor data of the object in time series.
  • the skeleton data is, for example, time-series data that indicates temporal changes in the positions of joint points forming the skeleton of the object in a three-dimensional space.
  • a joint point indicates, for example, a joint, a head, or the like.
  • Sensor data includes, for example, an image of a target object.
  • Skeleton data is generated, for example, by skeleton recognition processing 200 as shown in FIG.
  • the sensor data may also include 3D motion sensor information.
  • a 3D motion sensor is attached to, for example, a joint, head, or the like of an object, and can detect the position of the attached portion.
  • skeleton data may be generated, for example, by the information processing apparatus 101, or may be generated by another computer different from the information processing apparatus 101.
  • a specific example of skeleton data will be described later with reference to FIG.
  • skeleton data 110 representing the skeleton of actor 102 is obtained.
  • Actor 102 is a gymnast.
  • Skeleton data 110 represents the skeleton of actor 102 recognized based on a plurality of images I of actor 102 .
  • the skeletal data 110 is a set of frames indicating the position of each joint point of the actor 102 at each point in time in the three-dimensional space.
  • a frame 110-1 shows the position of each joint point (white circle in FIG. 1) of the actor 102 at a certain point in time in the three-dimensional space.
  • a white circle 110-1-1 indicates the joint point of the tip of the right foot.
  • a white circle 110-1-2 indicates the joint point of the right pelvis.
  • a white circle 110-1-3 indicates the joint point of the tip of the left foot.
  • a white circle 110-1-4 indicates the joint point of the left pelvis.
  • the information processing apparatus 101 calculates a feature quantity representing the temporal change in movement of each part of the skeleton of the object.
  • the parts are, for example, the head, right arm, left arm, right leg, left leg, and the like. It is possible to arbitrarily set which part of the skeleton of the object to focus on.
  • the right leg of the performer 102 corresponds to the portion from the tip of the right leg to the right pelvis.
  • the left leg of the performer 102 corresponds to the portion from the tip of the left leg to the left pelvis.
  • a feature value is information for capturing the movement of each part included in the skeleton of an object.
  • the feature quantity includes, for example, the angular acceleration between parts based on the time change of the relative angle between parts of the skeleton of the object.
  • the inter-part angular acceleration represents the rate of change per unit time of the inter-part angular velocity, and can be said to be an index value capable of capturing the instantaneous movement of each part.
  • the feature quantity 120 representing the time change of the movement of the skeleton of the performer 102 is calculated.
  • the feature quantity 120 includes angular acceleration based on changes over time in relative angles between parts of the actor 102 .
  • the feature quantity 120 includes, for example, the angular acceleration based on the time change of the relative angle between the left leg 131 and the right leg 132.
  • the angular acceleration between the left leg 131 and the right leg 132 is an index value that can capture the instantaneous movement of each leg 131 and 132 .
  • the information processing apparatus 101 identifies a target part to be smoothed in the skeleton represented by the skeleton data based on the calculated feature amount. In other words, the information processing apparatus 101 identifies a portion of the skeleton represented by the skeleton data to be excluded from smoothing targets. Specifically, for example, the information processing apparatus 101 specifies, of the skeleton represented by the skeleton data, parts other than parts whose angular acceleration is greater than or equal to the first threshold as target parts to be smoothed. may
  • the first threshold can be set arbitrarily.
  • the first threshold is set to a value at which it can be determined that the movement of that part is instantaneous when the angular acceleration between the parts is greater than or equal to the first threshold. It can be said that a portion determined to have an instantaneous movement is a portion that should be unsmoothed so that, for example, a performance that should be recognized is not recognized and is not disadvantageous to the player. For this reason, the information processing apparatus 101 excludes the part whose angular acceleration is greater than or equal to the first threshold from the smoothing target.
  • the information processing apparatus 101 identifies, for example, a part of the skeleton represented by the skeleton data 110 that is different from the left leg 131 and the right leg 132 as the target part.
  • the accuracy of skeleton estimation is improved by controlling the parts of the skeleton represented by the skeleton data to be smoothed in accordance with the time change of the movement of each part of the skeleton of the object.
  • the information processing apparatus 101 excludes the left leg 131 and the right leg 132 from the skeleton of the performer 102 to be smoothed, and treats other parts as target parts. Specifically, for example, when the information processing apparatus 101 performs smoothing processing on the skeleton data 110, the information processing apparatus 101 smoothes the left leg 131 and the right leg 132 for a certain frame period before and after the frame 110-1. Exclude from the target.
  • System configuration example of information processing system 300 Next, a system configuration example of an information processing system 300 including the information processing apparatus 101 shown in FIG. 1 will be described. Here, a case where the information processing apparatus 101 shown in FIG. 1 is applied to the skeleton estimation apparatus 301 in the information processing system 300 will be described as an example.
  • the information processing system 300 is applied, for example, to a system that supports scoring in sports such as gymnastics and artistic swimming.
  • the "actor” is taken as an example of the target object for skeletal estimation.
  • FIG. 3 is an explanatory diagram showing a system configuration example of the information processing system 300.
  • an information processing system 300 includes a skeleton estimation device 301 , a client device 302 and a plurality of camera terminals 303 .
  • the skeleton estimation device 301 , the client device 302 and the camera terminal 303 are connected via a wired or wireless network 310 .
  • the network 310 is, for example, the Internet, a LAN (Local Area Network), a WAN (Wide Area Network), or the like.
  • the skeleton estimation device 301 is a computer that estimates the actor's skeleton.
  • the performer is, for example, a gymnastics performer.
  • Skeleton estimation device 301 is, for example, a server.
  • a client device 302 is a computer used by a user.
  • the user is, for example, a referee who scores the target competition, or a person who assists the referee in scoring.
  • the client device 302 is, for example, a PC (Personal Computer), a tablet PC, or the like.
  • the camera terminal 303 is an imaging device that captures an image (still image or moving image) and outputs image data.
  • a plurality of camera terminals 303 are installed, for example, at different positions in the stadium, and are capable of photographing performers during performance from multiple viewpoints.
  • skeleton estimation device 301 and the client device 302 are separately provided here, the present invention is not limited to this.
  • skeleton estimation device 301 may be realized by client device 302 .
  • the information processing system 300 may also include multiple client devices 302 .
  • FIG. 4 is a block diagram showing a hardware configuration example of the skeleton estimation device 301.
  • skeleton estimation apparatus 301 includes CPU (Central Processing Unit) 401, memory 402, disk drive 403, disk 404, communication I/F (Interface) 405, and portable recording medium I/F 406. , and a portable recording medium 407 . Also, each component is connected by a bus 400 .
  • the CPU 401 controls the entire skeleton estimation device 301 .
  • the CPU 401 may have multiple cores.
  • the memory 402 has, for example, a ROM (Read Only Memory), a RAM (Random Access Memory), a flash ROM, and the like.
  • the flash ROM stores the OS program
  • the ROM stores the application program
  • the RAM is used as a work area for the CPU 401 .
  • a program stored in the memory 402 is loaded into the CPU 401 to cause the CPU 401 to execute coded processing.
  • the disk drive 403 controls data read/write with respect to the disk 404 under the control of the CPU 401 .
  • Disk 404 stores data written under the control of disk drive 403 .
  • Examples of the disk 404 include a magnetic disk and an optical disk.
  • the communication I/F 405 is connected to the network 310 through a communication line, and is connected to an external computer (for example, the client device 302 and camera terminal 303 shown in FIG. 3) via the network 310.
  • a communication I/F 405 serves as an interface between the network 310 and the inside of the apparatus, and controls input/output of data from an external computer.
  • a modem, a LAN adapter, or the like can be adopted for example.
  • the portable recording medium I/F 406 controls reading/writing of data from/to the portable recording medium 407 under the control of the CPU 401 .
  • the portable recording medium 407 stores data written under control of the portable recording medium I/F 406 .
  • Examples of the portable recording medium 407 include CD (Compact Disc)-ROM, DVD (Digital Versatile Disk), USB (Universal Serial Bus) memory, and the like.
  • the skeleton estimation device 301 may have, for example, an input device, a display, etc., in addition to the components described above.
  • the client device 302 has, for example, an input device and a display in addition to the components described above.
  • the camera terminal 303 has, for example, a camera, an input device, a display, etc., in addition to the components described above.
  • FIG. 5 is an explanatory diagram showing an example of joint points forming a skeleton.
  • a skeleton 500 represents the skeleton of an actor and includes a plurality of indirect points and links.
  • Joint points are key points such as joints and heads.
  • a link is a connection between joint points.
  • joint points are represented by solid-line circles or dotted-line circles. Links are represented by solid lines.
  • the number inside the solid line circle is the joint ID that identifies the joint point.
  • a solid circle with joint ID “0” indicates the center of the pelvis (waist).
  • a solid circle with joint ID “1” indicates the spine.
  • a solid circle with joint ID “2” indicates the center of the shoulder.
  • a solid circle with joint ID “3” indicates the head.
  • a solid circle with joint ID “4” indicates the left shoulder.
  • a solid circle with joint ID “5” indicates the left elbow.
  • a solid circle with joint ID “6” indicates the left wrist.
  • a solid circle with joint ID “7” indicates the right shoulder.
  • a solid circle with joint ID “8” indicates the right elbow.
  • the solid circle with joint ID “9” indicates the right wrist.
  • a solid circle with joint ID “10” indicates the left pelvis.
  • a solid circle with joint ID “11” indicates the left knee.
  • a solid circle with joint ID “12” indicates the left ankle.
  • a solid circle with joint ID “13” indicates the tip of the left foot.
  • a solid circle with joint ID “14” indicates the right pelvis.
  • a solid circle with joint ID “15” indicates the right knee.
  • a solid circle with joint ID “16” indicates the right ankle.
  • a solid circle with joint ID “17” indicates the tip of the right foot.
  • a dotted circle 511 indicates the neck.
  • a dotted circle 512 indicates the left hand.
  • a dotted circle 513 indicates the left thumb.
  • a dotted circle 514 indicates the left hand.
  • Dotted circle 515 indicates the right hand.
  • Dotted circle 516 indicates the right thumb.
  • a dotted circle 517 indicates the right hand.
  • FIG. 6 is an explanatory diagram showing an example of the data structure of skeleton data.
  • skeleton data PD is information representing the skeleton of an actor (object) in time series, and includes frames F1 to Fn (n is a natural number of 2 or more).
  • Frames F1 to Fn are time-series data showing changes over time in the positions of joint points forming the skeleton of the actor at each time point t1 to tn in the three-dimensional space.
  • Frame Fi indicates the position on the three-dimensional space of each joint point forming the skeleton of the actor at time ti.
  • Frame Fi includes joint point data 600-1 to 600-18.
  • Each joint point data 600-1 to 600-18 has items of time point, joint ID, x, y and z.
  • a time point is information that identifies at what time point the joint point is.
  • the point in time corresponds to, for example, the date and time when the performer was photographed by the camera terminal 303 (see FIG. 3).
  • the joint ID is an identifier that identifies joint points that form the skeleton of the actor.
  • the joint IDs correspond to the joint IDs "0" to "17" shown in FIG. x, y, and z are coordinates indicating the position in the three-dimensional space of the joint point identified by the joint ID.
  • the joint point data 600-1 is the position "x0(i), y0(i), z0(i )”.
  • the skeleton data PD includes, for example, information on links connecting joint points.
  • FIG. 7 is a block diagram showing a functional configuration example of the skeleton estimation device 301.
  • skeleton estimation apparatus 301 includes acquisition section 701 , calculation section 702 , identification section 703 , determination section 704 , execution control section 705 , and output section 706 .
  • Acquisition unit 701 to output unit 706 are functions of a control unit. or by the communication I/F 405, the function is realized.
  • the processing results of each functional unit are stored in a storage device such as the memory 402 or disk 404, for example.
  • the acquisition unit 701 acquires skeleton data representing the skeleton of the actor (object) in time series.
  • a performer's skeleton is a recognized skeleton based on sensor data about the actor.
  • the sensor data includes, for example, images (multi-viewpoint images) of an actor photographed by a plurality of camera terminals 303 shown in FIG.
  • the acquisition unit 701 acquires the received skeleton data PD by receiving the skeleton data PD as shown in FIG. 6 from the client device 302 shown in FIG.
  • the acquisition unit 701 may generate the skeleton data PD by performing skeleton recognition processing based on sensor data about the performer.
  • the acquisition unit 701 receives sensor data including an image (multi-viewpoint image) of an actor captured from the client device 302 .
  • the acquisition unit 701 may directly receive the images of the performer from each of the plurality of camera terminals 303 .
  • Acquisition unit 701 performs skeleton recognition processing 200 as shown in FIG. 2 based on the received sensor data (multi-viewpoint image) to generate skeleton data PD. You may choose to acquire it.
  • skeletal data PD (see FIG. 6) will be taken as an example of skeleton data representing the skeleton of an actor (object) in chronological order.
  • the calculation unit 702 calculates a feature quantity representing the temporal change in movement of each part of the actor's skeleton based on the acquired skeleton data PD.
  • a portion of the skeleton is a portion of the skeleton.
  • a part includes a plurality of joint points among joint point groups that form the skeleton of an actor. It is possible to arbitrarily set which part of the actor's skeleton is to be processed.
  • the parts to be processed are set in consideration of how the person whose skeleton is to be estimated moves.
  • the skeleton of the performer is divided into parts such as the head, right arm, left arm, right leg, and left leg.
  • the division may be performed so as to cover all of the joint point groups forming the skeleton, or may not cover all of them.
  • a feature value is, for example, information for capturing the instantaneous movement or stillness of each part.
  • the feature amount may include, for example, the angular velocity between parts based on the time change of the relative angle between the parts of the skeleton of the actor (object).
  • the feature amount may include, for example, the angular acceleration between parts based on the time change of the relative angle between the parts of the skeleton of the performer (object).
  • each part includes a plurality of joint points, each part may be referred to as a "part group".
  • FIG. 8 is an explanatory diagram showing an example of a skeletal part.
  • site groups G1 to G5 (five sites) included in skeleton 500 are shown.
  • the part group G1 corresponds to the part “head” and includes the joint point with the joint ID “2" and the joint point with the joint ID “3”.
  • the part group G2 corresponds to the part “right arm” and includes joint points with joint ID “7”, joint points with joint ID “8”, and joint points with joint ID “9”.
  • the part group G3 corresponds to the part “left arm” and includes a joint point with joint ID "4", a joint point with joint ID "5", and a joint point with joint ID "6".
  • the part group G4 corresponds to the part “right leg”, and includes the joint point with the joint ID "14", the joint point with the joint ID "15”, the joint point with the joint ID "16", and the joint point with the joint ID "17”. include.
  • the part group G5 corresponds to the part "left leg”, and includes the joint point with the joint ID "10", the joint point with the joint ID "11", the joint point with the joint ID "12", and the joint point with the joint ID "13”. include.
  • the calculation unit 702 defines the orientation of each part group G1 to G5 (parts).
  • the orientation of the part group G1 is assumed to be the orientation from the joint point (head) of joint ID "3" to the joint point (shoulder center) of joint ID "2".
  • the orientation of the part group G2 be the orientation from the joint point with the joint ID “9” (right wrist) to the joint point with the joint ID “7” (right shoulder).
  • the orientation of the part group G3 be the orientation from the joint point with joint ID "6" (left wrist) to the joint point with joint ID "4" (left shoulder).
  • the direction of the part group G4 be the direction from the joint point with joint ID "17" (right foot) to the joint point with joint ID "14” (right pelvis).
  • the direction of the part group G5 be the direction from the joint point with joint ID "13" (left foot) to the joint point with joint ID "10" (left pelvis).
  • the calculation unit 702 calculates the orientation of each part (part groups G1 to G5) of the actor's skeleton. Specifically, for example, the calculation unit 702 calculates the orientation (e ⁇ x , e ⁇ y , e ⁇ z ) of each of the part groups G1 to G5 using the following formula (1) based on the skeleton data PD. can be calculated.
  • x1 indicates the x-coordinate of the starting point of each orientation.
  • x2 indicates the x-coordinate of the end point of each orientation.
  • y 1 indicates the y-coordinate of the starting point of each orientation.
  • y 2 indicates the y-coordinate of the end point of each orientation.
  • z 1 indicates the z-coordinate of the starting point of each orientation.
  • z2 indicates the z-coordinate of the end point of each orientation.
  • e is represented by the following formula (2).
  • ⁇ indicates a hat symbol above e.
  • the orientation of each part group G1 to G5 is calculated, for example, for each frame Fi at each time point ti included in the skeleton data PD. As a result, the orientation of each part group G1 to G5 is calculated for each time point ti.
  • the calculated orientation of each part group G1 to G5 is stored, for example, in an edge data table 900 as shown in FIG.
  • the edge data table 900 is realized by storage devices such as the memory 402 and the disk 404, for example.
  • FIG. 9 is an explanatory diagram showing an example of the contents of the edge data table 900.
  • the edge data table 900 has fields of time point, group ID, e ⁇ x , e ⁇ y and e ⁇ z , and edge data 900-1 to 900- Store 5 as a record.
  • the time point indicates the time point corresponding to the edge data (for example, the date and time when the actor was photographed by the camera terminal 303).
  • a group ID is an identifier that identifies a site group (site).
  • e ⁇ x denotes the x-component of the orientation of the site group.
  • e ⁇ y indicates the y-component of the orientation of the site group.
  • e ⁇ z indicates the z-component of the orientation of the site group.
  • the edge data 900-1 indicates the orientation "e x 1(i), e y 1(i), e z 1(i)" of the part group G1 at time ti.
  • the calculation unit 702 calculates the relative angle between parts based on the calculated orientation between parts (between part groups).
  • the relative angle between parts corresponds to, for example, the angle formed by the orientation of one part and the orientation of another part.
  • the calculation unit 702 refers to the edge data table 900 at each point in time ti as shown in FIG. be able to.
  • ⁇ p,q indicates the relative angle between the site groups.
  • e ⁇ x,p indicates the x component in the direction of one site group Gp.
  • e ⁇ x,q indicates the x-component in the direction of the other site group Gq.
  • e ⁇ y,p indicates the y component in the direction of one site group Gp.
  • e ⁇ y,q indicates the y-component of the direction of the other site group Gq.
  • êz ,p indicates the z component in the direction of one site group Gp.
  • e ⁇ z,q indicates the z component in the direction of the other site group Gq.
  • the relative angle between the part groups at each time point ti is calculated, for example, for each combination of part groups.
  • the site groups G1 to G5 there are 10 combinations of the site groups (G1-G2, G1-G3, G1-G4, G1-G5, G2-G3, G2-G4, G2-G5, G3- G4, G3-G5, G4-G5).
  • the calculated relative angles between the part groups are stored, for example, in a relative angle table 1000 as shown in FIG.
  • the relative angle table 1000 is implemented by a storage device such as the memory 402 and disk 404, for example.
  • FIG. 10 is an explanatory diagram showing an example of the contents stored in the relative angle table 1000.
  • the relative angle table 1000 has fields of time point, combination ID, and relative angle. By setting information in each field, relative angle data 1000-1 to 1000-10 are stored as records.
  • the time point indicates the time point corresponding to the relative angle data.
  • a combination ID indicates a combination of part groups.
  • Relative angles indicate relative angles between site groups.
  • relative angle data 1000-1 indicates the relative angle ⁇ 1,2 (i) between part group G1 and part group G2 at time ti.
  • the calculation unit 702 calculates angular velocities between parts based on the calculated relative angles between parts (between part groups).
  • the angular velocity between parts corresponds to the angle by which the parts rotate per unit time, and can be said to be one of the index values for capturing the movement of the parts.
  • the calculation unit 702 refers to the relative angle table 1000 at each point in time ti as shown in FIG. can be done.
  • ⁇ p,q (t) indicates the angular velocity between group Gp and group Gq at time ti.
  • ⁇ p,q (t) denotes the relative angle between group Gp and group Gq at time ti.
  • ⁇ p,q (t ⁇ 1) denotes the relative angle between group Gp and group Gq at time t(i ⁇ 1).
  • the angular velocity between the part groups is calculated for each combination of the part groups, for example, for each time ti from time t2 to tn.
  • the calculated angular velocities between the part groups are stored in an angular velocity table 1100 as shown in FIG. 11, for example.
  • Angular velocity table 1100 is realized by a storage device such as memory 402 and disk 404, for example.
  • FIG. 11 is an explanatory diagram showing an example of the contents stored in the angular velocity table 1100.
  • the angular velocity table 1100 has fields of time, combination ID, and angular velocity, and by setting information in each field, angular velocity data 1100-1 to 1100-10 are stored as records.
  • the time points indicate the time points corresponding to the angular velocity data.
  • a combination ID indicates a combination of part groups.
  • Angular velocities indicate angular velocities between site groups.
  • angular velocity data 1100-1 indicates acceleration ⁇ 1,2 (i) between part group G1 and part group G2 at time ti.
  • the calculation unit 702 calculates the angular acceleration between parts based on the calculated angular velocities between parts (between part groups).
  • the angular acceleration between parts corresponds to a change in angular velocity per unit time, and can be said to be one of the index values for capturing the movement of parts.
  • the calculation unit 702 refers to the angular velocity table 1100 at each point in time ti as shown in FIG. can be done.
  • ⁇ p,q (t) represents the angular acceleration between group Gp and group Gq at time ti.
  • ⁇ p,q (t) denotes the angular velocity between group Gp and group Gq at time ti.
  • ⁇ p,q (t ⁇ 1) denotes the angular velocity between group Gp and group Gq at time t(i ⁇ 1).
  • the angular acceleration between the part groups is calculated for each combination of the part groups, for example, for each time ti from time t2 to tn.
  • the calculated angular accelerations between part groups are stored, for example, in an angular acceleration table 1200 as shown in FIG.
  • Angular acceleration table 1200 is realized by a storage device such as memory 402 and disk 404, for example.
  • FIG. 12 is an explanatory diagram showing an example of the contents stored in the angular acceleration table 1200.
  • the angular acceleration table 1200 has fields of time point, combination ID and angular acceleration, and by setting information in each field, angular acceleration data 1200-1 to 1200-10 are stored as records.
  • the time points indicate the time points corresponding to the angular acceleration data.
  • a combination ID indicates a combination of part groups.
  • Angular acceleration indicates the angular acceleration between part groups.
  • angular acceleration data 1200-1 indicates angular acceleration ⁇ 1,2 (i) between part group G1 and part group G2 at time ti.
  • the identifying unit 703 identifies the target part to be smoothed in the skeleton represented by the skeleton data PD based on the calculated feature amount. Specifically, for example, the specifying unit 703 specifies, as the target part, a part of the skeleton represented by the skeleton data PD other than the part for which the calculated angular acceleration is greater than or equal to the first threshold value Th1.
  • the specifying unit 703 specifies, of the skeleton represented by the skeleton data PD, a part for which the calculated angular acceleration is equal to or greater than the first threshold value Th1 as a part not to be smoothed.
  • the first threshold value Th1 can be arbitrarily set, and is set to a value at which, for example, when the angular acceleration becomes greater than or equal to the first threshold value Th1, it can be determined that the movement is instantaneous.
  • the identifying unit 703 refers to the angular acceleration table 1200 at each time point ti as shown in FIG. 12 to identify the target part.
  • the target part is specified, for example, by specifying the time point ti and the part to be smoothed in the skeleton represented in time series by the skeleton data PD.
  • angular acceleration ⁇ 4,5 (i) indicated by angular acceleration data 1200-10 in angular acceleration table 1200 is greater than or equal to first threshold value Th1.
  • angular accelerations ⁇ 1,3 (i) to ⁇ 3,5 (i) indicated by the angular acceleration data 1200-1 to 1200-9 in the angular acceleration table 1200 are less than the first threshold value Th1. .
  • the combination of part groups specified from the combination ID indicated by the angular acceleration data 1200-10 is the part group G4 and the part group G5.
  • the specifying unit 703 specifies, as target parts, parts other than the part groups G4 and G5 for the time ti among the skeletons represented in time series by the skeleton data PD.
  • the part group G4 is a part (right leg) including the joint point with the joint ID "14", the joint point with the joint ID "15”, the joint point with the joint ID "16", and the joint point with the joint ID "17”.
  • the part group G5 is a part (left leg) including the joint point with the joint ID "10", the joint point with the joint ID "11”, the joint point with the joint ID "12”, and the joint point with the joint ID "13”. .
  • the identifying unit 703 identifies parts other than the right and left legs of the actor's skeleton as target parts at time ti. In this manner, the identifying unit 703 identifies the target site at each time point (for example, time points t2 to tn). As a result, of the skeleton represented in time series by the skeleton data PD, parts of the skeleton that move instantaneously can be excluded from smoothing targets.
  • the identification unit 703 determines the part groups Gp and Gq (for example, part Groups G4 and G5) may be excluded from smoothing targets.
  • the fixed period before and after can be arbitrarily set, and is set, for example, to a period of about one second before and after (fixed frames before and after the target frame Fi).
  • the specifying unit 703 smoothes the part groups Gp and Gq in the target frame Fi at time ti and a certain number of frames before and after the target frame Fi. excluded from the scope of As a result, it is possible to exclude a part where an instantaneous movement is detected from smoothing targets for a certain period of time before and after the movement.
  • the determining unit 704 determines the degree of smoothing to be applied to the target part based on the calculated feature amount.
  • the target part is, for example, the target part specified by the specifying unit 703 .
  • the target parts may be all parts included in the actor's skeleton (for example, the part groups G1 to G5).
  • the determination unit 704 may determine the degree of smoothing to be applied to the target part based on the average value of the angular velocities per certain section included in the calculated feature amount.
  • the certain interval can be arbitrarily set, and is, for example, a period of about several seconds before and after the target time ti.
  • the target time point ti is a time point that is used as a reference when specifying a certain interval, and can be set arbitrarily.
  • the target time ti may be set for each section length of a certain section so that the certain sections do not overlap each other.
  • the target time ti may be set such that certain intervals partially overlap each other.
  • the determining unit 704 refers to the angular velocity table 1100 at each point in time as shown in FIG. Calculate the average value of the angular velocity per The angular velocity is the angular velocity between parts (between part groups) including the target part.
  • ⁇ p,q (t) ave indicates the average value of the angular velocities at the target time ti.
  • w indicates the window size.
  • ⁇ p,q (t20) ave is the average of the angular velocities ⁇ p,q (t10) to ⁇ p, q (t30) between time points t10 to t30 between the part groups Gp and Gq.
  • determination unit 704 determines the degree of smoothing applied to a portion of the skeleton represented by skeleton data PD for which the calculated average angular velocity value is equal to or lower than the second threshold value Th2. It may also be determined to be stronger than the portion larger than the threshold value Th2 of 2.
  • the degree of smoothing is represented by any value of "0", “1", or “2".
  • the degree of smoothing increases as the value increases. For example, a degree of "0” indicates no smoothing. A degree of "1” indicates weak smoothing. A degree of "2" indicates strong smoothing.
  • the determining unit 704 determines the degree of smoothing to be applied to parts other than the specified target part (the point ti and the part at which smoothing is not performed) of the skeleton of the actor to be "0". Further, the determining unit 704 determines the degree of smoothing to be applied to a portion (the portion at the target time ti) having an average angular velocity larger than the second threshold value Th2 among the specified target portions to be “1”. . In addition, the determination unit 704 determines the degree of smoothing to be applied to a portion having an average angular velocity equal to or smaller than the second threshold value Th2 (the portion at the target time ti) among the identified target portions to be “2”. .
  • the determination unit 704 determines that the average value of the angular velocities of all the parts included in the skeleton of the actor is the first
  • the degree of smoothing to be applied to a portion larger than the threshold value Th2 of 2 may be determined to be "1". Further, the determining unit 704 may determine the degree of smoothing to be applied to a portion having an average angular velocity equal to or smaller than the second threshold value Th2 among all the portions to be “2”.
  • the determining unit 704 may specify coefficients of a smoothing filter to be applied to the skeletal part represented by the skeletal data PD, based on the calculated feature amount.
  • a smoothing filter is a filter for smoothing by an averaging process for removing noise.
  • the smoothing filter is, for example, a Savitzky-Golay smoothing filter (SG filter).
  • the SG filter has the characteristic of smoothing motion while leaving high frequency components.
  • the coefficient of the smoothing filter is the coefficient that is applied to the value of the target part of each frame when performing the smoothing process on the skeleton data PD.
  • the value of the target part is the position (x, y, z) of each joint point included in the target part.
  • the coefficient of the smoothing filter is specified, for example, according to the degree of smoothing determined based on the feature quantity (average value of angular velocities).
  • FIG. 13 is an explanatory diagram (Part 1) showing an example of a smoothing filter.
  • the numbers "-4 to 4" are numbers for specifying the frames to be smoothed with reference to the frame number "0".
  • the number "0" indicates the frame at the target time ti.
  • the number “-1” indicates the frame immediately before the target time ti.
  • the number “-2” indicates the frame two frames before the target time ti.
  • the number “-3” indicates the frame three frames before the target time ti.
  • the number "-4" indicates the frame four frames before the target time ti.
  • the number “1” indicates the frame after the target time ti.
  • the number “2” indicates the frame two after the target time ti.
  • the number “3” indicates the frame three after the target time ti.
  • the number "4" indicates the frame four frames after the target time ti.
  • the coefficient indicates the coefficient by which the value of the target part of the frame corresponding to each number is multiplied.
  • the coefficient "0.417" of the number "0" indicates the coefficient to be multiplied by the value of the target part of the frame (target frame Fi) corresponding to the number "0".
  • each component x, y, z of the position of each joint point included in the target part is multiplied by a coefficient "0.417".
  • the coefficient "0.034" of the number "-4" indicates the coefficient to be multiplied by the value of the target part of the frame (target frame F(i-4)) corresponding to the number "-4".
  • each component x, y, z of the position of each joint point included in the target part is multiplied by a coefficient "0.034".
  • FIG. 14 is an explanatory diagram (part 2) showing an example of a smoothing filter.
  • the number "-10 to 10" is a number for specifying the frame to be smoothed with reference to the frame numbered "0".
  • the number “0” indicates the frame at the target time ti.
  • the number “-1” indicates the frame immediately before the target time ti.
  • the number “-10” indicates the frame ten years before the target time ti.
  • the number “1” indicates the frame one after the target time ti.
  • the number “10” indicates the frame ten years after the target time ti.
  • the coefficient indicates the coefficient by which the value of the target part of the frame corresponding to each number is multiplied.
  • the coefficient "0.169" of the number "0" indicates the coefficient to be multiplied by the value of the target part of the frame (target frame Fi) corresponding to the number "0".
  • each component x, y, z of the position of each joint point included in the target part is multiplied by a coefficient "0.169".
  • the coefficient "0.044" of the number "-10” indicates the coefficient to be multiplied by the value of the target part of the frame (target frame F(i-10)) corresponding to the number "-10".
  • each component x, y, z of the position of each joint point included in the target part is multiplied by a coefficient "0.044".
  • the determining unit 704 sets the coefficient of the smoothing filter applied to the target part to to identify the coefficients of the smoothing filter 1300 shown in FIG. Further, when the degree of smoothing applied to the target part is "2" when executing the smoothing process on the skeleton data PD, the determining unit 704 selects the coefficients of the smoothing filter applied to the target part as shown in FIG. Identify the coefficients of the smoothing filter 1400 shown.
  • the execution control unit 705 performs smoothing processing on the skeleton data PD.
  • the execution control unit 705 for example, smoothes the specified target part of the skeleton represented by the skeleton data PD.
  • a predetermined smoothing filter eg, smoothing filter 1300 may be used for smoothing the target region.
  • the execution control unit 705 may perform smoothing to a determined degree on the target part of the skeleton represented by the skeleton data PD. . Specifically, for example, the execution control unit 705 performs smoothing on the target part using the smoothing filter coefficient specified according to the degree of smoothing.
  • the execution control unit 705 uses the specified smoothing filter 1300 when the degree of smoothing applied to the target part is "1". is used to smooth the target region.
  • the execution control unit 705 may not perform smoothing on the target part at that time.
  • the execution control unit 705 uses the specified smoothing filter 1400 to smooth the target part if the degree of smoothing to be applied to the target part is "2". smoothing. However, there are cases where the time point excluded from the smoothing target is included in the range in which the smoothing filter 1400 is applied to the target part. In this case, the execution control unit 705 may not perform smoothing on the target part at that time.
  • the output unit 706 outputs the smoothed skeleton data PD.
  • the output format of the output unit 706 includes, for example, storage in a storage device such as the memory 402 and the disk 404, transmission to another computer via the communication I/F 405, display on a display (not shown), and output to a printer (not shown). print output, etc.
  • the output unit 706 may transmit the smoothed filtered skeleton data PD to the client device 302 . This allows the user to obtain the smoothed 3D joint coordinates of, for example, an athlete in gymnastics.
  • skeleton estimation device 301 the functional units (acquisition unit 701 to output unit 706) of skeleton estimation device 301 described above are realized by a plurality of computers (for example, skeleton estimation device 301 and client device 302) in information processing system 300. good too.
  • the skeleton estimation apparatus 301 may not have the determination section 704 among the acquisition section 701 to the output section 706 .
  • the execution control unit 705 uses, for example, a predetermined smoothing filter (for example, the smoothing filter 1300) to smooth the specified target part of the skeleton represented by the skeleton data PD.
  • the skeleton estimation device 301 may not have the specifying unit 703 among the acquisition unit 701 to the output unit 706.
  • the execution control unit 705 smoothes each part (target part) included in the skeleton represented by the skeleton data PD to the degree determined for each part.
  • FIG. 15 is a flowchart showing an example of the skeleton estimation processing procedure of the skeleton estimation device 301.
  • the skeleton estimation device 301 acquires skeleton data PD representing the skeleton of the actor (object) in time series (step S1501).
  • the skeleton estimation apparatus 301 then executes edge data calculation processing based on the acquired skeleton data PD (step S1502).
  • a specific processing procedure of the edge data calculation processing will be described later with reference to FIG. 16 .
  • the skeleton estimation device 301 executes feature amount calculation processing based on the calculated edge data (step S1503). A specific processing procedure of the feature amount calculation processing will be described later with reference to FIGS. 17 to 19. FIG. Then, the skeleton estimation apparatus 301 executes smoothing degree determination processing based on the calculated feature amount (step S1504). A specific processing procedure of the smoothing degree determination processing will be described later with reference to FIGS. 20 and 21. FIG.
  • the skeleton estimation device 301 executes smoothing processing on the skeleton data PD (step S1505).
  • the skeleton estimation apparatus 301 smoothes each part of the actor (each part group G1 to G5) according to the degree determined in step S1504.
  • the skeleton estimation device 301 outputs the smoothed skeleton data PD (step S1506), and ends the series of processing according to this flowchart.
  • smoothed 3D joint coordinates of a performer in gymnastics can be output.
  • the body part groups G1 to G5 shown in FIG. 8 are taken as examples of body parts included in the skeleton of the actor.
  • FIG. 16 is a flowchart showing an example of a specific processing procedure for edge data calculation processing.
  • the skeleton estimation device 301 selects an unselected part group that has not been selected from the part groups G1 to G5 (step S1603). Skeleton estimation apparatus 301 then calculates the orientation of the selected part group based on the selected frame Fi (step S1604).
  • the skeleton estimation device 301 determines whether there is an unselected part group that has not been selected from the part groups G1 to G5 (step S1605). Here, if there is an unselected part group (step S1605: Yes), skeleton estimation apparatus 301 returns to step S1603.
  • step S1605 if there is no unselected part group (step S1605: No), skeleton estimation apparatus 301 increments "i" (step S1606) and determines whether "i" is greater than "n”. (step S1607). Here, if "i" is equal to or less than "n” (step S1607: No), the skeleton estimation device 301 returns to step S1602.
  • step S1607 Yes
  • the skeleton estimation device 301 returns to the step that called the edge data calculation process.
  • each part (part groups G1 to G5) included in the actor's skeleton can be calculated.
  • the calculated orientation of each part (part groups G1 to G5) is stored in an edge data table 900 as shown in FIG. 9, for example.
  • FIGS. 17 to 19 are flowcharts showing an example of a specific processing procedure of the feature amount calculation process.
  • skeleton estimation apparatus 301 selects a combination of unselected part groups among part groups G1 to G5 for time ti (step S1702).
  • the skeleton estimation device 301 then refers to the edge data table 900 at time ti to calculate the relative angle between the selected part groups (step S1703). Next, skeleton estimation apparatus 301 determines whether there is a combination of unselected part groups among part groups G1 to G5 at time ti (step S1704).
  • step S1704 if there is a combination of unselected part groups (step S1704: Yes), the skeleton estimation device 301 returns to step S1702. On the other hand, if there is no combination of unselected part groups (step S1704: No), skeleton estimation apparatus 301 increments "i" (step S1705).
  • the skeleton estimation device 301 determines whether "i" is greater than “n” (step S1706). Here, if “i” is equal to or less than "n” (step S1706: No), the skeleton estimation device 301 returns to step S1702.
  • step S1706 Yes
  • the skeleton estimation device 301 proceeds to step S1801 shown in FIG.
  • the calculated relative angles between the part groups are stored, for example, in a relative angle table 1000 as shown in FIG.
  • the skeleton estimation device 301 then refers to the relative angle table 1000 at time ti,t(i-1) to calculate the angular velocities of the selected part groups (step S1803). However, if the information for calculating the angular velocity is not complete, the skeleton estimation apparatus 301 skips step S1803.
  • skeleton estimation device 301 determines whether there is a combination of unselected part groups among part groups G1 to G5 at time ti (step S1804). Here, if there is a combination of unselected part groups (step S1804: Yes), skeleton estimation apparatus 301 returns to step S1802.
  • step S1804 determines whether or not "i" is greater than "n” (step S1806).
  • step S1806: No if “i" is equal to or less than “n” (step S1806: No), the skeleton estimation device 301 returns to step S1802. On the other hand, if "i" is greater than "n” (step S1806: Yes), the skeleton estimation apparatus 301 proceeds to step S1901 shown in FIG. Note that the calculated angular velocities between the part groups are stored, for example, in an angular velocity table 1100 as shown in FIG.
  • skeleton estimation apparatus 301 selects a combination of unselected part groups among part groups G1 to G5 for time ti (step S1902).
  • the skeleton estimation device 301 then refers to the angular velocity table 1100 at time ti,t(i-1) to calculate the angular accelerations between the selected part groups (step S1903). However, if the information for calculating the angular acceleration is not complete, the skeleton estimation device 301 skips step S1903.
  • skeleton estimation device 301 determines whether there is a combination of unselected part groups among part groups G1 to G5 at time ti (step S1904). Here, if there is a combination of unselected part groups (step S1904: Yes), the skeleton estimation apparatus 301 returns to step S1902.
  • step S1904 determines whether or not "i" is greater than "n” (step S1906).
  • step S1906: No if “i" is equal to or less than “n” (step S1906: No), the skeleton estimation device 301 returns to step S1902. On the other hand, if "i" is greater than "n” (step S1906: YES), the skeleton estimation device 301 returns to the step that invoked the feature quantity calculation process.
  • the calculated angular accelerations between the part groups are stored, for example, in an angular acceleration table 1200 as shown in FIG.
  • FIGS. 20 and 21 are flowcharts showing an example of a specific processing procedure of the smoothing degree determination process.
  • skeleton estimation apparatus 301 selects a combination of unselected part groups among part groups G1 to G5 for time ti (step S2002).
  • the skeleton estimation device 301 then refers to the angular acceleration table 1200 at time ti to determine whether or not the angular acceleration between the selected part groups is greater than or equal to the first threshold value Th1 (step S2003). Here, if the angular acceleration is less than the first threshold value Th1 (step S2003: No), the skeleton estimation device 301 proceeds to step S2006.
  • step S2003 if the angular acceleration is greater than or equal to the first threshold value Th1 (step S2003: Yes), the skeleton estimation device 301 identifies a part group included in the combination of the selected part groups (step S2004).
  • the process of step S2004 corresponds to the process of identifying the parts of the skeleton represented by the skeleton data PD that are not to be smoothed.
  • the skeleton estimation apparatus 301 sets the degree of smoothing to "0" for the target frame Fi at time ti and a certain number of frames before and after the target frame Fi for the identified part group (step S2005). In step S2005, if the degree of smoothing for a certain frame has already been determined for the part group, skeleton estimation apparatus 301 does not change the degree of smoothing for that frame.
  • skeleton estimation device 301 determines whether or not there is a combination of unselected part groups among part groups G1 to G5 at time ti (step S2006). Here, if there is a combination of unselected part groups (step S2006: Yes), skeleton estimation apparatus 301 returns to step S2002.
  • step S2006 determines whether or not "i" is greater than "n” (step S2008).
  • step S2008: No if “i” is equal to or less than “n” (step S2008: No), the skeleton estimation device 301 returns to step S2002. On the other hand, if “i” is greater than “n” (step S2008: Yes), the skeleton estimation apparatus 301 proceeds to step S2101 shown in FIG.
  • the skeleton estimation device 301 first selects an unselected target time point ti from a plurality of preset target time points (step S2101). Next, skeleton estimation apparatus 301 selects a combination of unselected part groups among part groups G1 to G5 for target time ti (step S2102).
  • the skeleton estimation device 301 refers to the angular velocity table 1100 for a certain interval based on the target time ti, and calculates the average value of the angular velocities of the selected part groups for the certain interval (step S2103).
  • the skeleton estimation apparatus 301 determines whether or not the calculated average value of the angular velocities is equal to or less than the second threshold Th2 (step S2104).
  • step S2104 skeleton estimation apparatus 301 identifies a part group included in a combination of the selected part groups (step S2105).
  • the process of step S2105 corresponds to the process of specifying the target part to be smoothed in the skeleton represented by the skeleton data PD.
  • the skeleton estimation apparatus 301 determines the degree of smoothing for the identified part group in the target frame Fi at the target time ti to be "2" (step S2106), and proceeds to step S2109. In step S2106, if the degree of smoothing for the target frame Fi has already been determined for the part group, the skeleton estimation device 301 does not change the degree of smoothing for the target frame Fi.
  • step S2104 if the average value of the angular velocities is greater than the second threshold value Th2 (step S2104: No), skeleton estimation apparatus 301 identifies a part group included in the combination of the selected part groups (step S2107).
  • the process of step S2107 corresponds to the process of specifying the target part to be smoothed in the skeleton represented by the skeleton data PD.
  • the skeleton estimation device 301 determines the degree of smoothing in the target frame Fi at the target time ti to "1" for the identified part group (step S2108). In step S2108, if the degree of smoothing for the target frame Fi has already been determined for the part group, the skeleton estimation device 301 does not change the degree of smoothing for the target frame Fi.
  • skeleton estimation device 301 determines whether or not there is a combination of unselected part groups among part groups G1 to G5 at target time ti (step S2109). Here, if there is a combination of unselected part groups (step S2109: Yes), skeleton estimation apparatus 301 returns to step S2102.
  • skeleton estimation apparatus 301 determines whether or not there is an unselected target time point among a plurality of preset target time points (step S2110).
  • step S2110: Yes if there is an unselected target time point (step S2110: Yes), the skeleton estimation device 301 returns to step S2101. On the other hand, if there is no unselected target time point (step S2110: No), the skeleton estimation apparatus 301 returns to the step that called the smoothing degree determination process.
  • FIG. 22 is an explanatory diagram showing an example of the result of estimating the skeleton of a performer (balance beam).
  • estimation results 2201 and 2202 are estimation results of the skeleton of a gymnastic performer performing a hoop jump on the balance beam.
  • the referee determines that the technique is "successful”.
  • the estimation result 2201 (corresponding to the solid line) represents the skeleton after smoothing processing by the skeleton estimation device 301, and is the estimation result when the right leg portion of the actor's skeleton is not smoothed.
  • An estimation result 2202 (corresponding to a dotted line) is an estimation result when smoothing is performed on all parts of the actor's skeleton (NG example due to smoothing error).
  • the smoothing filter is not applied to the toe portion of the right leg, and the toe portion of the actual actor's right leg is accurately estimated. Therefore, if the technique recognition processing is performed on the estimation result 2201, the same result as the referee (success in jumping from the loop) can be obtained.
  • the smoothing filter is applied to the toe portion of the right leg, and the toe portion is slightly lowered compared to the actual actor's right leg. Therefore, when the technique recognition process is performed on the estimation result 2202, it is simply judged as a front-back split jump, and a result (skill failure) different from that of the referee is obtained.
  • the skeleton estimation device 301 it is possible to exclude a part in which an instantaneous movement is occurring from objects to be smoothed.
  • Figs. 23A and 23B are explanatory diagrams showing an example of the result of estimating the skeleton of the performer (the ring).
  • the estimation results 2311 to 2315 and 2321 to 2325 are the estimation results for each frame representing the skeleton of the gymnastics performer performing the horizontal support of the ring in chronological order.
  • Each estimation result 2311-2315 is an estimation result at the same point in time as each estimation result 2321-2325.
  • an estimation result 2311 and an estimation result 2321 are estimation results at the same point in time.
  • the estimation results 2311 to 2315 are estimation results when weak smoothing is performed on all parts of the actor's skeleton (NG example due to smoothing error).
  • Estimation results 2321 to 2325 represent the skeleton after smoothing processing by the skeleton estimation device 301, and are the estimation results when strong smoothing is performed on the still parts of the actor's skeleton.
  • FIG. 24 is an explanatory diagram showing changes over time in the z-coordinate of the tip of the left foot.
  • a graph 2401 corresponds to the estimation results 2311 to 2315 shown in FIG. 23, and shows the change over time of the z-coordinate of the actor's left foot when weak smoothing is applied.
  • a graph 2402 corresponds to the estimation results 2321 to 2325 shown in FIG. 23, and shows the change over time of the z-coordinate of the actor's left foot when strong smoothing is applied.
  • the horizontal axis indicates the passage of time.
  • the vertical axis indicates the z-coordinate.
  • the amount of movement of the performer is important.
  • noise is not properly removed, so the amount of movement for each frame exceeds the threshold defined by the technique recognition rule. Therefore, when technique recognition processing is performed on the estimation results 2311 to 2315, a result (still NG) different from that of the referee is obtained.
  • FIG. 25 is an explanatory diagram showing a specific example of the technique recognition result.
  • the technique recognition result 2500 indicates the technique recognition rate when technique recognition is performed on the ring ring skeleton data PD.
  • the technique recognition rate indicates the rate of obtaining the same result as the referee.
  • the technique recognition rate in this case is "89.5%”.
  • the skeleton data PD representing the skeleton of the actor (object) recognized based on the sensor data of the actor (object) in time series can be acquired. can be done. Then, according to the skeleton estimation device 301, based on the acquired skeleton data PD, a feature amount representing a time change in movement of each part of the actor's skeleton is calculated, and based on the calculated feature amount, the skeleton data PD is calculated. It is possible to specify the target part to be smoothed out of the skeleton represented by .
  • the parts of the skeleton include, for example, a plurality of joint points among joint point groups forming the actor's skeleton (eg, part groups G1 to G5).
  • the skeletal data PD is, for example, time-series data indicating temporal changes in the position of each joint point forming the skeletal structure of the actor in the three-dimensional space.
  • the skeleton estimation device 301 improves the accuracy of skeleton estimation by controlling the parts of the skeleton represented by the skeleton data PD to be smoothed according to the time change of the movement of each part of the actor's skeleton. can be achieved.
  • the skeleton estimation device 301 can capture fine movements of the actor with high accuracy by focusing on a part including a plurality of joint points in the group of joint points forming the skeleton of the actor.
  • the feature amount including the angular acceleration between parts is calculated based on the time change of the relative angle between the parts of the skeleton of the actor.
  • a part other than the part that is equal to or greater than the first threshold value Th1 can be specified as the target part.
  • the skeleton estimation device 301 can exclude parts in which instantaneous motion (high-frequency motion) occurs from objects to be smoothed. For example, when a gymnastic balance beam hoop jump or open leg jump is performed, regions including the toe joints that move vigorously can be excluded from smoothing targets.
  • a feature amount including angular velocities between parts based on the time change of the relative angle between the parts of the skeleton of the actor is calculated, and the average value of the angular velocities for a certain section included in the feature amount is calculated.
  • the degree of smoothing is applied to the target region.
  • the bone structure estimation apparatus 301 determines the degree of smoothing applied to a target portion of the skeleton represented by the bone structure data PD whose average angular velocity is equal to or less than the second threshold value Th2. Determine to a stronger degree than the larger target region.
  • the skeleton estimation device 301 can perform stronger smoothing on parts where stationary motion (low-frequency motion) occurs than on other parts. For example, strong smoothing can be applied to slowly changing parts when stationary techniques such as horizontal suspension of rings in gymnastics and cross suspension are performed. For example, when applying an SG filter, smoothing in a long-term frame has the characteristic that noise can be effectively removed. Therefore, when applying the SG filter, the skeleton estimation apparatus 301 can adjust the degree of smoothing by switching the window size.
  • the skeleton estimation device 301 when performing smoothing processing on the skeleton data PD, it is possible to perform smoothing on a specified target portion of the skeleton represented by the skeleton data PD.
  • the skeleton estimation device 301 reproduces the smooth movement of the actor through the smoothing process, and removes the smoothing at the fast-moving parts, thereby preventing the characteristic movements of the actor from being lost. can be prevented. For example, when a performance such as loop jump or open leg jump is performed, it is possible to avoid a situation in which the performance that should be recognized is not recognized by removing the smoothing of the parts including the joints of the toes. .
  • the skeleton estimation apparatus 301 when performing the smoothing process on the skeleton data PD, it is possible to perform the smoothing to the determined degree on the specified target portion of the skeleton represented by the skeleton data PD. can.
  • the skeleton estimation device 301 can effectively reduce noise by applying strong smoothing to parts that change slowly when reproducing the smooth movement of the actor through the smoothing process.
  • skeleton estimation device 301 it is possible to acquire sensor data including an image of an actor and generate skeleton data PD representing the skeleton of the actor recognized from the image included in the acquired sensor data. can.
  • the skeleton estimation device 301 can acquire the skeleton data PD representing the actor's skeleton from the image (multi-viewpoint image) of the actor captured by the camera terminal 303 or the like.
  • the skeleton estimation device 301 it is possible to obtain the skeleton data PD that chronologically represents the skeleton of the actor recognized based on the sensor data of the actor. Then, according to the skeleton estimation device 301, based on the acquired skeleton data PD, a feature amount representing a time change in movement of each part of the actor's skeleton is calculated, and based on the calculated feature amount, the skeleton data PD is calculated. It is possible to specify the coefficients of the smoothing filter applied to the skeletal region represented by .
  • the skeleton estimation device 301 can control the degree of smoothing applied to each part of the actor's skeleton by switching the coefficients of the SG filter according to the time change of the motion of each part of the actor's skeleton.
  • the skeleton estimation device 301 when estimating the actor's skeleton from an image (multi-viewpoint image) of the actor taken, smoothing is removed to follow the actor's fast movement, It is possible to accurately estimate the skeleton of the performer by effectively removing noise during static motion. As a result, it is possible to improve the accuracy of technique recognition in gymnastics and the like, and for example, it is possible to support referee scoring and realize automatic scoring by computer.
  • the information processing method described in the present embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or workstation.
  • the information processing program is recorded in a computer-readable recording medium such as a hard disk, flexible disk, CD-ROM, DVD, USB memory, etc., and is executed by being read from the recording medium by a computer.
  • the information processing program may be distributed via a network such as the Internet.
  • the information processing apparatus 101 can also be implemented by application-specific ICs such as standard cells and structured ASICs (Application Specific Integrated Circuits) and PLDs (Programmable Logic Devices) such as FPGAs. can be realized.
  • application-specific ICs such as standard cells and structured ASICs (Application Specific Integrated Circuits) and PLDs (Programmable Logic Devices) such as FPGAs.

Abstract

骨格推定装置は、演技者（対象物）の骨格を時系列に表す骨格データに基づいて、演技者の骨格の部位ごとの動きの時間変化を表す特徴量を算出する。骨格推定装置は、算出した特徴量に基づいて、骨格データが表す骨格のうち平滑化を行う対象部位を特定する。推定結果（２２０１，２２０２）は、体操競技の演技者が平均台の輪とびを演技中の骨格の推定結果である。推定結果（２２０１）は、骨格推定装置による平滑化処理後の骨格を表しており、演技者の骨格のうち右脚部分の平滑化が行われなかった場合の推定結果である。推定結果（２２０１）では、実際の演技者の右脚の足先部分が精度よく推定されている。一方、推定結果（２２０２）は、演技者の骨格の全部位に対して平滑化が行われた場合の推定結果である。推定結果（２２０２）では、右脚の足先部分に平滑化フィルタが適用されて、実際の演技者の右脚と比べて、足先部分が僅かに下がっている。

Description

情報処理プログラム、情報処理方法、および情報処理装置
　本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。
　従来、３次元の人の動きを認識するための技術がある。例えば、スポーツ、ヘルスケア、エンターテインメントなどの分野において、骨格推定のニーズが高まっている。また、ディープラーニングなどの技術の向上により、画像を用いた２Ｄ（Ｄｉｍｅｎｓｉｏｎ）／３Ｄ骨格認識の精度が向上しつつある。
　先行技術としては、例えば、見守り対象者の撮像画像である二次元画像より検出した見守り対象者の骨格の形状を示すスケルトントラッキング信号をもとに、見守り対象者の姿勢を特定するものがある。また、骨格モデルを用いることにより、人物の３次元姿勢を推定する技術がある。
特開２０２０－５２８６７号公報 国際公開第２０１２／０４６３９２号
　しかしながら、従来技術では、対象物（例えば、体操競技の演技者）を撮影した画像などのセンサデータから対象物の骨格を推定する際の精度が低下する場合がある。
　一つの側面では、本発明は、骨格推定の精度の向上を図ることを目的とする。
　１つの実施態様では、対象物についてのセンサデータに基づき認識された前記対象物の骨格を時系列に表す骨格データを取得し、取得した前記骨格データに基づいて、前記対象物の骨格の部位ごとの動きの時間変化を表す特徴量を算出し、算出した前記特徴量に基づいて、前記骨格データが表す骨格のうち平滑化を行う対象部位を特定する、情報処理プログラムが提供される。
　本発明の一側面によれば、骨格推定の精度の向上を図ることができるという効果を奏する。
図１は、実施の形態にかかる情報処理方法の一実施例を示す説明図である。 図２は、骨格認識処理の一例を示す説明図である。 図３は、情報処理システム３００のシステム構成例を示す説明図である。 図４は、骨格推定装置３０１のハードウェア構成例を示すブロック図である。 図５は、骨格を形成する関節点の一例を示す説明図である。 図６は、骨格データのデータ構造例を示す説明図である。 図７は、骨格推定装置３０１の機能的構成例を示すブロック図である。 図８は、骨格の部位の一例を示す説明図である。 図９は、エッジデータテーブル９００の記憶内容の一例を示す説明図である。 図１０は、相対角度テーブル１０００の記憶内容の一例を示す説明図である。 図１１は、角速度テーブル１１００の記憶内容の一例を示す説明図である。 図１２は、角加速度テーブル１２００の記憶内容の一例を示す説明図である。 図１３は、平滑化フィルタの一例を示す説明図（その１）である。 図１４は、平滑化フィルタの一例を示す説明図（その２）である。 図１５は、骨格推定装置３０１の骨格推定処理手順の一例を示すフローチャートである。 図１６は、エッジデータ算出処理の具体的処理手順の一例を示すフローチャートである。 図１７は、特徴量算出処理の具体的処理手順の一例を示すフローチャート（その１）である。 図１８は、特徴量算出処理の具体的処理手順の一例を示すフローチャート（その２）である。 図１９は、特徴量算出処理の具体的処理手順の一例を示すフローチャート（その３）である。 図２０は、平滑化度合決定処理の具体的処理手順の一例を示すフローチャート（その１）である。 図２１は、平滑化度合決定処理の具体的処理手順の一例を示すフローチャート（その２）である。 図２２は、演技者（平均台）の骨格の推定結果の一例を示す説明図である。 図２３Ａは、演技者（つり輪）の骨格の推定結果の一例を示す説明図（その１）である。 図２３Ｂは、演技者（つり輪）の骨格の推定結果の一例を示す説明図（その２）である。 図２４は、左足先のｚ座標の時間変化を示す説明図である。 図２５は、技認識結果の具体例を示す説明図である。
　以下に図面を参照して、本発明にかかる情報処理プログラム、情報処理方法、および情報処理装置の実施の形態を詳細に説明する。
（実施の形態）
　図１は、実施の形態にかかる情報処理方法の一実施例を示す説明図である。図１において、情報処理装置１０１は、対象物の骨格を表す骨格データのうち平滑化を行う対象部位を特定するコンピュータである。ここで、対象物は、例えば、骨格推定の対象となる人である。また、対象物は、ゴリラや猿などの人以外の動物であってもよいし、ロボットであってもよい。
　骨格推定とは、対象物についてのセンサデータをもとに骨格を認識することによって、対象物の骨格を推定する技術である。骨格は、対象物を支える骨組みとなるものであり、例えば、関節で結合した複数の骨によって形成される構造である。関節は、骨と骨とを連接させる可動性の結合部である。
　骨格推定は、例えば、スポーツ、ヘルスケア、エンターテインメントなどの分野においてニーズが高まっている。例えば、骨格推定の技術を用いて、体操競技の演技者についてのセンサデータから、演技中の演技者の骨格を推定することによって、骨格の推定結果をもとに技認識して、演技に対する採点を支援するシステムがある。
　ここで、図２を用いて、対象物のセンサデータをもとに、対象物の骨格を認識する骨格認識処理の一例について説明する。ここでは、対象物を「人」とし、センサデータを「対象物を撮影した画像」とする。
　図２は、骨格認識処理の一例を示す説明図である。図２において、骨格認識処理２００は、人検出処理２０１と、２Ｄｐｏｓｅ推定処理２０２と、３Ｄｐｏｓｅ推定処理２０３とを含む。人検出処理２０１は、複数の画像２１０から人の領域を検出する。複数の画像２１０は、多視点から人（対象物）を撮影した画像（多視点画像）である。
　２Ｄｐｏｓｅ推定処理２０２は、人検出処理２０１によって検出された人の領域から、関節の位置を特定する。２Ｄｐｏｓｅ推定処理２０２では、２Ｄヒートマップ２２０が生成される。２Ｄヒートマップ２２０は、例えば、複数の画像２１０の各画像上のピクセル単位に、その箇所が関節である確率を表したものである。
　３Ｄｐｏｓｅ推定処理２０３は、２Ｄヒートマップ２２０とカメラ配置情報２３０とを統合して、３次元空間上での人の関節の位置（座標）を特定する。カメラ配置情報２３０は、複数の画像２１０を撮影した各カメラの配置位置を示す。３Ｄｐｏｓｅ推定処理２０３では、骨格データ２４０が生成される。
　骨格データ２４０は、人の骨格（骨格の形状）を表す情報であり、骨格を形成する関節の３次元空間上での位置を示す。なお、骨格認識処理２００では、例えば、人を撮影した時系列の画像に対して処理が行われ、各関節の３次元空間上での位置の時間変化を示す骨格データ２４０（時系列データ）が生成される。具体的には、例えば、骨格データ２４０は、各時点における各関節の３次元空間上での位置を示すフレームの集合である。
　ここで、フレームごとの骨格推定では、ノイズによる誤差が発生することがある。このため、スムーズな動きを推定するために、骨格推定の後段で平滑化処理を行う場合がある。例えば、体操選手の動きの周波数特性は、定量的に定義することが難しい。このような場合、Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙ平滑化フィルタと呼ばれるフィルタが適用されることがある。
　Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙ平滑化フィルタは、ノイズを含むがノイズのない部分の周波数範囲が広い信号の平滑化に使用されるフィルタの一例である。Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙ平滑化フィルタは、時系列データを一定枠のウインドウ内の多項式で近似し、多項式出力を平滑化後の値とする。なお、Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙ平滑化フィルタについては、例えば、下記非特許文献を参照することができる。
　Ｍｅｎｄｅｚ，　Ｃ．Ｇ．Ｍ．，　Ｍｅｎｄｅｚ，　Ｓ．Ｈ．，　Ｓｏｌｉｓ，　Ａ．Ｌ．，　Ｆｉｇｕｅｒｏａ，　Ｈ．Ｖ．Ｒ．，　Ｈｅｒｎａｎｄｅｚ，　Ａ．Ｍ．：　Ｔｈｅ　ｅｆｆｅｃｔｓ　ｏｆ　ｕｓｉｎｇ　ａ　ｎｏｉｓｅ　ｆｉｌｔｅｒ　ａｎｄ　ｆｅａｔｕｒｅ　ｓｅｌｅｃｔｉｏｎ　ｉｎ　ａｃｔｉｏｎ　ｒｅｃｏｇｎｉｔｉｏｎ：　ａｎ　ｅｍｐｉｒｉｃａｌ　ｓｔｕｄｙ．　Ｉｎ：　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｍｅｃｈａｔｒｏｎｉｃｓ，　Ｅｌｅｃｔｒｏｎｉｃｓ　ａｎｄ　Ａｕｔｏｍｏｔｉｖｅ　Ｅｎｇｉｎｅｅｒｉｎｇ　（ＩＣＭＥＡＥ），ｐｐ．４３－４８　（２０１７）
　しかし、骨格のノイズは、人の動きによって影響を受ける。このため、平滑化フィルタの特性は、人の動きによって可変にすることが望ましい。例えば、人の動きがゆっくりの場合、長期間のフレームでの平滑化によりノイズをできる限り落とすことが望ましい。体操競技のつり輪種目を例に挙げると、静止技にノイズが入ると、得点にかかわる静止判定が正常にできない可能性がある。
　また、人の動きが速い場合、動きの速い箇所の平滑化は行わないほうがよいことがある。例えば、体操競技の平均台種目での輪とびや開脚とびは、開脚角度が重要となる。このため、例えば、足先の関節での平滑化を外さないと、平滑化前より角度が少なく出て採点時に選手に不利になる可能性がある。
　このように、人（対象物）の骨格データ全体に対して一様に平滑化処理を実施すると、本来はあらわれるべき動きが検出されず、例えば、本来認識されるべき演技が認識されない場合がある。一方、平滑化処理を実施しなければ、ノイズにより骨格推定の精度が低下し、例えば、静止状態を精度よく判定できない場合がある。
　なお、演技者の骨格全体を表すエッジデータをフレーム間で比較して得られるブレ量をもとに、ルールベース（エッジデータの変化のしきい値）で静止判定を行うことが考えられる。しかし、単発フレームごと、あるいは、短いフレーム間の判定のため、ノイズに弱く、静止判定を適切に行うことが難しい場合がある。
　また、同じ静止技でも、許容できるブレ量が異なる場合がある。例えば、つり輪種目の開脚水平支持と十字懸垂とでは、十字懸垂のほうが、ブレ量が少なくなる。このため、十字懸垂の基準に合わせると、開脚水平支持の静止判定を適切に行うことができず、正常に技認識判定などを行うことができない。
　また、全身のエッジデータに対して、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）モデルを用いて、静止状態と非静止状態とをラベル学習し、平滑化適用箇所であるかを判定することが考えられる。しかし、この手法では、全身のエッジデータにラベリングされるため、人の骨格の中から、平滑化をかけるべき箇所や平滑化を外すべき箇所を判別することができない。
　そこで、本実施の形態では、対象物の骨格の部位ごとの動きの時間変化に応じて、骨格データが表す骨格のうち平滑化をかける部位を制御することで、骨格推定の精度の向上を図る情報処理方法について説明する。以下、情報処理装置１０１の処理例について説明する。
　（１）情報処理装置１０１は、対象物についてのセンサデータに基づき認識された対象物の骨格を時系列に表す骨格データを取得する。ここで、骨格データは、例えば、対象物の骨格を形成する各関節点の３次元空間上での位置の時間変化を示す時系列データである。関節点は、例えば、関節、頭部などを示す。
　センサデータは、例えば、対象物を撮影した画像を含む。骨格データは、例えば、図２に示したような骨格認識処理２００により生成される。また、センサデータは、３Ｄモーションセンサの情報を含むものであってもよい。３Ｄモーションセンサは、例えば、対象物の関節、頭部などに装着され、装着箇所の位置を検知可能である。
　なお、骨格データは、例えば、情報処理装置１０１において生成されてもよく、また、情報処理装置１０１とは異なる他のコンピュータにおいて生成されてもよい。骨格データの具体例については、図６を用いて後述する。
　図１の例では、演技者１０２の骨格を表す骨格データ１１０が取得された場合を想定する。演技者１０２は、体操競技の選手である。骨格データ１１０は、演技者１０２を撮影した複数の画像Ｉに基づき認識された、演技者１０２の骨格を表す。骨格データ１１０は、各時点における演技者１０２の各関節点の３次元空間上での位置を示すフレームの集合である。
　例えば、フレーム１１０－１は、ある時点における演技者１０２の各関節点（図１中、白丸）の３次元空間上での位置を示す。例えば、白丸１１０－１－１は、右足先の関節点を示す。白丸１１０－１－２は、右骨盤の関節点を示す。白丸１１０－１－３は、左足先の関節点を示す。白丸１１０－１－４は、左骨盤の関節点を示す。
　（２）情報処理装置１０１は、取得した骨格データに基づいて、対象物の骨格の部位ごとの動きの時間変化を表す特徴量を算出する。部位は、例えば、頭部、右腕、左腕、右脚、左脚などである。対象物の骨格のうちのどの部位に着目するかは、任意に設定可能である。例えば、演技者１０２の右脚は、右脚先から右骨盤までの部分に相当する。また、演技者１０２の左脚は、左脚先から左骨盤までの部分に相当する。
　特徴量は、対象物の骨格に含まれる各部位の動きを捉えるための情報である。特徴量は、例えば、対象物の骨格の部位間の相対角度の時間変化に基づく部位間の角加速度を含む。部位間の角加速度は、部位間の角速度の単位時間あたりの変化率を表しており、各部位の瞬間的な動きを捉えることができる指標値であるといえる。
　図１の例では、演技者１０２の骨格の動きの時間変化を表す特徴量１２０が算出された場合を想定する。特徴量１２０は、演技者１０２の部位間の相対角度の時間変化に基づく角加速度を含む。骨格の部位の組み合わせとして、左脚１３１と右脚１３２とを例に挙げると、特徴量１２０は、例えば、左脚１３１と右脚１３２との間の相対角度の時間変化に基づく角加速度を含む。左脚１３１と右脚１３２との間の角加速度は、各脚１３１，１３２の瞬間的な動きを捉えることができる指標値であるといえる。
　（３）情報処理装置１０１は、算出した特徴量に基づいて、骨格データが表す骨格のうち平滑化を行う対象部位を特定する。換言すれば、情報処理装置１０１は、骨格データが表す骨格のうち、平滑化を行う対象から除外する部位を特定する。具体的には、例えば、情報処理装置１０１は、骨格データが表す骨格のうち、角加速度が第１のしきい値以上となる部位以外の部位を、平滑化を行う対象部位として特定することにしてもよい。
　第１のしきい値は、任意に設定可能である。例えば、第１のしきい値は、部位間の角加速度が第１のしきい値以上となると、その部位の瞬発的な動きであると判断できる値に設定される。瞬発的な動きと判定された部位は、例えば、本来認識されるべき演技が認識されずに、選手に不利とならないように、平滑化を外すべき箇所であるといえる。このため、情報処理装置１０１は、角加速度が第１のしきい値以上となる部位を、平滑化を行う対象から除外する。
　図１の例では、特徴量１２０に含まれる演技者１０２の部位間の角加速度のうち、演技者１０２の左脚１３１と右脚１３２との間の角加速度のみが第１のしきい値以上となる場合を想定する。この場合、情報処理装置１０１は、例えば、骨格データ１１０が表す骨格のうち、左脚１３１と右脚１３２とは異なる部位を対象部位として特定する。
　このように、情報処理装置１０１によれば、対象物の骨格の部位ごとの動きの時間変化に応じて、骨格データが表す骨格のうち平滑化をかける部位を制御することで、骨格推定の精度の向上を図ることができる。例えば、瞬発的な動き（高周波動き）が生じている部位を、平滑化を行う対象から除外することで、体操競技などにおいて、本来認識されるべき演技が認識されずに、選手に不利となるといった事態を防ぐことができる。
　図１の例では、演技者１０２の左脚１３１と右脚１３２との間の角加速度が第１のしきい値以上となっており、各脚１３１，１３２の瞬発的な動きが生じているといえる。このため、情報処理装置１０１は、演技者１０２の骨格のうち、左脚１３１と右脚１３２を平滑化を行う対象から除外し、それ以外の部位を対象部位とする。具体的には、例えば、情報処理装置１０１は、骨格データ１１０に対する平滑化処理を実施する際に、左脚１３１と右脚１３２について、フレーム１１０－１の前後一定フレームの期間にわたって、平滑化を行う対象から除外する。
（情報処理システム３００のシステム構成例）
　つぎに、図１に示した情報処理装置１０１を含む情報処理システム３００のシステム構成例について説明する。ここでは、図１に示した情報処理装置１０１を、情報処理システム３００内の骨格推定装置３０１に適用した場合を例に挙げて説明する。情報処理システム３００は、例えば、体操やアーティスティックスイミングなどの競技の採点を支援するシステムに適用される。
　以下の説明では、骨格推定の対象物として「演技者」を例に挙げて説明する。
　図３は、情報処理システム３００のシステム構成例を示す説明図である。図３において、情報処理システム３００は、骨格推定装置３０１と、クライアント装置３０２と、複数のカメラ端末３０３と、を含む。情報処理システム３００において、骨格推定装置３０１、クライアント装置３０２およびカメラ端末３０３は、有線または無線のネットワーク３１０を介して接続される。ネットワーク３１０は、例えば、インターネット、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などである。
　ここで、骨格推定装置３０１は、演技者の骨格を推定するコンピュータである。演技者は、例えば、体操競技の演技者である。骨格推定装置３０１は、例えば、サーバである。
　クライアント装置３０２は、ユーザが使用するコンピュータである。ユーザは、例えば、対象競技の採点を行う審判員や、審判員による採点を支援する者などである。クライアント装置３０２は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、タブレットＰＣなどである。
　カメラ端末３０３は、画像（静止画または動画）を撮影して画像データを出力する撮像装置である。複数のカメラ端末３０３は、例えば、競技場内の異なる位置に設置され、演技中の演技者を多視点から撮影可能である。
　なお、ここでは骨格推定装置３０１とクライアント装置３０２とを別体に設けることにしたが、これに限らない。例えば、骨格推定装置３０１は、クライアント装置３０２により実現されることにしてもよい。また、情報処理システム３００には、複数のクライアント装置３０２が含まれていてもよい。
（骨格推定装置３０１のハードウェア構成例）
　図４は、骨格推定装置３０１のハードウェア構成例を示すブロック図である。図４において、骨格推定装置３０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）４０１と、メモリ４０２と、ディスクドライブ４０３と、ディスク４０４と、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）４０５と、可搬型記録媒体Ｉ／Ｆ４０６と、可搬型記録媒体４０７と、を有する。また、各構成部は、バス４００によってそれぞれ接続される。
　ここで、ＣＰＵ４０１は、骨格推定装置３０１の全体の制御を司る。ＣＰＵ４０１は、複数のコアを有していてもよい。メモリ４０２は、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭがＯＳのプログラムを記憶し、ＲＯＭがアプリケーションプログラムを記憶し、ＲＡＭがＣＰＵ４０１のワークエリアとして使用される。メモリ４０２に記憶されるプログラムは、ＣＰＵ４０１にロードされることで、コーディングされている処理をＣＰＵ４０１に実行させる。
　ディスクドライブ４０３は、ＣＰＵ４０１の制御に従ってディスク４０４に対するデータのリード／ライトを制御する。ディスク４０４は、ディスクドライブ４０３の制御で書き込まれたデータを記憶する。ディスク４０４としては、例えば、磁気ディスク、光ディスクなどが挙げられる。
　通信Ｉ／Ｆ４０５は、通信回線を通じてネットワーク３１０に接続され、ネットワーク３１０を介して外部のコンピュータ（例えば、図３に示したクライアント装置３０２、カメラ端末３０３）に接続される。そして、通信Ｉ／Ｆ４０５は、ネットワーク３１０と装置内部とのインターフェースを司り、外部のコンピュータからのデータの入出力を制御する。通信Ｉ／Ｆ４０５には、例えば、モデムやＬＡＮアダプタなどを採用することができる。
　可搬型記録媒体Ｉ／Ｆ４０６は、ＣＰＵ４０１の制御に従って可搬型記録媒体４０７に対するデータのリード／ライトを制御する。可搬型記録媒体４０７は、可搬型記録媒体Ｉ／Ｆ４０６の制御で書き込まれたデータを記憶する。可搬型記録媒体４０７としては、例えば、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）－ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリなどが挙げられる。
　なお、骨格推定装置３０１は、上述した構成部のほかに、例えば、入力装置、ディスプレイなどを有することにしてもよい。また、図３に示したクライアント装置３０２、カメラ端末３０３についても、骨格推定装置３０１と同様のハードウェア構成により実現することができる。ただし、クライアント装置３０２は、上述した構成部のほかに、例えば、入力装置、ディスプレイなどを有する。また、カメラ端末３０３は、上述した構成部のほかに、例えば、カメラ、入力装置、ディスプレイなどを有する。
（演技者の骨格を形成する関節点）
　つぎに、演技者（対象物）の骨格を形成する関節点について説明する。
　図５は、骨格を形成する関節点の一例を示す説明図である。図５において、骨格５００は、演技者の骨格を表しており、複数の間接点とリンクとを含む。関節点は、関節、頭部などのキーポイントである。リンクは、関節点間を結ぶ接続である。図５中、関節点は、実線丸印または点線丸印によって表現されている。リンクは、実線によって表現されている。
　以下の説明では、複数の関節点として、図５中の実線丸印で示す１８個の関節点を例に挙げて説明する。
　実線丸印の中の数字は、関節点を識別する関節ＩＤである。関節ＩＤ「０」の実線丸印は、骨盤（腰）中央を示す。関節ＩＤ「１」の実線丸印は、背骨を示す。関節ＩＤ「２」の実線丸印は、肩中央を示す。関節ＩＤ「３」の実線丸印は、頭を示す。関節ＩＤ「４」の実線丸印は、左肩を示す。関節ＩＤ「５」の実線丸印は、左肘を示す。関節ＩＤ「６」の実線丸印は、左手首を示す。関節ＩＤ「７」の実線丸印は、右肩を示す。関節ＩＤ「８」の実線丸印は、右肘を示す。
　関節ＩＤ「９」の実線丸印は、右手首を示す。関節ＩＤ「１０」の実線丸印は、左骨盤を示す。関節ＩＤ「１１」の実線丸印は、左膝を示す。関節ＩＤ「１２」の実線丸印は、左足首を示す。関節ＩＤ「１３」の実線丸印は、左足先を示す。関節ＩＤ「１４」の実線丸印は、右骨盤を示す。関節ＩＤ「１５」の実線丸印は、右膝を示す。関節ＩＤ「１６」の実線丸印は、右足首を示す。関節ＩＤ「１７」の実線丸印は、右足先を示す。
　なお、点線丸印５１１は、首を示す。点線丸印５１２は、左手を示す。点線丸印５１３は、左親指を示す。点線丸印５１４は、左手先を示す。点線丸印５１５は、右手を示す。点線丸印５１６は、右親指を示す。点線丸印５１７は、右手先を示す。
（骨格データのデータ構造例）
　つぎに、骨格データのデータ構造例について説明する。ここでは、図３に示したカメラ端末３０３によって演技者（対象物）を撮影した画像に基づき生成される骨格データを例に挙げて説明する。
　図６は、骨格データのデータ構造例を示す説明図である。図６において、骨格データＰＤは、演技者（対象物）の骨格を時系列に表す情報であり、フレームＦ１～Ｆｎを含む（ｎは、２以上の自然数）。フレームＦ１～Ｆｎは、各時点ｔ１～ｔｎにおける演技者の骨格を形成する各関節点の３次元空間上での位置の時間変化を示す時系列データである。
　以下の説明では、時点ｔ１～ｔｎのうちの任意の時点を「時点ｔｉ」と表記する場合がある（ｉ＝１，２，…，ｎ）。
　ここで、フレームＦｉは、時点ｔｉにおける演技者の骨格を形成する各関節点の３次元空間上での位置を示す。フレームＦｉは、関節点データ６００－１～６００－１８を含む。各関節点データ６００－１～６００－１８は、時点、関節ＩＤ、ｘ、ｙおよびｚの項目を有する。
　時点は、どの時点における関節点であるかを識別する情報である。時点は、例えば、カメラ端末３０３（図３参照）によって演技者が撮影された日時に対応する。関節ＩＤは、演技者の骨格を形成する関節点を識別する識別子である。関節ＩＤは、図５に示した「０」～「１７」の関節ＩＤに対応する。ｘ、ｙおよびｚは、関節ＩＤにより識別される関節点の３次元空間上での位置を示す座標である。
　例えば、関節点データ６００－１は、時点ｔｉにおける演技者の関節ＩＤ「０」の関節点「骨盤中央」の３次元空間上での位置「ｘ０（ｉ），ｙ０（ｉ），ｚ０（ｉ）」を示す。なお、図示は省略するが、骨格データＰＤには、例えば、関節点間を結ぶリンクの情報が含まれる。
（骨格推定装置３０１の機能的構成例）
　図７は、骨格推定装置３０１の機能的構成例を示すブロック図である。図７において、骨格推定装置３０１は、取得部７０１と、算出部７０２と、特定部７０３と、決定部７０４と、実行制御部７０５と、出力部７０６と、を含む。取得部７０１～出力部７０６は制御部となる機能であり、具体的には、例えば、図４に示したメモリ４０２、ディスク４０４、可搬型記録媒体４０７などの記憶装置に記憶されたプログラムをＣＰＵ４０１に実行させることにより、または、通信Ｉ／Ｆ４０５により、その機能を実現する。各機能部の処理結果は、例えば、メモリ４０２、ディスク４０４などの記憶装置に記憶される。
　取得部７０１は、演技者（対象物）の骨格を時系列に表す骨格データを取得する。演技者の骨格は、演技者についてのセンサデータに基づき認識された骨格である。センサデータは、例えば、図３に示した複数のカメラ端末３０３により演技者を撮影した画像（多視点画像）を含む。
　具体的には、例えば、取得部７０１は、図３に示したクライアント装置３０２から、図６に示したような骨格データＰＤを受信することにより、受信した骨格データＰＤを取得する。また、取得部７０１は、演技者についてのセンサデータに基づき骨格認識処理を実施することによって、骨格データＰＤを生成することにしてもよい。
　より詳細に説明すると、例えば、取得部７０１は、クライアント装置３０２から、演技者を撮影した画像（多視点画像）を含むセンサデータを受信する。ただし、取得部７０１は、複数のカメラ端末３０３それぞれから演技者を撮影した画像を直接受信することにしてもよい。そして、取得部７０１は、受信したセンサデータ（多視点画像）に基づいて、図２に示したような骨格認識処理２００を実施して骨格データＰＤを生成することにより、生成した骨格データＰＤを取得することにしてもよい。
　以下の説明では、演技者（対象物）の骨格を時系列に表す骨格データとして、「骨格データＰＤ（図６参照）」を例に挙げて説明する。
　算出部７０２は、取得した骨格データＰＤに基づいて、演技者の骨格の部位ごとの動きの時間変化を表す特徴量を算出する。骨格の部位は、骨格の一部分である。部位は、演技者の骨格を形成する関節点群のうちの複数の関節点を含む。演技者の骨格のうちのどの部位を処理対象とするかは、任意に設定可能である。
　例えば、処理対象の部位は、骨格推定の対象となる人が、どのような動きをするのかを考慮して設定される。体操競技の演技者の場合、例えば、演技者の骨格が、頭部、右腕、左腕、右脚、左脚などの部位に分けられる。なお、演技者の骨格を複数の部位に区分けするにあたり、骨格を形成する関節点群の全てを網羅するように区分けしてもよく、また、全てを網羅していなくてもよい。
　特徴量は、例えば、各部位の瞬発的な動きや静止を捉えるための情報である。特徴量は、例えば、演技者（対象物）の骨格の部位間の相対角度の時間変化に基づく部位間の角速度を含むものであってもよい。また、特徴量は、例えば、演技者（対象物）の骨格の部位間の相対角度の時間変化に基づく部位間の角加速度を含むものであってもよい。
　ここで、体操競技の演技者を例に挙げて、骨格の部位について説明する。ここでは、演技者の骨格を５つの部位に区分けする場合を例に挙げて説明する。また、各部位が複数の関節点を含むことから、各部位を「部位グループ」と表記する場合がある。
　図８は、骨格の部位の一例を示す説明図である。図８において、骨格５００に含まれる部位グループＧ１～Ｇ５（５つの部位）が示されている。部位グループＧ１は、部位「頭部」に対応し、関節ＩＤ「２」の関節点と関節ＩＤ「３」の関節点を含む。部位グループＧ２は、部位「右腕」に対応し、関節ＩＤ「７」の関節点と関節ＩＤ「８」の関節点と関節ＩＤ「９」の関節点を含む。
　部位グループＧ３は、部位「左腕」に対応し、関節ＩＤ「４」の関節点と関節ＩＤ「５」の関節点と関節ＩＤ「６」の関節点を含む。部位グループＧ４は、部位「右脚」に対応し、関節ＩＤ「１４」の関節点と関節ＩＤ「１５」の関節点と関節ＩＤ「１６」の関節点と関節ＩＤ「１７」の関節点を含む。部位グループＧ５は、部位「左脚」に対応し、関節ＩＤ「１０」の関節点と関節ＩＤ「１１」の関節点と関節ＩＤ「１２」の関節点と関節ＩＤ「１３」の関節点を含む。
　ここで、図８に示した部位グループＧ１～Ｇ５（５つの部位）を例に挙げて、部位ごとの動きの時間変化を表す特徴量を算出する具体的な処理例について説明する。
　まず、算出部７０２は、各部位グループＧ１～Ｇ５（部位）の向きを定義する。ここでは、部位グループＧ１の向きを、関節ＩＤ「３」の関節点（頭）から関節ＩＤ「２」の関節点（肩中央）への向きとする。部位グループＧ２の向きを、関節ＩＤ「９」の関節点（右手首）から関節ＩＤ「７」の関節点（右肩）への向きとする。
　部位グループＧ３の向きを、関節ＩＤ「６」の関節点（左手首）から関節ＩＤ「４」の関節点（左肩）への向きとする。部位グループＧ４の向きを、関節ＩＤ「１７」の関節点（右足先）から関節ＩＤ「１４」の関節点（右骨盤）への向きとする。部位グループＧ５の向きを、関節ＩＤ「１３」の関節点（左足先）から関節ＩＤ「１０」の関節点（左骨盤）への向きとする。
　算出部７０２は、演技者の骨格の各部位（部位グループＧ１～Ｇ５）の向きを算出する。具体的には、例えば、算出部７０２は、骨格データＰＤに基づいて、下記式（１）を用いて、各部位グループＧ１～Ｇ５の向き（ｅ＾x，ｅ＾y，ｅ＾z）を算出することができる。ただし、ｘ1は、各向きの始点のｘ座標を示す。ｘ2は、各向きの終点のｘ座標を示す。ｙ1は、各向きの始点のｙ座標を示す。ｙ2は、各向きの終点のｙ座標を示す。ｚ1は、各向きの始点のｚ座標を示す。ｚ2は、各向きの終点のｚ座標を示す。ｅは、下記式（２）によって表される。＾は、ｅの上のハット記号を示す。
Figure JPOXMLDOC01-appb-M000001
　各部位グループＧ１～Ｇ５の向きは、例えば、骨格データＰＤに含まれる各時点ｔｉのフレームＦｉごとに算出される。これにより、時点ｔｉごとの各部位グループＧ１～Ｇ５の向きが算出される。算出された各部位グループＧ１～Ｇ５の向きは、例えば、図９に示すようなエッジデータテーブル９００に記憶される。エッジデータテーブル９００は、例えば、メモリ４０２、ディスク４０４などの記憶装置により実現される。
　図９は、エッジデータテーブル９００の記憶内容の一例を示す説明図である。図９において、エッジデータテーブル９００は、時点、グループＩＤ、ｅ＾x、ｅ＾yおよびｅ＾zのフィールドを有し、各フィールドに情報を設定することで、エッジデータ９００－１～９００－５をレコードとして記憶する。
　ここで、時点は、エッジデータに対応する時点（例えば、カメラ端末３０３によって演技者が撮影された日時）を示す。グループＩＤは、部位グループ（部位）を識別する識別子である。ｅ＾xは、部位グループの向きのｘ成分を示す。ｅ＾yは、部位グループの向きのｙ成分を示す。ｅ＾zは、部位グループの向きのｚ成分を示す。
　例えば、エッジデータ９００－１は、時点ｔｉにおける部位グループＧ１の向き「ｅx１（ｉ），ｅy１（ｉ），ｅz１（ｉ）」を示す。
　つぎに、算出部７０２は、算出した部位間（部位グループ間）の向きに基づいて、部位間の相対角度を算出する。部位間の相対角度は、例えば、ある部位の向きと他の部位の向きとがなす角度に相当する。具体的には、例えば、算出部７０２は、図９に示したような各時点ｔｉのエッジデータテーブル９００を参照して、下記式（３）を用いて、部位グループ間の相対角度を算出することができる。
　ただし、θp,qは、部位グループ間の相対角度を示す。ｅ＾x,pは、一方の部位グループＧｐの向きのｘ成分を示す。ｅ＾x,qは、他方の部位グループＧｑの向きのｘ成分を示す。ｅ＾y,pは、一方の部位グループＧｐの向きのｙ成分を示す。ｅ＾y,qは、他方の部位グループＧｑの向きのｙ成分を示す。ｅ＾z,pは、一方の部位グループＧｐの向きのｚ成分を示す。ｅ＾z,qは、他方の部位グループＧｑの向きのｚ成分を示す。
Figure JPOXMLDOC01-appb-M000002
　各時点ｔｉにおける部位グループ間の相対角度は、例えば、部位グループ同士の組み合わせごとに算出される。部位グループＧ１～Ｇ５の場合、部位グループ同士の組み合わせは、１０通りとなる（Ｇ１－Ｇ２，Ｇ１－Ｇ３，Ｇ１－Ｇ４，Ｇ１－Ｇ５，Ｇ２－Ｇ３，Ｇ２－Ｇ４，Ｇ２－Ｇ５，Ｇ３－Ｇ４，Ｇ３－Ｇ５，Ｇ４－Ｇ５）。算出された部位グループ間の相対角度は、例えば、図１０に示すような相対角度テーブル１０００に記憶される。相対角度テーブル１０００は、例えば、メモリ４０２、ディスク４０４などの記憶装置により実現される。
　図１０は、相対角度テーブル１０００の記憶内容の一例を示す説明図である。図１０において、相対角度テーブル１０００は、時点、組み合わせＩＤおよび相対角度のフィールドを有し、各フィールドに情報を設定することで、相対角度データ１０００－１～１０００－１０をレコードとして記憶する。
　ここで、時点は、相対角度データに対応する時点を示す。組み合わせＩＤは、部位グループ同士の組み合わせを示す。相対角度は、部位グループ間の相対角度を示す。例えば、相対角度データ１０００－１は、時点ｔｉにおける部位グループＧ１と部位グループＧ２との間の相対角度θ1,2（ｉ）を示す。
　つぎに、算出部７０２は、算出した部位間（部位グループ間）の相対角度に基づいて、部位間の角速度を算出する。部位間の角速度は、単位時間あたりに部位が回転する角度に相当し、部位の動きを捉えるための指標値の一つといえる。具体的には、例えば、算出部７０２は、図１０に示したような各時点ｔｉの相対角度テーブル１０００を参照して、下記式（４）を用いて、部位グループ間の角速度を算出することができる。
　ただし、ωp,q（ｔ）は、時点ｔｉにおけるグループＧｐとグループＧｑとの間の角速度を示す。θp,q（ｔ）は、時点ｔｉにおけるグループＧｐとグループＧｑとの間の相対角度を示す。θp,q（ｔ－１）は、時点ｔ（ｉ－１）におけるグループＧｐとグループＧｑとの間の相対角度を示す。
　ωp,q（ｔ）＝θp,q（ｔ）－θp,q（ｔ－１）　　・・・（４）
　部位グループ間の角速度は、例えば、時点ｔ２～ｔｎの各時点ｔｉについて、部位グループ同士の組み合わせごとに算出される。算出された部位グループ間の角速度は、例えば、図１１に示すような角速度テーブル１１００に記憶される。角速度テーブル１１００は、例えば、メモリ４０２、ディスク４０４などの記憶装置により実現される。
　図１１は、角速度テーブル１１００の記憶内容の一例を示す説明図である。図１１において、角速度テーブル１１００は、時点、組み合わせＩＤおよび角速度のフィールドを有し、各フィールドに情報を設定することで、角速度データ１１００－１～１１００－１０をレコードとして記憶する。
　ここで、時点は、角速度データに対応する時点を示す。組み合わせＩＤは、部位グループ同士の組み合わせを示す。角速度は、部位グループ間の角速度を示す。例えば、角速度データ１１００－１は、時点ｔｉにおける部位グループＧ１と部位グループＧ２との間の加速度ω1,2（ｉ）を示す。
　つぎに、算出部７０２は、算出した部位間（部位グループ間）の角速度に基づいて、部位間の角加速度を算出する。部位間の角加速度は、単位時間あたりの角速度の変化に相当し、部位の動きを捉えるための指標値の一つといえる。具体的には、例えば、算出部７０２は、図１１に示したような各時点ｔｉの角速度テーブル１１００を参照して、下記式（５）を用いて、部位グループ間の角加速度を算出することができる。
　ただし、αp,q（ｔ）は、時点ｔｉにおけるグループＧｐとグループＧｑとの間の角加速度を示す。ωp,q（ｔ）は、時点ｔｉにおけるグループＧｐとグループＧｑとの間の角速度を示す。ωp,q（ｔ－１）は、時点ｔ（ｉ－１）におけるグループＧｐとグループＧｑとの間の角速度を示す。
　αp,q（ｔ）＝ωp,q（ｔ）－ωp,q（ｔ－１）　　・・・（５）
　部位グループ間の角加速度は、例えば、時点ｔ２～ｔｎの各時点ｔｉについて、部位グループ同士の組み合わせごとに算出される。算出された部位グループ間の角加速度は、例えば、図１２に示すような角加速度テーブル１２００に記憶される。角加速度テーブル１２００は、例えば、メモリ４０２、ディスク４０４などの記憶装置により実現される。
　図１２は、角加速度テーブル１２００の記憶内容の一例を示す説明図である。図１２において、角加速度テーブル１２００は、時点、組み合わせＩＤおよび角加速度のフィールドを有し、各フィールドに情報を設定することで、角加速度データ１２００－１～１２００－１０をレコードとして記憶する。
　ここで、時点は、角加速度データに対応する時点を示す。組み合わせＩＤは、部位グループ同士の組み合わせを示す。角加速度は、部位グループ間の角加速度を示す。例えば、角加速度データ１２００－１は、時点ｔｉにおける部位グループＧ１と部位グループＧ２との間の角加速度α1,2（ｉ）を示す。
　特定部７０３は、算出された特徴量に基づいて、骨格データＰＤが表す骨格のうち平滑化を行う対象部位を特定する。具体的には、例えば、特定部７０３は、骨格データＰＤが表す骨格のうち、算出された角加速度が第１のしきい値Ｔｈ１以上となる部位以外の部位を、対象部位として特定することにしてもよい。
　換言すれば、特定部７０３は、骨格データＰＤが表す骨格のうち、算出された角加速度が第１のしきい値Ｔｈ１以上となる部位を、平滑化を行わない部位として特定する。第１のしきい値Ｔｈ１は、任意に設定可能であり、例えば、角加速度が第１のしきい値Ｔｈ１以上となると、瞬発的な動きであると判断できる値に設定される。
　より詳細に説明すると、例えば、特定部７０３は、図１２に示したような各時点ｔｉの角加速度テーブル１２００を参照して、対象部位を特定する。対象部位の特定は、例えば、骨格データＰＤが時系列に表す骨格のうち、平滑化を行う時点ｔｉと部位とを特定することによって行われる。
　例えば、角加速度テーブル１２００内の角加速度データ１２００－１０が示す角加速度α4,5（ｉ）が第１のしきい値Ｔｈ１以上であるとする。また、角加速度テーブル１２００内の角加速度データ１２００－１～１２００－９が示す角加速度α1,3（ｉ）～α3,5（ｉ）が第１のしきい値Ｔｈ１未満であるとする。
　角加速度データ１２００－１０が示す組み合わせＩＤから特定される部位グループの組み合わせは、部位グループＧ４と部位グループＧ５である。この場合、特定部７０３は、骨格データＰＤが時系列に表す骨格のうち、時点ｔｉについて、部位グループＧ４，Ｇ５以外の部位を、対象部位として特定する。
　ここで、部位グループＧ４は、関節ＩＤ「１４」の関節点と関節ＩＤ「１５」の関節点と関節ＩＤ「１６」の関節点と関節ＩＤ「１７」の関節点とを含む部位（右脚）である。部位グループＧ５は、関節ＩＤ「１０」の関節点と関節ＩＤ「１１」の関節点と関節ＩＤ「１２」の関節点と関節ＩＤ「１３」の関節点とを含む部位（左脚）である。
　このため、特定部７０３は、時点ｔｉについて、演技者の骨格のうち、右脚および左脚以外の部位を対象部位として特定する。このようにして、特定部７０３は、各時点（例えば、時点ｔ２～ｔｎ）について、対象部位の特定を行う。これにより、骨格データＰＤが時系列に表す骨格のうち、瞬発的な動きの部位を、平滑化の対象から除外することができる。
　また、特定部７０３は、例えば、角加速度αp,q（ｉ）が第１のしきい値Ｔｈ１以上の場合に、時点ｔｉを基準として、前後一定期間における部位グループＧｐ，Ｇｑ（例えば、部位グループＧ４，Ｇ５）を、平滑化の対象から除外することにしてもよい。前後一定期間は、任意に設定可能であり、例えば、前後１秒間程度の期間（対象フレームＦｉの前後一定フレーム分）に設定される。
　具体的には、例えば、特定部７０３は、骨格データＰＤが表す骨格のうち、時点ｔｉの対象フレームＦｉと、対象フレームＦｉの前後一定数分のフレームとにおける部位グループＧｐ，Ｇｑを、平滑化の対象から除外する。これにより、瞬発的な動きが検知された部位について、その動きの前後一定期間、平滑化の対象から除外することができる。
　決定部７０４は、算出された特徴量に基づいて、対象部位にかける平滑化の度合いを決定する。対象部位は、例えば、特定部７０３によって特定された対象部位である。ただし、対象部位は、演技者の骨格に含まれる全部位（例えば、部位グループＧ１～Ｇ５）であってもよい。
　具体的には、例えば、決定部７０４は、算出された特徴量に含まれる一定区間あたりの角速度の平均値に基づいて、対象部位にかける平滑化の度合いを決定することにしてもよい。一定区間は、任意に設定可能であり、例えば、対象時点ｔｉの前後数秒程度の期間である。
　対象時点ｔｉは、一定区間を特定する際に基準とする時点であり、任意に設定可能である。例えば、対象時点ｔｉは、一定区間同士が重複しないように、一定区間の区間長ごとに設定されてもよい。また、対象時点ｔｉは、一定区間同士が一部重複するように設定されてもよい。
　より詳細に説明すると、例えば、決定部７０４は、図１１に示したような各時点の角速度テーブル１１００を参照して、下記式（６）を用いて、各対象時点ｔｉを基準として、一定区間あたりの角速度の平均値を算出する。角速度は、対象部位を含む部位間（部位グループ間）の角速度である。
　ただし、ωp,q（ｔ）aveは、対象時点ｔｉにおける角速度の平均値を示す。ｗは、ウインドウサイズを示す。ウインドウサイズは、平滑化を行うウインドウの幅であり、例えば、フレーム数によって表される。ｗは、例えば、「ｗ＝２１」である。「ｗ＝２１」は、強いフィルタをかける際のウインドウサイズに相当する。
Figure JPOXMLDOC01-appb-M000003
　例えば、対象時点ｔｉを「時点ｔ２０」とし、ｗを「ｗ＝２１」とする。この場合、ωp,q（ｔ２０）aveは、部位グループＧｐ，Ｇｑ同士の時点ｔ１０～ｔ３０の区間における角速度ωp,q（ｔ１０）～ωp,q（ｔ３０）の平均となる。
　そして、決定部７０４は、骨格データＰＤが表す骨格のうち、算出した角速度の平均値が第２のしきい値Ｔｈ２以下となる部位にかける平滑化の度合いを、算出した角速度の平均値が第２のしきい値Ｔｈ２より大きい部位よりも強い度合いに決定することにしてもよい。
　ここで、平滑化の度合いを「０」、「１」、「２」のいずれかの値によって表すとする。平滑化の度合いは、値が大きくなるほど強くなる。例えば、度合い「０」は、平滑化を行わないことを示す。度合い「１」は、弱い平滑化を行うことを示す。度合い「２」は、強い平滑化を行うことを示す。
　例えば、決定部７０４は、演技者の骨格のうち、特定された対象部位以外の部位（平滑化を行わない時点ｔｉと部位）にかける平滑化の度合いを「０」に決定する。また、決定部７０４は、特定された対象部位のうち、角速度の平均値が第２のしきい値Ｔｈ２より大きい部位（対象時点ｔｉの部位）にかける平滑化の度合いを「１」に決定する。また、決定部７０４は、特定された対象部位のうち、角速度の平均値が第２のしきい値Ｔｈ２以下の部位（対象時点ｔｉの部位）にかける平滑化の度合いを「２」に決定する。
　なお、演技者の骨格に含まれる全部位（例えば、部位グループＧ１～Ｇ５）を対象部位とする場合、決定部７０４は、演技者の骨格に含まれる全部位のうち、角速度の平均値が第２のしきい値Ｔｈ２より大きい部位にかける平滑化の度合いを「１」に決定することにしてもよい。また、決定部７０４は、全部位のうち、角速度の平均値が第２のしきい値Ｔｈ２以下の部位にかける平滑化の度合いを「２」に決定することにしてもよい。
　また、決定部７０４は、算出された特徴量に基づいて、骨格データＰＤが表す骨格の部位にかける平滑化フィルタの係数を特定することにしてもよい。平滑化フィルタとは、ノイズを除去するための平均化処理などにより平滑化を行うためのフィルタである。平滑化フィルタは、例えば、Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙ平滑化フィルタ（ＳＧフィルタ）である。ＳＧフィルタは、高周波成分を残しつつ、動きを滑らかにするという特徴がある。
　平滑化フィルタの係数とは、骨格データＰＤに対する平滑化処理を実施する際に、各フレームの対象部位の値にかける係数である。対象部位の値は、対象部位に含まれる各関節点の位置（ｘ，ｙ，ｚ）である。平滑化フィルタの係数は、例えば、特徴量（角速度の平均値）に基づき決定される平滑化の度合いに応じて特定される。
　ここで、図１３および図１４を用いて、平滑化フィルタについて説明する。
　図１３は、平滑化フィルタの一例を示す説明図（その１）である。図１３において、平滑化フィルタ１３００は、ウインドウサイズが「ｗ＝９」の場合のＳＧフィルタを示す。番号「－４～４」は、番号「０」のフレームを基準として、平滑化をかけるフレームを特定するための番号である。
　番号「０」は、対象時点ｔｉのフレームを示す。番号「－１」は、対象時点ｔｉの一つ前のフレームを示す。番号「－２」は、対象時点ｔｉの二つ前のフレームを示す。番号「－３」は、対象時点ｔｉの三つ前のフレームを示す。番号「－４」は、対象時点ｔｉの四つ前のフレームを示す。
　番号「１」は、対象時点ｔｉの一つ後のフレームを示す。番号「２」は、対象時点ｔｉの二つ後のフレームを示す。番号「３」は、対象時点ｔｉの三つ後のフレームを示す。番号「４」は、対象時点ｔｉの四つ後のフレームを示す。係数は、各番号に対応するフレームの対象部位の値にかける係数を示す。
　例えば、番号「０」の係数「０．４１７」は、番号「０」に対応するフレーム（対象フレームＦｉ）の対象部位の値にかける係数を示す。この場合、骨格データＰＤに対する平滑化処理において、対象部位に含まれる各関節点の位置の各成分ｘ，ｙ，ｚに係数「０．４１７」が乗算される。
　また、番号「－４」の係数「０．０３４」は、番号「－４」に対応するフレーム（対象フレームＦ（ｉ－４））の対象部位の値にかける係数を示す。この場合、骨格データＰＤに対する平滑化処理において、対象部位に含まれる各関節点の位置の各成分ｘ，ｙ，ｚに係数「０．０３４」が乗算される。
　図１４は、平滑化フィルタの一例を示す説明図（その２）である。図１４において、平滑化フィルタ１４００は、ウインドウサイズが「ｗ＝２１」の場合のＳＧフィルタを示す。番号「－１０～１０」は、番号「０」のフレームを基準として、平滑化をかけるフレームを特定するための番号である。
　番号「０」は、対象時点ｔｉのフレームを示す。例えば、番号「－１」は、対象時点ｔｉの一つ前のフレームを示す。また、番号「－１０」は、対象時点ｔｉの十前のフレームを示す。また、番号「１」は、対象時点ｔｉの一つ後のフレームを示す。また、番号「１０」は、対象時点ｔｉの十後のフレームを示す。係数は、各番号に対応するフレームの対象部位の値にかける係数を示す。
　例えば、番号「０」の係数「０．１６９」は、番号「０」に対応するフレーム（対象フレームＦｉ）の対象部位の値にかける係数を示す。この場合、骨格データＰＤに対する平滑化処理において、対象部位に含まれる各関節点の位置の各成分ｘ，ｙ，ｚに係数「０．１６９」が乗算される。
　また、番号「－１０」の係数「０．０４４」は、番号「－１０」に対応するフレーム（対象フレームＦ（ｉ－１０））の対象部位の値にかける係数を示す。この場合、骨格データＰＤに対する平滑化処理において、対象部位に含まれる各関節点の位置の各成分ｘ，ｙ，ｚに係数「０．０４４」が乗算される。
　具体的には、例えば、決定部７０４は、骨格データＰＤに対する平滑化処理を実施する際に、対象部位にかける平滑化の度合いが「１」の場合、その対象部位にかける平滑化フィルタの係数として、図１３に示した平滑化フィルタ１３００の係数を特定する。また、決定部７０４は、骨格データＰＤに対する平滑化処理を実施する際に、対象部位にかける平滑化の度合いが「２」の場合、その対象部位にかける平滑化フィルタの係数として、図１４に示した平滑化フィルタ１４００の係数を特定する。
　実行制御部７０５は、骨格データＰＤに対する平滑化処理を実施する。この際、実行制御部７０５は、例えば、骨格データＰＤが表す骨格のうち、特定された対象部位に対する平滑化を行う。対象部位に対する平滑化には、例えば、予め決められた平滑化フィルタ（例えば、平滑化フィルタ１３００）が用いられることにしてもよい。
　また、実行制御部７０５は、骨格データＰＤに対する平滑化処理を実施する際に、骨格データＰＤが表す骨格のうち、対象部位に対して、決定された度合いの平滑化を行うことにしてもよい。具体的には、例えば、実行制御部７０５は、平滑化の度合いに応じて特定された平滑化フィルタの係数を用いて、対象部位に対する平滑化を行う。
　より詳細に説明すると、例えば、実行制御部７０５は、骨格データＰＤに対する平滑化処理を実施する際に、対象部位にかける平滑化の度合いが「１」の場合、特定された平滑化フィルタ１３００を用いて、対象部位に対する平滑化を行う。ただし、対象部位に対して平滑化フィルタ１３００をかける範囲内（ウインドウサイズ分の区間）に、平滑化を行う対象から除外された時点が含まれる場合がある。この場合、実行制御部７０５は、対象部位について、その時点における平滑化は行わないことにしてもよい。
　また、実行制御部７０５は、骨格データＰＤに対する平滑化処理を実施する際に、対象部位にかける平滑化の度合いが「２」の場合、特定された平滑化フィルタ１４００を用いて、対象部位に対する平滑化を行う。ただし、対象部位に対して平滑化フィルタ１４００をかける範囲内に、平滑化を行う対象から除外された時点が含まれる場合がある。この場合、実行制御部７０５は、対象部位について、その時点における平滑化は行わないことにしてもよい。
　出力部７０６は、平滑化処理後の骨格データＰＤを出力する。出力部７０６の出力形式としては、例えば、メモリ４０２、ディスク４０４などの記憶装置への記憶、通信Ｉ／Ｆ４０５による他のコンピュータへの送信、不図示のディスプレイへの表示、不図示のプリンタへの印刷出力などがある。
　具体的には、例えば、出力部７０６は、平滑化フィルタ済みの骨格データＰＤを、クライアント装置３０２に送信することにしてもよい。これにより、ユーザは、体操競技の演技者などの平滑化後の３Ｄ関節座標を得ることができる。
　なお、上述した骨格推定装置３０１の機能部（取得部７０１～出力部７０６）は、情報処理システム３００内の複数のコンピュータ（例えば、骨格推定装置３０１、クライアント装置３０２）により実現されることにしてもよい。
　また、骨格推定装置３０１は、取得部７０１～出力部７０６のうち、決定部７０４を有さないことにしてもよい。この場合、実行制御部７０５は、例えば、予め決められた平滑化フィルタ（例えば、平滑化フィルタ１３００）が用いて、骨格データＰＤが表す骨格のうち、特定された対象部位に対する平滑化を行う。
　また、骨格推定装置３０１は、取得部７０１～出力部７０６のうち、特定部７０３を有さないことにしてもよい。この場合、実行制御部７０５は、例えば、骨格データＰＤが表す骨格に含まれる各部位（対象部位）に対して、各部位について決定された度合いの平滑化を行う。
（骨格推定装置３０１の骨格推定処理手順）
　つぎに、図１５を用いて、骨格推定装置３０１の骨格推定処理手順について説明する。
　図１５は、骨格推定装置３０１の骨格推定処理手順の一例を示すフローチャートである。図１５のフローチャートにおいて、まず、骨格推定装置３０１は、演技者（対象物）の骨格を時系列に表す骨格データＰＤを取得する（ステップＳ１５０１）。そして、骨格推定装置３０１は、取得した骨格データＰＤに基づいて、エッジデータ算出処理を実行する（ステップＳ１５０２）。エッジデータ算出処理の具体的な処理手順については、図１６を用いて後述する。
　つぎに、骨格推定装置３０１は、算出したエッジデータに基づいて、特徴量算出処理を実行する（ステップＳ１５０３）。特徴量算出処理の具体的な処理手順については、図１７～図１９を用いて後述する。そして、骨格推定装置３０１は、算出した特徴量に基づいて、平滑化度合決定処理を実行する（ステップＳ１５０４）。平滑化度合決定処理の具体的な処理手順については、図２０および図２１を用いて後述する。
　つぎに、骨格推定装置３０１は、骨格データＰＤに対する平滑化処理を実行する（ステップＳ１５０５）。この際、骨格推定装置３０１は、演技者の各部位（各部位グループＧ１～Ｇ５）について、ステップＳ１５０４において決定された度合いに応じた平滑化を行う。
　そして、骨格推定装置３０１は、平滑化処理後の骨格データＰＤを出力して（ステップＳ１５０６）、本フローチャートによる一連の処理を終了する。これにより、体操競技の演技者などの平滑化後の３Ｄ関節座標を出力することができる。
　つぎに、図１６を用いて、図１５に示したステップＳ１５０２のエッジデータ算出処理の具体的な処理手順について説明する。以下の説明では、演技者の骨格に含まれる部位として、図８に示した部位グループＧ１～Ｇ５を例に挙げて説明する。
　図１６は、エッジデータ算出処理の具体的処理手順の一例を示すフローチャートである。図１６のフローチャートにおいて、まず、骨格推定装置３０１は、時点ｔｉの「ｉ」を「ｉ＝１」として（ステップＳ１６０１）、骨格データＰＤからフレームＦｉを選択する（ステップＳ１６０２）。
　つぎに、骨格推定装置３０１は、部位グループＧ１～Ｇ５から選択されていない未選択の部位グループを選択する（ステップＳ１６０３）。そして、骨格推定装置３０１は、選択したフレームＦｉに基づいて、選択した部位グループの向きを算出する（ステップＳ１６０４）。
　つぎに、骨格推定装置３０１は、部位グループＧ１～Ｇ５から選択されていない未選択の部位グループがあるか否かを判断する（ステップＳ１６０５）。ここで、未選択の部位グループがある場合（ステップＳ１６０５：Ｙｅｓ）、骨格推定装置３０１は、ステップＳ１６０３に戻る。
　一方、未選択の部位グループがない場合（ステップＳ１６０５：Ｎｏ）、骨格推定装置３０１は、「ｉ」をインクリメントして（ステップＳ１６０６）、「ｉ」が「ｎ」より大きくなったか否かを判断する（ステップＳ１６０７）。ここで、「ｉ」が「ｎ」以下の場合（ステップＳ１６０７：Ｎｏ）、骨格推定装置３０１は、ステップＳ１６０２に戻る。
　一方、「ｉ」が「ｎ」より大きい場合（ステップＳ１６０７：Ｙｅｓ）、骨格推定装置３０１は、エッジデータ算出処理を呼び出したステップに戻る。
　これにより、演技者の骨格に含まれる各部位（部位グループＧ１～Ｇ５）の向きを算出することができる。なお、算出された各部位（部位グループＧ１～Ｇ５）の向きは、例えば、図９に示したようなエッジデータテーブル９００に記憶される。
　つぎに、図１７～図１９を用いて、図１５に示したステップＳ１５０３の特徴量算出処理の具体的な処理手順について説明する。
　図１７～図１９は、特徴量算出処理の具体的処理手順の一例を示すフローチャートである。図１７のフローチャートにおいて、まず、骨格推定装置３０１は、時点ｔｉの「ｉ」を「ｉ＝１」とする（ステップＳ１７０１）。つぎに、骨格推定装置３０１は、時点ｔｉについて、部位グループＧ１～Ｇ５のうち選択されていない未選択の部位グループ同士の組み合わせを選択する（ステップＳ１７０２）。
　そして、骨格推定装置３０１は、時点ｔｉのエッジデータテーブル９００を参照して、選択した部位グループ同士の相対角度を算出する（ステップＳ１７０３）。つぎに、骨格推定装置３０１は、時点ｔｉについて、部位グループＧ１～Ｇ５のうち未選択の部位グループ同士の組み合わせがあるか否かを判断する（ステップＳ１７０４）。
　ここで、未選択の部位グループ同士の組み合わせがある場合（ステップＳ１７０４：Ｙｅｓ）、骨格推定装置３０１は、ステップＳ１７０２に戻る。一方、未選択の部位グループ同士の組み合わせがない場合（ステップＳ１７０４：Ｎｏ）、骨格推定装置３０１は、「ｉ」をインクリメントする（ステップＳ１７０５）。
　そして、骨格推定装置３０１は、「ｉ」が「ｎ」より大きくなったか否かを判断する（ステップＳ１７０６）。ここで、「ｉ」が「ｎ」以下の場合（ステップＳ１７０６：Ｎｏ）、骨格推定装置３０１は、ステップＳ１７０２に戻る。
　一方、「ｉ」が「ｎ」より大きい場合（ステップＳ１７０６：Ｙｅｓ）、骨格推定装置３０１は、図１８に示すステップＳ１８０１に移行する。なお、算出された部位グループ同士の相対角度は、例えば、図１０に示したような相対角度テーブル１０００に記憶される。
　図１８のフローチャートにおいて、まず、骨格推定装置３０１は、時点ｔｉの「ｉ」を「ｉ＝１」とする（ステップＳ１８０１）。つぎに、骨格推定装置３０１は、時点ｔｉについて、部位グループＧ１～Ｇ５のうち選択されていない未選択の部位グループ同士の組み合わせを選択する（ステップＳ１８０２）。
　そして、骨格推定装置３０１は、時点ｔｉ，ｔ（ｉ－１）の相対角度テーブル１０００を参照して、選択した部位グループ同士の角速度を算出する（ステップＳ１８０３）。ただし、角速度を算出するための情報が揃っていない場合、骨格推定装置３０１は、ステップＳ１８０３をスキップする。
　つぎに、骨格推定装置３０１は、時点ｔｉについて、部位グループＧ１～Ｇ５のうち未選択の部位グループ同士の組み合わせがあるか否かを判断する（ステップＳ１８０４）。ここで、未選択の部位グループ同士の組み合わせがある場合（ステップＳ１８０４：Ｙｅｓ）、骨格推定装置３０１は、ステップＳ１８０２に戻る。
　一方、未選択の部位グループ同士の組み合わせがない場合（ステップＳ１８０４：Ｎｏ）、骨格推定装置３０１は、「ｉ」をインクリメントする（ステップＳ１８０５）。そして、骨格推定装置３０１は、「ｉ」が「ｎ」より大きくなったか否かを判断する（ステップＳ１８０６）。
　ここで、「ｉ」が「ｎ」以下の場合（ステップＳ１８０６：Ｎｏ）、骨格推定装置３０１は、ステップＳ１８０２に戻る。一方、「ｉ」が「ｎ」より大きい場合（ステップＳ１８０６：Ｙｅｓ）、骨格推定装置３０１は、図１９に示すステップＳ１９０１に移行する。なお、算出された部位グループ同士の角速度は、例えば、図１１に示したような角速度テーブル１１００に記憶される。
　図１９のフローチャートにおいて、まず、骨格推定装置３０１は、時点ｔｉの「ｉ」を「ｉ＝１」とする（ステップＳ１９０１）。つぎに、骨格推定装置３０１は、時点ｔｉについて、部位グループＧ１～Ｇ５のうち選択されていない未選択の部位グループ同士の組み合わせを選択する（ステップＳ１９０２）。
　そして、骨格推定装置３０１は、時点ｔｉ，ｔ（ｉ－１）の角速度テーブル１１００を参照して、選択した部位グループ同士の角加速度を算出する（ステップＳ１９０３）。ただし、角加速度を算出するための情報が揃っていない場合、骨格推定装置３０１は、ステップＳ１９０３をスキップする。
　つぎに、骨格推定装置３０１は、時点ｔｉについて、部位グループＧ１～Ｇ５のうち未選択の部位グループ同士の組み合わせがあるか否かを判断する（ステップＳ１９０４）。ここで、未選択の部位グループ同士の組み合わせがある場合（ステップＳ１９０４：Ｙｅｓ）、骨格推定装置３０１は、ステップＳ１９０２に戻る。
　一方、未選択の部位グループ同士の組み合わせがない場合（ステップＳ１９０４：Ｎｏ）、骨格推定装置３０１は、「ｉ」をインクリメントする（ステップＳ１９０５）。そして、骨格推定装置３０１は、「ｉ」が「ｎ」より大きくなったか否かを判断する（ステップＳ１９０６）。
　ここで、「ｉ」が「ｎ」以下の場合（ステップＳ１９０６：Ｎｏ）、骨格推定装置３０１は、ステップＳ１９０２に戻る。一方、「ｉ」が「ｎ」より大きい場合（ステップＳ１９０６：Ｙｅｓ）、骨格推定装置３０１は、特徴量算出処理を呼び出したステップに戻る。なお、算出された部位グループ同士の角加速度は、例えば、図１２に示したような角加速度テーブル１２００に記憶される。
　これにより、演技者の骨格の各部位（部位グループＧ１～Ｇ５）の動きを捉えるための特徴量を算出することができる。
　つぎに、図２０および図２１を用いて、図１５に示したステップＳ１５０４の平滑化度合決定処理の具体的な処理手順について説明する。
　図２０および図２１は、平滑化度合決定処理の具体的処理手順の一例を示すフローチャートである。図２０のフローチャートにおいて、まず、骨格推定装置３０１は、時点ｔｉの「ｉ」を「ｉ＝１」とする（ステップＳ２００１）。つぎに、骨格推定装置３０１は、時点ｔｉについて、部位グループＧ１～Ｇ５のうち選択されていない未選択の部位グループ同士の組み合わせを選択する（ステップＳ２００２）。
　そして、骨格推定装置３０１は、時点ｔｉの角加速度テーブル１２００を参照して、選択した部位グループ同士の角加速度が第１のしきい値Ｔｈ１以上であるか否かを判断する（ステップＳ２００３）。ここで、角加速度が第１のしきい値Ｔｈ１未満の場合（ステップＳ２００３：Ｎｏ）、骨格推定装置３０１は、ステップＳ２００６に移行する。
　一方、角加速度が第１のしきい値Ｔｈ１以上の場合（ステップＳ２００３：Ｙｅｓ）、骨格推定装置３０１は、選択した部位グループ同士の組み合わせに含まれる部位グループを特定する（ステップＳ２００４）。ステップＳ２００４の処理は、骨格データＰＤが表す骨格のうち、平滑化を行わない部位を特定する処理に相当する。
　そして、骨格推定装置３０１は、特定した部位グループについて、時点ｔｉの対象フレームＦｉと対象フレームＦｉの前後一定数分のフレームとにおける平滑化の度合いを「０」に決定する（ステップＳ２００５）。なお、ステップＳ２００５において、部位グループについて、あるフレームにおける平滑化の度合いが決定済みの場合は、骨格推定装置３０１は、そのフレームにおける平滑化の度合いを変更しない。
　つぎに、骨格推定装置３０１は、時点ｔｉについて、部位グループＧ１～Ｇ５のうち未選択の部位グループ同士の組み合わせがあるか否かを判断する（ステップＳ２００６）。ここで、未選択の部位グループ同士の組み合わせがある場合（ステップＳ２００６：Ｙｅｓ）、骨格推定装置３０１は、ステップＳ２００２に戻る。
　一方、未選択の部位グループ同士の組み合わせがない場合（ステップＳ２００６：Ｎｏ）、骨格推定装置３０１は、「ｉ」をインクリメントする（ステップＳ２００７）。そして、骨格推定装置３０１は、「ｉ」が「ｎ」より大きくなったか否かを判断する（ステップＳ２００８）。
　ここで、「ｉ」が「ｎ」以下の場合（ステップＳ２００８：Ｎｏ）、骨格推定装置３０１は、ステップＳ２００２に戻る。一方、「ｉ」が「ｎ」より大きい場合には（ステップＳ２００８：Ｙｅｓ）、骨格推定装置３０１は、図２１に示すステップＳ２１０１に移行する。
　図２１のフローチャートにおいて、まず、骨格推定装置３０１は、予め設定された複数の対象時点のうち未選択の対象時点ｔｉを選択する（ステップＳ２１０１）。つぎに、骨格推定装置３０１は、対象時点ｔｉについて、部位グループＧ１～Ｇ５のうち選択されていない未選択の部位グループ同士の組み合わせを選択する（ステップＳ２１０２）。
　そして、骨格推定装置３０１は、対象時点ｔｉを基準とした一定区間分の角速度テーブル１１００を参照して、選択した部位グループ同士の一定区間あたりの角速度の平均値を算出する（ステップＳ２１０３）。つぎに、骨格推定装置３０１は、算出した角速度の平均値が第２のしきい値Ｔｈ２以下となるか否かを判断する（ステップＳ２１０４）。
　ここで、角速度の平均値が第２のしきい値Ｔｈ２以下の場合（ステップＳ２１０４：Ｙｅｓ）、骨格推定装置３０１は、選択した部位グループ同士の組み合わせに含まれる部位グループを特定する（ステップＳ２１０５）。ステップＳ２１０５の処理は、骨格データＰＤが表す骨格のうち、平滑化を行う対象部位を特定する処理に相当する。
　そして、骨格推定装置３０１は、特定した部位グループについて、対象時点ｔｉの対象フレームＦｉにおける平滑化の度合いを「２」に決定して（ステップＳ２１０６）、ステップＳ２１０９に移行する。なお、ステップＳ２１０６において、部位グループについて、対象フレームＦｉにおける平滑化の度合いが決定済みの場合は、骨格推定装置３０１は、対象フレームＦｉにおける平滑化の度合いを変更しない。
　また、ステップＳ２１０４において、角速度の平均値が第２のしきい値Ｔｈ２より大きい場合（ステップＳ２１０４：Ｎｏ）、骨格推定装置３０１は、選択した部位グループ同士の組み合わせに含まれる部位グループを特定する（ステップＳ２１０７）。ステップＳ２１０７の処理は、骨格データＰＤが表す骨格のうち、平滑化を行う対象部位を特定する処理に相当する。
　そして、骨格推定装置３０１は、特定した部位グループについて、対象時点ｔｉの対象フレームＦｉにおける平滑化の度合いを「１」に決定する（ステップＳ２１０８）。なお、ステップＳ２１０８において、部位グループについて、対象フレームＦｉにおける平滑化の度合いが決定済みの場合は、骨格推定装置３０１は、対象フレームＦｉにおける平滑化の度合いを変更しない。
　つぎに、骨格推定装置３０１は、対象時点ｔｉについて、部位グループＧ１～Ｇ５のうち未選択の部位グループ同士の組み合わせがあるか否かを判断する（ステップＳ２１０９）。ここで、未選択の部位グループ同士の組み合わせがある場合（ステップＳ２１０９：Ｙｅｓ）、骨格推定装置３０１は、ステップＳ２１０２に戻る。
　一方、未選択の部位グループ同士の組み合わせがない場合（ステップＳ２１０９：Ｎｏ）、骨格推定装置３０１は、予め設定された複数の対象時点のうち未選択の対象時点があるか否かを判断する（ステップＳ２１１０）。
　ここで、未選択の対象時点がある場合（ステップＳ２１１０：Ｙｅｓ）、骨格推定装置３０１は、ステップＳ２１０１に戻る。一方、未選択の対象時点がない場合（ステップＳ２１１０：Ｎｏ）、骨格推定装置３０１は、平滑化度合決定処理を呼び出したステップに戻る。
　これにより、演技者の各部位（各部位グループＧ１～Ｇ５）にかける平滑化の度合いを決定することができる。
（骨格の推定結果）
　つぎに、演技者の骨格の推定結果について説明する。
　図２２は、演技者（平均台）の骨格の推定結果の一例を示す説明図である。図２２において、推定結果２２０１，２２０２は、体操競技の演技者が平均台の輪とびを演技中の骨格の推定結果である。ここでは、審判による判定では、「技成功」と判定された場合を想定する。
　推定結果２２０１（実線に相当）は、骨格推定装置３０１による平滑化処理後の骨格を表しており、演技者の骨格のうち右脚部分の平滑化が行われなかった場合の推定結果である。推定結果２２０２（点線に相当）は、演技者の骨格の全部位に対して平滑化が行われた場合の推定結果である（平滑化の誤りによるＮＧ例）。
　平均台の輪とびでは、演技者の足先の最頂点位置が重要となる。推定結果２２０１では、右脚の足先部分に平滑化フィルタが適用されておらず、実際の演技者の右脚の足先部分が精度よく推定されている。このため、推定結果２２０１に対する技認識処理を実施すると、審判と同じ結果（輪とびの技成功）が得られる。
　一方、推定結果２２０２では、右脚の足先部分に平滑化フィルタが適用されて、実際の演技者の右脚と比べて、足先部分が僅かに下がっている。このため、推定結果２２０２に対する技認識処理を実施すると、単に前後開脚とびと判定されて、審判と異なる結果（技失敗）が得られる。
　このように、平均台の輪とびでは、審判の判定に合わせるために、演技者の足先に平滑化フィルタを適用しないほうがよいことがわかる。骨格推定装置３０１によれば、瞬発的な動きが生じている部位を、平滑化を行う対象から除外することができる。
　図２３Ａおよび図２３Ｂは、演技者（つり輪）の骨格の推定結果の一例を示す説明図である。図２３Ａおよび図２３Ｂにおいて、推定結果２３１１～２３１５，２３２１～２３２５は、体操競技の演技者がつり輪の水平支持を演技中の骨格を時系列に表すフレームごとの推定結果である。各推定結果２３１１～２３１５は、各推定結果２３２１～２３２５と同一時点の推定結果である。例えば、推定結果２３１１と推定結果２３２１は、同一時点の推定結果である。
　ここでは、審判による判定では、「技成功」と判定された場合を想定する。
　推定結果２３１１～２３１５（左側）は、演技者の骨格の全部位に対して弱い平滑化が行われた場合の推定結果である（平滑化の誤りによるＮＧ例）。推定結果２３２１～２３２５（右側）は、骨格推定装置３０１による平滑化処理後の骨格を表しており、演技者の骨格の静止箇所に対して強い平滑化が行われた場合の推定結果である。
　ここで、図２４を用いて、演技者の関節点の位置の時間変化について説明する。ここでは、演技者の左足先のｚ座標の時間変化を例に挙げて説明する。
　図２４は、左足先のｚ座標の時間変化を示す説明図である。図２４において、グラフ２４０１は、図２３に示した推定結果２３１１～２３１５に対応しており、弱い平滑化をかけた場合の演技者の左足先のｚ座標の時間変化を示す。グラフ２４０２は、図２３に示した推定結果２３２１～２３２５に対応しており、強い平滑化をかけた場合の演技者の左足先のｚ座標の時間変化を示す。ただし、図２４中、横軸は、時間の経過を示す。また、縦軸は、ｚ座標を示す。
　グラフ２４０１（点線）とグラフ２４０２（実線）とを比較すると、推定結果２３１１～２３１５（弱い平滑化）のほうが、ノイズを適切に除去できていないため、左足先のｚ座標のブレ量が大きいことがわかる。
　ここで、つり輪の水平支持では、演技者のブレ量が重要となる。推定結果２３１１～２３１５では、ノイズを適切に除去できていないため、フレームごとの移動量が技認識ルールで定められたしきい値を上回る。このため、推定結果２３１１～２３１５に対する技認識処理を実施すると、審判と異なる結果（静止ＮＧ）が得られる。
　一方、推定結果２３２１～２３２５では、ノイズを適切に除去できているため、フレームごとの移動量が技認識ルールで定められたしきい値を下回る。このため、推定結果２３２１～２３２５に対する技認識処理を実施すると、審判と同じ結果（静止ＯＫ）が得られる。
　このように、つり輪の水平支持では、審判の判定に合わせるために、演技者の骨格のうちの静止箇所に対して強い平滑化を適用するほうがよいことがわかる。骨格推定装置３０１によれば、静止動作が生じている部位に対して、それ以外の部位よりも、強い平滑化を行うことができる。
（技認識結果の具体例）
　図２５は、技認識結果の具体例を示す説明図である。図２５において、技認識結果２５００は、つり輪演技の骨格データＰＤに対して、技認識を実施した場合の技認識率を示す。技認識率は、審判と同じ結果が得られた割合を示す。演技者の骨格全体に弱いフィルタ（ｗ＝９）をかけた場合の技認識率は「８６．３％」である。
　演技者の骨格全体に強いフィルタ（ｗ＝２１）をかけた場合の技認識率は「８８．１％」である。また、骨格推定装置３０１による平滑化処理を実施して、演技者の骨格のうち、静止箇所に対して強いフィルタ（ｗ＝２１）をかけ、それ以外に弱いフィルタ（ｗ＝９）をかけた場合の技認識率は「８９．５％」である。
　このように、部位の動きに応じてフィルタを切り替えることで、単一フィルタで技認識を実施するよりも高い精度で技認識を行うことができる。
　以上説明したように、実施の形態にかかる骨格推定装置３０１によれば、演技者（対象物）についてのセンサデータに基づき認識された演技者の骨格を時系列に表す骨格データＰＤを取得することができる。そして、骨格推定装置３０１によれば、取得した骨格データＰＤに基づいて、演技者の骨格の部位ごとの動きの時間変化を表す特徴量を算出し、算出した特徴量に基づいて、骨格データＰＤが表す骨格のうち平滑化を行う対象部位を特定することができる。骨格の部位は、例えば、演技者の骨格を形成する関節点群のうちの複数の関節点を含む（例えば、部位グループＧ１～Ｇ５）。骨格データＰＤは、例えば、演技者の骨格を形成する各関節点の３次元空間上での位置の時間変化を示す時系列データである。
　これにより、骨格推定装置３０１は、演技者の骨格の部位ごとの動きの時間変化に応じて、骨格データＰＤが表す骨格のうち平滑化をかける部位を制御することで、骨格推定の精度の向上を図ることができる。また、骨格推定装置３０１は、演技者の骨格を形成する関節点群のうちの複数の関節点を含む部位に着目することで、演技者の細かい動きを精度よく捉えることができる。
　また、骨格推定装置３０１によれば、演技者の骨格の部位間の相対角度の時間変化に基づく部位間の角加速度を含む特徴量を算出し、骨格データＰＤが表す骨格のうち、角加速度が第１のしきい値Ｔｈ１以上となる部位以外の部位を、対象部位として特定することができる。
　これにより、骨格推定装置３０１は、瞬発的な動き（高周波動き）が生じている部位を、平滑化を行う対象から除外することができる。例えば、体操競技の平均台の輪とびや開脚とびなどの演技が行われたときに、動きが激しい足先の関節を含む部位を、平滑化を行う対象から除外することができる。
　また、骨格推定装置３０１によれば、演技者の骨格の部位間の相対角度の時間変化に基づく部位間の角速度を含む特徴量を算出し、特徴量に含まれる一定区間あたりの角速度の平均値（角速度平均）に基づいて、対象部位にかける平滑化の度合いを決定することができる。例えば、骨格推定装置３０１は、骨格データＰＤが表す骨格のうち、角速度平均が第２のしきい値Ｔｈ２以下となる対象部位にかける平滑化の度合いを、角速度平均が第２のしきい値Ｔｈ２より大きい対象部位よりも強い度合いに決定する。
　これにより、骨格推定装置３０１は、静止動作（低周波動き）が生じている部位に対して、それ以外の部位よりも、強い平滑化を行うことが可能となる。例えば、体操競技のつり輪の水平支持や十字懸垂などの静止技が行われたときに、ゆっくり変化している部位に対して、強い平滑化を行うことができる。例えば、ＳＧフィルタをかける場合、長期間のフレームにおける平滑化により、ノイズを効果的に除去できるという特徴がある。このため、骨格推定装置３０１は、ＳＧフィルタをかける場合には、ウインドウサイズを切り替えることで、平滑化の度合いを調整することができる。
　また、骨格推定装置３０１によれば、骨格データＰＤに対する平滑化処理を実施する際に、骨格データＰＤが表す骨格のうち、特定した対象部位に対する平滑化を行うことができる。
　これにより、骨格推定装置３０１は、平滑化処理により演技者のスムーズな動きを再現しつつ、動きの速い箇所での平滑化を外して、演技者の特徴的な動きが損なわれてしまうのを防ぐことができる。例えば、輪とびや開脚とびなどの演技が行われたときに、足先の関節を含む部位の平滑化を外すことで、本来認識されるべき演技が認識されないといった事態を回避することができる。
　また、骨格推定装置３０１によれば、骨格データＰＤに対する平滑化処理を実施する際に、骨格データＰＤが表す骨格のうち、特定した対象部位に対して、決定した度合いの平滑化を行うことができる。
　これにより、骨格推定装置３０１は、平滑化処理により演技者のスムーズな動きを再現するにあたり、ゆっくり変化している部位に強い平滑化をかけることで、ノイズを効果的に落とすことができる。
　また、骨格推定装置３０１によれば、演技者を撮影した画像を含むセンサデータを取得し、取得したセンサデータに含まれる画像から認識された演技者の骨格を表す骨格データＰＤを生成することができる。
　これにより、骨格推定装置３０１は、カメラ端末３０３などで演技者を撮影した画像（多視点画像）から、演技者の骨格を表す骨格データＰＤを取得することができる。
　また、骨格推定装置３０１によれば、演技者についてのセンサデータに基づき認識された演技者の骨格を時系列に表す骨格データＰＤを取得することができる。そして、骨格推定装置３０１によれば、取得した骨格データＰＤに基づいて、演技者の骨格の部位ごとの動きの時間変化を表す特徴量を算出し、算出した特徴量に基づいて、骨格データＰＤが表す骨格の部位にかける平滑化フィルタの係数を特定することができる。
　これにより、骨格推定装置３０１は、演技者の骨格の部位ごとの動きの時間変化に応じて、ＳＧフィルタの係数を切り替えることで、その部位にかける平滑化の度合いを制御することができる。
　これらのことから、骨格推定装置３０１によれば、演技者を撮影した画像（多視点画像）などから演技者の骨格を推定するにあたり、演技者の早い動きに追従して平滑化を外したり、静止動作時のノイズを効果的に除去したりして、演技者の骨格を精度よく推定することができる。これにより、体操競技などにおける技認識精度を向上させることができ、例えば、審判の採点を支援したり、コンピュータによる自動採点を実現したりすることが可能となる。
　なお、本実施の形態で説明した情報処理方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本情報処理プログラムは、ハードディスク、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本情報処理プログラムは、インターネット等のネットワークを介して配布してもよい。
　また、本実施の形態で説明した情報処理装置１０１（骨格推定装置３０１）は、スタンダードセルやストラクチャードＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などの特定用途向けＩＣやＦＰＧＡなどのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）によっても実現することができる。
　１０１　情報処理装置
　１０２　演技者
　１１０，２４０，ＰＤ　骨格データ
　１２０　特徴量
　２００　骨格認識処理
　３００　情報処理システム
　３０１　骨格推定装置
　３０２　クライアント装置
　３０３　カメラ端末
　３１０　ネットワーク
　４００　バス
　４０１　ＣＰＵ
　４０２　メモリ
　４０３　ディスクドライブ
　４０４　ディスク
　４０５　通信Ｉ／Ｆ
　４０６　可搬型記録媒体Ｉ／Ｆ
　４０７　可搬型記録媒体
　５００　骨格
　７０１　取得部
　７０２　算出部
　７０３　特定部
　７０４　決定部
　７０５　実行制御部
　７０６　出力部
　９００　エッジデータテーブル
　１０００　相対角度テーブル
　１１００　角速度テーブル
　１２００　角加速度テーブル
　１３００，１４００　平滑化フィルタ
　２２０１，２２０２，２３１１，２３１２，２３１３，２３１４，２３１５，２３２１，２３２２，２３２３，２３２４，２３２５　推定結果
　２４０１，２４０２　グラフ
　２５００　技認識結果

Claims (15)

  1. 　対象物についてのセンサデータに基づき認識された前記対象物の骨格を時系列に表す骨格データを取得し、
    　取得した前記骨格データに基づいて、前記対象物の骨格の部位ごとの動きの時間変化を表す特徴量を算出し、
    　算出した前記特徴量に基づいて、前記骨格データが表す骨格のうち平滑化を行う対象部位を特定する、
    　処理をコンピュータに実行させることを特徴とする情報処理プログラム。
  2. 　前記特徴量は、前記対象物の骨格の部位間の相対角度の時間変化に基づく前記部位間の角加速度を含み、
    　前記特定する処理は、
    　前記骨格データが表す骨格のうち、前記角加速度が第１のしきい値以上となる部位以外の部位を、前記対象部位として特定する、
    　ことを特徴とする請求項１に記載の情報処理プログラム。
  3. 　前記特徴量は、前記対象物の骨格の部位間の相対角度の時間変化に基づく前記部位間の角速度を含み、
    　前記特徴量に含まれる一定区間あたりの前記角速度の平均値に基づいて、特定した前記対象部位にかける平滑化の度合いを決定する、
    　処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
  4. 　前記決定する処理は、
    　前記骨格データが表す骨格のうち、前記角速度の平均値が第２のしきい値以下となる対象部位にかける平滑化の度合いを、前記角速度の平均値が前記第２のしきい値より大きい対象部位よりも強い度合いに決定する、ことを特徴とする請求項３に記載の情報処理プログラム。
  5. 　前記骨格データに対する平滑化処理を実施する際に、前記骨格データが表す骨格のうち、特定した前記対象部位に対する平滑化を行う、処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
  6. 　前記骨格データに対する平滑化処理を実施する際に、前記骨格データが表す骨格のうち、特定した前記対象部位に対して、決定した前記度合いの平滑化を行う、処理を前記コンピュータに実行させることを特徴とする請求項３に記載の情報処理プログラム。
  7. 　前記部位は、前記対象物の骨格を形成する関節点群のうちの複数の関節点を含む、ことを特徴とする請求項１に記載の情報処理プログラム。
  8. 　前記骨格データは、前記対象物の骨格を形成する各関節点の３次元空間上での位置の時間変化を示す時系列データである、ことを特徴とする請求項１に記載の情報処理プログラム。
  9. 　前記対象物は、演技者であることを特徴とする請求項１に記載の情報処理プログラム。
  10. 　前記センサデータは、前記対象物を撮影した画像を含み、
    　前記取得する処理は、
    　前記センサデータに含まれる画像から認識された前記対象物の骨格を表す骨格データを生成することにより、生成した前記骨格データを取得する、ことを特徴とする請求項１に記載の情報処理プログラム。
  11. 　対象物についてのセンサデータに基づき認識された前記対象物の骨格を時系列に表す骨格データを取得し、
    　取得した前記骨格データに基づいて、前記対象物の骨格の部位ごとの動きの時間変化を表す特徴量を算出し、
    　算出した前記特徴量に基づいて、前記骨格データが表す骨格の部位にかける平滑化フィルタの係数を特定する、
    　処理をコンピュータに実行させることを特徴とする情報処理プログラム。
  12. 　対象物についてのセンサデータに基づき認識された前記対象物の骨格を時系列に表す骨格データを取得し、
    　取得した前記骨格データに基づいて、前記対象物の骨格の部位ごとの動きの時間変化を表す特徴量を算出し、
    　算出した前記特徴量に基づいて、前記骨格データが表す骨格のうち平滑化を行う対象部位を特定する、
    　処理をコンピュータが実行することを特徴とする情報処理方法。
  13. 　対象物についてのセンサデータに基づき認識された前記対象物の骨格を時系列に表す骨格データを取得し、
    　取得した前記骨格データに基づいて、前記対象物の骨格の部位ごとの動きの時間変化を表す特徴量を算出し、
    　算出した前記特徴量に基づいて、前記骨格データが表す骨格の部位にかける平滑化フィルタの係数を特定する、
    　処理をコンピュータが実行することを特徴とする情報処理方法。
  14. 　対象物についてのセンサデータに基づき認識された前記対象物の骨格を時系列に表す骨格データを取得し、
    　取得した前記骨格データに基づいて、前記対象物の骨格の部位ごとの動きの時間変化を表す特徴量を算出し、
    　算出した前記特徴量に基づいて、前記骨格データが表す骨格のうち平滑化を行う対象部位を特定する、
    　制御部を有することを特徴とする情報処理装置。
  15. 　対象物についてのセンサデータに基づき認識された前記対象物の骨格を時系列に表す骨格データを取得し、
    　取得した前記骨格データに基づいて、前記対象物の骨格の部位ごとの動きの時間変化を表す特徴量を算出し、
    　算出した前記特徴量に基づいて、前記骨格データが表す骨格の部位にかける平滑化フィルタの係数を特定する、
    　制御部を有することを特徴とする情報処理装置。
PCT/JP2021/037946 2021-10-13 2021-10-13 情報処理プログラム、情報処理方法、および情報処理装置 WO2023062757A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023553829A JPWO2023062757A1 (ja) 2021-10-13 2021-10-13
PCT/JP2021/037946 WO2023062757A1 (ja) 2021-10-13 2021-10-13 情報処理プログラム、情報処理方法、および情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/037946 WO2023062757A1 (ja) 2021-10-13 2021-10-13 情報処理プログラム、情報処理方法、および情報処理装置

Publications (1)

Publication Number Publication Date
WO2023062757A1 true WO2023062757A1 (ja) 2023-04-20

Family

ID=85987659

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/037946 WO2023062757A1 (ja) 2021-10-13 2021-10-13 情報処理プログラム、情報処理方法、および情報処理装置

Country Status (2)

Country Link
JP (1) JPWO2023062757A1 (ja)
WO (1) WO2023062757A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0942962A (ja) * 1995-07-28 1997-02-14 Ono Sokki Co Ltd 軌跡演算方法および装置
JP2011024828A (ja) * 2009-07-27 2011-02-10 Toshiba Corp 超音波診断装置
WO2012046392A1 (ja) 2010-10-08 2012-04-12 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
JP2020005192A (ja) * 2018-06-29 2020-01-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020052867A (ja) 2018-09-28 2020-04-02 株式会社Ａｘｉｖｅ 姿勢解析装置、姿勢解析方法、及びプログラム
WO2021048988A1 (ja) * 2019-09-12 2021-03-18 富士通株式会社 骨格認識方法、骨格認識プログラムおよび情報処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0942962A (ja) * 1995-07-28 1997-02-14 Ono Sokki Co Ltd 軌跡演算方法および装置
JP2011024828A (ja) * 2009-07-27 2011-02-10 Toshiba Corp 超音波診断装置
WO2012046392A1 (ja) 2010-10-08 2012-04-12 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
JP2020005192A (ja) * 2018-06-29 2020-01-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020052867A (ja) 2018-09-28 2020-04-02 株式会社Ａｘｉｖｅ 姿勢解析装置、姿勢解析方法、及びプログラム
WO2021048988A1 (ja) * 2019-09-12 2021-03-18 富士通株式会社 骨格認識方法、骨格認識プログラムおよび情報処理装置

Also Published As

Publication number Publication date
JPWO2023062757A1 (ja) 2023-04-20

Similar Documents

Publication Publication Date Title
US11638854B2 (en) Methods and systems for generating sports analytics with a mobile device
JP5754439B2 (ja) 情報報知装置、情報報知方法及びプログラム
US20100208038A1 (en) Method and system for gesture recognition
JP7373589B2 (ja) ポーズ類似度判別モデル生成方法及びポーズ類似度判別モデル生成装置
WO2017161734A1 (zh) 通过电视和体感配件矫正人体动作及系统
KR20150082093A (ko) 평가 프로그램, 평가 방법 및 평가 장치
JPWO2019116495A1 (ja) 技認識プログラム、技認識方法および技認識システム
JP4149455B2 (ja) 情報処理装置及びプログラム
Edwards et al. Low-latency filtering of kinect skeleton data for video game control
JP7078577B2 (ja) 動作類似度評価装置、方法およびプログラム
Hegazy et al. Online detection and classification of in-corrected played strokes in table tennis using IR depth camera
KR102539215B1 (ko) 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2023062757A1 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
CN111353347B (zh) 动作识别纠错方法、电子设备、存储介质
WO2019156241A1 (ja) 学習装置、推定装置、学習方法、推定方法及びコンピュータプログラム
WO2016021152A1 (ja) 姿勢推定方法および姿勢推定装置
Elias et al. Speed21: Speed climbing motion dataset
JPWO2023062757A5 (ja)
US11837255B2 (en) Display method, computer-readable recording medium recording display program, and information processing apparatus
WO2005125210A1 (en) Methods and apparatus for motion capture
JP2020188914A (ja) データ処理装置、画像配信システム、画像解析方法及び画像解析プログラム
Ozaki et al. Do different hurdle heights alter important spatiotemporal variables in hurdle clearance?
JP2020198019A (ja) 骨格抽出方法、装置およびプログラム
KR102413988B1 (ko) 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
Tanaka AN AUTOMATIC EVALUATION SYSTEM FOR STUDENTS’EXERCISE ON E-LEARNING FOR PHYSICAL EDUCATION

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21960615

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023553829

Country of ref document: JP