WO2024252659A1 - 動き判定方法、動き判定プログラムおよび情報処理装置 - Google Patents

動き判定方法、動き判定プログラムおよび情報処理装置 Download PDF

Info

Publication number
WO2024252659A1
WO2024252659A1 PCT/JP2023/021505 JP2023021505W WO2024252659A1 WO 2024252659 A1 WO2024252659 A1 WO 2024252659A1 JP 2023021505 W JP2023021505 W JP 2023021505W WO 2024252659 A1 WO2024252659 A1 WO 2024252659A1
Authority
WO
WIPO (PCT)
Prior art keywords
frames
group
motion
type
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/021505
Other languages
English (en)
French (fr)
Inventor
宣子 井谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to PCT/JP2023/021505 priority Critical patent/WO2024252659A1/ja
Publication of WO2024252659A1 publication Critical patent/WO2024252659A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • the present invention relates to a motion determination method, a motion determination program, and an information processing device.
  • the following technique recognition method has been proposed for recognizing techniques performed by athletes in gymnastics and other sports.
  • multiple frames each of which contains positional information for feature points corresponding to specific body parts of the athlete, are segmented into multiple groups, a basic movement performed by the athlete is identified for each segmented group, and the type of technique is identified based on the combination and order of the basic movements identified for each group.
  • transition feature data describing the characteristics of a transition movement is stored in advance, image movements corresponding to the body parts where the transition movement appears are detected, and the detected image movements are compared with the transition feature data to determine the time position where the transition movement appeared, thereby segmenting the hand movement.
  • the accuracy of the positional information of the feature points contained in the frames affects the accuracy of technique identification.
  • frames containing inaccurate positional information may be mixed in, which can reduce the accuracy of technique identification.
  • frames containing inaccurate positional information may be generated due to the temporary placement of an obstruction between the sensor used to measure the positional information of feature points and the player, or due to the player's posture making it difficult to accurately identify feature points.
  • the present invention aims to provide a movement determination method, a movement determination program, and an information processing device that can improve the accuracy of determining the movement of a subject.
  • a motion determination method in which a computer executes the following process.
  • the computer acquires a plurality of frames arranged in a chronological order, each including position information of a feature point corresponding to a predetermined body part of the subject, determines a motion type indicating a type of the subject's motion based on the motion of the feature point for each frame group including two or more consecutive frames extracted from the plurality of frames, and corrects the first motion type to a third motion type associated with the correction condition when the order of a first motion type determined for a first frame group among the frame groups extracted from the plurality of frames and a second motion type determined for a second frame group immediately before the first frame group satisfies a predetermined correction condition.
  • a motion determination program is provided that causes a computer to execute a process similar to the motion determination method described above.
  • an information processing device is provided that executes a process similar to the above-mentioned motion determination method.
  • the accuracy of determining the subject's movement can be improved.
  • FIG. 1 is a diagram illustrating a configuration example and a processing example of an information processing device according to a first embodiment
  • FIG. 13 illustrates an example of a configuration of an information processing system according to a second embodiment
  • FIG. 2 is a diagram illustrating an example of a configuration of processing functions included in an information processing device.
  • FIG. 11 is a diagram illustrating an example of a configuration of group management data.
  • 13 is a first example of a flowchart illustrating a procedure for technique recognition processing.
  • 13 is a second example of a flowchart illustrating a procedure for technique recognition processing.
  • FIG. 13 is a diagram showing an example of recognition of tricks on uneven bars.
  • FIG. 13 shows an example of correction of a trick on uneven bars.
  • FIG. 13 is a diagram showing an example of recognition of techniques in men's floor exercises.
  • FIG. 13 is a diagram showing an example of correction for men's floor techniques.
  • FIG. 1 is a diagram showing a configuration example and a processing example of an information processing device according to a first embodiment.
  • the information processing device 10 shown in FIG. 1 executes a process of identifying the movement of the subject 1.
  • a sensor 2 that captures the movement of the subject 1 is connected to the information processing device 10.
  • the sensor 2 is, for example, a 3D (Dimension) sensor.
  • the information processing device 10 is capable of acquiring position information of a feature point corresponding to a predetermined body part of the subject 1 based on measurement information by the sensor 2.
  • a plurality of body parts are determined in advance.
  • the body parts are, for example, parts (joints, etc.) that form the skeleton of the subject 1.
  • the information processing device 10 has a memory unit 11 and a processing unit 12.
  • the memory unit 11 is a memory area secured in a storage device provided in the information processing device 10.
  • the processing unit 12 is, for example, a processor provided in the information processing device 10.
  • the storage unit 11 stores correction condition information 13.
  • correction condition information 13 correction conditions for correcting the recognition results of the movement type indicating the type of movement and the corrected movement type when the correction conditions are satisfied are registered in association with each other.
  • the processing unit 12 acquires multiple frames arranged in a time series, each of which includes position information of feature points corresponding to each of the above-mentioned body parts of the subject 1. These frames are generated from measurement information by the sensor 2. For example, the processing unit 12 extracts feature points corresponding to each body part from each of the measurement information transmitted from the sensor 2 at a frame period, and acquires position information (e.g., three-dimensional coordinates) of each feature point.
  • position information e.g., three-dimensional coordinates
  • the processing unit 12 determines the type of movement of the subject 1 for each frame group including two or more consecutive frames extracted from these multiple frames, based on the movement of each of the above-mentioned feature points.
  • a pattern of the motion of feature points in two or more consecutive frames is defined in advance.
  • the processing unit 12 treats the two or more extracted frames as a frame group, and regards the type of motion corresponding to the matching pattern as the recognition result corresponding to the frame group.
  • the motion type may also be determined by the following method.
  • the processing unit 12 extracts small frame groups containing a number of frames equal to or less than the number of frames in the above frame groups from the multiple frames, determines a basic movement type indicating the type of basic movement for each small frame group, and determines the motion type for the one or more small frame groups based on the order of the basic movement types determined for one or more consecutive small frame groups.
  • the accuracy of the movement type determined in this manner depends on the accuracy of the positional information of each feature point contained in the frame. If the frame used to determine the movement type contains inaccurate positional information, the movement type may be misjudged. For example, if an obstruction is temporarily placed between the sensor 2 and the subject 1, or if the subject 1 assumes a particular posture, the frame may contain inaccurate positional information.
  • the processing unit 12 corrects the determined motion type as necessary based on the correction condition information 13. Specifically, the processing unit 12 refers to the correction condition information 13 and determines whether the order of the motion type determined for frame group 22, among the extracted frame groups, and the motion type determined for frame group 21 immediately preceding frame group 22 satisfies a predetermined correction condition. If this order satisfies the correction condition, the processing unit 12 corrects the motion type determined for frame group 22 to a corrected motion type associated with the correction condition. This can improve the accuracy of the motion type determination.
  • a correction condition table 13a is shown as an example of the correction condition information 13.
  • the current motion type indicates the result of the motion type determination for the frame group currently being determined (the current frame group)
  • the previous motion type indicates the result of the motion type determination for the frame group immediately preceding the current frame group.
  • the order of these motion types indicates the correction conditions.
  • the corrected motion type indicates the motion type for correcting the current motion type.
  • frame group 21 is determined to be of motion type A
  • frame group 22 is determined to be of motion type B
  • a correction condition that associates the previous motion type A with the current motion type B is registered in correction condition table 13a, and the judgment results of frame groups 21 and 22 satisfy this correction condition.
  • processing unit 12 obtains corrected motion type X associated with this correction condition from correction condition table 13a, and corrects the judgment result for frame group 22 from motion type B to motion type X.
  • the correction conditions include, for example, the order of motion types that are unlikely to appear as a determination result in adjacent frame groups, based on the orientation and posture of the subject 1. Then, for the rear frame groups among the adjacent frame groups, a motion type that is likely to appear (for example, a motion type that does not cause contradictions) is registered as the corrected motion type for such correction conditions.
  • a motion type that is likely to appear for example, a motion type that does not cause contradictions
  • FIG. 2 is a diagram showing an example of the configuration of an information processing system according to a second embodiment.
  • the information processing system shown in Fig. 2 includes a sensor 50 that captures images of the movements of athletes, and an information processing device 100 that recognizes the techniques performed by the athletes.
  • a gymnast is the subject of image capture.
  • Sensor 50 is an example of sensor 2 shown in FIG. 1, and is, for example, a 3D sensor that measures the distance to an object included in the imaging range of sensor 50.
  • Sensor 50 is placed in a position where the athlete's movements during the performance can be recognized. For example, in the case of uneven bars, sensor 50 is placed on an extension of the longitudinal direction of one of the horizontal bars, facing in the direction of that bar. Also, in the case of floor exercise, sensor 50 is placed on an extension of the top surface of the floor mat, facing in the direction of that mat.
  • Sensor 50 measures the distance to each observation point of the athlete, and generates three-dimensional data indicating the three-dimensional coordinates of each observation point at a frame cycle, and transmits it to information processing device 100.
  • three-dimensional data refers to one frame's worth of data.
  • the information processing device 100 is an example of the information processing device 10 shown in FIG. 1, and is, for example, a computer such as a personal computer or a server device.
  • the information processing device 100 recognizes the techniques performed by the player based on the three-dimensional data continuously transmitted from the sensor 50. For example, the information processing device 100 generates skeletal data indicating multiple feature points that form the player's skeleton based on the three-dimensional data transmitted from the sensor 50.
  • the information processing device 100 recognizes the basic movements performed by the player from time-series data in which the skeletal data is arranged in chronological order.
  • the information processing device 100 recognizes the type of technique performed by the player based on the order of the recognized basic movements.
  • the information processing device 100 is realized, for example, as a computer with the hardware configuration shown in FIG. 2.
  • the information processing device 100 shown in FIG. 2 comprises a processor 101, a RAM (Random Access Memory) 102, a HDD (Hard Disk Drive) 103, a GPU (Graphics Processing Unit) 104, an input interface (I/F) 105, a reading device 106, a communication interface (I/F) 107 and a network interface (I/F) 108.
  • a processor 101 a RAM (Random Access Memory) 102, a HDD (Hard Disk Drive) 103, a GPU (Graphics Processing Unit) 104, an input interface (I/F) 105, a reading device 106, a communication interface (I/F) 107 and a network interface (I/F) 108.
  • a processor 101 a RAM (Random Access Memory) 102, a HDD (Hard Disk Drive) 103, a GPU (Graphics Processing Unit) 104, an input interface (I/F) 105, a reading device 106, a communication interface
  • the processor 101 provides overall control over the entire information processing device 100.
  • the processor 101 may be, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or a PLD (Programmable Logic Device).
  • the processor 101 may also be a combination of two or more elements of a CPU, MPU, DSP, ASIC, or PLD.
  • RAM 102 is used as the main storage device of information processing device 100.
  • RAM 102 temporarily stores at least a portion of the OS (Operating System) program and application programs to be executed by processor 101.
  • RAM 102 also stores various types of data necessary for processing by processor 101.
  • the HDD 103 is used as an auxiliary storage device for the information processing device 100.
  • the OS program, application programs, and various data are stored in the HDD 103.
  • non-volatile storage devices such as a solid state drive (SSD)
  • SSD solid state drive
  • a display device 104a is connected to the GPU 104.
  • the GPU 104 displays an image on the display device 104a in accordance with instructions from the processor 101.
  • the display device 104a may be a liquid crystal display or an organic EL (ElectroLuminescence) display.
  • the input interface 105 is connected to an input device 105a.
  • the input interface 105 transmits signals output from the input device 105a to the processor 101.
  • Examples of the input device 105a include a keyboard and a pointing device.
  • Examples of the pointing device include a mouse, a touch panel, a tablet, a touch pad, and a trackball.
  • a portable recording medium 106a is detachably attached to the reading device 106.
  • the reading device 106 reads data recorded on the portable recording medium 106a and transmits it to the processor 101.
  • Examples of the portable recording medium 106a include an optical disk and a semiconductor memory.
  • the communication interface 107 receives video data captured by the sensor 50 and transmits it to the processor 101.
  • the network interface 108 transmits and receives data to and from other devices via the network 108a. Note that the three-dimensional data from the sensor 50 may be transmitted via the network 108a, and the network interface 108 may receive this data.
  • the processing functions of the information processing device 100 can be realized by the above hardware configuration.
  • 3 is a diagram showing an example of the configuration of processing functions of the information processing device 100.
  • the information processing device 100 includes a storage unit 110, a three-dimensional data acquisition unit 121, a skeleton detection unit 122, a segmentation unit 123, a basic movement recognition unit 124, a technique recognition unit 125, and a recognition result correction unit 126.
  • the memory unit 110 is a storage area secured in a storage device provided in the information processing device 100, such as the RAM 102 or the HDD 103.
  • the memory unit 110 stores segmentation condition information 111, basic movement condition information 112, technique condition information 113, technique correction condition information 114, time series data 115, and group management data 116.
  • segmentation condition information 111, basic movement condition information 112, technique condition information 113, and technique correction condition information 114 are generated in advance and stored in the memory unit 110.
  • the time series data 115 and group management data 116 are generated at the start of the technique recognition process and stored in the memory unit 110.
  • the processing of the three-dimensional data acquisition unit 121, the skeleton detection unit 122, the segmentation unit 123, the basic movement recognition unit 124, the technique recognition unit 125, and the recognition result correction unit 126 is realized, for example, by the processor 101 executing a predetermined program.
  • the three-dimensional data acquisition unit 121 acquires the three-dimensional data for each frame transmitted from the sensor 50.
  • the three-dimensional data includes the three-dimensional coordinates of each observation point on the player being photographed.
  • the skeleton detection unit 122 recognizes multiple feature points that indicate the player's skeleton based on the three-dimensional data acquired by the three-dimensional data acquisition unit 121.
  • Such feature points indicate predetermined parts of the player's body.
  • the recognized feature points correspond to the head, right shoulder joint, left shoulder joint, right elbow joint, left elbow joint, right wrist, left wrist, neck, back (e.g., the center of the back), waist (e.g., the center of the waist), right hip joint, left hip joint, right knee joint, left knee joint, right ankle, and left ankle.
  • the skeleton detection unit 122 generates skeleton data including the three-dimensional coordinates of each feature point recognized from the three-dimensional data for each frame, and records the generated skeleton data in the time series data 115.
  • the skeleton data for each frame is accumulated together with a frame number that identifies the frame. Therefore, the time series data 115 indicates skeleton data arranged in chronological order. Note that the frame numbers associated with the skeleton data are consecutive numbers associated with each frame transmitted from the sensor 50, regardless of whether or not a skeleton feature point has been detected from the frame.
  • the segmentation unit 123 refers to the segmentation condition information 111 and identifies frames that are segmentation points from the time series data 115.
  • the segmentation unit 123 classifies frames into groups by segmenting the frame group using the segmentation points as boundaries.
  • the frame at the segmentation point becomes the first frame among the frames included in the group.
  • Each group is assigned a segmentation number that identifies the group.
  • a group of frames included in one group may be referred to as a "segment frame group.”
  • a group is a collection of frames from the frame that is the start point of a basic exercise performed by an athlete to the frame that is the end point of the basic exercise.
  • Information indicating the conditions (segmentation conditions) of the skeletal data for identifying a frame as a segmentation point is registered in the segmentation condition information 111.
  • the segmentation conditions indicate, for example, the positional relationship between specified joints that corresponds to the posture the athlete takes at the start or end of a basic exercise.
  • the segmentation unit 123 identifies a frame as a segmentation point when the skeletal data corresponding to the frame matches any of the segmentation conditions included in the segmentation condition information 111.
  • the basic movement recognition unit 124 recognizes the basic movement performed by the player for each segmented group. In this process, the basic movement recognition unit 124 refers to the basic movement condition information 112 and identifies which of multiple predetermined basic movements the movement indicated by the skeletal data of the segmented frame group included in the group corresponds to.
  • the basic movement condition information 112 information indicating the conditions (basic movement conditions) of the group corresponding to each basic movement is registered.
  • the basic movement conditions indicate, for example, the time-series movements of a specified joint corresponding to each basic movement.
  • the basic movement recognition unit 124 outputs the type of the basic movement as the recognition result.
  • the basic movement conditions may also be represented by a combination of the time-series movements of specific joints in the group currently being recognized and the recognition results of the basic movements for the immediately preceding group.
  • the basic movement recognition unit 124 outputs the type of the basic movement as the recognition result.
  • the basic movement recognition unit 124 may identify basic movements by inputting skeletal data contained in a group into a trained model that has been generated in advance by machine learning.
  • the technique recognition unit 125 recognizes the techniques of the exercises performed by the athlete based on the order of the types of basic exercises (basic exercise types) corresponding to one or more chronologically consecutive frames.
  • the technique condition information 113 is referenced.
  • technique condition information 113 technique conditions indicating the order of the types of basic exercises are registered for each technique. If the order of the basic exercise types recognized for the current processing target group and the one or more groups immediately preceding it matches a technique condition corresponding to any of the techniques included in the technique condition information 113, the technique recognition unit 125 outputs the type (technique name) of the technique as the recognition result.
  • the frames contained in the group, the basic movement type for each group, and the technique name are identified, and the identified information is registered in the group management data 116. Note that, as will be described later, at this point, the technique name is provisionally registered and has not been finalized.
  • FIG. 4 is a diagram showing an example of the configuration of group management data.
  • group management data 116 a segment number that identifies the group, a first frame number that indicates the first frame of the group, an end frame number that indicates the last frame of the group, and a basic movement type are registered for each group.
  • technique names are identified from multiple consecutive groups, the identified technique names are registered in association with those groups.
  • a new segmentation number is registered in the group management data 116, and the frame number of the frame of the segmentation point is registered as the first frame number in association with the segmentation number. Also, when the next segmentation point is identified by the segmentation unit 123, a new segmentation number is registered in the group management data 116, and the frame number of the frame of the segmentation point is registered as the first frame number in association with the segmentation number. At the same time, the frame number of the frame immediately before the segmentation point is registered as the last frame number in association with the immediately preceding segment number.
  • the basic exercise recognition unit 124 recognizes a basic exercise corresponding to a group, the basic exercise type indicating that basic exercise is registered in association with the group number. However, if it is determined that the group does not correspond to any basic exercise type, information indicating this is registered in the basic exercise type field.
  • the technique recognition unit 125 identifies technique names from multiple consecutive groups, the identified technique names are registered in association with the group numbers of those groups.
  • the basic exercise type "front wheel” is recognized for group number "012”
  • the basic exercise type “handstand with one twist” is recognized for group number "013.”
  • the technique name "front wheel with one twist” is recognized for group numbers "012” and "013.”
  • occlusion may occur when an object such as equipment or another person such as an assistant is captured between the sensor 50 and the athlete.
  • feature points of some body parts may be missing from the skeletal data. In this case, the information processing device 100 cannot correctly acquire the skeletal data.
  • the technique recognition unit 125 recognizes the techniques performed by the athlete based on the order of basic exercise types. However, if inaccurate skeletal data is mixed in due to occlusion, the basic exercises may be misrecognized, which may result in the techniques also being misrecognized.
  • the information processing device 100 is equipped with a recognition result correction unit 126.
  • the recognition result correction unit 126 corrects the recognition result of the most recent combination of multiple consecutive techniques recognized by the technique recognition unit 125, depending on the combination of those techniques.
  • This correction process references the technique correction condition information 114.
  • the technique correction condition information 114 multiple patterns of connections (orders) of multiple techniques when erroneous recognition of a technique occurs are registered as "technique correction conditions”.
  • the technique correction condition information 114 also registers the corrected technique name for each technique correction condition.
  • the recognition result correction unit 126 replaces the recognition result of the current technique with the technique associated with the corresponding technique correction condition. This makes it possible to correct the incorrectly recognized technique to the correct technique, even if the misrecognition of a technique occurs due to the inclusion of inaccurate skeletal data, thereby improving the accuracy of technique recognition.
  • the technique correction conditions indicate the connection (order) between two techniques: the current technique and the technique recognized immediately before (the previous technique). Furthermore, the technique correction conditions also include conditions that indicate the situation between the current technique and the previous technique.
  • Step S ⁇ b>11 The three-dimensional data acquisition unit 121 acquires three-dimensional data corresponding to one frame (current frame) transmitted from the sensor 50 .
  • the skeleton detection unit 122 Based on the acquired three-dimensional data, the skeleton detection unit 122 generates skeleton data including three-dimensional coordinates of each feature point that indicates the player's skeleton. The skeleton detection unit 122 records the generated skeleton data in the time series data 115 in association with a frame number that identifies the current frame. The time series data 115 is generated when the processing of FIG. 5 is started, and is stored in the memory unit 110.
  • the segmentation unit 123 determines whether the skeletal data corresponding to the current frame matches any of the segmentation conditions registered in the segmentation condition information 111 . If the skeleton data matches any of the segmentation conditions, the current frame is identified as the segmentation point. In this case, the segmentation unit 123 registers a new segmentation number in the group management data 116, and registers the frame number of the current frame as the first frame number in association with the segmentation number. This determines the current frame as the first frame of the new group.
  • the segmentation unit 123 registers the frame number of the frame immediately before the current frame (previous frame) as the last frame number in association with the segmentation number of the previous group. This determines the frame range of the previous group.
  • the basic exercise recognition unit 124 determines whether the comparison information for the immediately preceding group matches any of the basic exercise conditions registered in the basic exercise condition information 112.
  • the comparison information includes at least the movements indicated by the skeletal data included in the immediately preceding group.
  • the comparison information may also include the basic exercise type recognized for the group immediately preceding the immediately preceding group. If the comparison information matches any of the basic exercise conditions, the process proceeds to step S15. If the comparison information does not match any of the basic exercise conditions, the process proceeds to step S22.
  • Step S15 If the comparison information matches any of the basic movement conditions in step S14, the basic movement type corresponding to the matched basic movement condition becomes the recognition result of the basic movement for the immediately preceding group.
  • the basic movement recognition unit 124 registers the corresponding basic movement type in the group management data 116 in association with the segment number of the immediately preceding group.
  • the technique recognition unit 125 obtains basic movement recognition results (basic movement types) for multiple consecutive frames, starting with the previous group, from the group management data 116.
  • the technique recognition unit 125 determines whether the type sequence in which the obtained basic movement types are arranged in frame order matches any of the technique conditions registered in the technique condition information 113. If the type sequence matches any of the technique conditions, processing proceeds to step S17; if the type sequence does not match any of the technique conditions, processing proceeds to step S22.
  • Step S17 If the type column matches any of the technique conditions in step S15, the technique name corresponding to the matched technique condition becomes the provisional recognition result for the technique.
  • the technique recognition unit 125 provisionally registers the technique name corresponding to the matched technique condition in the group management data 116, in association with the segment numbers of multiple consecutive groups for which the basic movement types were obtained in step S16.
  • Step S18 the technique recognized in step S17 is designated as the "current technique”, and the name of that technique is designated as the "current technique name”.
  • the technique recognized immediately before the current technique is designated as the "previous technique”, and the name of that technique is designated as the "previous technique name”.
  • the recognition result correction unit 126 obtains from the group management data 116 the name of the previous technique, the frame number of the last frame in the multiple groups in which the previous technique was recognized, and the first frame number in the multiple groups in which the current technique was recognized.
  • Step S19 The recognition result correction unit 126 determines whether the order of the previous technique name and the current technique name, and the situation between the last frame number and the first frame number, match any of the technique correction conditions registered in the technique correction condition information 114. If any of the technique correction conditions are matched, processing proceeds to step S20; if none of the technique correction conditions are matched, processing proceeds to step S21.
  • the recognition result correction unit 126 obtains from the technique correction condition information 114 the corrected technique name that corresponds to the technique correction condition for which the order of the technique names and the situation between the frame numbers matched in step S19.
  • the recognition result correction unit 126 corrects the current technique name with the corrected technique name obtained. Specifically, the recognition result correction unit 126 replaces the technique name registered in the group management data 116 in step S17 with the corrected technique name.
  • Step S21 The technique name (current technique name) registered in the group management data 116 in step S17 is confirmed.
  • Step S22 The three-dimensional data acquisition unit 121 determines whether to end the technique recognition process. For example, it is determined that the technique recognition process is to be ended when the user performs an operation to end the technique recognition process, or when the transmission of three-dimensional data from the sensor 50 has ended and new three-dimensional data cannot be acquired. If the technique recognition process is to be continued, the process proceeds to step S11. If the technique recognition process is to be ended, the process in Figs. 5 and 6 ends.
  • FIG. 7 is a diagram showing an example of recognition of a technique on uneven bars.
  • a forward wheel is performed with the bar held in the large hand, and a handstand is also performed.
  • the technique name is recognized as a large reverse hand forward wheel during this period.
  • a forward wheel is performed with the bar held in the large hand, and a 360 degree twist of the body is also performed while in a handstand.
  • the technique name is recognized as a large reverse hand forward wheel one twist during this period.
  • the hand is erroneously recognized as being temporarily removed from the bar.
  • An example of such a situation is when another person or equipment temporarily blocks the space between the sensor 50 and the bar, and the wrist cannot be temporarily recognized by the skeleton detection unit 122.
  • the grip on the bar is erroneously recognized as having changed from a large overhand grip to a normal grip.
  • the name of the technique may be erroneously recognized as a single front wheel twist during the period from time t2 to time t3 .
  • time tm corresponding to the segment frame with segment number m corresponds to time t1 in FIG. 7
  • time tm+2 corresponding to the segment frame with segment number (m+2) corresponds to time t2 in FIG.
  • the segmentation unit 123 identifies the frame where the handstand begins and the frame where the handstand ends as segmentation points.
  • the frame where the handstand begins is determined, for example, when the shoulder height is higher than the height of the bar and the hips are bent at more than 45 degrees.
  • the frame where the handstand ends is determined, for example, when the shoulder height is lower than the height of the bar and the hips are bent at more than 45 degrees.
  • the basic movement recognition unit 124 recognizes basic movements based on the athlete's rotation direction and posture in a group of frames separated by segments, and the grip (such as a large handstand) determined in the handstand section of the previous group.
  • Basic movements recognized based on the athlete's rotation direction and posture include wheel and sole support, which are recognized in the case of a straight body.
  • the basic exercise recognition unit 124 recognizes the group as a big reverse handstand twist. Based on the recognition result of the basic exercise type for the group and the rotation direction and posture of the player in the next group (group with segment number m), the basic exercise recognition unit 124 recognizes the basic exercise type for the group with segment number m as a big reverse hand forward wheel. In addition, the basic exercise recognition unit 124 recognizes the basic exercise type for the next group with segment number (m+1) as a handstand. From the order of such basic exercise types for each group with segment numbers m and (m+1), the technique recognition unit 125 correctly recognizes the technique name for each group as a big reverse hand forward wheel. In this case, the recognition result correction unit 126 does not correct the technique name.
  • the group with segment number (m+1) contains frames of inaccurate 3D data in which the wrist is not visible due to occlusion during the handstand. This causes the hand to be erroneously determined to have been released from the bar in that group. For this reason, at the start of the next group with segment number (m+2), the basic movement recognition unit 124 erroneously recognizes the grip on the bar as normal, and as a result, erroneously recognizes the basic movement type for that group as front wheel. On the other hand, the basic movement recognition unit 124 correctly recognizes the basic movement type for the next group with segment number (m+3) as handstand with one twist. In this case, the technique recognition unit 125 erroneously recognizes the technique name for the groups with segment numbers (m+2) and (m+3) as front wheel with one twist, based on the order of the basic movement types, front wheel, handstand with one twist.
  • the technique correction condition information 114 registers the order of the previous technique name "Big Reverse Front Wheel” and the current technique name "Front Wheel Single Twist” as technique correction conditions. Furthermore, Big Reverse Front Wheel is associated with this technique correction condition as the corrected technique name. In this case, the technique correction condition information 114 corrects the technique names for each group of segment numbers (m+2) and (m+3) to Big Reverse Front Wheel. This confirms the correct technique name recognition result for each group.
  • the technique correction condition information 114 pre-registers this order of technique names as a technique correction condition, and also registers the correct technique names after correction. Even if frames of inaccurate three-dimensional data are mixed in as described above, the technique correction condition information 114 can correct technique names that have been misrecognized as a result of this to the correct technique names. This makes it possible to improve the accuracy of technique name recognition.
  • Figure 9 is a diagram showing an example of technique correction condition information for uneven bars.
  • Each record of technique correction condition information 114a is registered in association with the previous technique name, the conditions between techniques, the current technique name, and the corrected technique name. Of these, the order of the previous technique name and the current technique name, and the conditions between techniques form the technique correction condition.
  • the inter-move condition indicates a condition related to the frames (inter-move frames) located between the last frame in the frame group in which the previous move name was recognized and the first frame in the frame group in which the current move name is recognized.
  • the inter-move condition is a condition for ensuring that the current move name is recognized after the previous move name, and for example, a condition that the number of inter-move frames is a specified number or less can be applied. In the example of Figure 9, a condition that the number of inter-move frames is 30 or less is registered.
  • Fig. 10 is a diagram showing an example of recognition of techniques in men's floor exercises.
  • Fig. 10 in the period from time t11 to time t12 , two back flips are performed consecutively. In this case, the name of the technique in this period is recognized as a back flip jump. Following this, in the period from time t13 to time t14 , a backward somersault is performed while twisting the body. In this case, the name of the technique in this period is recognized as a back somersault twist.
  • Fig. 11 is a diagram showing an example of correction of techniques in men's floor exercises.
  • time tn corresponding to the segment frame with segment number n corresponds to time t11 in Fig. 10
  • time tn+2 corresponding to the segment frame with segment number (n+2) corresponds to time t12 in Fig. 10.
  • time tn+3 corresponding to the segment frame with segment number (n+3) corresponds to time t13 in Fig. 10
  • time tn+4 corresponding to the segment frame with segment number (n+4) corresponds to time t14 in Fig. 10.
  • the segmentation unit 123 identifies as segmentation points the frame where a jump is performed, the frame where the athlete lands on the mat, and the frame where the athlete places both hands on the mat.
  • the frame where a jump is performed is determined, for example, when the height of the toes from the mat is higher than a predetermined threshold.
  • the frame where the athlete lands is determined, for example, when the height of the toes from the mat is lower than a predetermined threshold.
  • the frame where the athlete places both hands on the mat is determined, for example, when the height of the wrists from the mat is lower than a predetermined threshold.
  • the basic movement recognition unit 124 recognizes basic movements based on the athlete's initial orientation, amount of rotation, and posture (stretching, bending, etc.) in a group of frames separated by segments.
  • the basic movement recognition unit 124 recognizes the basic movement type for the group with segment number n as a back roll, and also recognizes the basic movement type for the group with segment number (n+1) as a back roll. From this order of basic movement types for each group with segment numbers n and (n+1), the technique recognition unit 125 correctly recognizes the technique name for each group as a back roll jump. In this case, the recognition result correction unit 126 does not correct the technique name.
  • the skeleton detection unit 122 erroneously determines that the athlete is facing forward, resulting in inaccurate three-dimensional data indicating that the body is facing forward.
  • the technique recognition unit 125 erroneously recognizes the technique name for the group with segment number (n+3) as a forward body extension somersault, based on the basic movement type of one forward rotation and body extension.
  • the technique correction condition information 114 registers the order of the previous technique name "backflip” and the current technique name "forward body flip” as technique correction conditions. Furthermore, a backflip twist is associated with this technique correction condition as the technique name after correction. In this case, the technique correction condition information 114 corrects the technique name for the group with segment number (n+3) to a backflip twist. This confirms the correct technique name recognition result for that group.
  • the technique correction condition information 114 pre-registers this order of technique names as a technique correction condition, and also registers the correct technique names after correction. Even if frames of inaccurate three-dimensional data are mixed in as described above, the technique correction condition information 114 can correct technique names that have been misrecognized as a result of this to the correct technique names. This makes it possible to improve the accuracy of technique name recognition.
  • FIG. 12 is a diagram showing an example of technique correction condition information for men's floor. As with the technique correction condition information 114a in FIG. 9, each record of the technique correction condition information 114b is registered in association with the previous technique name, the interval between techniques, the current technique name, and the corrected technique name.
  • the inter-technique conditions indicate conditions related to frames (inter-technique frames) located between the last frame in the frame group in which the previous technique name was recognized and the first frame in the frame group in which the current technique name is recognized.
  • the inter-technique conditions registered include a condition that the number of inter-technique frames is 30 or less, as well as a condition that there is no basic movement. The condition that there is no basic movement indicates that the basic movement type could not be recognized for the group to which the inter-technique frame belongs.
  • the processing functions of the devices can be realized by a computer.
  • a program describing the processing contents of the functions that each device should have is provided, and the above processing functions are realized on the computer by executing the program on a computer.
  • the program describing the processing contents can be recorded on a computer-readable recording medium.
  • Examples of computer-readable recording media include magnetic storage devices, optical discs, and semiconductor memories. Examples of magnetic storage devices include hard disk drives (HDDs) and magnetic tapes. Examples of optical discs include CDs (Compact Discs), DVDs (Digital Versatile Discs), and Blu-ray Discs (BD, registered trademark).
  • portable recording media such as DVDs or CDs on which the program is recorded are sold.
  • the program can also be stored in a storage device of a server computer, and the program can be transferred from the server computer to other computers via a network.
  • a computer that executes a program stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. The computer then reads the program from its own storage device and executes processing in accordance with the program. The computer can also read a program directly from a portable recording medium and execute processing in accordance with that program. The computer can also execute processing in accordance with the received program each time a program is transferred from a server computer connected via a network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

対象者の動きの判定精度を高める。　処理部（１２）は、対象者（１）の所定の身体部位に対応する特徴点の位置情報をそれぞれ含む、時系列に並んだ複数のフレームを取得し、複数のフレームから抽出される、連続する２以上のフレームを含むフレーム群ごとに、特徴点の動きに基づいて対象者（１）の動きの種別を示す動き種別を判定し、複数のフレームから抽出されたフレーム群のうち、フレーム群（２２）について判定された第１の動き種別と、フレーム群（２２）の直前のフレーム群（２１）について判定された第２の動き種別との順序が所定の補正条件を満たす場合、第１の動き種別を補正条件に対応付けられた第３の動き種別に補正する。

Description

動き判定方法、動き判定プログラムおよび情報処理装置
　本発明は、動き判定方法、動き判定プログラムおよび情報処理装置に関する。
　各種スポーツの分野では、競技の技術進歩に伴い、選手の特定の動き（演技の種類など）を目視によって正確に認識することの困難性が高まっている。このため、近年では、選手の動きを自動的に認識可能な技術の開発が行われている。
　このような技術の例として、体操競技などの選手の技を認識する次のような技認識方法が提案されている。この方法では、選手の所定の身体部位に対応する特徴点の位置情報をそれぞれ含む複数のフレームを複数のグループに分節し、分節されたグループごとに選手が行った基本運動を特定し、グループごとに特定された基本運動の組み合わせおよび順序に基づいて技の種別を識別する。
　また、利用者の手動作の認識に関しては、次のような手動作分節方法が提案されている。この方法では、遷移動作の特徴を記述した遷移特徴データをあらかじめ記憶し、遷移動作が現れる身体部位と対応する画像の動きを検出し、検出した画像の動きを遷移特徴データと比較して、遷移動作が現れた時間位置を求めることによって手動作を分節する。
特開２０２２－１７８３５６号公報 特開２０００－１７２１６３号公報
　上記のように、身体部位に対応する特徴点の位置情報をそれぞれ含むフレームを用いて、フレームのグループごとに特定された基本運動の組み合わせおよび順序を基に技の種別を識別する技術では、フレームに含まれる特徴点の位置情報の正確性が、技の識別精度に影響を与える。実際には特徴点の位置情報を計測する場合には、不正確な位置情報を含むフレームが混ざり込む場合があり、それによって技の識別精度が低下するという問題がある。例えば、特徴点の位置情報を計測するためのセンサと選手との間に遮蔽物が一時的に位置することや、選手の姿勢によっては特徴点を正確に特定しにくい場合があることが原因となって、不正確な位置情報を含むフレームが発生し得る。
　また、このような課題は、選手の技の認識に限らず、対象者の動きを判定する場合に一般的に発生し得る。
　１つの側面では、本発明は、対象者の動きの判定精度を高めることが可能な動き判定方法、動き判定プログラムおよび情報処理装置を提供することを目的とする。
　１つの案では、コンピュータが次のような処理を実行する動き判定方法が提供される。この動き判定方法において、コンピュータは、対象者の所定の身体部位に対応する特徴点の位置情報をそれぞれ含む、時系列に並んだ複数のフレームを取得し、複数のフレームから抽出される、連続する２以上のフレームを含むフレーム群ごとに、特徴点の動きに基づいて対象者の動きの種別を示す動き種別を判定し、複数のフレームから抽出されたフレーム群のうち、第１のフレーム群について判定された第１の動き種別と、第１のフレーム群の直前の第２のフレーム群について判定された第２の動き種別との順序が所定の補正条件を満たす場合、第１の動き種別を補正条件に対応付けられた第３の動き種別に補正する。
　また、１つの案では、上記の動き判定方法と同様の処理をコンピュータに実行させる動き判定プログラムが提供される。
　さらに、１つの案では、上記の動き判定方法と同様の処理を実行する情報処理装置が提供される。
　１つの側面では、対象者の動きの判定精度を高めることができる。
　本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
第１の実施の形態に係る情報処理装置の構成例および処理例を示す図である。 第２の実施の形態に係る情報処理システムの構成例を示す図である。 情報処理装置が備える処理機能の構成例を示す図である。 グループ管理データの構成例を示す図である。 技認識処理の手順を示すフローチャートの例（その１）である。 技認識処理の手順を示すフローチャートの例（その２）である。 段違い平行棒における技の認識例を示す図である。 段違い平行棒における技の補正例を示す図である。 段違い平行棒の場合の技補正条件情報の例を示す図である。 男子床における技の認識例を示す図である。 男子床における技の補正例を示す図である。 男子床の場合の技補正条件情報の例を示す図である。
　以下、本発明の実施の形態について図面を参照して説明する。
　〔第１の実施の形態〕
　図１は、第１の実施の形態に係る情報処理装置の構成例および処理例を示す図である。図１に示す情報処理装置１０は、対象者１の動きを識別する処理を実行する。情報処理装置１０には、対象者１の動作を撮影するセンサ２が接続されている。センサ２は、例えば３Ｄ（Dimension）センサである。情報処理装置１０は、センサ２による計測情報に基づいて、対象者１における所定の身体部位に対応する特徴点の位置情報を取得可能になっている。身体部位としては、あらかじめ複数箇所が決められている。身体部位は、例えば、対象者１の骨格を形成する部位（関節など）である。
　情報処理装置１０は、記憶部１１と処理部１２を有する。記憶部１１は、情報処理装置１０が備える記憶装置に確保される記憶領域である。処理部１２は、例えば、情報処理装置１０が備えるプロセッサである。
　記憶部１１には、補正条件情報１３が記憶されている。補正条件情報１３には、動きの種別を示す動き種別の認識結果を補正するための補正条件と、その補正条件が満たされた場合における補正後の動き種別とが対応付けて登録されている。
　処理部１２は、対象者１についての上記各身体部位に対応する特徴点の位置情報をそれぞれ含む、時系列に並んだ複数のフレームを取得する。これらのフレームは、センサ２による計測情報から生成される。例えば、処理部１２は、センサ２からフレーム周期で送信される計測情報のそれぞれから、各身体部位に対応する特徴点を抽出し、各特徴点の位置情報（例えば三次元座標）を取得する。
　処理部１２は、これらの複数のフレームから抽出される、連続する２以上のフレームを含むフレーム群ごとに、上記各特徴点の動きに基づいて対象者１についての動き種別を判定する。
　例えば、動き種別ごとに、連続する２以上のフレームにおける特徴点の動きのパターンがあらかじめ定義される。処理部１２は、複数のフレームからいずれかのパターンに合致する２以上のフレームを抽出した場合に、抽出された２以上のフレームをフレーム群とし、合致したパターンに対応する動き種別を当該フレーム群に対応する認識結果とする。
　また、次のような方法により動き種別が判定されてもよい。処理部１２は、複数のフレームから上記のフレーム群以下のフレーム数を含む小フレーム群を抽出し、小フレーム群ごとに基本運動の種別を示す基本運動種別を判定し、連続する１以上の小フレーム群について判定された基本運動種別の順序に基づいて、当該１以上の小フレーム群についての動き種別を判定する。
　ところで、このようにして判定された動き種別の判定精度は、フレームに含まれる各特徴点の位置情報の正確性に依存する。動き種別の判定に用いたフレームに不正確な位置情報が含まれる場合、動き種別が誤判定される可能性がある。例えば、センサ２と対象者１との間に遮蔽物が一時的に位置した場合や、対象者１が特定の姿勢をとった場合に、フレームに不正確な位置情報が含まれることがあり得る。
　このような動き種別の誤判定を防止するために、処理部１２は、判定された動き種別を、補正条件情報１３に基づき、必要に応じて補正する。具体的には、処理部１２は、補正条件情報１３を参照し、抽出されたフレーム群のうち、フレーム群２２について判定された動き種別と、フレーム群２２の直前のフレーム群２１について判定された動き種別との順序が所定の補正条件を満たすかを判定する。処理部１２は、この順序が補正条件を満たす場合、フレーム群２２について判定された動き種別を、補正条件に対応付けられた補正後の動き種別に補正する。これにより、動き種別の判定精度を高めることができる。
　図１では、補正条件情報１３の一例として補正条件テーブル１３ａを示している。補正条件テーブル１３ａには、直前の動き種別と、現在の動き種別と、補正後の動き種別の組み合わせが複数パターン登録されている。現在の動き種別は、現在判定対象となっているフレーム群（現在のフレーム群）についての動き種別の判定結果を示し、直前の動き種別は、現在のフレーム群の直前のフレーム群についての動き種別の判定結果を示す。これらの動き種別の順序が補正条件を示す。補正後の動き種別は、現在の動き種別を補正するための動き種別を示す。
　図１の例では、フレーム群２１については動き種別Ａと判定され、フレーム群２２については動き種別Ｂと判定されている。補正条件テーブル１３ａには、直前の動き種別Ａと現在の動き種別Ｂとが対応付けられた補正条件が登録されており、フレーム群２１，２２の判定結果がこの補正条件を満たす。この場合、処理部１２は、この補正条件に対応付けられた補正後の動き種別Ｘを補正条件テーブル１３ａから取得し、フレーム群２２についての判定結果を動き種別Ｂから動き種別Ｘに補正する。
　補正条件には、例えば、対象者１の向きや体勢から、隣り合うフレーム群での判定結果として出現可能性が低い動き種別の順序が登録される。そして、このような補正条件に対して、隣り合うフレーム群のうち後ろ側のフレーム群について、出現可能性が高い動き種別（例えば、矛盾が生じない動き種別）が補正後の動き種別として登録される。このような情報に基づいて後ろ側のフレーム群についての判定結果を補正することで、判定に用いたフレームに不正確な特徴点の位置情報が含まれている場合でも、動き種別の誤判定が発生する可能性を低減できる。その結果、動き種別の判定精度を向上させることができる。
　〔第２の実施の形態〕
　次に、動き種別の例として体操競技の技を認識するためのシステムについて説明する。
　図２は、第２の実施の形態に係る情報処理システムの構成例を示す図である。図２に示す情報処理システムは、選手の動作を撮影するセンサ５０と、選手が行った技を認識する情報処理装置１００を含む。本実施の形態では例として、体操選手が撮影対象となる。
　センサ５０は、図１に示したセンサ２の一例であり、例えば、センサ５０の撮影範囲に含まれる対象物までの距離を計測する３Ｄセンサである。センサ５０は、演技中における選手の動作を認識可能な位置に配置される。例えば、段違い平行棒の場合、センサ５０は、いずれかの鉄棒の長手方向の延長線上に、その鉄棒の方向を向いて配置される。また、床運動の場合、センサ５０は、床のマットの上面の延長上に、そのマットの方向を向いて配置される。センサ５０は、選手の各観測点までの距離を計測し、各観測点の三次元座標を示す三次元データをフレーム周期で生成して情報処理装置１００に送信する。なお、以下の説明において、「三次元データ」は１フレーム分のデータを示すものとする。
　情報処理装置１００は、図１に示した情報処理装置１０の一例であり、例えば、パーソナルコンピュータやサーバ装置などのコンピュータである。情報処理装置１００は、センサ５０から連続的に送信された三次元データに基づいて、選手が行った技を認識する。例えば、情報処理装置１００は、センサ５０から送信された三次元データに基づいて、選手の骨格を形成する複数の特徴点を示す骨格データを生成する。情報処理装置１００は、骨格データを時系列的に並べた時系列データから、選手が行った基本運動を認識する。情報処理装置１００は、認識された基本運動の順序に基づいて、選手が行った技の種類を認識する。
　ここで、図２を用いて、情報処理装置１００のハードウェア構成例について説明する。情報処理装置１００は、例えば、図２に示すようなハードウェア構成のコンピュータとして実現される。
　図２に示す情報処理装置１００は、プロセッサ１０１、ＲＡＭ（Random Access Memory）１０２、ＨＤＤ（Hard Disk Drive）１０３、ＧＰＵ（Graphics Processing Unit）１０４、入力インタフェース（Ｉ／Ｆ）１０５、読み取り装置１０６、通信インタフェース（Ｉ／Ｆ）１０７およびネットワークインタフェース（Ｉ／Ｆ）１０８を備える。
　プロセッサ１０１は、情報処理装置１００全体を統括的に制御する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＰＬＤ（Programmable Logic Device）である。また、プロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。
　ＲＡＭ１０２は、情報処理装置１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。
　ＨＤＤ１０３は、情報処理装置１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳプログラム、アプリケーションプログラムおよび各種データが格納される。なお、補助記憶装置としては、ＳＳＤ（Solid State Drive）などの他の種類の不揮発性記憶装置を使用することもできる。
　ＧＰＵ１０４には、表示装置１０４ａが接続されている。ＧＰＵ１０４は、プロセッサ１０１からの命令にしたがって、画像を表示装置１０４ａに表示させる。表示装置１０４ａとしては、液晶ディスプレイや有機ＥＬ（ElectroLuminescence）ディスプレイなどがある。
　入力インタフェース１０５には、入力装置１０５ａが接続されている。入力インタフェース１０５は、入力装置１０５ａから出力される信号をプロセッサ１０１に送信する。入力装置１０５ａとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
　読み取り装置１０６には、可搬型記録媒体１０６ａが脱着される。読み取り装置１０６は、可搬型記録媒体１０６ａに記録されたデータを読み取ってプロセッサ１０１に送信する。可搬型記録媒体１０６ａとしては、光ディスク、半導体メモリなどがある。
　通信インタフェース１０７は、センサ５０によって撮影された動画像のデータを受信し、プロセッサ１０１に送信する。ネットワークインタフェース１０８は、ネットワーク１０８ａを介して他の装置との間でデータの送受信を行う。なお、センサ５０からの三次元データはネットワーク１０８ａを介して送信され、ネットワークインタフェース１０８がこのデータを受信してもよい。
　以上のようなハードウェア構成によって、情報処理装置１００の処理機能を実現することができる。
　図３は、情報処理装置が備える処理機能の構成例を示す図である。情報処理装置１００は、記憶部１１０、三次元データ取得部１２１、骨格検出部１２２、分節部１２３、基本運動認識部１２４、技認識部１２５および認識結果補正部１２６を備える。
　記憶部１１０は、ＲＡＭ１０２やＨＤＤ１０３など、情報処理装置１００が備える記憶装置に確保された記憶領域である。記憶部１１０には、分節条件情報１１１、基本運動条件情報１１２、技条件情報１１３、技補正条件情報１１４、時系列データ１１５およびグループ管理データ１１６が記憶される。これらのうち、分節条件情報１１１、基本運動条件情報１１２、技条件情報１１３および技補正条件情報１１４は、あらかじめ生成されて記憶部１１０に記憶される。一方、時系列データ１１５およびグループ管理データ１１６は、技の認識処理の開始時に生成されて記憶部１１０に記憶される。
　三次元データ取得部１２１、骨格検出部１２２、分節部１２３、基本運動認識部１２４、技認識部１２５および認識結果補正部１２６の処理は、例えば、プロセッサ１０１が所定のプログラムを実行することで実現される。
　三次元データ取得部１２１は、センサ５０から送信されたフレームごとの三次元データを取得する。前述のように、三次元データは、撮影対象の選手における各観測点の三次元座標を含む。
　骨格検出部１２２は、三次元データ取得部１２１によって取得された三次元データに基づいて、選手の骨格を示す複数の特徴点を認識する。このような特徴点は、選手の身体においてあらかじめ決められた部位を示す。例えば、特徴点としては、頭部、右肩関節、左肩関節、右肘関節、左肘関節、右手首、左手首、首、背中（例えば、背中の中心）、腰（例えば、腰の中心）、右股関節、左股関節、右膝関節、左膝関節、右足首、左足首の各位置に対応する点が認識される。
　骨格検出部１２２は、フレームごとに、三次元データから認識された各特徴点の三次元座標を含む骨格データを生成し、生成された骨格データを時系列データ１１５に記録する。時系列データ１１５には、フレームごとの骨格データが、フレームを識別するフレーム番号とともに蓄積されていく。したがって、時系列データ１１５は、時系列的に並べられた骨格データを示す。なお、骨格データに対応付けられるフレーム番号は、フレームから骨格の特徴点が検出されたか否かに関係なく、センサ５０から送信される各フレームに対応付けられた通し番号である。
　分節部１２３は、分節条件情報１１１を参照し、時系列データ１１５から分節点となるフレームを特定する。分節部１２３は、分節点を境界としてフレーム群を分節することで、フレームをグループに分類する。分節点のフレームは、グループに含まれるフレームのうちの先頭フレームとなる。各グループには、グループを識別する分節番号が付与される。以下、１つのグループに含まれるフレーム群を「分節フレーム群」と記載する場合がある。
　グループは、ある１つの基本運動を選手が行った場合において、基本運動の始点となるフレームから基本運動の終点となるフレームまでの各フレームを集合として扱うものである。分節条件情報１１１には、フレームを分節点と特定するための骨格データの条件（分節条件）を示す情報が登録されている。分節条件は、例えば、基本運動の開始時や終了時に選手がとる体勢に対応する、所定関節間の位置関係を示す。分節部１２３は、フレームに対応する骨格データが、分節条件情報１１１に含まれるいずれかの分節条件に合致した場合に、そのフレームを分節点と特定する。
　基本運動認識部１２４は、分節されたグループごとに、選手が行った基本運動を認識する。この処理では、基本運動認識部１２４は、基本運動条件情報１１２を参照し、グループに含まれる分節フレーム群の骨格データが示す動きが、あらかじめ決められた複数の基本運動のうちのどれに該当するかを特定する。
　基本運動条件情報１１２には、各基本運動に該当するグループの条件（基本運動条件）を示す情報が登録されている。基本運動条件は、例えば、各基本運動に対応する、所定関節の時系列的な動きを示す。この場合、基本運動認識部１２４は、グループに含まれる骨格データが示す動きが、基本運動条件情報１１２に含まれる、いずれかの基本運動に対応する基本運動条件に合致した場合に、その基本運動の種別を認識結果として出力する。
　また、基本運動条件は、現在の認識対象のグループにおける所定関節の時系列的な動きと、直前のグループについての基本運動の認識結果との組合せによって表されてもよい。この場合、基本運動認識部１２４は、グループに含まれる骨格データが示す動きが、基本運動条件１１２に含まれる、いずれかの基本運動に対応する基本運動条件に合致し、なおかつ、直前グループの認識結果が当該基本運動条件に合致した場合に、その基本運動の種別を認識結果として出力する。
　さらに、基本運動認識部１２４は、機械学習によってあらかじめ生成された学習済みモデルに対して、グループに含まれる骨格データを入力することによって、基本運動を特定してもよい。
　技認識部１２５は、時系列的に連続する１以上のフレームに対応する基本運動の種別（基本運動種別）の順序に基づいて、選手が行った運動の技を認識する。この認識処理では、技条件情報１１３が参照される。技条件情報１１３には、技ごとに、基本運動の種別の順序を示す技条件が登録される。技認識部１２５は、現在の処理対象のグループと、その直前の１以上のグループとについて認識された基本運動種別の順序が、技条件情報１１３に含まれる、いずれかの技に対応する技条件に合致した場合に、その技の種別（技名）を認識結果として出力する。
　以上の骨格検出部１２２、分節部１２３、基本運動認識部１２４および技認識部１２５の処理により、グループに含まれるフレーム、グループごとの基本運動種別、および技名が特定され、特定された情報がグループ管理データ１１６に登録される。なお、後述するように、この時点では技名は仮登録された状態となり、確定はされない。
　図４は、グループ管理データの構成例を示す図である。グループ管理データ１１６には、グループごとに、グループを識別する分節番号、グループの先頭フレームを示す先頭フレーム番号、グループの末尾フレームを示す末尾フレーム番号、および基本運動種別が登録される。また、連続する複数グループから技名が特定された場合、それらのグループに対応付けて、特定された技名が登録される。
　分節部１２３によって分節点が特定されると、グループ管理データ１１６に新たな分節番号が登録され、その分節番号に対応付けて、分節点のフレームのフレーム番号が先頭フレーム番号として登録される。また、分節部１２３によって次の分節点が特定されると、グループ管理データ１１６に新たな分節番号が登録され、その分節番号に対応付けて、分節点のフレームのフレーム番号が先頭フレーム番号として登録される。これとともに、分節点より１つ前のフレームのフレーム番号が、直前の分節番号に対応付けて末尾フレーム番号として登録される。
　また、基本運動認識部１２４によってグループに対応する基本運動が認識されると、その基本運動を示す基本運動種別がグループ番号に対応付けて登録される。ただし、グループがいずれの基本運動種別にも該当しないと判定された場合には、基本運動種別の項目にはその旨を示す情報が登録される。また、技認識部１２５によって連続する複数グループから技名が特定された場合、それらのグループのグループ番号に対応付けて、特定された技名が登録される。
　図４の例では、グループ番号「０１０」について基本運動種別「大逆手・前方車輪」が認識され、グループ番号「０１１」について基本運動種別「倒立」が認識されている。そして、基本運動種別「大逆手・前方車輪」「倒立」の順序から、グループ番号「０１０」「０１１」について技名「大逆手前方車輪」が認識されている。
　また、図４の例では、グループ番号「０１２」について基本運動種別「前方車輪」が認識され、グループ番号「０１３」について基本運動種別「倒立・１回ひねり」が認識されている。そして、基本運動種別「前方車輪」「倒立・１回ひねり」の順序から、グループ番号「０１２」「０１３」について技名「前方車輪１回ひねり」が認識されている。
　ところで、センサ５０と選手との間に、器具などの物体や補助者などの他の人物が写り込むことで、「オクルージョン」が発生する場合がある。オクルージョンが発生すると、骨格データにおける一部の身体部位の特徴点が欠損する場合がある。この場合、情報処理装置１００は骨格データを正しく取得できない。
　上記の技認識部１２５は、基本運動種別の順序に基づいて、選手が行った運動の技を認識している。しかし、オクルージョンにより不正確な骨格データが混ざると、基本運動が誤認識される場合があり、その結果として技も誤認識され得るという問題がある。
　このような問題に対して、図３に示すように、情報処理装置１００は認識結果補正部１２６を備えている。認識結果補正部１２６は、技認識部１２５によって認識された直近の連続する複数の技の組合せに応じて、それらのうち最新の技の認識結果を補正する。この補正処理では、技補正条件情報１１４が参照される。技補正条件情報１１４には、技の誤認識が発生した場合における複数の技の繋がり（順序）が、「技補正条件」として複数パターン登録されている。また、技補正条件情報１１４には、技補正条件のそれぞれに対して補正後の技名が登録されている。
　認識結果補正部１２６は、ある技（現在の技）が認識されたとき、現在の技を含む直近の複数の技の組合せが、技補正条件情報１１４に含まれる技補正条件のいずれかに合致する場合に、該当する技補正条件に対応付けられた技によって、現在の技の認識結果を置き換える。これにより、不正確な骨格データの混入によって技の誤認識が発生した場合でも、誤認識された技を正しい技に補正することが可能になり、技の認識精度を向上させることができる。
　以下の説明では、技補正条件は、現在の技と、直前に認識された技（直前の技）という２つの技の繋がり（順序）を示すものとする。さらに、技補正条件は、現在の技と直前の技との間の状況を示す条件も含むものとする。
　図５、図６は、技認識処理の手順を示すフローチャートの例である。
　［ステップＳ１１］三次元データ取得部１２１は、センサ５０から送信された１フレーム（現フレーム）に対応する三次元データを取得する。
　［ステップＳ１２］骨格検出部１２２は、取得された三次元データに基づいて、選手の骨格を示す各特徴点の三次元座標を含む骨格データを生成する。骨格検出部１２２は、生成された骨格データを、現フレームを識別するフレーム番号に対応付けて時系列データ１１５に記録する。なお、時系列データ１１５は、図５の処理が開始されたときに生成され、記憶部１１０に記憶される。
　［ステップＳ１３］分節部１２３は、現フレームに対応する骨格データが、分節条件情報１１１に登録されたいずれかの分節条件に合致するかを判定する。
　骨格データがいずれかの分節条件に合致した場合、現フレームが分節点と特定される。この場合、分節部１２３は、グループ管理データ１１６に新たな分節番号を登録し、その分節番号に対応付けて現フレームのフレーム番号を先頭フレーム番号として登録する。これにより、現フレームが新たなグループの先頭フレームに決定される。また、グループ管理データ１１６に１つ前のグループ（直前グループ）の分節番号が登録されている場合、分節部１２３は、現フレームの１つ前のフレーム（前フレーム）のフレーム番号を、直前グループの分節番号に対応付けて末尾フレーム番号として登録する。これにより、直前グループのフレーム範囲が確定される。
　一方、骨格データがいずれの分節条件にも合致しなかった場合、処理がステップＳ２２に進められる。
　［ステップＳ１４］基本運動認識部１２４は、直前グループに関する比較対象情報が、基本運動条件情報１１２に登録されたいずれかの基本運動条件に合致するかを判定する。比較対象情報には、少なくとも、直前グループに含まれる骨格データが示す動きが含まれる。また、比較対象情報には、直前グループのさらに１つ前のグループについて認識された基本運動種別が含まれてもよい。比較対象情報がいずれかの基本運動条件に合致した場合、処理がステップＳ１５に進められ、比較対象情報がいずれの基本運動条件にも合致しなかった場合、処理がステップＳ２２に進められる。
　［ステップＳ１５］ステップＳ１４で比較対象情報がいずれかの基本運動条件に合致した場合、合致した基本運動条件に対応する基本運動種別が、直前グループについての基本運動の認識結果となる。この場合、基本運動認識部１２４は、該当する基本運動種別を、グループ管理データ１１６に対して直前グループの分節番号に対応付けて登録する。
　［ステップＳ１６］技認識部１２５は、直前グループを先頭とする、連続する複数のフレームについての基本運動の認識結果（基本運動種別）を、グループ管理データ１１６から取得する。技認識部１２５は、取得した基本運動種別をフレーム順に並べた種別の列が、技条件情報１１３に登録されたいずれかの技条件に合致するかを判定する。種別の列がいずれかの技条件に合致した場合、処理がステップＳ１７に進められ、種別の列がいずれの技条件にも合致しなかった場合、処理がステップＳ２２に進められる。
　［ステップＳ１７］ステップＳ１５で種別の列がいずれかの技条件に合致した場合、合致した技条件に対応する技名が、技についての仮の認識結果となる。この場合、技認識部１２５は、グループ管理データ１１６に対して、ステップＳ１６で基本運動種別を取得した連続する複数のグループの分節番号に対応付けて、合致した技条件に対応する技名を仮登録する。
　［ステップＳ１８］ここでは、ステップＳ１７で認識された技を「現在の技」とし、その技名を「現在の技名」とする。また、現在の技の直前に認識された技を「直前の技」とし、その技名を「直前の技名」とする。認識結果補正部１２６は、直前の技名と、直前の技が認識された複数のグループにおける末尾フレームのフレーム番号と、現在の技が認識された複数のグループにおける先頭のフレーム番号とを、グループ管理データ１１６から取得する。
　［ステップＳ１９］認識結果補正部１２６は、直前の技名と現在の技名の並び順と、上記の末尾フレーム番号と先頭フレーム番号との間の状況とが、技補正条件情報１１４に登録されたいずれかの技補正条件に合致するかを判定する。いずれかの技補正条件に合致した場合、処理がステップＳ２０に進められ、いずれの技補正条件にも合致しなかった場合、処理がステップＳ２１に進められる。
　［ステップＳ２０］認識結果補正部１２６は、ステップＳ１９で技名の並び順およびフレーム番号間の状況が合致した技補正条件に対応する補正後の技名を、技補正条件情報１１４から取得する。認識結果補正部１２６は、取得した補正後の技名によって現在の技名を補正する。具体的には、認識結果補正部１２６は、ステップＳ１７でグループ管理データ１１６に登録した技名を、補正後の技名に置き換える。
　［ステップＳ２１］ステップＳ１７でグループ管理データ１１６に登録された技名（現在の技名）が確定される。
　［ステップＳ２２］三次元データ取得部１２１は、技の認識処理を終了するかを判定する。例えば、技の認識処理の終了操作がユーザによって行われた場合や、センサ５０からの三次元データの送信が終了して新たな三次元データを取得できない場合に、技の認識処理を終了すると判定される。技の認識処理が続行される場合、処理がステップＳ１１に進められ、技の認識処理を終了する場合、図５、図６の処理が終了する。
　次に、具体的な体操競技の例を挙げて説明する。
　＜処理例１＞
　まず、段違い平行棒の技を認識する処理例１について説明する。
　図７は、段違い平行棒における技の認識例を示す図である。図７では、時刻ｔ１から時刻ｔ２までの期間では、バーを大逆手で握った状態で前方車輪が行われ、さらに倒立が行われている。この場合、当該期間では技名が大逆手前方車輪と認識される。また、これに続いて、時刻ｔ２から時刻ｔ３までの期間では、バーを大逆手で握った状態で前方車輪が行われ、さらに倒立した状態で身体を３６０度ひねる動作が行われている。この場合、当該期間では技名が大逆手前方車輪１回ひねりと認識される。
　ところが、例えば時刻ｔ１から時刻ｔ２までの期間のうちの倒立している期間においてオクルージョンが発生し、一時的にバーから手が離れたと誤認識されたとする。このような状況としては、例えば、センサ５０とバーとの間が他の人物や器具などによって一時的に遮られ、骨格検出部１２２によって手首が一時的に認識できなくなった状況が考えられる。このように一時的にバーから手が離れたと誤認識されると、バーの握り方が大逆手から順手に変化したと誤認識される。その結果、時刻ｔ２から時刻ｔ３までの期間では技名が前方車輪１回ひねりと誤認識される可能性がある。
　図８は、段違い平行棒における技の補正例を示す図である。図８において、分節番号ｍの分節フレームに対応する時刻ｔｍが図７の時刻ｔ１に対応し、分節番号（ｍ＋２）の分節フレームに対応する時刻ｔｍ＋２が図７の時刻ｔ２に対応する。
　また、段違い平行棒の場合、分節部１２３は、倒立が開始されたフレームと、倒立が終了されたフレームを分節点として特定する。倒立が開始されたフレームは、例えば、肩の高さがバーの高さより高くなり、なおかつ腰が４５度より伸びている場合に判定される。また、倒立が終了したフレームは、例えば、肩の高さがバーの高さより低くなり、なおかつ腰が４５度より伸びている場合に判定される。
　また、段違い平行棒の場合、基本運動認識部１２４は、分節で区切られたフレーム群（グループ）における選手の回転方向と姿勢、および直前グループにおける倒立区間で定まる把持（大逆手など）に基づいて、基本運動を認識する。なお、選手の回転方向と姿勢によって認識される基本運動としては、伸身の場合に認識される車輪や、足裏支持などがある。
　図８の例では、時刻ｔｍの直前のグループについては、倒立した状態で背中側にひねる動作が行われ、基本運動認識部１２４が当該グループを大逆手倒立・ひねりと認識している。基本運動認識部１２４は、当該グループにおける基本運動種別の認識結果と、次のグループ（分節番号ｍのグループ）における選手の回転方向および姿勢とに基づいて、分節番号ｍのグループの基本運動種別を大逆手・前方車輪と認識する。また、基本運動認識部１２４は、次の分節番号（ｍ＋１）のグループについては、基本運動種別を倒立と認識する。技認識部１２５は、分節番号ｍ，（ｍ＋１）の各グループについてのこのような基本運動種別の順序から、各グループについて技名を大逆手前方車輪と正しく認識する。この場合、認識結果補正部１２６による技名の補正は行われない。
　ただし、分節番号（ｍ＋１）のグループには、倒立中でのオクルージョンの発生により手首が写っていない不正確な三次元データのフレームが含まれる。このことが原因となって、当該グループでバーから手が離れたと誤判定される。このため、次の分節番号（ｍ＋２）のグループ開始時点では、基本運動認識部１２４は、バーの握り方を順手と誤認識しており、その結果、当該グループについての基本運動種別を、前方車輪と誤認識する。一方、基本運動認識部１２４は、次の分節番号（ｍ＋３）のグループについては基本運動種別を倒立・１回ひねりと正しく認識したとする。この場合、技認識部１２５は、前方車輪、倒立・１回ひねりという基本運動種別の順序から、分節番号（ｍ＋２），（ｍ＋３）の各グループについては技名を前方車輪１回ひねりと誤認識する。
　ここで、技補正条件情報１１４には、直前の技名「大逆手前方車輪」と、現在の技名「前方車輪１回ひねり」という順序が技補正条件として登録されている。また、この技補正条件に対して、補正後の技名として大逆手前方車輪が対応付けられている。この場合、技補正条件情報１１４は、分節番号（ｍ＋２），（ｍ＋３）の各グループについての技名を、大逆手前方車輪に補正する。これにより、各グループについて正しい技名の認識結果が確定される。
　上記の例では、大逆手前方車輪の次の技として、バーの握り方が異なる前方車輪１回ひねりが行われることはないことから、このような順序で技名が認識された場合は誤認識が発生していると考えられる。このため、技補正条件情報１１４には、このような技名の順序が技補正条件としてあらかじめ登録され、補正後の正しい技名も登録される。技補正条件情報１１４は、上記のように不正確な三次元データのフレームが混ざりこんだ場合でも、これが原因となって誤認識された技名を正しい技名に補正できる。したがって、技名の認識精度を向上させることができる。
　図９は、段違い平行棒の場合の技補正条件情報の例を示す図である。技補正条件情報１１４ａの各レコードには、直前の技名、技間の条件、現在の技名、および補正後の技名が対応付けて登録される。これらのうち、直前の技名と現在の技名の順序、および技間の条件が技補正条件を形成する。
　技間の条件は、直前の技名が認識されたフレーム群における末尾フレームと、現在の技名が認識されたフレーム群における先頭フレームとの間に位置するフレーム（技間フレーム）に関する条件を示す。基本的に技間の条件は、直前の技名の次に現在の技名が認識されたことを保証するための条件であり、例えば、技間フレームのフレーム数が所定数以下である、という条件を適用可能である。図９の例では、技間フレームのフレーム数が３０フレーム以下という条件が登録されている。
　＜処理例２＞
　次に、男子の床運動（男子床）の技を認識する処理例２について説明する。
　図１０は、男子床における技の認識例を示す図である。図１０では、時刻ｔ１１から時刻ｔ１２までの期間では、後転が２連続で行われている。この場合、当該期間では技名が後転とびと認識される。また、これに続いて、時刻ｔ１３から時刻ｔ１４までの期間では、身体をひねりながら後方に宙返りする動作が行われている。この場合、当該期間では技名が後方宙返りひねりと認識される。
　ところが、例えば、時刻ｔ１２から時刻ｔ１３までの選手が着地している期間（例えばジャンプする直前の段階）において、腰のねじれが生じたことにより、骨格検出部１２２によって選手が前向きになったと誤認識されたとする。この場合、当該期間では技名が前方伸身宙返りと誤認識される可能性がある。
　図１１は、男子床における技の補正例を示す図である。図１１において、分節番号ｎの分節フレームに対応する時刻ｔｎが図１０の時刻ｔ１１に対応し、分節番号（ｎ＋２）の分節フレームに対応する時刻ｔｎ＋２が図１０の時刻ｔ１２に対応する。また、分節番号（ｎ＋３）の分節フレームに対応する時刻ｔｎ＋３が図１０の時刻ｔ１３に対応し、分節番号（ｎ＋４）の分節フレームに対応する時刻ｔｎ＋４が図１０の時刻ｔ１４に対応する。
　また、男子床の場合、分節部１２３は、ジャンプが行われたフレームと、マットに着地したフレームと、両手をマットにつけた「両手付き」が行われたフレームとを、分節点として特定する。ジャンプが行われたフレームは、例えば、マットからの足先の高さが所定閾値より高くなった場合に判定される。着地したフレームは、例えば、マットからの足先の高さが所定閾値より低くなった場合に判定される。両手付きのフレームは、例えば、マットからの手首の高さが所定閾値より低くなった場合に判定される。
　また、男子床の場合、基本運動認識部１２４は、分節で区切られたフレーム群（グループ）における選手の最初の向き、回転量、および姿勢（伸身、屈伸など）に基づいて、基本運動を認識する。
　図１１の例では、基本運動認識部１２４は、分節番号ｎのグループについては基本運動種別を後転と認識し、分節番号（ｎ＋１）のグループについても基本運動種別を後転と認識する。技認識部１２５は、分節番号ｎ，（ｎ＋１）の各グループについてのこのような基本運動種別の順序から、各グループについて技名を後転とびと正しく認識する。この場合、認識結果補正部１２６による技名の補正は行われない。
　一方、例えば時刻ｔ１３でジャンプする直前のフレームについて、骨格検出部１２２が選手の向きを前向きと誤判定し、身体の向きが前向きという不正確な三次元データが生じているとする。このことが原因となって、基本運動認識部１２４は、次の分節番号（ｎ＋３）のグループについて、基本運動種別を前方１回転・伸身と誤認識する。この場合、技認識部１２５は、前方１回転・伸身という基本運動種別から、分節番号（ｎ＋３）のグループについては技名を前方伸身宙返りと誤認識する。
　ここで、技補正条件情報１１４には、直前の技名「後転とび」と、現在の技名「前方伸身宙返り」という順序が技補正条件として登録されている。また、この技補正条件に対して、補正後の技名として後方宙返りひねりが対応付けられている。この場合、技補正条件情報１１４は、分節番号（ｎ＋３）のグループについての技名を、後方宙返りひねりに補正する。これにより、当該グループについて正しい技名の認識結果が確定される。
　上記の例では、後転とびの次の技として、身体の向きが異なる前方伸身宙返りが行われることはないことから、このような順序で技名が認識された場合は誤認識が発生していると考えられる。このため、技補正条件情報１１４には、このような技名の順序が技補正条件としてあらかじめ登録され、補正後の正しい技名も登録される。技補正条件情報１１４は、上記のように不正確な三次元データのフレームが混ざりこんだ場合でも、これが原因となって誤認識された技名を正しい技名に補正できる。したがって、技名の認識精度を向上させることができる。
　図１２は、男子床の場合の技補正条件情報の例を示す図である。図９の技補正条件情報１１４ａと同様に、技補正条件情報１１４ｂの各レコードには、直前の技名、技間の条件、現在の技名、および補正後の技名が対応付けて登録される。
　図９の場合と同様に、技間の条件は、直前の技名が認識されたフレーム群における末尾フレームと、現在の技名が認識されたフレーム群における先頭フレームとの間に位置するフレーム（技間フレーム）に関する条件を示す。図１２では、技間の条件として、技間フレームのフレーム数が３０フレーム以下という条件の他、基本運動なしという条件も登録されている。基本運動なしという条件は、技間フレームが属するグループについては基本運動種別を認識できなかったことを示す。
　なお、上記の各実施の形態に示した装置（例えば、情報処理装置１０，１００）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、磁気テープなどがある。光ディスクには、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク（Blu-ray Disc：ＢＤ、登録商標）などがある。
　プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
　プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。
　上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
　１　対象者
　２　センサ
　１０　情報処理装置
　１１　記憶部
　１２　処理部
　１３　補正条件情報
　１３ａ　補正条件テーブル
　２１，２２　フレーム群

Claims (6)

  1. 　コンピュータが、
    　対象者の所定の身体部位に対応する特徴点の位置情報をそれぞれ含む、時系列に並んだ複数のフレームを取得し、
    　前記複数のフレームから抽出される、連続する２以上のフレームを含むフレーム群ごとに、前記特徴点の動きに基づいて前記対象者の動きの種別を示す動き種別を判定し、
    　前記複数のフレームから抽出された前記フレーム群のうち、第１のフレーム群について判定された第１の動き種別と、前記第１のフレーム群の直前の第２のフレーム群について判定された第２の動き種別との順序が所定の補正条件を満たす場合、前記第１の動き種別を前記補正条件に対応付けられた第３の動き種別に補正する、
    　動き判定方法。
  2. 　前記補正条件は、隣り合う２つの前記フレーム群について判定された前記動き種別の順序を示す第１の条件と、前記２つの前記フレーム群の間のフレーム数を示す第２の条件とを含み、
    　前記補正では、前記第１の動き種別と前記第２の動き種別が前記第１の条件を満たし、かつ、前記第１のフレーム群と前記第２のフレーム群との間のフレーム数が前記第２の条件を満たす場合に、前記第１の動き種別を前記第３の動き種別に補正する、
    　請求項１記載の動き判定方法。
  3. 　前記動き種別の判定では、
    　前記複数のフレームから、前記特徴点の位置が所定の位置条件を満たす分節フレームを特定し、前記分節フレームを分節点として前記複数のフレームを複数の小フレーム群に分節し、
    　前記複数の小フレーム群のそれぞれについて、前記特徴点の動きに基づいて前記対象者が行った基本運動の種別を示す基本運動種別を判定し、
    　前記複数の小フレーム群のうち連続する１以上の小フレーム群について判定された前記基本運動種別の順序が、前記動き種別ごとに前記基本運動種別の順序を示す複数の判定条件のうち１の判定条件に合致した場合に、前記１以上の小フレーム群を前記フレーム群として、前記１の判定条件に対応する前記動き種別を前記１以上の小フレーム群についての前記動き種別と判定することで、前記フレーム群ごとに前記動き種別を判定する、
    　請求項１記載の動き判定方法。
  4. 　前記補正条件は、隣り合う２つの前記フレーム群について判定された前記動き種別の順序を示す第３の条件と、前記２つの前記フレーム群の間のフレームについて判定された前記基本運動種別の有無を示す第４の条件とを含み、
    　前記補正では、前記第１の動き種別と前記第２の動き種別が前記第３の条件を満たし、かつ、前記第１のフレーム群と前記第２のフレーム群との間のフレームについて判定された前記基本運動種別の有無が前記第４の条件を満たす場合に、前記第１の動き種別を前記第３の動き種別に補正する、
    　請求項３記載の動き判定方法。
  5. 　コンピュータに、
    　対象者の所定の身体部位に対応する特徴点の位置情報をそれぞれ含む、時系列に並んだ複数のフレームを取得し、
    　前記複数のフレームから抽出される、連続する２以上のフレームを含むフレーム群ごとに、前記特徴点の動きに基づいて前記対象者の動きの種別を示す動き種別を判定し、
    　前記複数のフレームから抽出された前記フレーム群のうち、第１のフレーム群について判定された第１の動き種別と、前記第１のフレーム群の直前の第２のフレーム群について判定された第２の動き種別との順序が所定の補正条件を満たす場合、前記第１の動き種別を前記補正条件に対応付けられた第３の動き種別に補正する、
    　動き判定プログラム。
  6. 　対象者の所定の身体部位に対応する特徴点の位置情報をそれぞれ含む、時系列に並んだ複数のフレームを取得し、
    　前記複数のフレームから抽出される、連続する２以上のフレームを含むフレーム群ごとに、前記特徴点の動きに基づいて前記対象者の動きの種別を示す動き種別を判定し、
    　前記複数のフレームから抽出された前記フレーム群のうち、第１のフレーム群について判定された第１の動き種別と、前記第１のフレーム群の直前の第２のフレーム群について判定された第２の動き種別との順序が所定の補正条件を満たす場合、前記第１の動き種別を前記補正条件に対応付けられた第３の動き種別に補正する、処理部、
    　を有する情報処理装置。
PCT/JP2023/021505 2023-06-09 2023-06-09 動き判定方法、動き判定プログラムおよび情報処理装置 Ceased WO2024252659A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/021505 WO2024252659A1 (ja) 2023-06-09 2023-06-09 動き判定方法、動き判定プログラムおよび情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/021505 WO2024252659A1 (ja) 2023-06-09 2023-06-09 動き判定方法、動き判定プログラムおよび情報処理装置

Publications (1)

Publication Number Publication Date
WO2024252659A1 true WO2024252659A1 (ja) 2024-12-12

Family

ID=93795508

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021505 Ceased WO2024252659A1 (ja) 2023-06-09 2023-06-09 動き判定方法、動き判定プログラムおよび情報処理装置

Country Status (1)

Country Link
WO (1) WO2024252659A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220207382A1 (en) * 2020-12-28 2022-06-30 Electronics And Telecommunications Research Institute Apparatus and method for refining data and improving performance of behavior recognition model by reflecting time-series characteristics of behavior
JP2022178356A (ja) * 2021-05-20 2022-12-02 富士通株式会社 技認識方法、技認識プログラム及び体操採点支援システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220207382A1 (en) * 2020-12-28 2022-06-30 Electronics And Telecommunications Research Institute Apparatus and method for refining data and improving performance of behavior recognition model by reflecting time-series characteristics of behavior
JP2022178356A (ja) * 2021-05-20 2022-12-02 富士通株式会社 技認識方法、技認識プログラム及び体操採点支援システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUNNAN IMAI, KAZUYA MURAO, TSUTOMU TERADA, MASAHIKO TSUKAMOTO: "Design and implementation of a desk-top motion recognition system using load sensors", PROCEEDINGS OF MULTIMEDIA, DISTRIBUTED, COOPERATIVE AND MOBILE SYMPOSIUM (DICOMO2013). IPSJ SYMPOSIUM SERIES; JULY 10TH (WED) TO JULY 12TH (FRI), 2013, INFORMATION PROCESSING SOCIETY OF JAPAN, JP, vol. 2013, no. 2, 3 July 2013 (2013-07-03), JP, pages 1180 - 1187, XP009559334 *

Similar Documents

Publication Publication Date Title
US12260678B2 (en) Detection of kinetic events and mechanical variables from uncalibrated video
Cioppa et al. Soccernet-tracking: Multiple object tracking dataset and benchmark in soccer videos
Blanchard et al. " keep me in, coach!": A computer vision perspective on assessing acl injury risk in female athletes
CN115719511B (zh) 立定跳远距离的确定方法、装置
Elaoud et al. Skeleton-based comparison of throwing motion for handball players
US20150092980A1 (en) Tracking program and method
CN113255450A (zh) 一种基于姿态估计的人体运动节奏比对系统及方法
CN116570905B (zh) 一种用于篮球技能考级的智能指导系统
WO2023108842A1 (zh) 基于健身教学训练的动作评价方法及系统
Sarwar et al. Skeleton based keyframe detection framework for sports action analysis: Badminton smash case
CN111480178A (zh) 技巧识别程序、技巧识别方法以及技巧识别系统
CN113409651A (zh) 直播健身方法、系统、电子设备、存储介质
Barzyk et al. AI‐smartphone markerless motion capturing of hip, knee, and ankle joint kinematics during countermovement jumps
JP7614504B2 (ja) 技認識方法、技認識プログラム及び体操採点支援システム
Hu et al. Effective evaluation of HGcnMLP method for markerless 3D pose estimation of musculoskeletal diseases patients based on smartphone monocular video
CN106447726A (zh) 一种运动员攀岩中身体位置视觉检测的方法
CN114052725B (zh) 基于人体关键点检测的步态分析算法设定方法以及装置
WO2024252659A1 (ja) 動き判定方法、動き判定プログラムおよび情報処理装置
CN119625835B (zh) 基于人体关键点度量的多人深蹲实时计数方法
US20240281984A1 (en) Motion data generation device, motion data generation method, and recording medium
Fung et al. Hybrid markerless tracking of complex articulated motion in golf swings
Hirano et al. SkiTechCoach: A Multimodal Alpine Skiing Dataset with 3D Body Pose, Sole Pressure, and Expert Coaching
Boey et al. Unlocking the potential of video-based markerless motion analysis to study world-class sporting performance
CN116978110A (zh) 一种舞姿动作评价方法、装置、电子设备及存储介质
TWI884796B (zh) 發現空檔以提供進攻傳球建議之系統及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23940757

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE