WO2019146024A1 - 画面生成プログラム、画面生成方法および情報処理装置 - Google Patents

画面生成プログラム、画面生成方法および情報処理装置 Download PDF

Info

Publication number
WO2019146024A1
WO2019146024A1 PCT/JP2018/002169 JP2018002169W WO2019146024A1 WO 2019146024 A1 WO2019146024 A1 WO 2019146024A1 JP 2018002169 W JP2018002169 W JP 2018002169W WO 2019146024 A1 WO2019146024 A1 WO 2019146024A1
Authority
WO
WIPO (PCT)
Prior art keywords
performance
score
information
technique
competitor
Prior art date
Application number
PCT/JP2018/002169
Other languages
English (en)
French (fr)
Inventor
和己 久保田
内藤　宏久
松本　剛
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2018/002169 priority Critical patent/WO2019146024A1/ja
Priority to JP2019567450A priority patent/JP6923006B2/ja
Priority to CN201880087054.2A priority patent/CN111867687B/zh
Priority to EP18902325.2A priority patent/EP3744408A4/en
Publication of WO2019146024A1 publication Critical patent/WO2019146024A1/ja
Priority to US16/932,840 priority patent/US11446561B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0669—Score-keepers or score display devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0025—Tracking the path or location of one or more users, e.g. players of a game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B2071/0694—Visual indication, e.g. Indicia
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras

Definitions

  • the present invention relates to a screen generation program and the like.
  • JP 2004-109264 A JP, 2012-042287, A JP, 2015-228183, A JP, 2011-081431, A
  • the above-described prior art has a problem that it is not possible to provide a predicted score of a planned performance in a scoring competition and a predicted score as the performance progresses.
  • the player may change the composition of the planned performance according to the condition of the game day, depending on the condition of the game on the day of the match.
  • the player may change some of the techniques at the player's own discretion during the performance. In such a case, it is difficult to predict the performance score because it differs from the expected performance configuration.
  • the present invention aims to provide a screen generation program, a screen generation method, and an information processing apparatus capable of providing a predicted score of a planned performance in a scoring competition and a predicted score associated with the progress of the performance. I assume.
  • the computer is made to execute the following processing.
  • the computer obtains scheduled performance information including a plurality of techniques that the competitor of the scoring competition is to perform.
  • the computer calculates, from the planned performance information, a first predicted score when a plurality of techniques are successful.
  • the computer generates screen information displaying a first predicted score for the scheduled performance.
  • the computer acquires, in real time, data obtained by sensing an actual performance when the actual performance by the competitor starts.
  • the computer obtains, based on the data, scores of implemented techniques and implemented techniques in actual performance.
  • the computer predicts unimplemented techniques which are likely to be implemented in the actual performance based on at least one of the planned performance information and data.
  • the computer predicts a third predicted score of the entire actual performance being performed based on the score of the performed skill and the second predicted score when the predicted unexecuted skill is successful.
  • the computer generates screen information that displays the first prediction score and the third prediction score.
  • FIG. 1 is a diagram illustrating an example of a system according to the first embodiment.
  • FIG. 2 is a diagram for explaining sensing data.
  • FIG. 3 is a view showing an example of the data structure of the sensing DB according to the first embodiment.
  • FIG. 4 is a view showing an example of joint definition data according to the first embodiment.
  • FIG. 5 is a view showing an example of the data structure of the joint position DB according to the first embodiment.
  • FIG. 6 is a view showing an example of the data structure of the skill determination table according to the first embodiment.
  • FIG. 7 is a diagram for explaining an example of the start attitude and the end attitude.
  • FIG. 8 is a view showing an example of the data structure of the technique recognition DB according to the first embodiment.
  • FIG. 1 is a diagram illustrating an example of a system according to the first embodiment.
  • FIG. 2 is a diagram for explaining sensing data.
  • FIG. 3 is a view showing an example of the data structure of the sensing DB according to the
  • FIG. 9 is a diagram showing an example of a display screen before the start of performance.
  • FIG. 10 is a diagram showing an example of a display screen during performance.
  • FIG. 11 is a view showing an example of the display screen after the performance end.
  • FIG. 12 is a functional block diagram of the configuration of the information processing apparatus according to the first embodiment.
  • FIG. 13 is a view showing an example of the data structure of the video DB according to the first embodiment.
  • FIG. 14 is a view showing an example of the data structure of the performance history table according to the first embodiment.
  • FIG. 15 is a diagram showing an example of performance configuration information.
  • FIG. 16 is a view showing an example of the data structure of the score table according to the first embodiment.
  • FIG. 17 is a view showing an example of the data structure of the difficulty level table according to the first embodiment.
  • FIG. 18 is a diagram showing an example of performance transition flow information.
  • FIG. 19 is a diagram (1) for describing an example of the process of the screen generation unit according to the first embodiment.
  • FIG. 20 is a diagram (2) for explaining an example of the process of the screen generation unit according to the first embodiment.
  • FIG. 21 is a flowchart of the process procedure of the information processing apparatus according to the first embodiment.
  • FIG. 22 is a flowchart showing the procedure of the process during acting.
  • FIG. 23 is a diagram of an example of a system according to the second embodiment.
  • FIG. 24 is a diagram illustrating an example of a display screen displayed by the information processing apparatus according to the second embodiment.
  • FIG. 25 is a functional block diagram of the configuration of the information processing apparatus according to the second embodiment.
  • FIG. 26 is a diagram for explaining the process of the recognition unit according to the second embodiment.
  • FIG. 27 is a view showing an example of a display screen during performance according to the second embodiment.
  • FIG. 28 is a flowchart of the procedure of the information processing apparatus according to the second embodiment.
  • FIG. 29 is a flowchart showing an example of the prediction process.
  • FIG. 30 is a diagram illustrating an example of a hardware configuration of a computer that realizes the same function as the information processing apparatus.
  • FIG. 1 is a diagram illustrating an example of a system according to the first embodiment.
  • this system includes a 3D (3 dimension) laser sensor 50, a camera 60, a technique recognition device 70, and an information processing device 100.
  • the information processing device 100 is connected to the camera 60 and the technique recognition device 70.
  • the athlete 10 performs gymnastic performance in front of the 3D laser sensor 50 and the camera 60 as an example, but the same applies to the case where the athlete 10 performs another scoring competition. be able to.
  • scoring events include trampolines, swimming dives, figure skating, karate types, ballroom dancing, snowboarding, skateboarding, ski aerials, surfing. Also, it may be applied to classic ballet, ski jumping, mogul air, turn, baseball, basketball form check, etc. Also, it may be applied to competitions such as kendo, judo, wrestling, and sumo wrestling.
  • the 3D laser sensor 50 is a sensor that performs 3D sensing on the competitor 10.
  • the 3D laser sensor 50 outputs 3D sensing data as the sensing result to the technique recognition device 70.
  • 3D sensing data is simply referred to as sensing data.
  • FIG. 2 is a diagram for explaining sensing data.
  • the sensing data includes a plurality of frames, and frame numbers uniquely identifying the frames are assigned to the frames in ascending order.
  • the sensing data shown in FIG. 2 shows frames of frame numbers n, n + 1,..., N + 15,. n corresponds to a natural number.
  • each frame includes distance information from the 3D laser sensor 50 to each point on the competitor 10.
  • the camera 60 is a device that captures video data of the competitor 10.
  • the camera 60 outputs the video data to the information processing apparatus 100.
  • the video data includes a plurality of frames corresponding to the image of the competitor 10, and each frame is assigned a frame number. It is assumed that the frame number of the video data and the frame number of the sensing data are synchronized.
  • a frame included in sensing data is referred to as “sensing frame”, and a frame of video data is referred to as “video frame”, as appropriate.
  • the technique recognition device 70 is a device that recognizes a technique based on sensing data sensed by the 3D laser sensor 50.
  • the technique recognition device 70 generates recognition result data in which each frame number of sensing data is associated with each recognition result.
  • the technique recognition device 70 outputs the recognition result data to the information processing device 100.
  • the information processing apparatus 100 may have a functional unit that performs processing similar to that of the skill recognition apparatus 70. .
  • the technique recognition device 70 includes a sensing DB 71, joint definition data 72, a joint position DB 73, a technique determination table 74, and a technique recognition DB 75.
  • the sensing DB (Data Base) 71 is a DB that stores sensing data acquired from the 3D laser sensor 50.
  • FIG. 3 is a view showing an example of the data structure of the sensing DB according to the first embodiment. As shown in FIG. 3, the sensing DB 71 associates a frame number with a sensing frame. The frame number is a number uniquely identifying each sensing frame corresponding to the same performance identification number.
  • the sensing frame is a sensing frame sensed by the 3D laser sensor 50.
  • the joint definition data 72 defines each joint position of the player 10.
  • FIG. 4 is a view showing an example of joint definition data according to the first embodiment.
  • the joint definition data 72 stores information numbering each joint identified by a known skeletal model. For example, as shown in FIG. 4, No. 7 is given to the right shoulder joint (SHOULDER_RIGHT), No. 5 is given to the left elbow joint (ELBOW_LEFT), and No. 11 is given to the left knee joint (KNEE_LEFT). , 14 right hip (HIP_RIGHT) is given.
  • the X coordinate of the eighth elbow joint may be described as X8, the Y coordinate as Y8, and the Z coordinate as Z8.
  • the number of a dotted line is a joint etc. which are not used for scoring.
  • the joint position DB 73 is position data of each joint of the player 10 which is generated based on sensing data of the 3D laser sensor 50.
  • FIG. 5 is a view showing an example of the data structure of the joint position DB according to the first embodiment. As shown in FIG. 5, the joint position DB 73 associates the frame numbers with "X0, Y0, Z0, ..., X17, Y17, Z17".
  • the frame number is a number that uniquely identifies a sensing frame. It is assumed that the frame numbers shown in FIG. 5 and the frame numbers shown in FIG. 3 are synchronized. “X0, Y0, Z0,..., X17, Y17, Z17” are XYZ coordinates of each joint. For example, “X0, Y0, Z0” is a three-dimensional coordinate of a 0-numbered joint shown in FIG. is there.
  • FIG. 5 shows changes in time series of each joint.
  • the skill determination table 74 is a table used when determining the technique performed by the competitor 10.
  • FIG. 6 is a view showing an example of the data structure of the skill determination table according to the first embodiment. As shown in FIG. 6, the skill determination table associates a technique group, a technique number, a technique name, a starting posture, a condition for establishing a starting posture, a terminal posture, and a condition for forming a terminal posture.
  • a technique is uniquely identified by the combination of the technique group and the technique number.
  • the combination of the technique group and the technique number is the identification information of the technique.
  • the technique name is the name of the technique.
  • the start posture indicates the start posture of the technique.
  • the establishment condition of the start attitude indicates the condition under which the corresponding start attitude is established.
  • the condition for establishing the starting posture indicates the transition of the position of each joint which is the corresponding starting posture.
  • the terminal posture indicates the terminal posture (stationary posture) of the technique.
  • the condition for establishing the terminal posture indicates the relationship of the position of each joint which is the corresponding terminal posture.
  • FIG. 7 is a diagram for explaining an example of the start attitude and the end attitude.
  • FIG. 7 shows an example in which the player 10 performs the technique “horizontal support (2 seconds) during backward swinging”.
  • the competitor 10 performs the starting posture "swing backward” in the period Ta, and performs the final posture "middle horizontal support (2 seconds)" in the period Tb.
  • the combination of the start posture “backward swing up” and the end posture “middle horizontal support (2 seconds)” results in the technique “backward swing up horizontal support (2 seconds)".
  • the skill is also determined.
  • the technique recognition DB 75 is a database for storing technique recognition result data.
  • FIG. 8 is a view showing an example of the data structure of the technique recognition DB according to the first embodiment. As shown in FIG. 8, the technique recognition DB 74 associates the frame number with the joint position data, the start orientation flag, the end orientation flag, the technique group, the technique number, and the technique name.
  • the frame number is a number corresponding to the frame number of the sensing frame described in FIG.
  • the joint position data is information indicating the three-dimensional coordinates of each joint position corresponding to each frame number described in FIG.
  • the start attitude flag is information indicating whether the attitude of the competitor 10 is the start attitude. While the start attitude flag is "1", it indicates that the attitude of the competitor 10 is the start attitude.
  • the terminal posture is information indicating whether or not the player 10's posture is the terminal posture. While the terminal posture flag is "1", it indicates that the player 10's posture is the terminal posture.
  • a combination of a skill group and a technique number is information that uniquely identifies a technique.
  • the technique name indicates the name of the technique.
  • the technique recognition device 70 compares the sensing frame of the sensing DB 71 with the positional relationship of each joint defined in the joint definition data 72 to identify the type of each joint and the three-dimensional coordinates of the joint included in the sensing frame. .
  • the technique recognition apparatus 70 repeatedly executes the above process for each frame number of the sensing DB 71, and stores information of three-dimensional coordinates of each joint in the joint position DB 73.
  • the technique recognition apparatus 70 compares the information of the three-dimensional coordinates of each joint with the technique determination table 74 for each frame number to specify the start posture and the end posture. Further, the skill recognition apparatus 70 specifies the skill group, the technique number, and the technique name corresponding to the frame number by comparing the combination of the identified start attitude and the end attitude with the technique determination table 74.
  • the skill recognition device 70 stores information in which the frame number, the joint position data, the start posture flag, the end posture flag, the skill group, the technique number, and the technique name are associated with one another in the technique recognition DB 75.
  • the technique recognition device 70 outputs each record stored in the technique recognition DB 75 to the information processing device 100 as recognition result data.
  • the technique recognition apparatus 70 performs the above-described process in real time on sensing data acquired from the 3D laser sensor 50 and outputs recognition result data to the information processing apparatus 100.
  • the information processing apparatus 100 is an apparatus for displaying a predicted score calculated from a series of scheduled performances of the athlete 10 based on the history of performance configurations performed by the athlete 10 in the past. In addition, when the performance of the competitor 10 is changed with the progress of the actual performance of the competitor 10, the information processing apparatus 100 updates the later predicted performance and responds to the update of the performance, when the performance of the competitor 10 changes. Update prediction scores.
  • FIG. 9 is a diagram showing an example of a display screen before the start of performance.
  • the display screen 10A includes an image area 10a, a predicted performance list 10b, a D score area 10c, an E score area 10d, a score area 10e, and a rank prediction area 10f.
  • the video area 10 a is an area for displaying video data of the competitor 10.
  • the information processing apparatus 100 displays, in the image area 10a, video data of a preliminary performance performed by the competitor 10 in the past.
  • the predicted performance list 10 b displays information on a series of techniques (performances) that the competitor 10 is predicted to perform. For example, the predicted performance list 10b associates a technique name, a technique group, a technique number, and a difficulty level. The explanation about the technique name, the technique group, and the technique number is the same as that described above.
  • the degree of difficulty indicates the degree of difficulty of the skill. Boys have a degree of difficulty of "A to H” and girls have a degree of difficulty of "A to I".
  • the predicted performance list 10b indicates that each technique is to be executed in the lower row in order from the technique (the technique name) in the first line.
  • the horizontal support (2 seconds) during backward swinging, the horizontal support (2 seconds) behind, the azarian, the backward swing upside down (2 seconds), Jonathan, Yamawaki, and Honma cross are sequentially executed.
  • the reverse rollover (2 seconds), the extended arm reverse rollover, the backward turn, the two reverse turns and the two reverse turns are performed in the order of the twist.
  • the D score area 10c is an area for displaying the D score when the competitor 10 performs the technique of the predicted performance list 10b as planned.
  • the D (Difficulty) score is a score that is calculated according to the level of difficulty of the technique that constitutes the performance.
  • the E-score area 10 d is an area for displaying an E-score calculated based on the past performance of the player 10 on the skill of the predicted performance list 10 b.
  • the E (Execution) score is a score calculated by the deduction method regarding the posture of the body in each element of performance technique and skill. For example, the ideal posture of a certain skill is compared with the posture of the competitor 10, and the score is deducted from the E score as the degree of divergence of each posture increases.
  • the score area 10 e is an area for displaying a score predicted when the player 10 performs the technique of the predicted performance list 10 b as planned. Specifically, the information processing apparatus 100 causes the score area 10e to display a score obtained by summing the D score displayed in the D score area 10c and the E score displayed in the E score area 10d.
  • the rank prediction area 10 f is an area for displaying information on prediction ranks regarding a plurality of competitors. For example, the rank prediction area 10 f associates the rank, the competitor's name, and the prediction score.
  • the order of techniques performed by the competitor 10 For example, by referring to the display screen 10A before the start of performance shown in FIG. 9 by the user (TV live announcer or viewer), the order of techniques performed by the competitor 10, D score, E score, score, You can easily grasp the order.
  • FIG. 10 is a diagram showing an example of a display screen during performance.
  • the display screen 11 includes an action list 11a, action transition information 11b, a D score area 11c, an E score area 11d, a score area 11e, and a rank prediction area 11f.
  • the performance list 11a displays information on the technique actually performed by the competitor 10 in performance and the technique predicted to be performed by the competitor 10 from now.
  • the action list 11a associates a technique name, a technique group, a branch number, and a difficulty level.
  • the information processing apparatus 100 may highlight the technique name of the technique currently performed by the competitor 10 and the technique name of the technique to be performed next.
  • the technique name "Azarian” of the technique currently being performed by the competitor 10 and "backward cross-over (two seconds)" where the next performance is predicted. it's shown.
  • the performance transition information 11 b is information indicating the transition of the technique actually performed by the competitor 10 and the transition of the technique predicted to be performed by the competitor 10 from this point on.
  • a node indicating the start and a plurality of nodes indicating a technique are connected to the performance transition information 11b.
  • a node indicating a technique is assigned a combination of a technique group and a technique number.
  • the probability of transitioning to the transition destination is also displayed.
  • transition from the start node to the node "G3-53” is shown.
  • the transition destination of the node “G3-53” is the node “G3-70” and the node “G2-52".
  • the probability of transition from the node “G3-53" to the node “G3-70” is "60%”.
  • the probability of transition from the node "G3-53" to the node “G2-52” is "40%”.
  • the transition destination of the node "G3-70" is the node "G2-52".
  • the transition destinations of the node “G2-52” are the node “G3-94” and the node “G1-87”.
  • the probability of transition from the node “G2-52” to the node “G1-87” is "60%”.
  • the probability of transition from the node "G2-52" to the node “G3-94” is "40%”.
  • the transition destination of the node “G3-94" is the node "G1-87".
  • the transition destinations of the nodes following the node "G1-87" are, in order, the nodes "G1-52", “G1-51”, “G3-16", “G1-81”, “G1-26", and "G4 -41 ".
  • the information processing apparatus 100 highlights the node corresponding to the technique currently performed by the competitor 10 and the node to which the next transition is made.
  • the information processing apparatus 100 highlights a node having a high probability of transition when there are a plurality of nodes to be transited next.
  • the D score area 11 c is an area for displaying the skill actually performed by the competitor 10 from the start of the performance and the D score when the subsequent skill is performed as planned.
  • a D score is calculated based on the actually performed technique and the subsequently predicted technique, and the D score is displayed in the D score area 11 c.
  • the technique actually performed is horizontal support (2 seconds) during the swinging up and the axarian.
  • the predicted skills are back swing upside down (2 seconds), Jonathan, Yamawaki, Honma Cross, true turn upside down reverse (2 seconds), extended arm overturn upside down progress, 2 back turns and 2 back turns It turns down.
  • the E-score area 11 d is an area for displaying the technique actually performed by the competitor 10 from the start of the performance and the E-score when the following technique is performed as planned.
  • the competitor 10 actually goes to the axarian.
  • an E score is calculated based on the actually performed technique and the subsequently predicted technique, and the E score is displayed in the E score area 11 d.
  • the technique actually performed is horizontal support (2 seconds) during the swinging up and the axarian.
  • the predicted skills are back swing upside down (2 seconds), Jonathan, Yamawaki, Honma Cross, true turn upside down reverse (2 seconds), extended arm overturn upside down progress, 2 back turns and 2 back turns It turns down.
  • the score area 11 e is an area for displaying the skill actually performed by the competitor 10 and the score when the following technique is performed as scheduled from the start of the performance. Specifically, the information processing apparatus 100 causes the score area 11e to display a score obtained by summing the D score of the D score area 11c and the E score of the E score area 11d.
  • the rank prediction area 11 f is an area for displaying information on a plurality of athletes in the prediction order. For example, the rank prediction area 11 f associates the rank, the competitor's name, the predicted score, and the change in rank.
  • the information processing apparatus 100 displays the upper mark on the change information of the ranking, when the ranking rises with the update of the score area 11 e with the progress of the performance of the competitor 10. When the order is lowered, the information processing apparatus 100 displays the lower mark in the change information of the order.
  • the display screen 11 shown in FIG. 10 when a live broadcaster of a TV broadcast refers to the change of the technique at a glance, it is possible to support the live broadcast of the announcer. For example, in FIG. 10, when the transition destination of the node "G3-53" is changed from the node "G2-52" to the node “G3-70", the "scheduled technique G3-53 It can be changed to G3-70, and it is possible to carry out a real situation such as aiming at reversal. Further, when the viewer refers to the display screen 11 shown in FIG. 10, the player can refer to the performance of the competitor 10 while being excited because the viewer can assist the understanding of the currently performed technique.
  • FIG. 11 is a view showing an example of the display screen after the performance end.
  • the display screen 12 includes an image area 12a, an action list 12b, a D score area 12c, an E score area 12d, a score area 12e, and a rank prediction area 12f.
  • the video area 12 a is an area for displaying video data of the competitor 10.
  • the information processing apparatus 100 displays the video data of the competitor 10 captured by the camera 60 in the video area 12a.
  • the action list 12 b displays information on a series of techniques (actions) actually performed by the competitor 10.
  • the action list 12b associates a technique name, a technique group, a branch number, and a difficulty level.
  • the action list 12 b indicates that the respective techniques have been executed in the lower row, in order from the technique (the technique name) on the first line.
  • the D score area 12 c is an area for displaying a D score based on each skill actually performed by the competitor 10.
  • the E-score area 12 d is an area for displaying an E-score based on each skill actually performed by the player 10.
  • the score area 10 e is an area for displaying a score based on the technique actually performed by the competitor 10.
  • the rank prediction area 12 f is an area for displaying information on the ranks of a plurality of competitors (for example, the provisional rank at the end of the performance of the competitor 10). For example, the rank prediction area 12 f associates the rank, the competitor's name, and the score.
  • FIG. 12 is a functional block diagram of the configuration of the information processing apparatus according to the first embodiment.
  • the information processing apparatus includes an interface unit 110, an input unit 120, a display unit 130, a storage unit 140, and a control unit 150.
  • the interface unit 110 is connected to the camera 60 and the technique recognition device 70, and acquires data from the camera 60 and the technique recognition device 70.
  • the interface unit 110 outputs the acquired data to the control unit 150.
  • the interface unit 110 acquires video data from the camera 60.
  • the interface unit 110 acquires recognition result data from the technique recognition device 70.
  • the input unit 120 is an input device for inputting various types of information to the information processing apparatus 100.
  • the input unit 120 corresponds to a keyboard, a mouse, a touch panel, and the like.
  • the display unit 130 is a display device that displays information of the display screen output from the control unit 150.
  • the display unit 130 corresponds to a liquid crystal display, a touch panel, or the like.
  • display unit 130 displays the display screens shown in FIGS.
  • the storage unit 140 includes a technique recognition DB 141, a video DB 142, an acting history table 143, a score table 144, and a difficulty degree table 145.
  • the storage unit 140 corresponds to a semiconductor memory element such as a random access memory (RAM), a read only memory (ROM), a flash memory, or a storage device such as a hard disk drive (HDD).
  • RAM random access memory
  • ROM read only memory
  • HDD hard disk drive
  • the skill recognition DB 141 is a table that holds recognition result data of the skill recognition device 70.
  • the data structure of the technique recognition DB 141 corresponds to the data structure of the technique recognition DB 75 described with reference to FIG.
  • the technique recognition DB 141 associates the frame number, the joint position data, the start orientation flag, the end orientation flag, the technique group, the technique number, and the technique name.
  • the video DB 142 is a database that stores video data acquired from the camera 60.
  • FIG. 13 is a view showing an example of the data structure of the video DB according to the first embodiment. As shown in FIG. 13, the video DB 142 associates a frame number with a video frame.
  • video DB142 may match the imaging
  • the frame number is a number that uniquely identifies each video frame. Note that the frame number of the video frame is synchronized with the frame number of the sensing frame.
  • the video frame is a video frame captured by the camera 60.
  • the performance history table 143 is a table for holding information on the history of performance performed by the competitor 10 and other competitors in the past.
  • FIG. 14 is a view showing an example of the data structure of the performance history table according to the first embodiment. As shown in FIG. 14, the performance history table 143 associates the player ID, the date, the event ID, the performance configuration information, the score, and the performance time.
  • the competitor ID is information for uniquely identifying the competitor.
  • the date indicates the date on which the competitor performed the performance.
  • the event ID is information that uniquely identifies the event.
  • the performance configuration information is information indicating the configuration of the performance performed by the competitor in the corresponding tournament.
  • the score indicates the competitor's score in the corresponding tournament. For example, the score includes D score, E score, and score (total score of D score and E score).
  • the performance time indicates the time of performance performed by the competitor.
  • the performance history table 143 further holds the history of E score corresponding to each group and technique number for each competitor ID in order to support processing of calculating E score described later. It shall be kept.
  • FIG. 15 is a diagram showing an example of performance configuration information.
  • FIG. 15 shows, by way of example, performance configuration information performed by the competitor ID “U1001” in the tournament with the tournament ID “A101”, which is included in the first column of FIG. 14.
  • the performance configuration information associates the order, the technique name, the technique group, the technique number, and the difficulty.
  • the order indicates the order in which the competitor has performed the technique of the corresponding technical name.
  • the explanation regarding the technique name, technique group, technique number, and difficulty level is the same as the above description.
  • the score table 144 is a table that holds information on the score of each competitor.
  • FIG. 16 is a view showing an example of the data structure of the score table according to the first embodiment.
  • the score table 144 associates a player ID, a predicted score, and a score.
  • the competitor ID is information uniquely identifying the competitor.
  • the predicted score is the competitor's predicted score.
  • the prediction score includes a D score, an E score, and a score (total score of D score and E score).
  • the score is the actual score after the competitor performs.
  • the score includes D score, E score, and score (total score of D score and E score).
  • the difficulty level table 145 is a table that associates the degree of difficulty used when calculating the D score with the score.
  • FIG. 17 is a view showing an example of the data structure of the difficulty level table according to the first embodiment. As shown in FIG. 17, the difficulty level table 145 associates the skill group, the technique number, the difficulty level, and the score.
  • the control unit 150 includes a registration unit 151, a preprocessing unit 152, and a screen generation unit 153.
  • the control unit 150 can be realized by a central processing unit (CPU) or a micro processing unit (MPU).
  • the control unit 150 can also be realized by hard wired logic such as an application specific integrated circuit (ASIC) or a field programmable gate array (FPGA).
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • the registration unit 151 is a processing unit that acquires recognition result data from the technique recognition device 70 and registers the acquired recognition result data in the technique recognition DB 141 when the performance of the athlete 10 is started. In addition, when the competition of the competitor 10 is started, the registration unit 151 acquires video data from the camera 60, and registers the acquired video data in the video DB 142.
  • the preprocessing unit 152 acquires “planned performance information” including a plurality of techniques scheduled to be performed by the competitor 10 from the performance history table 143. Further, the preprocessing unit 152 calculates, from the planned performance information, a predicted score when a plurality of techniques succeed, and generates screen information for displaying the predicted score of the predicted performance. For example, the screen information for displaying the predicted score of the predicted performance corresponds to the information of the display screen 10A described with reference to FIG. The predicted score calculated by the preprocessing unit 152 corresponds to the first predicted score.
  • the preprocessing unit 152 acquires “planned performance information” from the performance history table 143.
  • the preprocessing unit 152 receives the athlete ID of the target athlete from the input unit 120
  • the preprocessing unit 152 acquires, from the performance history table 143, a plurality of performance configuration information corresponding to the received athlete ID.
  • the pre-processing unit 152 compares the sets of the order and the techniques (skill names) included in the plurality of performance configuration information, and specifies the technique with the highest frequency for each order. Generate
  • the preprocessing unit 152 calculates the transition probability to the technique of each transition destination as well.
  • FIG. 18 is a diagram showing an example of performance transition flow information.
  • a node indicating the start and a plurality of nodes indicating the technique are connected.
  • a node indicating a technique is assigned a combination of a technique group and a technique number.
  • the probability of transitioning to the transition destination is given.
  • transition from the start node to node “G3-53” is shown.
  • the transition destination of the node “G3-53” is the node “G3-70” and the node “G2-52".
  • the probability of transition from the node “G3-53" to the node “G3-70” is "60%”.
  • the probability of transition from the node "G3-53" to the node “G2-52” is "40%”.
  • the transition destination of the node "G3-70" is the node "G2-52".
  • the transition destinations of the node “G2-52” are the node “G3-94” and the node “G1-87”.
  • the probability of transition from the node “G2-52” to the node “G1-87” is "60%”.
  • the probability of transition from the node "G2-52" to the node “G3-94” is "40%”.
  • the transition destination of the node “G3-94" is the node "G1-87".
  • the transition destinations of the nodes following the node "G1-87" are, in order, the nodes "G1-52", “G1-51”, “G3-16", “G1-81”, “G1-26", and "G4 -41 ".
  • Performance transition flow information is generated in advance for each athlete ID, and the preprocessing unit 152 may acquire and use such performance transition flow information.
  • the preprocessing unit 152 specifies the most probable order of the techniques performed by the competitor based on the performance transition flow information 20.
  • the preprocessing unit 152 follows the node of the technique from the start node of the action transition flow information 20, and when there are a plurality of transition destinations of the technique, the sequence of the technique is performed by transitioning to the node with higher probability. Identify
  • the order of the techniques performed by the competitor is, from the start node, nodes “G3-53”, “G3-70”, “G2-52”, “G1-87” , "G1-52", “G1-51”, “G3-16", “G1-81”, “G1-26", and "G4-41”.
  • the type of the technique specified by the pre-processing unit 152 and the order of the techniques become “planned performance information”.
  • the preprocessing unit 152 outputs the planned performance information and the performance transition flow information to the screen generation unit 153.
  • the pre-processing unit 152 describes a process of calculating a D score of planned performance information.
  • the preprocessing unit 152 compares the skill included in the planned performance information with the difficulty level table 145 to specify the score for each technique.
  • the preprocessing unit 152 calculates the D score corresponding to the planned performance information by adding up the scores of the specified techniques. For example, the D score corresponding to planned performance information is a score displayed in the D score area 10c of FIG.
  • the preprocessing unit 152 describes a process of calculating an E score of planned performance information.
  • the preprocessing unit 152 compares the technique included in the planned performance information, the competitor ID, and the performance history table 143 to specify an E score for each technique.
  • the preprocessing unit 152 calculates the E score corresponding to the planned performance information by totaling the E scores of the identified techniques. For example, an E-score corresponding to planned performance information is a score displayed in the D-score area 10d of FIG.
  • the preprocessing unit 152 describes a process of calculating the score of planned performance information.
  • the preprocessing unit 152 calculates the score of the planned performance information by summing the D score and the E score of the planned performance information. For example, the score corresponding to planned performance information is a score displayed in the score area 10e of FIG.
  • the preprocessing unit 152 associates the calculated D score, E score, and score with the competitor ID, and stores the result in the score table 144.
  • the D score, the E score, and the score calculated by the preprocessing unit 152 are information corresponding to the items of the predicted score in the score table 144.
  • the screen generation unit 153 generates the information of the display screen 10A shown in FIG. 9 before the performance of the athlete 10's performance, and outputs the information to the display unit 130 for display.
  • the screen generation unit 153 generates the information of the display screen 11 shown in FIG. 10, and outputs the information on the display unit 130 for display.
  • the screen generation unit 153 generates information of the display screen 12 shown in FIG. 11 after the performance of the athlete 10 is finished, and outputs the information to the display unit 130 for display.
  • the screen generation unit 153 generates a third predicted score of the entire actual performance being performed based on the score of the performed skill and the second predicted score when the predicted unexecuted skill is successful. Predict. For example, in FIG.
  • the order of the techniques is “G3-53”, “G3-70”, “G2-52”, “G1-87”, “G1-52”, “G1-51”, “G3- 16 ”,“ G1-81 ”,“ G1-26 ”,“ G4-41 ”, and“ G2-52 ”.
  • the second prediction score is “G1-87,” “G1-52,” “G1-51,” “G3-16,” “G1-81,” “G1-26,” “G4.
  • the score is -41 ".
  • the third prediction score is the sum of the scores of “G3-53”, “G3-70”, and “G2-52” that have already been implemented, and the second prediction score. Details will be described later.
  • the display screen 10A includes a video area 10a, a predicted performance list 10b, a D score area 10c, an E score area 10d, a score area 10e, and a rank prediction area 10f.
  • the screen generation unit 153 When the screen generation unit 153 receives the athlete ID of the target athlete from the input unit 120, the screen generation unit 153 acquires, from the video DB 142, past video data corresponding to the received athlete ID, and causes the video area 10a to be displayed. I assume.
  • the screen generation unit 153 generates the predicted performance list 10b by arranging information of a combination of a technique name, a technique group, a technique number, and a degree of difficulty on the basis of planned performance information in the order of the predicted techniques.
  • the screen generation unit 153 acquires, from the score table 144, a predicted score corresponding to the competitor ID received from the input unit 120.
  • the screen generation unit 153 uses D score, E score, and score included in the predicted score as information to be displayed on the D score area 10 c, the E score area 10 d, and the score area 10 e.
  • the screen generation unit 153 acquires the competitor ID of the target competitor and the competitor IDs of other competitors who participate in the current tournament.
  • a target competitor is referred to as a first competitor
  • other competitors to be compared are referred to as a second competitor.
  • the screen generation unit 153 acquires the score of the second competitor by comparing the competitor ID of the second competitor with the score table 144.
  • the screen generation unit 153 acquires the information of the relevant score.
  • the screen generation unit 153 acquires information of the predicted score.
  • the screen generation unit 153 determines the ranking of the competitor by comparing the score of the first competitor (the score before the performance) and the scores of the plurality of second competitors (the score before the performance or after the performance). .
  • the screen generation unit 153 generates information of the rank prediction area 10 f by associating the rank, the competitor's name, and the score. For example, the screen generation unit 153 specifies the competitor name corresponding to the competitor ID with reference to a table (not shown) in which the competitor ID and the competitor name are associated with each other.
  • the screen generation unit 153 generates and arranges information corresponding to the video area 10a, the predicted performance list 10b, the D score area 10c, the E score area 10d, the score area 10e, and the rank prediction area 10f, thereby displaying the display screen 10A. Generate information.
  • the display screen 11 includes an action list 11a, action transition information 11b, a D score area 11c, an E score area 11d, a score area 11e, and a rank prediction area 11f.
  • the screen generation unit 153 updates the information displayed on the performance list 11a, performance transition information 11b, D score area 11c, E score area 11d, score area 11e, and rank prediction area 11f as the performance of the athlete 10 progresses. I will.
  • the screen generation unit 153 updates the information of the performance list 11a.
  • the screen generation unit 153 generates initial information of the performance list 11a according to the order of the respective techniques indicated in the planned performance information.
  • the screen generation unit 153 refers to the technique recognition DB 141 to acquire the techniques actually performed by the competitor 10 in order, and compares the techniques actually performed with the performance transition flow information.
  • the screen generation unit 153 leaves the performance list 11a as the initial information.
  • the screen generation unit 153 may highlight the portion corresponding to the technique name of the technique currently performed by the competitor 10 in the performance list 11a. For example, if the competitor 10 is currently performing the technique with the technique name "Azarian", the item "Azarian" included in the performance list 11a is highlighted.
  • the screen generation unit 153 updates the information on the performance list 11b based on the performance transition flow information. For example, when the technique performed by the competitor 10 next to the technique corresponding to the node "G3-53" is the technique with the node "G2-52", the screen generation unit 153 selects the one with lower probability. , And update the information on the performance list 11b. If the technique performed by the competitor 10 next to the technique corresponding to the node “G2-52” is the technique of the node “G3-94”, the screen generation unit 153 transitions to a lower probability. And update the information on the performance list 11b.
  • the order of the techniques in the performance list 11b before updating is “G3-53”, “G3-70”, “G2-52”, “G1-87”, “G1-52”, “G1-51”, “G3 -16 ",” G1-81 ",” G1-26 ", and” G4-41 ".
  • the order of the skills in the performance list 11 after update is “G3-53”, “G2-52”, “G3-94”, “G1-87”, “G1-52”, “G1- 51, "G3-16", “G1-81”, “G1-26", and “G4-41".
  • the screen generation unit 153 updates the information on the performance list 11a as shown in FIG.
  • FIG. 19 is a diagram (1) for describing an example of the process of the screen generation unit according to the first embodiment.
  • the performance list 11a-1 is the performance list before updating.
  • the acting list 11a-2 is an updated acting list.
  • the second technique "backward swing horizontal support (2 seconds) ⁇ G3-70>" of the performance list 11a-1 is deleted from the performance list 11a-2.
  • a technique "back and up cross-over (two seconds) ⁇ G3-94>" not included in the performance list 11a-1 is added.
  • the screen generation unit 153 updates the action transition information 11b.
  • the screen generation unit 153 generates the acting transition information 11 b by arranging the start node and the node of the technique in association with the acting transition flow information 20.
  • the screen generation unit 153 sequentially acquires the techniques actually performed by the competitor 10 with reference to the technique recognition DB 141, and the node of the technique corresponding to the acquired technique. Highlight in order.
  • the screen generation unit 153 compares the competitor ID of the competitor 10 with the score table 144, and acquires the predicted D score of the competitor 10 from the item of the prediction score.
  • the screen generation unit 153 sets the acquired D score in the D score area 11 c.
  • the screen generation unit 153 refers to the technique recognition DB 141 to sequentially acquire the techniques actually performed by the competitor 10, and the techniques actually performed, and the performance transition flow. Compare with the information.
  • the screen generation unit 153 leaves the D score to be displayed in the D score area 11 c as it is, when the transition destination of the technique by the competitor 10 transitions to the one with higher probability.
  • the screen generation unit 153 updates the content of the technique performed by the competitor 10 based on the performance transition flow information.
  • An example will be described using the action transition flow information 20 shown in FIG.
  • the screen generation unit 153 selects the one with lower probability. And the content of the technique performed by the competitor 10 is updated.
  • the content of the technique before update performed by the competitor 10 is “G3-53”, “G3-70”, “G2-52”, “G1-87”, “G1-52”, “G1-51”, “ G3-16 ”,“ G1-81 ”,“ G1-26 ”, and“ G4-41 ”.
  • the contents of the updated technique performed by the competitor 10 are "G3-53”, “G2-52”, “G3-94”, “G1-87”, “G1-52”, “G1. -51 ",” G3-16 “,” G1-81 “,” G1-26 “, and” G4-41 ".
  • the screen generation unit 153 compares the updated technique with the difficulty level table 145 to specify the score for each technique.
  • the screen generation unit 153 newly calculates a D score corresponding to the updated technique by totaling the scores of the specified techniques.
  • the screen generation unit 153 causes the D score area 11 c to display the calculated D score.
  • the screen generation unit 153 may highlight the D score of the D score area 11 c. Further, the screen generation unit 153 updates the D score (D score of the prediction score) of the score table 144 with the calculated D score.
  • the screen generation unit 153 compares the competitor ID of the competitor 10 with the score table 144, and acquires the predicted E score of the competitor 10 from the item of the predicted score.
  • the screen generation unit 153 sets the acquired E score in the E score area 11 d.
  • the screen generation unit 153 refers to the technique recognition DB 141 to sequentially acquire the techniques actually performed by the competitor 10, and the techniques actually performed, and the performance transition flow. Compare with the information.
  • the screen generation unit 153 leaves the E score to be displayed in the E score area 11 d as it is, when the transition destination of the technique by the competitor 10 transitions to the one with higher probability.
  • the screen generation unit 153 updates the content of the technique performed by the competitor 10 based on the performance transition flow information.
  • An example will be described using the action transition flow information 20 shown in FIG.
  • the screen generation unit 153 has a lower probability.
  • the content of the technique performed by the competitor 10 is updated.
  • the content of the technique before updating and the content of the technique after updating are the same as those performed in the process of updating the D score area 11c.
  • the screen generation unit 153 compares the updated technique with the performance history table 143 to specify the E score for each technique.
  • the screen generation unit 153 newly calculates an E score corresponding to the updated technique by totaling the E scores of the identified techniques.
  • the screen generation unit 153 sets the calculated E score in the E score area 11 d.
  • the screen generation unit 153 may highlight the E score of the E score area 11 d.
  • the screen generation unit 153 updates the E score (E score of the prediction score) of the score table 144 with the calculated D score.
  • the screen generation unit 153 compares the competitor ID of the competitor 10 with the score table 144, and acquires the predicted score of the competitor 10 from the item of the predicted score.
  • the screen generation unit 153 sets the acquired score in the score area 11 e.
  • the screen generation unit 153 refers to the technique recognition DB 141 to sequentially acquire the techniques actually performed by the competitor 10, and the techniques actually performed, and the performance transition flow. Compare with the information.
  • the screen generation unit 153 leaves the score displayed in the score area 11 e as it is when the transition destination of the technique by the competitor 10 transitions to the one with higher probability.
  • the screen generation unit 153 updates the content of the technique performed by the competitor 10 based on the performance transition flow information.
  • the description will be made using the performance transition flow information 20 shown in FIG. 18 as an example.
  • the screen generation unit 153 has a lower probability.
  • the content of the technique performed by the competitor 10 is updated.
  • the content of the technique before updating and the content of the technique after updating are the same as those performed in the process of updating the D score area 11c.
  • the screen generation unit 153 calculates a D score corresponding to the updated technique, as in the process of updating the D score area 11 c.
  • the screen generation unit 153 calculates an E score corresponding to the updated technique in the same manner as the process of updating the E score area 11 d.
  • the screen generation unit 153 calculates the score after the update by summing the D score and the E score corresponding to the updated technique.
  • the screen generation unit 153 sets the calculated updated score in the score area 11 e.
  • the screen generation unit 153 may highlight the score of the score area 11 e. Further, the screen generation unit 153 updates the score (the score of the predicted score) of the score table 144 based on the calculated score.
  • the screen generation unit 153 refers to the score table 144 to acquire the score of the first competitor and the scores of the plurality of second competitors.
  • the score of the first competitor is the score of the item of predicted score corresponding to the competitor ID of the competitor who is performing in the score table 144.
  • the score of the second competitor is the score of a score item corresponding to the competitor ID of the second competitor in the score table 144 when the performance of the corresponding second competitor is finished.
  • the score of the second competitor is the score of the item of the predicted score corresponding to the competitor ID of the second competitor in the score table 144. It is.
  • the screen generation unit 153 compares the score of the first competitor (the score of the prediction during the performance) and the scores of the plurality of second competitors (the score before the performance or after the performance) to determine the ranking of the competitor. judge.
  • the screen generation unit 153 generates information of the rank prediction area 11 f by associating the rank, the competitor's name, and the score. For example, the screen generation unit 153 specifies the competitor name corresponding to the competitor ID with reference to a table (not shown) in which the competitor ID and the competitor name are associated with each other.
  • the screen generation unit 153 updates the information of the rank prediction area 11 f by repeatedly executing the above process each time the score of the first competitor is updated.
  • the screen generation unit 153 causes the up arrow to be displayed next to the corresponding competitor's name when the player's rank is higher than the rank before the update.
  • the screen generation unit 153 causes the down arrow to be displayed next to the corresponding competitor's name when the player's rank is lower than the rank before the update.
  • the screen generation unit 153 generates information of the display screen 12 and outputs the information to the display unit 130 so as to be displayed in the “after performance of the performance” of the competitor 10.
  • the display screen 12 includes an image area 12a, an action list 12b, a D score area 12c, an E score area 12d, a score area 12e, and a rank prediction area 12f.
  • the screen generation unit 153 refers to the technique recognition DB 141, acquires the techniques actually performed by the competitor 10 in order, compares the techniques actually performed with the performance transition flow information, and When the last node is reached, it is determined that the performance of the competitor 10 is finished. For example, to explain using the performance transition flow information 20 shown in FIG. 18, when the skill of the competitor 10 reaches the skill corresponding to the node "G4-41", it is assumed that the performance of the competitor 10 is finished. judge.
  • the screen generation unit 153 acquires video data of the athlete who performed the performance from the video DB 142, and causes the video area 12a to display the acquired video data.
  • the screen generation unit 153 uses the information displayed on the performance list 11 a of the display screen 11 as the information on the performance list 12 b when the competitor 10 finishes performing.
  • the screen generation unit 153 sets the D score, the E score, and the score set in the D score area 11 c, the E score area 11 d, and the score area 11 e of the display screen 11 to D score when the competitor 10 finishes the performance.
  • the area 12c, the E score area 12d, and the score area 12e are set.
  • the screen generation unit 153 registers information on the D score, E score, and score set in the D score area 12 c, the E score area 12 d, and the score area 12 e in the score table 144 in association with the athlete ID. Do.
  • the screen generation unit 153 refers to the score table 144 to acquire the score of the first competitor and the scores of the plurality of second competitors.
  • the score of the first competitor is the score of the score item corresponding to the competitor ID of the competitor who finished the performance in the score table 144.
  • the score of the second competitor is the score of a score item corresponding to the competitor ID of the second competitor in the score table 144 when the performance of the corresponding second competitor is finished.
  • the score of the second competitor is the score of the item of the predicted score corresponding to the competitor ID of the second competitor in the score table 144. It is.
  • the screen generation unit 153 compares the score of the first competitor (the score of the prediction during the performance) and the scores of the plurality of second competitors (the score before the performance or after the performance) to determine the ranking of the competitor. judge.
  • the screen generation unit 153 generates information of the rank prediction area 12 f by associating the rank, the competitor's name, and the score. For example, the screen generation unit 153 specifies the competitor name corresponding to the competitor ID with reference to a table (not shown) in which the competitor ID and the competitor name are associated with each other. Further, the screen generation unit 153 may display the direction of the arrow to visualize the change in the order, when there is a change in the order of the competitor, as compared with the latest order.
  • the screen generation unit 153 causes the up arrow to be displayed next to the corresponding competitor name when the player's rank is higher than the rank before the update.
  • the screen generation unit 153 causes the down arrow to be displayed next to the corresponding competitor's name when the player's rank is lower than the rank before the update.
  • FIG. 20 will be used as an example of changes in the information on the performance transition information 11b, the D score area 11c, the E score area 11d, and the score area 11e on the display screen 11 between the start of performance of the athlete 10 and the end of performance. It demonstrates using.
  • FIG. 20 is a diagram (2) for explaining an example of the process of the screen generation unit according to the first embodiment.
  • the competitor 10 starts to perform and next to the "G3-53" technique, performs a technique different from the schedule ("G2-52" technique), and thereafter, as scheduled, Explain the case of performing an act.
  • Step S10 the display screen before performance includes performance transition information 11b-1, D score area 11c-1, E score area 11d-1, and score area 11e-1.
  • the screen generation unit 153 causes the performance transition flow information 20 to be displayed on the performance transition information 11b-1.
  • the screen generation unit 153 calculates the D score, the E score, and the score of the planned performance information, and causes the D score area 11c-1, the E score area 11d-1, and the score area 11e-1 to respectively display.
  • the D score, the E score, and the score displayed in the D score area 11c-1, the E score area 11d-1, and the score area 11e-1 perform the performance (planned performance information performance) as planned by the competitor 10. It becomes D score, E score, and score in the case.
  • Step S11 the display screen during performance includes performance transition information 11b-2, a D score area 11c-2, an E score area 11d-2, and a score area 11e-2.
  • the screen generation unit 153 refers to the technique recognition DB 141, and when transitioning from the technique of "G3-53" to the technique of "G2-52", the technique of "G3-53" of the action transition information 11b-2 Highlight the line transitioning to the "G2-52” technique.
  • the screen generation unit 153 updates the information of the D score area 11c-1, the E score area 11d-1, and the score area 11e-1.
  • D score of D score region 11c-2 and D score region 11c-1 It becomes the same as D score.
  • the E score is updated to "8.200” by transitioning from the "G3-53" technique to the "G2-52” technique and the "G3-70” technique originally intended to be executed is not performed. Ru.
  • the screen generation unit 153 displays the E score “8.200” in the E score area 11d-2.
  • the screen generation unit 153 causes the score area 11e-2 to display the score “13.900”.
  • Step S12 the display screen from during performance to the end of performance includes performance transition information 11b-3, D score area 11c-3, E score area 11d-3, and score area 11e-3. If the competitor 10 performs as planned after the technique of “G2-52”, the screen generation unit 153 sets the D score area 11c-3, the E score area 11d-3, and the score area 11e-3. The same information as the D score area 11c-2, the E score area 11d-2, and the score area 11e-2 is displayed on the screen.
  • FIG. 21 is a flowchart of the process procedure of the information processing apparatus according to the first embodiment.
  • the preprocessing unit 152 of the information processing apparatus 100 acquires planned performance information from the performance history table 143 (step S101).
  • the preprocessing unit 152 calculates a predicted score when each skill included in the planned performance information is successful (step S102).
  • the screen generation unit 153 of the information processing device 100 generates a display screen for displaying the predicted score and causes the display unit 130 to display the display screen (step S103).
  • the display screen displayed in step S103 corresponds to the display screen 10A described in FIG.
  • the screen generation unit 153 executes an acting process (step S104).
  • FIG. 22 is a flowchart showing the procedure of the process during acting. As shown in FIG. 22, when the performance of the athlete 10 is started, the screen generation unit 153 of the information processing apparatus 100 acquires recognition result data of the performance being performed (step S201).
  • the screen generation unit 153 compares the recognition result data with the action transition flow information (step S202).
  • the screen generation unit 153 updates the predicted score (step S204) when the skill being executed is different from the scheduled skill (step S203, Yes), and proceeds to step S205.
  • step S203 the screen generation unit 153 proceeds to step S205.
  • the screen generation unit 153 updates and displays the display screen (step S205).
  • the display screen displayed in step S205 corresponds to the display screen 11 described in FIG.
  • the screen generation unit 153 displays a display screen at the end of the performance (step S207) when the performance is ended (Yes at step S206).
  • the display screen displayed in step S207 corresponds to the display screen 12 described in FIG.
  • step S206 when the performance has not ended (step S206, No), the screen generation unit 153 acquires the next recognition result data (step S208), and proceeds to step S202.
  • the information processing apparatus 100 calculates a predicted score for planned performance information before starting the performance, and displays the calculated predicted score.
  • the information processing apparatus 100 determines whether the scheduled technique has been changed as the performance proceeds, and if the scheduled technique is changed, the information processing apparatus 100 may be implemented from now on.
  • the series of scheduled techniques is updated, the prediction score based on the updated series of prediction techniques is updated, and the updated prediction score is displayed on the display screen.
  • the information processing apparatus 100 causes the display screen 10A shown in FIG. 9 to be displayed before the athlete 10 starts performing.
  • the announcer can grasp the score line in which the performer's rank change occurs by referring to the rank prediction area 10f of the display screen 10A. For example, assuming that the competitor who is acting from now on is "Fujitarou", the announcer will change the performance, "I can not be the first place in the planned performance," while watching the display screen. Comments can be made easily.
  • the information processing apparatus 100 causes the display screen 11 shown in FIG. 10 to be displayed while the competitor 10 is performing. For example, by referring to the performance transition information 11b on the display screen 11, the announcer changes the skill of the competitor 10 from “G3-70" to "G2-52" in real time. It can be grasped. In addition, when the E score of the E score area 11 d is increased by changing the skill from “G3-70” to “G2-52”, the competitor 10 is good at the skill. It can be confirmed that it has shifted. As a result, while watching the display screen, the announcer “changes the scheduled performance technique (G3-70) to a technique with a high degree of perfection in production (G2-52)! Can easily make comments such as “E score is higher by 1.0.”
  • the viewer when the viewer refers to the performance transition information 11b on the display screen 11, the viewer can watch the program while being excited while feeling the possibility of the reverse.
  • the current technique is "G3-53”
  • the viewer can next follow "G3-70” even if there is no knowledge of the past performance about the competitor 10. It is possible to predict in advance that the performer will perform the technique, but it is possible to enjoy the tactics of the competitor 10, such as whether to change the technique to "G2-52" and aim for reverse.
  • the information processing apparatus 100 causes the display screen 12 shown in FIG. 11 to be displayed at the end of the performance of the competitor 10.
  • the announcer can grasp the predicted score before the final score is announced by the referee by referring to the information of the ranking prediction area 12 f of the display screen 12. For example, it is possible to easily make comments such as "Fujitarou is likely to rise to provisional first.”
  • FIG. 23 is a diagram of an example of a system according to the second embodiment. As shown in FIG. 23, this system includes a 3D laser sensor 50, a camera 60, and an information processing apparatus 200. The information processing apparatus 200 is connected to the 3D laser sensor 50 and the camera 60.
  • the athlete 10 performs gymnastic performance in front of the 3D laser sensor 50 and the camera 60, but the same applies to the case where the athlete 10 performs another scoring competition. be able to.
  • the 3D laser sensor 50 is a sensor that performs 3D sensing on the competitor 10.
  • the 3D laser sensor 50 outputs sensing data as a sensing result to the information processing apparatus 200.
  • the camera 60 is a device that captures video data of the competitor 10.
  • the camera 60 outputs video data to the information processing apparatus 200.
  • the information processing device 200 is a device that displays a predicted score calculated from a series of scheduled performances of the competitor 10 based on the history of performance configurations performed by the competitor 10 in the past. In addition, when the performance of the competitor 10 is changed with the progress of the actual performance of the competitor 10, the information processing apparatus 200 updates the later predicted performance and responds to the update of the performance, when the performance of the competitor 10 changes. Update prediction scores.
  • the information processing device 200 has the function of the skill recognition device 70 described in FIG. 1 and recognizes the skill of the competitor 10 based on the sensing data output from the 3D laser sensor 50.
  • the information processing apparatus 200 predicts and displays the technique based on the start posture specified from the sensing data.
  • the information processing apparatus 200 determines that the start posture specified from the sensing data is “backward swinging up”, the next technique to perform “backward swinging cross inverted, even without waiting for recognition of the terminal posture It can be determined that it is either (2 seconds) or "back swing upside down (2 seconds)”.
  • the information processing apparatus 200 causes the display screen to display the estimated “back swing up cross (2 seconds)” and “back swing up (2 seconds)”.
  • FIG. 24 is a diagram illustrating an example of a display screen displayed by the information processing apparatus according to the second embodiment.
  • the display screen is displayed.
  • this display screen 13 it is possible to grasp in advance the technique that the competitor 10 is going to perform without looking at the attitude at the end.
  • FIG. 25 is a functional block diagram of the configuration of the information processing apparatus according to the second embodiment.
  • the information processing apparatus 200 includes an interface unit 210, an input unit 220, a display unit 230, a storage unit 240, and a control unit 250.
  • the interface unit 210 is a device that is connected to the 3D laser sensor 50 and the camera 60 and acquires data from the 3D laser sensor 50 and the camera 60.
  • the interface unit 210 outputs the acquired data to the control unit 250.
  • the interface unit 210 acquires sensing data from the 3D laser sensor 50.
  • the interface unit 210 acquires video data from the camera 60.
  • the input unit 220 is an input device for inputting various types of information to the information processing apparatus 200.
  • the input unit 220 corresponds to a keyboard, a mouse, a touch panel, and the like.
  • the display unit 230 is a display device that displays information of the display screen output from the control unit 250.
  • the display unit 240 corresponds to a liquid crystal display, a touch panel, or the like.
  • display unit 230 displays the display screens shown in FIGS.
  • the storage unit 240 includes a sensing DB 241, joint definition data 242, a joint position DB 243, a skill determination table 244, and a skill recognition DB 245.
  • the storage unit 240 also includes a video DB 246, an acting history table 247, a score table 248, and a difficulty level table 249.
  • the storage unit 240 corresponds to a semiconductor memory device such as a RAM, a ROM, or a flash memory, or a storage device such as an HDD.
  • the sensing DB 241 is a DB that stores sensing data acquired from the 3D laser sensor 50.
  • the data structure of the sensing DB 241 is the same as the data structure of the sensing DB 71 described in the first embodiment.
  • the joint definition data 242 is for defining each joint position of the player 10.
  • the data structure of the joint definition data 242 is the same as the data structure of the joint definition data 72 described in the first embodiment.
  • the joint position DB 243 is position data of each joint of the player 10 generated based on sensing data of the 3D laser sensor 50.
  • the data structure of the joint position DB 243 is the same as the data structure of the joint position DB 73 described in the first embodiment.
  • the skill determination table 244 is a table used when determining the technique performed by the competitor 10.
  • the data structure of the skill determination table 244 is the same as the data structure of the skill determination table 74 described in the first embodiment.
  • the technique recognition DB 245 is a database for storing technique recognition result data.
  • the data structure of the technique recognition DB 245 is the same as the data structure of the technique recognition DB 75 described in the first embodiment.
  • the video DB 246 is a DB that stores video data acquired from the camera 60.
  • the data structure of the video DB 246 is the same as the data structure of the video DB 142 described in the first embodiment.
  • the performance history table 247 is a table for holding information on the history of performance performed by the player 10 and other players in the past.
  • the data structure of the performance history table 247 is the same as the data structure of the performance history table 143 described in the first embodiment.
  • the score table 248 is a table that holds information on the scores of each competitor.
  • the data structure of the score table 248 is similar to that of the score table 144 described in the first embodiment.
  • the difficulty level table 249 is a table that associates the degree of difficulty used when calculating the D score with the score.
  • the data structure of the difficulty level table 249 is similar to the data structure of the difficulty level table 145 described in the first embodiment.
  • the control unit 250 includes a registration unit 251, a recognition unit 252, a preprocessing unit 253, and a screen generation unit 254.
  • the control unit 250 can be realized by a CPU, an MPU, or the like.
  • the control unit 250 can also be realized by hard wired logic such as ASIC or FPGA.
  • the registration unit 251 acquires sensing data from the 3D laser sensor 50, and registers the acquired sensing data in the sensing DB 241.
  • the registration unit 251 acquires video data from the camera 60, and stores the acquired video data in the video DB 246.
  • the recognition unit 252 is a processing unit that recognizes the skill of the competitor 10 based on the sensing data stored in the sensing DB 241.
  • the recognition unit 252 generates recognition result data in which each frame number of sensing data is associated with each authentication result.
  • the recognition unit 252 stores the recognition result data in the technique recognition DB 245.
  • the recognition unit 252 compares the sensing frame of the sensing DB 241 with the positional relationship of each joint defined in the joint definition data 242, and identifies the type of each joint and the three-dimensional coordinates of the joint included in the sensing frame.
  • the recognition unit 252 repeatedly executes the above process for each frame number of the sensing DB 241, and stores information of three-dimensional coordinates of each joint in the joint position DB 243.
  • the recognition unit 252 compares the information of the three-dimensional coordinates of each joint with the technique determination table 244 for each frame number to specify the start attitude and the end attitude. Further, the recognition unit 252 compares the combination of the identified start attitude and end attitude with the skill determination table 244 to specify the skill group, the technique number, and the technique name corresponding to the frame number.
  • the recognition unit 252 stores information in which the frame number, the joint position data, the start attitude flag, the end attitude flag, the technique group, the technique number, and the technique name are associated with one another in the technique recognition DB 245.
  • the recognition unit 252 when recognizing a technique based on the sensing data stored in the sensing DB 241, the recognition unit 252 according to the second embodiment predicts the technique based on the start posture specified from the sensing data. You may The recognition unit 252 outputs, to the screen generation unit 254, information on the technique predicted from the start posture.
  • FIG. 26 is a diagram for explaining the process of the recognition unit according to the second embodiment.
  • the recognition unit 252 determines the transition destination of each technique as shown in FIG. 26 based on the action transition flow information. As shown in FIG. 26, after the technique “backward swing during horizontal support (2 seconds)”, “backward swing up horizontal support (2 seconds)” or “Azarian: extended arm stretch back upswing cross suspension (2 seconds) Is executed. Then, after the “azarian”, “back swing up cross (2 seconds)” or “back swing up (2 seconds)” is executed.
  • the technique is determined from the combination of the starting posture and the ending posture, but if the starting posture can be determined without waiting for the determination of the ending posture, the skill to be executed by the next competitor 10 is predicted. can do. For example, in FIG. 26, when the skill of the competitor 10 "backward during horizontal support (2 seconds)" is finished, the next possibility that the competitor 10 may perform is "backward horizontal support (2 seconds) or "Azarian".
  • the recognition unit 252 determines that the next skill is “succeeding back” when the skill “backward swinging horizontal support (2 seconds)” of the competitor 10 is finished and the starting posture “backward swinging” is performed. It is predicted to be “horizontal support (2 seconds)”. On the other hand, when the recognition unit 252 completes the technique “backward swinging horizontal support (2 seconds)” of the competitor 10 and performs the starting posture “stretching arm stretch backward movement”, the next technique is “ It is predicted to be “azarian”.
  • the recognition part 252 may perform the process which excludes from a prediction result, when the estimated skill is already performed by a series of performance. For example, when the skill “Azarian" of the competitor 10 is finished and the competitor 10 performs the starting posture “swing back", the recognition unit 252 performs "back swing up cross (2 seconds)” or " It is predicted that “back swing upside down (2 seconds)” will be performed. However, in the case where “back swing up cross inverted (2 seconds)” is already executed, the recognition unit 252 predicts the technique to be performed next as “back up swing inverted (2 seconds)”.
  • the preprocessing unit 253 generates “planned performance information” and “performance transition flow information” based on the performance history table 247.
  • the preprocessing unit 253 outputs the planned performance information and the performance transition flow information to the screen generation unit 254.
  • the pre-processing unit 253 calculates, from the planned performance information, a predicted score when a plurality of techniques are successful, and generates screen information for displaying the predicted score of the planned performance.
  • the screen information for displaying the predicted score of the predicted performance corresponds to the information of the display screen 10A described with reference to FIG.
  • the other processes related to the pre-processing unit 253 are the same as the processes of the pre-processing unit 152 described in the first embodiment, and thus the description thereof is omitted.
  • the screen generation unit 254 generates the information of the display screen 10A shown in FIG. 9 before the performance of the athlete 10's performance, and outputs the information to the display unit 230 for display. During the performance of the athlete 10, the screen generation unit 254 generates the information of the display screen 11 shown in FIG. 10, and outputs the information to the display unit 230 for display. The screen generation unit 254 generates information of the display screen shown in FIG. 11 after the performance of the athlete 10 is finished, and outputs the information to the display unit 230 for display.
  • the process of the screen generation unit 254 generating and displaying the screens of the display screens 10A, 11 and 12 is the same as the process of the screen generation unit 153 described in the first embodiment, and thus the description thereof is omitted.
  • the screen generation unit 254 When the screen generation unit 254 generates the display screen 11 during performance, the performance list 11a, performance transition information 11b, D score area 11c, E score area 11d, using the technique predicted by the recognition unit 252. , The score area 11e, and the order prediction area 11f may be updated.
  • the screen generation unit 254 when the screen generation unit 254 receives information on the technique predicted by the recognition unit 252, the screen generation unit 254 causes the display unit 230 to display information on the predicted technique. For example, by displaying the display screen 13 described with reference to FIG. 24, the screen generation unit 254 displays information on a technique highly likely to be executed next without waiting for the terminal posture.
  • the screen generation unit 254 may predict and display the remaining performance time.
  • the screen generation unit 254 refers to the performance history table 247, compares the past performance configuration information of the competitor 10 with the planned performance information, and specifies the planned performance time.
  • the screen generation unit 254 counts the elapsed time after the competitor 10 starts to perform using a timer (not shown), and predicts the remaining performance time by subtracting the elapsed time from the planned performance time. .
  • FIG. 27 is a view showing an example of a display screen during performance according to the second embodiment.
  • the display screen 14 includes a display area 14a.
  • the screen generation unit 254 causes the display area 14a to display the remaining performance time.
  • FIG. 28 is a flowchart of the procedure of the information processing apparatus according to the second embodiment.
  • the preprocessing unit 253 of the information processing device 200 acquires planned performance information of the performer 10 from the performance history table 247 (step S301).
  • the preprocessing unit 253 calculates a predicted score when each skill included in the planned performance information is successful (step S302).
  • the screen generation unit 254 of the information processing device 200 generates a display screen for displaying the predicted score and causes the display unit 130 to display the display screen (step S303).
  • the information processing apparatus 100 acquires sensing data, and generates recognition result data of a technique being performed (step S304).
  • the recognition unit 252 of the information processing device 200 executes prediction processing (step S305).
  • the screen generation unit 254 updates the predicted score (step S307) when the skill being executed is different from the scheduled skill (step S306, Yes), and proceeds to step S308.
  • step S306, No the screen generation unit 254 proceeds to step S308.
  • the screen generation unit 254 updates and displays the display screen (step S308).
  • the display screen displayed in step S308 corresponds to the display screen 11 described in FIG.
  • the screen generation unit 254 displays the remaining performance time on the display screen (step S309).
  • the screen generation unit 254 generates the next recognition result data (step S311), and proceeds to step S305.
  • step S310 the screen generation unit 254 displays a display screen at the end of the performance (step S312).
  • FIG. 29 is a flowchart showing an example of the prediction process.
  • the recognition unit 252 of the information processing device 200 acquires the start posture and the end posture of the technique of planned performance (step S401).
  • the recognition unit 252 specifies the start posture of the performance being performed (step S402).
  • the recognition unit 252 predicts the next technique to be performed based on the starting posture (step S403).
  • the recognition unit 252 determines whether the start posture of the planned performance technique matches the start posture of the performance being performed (step S404).
  • the recognition unit 252 specifies a technique corresponding to the start posture and the end posture of the performance being performed from the skill determination table 244 (step S406), and ends the prediction process.
  • the recognition unit 252 determines whether or not the final posture of the planned performance technique matches the final posture of the performance being performed (Step S407). If the recognition unit 252 does not match (No at Step S408), the recognition unit 252 proceeds to Step S406. If they match (Yes at step S408), the recognition unit 262 ends the prediction process.
  • the information processing apparatus 200 determines the start posture of the technique based on the sensing data, and performs a process of displaying the predicted technique on the display screen before the terminal posture is recognized. As a result, an announcer or a viewer who refers to the display screen can know in advance the technique that the competitor 10 tries to perform.
  • the information processing apparatus 200 predicts the performance time of the competitor 10 from the past performance configuration of the competitor 10, and calculates and displays the remaining performance time when the competitor 10 starts the performance.
  • the announcer can grasp the remaining performance time and perform a live performance. For example, the announcer can read the manuscript by adjusting the speed etc. by grasping the remaining performance time.
  • FIG. 30 is a diagram illustrating an example of a hardware configuration of a computer that realizes the same function as the information processing apparatus.
  • the computer 300 has a CPU 301 that executes various arithmetic processing, an input device 302 that receives input of data from a user, and a display 303.
  • the computer 300 further includes a reading device 304 that reads a program or the like from a storage medium, and an interface device 305 that exchanges data with a recording device or the like via a wired or wireless network.
  • the computer 300 also has a RAM 306 for temporarily storing various information, and a hard disk drive 307.
  • the devices 301 to 307 are connected to the bus 308.
  • the hard disk drive 507 has a registration program 307a, a recognition program 307b, a pre-processing program 307c, and a screen generation program 307d.
  • the CPU 301 reads each program 307 a to 307 d and develops it in the RAM 306.
  • the registration program 307a functions as a registration process 306a.
  • the recognition program 307 b functions as a recognition process 306 b.
  • the pre-processing program 307 c functions as a pre-processing process 306 c.
  • the screen generation program 307 d functions as a screen generation process 306 d.
  • the process of the registration process 306 a corresponds to the process of the registration units 151 and 251.
  • the process of the recognition process 306 b corresponds to the process of the recognition unit 252.
  • the processing of the preprocessing process 306 c corresponds to the processing of the preprocessing units 152 and 253.
  • the processing of the screen generation process 306 d corresponds to the processing of the screen generation units 153 and 254.
  • the programs 307a to 307d may not necessarily be stored in the hard disk drive 507 from the beginning.
  • each program is stored in a “portable physical medium” such as a flexible disk (FD), a CD-ROM, a DVD, a magneto-optical disk, an IC card or the like inserted into the computer 300. Then, the computer 300 may read out and execute the programs 307a to 307d.
  • a “portable physical medium” such as a flexible disk (FD), a CD-ROM, a DVD, a magneto-optical disk, an IC card or the like inserted into the computer 300.
  • the computer 300 may read out and execute the programs 307a to 307d.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

情報処理装置１００は、競技者による実演技が開始した場合に、リアルタイムで取得するデータに基づき、実演技の中で、実施済みの技および実施済みの技のスコアを取得する。情報処理装置１００は、予定演技情報およびデータの少なくとも一方に基づき、実演技の中で、これから実施される可能性が高い未実施の技を予測する。情報処理装置１００は、実施済みの技のスコアと、予測された未実施の技が成功した場合の予測スコアとに基づき、実施中の実演技の予測スコアを予測し、予定演技の予測スコアと、実演技の予測スコアとを表示する画面情報を生成する。

Description

画面生成プログラム、画面生成方法および情報処理装置
　本発明は、画面生成プログラム等に関する。
　採点競技において、選手は、複数の技からなる演技を実施する。選手が実施する演技の構成は、シーズンを通してある程度決まっている場合が多い。このため、試合本番前の練習、予選の試合、試合本番等において、選手が行う演技構成を予測することは可能であり、演技のスコアを予測することも可能である。
特開２００４－１０９２６４号公報 特開２０１２－０４２２８７号公報 特開２０１５－２２８１８３号公報 特開２０１１－０８１４３１号公報
　しかしながら、上述した従来技術では、採点競技における予定演技の予測スコアと、演技の進行に伴う予測スコアとを提供することができないという問題がある。
　たとえば、選手は、本番直前に、順位の逆転を狙うために技の難度を上げる場合や、試合当日のコンディションに応じて、予定していた演技の構成を一部変更する場合がある。または、選手は、演技の途中で、選手自身の判断により、一部の技を変更したりする場合がある。このような場合には、想定していた演技構成と異なるため、演技のスコアを予測することは難しい。
　１つの側面では、本発明は、採点競技における予定演技の予測スコアと、演技の進行に伴う予測スコアとを提供することができる画面生成プログラム、画面生成方法および情報処理装置を提供することを目的とする。
　第１の案では、コンピュータに下記の処理を実行させる。コンピュータは、採点競技の競技者が実施予定の複数の技を含む予定演技情報を取得する。コンピュータは、予定演技情報から、複数の技が成功した場合の第一の予測スコアを算出する。コンピュータは、予定演技の第一の予測スコアを表示する画面情報を生成する。コンピュータは、競技者による実演技が開始した場合に、実演技をセンシングしたデータを、リアルタイムで取得する。コンピュータは、データに基づき、実演技の中で、実施済みの技および実施済みの技のスコアを取得する。コンピュータは、予定演技情報およびデータの少なくとも一方に基づき、実演技の中で、これから実施される可能性が高い未実施の技を予測する。コンピュータは、実施済みの技のスコアと、予測された未実施の技が成功した場合の第二の予測スコアとに基づき、実施中の実演技全体の第三の予測スコアを予測する。コンピュータは、第一の予測スコアと、第三の予測スコアとを表示する画面情報を生成する。
　採点競技における予定演技の予測スコアと、演技の進行に伴う予測スコアとを提供することができる。
図１は、本実施例１に係るシステムの一例を示す図である。 図２は、センシングデータを説明するための図である。 図３は、本実施例１に係るセンシングＤＢのデータ構造の一例を示す図である。 図４は、本実施例１に係る関節定義データの一例を示す図である。 図５は、本実施例１に係る関節位置ＤＢのデータ構造の一例を示す図である。 図６は、本実施例１に係る技判定テーブルのデータ構造の一例を示す図である。 図７は、開始姿勢および終末姿勢の一例を説明するための図である。 図８は、本実施例１に係る技認識ＤＢのデータ構造の一例を示す図である。 図９は、演技開始前の表示画面の一例を示す図である。 図１０は、演技中の表示画面の一例を示す図である。 図１１は、演技終了後の表示画面の一例を示す図である。 図１２は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。 図１３は、本実施例１に係る映像ＤＢのデータ構造の一例を示す図である。 図１４は、本実施例１に係る演技履歴テーブルのデータ構造の一例を示す図である。 図１５は、演技構成情報の一例を示す図である。 図１６は、本実施例１に係るスコアテーブルのデータ構造の一例を示す図である。 図１７は、本実施例１に係る難度テーブルのデータ構造の一例を示す図である。 図１８は、演技遷移フロー情報の一例を示す図である。 図１９は、本実施例１に係る画面生成部の処理の一例を説明するための図（１）である。 図２０は、本実施例１に係る画面生成部の処理の一例を説明するための図（２）である。 図２１は、本実施例１に係る情報処理装置の処理手順を示すフローチャートである。 図２２は、演技中処理の処理手順を示すフローチャートである。 図２３は、本実施例２に係るシステムの一例を示す図である。 図２４は、本実施例２に係る情報処理装置が表示する表示画面の一例を示す図である。 図２５は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。 図２６は、本実施例２に係る認識部の処理を説明するための図である。 図２７は、本実施例２に係る演技中の表示画面の一例を示す図である。 図２８は、本実施例２に係る情報処理装置の処理手順を示すフローチャートである。 図２９は、予測処理の一例を示すフローチャートである。 図３０は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
　以下に、本願の開示する画面生成プログラム、画面生成方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
　図１は、本実施例１に係るシステムの一例を示す図である。図１に示すように、このシステムは、３Ｄ（3　dimension）レーザセンサ５０と、カメラ６０と、技認識装置７０と、情報処理装置１００とを有する。情報処理装置１００は、カメラ６０、技認識装置７０に接続される。本実施例１では一例として、競技者１０は、３Ｄレーザセンサ５０およびカメラ６０の前方で体操演技を行う場合について説明するが、競技者１０が他の採点競技を行う場合にも同様に適用することができる。
　たとえば、他の採点競技は、トランポリン、水泳の飛び込み、フィギュアスケート、空手の型、社交ダンス、スノーボード、スケートボード、スキーエアリアル、サーフィンを含む。また、クラシックバレエ、スキージャンプ、モーグルのエアー、ターン、野球、バスケットボールのフォームチェック等にも適用してもよい。また、剣道、柔道、レスリング、相撲などの競技にも適用してもよい。
　３Ｄレーザセンサ５０は、競技者１０に対して３Ｄセンシングを行うセンサである。３Ｄレーザセンサ５０は、センシング結果となる３Ｄセンシングデータを、技認識装置７０に出力する。以下の説明では、３Ｄセンシングデータを、単に、センシングデータと表記する。
　図２は、センシングデータを説明するための図である。センシングデータには、複数のフレームが含まれ、各フレームには、フレームを一意に識別するフレーム番号が昇順に付与される。図２に示すセンシングデータでは、古いフレームから順番に、フレーム番号ｎ、ｎ＋１、・・・、ｎ＋１５、・・・、ｎ＋３０のフレームを示す。ｎは自然数に対応する。たとえば、各フレームには、３Ｄレーザセンサ５０から、競技者１０上の各点までの距離情報が含まれる。
　カメラ６０は、競技者１０の映像データを撮影する装置である。カメラ６０は、映像データを、情報処理装置１００に出力する。映像データには、競技者１０の画像に相当する複数のフレームが含まれ、各フレームには、フレーム番号が割り振られる。映像データのフレーム番号と、センシングデータのフレーム番号とは、同期しているものとする。また、下記の説明では、適宜、センシングデータに含まれるフレームを、「センシングフレーム」と表記し、映像データのフレームを「映像フレーム」と表記する。
　技認識装置７０は、３Ｄレーザセンサ５０がセンシングしたセンシングデータを基にして、技を認識する装置である。技認識装置７０は、センシングデータの各フレーム番号と、各認識結果とをそれぞれ対応づけた認識結果データを生成する。技認識装置７０は、認識結果データを、情報処理装置１００に出力する。ここでは一例として、技認識装置７０が、情報処理装置１００の外部に位置する場合を示すが、情報処理装置１００が、技認識装置７０と同様の処理を行う機能部を有していてもよい。
　たとえば、技認識装置７０は、センシングＤＢ７１、関節定義データ７２、関節位置ＤＢ７３、技判定テーブル７４、技認識ＤＢ７５を有する。センシングＤＢ（Data　Base）７１は、３Ｄレーザセンサ５０から取得するセンシングデータを格納するＤＢである。図３は、本実施例１に係るセンシングＤＢのデータ構造の一例を示す図である。図３に示すように、このセンシングＤＢ７１は、フレーム番号と、センシングフレームとを対応づける。フレーム番号は、同一の演技識別番号に対応する各センシングフレームを、一意に識別する番号である。センシングフレームは、３Ｄレーザセンサ５０にセンシングされたセンシングフレームである。
　関節定義データ７２は、競技者１０の各関節位置を定義するものである。図４は、本実施例１に係る関節定義データの一例を示す図である。図４に示すように、関節定義データ７２は、公知の骨格モデルで特定される各関節をナンバリングした情報を記憶する。たとえば、図４に示すように、右肩関節（SHOULDER＿RIGHT）には７番が付与され、左肘関節（ELBOW＿LEFT）には５番が付与され、左膝関節（KNEE＿LEFT）には１１番が付与され、右股関節（HIP＿RIGHT）には１４番が付与される。ここで、実施例１では、８番の右肘関節のＸ座標をＸ８、Ｙ座標をＹ８、Ｚ座標をＺ８と記載する場合がある。なお、点線の数字は、骨格モデルから特定されても、採点には利用されない関節等である。
　関節位置ＤＢ７３は、３Ｄレーザセンサ５０のセンシングデータを基に生成される競技者１０の各関節の位置データである。図５は、本実施例１に係る関節位置ＤＢのデータ構造の一例を示す図である。図５に示すように、この関節位置ＤＢ７３は、フレーム番号と、「Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」とを対応づける。
　図５において、フレーム番号は、センシングフレームを一意に識別する番号である。図５に示すフレーム番号と、図３に示すフレーム番号は、同期しているものとする。「Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」は、各関節のＸＹＺ座標であり、たとえば「Ｘ０、Ｙ０、Ｚ０」は、図４に示す０番号の関節の３次元座標である。
　図５は、各関節の時系列の変化を示しており、フレーム番号「１」では、各関節の位置が「Ｘ０＝１００、Ｙ０＝２０、Ｚ０＝０、・・・、Ｘ１７＝２００、Ｙ１７＝４０、Ｚ１７＝５」であることを示す。そして、フレーム番号「２」では、各関節の位置が「Ｘ０＝１０１、Ｙ０＝２５、Ｚ０＝５、・・・、Ｘ１７＝２０２、Ｙ１７＝３９、Ｚ１７＝１５」へ移動したことを示す。
　技判定テーブル７４は、競技者１０が行う技を判定する際に用いるテーブルである。図６は、本実施例１に係る技判定テーブルのデータ構造の一例を示す図である。図６に示すように、この技判定テーブルは、技グループと、技番号と、技名と、開始姿勢と、開始姿勢の成立条件と、終末姿勢と、終末姿勢の成立条件とを対応付ける。
　技グループと技番号との組合せにより、技（技名）が一意に特定される。技グループと技番号とを組み合わせたものが、技の識別情報となる。技名は、技の名称である。
　開始姿勢は、技の開始姿勢を示すものである。開始姿勢の成立条件は、該当する開始姿勢の成立する条件を示す。たとえば、開始姿勢の成立条件は、該当する開始姿勢となる各関節の位置の推移を示す。終末姿勢は、技の終末姿勢（静止姿勢）を示すものである。たとえば、終末姿勢の成立条件は、該当する終末姿勢となる各関節の位置の関係を示す。
　図７は、開始姿勢および終末姿勢の一例を説明するための図である。図７では一例として、競技者１０が技「後ろ振り上がり中水平支持（２秒）」を行う例を示している。競技者１０は、期間Ｔａにおいて、開始姿勢「後ろ振り上がり」を行い、期間Ｔｂにおいて、終末姿勢「中水平支持（２秒）」を行っている。この開始姿勢「後ろ振り上がり」と終末姿勢「中水平支持（２秒）」との組合せにより、技「後ろ振り上がり中水平支持（２秒）」となる。このように、開始姿勢および終末姿勢が決まると、技も決まる。
　技認識ＤＢ７５は、技の認識結果データを格納するＤＢである。図８は、本実施例１に係る技認識ＤＢのデータ構造の一例を示す図である。図８に示すように、この技認識ＤＢ７４は、フレーム番号と、関節位置データ、開始姿勢フラグと、終末姿勢フラグと、技グループと、技番号と、技名とを対応付ける。
　フレーム番号は、図３で説明したセンシングフレームのフレーム番号に対応する番号である。関節位置データは、図５等で説明した、各フレーム番号に対応する各関節位置の３次元座標を示す情報である。開始姿勢フラグは、競技者１０の姿勢が開始姿勢であるか否かを示す情報である。開始姿勢フラグが「１」となる間は、競技者１０の姿勢が開始姿勢であることを示す。終末姿勢は、競技者１０の姿勢が終末姿勢であるか否かを示す情報である。終末姿勢フラグが「１」となる間は、競技者１０の姿勢が終末姿勢であることを示す。技グループおよび技番号の組は、技を一意に識別する情報である。技名は、技の名称を示すものである。
　図１の説明に戻る。技認識装置７０が、センシングＤＢ７１、関節定義データ７２、関節位置ＤＢ７３、技判定テーブル７４、技認識ＤＢ７５を用いて行う処理について説明する。
　技認識装置７０は、センシングＤＢ７１のセンシングフレームと、関節定義データ７２に定義された各関節の位置関係とを比較して、センシングフレームに含まれる各関節の種別および関節の３次元座標を特定する。技認識装置７０は、センシングＤＢ７１のフレーム番号毎に上記処理を繰り返し実行し、各関節の３次元座標の情報を、関節位置ＤＢ７３に格納する。
　技認識装置７０は、フレーム番号毎に、各関節の３次元座標の情報と、技判定テーブル７４とを比較して、開始姿勢および終末姿勢を特定する。また、技認識装置７０は、特定した開始姿勢および終末姿勢の組合せと、技判定テーブル７４とを比較することで、フレーム番号に対応する技グループ、技番号、技名を特定する。
　技認識装置７０は、フレーム番号、関節位置データ、開始姿勢フラグ、終末姿勢フラグ、技グループ、技番号、技名を対応付けた情報を、技認識ＤＢ７５に格納する。また、技認識装置７０は、技認識ＤＢ７５に格納した各レコードを、認識結果データとして、情報処理装置１００に出力する。たとえば、技認識装置７０は、３Ｄレーザセンサ５０から取得するセンシングデータに対して、上記処理をリアルタイム処理し、認識結果データを、情報処理装置１００に出力するものとする。
　情報処理装置１００は、競技者１０が過去に行った演技構成の履歴を基にして、競技者１０の一連の予定演技から算出される予測スコアを表示する装置である。また、情報処理装置１００は、競技者１０の実際の演技の進行に伴って、競技者１０の演技が変更になった場合には、後の予測演技を更新しつつ、演技更新に応じて、予測スコアを更新する。
　ここで、情報処理装置１００が表示する画面の一例について説明する。図９は、演技開始前の表示画面の一例を示す図である。図９に示す例では、表示画面１０Ａには、映像領域１０ａと、予測演技リスト１０ｂと、Ｄスコア領域１０ｃと、Ｅスコア領域１０ｄ、得点領域１０ｅ、順位予測領域１０ｆとを含む。
　映像領域１０ａは、競技者１０の映像データを表示する領域である。たとえば、情報処理装置１００は、競技者１０が過去に行った予選演技の映像データを、映像領域１０ａに表示する。
　予測演技リスト１０ｂは、競技者１０が行うと予測される一連の技（演技）の情報を表示するものである。たとえば、予測演技リスト１０ｂは、技名と、技グループと、技番号と、難度とを対応付ける。技名、技グループ、技番号に関する説明は、上述した説明と同様である。難度は、技の難しさの程度を示すものである。男子には、「Ａ～Ｈ」の難度があり、女子には、「Ａ～Ｉ」の難度がある。
　予測演技リスト１０ｂは、１行目の技（技名）から順に、下の行に向かって各技が実行されることを示す。図９に示す例では、後ろ振り上がり中水平支持（２秒）、後ろ振り上がり水平支持（２秒）、アザリアン、後ろ振り上がり倒立（２秒）、ジョナサン、ヤマワキ、ホンマ十字が順に実行される。また、続いて、ほん転逆上がり倒立（２秒）、伸腕ほん転逆上がり倒立経過、後方かかえ込み２回宙返り２回ひねり下りの順に実行される旨が示される。
　Ｄスコア領域１０ｃは、予測演技リスト１０ｂの技を競技者１０が予定通り行った場合のＤスコアを表示する領域である。Ｄ（Difficulty）スコアは、演技を構成する技の難度に応じて算出されるスコアである。
　Ｅスコア領域１０ｄは、予測演技リスト１０ｂの技を競技者１０が過去の行った実績を基に算出されるＥスコアを表示する領域である。Ｅ（Execution）スコアは、演技の技術、技の各要素における身体の姿勢に関する減点法により算出されるスコアである。たとえば、ある技の理想的な姿勢と、競技者１０の姿勢とが比較され、各姿勢の乖離具合が大きいほど、Ｅスコアからスコアが減点される。
　得点領域１０ｅは、競技者１０が予測演技リスト１０ｂの技を予定通り行った場合に予測されるスコアを表示する領域である。具体的に、情報処理装置１００は、Ｄスコア領域１０ｃに表示するＤスコアと、Ｅスコア領域１０ｄに表示するＥスコアとを合計したスコアを、得点領域１０ｅに表示させる。
　順位予測領域１０ｆは、複数の競技者に関する予測順位の情報を表示する領域である。たとえば、順位予測領域１０ｆは、順位と、競技者の名前と、予測得点とを対応付ける。
　たとえば、図９に示す演技開始前の表示画面１０Ａを、ユーザ（ＴＶ中継の実況アナウンサーあるいは視聴者）が参照することで、競技者１０が演技する技の順序、Ｄスコア、Ｅスコア、スコア、順位を容易に把握することができる。
　図１０は、演技中の表示画面の一例を示す図である。図１０に示す例では、表示画面１１には、演技リスト１１ａと、演技遷移情報１１ｂと、Ｄスコア領域１１ｃと、Ｅスコア領域１１ｄと、得点領域１１ｅと、順位予測領域１１ｆとを含む。
　演技リスト１１ａは、演技中の競技者１０が実際に行った技と、これから競技者１０が行うと予測される技の情報を表示するものである。演技リスト１１ａは、技名と、技グループと、枝番と、難度とを対応付ける。たとえば、情報処理装置１００は、競技者１０が現在行っている技の技名と、次に行う技の技名とを強調表示してもよい。図１０に示す例では、演技リスト１１ａにおいて、競技者１０が現在行っている技の技名「アザリアン」と、次の演技が予測される「後ろ振り上がり十字倒立（２秒）」とを強調表示している。
　演技遷移情報１１ｂは、競技者１０が実際に行った技の遷移と、これから競技者１０が行うと予測される技の遷移を示す情報である。演技遷移情報１１ｂには、開始を示すノードと、技を示す複数のノードとが接続されている。たとえば、技を示すノードには、技グループと、技番号との組が付与される。また、ある技から次の技に遷移する際に、遷移先の候補が複数存在する場合には、遷移先に遷移する確率が合わせて表示される。
　図１０の演技遷移情報１１ｂに示すように、開始のノードからノード「Ｇ３－５３」に遷移することが示される。ノード「Ｇ３－５３」の遷移先は、ノード「Ｇ３－７０」およびノード「Ｇ２－５２」である。ノード「Ｇ３－５３」からノード「Ｇ３－７０」に遷移する確率は「６０％」である。一方、ノード「Ｇ３－５３」からノード「Ｇ２－５２」に遷移する確率は「４０％」である。また、ノード「Ｇ３－７０」の遷移先は、ノード「Ｇ２－５２」である。
　ノード「Ｇ２－５２」の遷移先は、ノード「Ｇ３－９４」およびノード「Ｇ１－８７」である。ノード「Ｇ２－５２」からノード「Ｇ１－８７」に遷移する確率は「６０％」である。一方、ノード「Ｇ２－５２」からノード「Ｇ３－９４」に遷移する確率は「４０％」である。また、ノード「Ｇ３－９４」の遷移先は、ノード「Ｇ１－８７」である。
　ノード「Ｇ１－８７」に続く、ノードの遷移先は、順に、ノード「Ｇ１－５２」、「Ｇ１－５１」、「Ｇ３－１６」、「Ｇ１－８１」、「Ｇ１－２６」、「Ｇ４－４１」となる。
　情報処理装置１００は、競技者１０が現在行っている技に対応するノードと、次に遷移するノードを強調表示する。情報処理装置１００は、次に遷移するノードが複数存在する場合には、遷移する確率の高いノードを強調表示する。
　Ｄスコア領域１１ｃは、演技開始から、競技者１０が実際に行った技と、続く技を予定通り行った場合のＤスコアを表示する領域である。たとえば、図１０に示す演技リスト１１ａにおいて、競技者１０が、アザリアンまで実際に行ったものとする。この場合には、実際におこなわれた技と、続いて予測される技とを基にしたＤスコアが算出され、かかるＤスコアが、Ｄスコア領域１１ｃに表示される。実際に行われた技は、後ろ振り上がり中水平支持（２秒）、アザリアンとなる。続いて予測される技は、後ろ振り上がり倒立（２秒）、ジョナサン、ヤマワキ、ホンマ十字、ほん転逆上がり倒立（２秒）、伸腕ほん転逆上がり倒立経過、後方かかえ込み２回宙返り２回ひねり下りとなる。
　Ｅスコア領域１１ｄは、演技開始から、競技者１０が実際に行った技と、続く技を予定通り行った場合のＥスコアを表示する領域である。たとえば、図１０に示す演技リスト１１ａにおいて、競技者１０が、アザリアンまで実際に行ったものとする。この場合には、実際に行われた技と、続いて予測される技とを基にしたＥスコアが算出され、かかるＥスコアが、Ｅスコア領域１１ｄに表示される。実際に行われた技は、後ろ振り上がり中水平支持（２秒）、アザリアンとなる。続いて予測される技は、後ろ振り上がり倒立（２秒）、ジョナサン、ヤマワキ、ホンマ十字、ほん転逆上がり倒立（２秒）、伸腕ほん転逆上がり倒立経過、後方かかえ込み２回宙返り２回ひねり下りとなる。
　得点領域１１ｅは、演技開始から、競技者１０が実際に行った技と、続く技を予定通り行った場合のスコアを表示する領域である。具体的に、情報処理装置１００は、Ｄスコア領域１１ｃのＤスコアと、Ｅスコア領域１１ｄのＥスコアとを合計したスコアを、得点領域１１ｅに表示させる。
　順位予測領域１１ｆは、複数の競技者に関する予測順にの情報を表示する領域である。たとえば、順位予測領域１１ｆは、順位と、競技者の名前と、予測得点と、順位の変更状況とを対応付ける。情報処理装置１００は、競技者１０の演技進行に伴い、得点領域１１ｅの更新に伴って、順位が上昇する場合には、順位の変更情報に上の印を表示する。情報処理装置１００は、順位が下降する場合には、順位の変更情報に下の印を表示する。
　たとえば、図１０に示す表示画面１１を、ＴＶ中継の実況アナウンサーが参照すると、技の変更を一目で把握できるため、アナウンサーの実況をサポートすることができる。たとえば、図１０において、ノード「Ｇ３－５３」の遷移先が、ノード「Ｇ２－５２」から、ノード「Ｇ３－７０」に変更となった場合には、「予定の技Ｇ３－５３を、技Ｇ３－７０に変更して、逆転を狙ってきた」等の実況を行うことができる。また、図１０に示す表示画面１１を、視聴者が参照すると、いま行われている技の理解を補助することができるため、わくわくしながら、競技者１０の演技を参照することができる。
　図１１は、演技終了後の表示画面の一例を示す図である。図１１に示す例では、表示画面１２には、映像領域１２ａと、演技リスト１２ｂと、Ｄスコア領域１２ｃと、Ｅスコア領域１２ｄと、得点領域１２ｅと、順位予測領域１２ｆとを含む。
　映像領域１２ａは、競技者１０の映像データを表示する領域である。たとえば、情報処理装置１００は、カメラ６０が撮影した競技者１０の映像データを、映像領域１２ａに表示する。
　演技リスト１２ｂは、競技者１０が実際に行った一連の技（演技）の情報を表示するものである。演技リスト１２ｂは、技名と、技グループと、枝番と、難度とを対応付ける。演技リスト１２ｂは、１行目の技（技名）から順に、下の行に向かって各技が実行されたことを示す。
　Ｄスコア領域１２ｃは、競技者１０が実際に行った各技に基づくＤスコアを表示する領域である。Ｅスコア領域１２ｄは、競技者１０が実際に行った各技に基づくＥスコアを表示する領域である。得点領域１０ｅは、競技者１０が実際に行った技に基づくスコアを表示する領域である。
　順位予測領域１２ｆは、複数の競技者に関する順位（たとえば、競技者１０の演技終了時の暫定的な順位）の情報を表示する領域である。たとえば、順位予測領域１２ｆは、順位と、競技者の名前と、得点とを対応付ける。
　たとえば、図１１に示す演技開始後の表示画面１２を、ユーザ（ＴＶ中継の実況アナウンサーあるいは視聴者）が参照することで、正式な発表を待つことなく、ある程度の結果を事前に把握することができる。
　続いて、本実施例１に係る情報処理装置１００の構成について説明する。図１２は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。図１２に示すように、この情報処理装置は、インタフェース部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。
　インタフェース部１１０は、カメラ６０、技認識装置７０と接続し、カメラ６０、技認識装置７０からデータを取得する装置である。インタフェース部１１０は、取得したデータを、制御部１５０に出力する。たとえば、インタフェース部１１０は、カメラ６０から映像データを取得する。インタフェース部１１０は、技認識装置７０から、認識結果データを取得する。
　入力部１２０は、情報処理装置１００に各種の情報を入力するための入力装置である。入力部１２０は、キーボード、マウス、タッチパネル等に対応する。
　表示部１３０は、制御部１５０から出力される表示画面の情報を表示する表示装置である。表示部１３０は、液晶ディスプレイ、タッチパネル等に対応する。たとえば、表示部１３０は、図９～図１０に示した表示画面を表示する。
　記憶部１４０は、技認識ＤＢ１４１と、映像ＤＢ１４２と、演技履歴テーブル１４３と、スコアテーブル１４４と、難度テーブル１４５とを有する。記憶部１４０は、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ（Flash　Memory）などの半導体メモリ素子や、ＨＤＤ（Hard　Disk　Drive）などの記憶装置に対応する。
　技認識ＤＢ１４１は、技認識装置７０の認識結果データを保持するテーブルである。技認識ＤＢ１４１のデータ構造は、図８で説明した技認識ＤＢ７５のデータ構造に対応する。たとえば、技認識ＤＢ１４１は、フレーム番号と、関節位置データと、開始姿勢フラグと、終末姿勢フラグと、技グループと、技番号と、技名とを対応付ける。
　映像ＤＢ１４２は、カメラ６０から取得する映像データを格納するデータベースである。図１３は、本実施例１に係る映像ＤＢのデータ構造の一例を示す図である。図１３に示すように、この映像ＤＢ１４２は、フレーム番号と、映像フレームとを対応付ける。なお、図示を省略するが、映像ＤＢ１４２は、各競技者が過去に行った演技の映像データを、競技者ＩＤと対応付けて、保持してもよい。
　図１３において、フレーム番号は、各映像フレームを、一意に識別する番号である。なお、映像フレームのフレーム番号は、センシングフレームのフレーム番号と同期しているものとする。映像フレームは、カメラ６０に撮影された映像フレームである。
　演技履歴テーブル１４３は、競技者１０や他の競技者が過去に行った演技の履歴に関する情報を保持するテーブルである。図１４は、本実施例１に係る演技履歴テーブルのデータ構造の一例を示す図である。図１４に示すように、この演技履歴テーブル１４３は、競技者ＩＤ、日付、大会ＩＤ、演技構成情報、得点、演技時間を対応付ける。
　競技者ＩＤは、競技者を一意に識別する情報である。日付は、競技者が演技を行った日付を示すものである。大会ＩＤは、大会を一意に識別する情報である。演技構成情報は、該当する大会において、競技者が行った演技の構成を示す情報である。得点は、該当する大会における競技者の得点を示す。たとえば、得点には、Ｄスコアと、Ｅスコアと、得点（ＤスコアとＥスコアとの合計得点）とが含まれる。演技時間は、競技者が行った演技の時間を示す。
　また、図示を省略するが、演技履歴テーブル１４３は、後述するＥスコアを算出する処理を支援するために、競技者ＩＤ毎に、各グループおよび技番号に対応するＥスコアの履歴を更に保持しておくものとする。
　図１５は、演技構成情報の一例を示す図である。図１５では一例として、図１４の１列目に含まれる、大会ＩＤ「Ａ１０１」の大会において競技者ＩＤ「Ｕ１００１」が行った演技構成情報を示す。図１５に示すように、演技構成情報は、順番と、技名と、技グループと、技番号と、難度とを対応付ける。順番は、競技者が該当する技名の技を行った順番を示すものである。技名、技グループ、技番号、難度に関する説明は、上記の説明と同様である。
　スコアテーブル１４４は、各競技者の得点に関する情報を保持するテーブルである。図１６は、本実施例１に係るスコアテーブルのデータ構造の一例を示す図である。図１６に示すように、このスコアテーブル１４４は、競技者ＩＤと、予測得点と、得点とを対応付ける。図１６において、競技者ＩＤは、競技者を一意に識別する情報である。予測得点は、競技者の予測される得点である。予測得点には、Ｄスコアと、Ｅスコアと、得点（ＤスコアとＥスコアとの合計得点）とが含まれる。得点は、競技者が演技を行った後の実際の得点である。得点には、Ｄスコアと、Ｅスコアと、得点（ＤスコアとＥスコアとの合計得点）とが含まれる。
　難度テーブル１４５は、Ｄスコアを算出する場合に用いられる難度と得点とを対応付けるテーブルである。図１７は、本実施例１に係る難度テーブルのデータ構造の一例を示す図である。図１７に示すように、この難度テーブル１４５は、技グループと、技番号と、難度と、得点とを対応付ける。
　制御部１５０は、登録部１５１と、前処理部１５２と、画面生成部１５３とを有する。制御部１５０は、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）などのハードワイヤードロジックによっても実現できる。
　登録部１５１は、競技者１０の演技が開始された場合に、技認識装置７０から、認識結果データを取得し、取得した認識結果データを、技認識ＤＢ１４１に登録する処理部である。また、登録部１５１は、競技者１０の競技が開始された場合に、カメラ６０から映像データを取得し、取得した映像データを、映像ＤＢ１４２に登録する。
　前処理部１５２は、演技履歴テーブル１４３から、競技者１０の実施予定の複数の技を含む「予定演技情報」を取得する。また、前処理部１５２は、予定演技情報から、複数の技が成功した場合の予測得点を算出し、予測演技の予測得点を表示する画面情報を生成する。たとえば、予測演技の予測得点を表示する画面情報は、図９で説明した表示画面１０Ａの情報に対応する。前処理部１５２が算出する予測得点は、第一の予測スコアに対応する。
　ここで、前処理部１５２が、演技履歴テーブル１４３から、「予定演技情報」を取得する処理の一例について説明する。たとえば、前処理部１５２は、入力部１２０から、対象となる競技者の競技者ＩＤを受け付けると、受け付けた競技者ＩＤに対応する複数の演技構成情報を、演技履歴テーブル１４３から取得する。前処理部１５２は、複数の演技構成情報に含まれる順番および技（技名）の組をそれぞれ比較し、順番毎に、最も頻度が高い技を特定していくことで、「演技遷移フロー情報」を生成する。また、前処理部１５２は、ある技からの遷移先が、複数存在する場合には、各遷移先の技に移行する確率を合わせて算出する。
　図１８は、演技遷移フロー情報の一例を示す図である。図１８に示すように、この演技遷移フロー情報２０は、開始を示すノードと、技を示す複数のノードとが接続されている。たとえば、技を示すノードには、技グループと、技番号との組が付与される。また、ある技から次の技に遷移する際に、遷移先の候補が複数存在する場合には、遷移先に遷移する確率が付与される。
　図１８に示すように、開始のノードからノード「Ｇ３－５３」に遷移することが示される。ノード「Ｇ３－５３」の遷移先は、ノード「Ｇ３－７０」およびノード「Ｇ２－５２」である。ノード「Ｇ３－５３」からノード「Ｇ３－７０」に遷移する確率は「６０％」である。一方、ノード「Ｇ３－５３」からノード「Ｇ２－５２」に遷移する確率は「４０％」である。また、ノード「Ｇ３－７０」の遷移先は、ノード「Ｇ２－５２」である。
　ノード「Ｇ２－５２」の遷移先は、ノード「Ｇ３－９４」およびノード「Ｇ１－８７」である。ノード「Ｇ２－５２」からノード「Ｇ１－８７」に遷移する確率は「６０％」である。一方、ノード「Ｇ２－５２」からノード「Ｇ３－９４」に遷移する確率は「４０％」である。また、ノード「Ｇ３－９４」の遷移先は、ノード「Ｇ１－８７」である。
　ノード「Ｇ１－８７」に続く、ノードの遷移先は、順に、ノード「Ｇ１－５２」、「Ｇ１－５１」、「Ｇ３－１６」、「Ｇ１－８１」、「Ｇ１－２６」、「Ｇ４－４１」となる。
　ここでは一例として、前処理部１５２が、演技遷移フロー情報を生成する場合ついて説明したがこれに限定されるものではない。競技者ＩＤ毎に、演技遷移フロー情報が予め生成されており、前処理部１５２は、かかる演技遷移フロー情報を取得して利用してもよい。
　前処理部１５２は、演技遷移フロー情報２０を基にして、最も確からしい、競技者が行う技の順番を特定する。前処理部１５２は、演技遷移フロー情報２０の開始ノードから技のノードを辿っていき、技の遷移先が複数存在する場合には、確率の高い方のノードに遷移することで、技の順番を特定する。
　たとえば、図１８に示す演技遷移フロー情報２０では、競技者が行う技の順番は、開始ノードから、ノード「Ｇ３－５３」、「Ｇ３－７０」、「Ｇ２－５２」、「Ｇ１－８７」、「Ｇ１－５２」、「Ｇ１－５１」、「Ｇ３－１６」、「Ｇ１－８１」、「Ｇ１－２６」、「Ｇ４－４１」となる。上述した処理により、前処理部１５２が特定した技の種別および技の順番が、「予定演技情報」となる。前処理部１５２は、予定演技情報と、演技遷移フロー情報とを、画面生成部１５３に出力する。
　続いて、前処理部１５２は、予定演技情報のＤスコアを算出する処理について説明する。前処理部１５２は、予定演技情報に含まれる技と、難度テーブル１４５とを比較して、技毎の得点を特定する。前処理部１５２は、特定した技毎の得点を合計することで、予定演技情報に対応するＤスコアを算出する。たとえば、予定演技情報に対応するＤスコアは、図９のＤスコア領域１０ｃに表示されるスコアである。
　前処理部１５２は、予定演技情報のＥスコアを算出する処理について説明する。前処理部１５２は、予定演技情報に含まれる技と、競技者ＩＤと、演技履歴テーブル１４３とを比較して、技毎のＥスコアを特定する。前処理部１５２は、特定した技毎のＥスコアを合計することで、予定演技情報に対応するＥスコアを算出する。たとえば、予定演技情報に対応するＥスコアは、図９のＤスコア領域１０ｄに表示されるスコアである。
　前処理部１５２は、予定演技情報の得点を算出する処理について説明する。前処理部１５２は、予定演技情報のＤスコアとＥスコアとを合計することで、予定演技情報の得点を算出する。たとえば、予定演技情報に対応する得点は、図９の得点領域１０ｅに表示されるスコアである。
　前処理部１５２は、算出したＤスコア、Ｅスコア、得点と、競技者ＩＤとを対応付けて、スコアテーブル１４４に格納する。なお、前処理部１５２が算出するＤスコア、Ｅスコア、得点は、スコアテーブル１４４の予測得点の項目に対応する情報となる。
　画面生成部１５３は、競技者１０の演技開始前において、図９に示した表示画面１０Ａの情報を生成し、表示部１３０に出力して表示させる。画面生成部１５３は、競技者１０の演技中において、図１０に示した表示画面１１の情報を生成し、表示部１３０に出力して表示させる。画面生成部１５３は、競技者１０の演技終了後において、図１１に示した表示画面１２の情報を生成し、表示部１３０に出力して表示させる。たとえば、画面生成部１５３は、実施済みの技のスコアと、予測された未実施の技が成功した場合の第二の予測スコアとに基づき、実施中の実演技全体の第三の予測スコアを予測する。たとえば、図１８において、技の順番が、「Ｇ３－５３」、「Ｇ３－７０」、「Ｇ２－５２」、「Ｇ１－８７」、「Ｇ１－５２」、「Ｇ１－５１」、「Ｇ３－１６」、「Ｇ１－８１」、「Ｇ１－２６」、「Ｇ４－４１」とし、「Ｇ２－５２」まで実施済みとする。この場合には、第二の予測スコアは、「Ｇ１－８７」、「Ｇ１－５２」、「Ｇ１－５１」、「Ｇ３－１６」、「Ｇ１－８１」、「Ｇ１－２６」、「Ｇ４－４１」のスコアとなる。第三の予測スコアは、実施済みの「Ｇ３－５３」、「Ｇ３－７０」、「Ｇ２－５２」のスコアと、第二の予測スコアとを合計したスコアとなる。詳細については後述する。
　画面生成部１５３が、競技者１０の「演技開始前」において、表示画面１０Ａの情報を生成する処理の一例について説明する。表示画面１０Ａには、映像領域１０ａ、予測演技リスト１０ｂ、Ｄスコア領域１０ｃ、Ｅスコア領域１０ｄ、得点領域１０ｅ、順位予測領域１０ｆが含まれる。
　画面生成部１５３は、入力部１２０から対象となる競技者の競技者ＩＤを受け付けると、受け付けた競技者ＩＤに対応する過去の映像データを、映像ＤＢ１４２から取得し、映像領域１０ａに表示させる情報とする。
　画面生成部１５３は、予定演技情報を基にして、技名、技グループ、技番、難度の組の情報を予測される技の順番に並べることで、予測演技リスト１０ｂを生成する。
　画面生成部１５３は、入力部１２０から受け付けた競技者ＩＤに対応する予測得点をスコアテーブル１４４から取得する。画面生成部１５３は、予測得点に含まれるＤスコア、Ｅスコア、得点を、Ｄスコア領域１０ｃ、Ｅスコア領域１０ｄ、得点領域１０ｅに表示させる情報とする。
　画面生成部１５３は、対象となる競技者の競技者ＩＤと、今回の大会に参加する他の競技者の競技者ＩＤとを取得する。以下の説明では適宜、対象となる競技者を、第１競技者と表記し、比較対象となる他の競技者を第２競技者と表記する。画面生成部１５３は、第２競技者の得点を、第２競技者の競技者ＩＤと、スコアテーブル１４４との比較により取得する。画面生成部１５３は、第２競技者の演技が終わり、スコアテーブル１４４の得点に情報が格納されている場合には、係る得点の情報を取得する。一方、画面生成部１５３は、第２競技者の演技が演技前であり、スコアテーブル１４４の得点に情報が格納されていない場合には、予測得点の情報を取得する。
　画面生成部１５３は、第１競技者の得点（演技前の得点）と、複数の第２競技者の得点（演技前または演技後の得点）とを比較して、競技者の順位を判定する。画面生成部１５３は、順位と、競技者の名前と、得点とを対応付けることで、順位予測領域１０ｆの情報を生成する。たとえば、画面生成部１５３は、競技者ＩＤと競技者名とを対応付けたテーブル（図示略）を参照して、競技者ＩＤに対応する競技者名を特定する。
　画面生成部１５３は、映像領域１０ａ、予測演技リスト１０ｂ、Ｄスコア領域１０ｃ、Ｅスコア領域１０ｄ、得点領域１０ｅ、順位予測領域１０ｆに対応する情報を生成して配置することで、表示画面１０Ａの情報を生成する。
　続いて、画面生成部１５３が、競技者１０の「演技中」において、表示画面１１の情報を生成する処理の一例について説明する。図１０で説明したように、表示画面１１には、演技リスト１１ａ、演技遷移情報１１ｂ、Ｄスコア領域１１ｃ、Ｅスコア領域１１ｄ、得点領域１１ｅ、順位予測領域１１ｆが含まれる。画面生成部１５３は、競技者１０の演技の進行に伴って、演技リスト１１ａ、演技遷移情報１１ｂ、Ｄスコア領域１１ｃ、Ｅスコア領域１１ｄ、得点領域１１ｅ、順位予測領域１１ｆに表示する情報を更新していく。
　画面生成部１５３が、演技リスト１１ａの情報を更新する処理の一例について説明する。まず、画面生成部１５３は、予定演技情報に示される各技の順番に従って、演技リスト１１ａの初期情報を生成する。
　競技者１０の演技が開始されると、技認識装置７０による認識結果データの出力が開始され、認識結果データが、技認識ＤＢ１４１に格納される。画面生成部１５３は、技認識ＤＢ１４１を参照して、競技者１０が実際に行った技を順番に取得し、実際に行った技と、演技遷移フロー情報とを比較する。
　画面生成部１５３は、競技者１０による技の遷移先が、確率の高い方に遷移した場合には、演技リスト１１ａを初期情報のままにする。また、画面生成部１５３は、演技リスト１１ａにおいて、現在競技者１０が行っている技の技名に対応する箇所を、強調表示してもよい。たとえば、競技者１０が、現在、技名「アザリアン」の技を行っている場合には、演技リスト１１ａに含まれる「アザリアン」の項目を強調表示する。
　一方、画面生成部１５３は、競技者１０による技の遷移先が、確率の低い方に遷移した場合には、演技遷移フロー情報を基にして、演技リスト１１ｂの情報を更新する。たとえば、画面生成部１５３は、ノード「Ｇ３－５３」に対応する技の次に、競技者１０が行った技が、ノード「Ｇ２－５２」の技であった場合には、確率の低い方に遷移しており、演技リスト１１ｂの情報を更新する。画面生成部１５３は、ノード「Ｇ２－５２」に対応する技の次に、競技者１０が行った技が、ノード「Ｇ３－９４」の技であった場合には、確率の低い方に遷移しており、演技リスト１１ｂの情報を更新する。
　更新前の演技リスト１１ｂの技の順番は、「Ｇ３－５３」、「Ｇ３－７０」、「Ｇ２－５２」、「Ｇ１－８７」、「Ｇ１－５２」、「Ｇ１－５１」、「Ｇ３－１６」、「Ｇ１－８１」、「Ｇ１－２６」、「Ｇ４－４１」とする。これに対して、更新後の演技リスト１１の技の順番は、「Ｇ３－５３」、「Ｇ２－５２」、「Ｇ３－９４」、「Ｇ１－８７」、「Ｇ１－５２」、「Ｇ１－５１」、「Ｇ３－１６」、「Ｇ１－８１」、「Ｇ１－２６」、「Ｇ４－４１」となる。
　たとえば、画面生成部１５３は、演技リスト１１ａの情報を、図１９に示すように更新する。図１９は、本実施例１に係る画面生成部の処理の一例を説明するための図（１）である。図１９において、演技リスト１１ａ－１は、更新前の演技リストである。演技リスト１１ａ－２は、更新後の演技リストである。図１９に示すように、演技リスト１１ａ－１の２番目の技「後ろ振り上がり水平支持（２秒）＜Ｇ３－７０＞」が、演技リスト１１ａ－２から削除されている。また、演技リスト１１ａ－２の３番目には、演技リスト１１ａ－１にはない技「後ろ振り上がり十字倒立（２秒）＜Ｇ３－９４＞」が追加されている。
　画面生成部１５３が、演技遷移情報１１ｂを更新する処理の一例について説明する。まず、画面生成部１５３は、演技遷移フロー情報２０に対応させて、開始ノードおよび技のノードを配置することで、演技遷移情報１１ｂを生成する。
　競技者１０の演技が開始されると、画面生成部１５３は、技認識ＤＢ１４１を参照して、競技者１０が実際に行った技を順番に取得し、取得した技に対応する技のノードを順番に強調表示する。
　画面生成部１５３が、Ｄスコア領域１１ｃを更新する処理の一例について説明する。まず、画面生成部１５３は、競技者１０の競技者ＩＤと、スコアテーブル１４４とを比較して、予測得点の項目から、競技者１０の予測されたＤスコアを取得する。画面生成部１５３は、取得したＤスコアを、Ｄスコア領域１１ｃに設定する。
　競技者１０の演技が開始されると、画面生成部１５３は、技認識ＤＢ１４１を参照して、競技者１０が実際に行った技を順番に取得し、実際に行った技と、演技遷移フロー情報と比較する。
　画面生成部１５３は、競技者１０による技の遷移先が、確率の高い方に遷移した場合には、Ｄスコア領域１１ｃに表示させるＤスコアを、そのままにする。
　一方、画面生成部１５３は、競技者１０による技の遷移先が、確率の低い方に遷移した場合には、演技遷移フロー情報を基にして、競技者１０が行う技の内容を更新する。一例として、図１８に示した演技遷移フロー情報２０を用いて説明をおこなう。たとえば、画面生成部１５３は、ノード「Ｇ３－５３」に対応する技の次に、競技者１０が行った技が、ノード「Ｇ３－５２」の技であった場合には、確率の低い方に遷移しており、競技者１０が行う技の内容を更新する。
　競技者１０が行う更新前の技の内容は、「Ｇ３－５３」、「Ｇ３－７０」、「Ｇ２－５２」、「Ｇ１－８７」、「Ｇ１－５２」、「Ｇ１－５１」、「Ｇ３－１６」、「Ｇ１－８１」、「Ｇ１－２６」、「Ｇ４－４１」となる。これに対して、競技者１０が行う更新後の技の内容は、「Ｇ３－５３」、「Ｇ２－５２」、「Ｇ３－９４」、「Ｇ１－８７」、「Ｇ１－５２」、「Ｇ１－５１」、「Ｇ３－１６」、「Ｇ１－８１」、「Ｇ１－２６」、「Ｇ４－４１」となる。
　画面生成部１５３は、更新後の技と、難度テーブル１４５とを比較して、技毎の得点を特定する。画面生成部１５３は、特定した技毎の得点を合計することで、更新後の技に対応するＤスコアを新たに算出する。画面生成部１５３は、算出したＤスコアを、Ｄスコア領域１１ｃに表示させる。また、画面生成部１５３は、新たに算出したＤスコアを表示する場合に、Ｄスコア領域１１ｃのＤスコアを強調表示させてもよい。また、画面生成部１５３は、算出したＤスコアにより、スコアテーブル１４４のＤスコア（予測得点のＤスコア）を更新する。
　画面生成部１５３が、Ｅスコア領域１１ｄを更新する処理の一例について説明する。まず、画面生成部１５３は、競技者１０の競技者ＩＤと、スコアテーブル１４４とを比較して、予測得点の項目から、競技者１０の予測されたＥスコアを取得する。画面生成部１５３は、取得したＥスコアを、Ｅスコア領域１１ｄに設定する。
　競技者１０の演技が開始されると、画面生成部１５３は、技認識ＤＢ１４１を参照して、競技者１０が実際に行った技を順番に取得し、実際に行った技と、演技遷移フロー情報と比較する。
　画面生成部１５３は、競技者１０による技の遷移先が、確率の高い方に遷移した場合には、Ｅスコア領域１１ｄに表示させるＥスコアを、そのままにする。
　一方、画面生成部１５３は、競技者１０による技の遷移先が、確率の低い方に遷移した場合には、演技遷移フロー情報を基にして、競技者１０が行う技の内容を更新する。一例として、図１８に示した演技遷移フロー情報２０を用いて説明をおこなう。たとえば、画面生成部１５３は、ノード「Ｇ３－５３」に対応する技の次に、競技者１０が行った技が、ノード「Ｇ３－７０」の技であった場合には、確率の低い方に遷移しており、競技者１０が行う技の内容を更新する。更新前の技の内容および更新後の技の内容は、Ｄスコア領域１１ｃを更新する処理で行ったものと同様である。
　画面生成部１５３は、更新後の技と、演技履歴テーブル１４３とを比較して、技毎のＥスコアを特定する。画面生成部１５３は、特定した技毎のＥスコアを合計することで、更新後の技に対応するＥスコアを新たに算出する。画面生成部１５３は、算出したＥスコアを、Ｅスコア領域１１ｄに設定する。また、画面生成部１５３は、新たに算出したＥスコアを表示する場合に、Ｅスコア領域１１ｄのＥスコアを強調表示させてもよい。また、画面生成部１５３は、算出したＤスコアにより、スコアテーブル１４４のＥスコア（予測得点のＥスコア）を更新する。
　画面生成部１５３が、得点領域１１ｅを更新する処理の一例について説明する。まず、画面生成部１５３は、競技者１０の競技者ＩＤと、スコアテーブル１４４とを比較して、予測得点の項目から、競技者１０の予測された得点を取得する。画面生成部１５３は、取得した得点を、得点領域１１ｅに設定する。
　競技者１０の演技が開始されると、画面生成部１５３は、技認識ＤＢ１４１を参照して、競技者１０が実際に行った技を順番に取得し、実際に行った技と、演技遷移フロー情報と比較する。
　画面生成部１５３は、競技者１０による技の遷移先が、確率の高い方に遷移した場合には、得点領域１１ｅに表示させる得点を、そのままにする。
　一方、画面生成部１５３は、競技者１０による技の遷移先が、確率の低い方に遷移した場合には、演技遷移フロー情報を基にして、競技者１０が行う技の内容を更新する。一例として、図１８に示した演技遷移フロー情報２０を用いて説明を行う。たとえば、画面生成部１５３は、ノード「Ｇ３－５３」に対応する技の次に、競技者１０が行った技が、ノード「Ｇ３－７０」の技であった場合には、確率の低い方に遷移しており、競技者１０が行う技の内容を更新する。更新前の技の内容および更新後の技の内容は、Ｄスコア領域１１ｃを更新する処理で行ったものと同様である。
　画面生成部１５３は、Ｄスコア領域１１ｃを更新する処理と同様にして、更新後の技に対応するＤスコアを算出する。画面生成部１５３は、Ｅスコア領域１１ｄを更新する処理と同様にして、更新後の技に対応するＥスコアを算出する。画面生成部１５３は、更新後の技に対応するＤスコアとＥスコアとを合計することで、更新後の得点を算出する。
　画面生成部１５３は、算出した更新後の得点を、得点領域１１ｅに設定する。画面生成部１５３は、新たに算出した得点を表示する場合に、得点領域１１ｅの得点を強調表示させてもよい。また、画面生成部１５３は、算出した得点により、スコアテーブル１４４の得点（予測得点の得点）を更新する。
　画面生成部１５３が、順位予測領域１１ｆの情報を更新する処理の一例について説明する。画面生成部１５３は、スコアテーブル１４４を参照して、第１競技者の得点と、複数の第２競技者の得点とを取得する。
　第１競技者の得点は、スコアテーブル１４４において、演技を行っている競技者の競技者ＩＤに対応する、予測得点の項目の得点である。第２競技者の得点は、該当する第２競技者の演技が終了している場合には、スコアテーブル１４４において、第２競技者の競技者ＩＤに対応する、得点項目の得点である。または、第２競技者の得点は、該当する第２競技者の演技が終了していない場合には、スコアテーブル１４４において、第２競技者の競技者ＩＤに対応する、予測得点の項目の得点である。
　画面生成部１５３は、第１競技者の得点（演技中の予測の得点）と、複数の第２競技者の得点（演技前または演技後の得点）とを比較して、競技者の順位を判定する。画面生成部１５３は、順位と、競技者の名前と、得点とを対応付けることで、順位予測領域１１ｆの情報を生成する。たとえば、画面生成部１５３は、競技者ＩＤと競技者名とを対応付けたテーブル（図示略）を参照して、競技者ＩＤに対応する競技者名を特定する。
　画面生成部１５３は、第１競技者の得点が更新される度に、上記処理を繰り返し実行することで、順位予測領域１１ｆの情報を更新する。画面生成部１５３は、競技者の順位が更新前の順位と比較して上がった場合には、該当する競技者名の隣に上矢印を表示させる。画面生成部１５３は、競技者の順位が更新前の順位と比較して下がった場合には、該当する競技者名の隣に下矢印を表示させる。
　続いて、画面生成部１５３が、競技者１０の「演技終了後」において、表示画面１２の情報を生成し、表示部１３０に出力して表示させる。表示画面１２には、映像領域１２ａと、演技リスト１２ｂ、Ｄスコア領域１２ｃ、Ｅスコア領域１２ｄ、得点領域１２ｅ、順位予測領域１２ｆが含まれる。
　画面生成部１５３は、技認識ＤＢ１４１を参照して、競技者１０が実際に行った技を順番に取得し、実際に行った技と、演技遷移フロー情報とを比較し、演技遷移フロー情報の最後のノードに到達した場合に、競技者１０の演技が終了したと判定する。たとえば、図１８に示した演技遷移フロー情報２０を用いて説明すると、競技者１０の技が、ノード「Ｇ４－４１」に対応する技に到達した場合に、競技者１０の演技が終了したと判定する。
　画面生成部１５３が、映像領域１２ａに情報を表示する処理について説明する。画面生成部１５３は、演技を行った競技者の映像データを、映像ＤＢ１４２から取得し、取得した映像データを、映像領域１２ａに表示させる。
　画面生成部１５３が、演技リスト１２ｂに情報を表示する処理について説明する。画面生成部１５３は、競技者１０が演技を終了した時点において、表示画面１１の演技リスト１１ａに表示されている情報を、演技リスト１２ｂの情報として利用する。
　画面生成部１５３が、Ｄスコア領域１２ｃ、Ｅスコア領域１２ｄ、得点領域１２ｅに情報を表示する処理について説明する。画面生成部１５３は、競技者１０が演技を終了した時点において、表示画面１１のＤスコア領域１１ｃ、Ｅスコア領域１１ｄ、得点領域１１ｅに設定されていたＤスコア、Ｅスコア、得点を、Ｄスコア領域１２ｃ、Ｅスコア領域１２ｄ、得点領域１２ｅに設定する。
　画面生成部１５３は、Ｄスコア領域１２ｃ、Ｅスコア領域１２ｄ、得点領域１２ｅに設定したＤスコア、Ｅスコア、得点の情報を、競技者ＩＤと対応付けて、スコアテーブル１４４の得点の項目に登録する。
　画面生成部１５３が、順位予測領域１２ｆに情報を表示する処理について説明する。画面生成部１５３は、スコアテーブル１４４を参照して、第１競技者の得点と、複数の第２競技者の得点とを取得する。
　第１競技者の得点は、スコアテーブル１４４において、演技を終了した競技者の競技者ＩＤに対応する、得点項目の得点である。第２競技者の得点は、該当する第２競技者の演技が終了している場合には、スコアテーブル１４４において、第２競技者の競技者ＩＤに対応する、得点項目の得点である。または、第２競技者の得点は、該当する第２競技者の演技が終了していない場合には、スコアテーブル１４４において、第２競技者の競技者ＩＤに対応する、予測得点の項目の得点である。
　画面生成部１５３は、第１競技者の得点（演技中の予測の得点）と、複数の第２競技者の得点（演技前または演技後の得点）とを比較して、競技者の順位を判定する。画面生成部１５３は、順位と、競技者の名前と、得点とを対応付けることで、順位予測領域１２ｆの情報を生成する。たとえば、画面生成部１５３は、競技者ＩＤと競技者名とを対応付けたテーブル（図示略）を参照して、競技者ＩＤに対応する競技者名を特定する。また、画面生成部１５３は、直近の順位と比較して、競技者の順位に変動がある場合には、矢印の方向を表示して、順位の変動を可視化してもよい。すなわち、画面生成部１５３は、競技者の順位が更新前の順位と比較して上がった場合には、該当する競技者名の隣に上矢印を表示させる。画面生成部１５３は、競技者の順位が更新前の順位と比較して下がった場合には、該当する競技者名の隣に下矢印を表示させる。
　続いて、競技者１０の演技開始から演技終了までの間における、表示画面１１の演技遷移情報１１ｂ、Ｄスコア領域１１ｃ、Ｅスコア領域１１ｄ、得点領域１１ｅの情報の変化の一例について、図２０を用いて説明する。
　図２０は、本実施例１に係る画面生成部の処理の一例を説明するための図（２）である。図２０では一例として、競技者１０が演技を開始し、「Ｇ３－５３」の技の次に、予定とは異なる技（「Ｇ２－５２」の技）を実行し、その後は、予定通りの演技を行った場合について説明する。
　ステップＳ１０について説明する。ステップＳ１０において、演技前の表示画面には、演技遷移情報１１ｂ－１と、Ｄスコア領域１１ｃ－１と、Ｅスコア領域１１ｄ－１と、得点領域１１ｅ－１とが含まれる。
　画面生成部１５３は、演技遷移情報１１ｂ－１に、演技遷移フロー情報２０を表示させる。画面生成部１５３は、予定演技情報のＤスコア、Ｅスコア、得点を算出し、Ｄスコア領域１１ｃ－１と、Ｅスコア領域１１ｄ－１と、得点領域１１ｅ－１にそれぞれ表示させる。Ｄスコア領域１１ｃ－１と、Ｅスコア領域１１ｄ－１と、得点領域１１ｅ－１に表示されるＤスコア、Ｅスコア、得点は、競技者１０が予定通り演技（予定演技情報の演技）を行った場合の、Ｄスコア、Ｅスコア、得点となる。
　ステップＳ１１について説明する。ステップＳ１１において、演技中の表示画面には、演技遷移情報１１ｂ－２と、Ｄスコア領域１１ｃ－２と、Ｅスコア領域１１ｄ－２と、得点領域１１ｅ－２とが含まれる。
　画面生成部１５３は、技認識ＤＢ１４１を参照し、「Ｇ３－５３」の技から「Ｇ２－５２」の技に遷移した場合には、演技遷移情報１１ｂ－２の「Ｇ３－５３」の技から「Ｇ２－５２」の技へ遷移する線を強調表示する。画面生成部１５３は、Ｄスコア領域１１ｃ－１と、Ｅスコア領域１１ｄ－１と、得点領域１１ｅ－１の情報を更新する。なお、「Ｇ３－７０」の技の難度と、「Ｇ２－５２」の技の難度は同じ「Ｄ」難度であるため、Ｄスコア領域１１ｃ－２のＤスコアと、Ｄスコア領域１１ｃ－１のＤスコアとは同一となる。
　「Ｇ３－５３」の技から「Ｇ２－５２」の技に遷移し、本来実行予定であった「Ｇ３－７０」の技が行われないことで、Ｅスコアは「８．２００」に更新される。画面生成部１５３は、Ｅスコア領域１１ｄ－２にＥスコア「８．２００」を表示する。また、Ｅスコアが更新に応じて、画面生成部１５３は、得点領域１１ｅ－２に得点「１３．９００」を表示させる。
　ステップＳ１２について説明する。ステップＳ１２において、演技中から演技終了までの表示画面には、演技遷移情報１１ｂ－３、Ｄスコア領域１１ｃ－３と、Ｅスコア領域１１ｄ－３と、得点領域１１ｅ－３とが含まれる。「Ｇ２－５２」の技以降において、競技者１０が予定通りの演技を行った場合には、画面生成部１５３は、Ｄスコア領域１１ｃ－３、Ｅスコア領域１１ｄ－３、得点領域１１ｅ－３には、Ｄスコア領域１１ｃ－２、Ｅスコア領域１１ｄ－２、得点領域１１ｅ－２と同様の情報が表示される。
　次に、本実施例１に係る情報処理装置１００の処理手順の一例について説明する。図２１は、本実施例１に係る情報処理装置の処理手順を示すフローチャートである。図２１に示すように、情報処理装置１００の前処理部１５２は、演技履歴テーブル１４３から、予定演技情報を取得する（ステップＳ１０１）。前処理部１５２は、予定演技情報に含まれる各技が成功した場合の予測スコアを算出する（ステップＳ１０２）。
　情報処理装置１００の画面生成部１５３は、予測スコアを表示する表示画面を生成し、表示部１３０に表示させる（ステップＳ１０３）。たとえば、ステップＳ１０３で表示される表示画面は、図９で説明した表示画面１０Ａに対応する。画面生成部１５３は、演技中処理を実行する（ステップＳ１０４）。
　続いて、図２１のステップＳ１０４に示した演技中処理の一例について説明する。図２２は、演技中処理の処理手順を示すフローチャートである。図２２に示すように、情報処理装置１００の画面生成部１５３は、競技者１０の演技が開始された場合に、実施中の演技の認識結果データを取得する（ステップＳ２０１）。
　画面生成部１５３は、認識結果データと、演技遷移フロー情報とを比較する（ステップＳ２０２）。画面生成部１５３は、実施中の技が予定の技と異なる場合には（ステップＳ２０３，Ｙｅｓ）、予測スコアを更新して（ステップＳ２０４）、ステップＳ２０５に移行する。
　一方、画面生成部１５３は、実施中の技が予定の技と異ならない場合には（ステップＳ２０３，Ｎｏ）、ステップＳ２０５に移行する。画面生成部１５３は、表示画面を更新して表示する（ステップＳ２０５）。たとえば、ステップＳ２０５で表示される表示画面は、図１０で説明した表示画面１１に対応する。
　画面生成部１５３は、演技が終了した場合には（ステップＳ２０６，Ｙｅｓ）、演技終了時の表示画面を表示する（ステップＳ２０７）。たとえば、ステップＳ２０７で表示される表示画面は、図１１で説明した表示画面１２に対応する。
　一方、画面生成部１５３は、演技が終了していない場合には（ステップＳ２０６，Ｎｏ）、次の認識結果データを取得し（ステップＳ２０８）、ステップＳ２０２に移行する。
　次に、本実施例１に係る情報処理装置１００の効果について説明する。情報処理装置１００は、演技開始前において、予定演技情報に対する予測スコアを算出し、算出した予測スコアを表示する。演技が開始されると、情報処理装置１００は、演技の進行に伴って、予定の技が変更されたか否かを判定し、予定の技が変更された場合には、これから実施される可能性の高い未実施の技を予測することで、一連の予定技を更新し、更新した一連の予測技に基づく予測スコアを更新し、更新した予測スコアを表示画面に表示させる。これにより、採点競技における予定演技の予測スコアと、演技の進行に伴う予測スコアとを提供することができる。
　情報処理装置１００は、競技者１０の演技開始前において、図９に示した表示画面１０Ａを表示させる。たとえば、アナウンサーが、表示画面１０Ａの順位予測領域１０ｆを参照することで、演技者の順位変動が生じる得点ラインを把握することができる。たとえば、これから演技を行う競技者を「富士太郎」とすると、アナウンサーは、表示画面を見ながら、「予定演技のままでは１位になれないようで、きっと演技を変えてくるでしょう」等のコメントを容易に発言することができる。
　情報処理装置１００は、競技者１０の演技中において、図１０に示した表示画面１１を表示させる。たとえば、アナウンサーが、表示画面１１の演技遷移情報１１ｂを参照することで、競技者１０が行う技が「Ｇ３－７０」の技から、「Ｇ２－５２」の技に変更されたことをリアルタイムに把握することができる。また、技が「Ｇ３－７０」の技から、「Ｇ２－５２」の技に変更されることにより、Ｅスコア領域１１ｄのＥスコアが上がった場合には、競技者１０は、得意な技にシフトしたことを確認することができる。これにより、アナウンサーは、表示画面を見ながら、「予定演技の技（Ｇ３－７０）を、本番で完成度の高い技（Ｇ２－５２）に変えてきた！過去の演技ではこちらの演技構成の方がＥスコアが１．０高くなっています。」等のコメントを容易に発言することができる。
　一方、視聴者が、表示画面１１の演技遷移情報１１ｂを参照すると、逆転の可能性を感じながら、中継をわくわくしながら視聴することができる。たとえば、図１０の表示画面１１において、現在の技が「Ｇ３－５３」である場合に、視聴者は、競技者１０に関する過去の演技の知識がなくても、次は「Ｇ３－７０」の技を演技者が行うことを事前に予測できるが、技を「Ｇ２－５２」に変更して逆転を狙うのか等、競技者１０の駆け引きを楽しむことができる。
　情報処理装置１００は、競技者１０の演技終了時において、図１１に示した表示画面１２を表示させる。たとえば、アナウンサーが、表示画面１２の順位予測領域１２ｆの情報を参照することで、最終的なスコアが、審判員から発表される前に、予想スコアを把握することができる。たとえば、「富士太郎さんは暫定１位に浮上する可能性が高いですね」等のコメントを容易に発言することができる。
　図２３は、本実施例２に係るシステムの一例を示す図である。図２３に示すように、このシステムは、３Ｄレーザセンサ５０と、カメラ６０と、情報処理装置２００とを有する。情報処理装置２００は、３Ｄレーザセンサ５０と、カメラ６０に接続される。本実施例２では一例として、競技者１０は、３Ｄレーザセンサ５０およびカメラ６０の前方で体操演技を行う場合について説明するが、競技者１０が他の採点競技を行う場合にも同様に適用することができる。
　３Ｄレーザセンサ５０は、競技者１０に対して３Ｄセンシングを行うセンサである。３Ｄレーザセンサ５０は、センシング結果となるセンシングデータを、情報処理装置２００に出力する。
　カメラ６０は、競技者１０の映像データを撮影する装置である。カメラ６０は、映像データを、情報処理装置２００に出力する。
　情報処理装置２００は、競技者１０が過去に行った演技構成の履歴を基にして、競技者１０の一連の予定演技から算出される予測スコアを表示する装置である。また、情報処理装置２００は、競技者１０の実際の演技の進行に伴って、競技者１０の演技が変更になった場合には、後の予測演技を更新しつつ、演技更新に応じて、予測スコアを更新する。
　また、情報処理装置２００は、図１で説明した技認識装置７０の機能を有し、３Ｄレーザセンサ５０から出力されるセンシングデータを基にして、競技者１０の技を認識する。ここで、情報処理装置２００は、競技者１０の技を認識する場合には、センシングデータから特定される開始姿勢に基づいて、技を予測して表示する。
　たとえば、競技者１０が現在行っている技の次の技が、複数存在するものとし、次の技が、「後ろ振り上がり十字倒立（２秒）」、「後ろ振り上がり倒立（２秒）」、「他の技」であったものとする。情報処理装置２００は、センシングデータから特定される開始姿勢が「後ろ振り上がり」であると判定した時点で、終末姿勢の認識を待たなくても、次の行う技が、「後ろ振り上がり十字倒立（２秒）」、「後ろ振り上がり倒立（２秒）」のどちらかであることが判定できる。情報処理装置２００は、推定した「後ろ振り上がり十字倒立（２秒）」、「後ろ振り上がり倒立（２秒）」を、表示画面に表示させる。
　図２４は、本実施例２に係る情報処理装置が表示する表示画面の一例を示す図である。たとえば、情報処理装置２００は、次の行う技が、「後ろ振り上がり十字倒立（２秒）」、「後ろ振り上がり倒立（２秒）」のどちらかであると判定した場合には、表示画面１３に示すように、「後ろ振り上がり十字倒立（２秒）」、「後ろ振り上がり倒立（２秒）」の技名を強調表示する。この表示画面１３を参照することで、終末時の姿勢を見ることなく、競技者１０が行おうとする技を前もって把握することができる。
　次に、本実施例２に係る情報処理装置２００の構成について説明する。図２５は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。図２５に示すように、情報処理装置２００は、インタフェース部２１０と、入力部２２０と、表示部２３０と、記憶部２４０と、制御部２５０とを有する。
　インタフェース部２１０は、３Ｄレーザセンサ５０、カメラ６０と接続し、３Ｄレーザセンサ５０、カメラ６０からデータを取得する装置である。インタフェース部２１０は、取得したデータを、制御部２５０に出力する。たとえば、インタフェース部２１０は、３Ｄレーザセンサ５０から、センシングデータを取得する。インタフェース部２１０は、カメラ６０から、映像データを取得する。
　入力部２２０は、情報処理装置２００に各種の情報を入力するための入力装置である。入力部２２０は、キーボード、マウス、タッチパネル等に対応する。
　表示部２３０は、制御部２５０から出力される表示画面の情報を表示する表示装置である。表示部２４０は、液晶ディスプレイ、タッチパネル等に対応する。たとえば、表示部２３０は、図９～図１０に示した表示画面を表示する。
　記憶部２４０は、センシングＤＢ２４１、関節定義データ２４２、関節位置ＤＢ２４３、技判定テーブル２４４、技認識ＤＢ２４５を有する。また、記憶部２４０は、映像ＤＢ２４６、演技履歴テーブル２４７、スコアテーブル２４８、難度テーブル２４９を有する。記憶部２４０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。
　センシングＤＢ２４１は、３Ｄレーザセンサ５０から取得するセンシングデータを格納するＤＢである。センシングＤＢ２４１のデータ構造は、実施例１で説明したセンシングＤＢ７１のデータ構造と同様である。
　関節定義データ２４２は、競技者１０の各関節位置を定義するものである。関節定義データ２４２のデータ構造は、実施例１で説明した関節定義データ７２のデータ構造と同様である。
　関節位置ＤＢ２４３は、３Ｄレーザセンサ５０のセンシングデータを基に生成される競技者１０の各関節の位置データである。関節位置ＤＢ２４３のデータ構造は、実施例１で説明した関節位置ＤＢ７３のデータ構造と同様である。
　技判定テーブル２４４は、競技者１０が行う技を判定する際に用いるテーブルである。技判定テーブル２４４のデータ構造は、実施例１で説明した技判定テーブル７４のデータ構造と同様である。
　技認識ＤＢ２４５は、技の認識結果データを格納するＤＢである。技認識ＤＢ２４５のデータ構造は、実施例１で説明した技認識ＤＢ７５のデータ構造と同様である。
　映像ＤＢ２４６は、カメラ６０から取得する映像データを格納するＤＢである。映像ＤＢ２４６のデータ構造は、実施例１で説明した映像ＤＢ１４２のデータ構造と同様である。
　演技履歴テーブル２４７は、競技者１０や他の競技者が過去に行った演技の履歴に関する情報を保持するテーブルである。演技履歴テーブル２４７のデータ構造は、実施例１で説明した演技履歴テーブル１４３のデータ構造と同様である。
　スコアテーブル２４８は、各競技者の得点に関する情報を保持するテーブルである。スコアテーブル２４８のデータ構造は、実施例１で説明したスコアテーブル１４４のデータ構造と同様である。
　難度テーブル２４９は、Ｄスコアを算出する場合に用いられる難度と得点とを対応付けるテーブルである。難度テーブル２４９のデータ構造は、実施例１で説明した難度テーブル１４５のデータ構造と同様である。
　制御部２５０は、登録部２５１と、認識部２５２と、前処理部２５３と、画面生成部２５４とを有する。制御部２５０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部２５０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。
　登録部２５１は、３Ｄレーザセンサ５０から、センシングデータを取得し、取得したセンシングデータを、センシングＤＢ２４１に登録する。登録部２５１は、カメラ６０から、映像データを取得し、取得した映像データを、映像ＤＢ２４６に格納する。
　認識部２５２は、センシングＤＢ２４１に格納されたセンシングデータを基にして、競技者１０の技を認識する処理部である。認識部２５２は、センシングデータの各フレーム番号と、各認証結果とをそれぞれ対応付けた認識結果データを生成する。認識部２５２は、認識結果データを、技認識ＤＢ２４５に格納する。
　認識部２５２は、センシングＤＢ２４１のセンシングフレームと、関節定義データ２４２に定義された各関節の位置関係とを比較して、センシングフレームに含まれる各関節の種別および関節の３次元座標を特定する。認識部２５２は、センシングＤＢ２４１のフレーム番号毎に上記処理を繰り返し実行し、各関節の３次元座標の情報を、関節位置ＤＢ２４３に格納する。
　認識部２５２は、フレーム番号毎に、各関節の３次元座標の情報と、技判定テーブル２４４とを比較して、開始姿勢および終末姿勢を特定する。また、認識部２５２は、特定した開始姿勢および終末姿勢の組合せと、技判定テーブル２４４とを比較することで、フレーム番号に対応する技グループ、技番号、技名を特定する。
　認識部２５２は、フレーム番号、関節位置データ、開始姿勢フラグ、終末姿勢フラグ、技グループ、技番号、技名を対応付けた情報を、技認識ＤＢ２４５に格納する。
　ここで、本実施例２に係る認識部２５２は、センシングＤＢ２４１に格納されるセンシングデータを基にして、技の認識を行う場合に、センシングデータから特定される開始姿勢に基づいて、技を予測してもよい。認識部２５２は、開始姿勢から予測した技の情報を、画面生成部２５４に出力する。
　図２６は、本実施例２に係る認識部の処理を説明するための図である。たとえば、認識部２５２は、演技遷移フロー情報を基にして、図２６に示すような各技の遷移先を判定する。図２６に示すように、技「後ろ振り上がり中水平支持（２秒）」の後に、「後ろ振り上がり水平支持（２秒）」または「アザリアン：伸腕伸身逆上がり十字懸垂（２秒）」が実行される。そして、「アザリアン」の後に、「後ろ振り上がり十字倒立（２秒）」または「後ろ振り上がり倒立（２秒）」が実行される。
　図７で説明したように、技は、開始姿勢と終末姿勢との組合せから決定されるが、終末姿勢の判定を待たず、開始姿勢が判定できれば、次の競技者１０が実行する技を予測することができる。たとえば、図２６において、競技者１０の技「後ろ振り上がり中水平支持（２秒）」が終了した場合には、次に競技者１０が行う可能性がある技は、「後ろ振り上がり水平支持（２秒）」または「アザリアン」となる。
　このため、認識部２５２は、競技者１０の技「後ろ振り上がり中水平支持（２秒）」が終了し、開始姿勢「後ろ振り上がり」を行った場合には、次の技が「後ろ振り上がり水平支持（２秒）」であると予測する。一方、認識部２５２は、競技者１０の技「後ろ振り上がり中水平支持（２秒）」が終了し、開始姿勢「伸腕伸身逆上がり」を行った場合には、次の技が「アザリアン」であると予測する。
　認識部２５２は、競技者１０の技「アザリアン」が終了し、開始姿勢「後ろ振り上がり」を行った場合には、他の技ではなく、「後ろ振り上がり十字倒立（２秒）」または「後ろ振り上がり倒立（２秒）」が実行されることを予測する。
　なお、体操競技では、同じ技を２度行わないというルールが存在する。このため、認識部２５２は、予測した技が、一連の演技で既に行われている場合には、予測結果から除外する処理を行ってもよい。たとえば、認識部２５２は、競技者１０の技「アザリアン」が終了し、競技者１０が開始姿勢「後ろ振り上がり」を行った場合には、「後ろ振り上がり十字倒立（２秒）」または「後ろ振り上がり倒立（２秒）」が実行されると予測する。しかしながら、「後ろ振り上がり十字倒立（２秒）」が既に実行されている場合には、認識部２５２は、次に行われる技を「後ろ振り上がり倒立（２秒）」と予測する。
　前処理部２５３は、演技履歴テーブル２４７を基にして、「予定演技情報」および「演技遷移フロー情報」を生成する。前処理部２５３は、予定演技情報および演技遷移フロー情報を、画面生成部２５４に出力する。
　前処理部２５３は、予定演技情報から、複数の技が成功した場合の予測得点を算出し、予定演技の予測得点を表示する画面情報を生成する。たとえば、予測演技の予測得点を表示する画面情報は、図９で説明した表示画面１０Ａの情報に対応する。前処理部２５３に関する他の処理は、実施例１で説明した前処理部１５２の処理と同様であるため説明を省略する。
　画面生成部２５４は、競技者１０の演技開始前において、図９に示した表示画面１０Ａの情報を生成し、表示部２３０に出力して表示させる。画面生成部２５４は、競技者１０の演技中において、図１０に示した表示画面１１の情報を生成し、表示部２３０に出力して表示させる。画面生成部２５４は、競技者１０の演技終了後において、図１１に示した表示画面の情報を生成し、表示部２３０に出力して表示させる。
　画面生成部２５４が、表示画面１０Ａ、１１、１２の画面を生成して表示する処理は、実施例１で説明した画面生成部１５３の処理と同様であるため説明を省略する。なお、画面生成部２５４が、演技中に表示画面１１を生成する場合には、認識部２５２が予測した技を用いて、演技リスト１１ａ、演技遷移情報１１ｂ、Ｄスコア領域１１ｃ、Ｅスコア領域１１ｄ、得点領域１１ｅ、順位予測領域１１ｆを更新してもよい。
　ここで、画面生成部２５４は、認識部２５２が予測した技の情報を受け付けた場合には、予測された技の情報を表示部２３０に表示させる。たとえば、画面生成部２５４は、図２４で説明した表示画面１３を表示することで、次に実行される可能性が高い技の情報を、終末姿勢を待つことなく表示する。
　また、画面生成部２５４は、演技中に表示画面を表示する場合に、残りの演技時間を予測し、表示してもよい。たとえば、画面生成部２５４は、演技履歴テーブル２４７を参照し、競技者１０の過去の演技構成情報と、予定演技情報とを比較して、予定演技時間を特定する。画面生成部２５４は、図示しないタイマを用いて、競技者１０が演技を開始してからの経過時間をカウントし、予定演技時間から、経過時間を減算することで、残りの演技時間を予測する。
　図２７は、本実施例２に係る演技中の表示画面の一例を示す図である。図２７に示すように、表示画面１４には、表示領域１４ａが含まれる。画面生成部２５４は、表示領域１４ａに、残りの演技時間を表示させる。
　次に、本実施例２に係る情報処理装置２００の処理手順の一例について説明する。図２８は、本実施例２に係る情報処理装置の処理手順を示すフローチャートである。図２８に示すように、情報処理装置２００の前処理部２５３は、演技履歴テーブル２４７から、演技者１０の予定演技情報を取得する（ステップＳ３０１）。前処理部２５３は、予定演技情報に含まれる各技が成功した場合の予測スコアを算出する（ステップＳ３０２）。
　情報処理装置２００の画面生成部２５４は、予測スコアを表示する表示画面を生成し、表示部１３０に表示させる（ステップＳ３０３）。情報処理装置１００は、競技者１０の演技が開始された場合に、センシングデータを取得し、実施中の技の認識結果データを生成する（ステップＳ３０４）。
　情報処理装置２００の認識部２５２は、予測処理を実行する（ステップＳ３０５）。画面生成部２５４は、実施中の技が予定の技と異なる場合には（ステップＳ３０６，Ｙｅｓ）、予測スコアを更新し（ステップＳ３０７）、ステップＳ３０８に移行する。
　一方、画面生成部２５４は、実施中の技が予定の技と異ならない場合には（ステップＳ３０６，Ｎｏ）、ステップＳ３０８に移行する。画面生成部２５４は、表示画面を更新して表示する（ステップＳ３０８）。たとえば、ステップＳ３０８で表示される表示画面は、図１０で説明した表示画面１１に対応する。
　画面生成部２５４は、残りの演技時間を表示画面に表示する（ステップＳ３０９）。画面生成部２５４は、演技が終了していない場合には（ステップＳ３１０，Ｎｏ）、次の認識結果データを生成し（ステップＳ３１１）、ステップＳ３０５に移行する。
　一方、画面生成部２５４は、演技が終了した場合には（ステップＳ３１０，Ｙｅｓ）、演技終了時の表示画面を表示する（ステップＳ３１２）。
　次に、図２８のステップＳ３０５に示した予測処理の一例について説明する。図２９は、予測処理の一例を示すフローチャートである。図２９に示すように、情報処理装置２００の認識部２５２は、予定演技の技の開始姿勢と終末姿勢とを取得する（ステップＳ４０１）。認識部２５２は、実施中の演技の開始姿勢を特定する（ステップＳ４０２）。
　認識部２５２は、開始姿勢を基にして、次の行われる技を予測する（ステップＳ４０３）。認識部２５２は、予定演技の技の開始姿勢と、実施中の演技の開始姿勢とが一致するか否かを判定する（ステップＳ４０４）。
　認識部２５２は、一致しない場合には（ステップＳ４０５，Ｎｏ）、実施中の演技の開始姿勢と終末姿勢に対応する技を技判定テーブル２４４から特定し（ステップＳ４０６）、予測処理を終了する。
　一方、認識部２５２は、一致する場合には（ステップＳ４０５，Ｙｅｓ）、予定演技の技の終末姿勢と、実施中の演技の終末姿勢とが一致するか否かを判定する（ステップＳ４０７）。認識部２５２は、一致しない場合には（ステップＳ４０８，Ｎｏ）、ステップＳ４０６に移行する。認識部２６２は、一致する場合には（ステップＳ４０８，Ｙｅｓ）、予測処理を終了する。
　次に、本実施例２に係る情報処理装置２００の効果について説明する。情報処理装置２００は、センシングデータを基にして、技の開始姿勢を判定し、終末姿勢の認識を行う前に、予測される技を表示画面に表示する処理を行う。これにより、表示画面を参照するアナウンサーや視聴者は、競技者１０が行おうとする技を事前に知ることができる。
　また、情報処理装置２００は、競技者１０の過去の演技構成から、競技者１０の演技時間を予測し、競技者１０が演技を開始した場合に、残りの演技時間を算出して表示させる。これにより、アナウンサーは、残りの演技時間を把握して、実況を行うことができる。たとえば、アナウンサーは、残りの演技時間を把握することで、スピード等を調整して、原稿を読むことができる。
　次に、上記実施例に示した情報処理装置１００，２００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図３０は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
　図３０に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る読み取り装置３０４と、有線または無線ネットワークを介して収録機器等との間でデータの授受を行うインタフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１～３０７は、バス３０８に接続される。
　ハードディスク装置５０７は、登録プログラム３０７ａ、認識プログラム３０７ｂ、前処理プログラム３０７ｃ、画面生成プログラム３０７ｄを有する。ＣＰＵ３０１は、各プログラム３０７ａ～３０７ｄを読み出してＲＡＭ３０６に展開する。
　登録プログラム３０７ａは、登録プロセス３０６ａとして機能する。認識プログラム３０７ｂは、認識プロセス３０６ｂとして機能する。前処理プログラム３０７ｃは、前処理プロセス３０６ｃとして機能する。画面生成プログラム３０７ｄは、画面生成プロセス３０６ｄとして機能する。
　登録プロセス３０６ａの処理は、登録部１５１，２５１の処理に対応する。認識プロセス３０６ｂの処理は、認識部２５２の処理に対応する。前処理プロセス３０６ｃの処理は、前処理部１５２，２５３の処理に対応する。画面生成プロセス３０６ｄの処理は、画面生成部１５３，２５４の処理に対応する。
　なお、各プログラム３０７ａ～３０７ｄについては、必ずしも最初からハードディスク装置５０７に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ～３０７ｄを読み出して実行するようにしても良い。
　　５０　３Ｄレーザセンサ
　　６０　カメラ
　　７０　技認識装置
　１００，２００　情報処理装置
　１１０，２１０　インタフェース部
　１２０，２２０　入力部
　１３０，２３０　表示部
　１４０，２４０　記憶部
　１４１，２４５　技認識ＤＢ
　１４２，２４６　映像ＤＢ
　１４３，２４７　演技履歴テーブル
　１４４，２４８　スコアテーブル
　１４５，２４９　難度テーブル
　１５０，２５０　制御部
　１５１，２５１　登録部
　１５２，２５３　前処理部
　１５３，２５４　画面生成部
　２４１　センシングＤＢ
　２４２　関節定義データ
　２４３　関節位置ＤＢ
　２４４　技判定テーブル
　２５２　認識部

Claims (12)

  1. 　コンピュータに、
    　採点競技の競技者が実施予定の複数の技を含む予定演技情報を取得し、
    　前記予定演技情報から、前記複数の技が成功した場合の第一の予測スコアを算出し、
    　前記予定演技情報の第一の予測スコアを表示する画面情報を生成し、
    　前記競技者による実演技が開始した場合に、前記実演技をリアルタイムでセンシングしたデータに基づき、前記実演技の中で、実施済みの技および前記実施済みの技のスコアを取得し、
    　前記予定演技情報および前記データの少なくとも一方に基づき、前記実演技の中で、これから実施される可能性が高い未実施の技を予測し、
    　前記実施済みの技のスコアと、前記予測された未実施の技が成功した場合の第二の予測スコアとに基づき、実施中の前記実演技全体の第三の予測スコアを予測し、
    　前記第一の予測スコアと、前記第三の予測スコアとを表示する画面情報を生成する
    　処理を実行させることを特徴とする画面生成プログラム。
  2. 　前記第三の予測スコアを予測する処理によって予測された前記第三の予測スコアと、他の競技者のスコアとを基にして、前記競技者および前記他の競技者の順位を予測し、予測した順位の情報を表示する処理を更に実行することを特徴とする請求項１に記載の画面生成プログラム。
  3. 　前記未実施の技を予測する処理は、前記データに基づく技の開始時の競技者の姿勢に基づき、前記未実施の技を予測することを特徴とする請求項１または２に記載の画面生成プログラム。
  4. 　前記予定演技情報を基にして、前記競技者が演技を開始してから演技を終了するまでの演技時間を予測し、前記実演技が開始した場合に、前記演技時間を基にして、演技の残り時間を算出する処理を更に実行し、前記画面情報を生成する処理は、前記画面情報に、前記演技の残り時間の情報を含めることを特徴とする請求項１に記載の画面生成プログラム。
  5. 　コンピュータが、
    　採点競技の競技者が実施予定の複数の技を含む予定演技情報を取得し、
    　前記予定演技情報から、前記複数の技が成功した場合の第一の予測スコアを算出し、
    　前記予定演技情報の第一の予測スコアを表示する画面情報を生成し、
    　前記競技者による実演技が開始した場合に、前記実演技をリアルタイムでセンシングしたデータに基づき、前記実演技の中で、実施済みの技および前記実施済みの技のスコアを取得し、
    　前記データに基づき、前記実演技の中で、実施済みの技および前記実施済みの技のスコアを取得し、
    　前記予定演技情報および前記データの少なくとも一方に基づき、前記実演技の中で、これから実施される可能性が高い未実施の技を予測し、
    　前記実施済みの技のスコアと、前記予測された未実施の技が成功した場合の第二の予測スコアとに基づき、実施中の前記実演技全体の第三の予測スコアを予測し、
    　前記予定演技の第一の予測スコアと、前記第三の予測スコアとを表示する画面情報を生成する
    　処理を実行することを特徴とする画面生成方法。
  6. 　前記第三の予測スコアを予測する処理によって予測された前記第三の予測スコアと、他の競技者のスコアとを基にして、前記競技者および前記他の競技者の順位を予測し、予測した順位の情報を表示する処理を更に実行することを特徴とする請求項５に記載の画面生成方法。
  7. 　前記未実施の技を予測する処理は、前記データに基づく技の開始時の競技者の姿勢に基づき、前記未実施の技を予測することを特徴とする請求項５または６に記載の画面生成方法。
  8. 　前記予定演技情報を基にして、前記競技者が演技を開始してから演技を終了するまでの演技時間を予測し、前記実演技が開始した場合に、前記演技時間を基にして、演技の残り時間を算出する処理を更に実行し、前記画面情報を生成する処理は、前記画面情報に、前記演技の残り時間の情報を含めることを特徴とする請求項５に記載の画面生成方法。
  9. 　採点競技の競技者が実施予定の複数の技を含む予定演技情報を取得し、前記予定演技情報から、前記複数の技が成功した場合の第一の予測スコアを算出し、前記予定演技情報の第一の予測スコアを表示する画面情報を生成する前処理部と、
    　前記競技者による実演技が開始した場合に、前記実演技の中において、前記実演技をリアルタイムでセンシングしたデータに基づき特定される、実施済みの技および前記実施済みの技のスコアを取得し、前記予定演技情報および前記データの少なくとも一方に基づき、前記実演技の中で、これから実施される可能性が高い未実施の技を予測し、前記実施済みの技のスコアと、前記予測された未実施の技が成功した場合の第二の予測スコアとに基づき、実施中の前記実演技全体の第三の予測スコアを予測し、前記第一の予測スコアと、前記第三の予測スコアとを表示する画面情報を生成する画面生成部と
    　を有することを特徴とする情報処理装置。
  10. 　前記画面生成部は、前記第三の予測スコアと、他の競技者のスコアとを基にして、前記競技者および前記他の競技者の順位を予測し、予測した順位の情報を表示することを特徴とする請求項９に記載の情報処理装置。
  11. 　前記データに基づく技の開始時の競技者の姿勢に基づき、前記未実施の技を予測する認識部を更に有することを特徴とする請求項９または１０に記載の情報処理装置。
  12. 　前記画面生成部は、前記競技者が演技を開始してから演技を終了するまでの演技時間を予測し、前記実演技が開始した場合に、前記演技時間を基にして、演技の残り時間を算出し、前記画面情報に、前記演技の残り時間の情報を含めることを特徴とする請求項９に記載の情報処理装置。
PCT/JP2018/002169 2018-01-24 2018-01-24 画面生成プログラム、画面生成方法および情報処理装置 WO2019146024A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2018/002169 WO2019146024A1 (ja) 2018-01-24 2018-01-24 画面生成プログラム、画面生成方法および情報処理装置
JP2019567450A JP6923006B2 (ja) 2018-01-24 2018-01-24 画面生成プログラム、画面生成方法および情報処理装置
CN201880087054.2A CN111867687B (zh) 2018-01-24 2018-01-24 存储介质、画面生成方法以及信息处理装置
EP18902325.2A EP3744408A4 (en) 2018-01-24 2018-01-24 SCREEN GENERATION PROGRAM, SCREEN GENERATION METHOD AND INFORMATION PROCESSING DEVICE
US16/932,840 US11446561B2 (en) 2018-01-24 2020-07-20 Non-transitory computer readable recording medium, screen generating method, and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/002169 WO2019146024A1 (ja) 2018-01-24 2018-01-24 画面生成プログラム、画面生成方法および情報処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/932,840 Continuation US11446561B2 (en) 2018-01-24 2020-07-20 Non-transitory computer readable recording medium, screen generating method, and information processing apparatus

Publications (1)

Publication Number Publication Date
WO2019146024A1 true WO2019146024A1 (ja) 2019-08-01

Family

ID=67395262

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/002169 WO2019146024A1 (ja) 2018-01-24 2018-01-24 画面生成プログラム、画面生成方法および情報処理装置

Country Status (5)

Country Link
US (1) US11446561B2 (ja)
EP (1) EP3744408A4 (ja)
JP (1) JP6923006B2 (ja)
CN (1) CN111867687B (ja)
WO (1) WO2019146024A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111450509A (zh) * 2020-03-24 2020-07-28 集美大学 机器人竞赛计分数据处理方法、系统、存储介质、计算机
JPWO2021019641A1 (ja) * 2019-07-29 2021-02-04
WO2024161506A1 (ja) * 2023-01-31 2024-08-08 富士通株式会社 対象判定方法、プログラム、及び装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10596436B1 (en) 2016-11-08 2020-03-24 Airborne Athletics, Inc. Basketball training system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004109264A (ja) 2002-09-13 2004-04-08 Yamaha Corp カラオケ装置および採点結果表示装置
US20090220124A1 (en) * 2008-02-29 2009-09-03 Fred Siegel Automated scoring system for athletics
JP2011081431A (ja) 2009-10-02 2011-04-21 Sony Corp 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム
JP2012042287A (ja) 2010-08-17 2012-03-01 Nippon Telegr & Teleph Corp <Ntt> 行動経路推定方法及びプログラム
US20140136119A1 (en) * 2009-08-28 2014-05-15 Allen Joseph Selner, III Rating a physical capability by motion analysis
JP2015228183A (ja) 2014-06-02 2015-12-17 ヤンマー株式会社 変化点予測装置、変化点予測方法、及びコンピュータプログラム
WO2016092933A1 (ja) * 2014-12-08 2016-06-16 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008094868A2 (en) * 2007-02-01 2008-08-07 Crowd Technologies, Inc. Graphical prediction editor
KR101591779B1 (ko) * 2009-03-17 2016-02-05 삼성전자주식회사 모션 데이터 및 영상 데이터를 이용한 골격 모델 생성 장치및 방법
US9981193B2 (en) * 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US9396385B2 (en) * 2010-08-26 2016-07-19 Blast Motion Inc. Integrated sensor and video motion analysis method
US8761437B2 (en) * 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
JP5984002B2 (ja) * 2012-08-29 2016-09-06 カシオ計算機株式会社 運動支援装置、運動支援方法及び運動支援プログラム
US9566021B2 (en) * 2012-09-12 2017-02-14 Alpinereplay, Inc. Systems and methods for synchronized display of athletic maneuvers
US9652992B2 (en) * 2012-10-09 2017-05-16 Kc Holdings I Personalized avatar responsive to user physical state and context
US20140287388A1 (en) * 2013-03-22 2014-09-25 Jenna Ferrier Interactive Tumble Gymnastics Training System
US9440152B2 (en) * 2013-05-22 2016-09-13 Clip Engine LLC Fantasy sports integration with video content
JP2015146980A (ja) * 2014-02-07 2015-08-20 セイコーエプソン株式会社 運動支援システム、運動支援装置及び運動支援方法
US10143908B2 (en) * 2014-06-04 2018-12-04 Sylvester Butler Single squad matchup prediction pool
FR3023031A1 (fr) * 2014-06-25 2016-01-01 Renaud Maroy Procede d'identification d'un mouvement par filtrage bayesien recursif quantifie
KR101936532B1 (ko) * 2014-10-10 2019-04-03 후지쯔 가부시끼가이샤 기억 매체, 스킬 판정 방법 및 스킬 판정 장치
US10417698B2 (en) * 2015-01-15 2019-09-17 Spread Group Inc. Auction system and method
US10409961B2 (en) * 2015-02-04 2019-09-10 Nike, Inc. Predictable and adaptive personal fitness planning
JP6163635B2 (ja) * 2015-10-21 2017-07-19 国立大学法人 筑波大学 評価情報提供システムおよび評価情報提供方法
CN105744313A (zh) * 2016-01-11 2016-07-06 深圳易赛天下互联网科技有限公司 一种在线比赛方法以及在线比赛系统
FR3049371A1 (fr) * 2016-03-24 2017-09-29 Univ Grenoble Alpes Procede et systeme pour l'estimation d'une demande ou d'un cout attentionnel associe a l'execution d'une tache ou des strategies de partage de l'attention developpees par un individu
US11006856B2 (en) * 2016-05-17 2021-05-18 Harshavardhana Narayana Kikkeri Method and program product for multi-joint tracking combining embedded sensors and an external sensor
WO2018069981A1 (ja) * 2016-10-11 2018-04-19 富士通株式会社 運動認識装置、運動認識プログラムおよび運動認識方法
JP2018082783A (ja) * 2016-11-22 2018-05-31 セイコーエプソン株式会社 ワークアウト情報表示方法、ワークアウト情報表示システム、サーバーシステム、電子機器、情報記憶媒体及びプログラム
US10380650B2 (en) * 2017-07-26 2019-08-13 Jehan Hamedi Systems and methods for automating content design transformations based on user preference and activity data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004109264A (ja) 2002-09-13 2004-04-08 Yamaha Corp カラオケ装置および採点結果表示装置
US20090220124A1 (en) * 2008-02-29 2009-09-03 Fred Siegel Automated scoring system for athletics
US20140136119A1 (en) * 2009-08-28 2014-05-15 Allen Joseph Selner, III Rating a physical capability by motion analysis
JP2011081431A (ja) 2009-10-02 2011-04-21 Sony Corp 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム
JP2012042287A (ja) 2010-08-17 2012-03-01 Nippon Telegr & Teleph Corp <Ntt> 行動経路推定方法及びプログラム
JP2015228183A (ja) 2014-06-02 2015-12-17 ヤンマー株式会社 変化点予測装置、変化点予測方法、及びコンピュータプログラム
WO2016092933A1 (ja) * 2014-12-08 2016-06-16 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3744408A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021019641A1 (ja) * 2019-07-29 2021-02-04
WO2021019641A1 (ja) * 2019-07-29 2021-02-04 富士通株式会社 表示方法、表示プログラムおよび情報処理装置
JP7268738B2 (ja) 2019-07-29 2023-05-08 富士通株式会社 表示方法、表示プログラムおよび情報処理装置
CN111450509A (zh) * 2020-03-24 2020-07-28 集美大学 机器人竞赛计分数据处理方法、系统、存储介质、计算机
WO2024161506A1 (ja) * 2023-01-31 2024-08-08 富士通株式会社 対象判定方法、プログラム、及び装置

Also Published As

Publication number Publication date
JPWO2019146024A1 (ja) 2021-01-28
CN111867687A (zh) 2020-10-30
US20200346095A1 (en) 2020-11-05
EP3744408A4 (en) 2021-01-20
CN111867687B (zh) 2021-10-22
JP6923006B2 (ja) 2021-08-18
US11446561B2 (en) 2022-09-20
EP3744408A1 (en) 2020-12-02

Similar Documents

Publication Publication Date Title
JP6915701B2 (ja) 抽出プログラム、抽出方法および情報処理装置
WO2019146024A1 (ja) 画面生成プログラム、画面生成方法および情報処理装置
JP7067561B2 (ja) 採点方法、採点プログラムおよび採点装置
JP6082101B2 (ja) 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置
US20200193866A1 (en) Non-transitory computer readable recording medium, practice assist method, and practice assist system
CN111265840B (zh) 显示方法、信息处理设备和计算机可读记录介质
JPWO2018211571A1 (ja) 演技表示プログラム、演技表示方法および演技表示装置
CN111480178B (zh) 存储技巧识别程序的存储介质、技巧识别方法以及技巧识别系统
US11484766B2 (en) Display method, information processing device, and computer-readable recording medium
JP6797986B1 (ja) ゲーム支援装置および動画配信装置
JP2021030060A (ja) ゲーム支援装置および動画配信装置
JP7070675B2 (ja) 表示方法、表示プログラムおよび情報処理装置
KR102095647B1 (ko) 스마트기기를 이용한 동작 비교장치 및 동작 비교장치를 통한 댄스 비교방법
WO2018122957A1 (ja) スポーツ動作解析支援システム、方法およびプログラム
JP2014166238A (ja) 情報処理装置及びプログラム
JP7252745B2 (ja) プログラムおよびコンピュータシステム
WO2021019641A1 (ja) 表示方法、表示プログラムおよび情報処理装置
JP4729604B2 (ja) 画像表示システム、画像処理システム、記録媒体及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18902325

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019567450

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018902325

Country of ref document: EP

Effective date: 20200824