WO2020071092A1 - プレイ分析装置、及び、プレイ分析方法 - Google Patents

プレイ分析装置、及び、プレイ分析方法

Info

Publication number
WO2020071092A1
WO2020071092A1 PCT/JP2019/036088 JP2019036088W WO2020071092A1 WO 2020071092 A1 WO2020071092 A1 WO 2020071092A1 JP 2019036088 W JP2019036088 W JP 2019036088W WO 2020071092 A1 WO2020071092 A1 WO 2020071092A1
Authority
WO
WIPO (PCT)
Prior art keywords
play
information
action
player
control unit
Prior art date
Application number
PCT/JP2019/036088
Other languages
English (en)
French (fr)
Inventor
井村　康治
純子 上田
優麻 片山
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018189174A external-priority patent/JP7113336B2/ja
Priority claimed from JP2018189171A external-priority patent/JP7113335B2/ja
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2020071092A1 publication Critical patent/WO2020071092A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to a ball game play analysis device and a play analysis method.
  • Data @ Volley has been known as volleyball analysis software. Data @ Volley is used by analysts who are familiar with the software, who, based on subjective judgment, enter data about the status of the players on the team into Data @ Volley.
  • Patent Document 1 discloses a scouting system that improves the operability of an analyst. Specifically, in Patent Literature 1, the position information of each player is acquired by using image analysis, and the input player state, each position information of each player, and a still image of a desired scene are associated with each other. It is disclosed that a database is constructed in a storage device to display each position of each player, a still image of a desired scene, and a player situation. According to the present invention, it is possible to solve the problem of the software of Data @ Volley that the training of a scorer (analyst) is necessary and the data accuracy is low because the position information of each player is inputted by subjective judgment visually.
  • a user specifies a still image in which a serve and a receive scene is captured, and specifies a position of a midpoint between both feet of the player in the still image.
  • the system converts the coordinates of the designated position on the image to the coordinates on the plane to acquire the position of the player, and displays the formation of the serve.
  • the user inputs the player's skill evaluation to the system.
  • An object of the present disclosure is to provide a play analyzing apparatus and a play analyzing method capable of easily confirming the contents of play performed by each player during a ball game.
  • a play analysis device is a play analysis device that analyzes a play of a ball game, and calculates a trajectory of a moving body of the ball game using a plurality of play videos captured by a plurality of cameras. Based on a change in the trajectory of the moving object, an action related to the ball game, a ball game video analysis unit that detects a player who performed the action, and generates play information that associates the action with the player.
  • a play information control unit that displays information on players and actions included in at least one of the play information in a time-series manner.
  • a play analysis method is a play analysis method for analyzing a play of a ball game, and calculates a trajectory of a moving body of the ball game using a plurality of play images captured by a plurality of cameras. Detecting, based on a change in the trajectory of the moving object, an action related to the ball game and a player who performed the action, and generating play information in which the action is associated with the player; The player and action information included in the information is displayed in chronological order.
  • the content of the play performed by each player during the ball game can be automatically displayed.
  • FIG. 1 is a diagram showing an outline of a ball game video analysis system according to Embodiment 1.
  • FIG. 2 is a diagram illustrating an example of a configuration of a ball game video analysis device according to Embodiment 1.
  • FIG. 4 is a diagram showing an example of play information according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a detection area and an actor area according to the first embodiment.
  • FIG. 4 is a diagram showing another example of the detection region and the actor region according to the first embodiment.
  • FIG. 7 is a diagram when the same player is determined in the same player determination process according to Embodiment 1;
  • FIG. 4 is a diagram when a different player is determined in the same player determination process according to the first embodiment.
  • FIG. 5 is a flowchart illustrating an action determination process according to the first embodiment.
  • 5 is a flowchart illustrating actor recognition processing according to the first embodiment.
  • FIG. 9 is a diagram showing a configuration example of a play analysis system according to a second embodiment.
  • FIG. 9 is a diagram illustrating a configuration example of a play analysis device according to a second embodiment.
  • FIG. 14 is a diagram showing an example of a UI (User @ Interface) generated by the play analysis device according to the second embodiment. It is a figure showing the example of the play analysis image of toss concerning Embodiment 2.
  • FIG. 14 is a diagram showing an example of a play information list according to Embodiment 2.
  • FIG. 14 is a diagram showing an example of a score information list according to Embodiment 2.
  • FIG. 14 is a diagram for describing a first example of a procedure for correcting play information according to Embodiment 2.
  • FIG. 14 is a diagram for explaining a second example of a procedure for correcting play information according to the second embodiment.
  • FIG. 14 is a diagram for explaining a third example of a procedure for correcting play information according to the second embodiment.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration according to an embodiment of the present disclosure.
  • the ball game video analysis system 1 is a system that analyzes a video image of a ball game and recognizes a player who has performed an action on a moving object used in the ball game.
  • the moving body used for ball games is typically a ball, but may be a shuttle or the like used for badminton.
  • volleyball which is one of ball games
  • the ball game image analysis system 1 is applicable to various ball games such as soccer, baseball, table tennis, basketball, tennis, rugby, American football, lacrosse, and badminton.
  • the ball game image analysis system 1 is also applicable to a mobile object having a shape that does not fit the concept of a “ball”, such as an ice hockey puck. That is, the ball game video analysis system 1 can be applied to any competition in which a score or a win or loss is determined by a team composed of a plurality of people performing an action on a moving object.
  • the ball game video analysis system 1 includes a plurality of cameras 3 (3A, 3B, 3C, 3D), a display device 4, an input device 5, and a ball game video analysis device 100.
  • the plurality of cameras 3 are installed at different positions. For example, as shown in FIG. 1, each camera 3 is installed at a position where the court 10 can be photographed from a different height (view angle) from a high place. Although four cameras 3 are shown in FIG. 1, the present embodiment is not limited to this, and any number of cameras 3 may be used as long as the number is two or more. By using two or more cameras 3, the three-dimensional position of the ball can be calculated.
  • Each camera 3 is communicably connected to the ball game video analysis device 100 via a wired or wireless connection. Each camera 3 captures a situation during a ball game and generates a captured image. Then, each camera 3 generates a moving image frame 201 (see FIG. 2) from the plurality of captured images. Then, each camera 3 transmits the moving image frame 201 to the ball game image analysis device 100.
  • the moving image frame 201 includes a plurality of captured images, for example, MP4, H.264. 264, H .; 265 or compression based on standards such as Motion @ JPEG.
  • the display device 4 is communicably connected to the ball game video analyzer 100 via a cable or wirelessly, and displays an image output from the ball game video analyzer 100.
  • the display device 4 is, for example, a liquid crystal display or an organic EL display.
  • the input device 5 is communicably connected to the ball game video analyzer 100 via a cable or wirelessly, receives an operation from a user, and transmits the operation information to the ball game video analyzer 100.
  • the input device 5 is, for example, a keyboard, a mouse, a microphone, and / or a touch panel. Note that the input device 5 and the display device 4 may be an integrated device.
  • the ball game image analyzing apparatus 100 specifies a player who has performed an action on the ball using the moving image frame shot by each camera 3.
  • the actions performed on the ball include serve, reception, dig, toss, attack, block, and the like.
  • a player who has performed an action on a ball may be referred to as an “actor”.
  • the center point of the surface of the coat 10 is defined as the origin O
  • the axis parallel to the surface of the coat 10 and parallel to the net 11 is the X axis
  • the axis is parallel to the surface of the coat 10.
  • An axis perpendicular to the net 11 is defined as a Y axis
  • an axis perpendicular to the surface of the coat 10 is defined as a Z axis.
  • a direction away from the referee 12 is a positive direction
  • a direction approaching the referee 12 is a negative direction.
  • the left direction as viewed from the referee 12 is a positive direction
  • the right direction is a negative direction
  • the positive direction of the Z axis is a direction away from the surface of the coat 10. That is, the coordinate z of the Z axis corresponds to the height from the surface of the court 10.
  • the ball game video analyzing apparatus 100 includes a video receiving unit 101, a trajectory calculating unit 102, an action determining unit 103, an action frame selecting unit 104, a detection area setting unit 105, a player detecting unit 106, a number recognizing unit 107, , A result output unit 108 and a storage unit 109.
  • the video receiving unit 101 receives the moving image frame 201 transmitted from each of the cameras 3A to 3D and stores it in the storage unit 109.
  • the trajectory calculation unit 102 applies, for example, the method disclosed in Non-Patent Document 1 to the plurality of moving image frames 201 stored in the storage unit 109, and sets the time when the moving image frame 201 was captured (hereinafter, “frame time ) Is calculated at the three-dimensional position (x, y, z) and velocity of the ball. Then, the trajectory calculation unit 102 generates ball trajectory information 202 by associating the frame time with the three-dimensional position and speed of the ball, and stores the generated information in the storage unit 109.
  • frame time the time when the moving image frame 201 was captured
  • the trajectory calculation unit 102 generates ball trajectory information 202 by associating the frame time with the three-dimensional position and speed of the ball, and stores the generated information in the storage unit 109.
  • the action determination unit 103 determines whether or not an action on the ball has occurred based on the ball trajectory information 202. When determining that an action has occurred, the action determining unit 103 generates action information 203 by associating a frame time at which the action occurred (hereinafter, referred to as an “action frame time”) with the type of the action that occurred. It is stored in the storage unit 109. The details of the action determination unit 103 will be described later.
  • the action frame selecting unit 104 selects a moving image frame corresponding to the action frame time included in the action information 203 from among the plurality of moving image frames 201 stored in the storage unit 109 and a frame time near the action frame time.
  • the corresponding moving image frame is selected as an action frame. The details of the action frame selection unit 104 will be described later.
  • the detection area setting unit 105 sets a detection area, which is an area where a player is detected, for the action frame selected by the action frame selection unit 104.
  • the details of the detection area setting unit 105 will be described later.
  • the player detection unit 106 detects an area where a player is photographed (hereinafter, referred to as a “player area”) from the image in the detection area set by the detection area setting unit 105. When detecting a plurality of player areas, the player detection unit 106 selects a player area in which the player (actor) who has performed the action is photographed as an actor area. The details of the player detection unit 106 will be described later.
  • the number recognition unit 107 recognizes the uniform number of the actor from the image in the actor area detected by the player detection unit 106. Then, the number recognition unit 107 generates the actor information 204 by associating the action frame time with the uniform number of the recognized actor, and stores the generated actor information 204 in the storage unit 109. The details of the number recognition unit 107 will be described later.
  • the result output unit 108 generates the play information 205 by associating the ball trajectory information 202, the action information 203, and the actor information 204, and stores the play information 205 in the storage unit 109. For example, when the action frame time T is associated with the action type “attack” in the action information 203 and the action frame time T is associated with the uniform number “14” of the actor in the actor information 204, the result is as follows.
  • the output unit 108 generates play information 205 as shown in FIG. That is, as shown in FIG. 3, the result output unit 108 outputs the play information 205 in which the action type “attack” and the actor uniform number “14” are associated with the frame time T of the ball trajectory information 202. Generate.
  • the action determination unit 103 calculates the trajectory of the ball from the three-dimensional position and speed of the ball at each frame time included in the ball trajectory information 202. Then, if the calculated change in the trajectory of the ball satisfies a predetermined condition, the action determining unit 103 determines that an action has occurred on the ball. When the action determining unit 103 determines that an action has occurred, the action determining unit 103 sets a frame time that satisfies the condition as an action frame time.
  • the action determining unit 103 may determine the action type based on a change in the trajectory of the ball, the three-dimensional position and speed of the ball, the rules of the ball game, and the like.
  • Volleyball action types include serve, reception (receive for serve), dig (receive for attack), toss, attack, block, and the like.
  • the action determination unit 103 determines that the trajectory of the ball detected for the first time since the start of the analysis has a moving component in the Y-axis direction (the long side direction of the court shown in FIG. 1), and the velocity component of the ball in the Y-axis direction is If it is within the predetermined range, the action type is determined to be “serve”.
  • the action determination unit 103 determines that the trajectory of the ball straddles the coordinates where the net 11 exists on the Y-axis after “serve”, and the change in the three-dimensional position of the ball has changed from descending to ascending (ie, , When the change in the coordinates in the Z-axis direction turns positive), the action type is determined to be “reception”. According to the volleyball rules, the action of receiving "serve” is “reception”. Therefore, by making a determination based on such rules, "reception” and "dig” can be distinguished.
  • the action determining unit 103 determines another action type based on a criterion based on the rules of the game.
  • the occurrence of an action is determined using three-dimensional information.
  • the occurrence of an action may be determined using two-dimensional or one-dimensional information.
  • the determination can be made from the analysis start time and the information in the Y-axis direction without using the information in the X-axis direction and the Z-axis direction.
  • the action determining unit 103 may generate the action information 203 by associating the action frame time and the action type with the three-dimensional position of the ball corresponding to the action frame time. This is because information on the three-dimensional position of the ball is used in the action frame selection unit 104 and the like described later.
  • the action frame selection unit 104 first selects at least two cameras 3 closer to the three-dimensional position of the ball corresponding to the action frame time. For example, when the y coordinate of the ball is 0 or more (when the ball is on the left side of the court 10 in FIG. 1), the action frame selecting unit 104 selects the cameras 3A and 3B, and when the y coordinate of the ball is less than 0. (When the ball is on the right side of the court 10 in FIG. 1), the cameras 3C and 3D are selected. Thereby, the camera 3 having a high possibility of shooting the uniform number of the player's uniform is selected.
  • the action frame selection unit 104 selects, from the video frame 201 of each camera 3 selected above, a video frame 201 corresponding to the action frame time T of the action information 203 and a frame time ahead of the action frame time T (for example, A moving image frame 201 corresponding to the frame time T-3) and a moving image frame 201 corresponding to a frame time later than the action frame time T (for example, frame time T + 3) are selected as action frames.
  • the actor uniform number may be recognized in another action frame. That is, the possibility of recognizing the actor's uniform number increases.
  • the moving image frame 201 that is separated by two or more frames as an action frame, even if the uniform number of the actor cannot be recognized in one action frame, the posture of the actor is not recognized in another action frame. Has changed and the actor's uniform number may be recognized. That is, the possibility of recognizing the actor's uniform number increases.
  • separating the moving image frame selected as the action frame by two or more frames is merely an example. If the posture of the actor has changed and if it is possible to extract a plurality of moving image frames that are highly likely to be photographed by the actor, a moving image frame 201 separated by at least three frames or a moving image separated by only one frame The frame 201 may be extracted as an action frame. However, in the moving image frame 201 that is too far from the action frame time T, the possibility that the actor who performed the action deviates from the moving image frame 201 increases. Therefore, for example, in the case of the moving image frame 201 corresponding to the moving image of 60 fps, it is preferable that the upper limit of the interval between the frames is about 10 frames.
  • the action frame selecting unit 104 determines how many frames away from the action frame time T the moving image frame 201 is extracted as an action frame according to the level of the frame rate of the moving image that is the source of the moving image frame. Is also good. For example, since two frames at 60 fps correspond to one frame at 30 fps, the action frame selection unit 104 selects the moving image frame 201 separated by two frames at 60 fps, and selects the moving image frame 201 separated by one frame at 30 fps. select. Thereby, even if fps is different, the moving image frame 201 corresponding to the same real time can be extracted as an action frame.
  • the action frame selection unit 104 may switch how many frames apart the moving image frame 201 is selected as an action frame according to the type of action determined by the action determination unit 103. Since various actions are performed in ball games, the variability of the posture of the actor differs depending on the action. Therefore, if the action frames selected for the action that significantly changes the posture are too far apart, the moving image frame 201 in which the actor has not been photographed may be selected as the action frame. On the other hand, if the action frames selected for the action whose posture is difficult to change are too close to each other, the moving image frame 201 in which the actor with almost the same posture is photographed is selected as the action frame, and the uniform number is recognized in all the action frames. It may not be possible.
  • the action frame selecting unit 104 selects the moving image frame 201 closer to the action frame time T as the action frame for the action having a larger change in the posture of the actor, and the action frame time T for the action having a smaller change in the posture of the actor.
  • the distant moving picture frame 201 is selected as an action frame.
  • the ball game video analyzing apparatus 100 may manually accept from the user the setting of how many frames apart the moving image frame 201 should be selected as the action frame. Even for the same action, it is difficult to automatically and completely predict the magnitude of the change in the posture of the actor. Therefore, it is beneficial to be able to change the selection criterion of the action frame by the user's judgment.
  • the present embodiment is implemented even if the action frame selecting unit 104 does not perform the process of selecting the moving image frame 201 corresponding to the frame time before or after the action frame time T as the action frame. It is possible. Further, the action frame selection unit 104 may select more moving image frames 201 as action frames, or may select fewer moving image frames 201 as action frames. Further, the action frame selection unit 104 does not evenly select a moving image frame from frame times before and after the action frame time T, but selects an action frame corresponding to only one of the front and rear frame times. You may.
  • the detection area setting unit 105 sets a detection area corresponding to the three-dimensional position of the ball at the action frame time T for each action frame selected by the action frame selection unit 104. Next, the setting of a detection area in volleyball will be described with reference to FIGS.
  • the detection area setting unit 105 determines that the ball image 301A is on the upper side of the detection area 300A as shown in FIG.
  • the detection region 300A is set for the action frame so as to be located at the (upper end) center. This is because if the coordinate z (height) of the ball is equal to or larger than a predetermined threshold, there is a high possibility that an actor exists below the ball.
  • the detection area 300A may be set at a position where the ball image 301A is shifted by one to several pixels from the strict center of the upper side.
  • the “center of the upper side” in this specification includes such a position.
  • the detection region setting unit 105 determines that the ball image 301B is in the detection region 300B as shown in FIG.
  • the detection area 300B is set for the action frame so as to be positioned at the center of the action frame. This is because if the coordinate z (height) of the ball is less than the predetermined threshold, there is a high possibility that an actor exists near the ball.
  • the detection area 300B may be set at a position where the ball image 301B is shifted from the exact center by one to several pixels.
  • the “center” in this specification includes such a position.
  • the processing load is greater than the detection of the actor area from the entire action frame. And the processing time is shortened. Thereby, the ball game image analyzing apparatus 100 can recognize the uniform number of the actor almost in real time.
  • the size of the detection region 300 is preferably slightly larger than the size of the player in the competition when the player is closest to the camera 3 and occupies the moving image frame. This is because the players in the competition take various postures such as widening their legs or sliding, and have a large moving distance between frames.
  • the player detection unit 106 detects an area where a player (person) is photographed (hereinafter, referred to as a “player area”) from within each detection area 300.
  • the player detection unit 106 detects a player area from the detection area 300 using a player detection model (for example, a neural network) obtained by learning a plurality of player images in a competition by deep learning.
  • a player detection model for example, a neural network
  • the player detection unit 106 selects, from the detected player regions, a player region in which the actor is photographed as an actor region. For example, when the detected player area is one, the player detecting unit 106 selects the player area as the actor area 400, and when the detected player areas are plural, the following (A1) and (A2) One player area is selected as the actor area 400.
  • the player detection unit 106 determines the player region closest to the three-dimensional position of the ball at the action frame time T in the three-dimensional space. Select as actor area 400.
  • the player detection unit 106 estimates the posture of the actor in the actor area 400, and if it estimates that the posture is with the back facing the camera 3, leaves the actor area 400 and estimates that the actor is in another posture.
  • the area 400 may be discarded.
  • the actor area 400 in which the uniform number 500 has been photographed remains, and the actor area 400 in which the uniform number 500 has not been photographed is discarded.
  • the player detection unit 106 may determine whether or not the players in the actor regions 400 are the same players, for the actor regions 400 detected from each action frame as described above. Hereinafter, this determination process is referred to as “same player determination process”.
  • FIG. 6A is a diagram when the same player is determined
  • FIG. 6B is a diagram when different players are determined.
  • the player detecting unit 106 determines a vector extending from the position of the camera 3A to the position of the center 401A of the upper side of the actor area 400C detected from the action frame photographed by the camera 3A at the frame time t.
  • the line 402A is calculated.
  • the player detection unit 106 extends from the position of the camera 3B to a position of the center 401B of the upper side of the actor area 400D detected from the action frame photographed at the frame time t by the camera 3B, as shown in FIG. 6A.
  • a vector line 402B is calculated.
  • the player detection unit 106 determines that the player in the actor area 400C and the player in the actor area 400D are the same player.
  • the shortest distance 403A is equal to or greater than a predetermined threshold, it is determined that the player in the actor area 400C and the player in the actor area 400D are different players.
  • the player detection unit 106 determines that the player in the actor area 400C and the player in the actor area 400D are the same player.
  • the player detection unit 106 determines that the player in the actor area 400D and the player in the actor area 400E are different players.
  • the vector line 402A and the vector line 402B ideally intersect at one point (the same part of the same player). Become.
  • the vector lines may be slightly shifted, but as long as the same person is detected, the possibility that the vector lines 402A and 402B are extremely separated is low. Therefore, when the shortest distance between the vector line 402A and the vector line 402B is less than the threshold, the player detection unit 106 determines that the player in the actor area 400C and the player in the actor area 400D are the same player. I do.
  • the parts (401B and 401C) that appear to be the same have clearly different coordinates in the three-dimensional space. Exists.
  • the vector line 402B and the vector line 402C pass through each other in a twisted position, and the shortest distance 403B between the vector lines is clearly larger than when the same player is detected. Therefore, when the shortest distance between the vector line 402B and the vector line 402C is equal to or greater than the threshold, the player detection unit 106 determines that the player in the actor area 400D and the player in the actor area 400E are different players. . For example, in FIG.
  • the player with the uniform number “13” is detected in the actor area 400D, and in the actor area 400E, the player with the higher tall “33” that exists before the uniform number “13” is detected.
  • the vector line 402C passes a position clearly higher than the vector line 402B in the Z-axis direction. Therefore, it can be seen that the shortest distance between the vector line 402B and the vector line 402C is large, and different players are detected in the actor area 400D and the actor area 400E.
  • the player detection unit 106 may leave the actor area 400 determined to be the same player and discard the actor area 400 determined to be a different player. Thereby, the possibility that the actor area 400 of a different player is erroneously detected is reduced, and the possibility that the uniform number 500 different from each other is recognized in the number recognition unit 107 is reduced. That is, the recognition accuracy of the actor uniform number 500 is improved.
  • the number recognition unit 107 recognizes the actor uniform number 500 from each actor area 400. For example, the number recognition unit 107 recognizes the actor's uniform number 500 from within the actor area 400 using a model (neural network) for detecting a uniform number image of a plurality of players by deep learning. I do.
  • a model neural network
  • the number recognizing unit 107 may determine the uniform number 500 of the actor by majority vote. For example, when four uniform numbers are “13” and two uniform numbers are “10” among the uniform numbers 500 recognized from the six actor areas 400, the number recognizing unit 107 determines that the number of matches is four. The most uniform number “13” is determined as the uniform number 500 of the actor.
  • the number recognizing unit 107 may perform the processing in two steps of first detecting the image area of the number from the actor area 400 and then recognizing the number itself from the detected image area.
  • the number recognition unit 107 calculates the likelihood (for example, a value of 0 or more and 1 or less) indicating the likelihood of the recognized uniform number candidate for each actor area 400, and the result of adding the likelihood is the most.
  • the large candidate may be determined to be the actor's uniform number.
  • the uniform number “16” recognized from one actor area 400 is 90% correct and the two actor areas 400 Even if the recognized uniform number “10” is 30% correct, the correct uniform number is determined to be “10”.
  • the certainty of the recognized number can be reflected in the determination of the number.
  • the processing flow is broadly divided into action determination processing and actor recognition processing.
  • the video receiving unit 101 receives the moving image frame 201 transmitted from the cameras 3A to 3D and stores it in the storage unit 109 (S101).
  • the trajectory calculation unit 102 calculates the three-dimensional position and speed of the ball at each frame time from the plurality of moving image frames 201 stored in the storage unit 109, and generates ball trajectory information 202 (S102).
  • the action determination unit 103 determines whether an action on the ball has occurred based on the ball trajectory information 202 (S103). When it is determined that no action has occurred (S103: NO), the flow returns to S101. When it is determined that an action has occurred (S103: YES), the action determining unit 103 generates action information 203 (S104), and generates a thread for actor recognition processing (S105). Then, the flow returns to S101.
  • actor recognition processing corresponds to the processing of the thread generated in S105 of FIG.
  • the action frame selection unit 104 selects at least two cameras 3 based on the three-dimensional position of the ball included in the action information 203 and the position of the camera 3 (S201).
  • the action frame selection unit 104 selects an action frame corresponding to the action frame time and an action frame corresponding to a frame time before and after the action frame time from the moving image frame 201 of each camera 3 selected in S201. (S202).
  • the detection area setting unit 105 sets the detection area 300 for each action frame selected in S202 (S203).
  • the player detection unit 106 detects a player area from each detection area 300 set in S203 (S204). Then, the player detection unit 106 selects the actor area 400 from the respective player areas detected in S204 (S205). Then, the player detection unit 106 performs the same player determination process using the actor area 400 of each camera 3 selected in S201 (S206). In addition, the same player determination process may be omitted.
  • the number recognition unit 107 recognizes the uniform number 500 from each actor area 400, and determines the uniform number 500 of the actor (S207). If the recognized uniform numbers 500 do not match, the number recognizing unit 107 determines the uniform number 500 having the largest number as the actor uniform number 500 as described above.
  • the number recognition unit 107 generates actor information 204 that associates the action frame time T with the uniform number 500 of the actor detected in S207, and stores it in the storage unit 109 (S208). Then, the flow ends the processing (END).
  • the ball game video analyzing apparatus 100 repeatedly executes the action determination process, and when it is determined that an action has occurred, generates a thread for the actor recognition process and recognizes the uniform number 500 of the actor. Thereby, the actor recognition processing is executed when an action on the ball occurs, so that the processing load of the ball game video analyzing apparatus 100 can be reduced.
  • the ball game video analyzing apparatus 100 receives the moving image frame 201 from the cameras 3A to 3D, calculates the trajectory of the ball from the plurality of received moving image frames 201, and calculates the trajectory change of the calculated ball. It is determined whether or not the player has performed an action on the ball based on the selected action, and when the action has occurred, a moving image frame at the timing when the action occurred is selected from among the plurality of moving image frames 201 as an action frame.
  • the player (actor) who has performed an action from the action frame is identified by, for example, a uniform number 500.
  • a detection area 300 corresponding to the three-dimensional position of the ball at the timing when the action occurs is set for the action frame, and an actor area 400 in which the actor is photographed from the detection area 300 is set. May be detected, and the actor may be recognized from the actor area 400.
  • actor detection processing is performed only in the detection area 300, and recognition processing of the uniform number 500 is performed only in the actor area 400. Therefore, the processing load can be reduced as compared with the case where the actor detection processing and the uniform number recognition processing are performed on the entire moving image frame. Therefore, the ball game video analyzing apparatus 100 can recognize the actor almost in real time.
  • FIG. 9 shows a configuration example of the play analysis system 2.
  • the play analysis system 2 includes a plurality of cameras 3A, 3B, 3C, 3D, a ball game video analysis device 100, a play analysis device 1000, a play information DB 1100, a play information management device 1200, a display device 1300, and an input device. 1400.
  • the cameras 3A to 3D and the ball game image analyzer 100 are as described in the first embodiment.
  • the ball game video analysis device 100, the play analysis device 1000, and the play information management device 1200 are connected by a wired or wireless network. Further, the play information management device 1200 and the play information DB 1100 are connected by a predetermined cable.
  • the play information DB 1100 may be built in a storage device (not shown) in the play information management device 1200. Further, the play analysis device 1000, the display device 1300, and the input device 1400 are connected by a predetermined cable or wireless I / F.
  • the play information DB 1100 manages the play information 205 generated by the ball game video analysis device 100 as a database.
  • the play information management device 1200 registers the play information 205 generated by the ball game video analysis device 100 in the play information DB 1100. Further, the play information management device 1200 acquires the play information 205 from the play information DB 1100 or modifies the play information 205 in the play information DB 1100 based on an instruction from the play analysis device 1000.
  • the play analyzing apparatus 1000 generates a UI 2000 (see FIG. 11) relating to the analysis of the play of the ball game based on the play information 205 in the play information DB 1100, and displays the UI 2000 on the display device 1300 (for example, a liquid crystal display). Further, the play analysis device 1000 executes a process related to the play information 205 based on an operation performed on the UI 2000 through the input device 1400 (for example, a mouse or the like).
  • the play analysis device 1000, the display device 1300, and the input device 1400 may be an integrated device. In this case, the display device 1300 and the input device 1400 may be devices that perform both input and display, such as a touch panel display.
  • Embodiment 2 is not limited to volleyball, and can be applied to various ball games such as table tennis and badminton.
  • FIG. 10 shows a configuration example of the play analysis device 1000.
  • FIG. 11 shows an example of the UI 2000 generated by the play analysis device 1000.
  • the play analysis device 1000 includes a UI control unit 1001, a video control unit 1002, a play information control unit 1003, a score information control unit 1004, and a play analysis unit 1005.
  • the UI control unit 1001 generates the UI 2000 and displays it on the display device 1300.
  • the UI control unit 1001 receives an operation on the UI 2000 via the input device 1400.
  • the video control unit 1002 displays the play video 2100 of the ball game on the UI 2000.
  • the play video 2100 may be a real-time video captured by the cameras 3A to 3D, or may be a recorded video of a past play. Note that, when receiving a camera switching instruction from the user, the video control unit 1002 displays a play video 2100 captured by the switching destination camera.
  • the play information control unit 1003 arranges the contents of the play information 205 generated during one rally in chronological order, and displays the contents on the UI 2000 as a play information list 2200. The details of the play information control unit 1003 and the play information list 2200 will be described later.
  • the score information control unit 1004 arranges the contents of the score information in chronological order and displays the score information list 2300 on the UI 2000.
  • One score information includes the score of the own team and the score of the opponent team after one rally.
  • One piece of score information is associated with one or more pieces of play information 205 generated during the rally. The details of the score information control unit 1004 and the score information list 2300 will be described later.
  • the play analysis unit 1005 generates a play analysis image 2400 (see FIG. 12) that is an image indicating the analysis result of the play of the player selected as the analysis target, and displays the play analysis image 2400 on the UI 2000.
  • the details of the play analysis unit 1005 will be described later.
  • the toss play analysis image 2400 is an image for analyzing the toss play of a player (typically, a setter) to be analyzed.
  • the toss play analysis image 2400 is based on the front zone of the court on the target player side.
  • the user can operate the cursor button 2410 to move the area of the play analysis image 2400 for the court.
  • the play analysis unit 1005 acquires, from the play information DB 1100, the play information 205 whose actor number is the number of the player to be analyzed and whose action type is "toss". Then, the play analysis unit 1005 specifies the position where the player to be analyzed has performed the toss from the ball coordinates of the acquired play information 205.
  • the play analysis unit 1005 arranges the attribute image 2401 at the position where the target player performed the toss in the toss play analysis image 2400.
  • the attribute image 2401 has, for example, a shape including a circle and a bar, and visually expresses a plurality of different pieces of attribute information on the toss by the color of the circle and the length of the bar.
  • the attribute information on the toss includes, for example, the type of the toss, the speed of the ball at the time of toss, the height of the ball at the time of toss, and the moving distance of the ball at the time of toss.
  • the color of the inner circle 2402 indicates the type of toss. For example, light blue indicates toss to the right, red indicates toss to the rear, yellow indicates toss to the left, pink indicates quick, and blue indicates 2 attacks.
  • the difference in color is represented by the difference in the fill pattern.
  • the color of the outer circle 2403 excluding the area of the inner circle 2402 indicates the speed of the ball during tossing. For example, green indicates 20 km / h or less, yellow indicates 20 to 25 km / h, and red indicates 25 km / h or more.
  • the difference in color is represented by the difference in the fill pattern.
  • the size (diameter) of the outer circle 2403 indicates the height of the ball at the time of tossing.
  • a small outer circle indicates less than 2 m
  • a medium outer circle indicates less than 2 to 3 m
  • a large outer circle indicates 3 m or more.
  • the length of the bar 2404 indicates the moving distance of the ball during tossing.
  • a long bar indicates 4 m or more
  • a medium bar indicates less than 2-4 m
  • a short bar indicates less than 2 m.
  • the length of the bar 2404 is not limited to the movement distance of the ball during the toss, but may be a distance acquired with the toss, for example, a distance from the net of an attack position that is an operation linked to the toss. .
  • the user can visually grasp and analyze the toss play of the target player from the toss play analysis image 2400.
  • the description of the toss play analysis image 2400 can be applied to actions other than toss.
  • the color of the inner circle 2402 indicates the type of attack
  • the color of the outer circle 2403 indicates the speed of the ball during the attack
  • the size of the outer circle 2403 indicates the height of the ball during the attack
  • the length of the bar 2404. May indicate the moving distance of the ball during an attack.
  • the toss play analysis image 2400 may be displayed by the user performing the following operation.
  • Step S11 When the user presses a toss analysis button (not shown) on the UI 2000, the UI control unit 1001 displays a list of players.
  • Step S12 The user selects a toss analysis target player from the displayed list of players.
  • Step S13 The play analysis unit 1005 acquires a plurality of pieces of play information 205 relating to the selected target player from the play information DB 1100. Then, the play analysis unit 1005 specifies the toss attribute information from the acquired play information 205, and generates the toss play analysis image 2400.
  • Step S14 The play analysis unit 1005 displays the generated toss play analysis image 2400 on the UI 2000.
  • the play information list 2200 displays the contents of the play information 205 generated during one rally, arranged in chronological order.
  • the play information list 2200 has a play button 2201, a team 2202, a player number 2203, and an action 2204 for each piece of play information 205.
  • the play button 2201 is a button for playing the play video 2100 related to the play information 205 associated with the play button 2201.
  • the video control unit 1002 plays the play video 2100 near the frame time of the play information 205 corresponding to the play button 2201.
  • the user can easily confirm the play of the player corresponding to the play information 205.
  • the team 2202 indicates whether the player who performed the action 2204 is his or her team or the opponent's team. For example, “a” represents one's team and “e” represents the other team.
  • the team 2202 is a button, and when the team 2202 is pressed, the play information control unit 1003 displays “a” and “e” buttons for correction.
  • the player number 2203 indicates the number (tall number) of the player who performed the action 2204.
  • the player number 2203 is a button, and the play information control unit 1003 displays a button for correcting the player number when the player number 2203 is pressed.
  • the button for correcting the player number may be a button for inputting a number.
  • the button for correcting the player number may be a list of player numbers registered in the team.
  • $ Action 2204 indicates the type of action. For example, “S” indicates serve, “R” indicates reception, “E” indicates toss, “A” indicates attack, “D” indicates dig, and “B” indicates block. Also, the action 2204 is a button, and when the action 2204 is pressed, the play information control unit 1003 sets “S”, “R”, “E”, “A”, “D” for correction. And the button “B” are displayed (see FIGS. 16 and 17).
  • the first line of the play information list 2200 shown in FIG. 13 indicates that the player with the uniform number “10” of his / her team (“a”) has performed the reception “R”.
  • the score information list 2300 is a list in which the contents of the score information corresponding to each rally in one set are arranged in chronological order.
  • the score information list 2300 has a play button 2301, a score 2302, and a check box 2303 for each piece of score information.
  • the play button 2301 is a button for playing the play video 2100 related to the score information associated with the play button 2301.
  • the video control unit 1002 plays the rally play video 2100 corresponding to the play button 2301.
  • Score 2302 indicates the score of the team after rally and the team of the opponent.
  • the score 2302 can be selected (clicked).
  • the score information control unit 1004 causes the play information list 2200 associated with the rally of the score 2302 (score information). Is displayed.
  • the check box 2303 is for the user to turn on and off the check for the rally in score units. For example, in a real-time situation such as during a game, even if an error is found in the contents of the play information list 2200 (team 2202, player number 2203, action 2204), the next rally starts immediately.
  • the user can turn on the check box 2303 (input of identification information) corresponding to the rally and identify that the contents of the play information list 2200 are in a provisional state in case the user wants to re-verify (correct) later. To do. This allows the user to collectively re-verify the rallies with the check box 2303 turned on later.
  • the score information control unit 1004 displays only the rallies for which the check box 2303 is turned on in response to an instruction from the user, the user can perform the correction work efficiently.
  • the number of check boxes 2303 is not limited to one.
  • two or more check boxes may be provided for one piece of score information for each application.
  • Step S21 If the user determines that the play information 205 related to the rally needs to be corrected while watching the play information list 2200 updated in real time during the rally, the user performs the following operation. That is, the user turns on the check box 2303 corresponding to the score 2302 of the rally in the score information list 2300.
  • Step S22 As shown in FIG. 15, after the end of one set or the end of the game, the user selects the score 2302 with the check box 2303 turned on.
  • Step S23 As shown in FIG. 15, the score information control unit 1004 displays the play information list 2200 associated with the score 2302 (score information) selected in Step S22.
  • Step S24 As shown in FIG. 16, the user presses an action 2204 (for example, “A”) to be corrected from the play information list 2200.
  • an action 2204 for example, “A”
  • Step S25 As shown in FIG. 16, the play information control unit 1003 detects that the action 2204 has been pressed, and displays a button 2210 for correcting the action.
  • Step S26 As shown in FIG. 17, the user selects a button (for example, “E”) corresponding to the corrected action from among the correction buttons 2210.
  • Step S27 The play information control unit 1003 corrects the play information 205 by an action corresponding to the correction button (for example, “E”) selected in step S26. For example, as shown in FIG. 17, the action 2204 “A” before the correction in the play information 205 is corrected to the action 2204 “E” after the correction.
  • the correction button for example, “E”
  • an error in the play information 205 can be easily corrected.
  • the correction target is not limited to the action 2204, and the team 2202 and the player number 2203 can be similarly corrected. Further, regardless of whether or not there is a correction, when the check of the play information 205 in which the check box 2303 is on is completed, the state of the check box 2303 may be turned off in conjunction with this.
  • the play analysis device 1000 includes a play analysis unit 1005 that generates a play analysis image 2400 indicating each position where a specific player has performed a specific action, using a plurality of pieces of play information 205.
  • the play information 205 may be generated by the ball game video analysis device 100.
  • the ball game image analysis apparatus 100 calculates the trajectory of a moving object (ball) of a ball game using a plurality of play images captured by the plurality of cameras 3A to 3D, and based on a change in the trajectory of the moving object.
  • each position where a specific player has performed a specific action is displayed in the play analysis image 2400. Therefore, the user can analyze the specific action of the specific player in detail from the play analysis image 2400. Can be.
  • the play analysis device 1000 includes the play information control unit 1003 that displays player and action information included in the plurality of play information 205 in a time-series manner.
  • the play information 205 may be generated by the ball game video analysis device 100.
  • the ball game image analyzing apparatus 100 calculates the trajectory of a moving object of a ball game using a plurality of play images captured by a plurality of cameras 3A to 3D, and relates to the ball game based on a change in the trajectory of the moving object.
  • the action and the player who performed the action are detected, and play information 205 that associates the action with the player is generated.
  • the play analysis apparatus 1000 can display player and action information (play information list 2200) included in the plurality of play information 205 automatically generated by the ball game video analysis apparatus 100. Therefore, the user can check the play performed by each player during the ball game without performing a complicated operation.
  • the play information control unit 1003 displays the player and action information included in at least one play information 205 in chronological order in association with the score in real time, and displays the information in a score unit using the check box 2303.
  • the information of the athlete and the action that has been made can be identified later in a provisional state.
  • the play analysis apparatus 1000 Accordingly, even when there are a plurality of verifications on the player and action information (play information list 2200) included in the plurality of play information 205 automatically generated, the play analysis apparatus 1000 collectively performs the verification later. You can check. Therefore, when the content of the automatically generated play information 205 is incorrect, the user can easily and efficiently confirm and correct the error.
  • FIG. 18 is a diagram illustrating a hardware configuration of a computer that implements the functions of each device by a program.
  • the computer 3100 includes an input device 3101 such as a keyboard or a mouse or a touch pad, an output device 3102 such as a display or a speaker, a CPU (Central Processing Unit) 3103, a GPU (Graphics Processing Unit) 3104, a ROM (Read Only Memory) 3105, Information is read from a storage medium 3107 such as a RAM (Random Access Memory) 3106, a hard disk device or an SSD (Solid State Drive), a recording medium such as a DVD-ROM (Digital Versatile Disk Read Only Memory) or a USB (Universal Serial Bus) memory.
  • a reading device 3108 includes a transmission / reception device 3109 that performs communication via a network, and each unit is connected by a bus 3110.
  • the reading device 3108 reads the program for realizing the function of each device from a recording medium that stores the program, and stores the program in the storage device 3107.
  • the transmission / reception device 3109 communicates with a server device connected to the network, and causes the storage device 3107 to store a program downloaded from the server device for realizing the function of each device.
  • the CPU 3103 copies the program stored in the storage device 3107 to the RAM 3106, and sequentially reads and executes the instructions included in the program from the RAM 3106, thereby realizing the functions of the above-described devices.
  • Each functional block used in the description of the above embodiment is typically realized as an LSI which is an integrated circuit. These may be individually integrated into one chip, or may be integrated into one chip so as to include some or all of them. Although an LSI is used here, it may be called an IC, a system LSI, a super LSI, or an ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, but may be realized by a dedicated circuit or a general-purpose processor. After the LSI is manufactured, a programmable FPGA (Field Programmable Gate Array) or a reconfigurable processor capable of reconfiguring connection and settings of circuit cells inside the LSI may be used.
  • a programmable FPGA Field Programmable Gate Array
  • a reconfigurable processor capable of reconfiguring connection and settings of circuit cells inside the LSI may be used.
  • One aspect of the present disclosure is useful for a system for analyzing ball games.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Image Analysis (AREA)

Abstract

プレイ分析装置は、複数のカメラによって撮影された複数のプレイ映像を用いて、球技の移動体の軌跡を算出し、移動体の軌跡の変化に基づいて、球技に関するアクションと、当該アクションを行った選手とを検出し、当該アクションと当該選手とを対応付けたプレイ情報を生成する球技映像解析部と、少なくとも１つの前記プレイ情報に含まれる選手及びアクションの情報を時系列に並べて表示するプレイ情報制御部と、を備える。

Description

プレイ分析装置、及び、プレイ分析方法
　本開示は、球技のプレイ分析装置、及び、プレイ分析方法に関する。
　従来より、バレーボール分析ソフトウェアとして「Data Volley」が知られている。Data Volleyはこのソフトウェアに精通したアナリストによって使用され、当該アナリストが、主観的判断に基づいて、チームの選手の状況を示すデータをData Volleyに入力する。
　特許文献１には、アナリストの操作性を向上させたスカウティングシステムが開示されている。具体的には、特許文献１には、画像解析を用いて各選手の位置情報を取得し、入力された選手状況と、各選手のそれぞれの位置情報と、所望のシーンの静止画像とを関連付けて記憶装置にデータベースを構築し、各選手の各位置、所望のシーンの静止画像、及び、選手状況を表示することが開示されている。この発明により、スコアラー（アナリスト）のトレーニングが必要であり、各選手の位置情報が視覚による主観的判断により入力されているためにデータ精度が低いというData Volleyのソフトウェアの問題点を解決できる。
　特許文献１のシステムでは、まず、ユーザが、サーブ及びレシーブのシーンが撮影されている静止画像を指定し、その静止画像における選手の両足間の中点の位置を指定する。次に、当該システムが、その画像上の指定された位置の座標を平面上の座標に変換して選手の位置を取得してサーブレシーブの隊形を表示する。次に、ユーザが、当該システムに対して、選手の技能評価を入力する。
特開２００４－３５１０９７号公報
Xina CHENG, Norikazu IKOMA, Masaaki HONDA and Takeshi IKENAGA "Multi-view 3D Ball Tracking with Abrupt Motion Adaptive System Model, Anti-occlusion Observation and Spatial Density based Recovery in Sports Analysis", IEICE TRANS. FUNDAMENTALS, VOL.E94-A, NO.1 JANUARY 2011
　しかしながら、Data Volley及び特許文献１のシステムでは、球技中に各選手が行ったプレイの内容を簡単に確認することが困難であった。
　本開示の目的は、球技中に各選手が行ったプレイの内容を簡単に確認できるプレイ分析装置及び方法を提供することにある。
　本開示の一態様に係るプレイ分析装置は、球技のプレイを分析するプレイ分析装置であって、複数のカメラによって撮影された複数のプレイ映像を用いて、前記球技の移動体の軌跡を算出し、前記移動体の軌跡の変化に基づいて、前記球技に関するアクションと、当該アクションを行った選手とを検出し、当該アクションと当該選手とを対応付けたプレイ情報を生成する球技映像解析部と、少なくとも１つの前記プレイ情報に含まれる選手及びアクションの情報を時系列に並べて表示するプレイ情報制御部と、を備える。
　本開示の一態様に係るプレイ分析方法は、球技のプレイを分析するプレイ分析方法であって、複数のカメラによって撮影された複数のプレイ映像を用いて、前記球技の移動体の軌跡を算出し、前記移動体の軌跡の変化に基づいて、前記球技に関するアクションと、当該アクションを行った選手とを検出し、当該アクションと当該選手とを対応付けたプレイ情報を生成し、少なくとも１つの前記プレイ情報に含まれる選手及びアクションの情報を時系列に並べて表示する。
　なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示によれば、球技中に各選手が行ったプレイの内容を自動的に表示することができる。
実施の形態１に係る球技映像解析システムの概要を示す図である。 実施の形態１に係る球技映像解析装置の構成の例を示す図である。 実施の形態１に係るプレイ情報の例を示す図である。 実施の形態１に係る検出領域及びアクター領域の一例を示す図である。 実施の形態１に係る検出領域及びアクター領域の他の一例を示す図である。 実施の形態１に係る同一選手判定処理において同一の選手と判定される場合の図である。 実施の形態１に係る同一選手判定処理において異なる選手と判定される場合の図である。 実施の形態１に係るアクション判定処理を示すフローチャートである。 実施の形態１に係るアクター認識処理を示すフローチャートである。 実施の形態２に係るプレイ分析システムの構成例を示す図である。 実施の形態２に係るプレイ分析装置の構成例を示す図である。 実施の形態２に係るプレイ分析装置が生成するＵＩ（User Interface）の例を示す図である。 実施の形態２に係るトスのプレイ分析画像の例を示す図である。 実施の形態２に係るプレイ情報リストの例を示す図である。 実施の形態２に係るスコア情報リストの例を示す図である。 実施の形態２に係るプレイ情報の修正手順の第１例を説明するための図である。 実施の形態２に係るプレイ情報の修正手順の第２例を説明するための図である。 実施の形態２に係るプレイ情報の修正手順の第３例を説明するための図である。 本開示の実施の形態に係るハードウェア構成の例を示す図である。
　以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
（実施の形態１）
＜球技映像解析システム＞
　まず、図１を参照しながら、一実施の形態に係る球技映像解析システムの概要について説明する。
　球技映像解析システム１は、球技を撮影した映像を解析し、球技に用いられる移動体に対してアクションを行った選手を認識するシステムである。球技に用いられる移動体は、典型的にはボールであるが、バドミントンに用いられるシャトル等であってもよい。本実施の形態では、球技の１つであるバレーボールを例に説明する。ただし、球技映像解析システム１は、サッカー、野球、卓球、バスケットボール、テニス、ラグビー、アメリカンフットボール、ラクロス、又はバドミントンなど、様々な球技に適用可能である。また、球技映像解析システム１は、アイスホッケーのパック等、「球」の概念に当てはまらない形状の移動体にも適用可能である。すなわち、球技映像解析システム１は、複数人から構成されるチームが移動体に対するアクションを行うことにより点数又は勝敗が決定される競技であれば、どのような競技にも適用可能である。
　球技映像解析システム１は、複数のカメラ３（３Ａ、３Ｂ、３Ｃ、３Ｄ）と、表示装置４と、入力装置５と、球技映像解析装置１００と、を備える。
　複数のカメラ３は、それぞれ異なる位置に設置される。例えば、図１に示すように、各カメラ３は、高所からコート１０を異なる視点（画角）で撮影できる位置に設置される。なお、図１ではカメラ３が４台であるが、本実施の形態はこれに限られず、カメラ３は、２台以上であれば何台でもよい。２台以上のカメラ３を用いることにより、ボールの３次元位置を算出できる。
　各カメラ３は、球技映像解析装置１００と有線又は無線を介して通信可能に接続されている。各カメラ３は、球技中の状況を撮影し、撮影画像を生成する。そして、各カメラ３は、複数の撮影画像から動画フレーム２０１（図２参照）を生成する。そして、各カメラ３は、動画フレーム２０１を球技映像解析装置１００へ送信する。動画フレーム２０１は、複数の撮影画像が、例えば、ＭＰ４、Ｈ．２６４、Ｈ．２６５、又は、Ｍｏｔｉｏｎ　ＪＰＥＧ等の規格に基づいて圧縮されたものであってよい。
　表示装置４は、球技映像解析装置１００と有線又は無線を介して通信可能に接続されており、球技映像解析装置１００から出力される画像を表示する。表示装置４は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイ等である。
　入力装置５は、球技映像解析装置１００と有線又は無線を介して通信可能に接続されており、ユーザからの操作を受け付け、その操作情報を球技映像解析装置１００へ送信する。入力装置５は、例えば、キーボード、マウス、マイク及び／又はタッチパネル等である。なお、入力装置５及び表示装置４は一体型の装置であってもよい。
　球技映像解析装置１００は、各カメラ３が撮影した動画フレームを用いて、ボールに対してアクションを行った選手を特定する。バレーボールの場合、ボールに対して行われるアクションには、サーブ、レセプション、ディグ、トス、アタック、及びブロック等がある。以下、ボールに対してアクションを行った選手を、「アクター」と表現する場合がある。
　なお、本実施の形態では、図１に示すように、コート１０の面の中心点を原点Ｏとし、コート１０の面と平行かつネット１１と平行な軸をＸ軸、コート１０の面と平行かつネット１１と垂直な軸をＹ軸、コート１０の面と垂直な軸をＺ軸とする。Ｘ軸は、審判１２から離れる方向を正方向、審判１２に近づく方向を負方向とする。Ｙ軸は、審判１２から見て左方向を正方向、右方向を負方向とする。Ｚ軸は、コート１０の面から離れる方向を正方向とする。つまりＺ軸の座標ｚは、コート１０の面からの高さに相当する。
＜球技映像解析装置＞
　次に、図２を参照しながら、球技映像解析装置１００について説明する。
　球技映像解析装置１００は、映像受信部１０１と、軌跡算出部１０２と、アクション判定部１０３と、アクションフレーム選択部１０４と、検出領域設定部１０５と、選手検出部１０６と、番号認識部１０７と、結果出力部１０８と、記憶部１０９とを有する。
　映像受信部１０１は、各カメラ３Ａ～３Ｄから送信される動画フレーム２０１を受信し、記憶部１０９に格納する。
　軌跡算出部１０２は、記憶部１０９に格納された複数の動画フレーム２０１に対して、例えば非特許文献１に開示されている手法を適用し、動画フレーム２０１が撮影された時刻（以下「フレーム時刻」という）におけるボールの３次元位置（ｘ，ｙ，ｚ）及び速度を算出する。そして、軌跡算出部１０２は、フレーム時刻とボールの３次元位置と速度とを対応付けてボール軌跡情報２０２を生成し、記憶部１０９に格納する。
　アクション判定部１０３は、ボール軌跡情報２０２から、ボールに対するアクションが発生したか否かを判定する。アクション判定部１０３は、アクションが発生したと判定した場合、アクションが発生したフレーム時刻（以下「アクションフレーム時刻」という）と、その発生したアクションの種別とを対応付けてアクション情報２０３を生成し、記憶部１０９に格納する。なお、アクション判定部１０３の詳細については後述する。
　アクションフレーム選択部１０４は、記憶部１０９に格納されている複数の動画フレーム２０１の中から、アクション情報２０３に含まれるアクションフレーム時刻に対応する動画フレームと、当該アクションフレーム時刻の近傍のフレーム時刻に対応する動画フレームとを、アクションフレームとして選択する。なお、アクションフレーム選択部１０４の詳細については後述する。
　検出領域設定部１０５は、アクションフレーム選択部１０４によって選択されたアクションフレームに対して、選手の検出が行われる領域である検出領域を設定する。なお、検出領域設定部１０５の詳細については後述する。
　選手検出部１０６は、検出領域設定部１０５によって設定された検出領域内の画像から、選手が撮影されている領域（以下「選手領域」という）を検出する。そして、選手検出部１０６は、複数の選手領域を検出した場合、アクションを行った選手（アクター）が撮影されている選手領域を、アクター領域として選択する。なお、選手検出部１０６の詳細については後述する。
　番号認識部１０７は、選手検出部１０６によって検出されたアクター領域内の画像から、アクターのユニフォーム番号を認識する。そして、番号認識部１０７は、アクションフレーム時刻と、その認識したアクターのユニフォーム番号とを対応付けてアクター情報２０４を生成し、記憶部１０９に格納する。なお、番号認識部１０７の詳細については後述する。
　結果出力部１０８は、ボール軌跡情報２０２と、アクション情報２０３と、アクター情報２０４とを対応付けて、プレイ情報２０５を生成し、記憶部１０９に格納する。例えば、アクション情報２０３においてアクションフレーム時刻Ｔとアクション種別「アタック」とが対応付けられており、アクター情報２０４においてアクションフレーム時刻Ｔとアクターのユニフォーム番号「１４」とが対応付けられている場合、結果出力部１０８は、図３に示すようなプレイ情報２０５を生成する。すなわち、結果出力部１０８は、図３に示すように、ボール軌跡情報２０２のフレーム時刻Ｔに対して、アクション種別「アタック」と、アクターのユニフォーム番号「１４」とを対応付けたプレイ情報２０５を生成する。これにより、ユーザ又は他の装置は、プレイ情報２０５を用いて、フレーム時刻Ｔにおいて、ユニフォーム番号「１４」の選手（アクター）が、３次元位置（ｘＴ，ｙＴ，ｚＴ）のボールに対して、速度「ＳＴ（ｋｍ／ｈ）」の「アタック」を行ったことを知ることができる。
＜アクション判定部の詳細＞
　次に、アクション判定部１０３の詳細について説明する。
　アクション判定部１０３は、ボール軌跡情報２０２に含まれるフレーム時刻毎のボールの３次元位置及び速度からボールの軌跡を算出する。そして、アクション判定部１０３は、その算出したボールの軌跡変化が所定の条件に合致した場合、ボールに対するアクションが発生したと判定する。そして、アクション判定部１０３は、アクションが発生したと判定した場合、その条件に合致したフレーム時刻を、アクションフレーム時刻とする。
　なお、アクション判定部１０３は、ボールの軌跡変化、ボールの３次元位置及び速度、並びに、球技のルール等に基づいて、アクション種別を判定してもよい。バレーボールのアクション種別には、サーブ、レセプション（サーブに対するレシーブ）、ディグ（アタックに対するレシーブ）、トス、アタック、及びブロック等がある。例えば、アクション判定部１０３は、解析開始から初めて検出されたボールの軌跡がＹ軸方向（図１に示すコートの長辺方向）の移動成分を有し、当該Ｙ軸方向のボールの速度成分が所定の範囲内である場合、アクション種別を「サーブ」と判定する。他の例として、アクション判定部１０３は、「サーブ」後にボールの軌跡がＹ軸においてネット１１の存在する座標を跨ぎ、かつ、ボールの３次元位置の変化が下降から上昇に転じた場合（すなわち、Ｚ軸方向の座標の変化がプラスに転じた場合）、アクション種別を「レセプション」と判定する。バレーボールのルール上、「サーブ」を受けるアクションは「レセプション」であるので、このようなルールに基づく判定を行うことにより、「レセプション」と「ディグ」を区別できる。
　同様に、アクション判定部１０３は、ボールの軌跡変化等が所定の条件に合致する場合に、競技のルールに準じた判定基準によって他のアクション種別を判定する。
　なお、上記では、３次元の情報を用いてアクションの発生を判定しているが、２次元又は１次元の情報を用いてアクションの発生を判定してもよい。例えば、上述した条件で「サーブ」の発生を判定する場合、Ｘ軸方向とＺ軸方向の情報を用いずに、解析開始の時刻とＹ軸方向の情報から判定可能である。
　また、アクション判定部１０３は、アクションフレーム時刻及びアクション種別に、さらに、当該アクションフレーム時刻に対応するボールの３次元位置を対応付けてアクション情報２０３を生成してもよい。ボールの３次元位置の情報が、後述するアクションフレーム選択部１０４等において使用されるためである。
＜アクションフレーム選択部の詳細＞
　次に、アクションフレーム選択部１０４の詳細について説明する。
　アクションフレーム選択部１０４は、まず、アクションフレーム時刻に対応するボールの３次元位置に近い方の少なくとも２つのカメラ３を選択する。例えば、アクションフレーム選択部１０４は、ボールのｙ座標が０以上の場合（図１のコート１０の左側にボールがある場合）、カメラ３Ａと３Ｂを選択し、ボールのｙ座標が０未満の場合（図１のコート１０の右側にボールがある場合）、カメラ３Ｃと３Ｄを選択する。これにより、選手のユニフォームのユニフォーム番号を撮影している可能性の高いカメラ３が選択される。
　また、アクションフレーム選択部１０４は、上述で選択した各カメラ３の動画フレーム２０１から、アクション情報２０３のアクションフレーム時刻Ｔに対応する動画フレーム２０１と、アクションフレーム時刻Ｔよりも前方のフレーム時刻（例えばフレーム時刻Ｔ－３）に対応する動画フレーム２０１と、アクションフレーム時刻Ｔよりも後方のフレーム時刻（例えばフレーム時刻Ｔ＋３）に対応する動画フレーム２０１とをアクションフレームとして選択する。
　このように、複数のアクションフレームを選択することにより、仮に１つのアクションフレームにおいてアクターのユニフォーム番号が認識できなかったとしても、他のアクションフレームにおいてアクターのユニフォーム番号を認識できる場合がある。すなわち、アクターのユニフォーム番号を認識できる可能性が高まる。
　また、このように、２フレーム以上離れている動画フレーム２０１をアクションフレームとして選択することにより、仮に１つのアクションフレームにおいてアクターのユニフォーム番号が認識できなかったとしても、他のアクションフレームではアクターの姿勢が変化しており、アクターのユニフォーム番号を認識できる場合がある。すなわち、アクターのユニフォーム番号を認識できる可能性が高まる。
　なお、アクションフレームとして選択される動画フレームを２フレーム以上離すことは、あくまでも一例に過ぎない。アクターの姿勢が変化しており、かつ、アクターが撮影されている可能性の高い動画フレームを複数抽出することができるのであれば、３フレーム以上離れた動画フレーム２０１または１フレームしか離れていない動画フレーム２０１を、アクションフレームとして抽出してもよい。ただし、アクションフレーム時刻Ｔから離れ過ぎた動画フレーム２０１では、アクションを行ったアクターが当該動画フレーム２０１から外れてしまう可能性が高まる。したがって、例えば、６０ｆｐｓの動画に対応する動画フレーム２０１の場合、フレームを離す間隔は、１０フレーム程度を上限とすることが好ましい。
　また、アクションフレーム選択部１０４は、動画フレームの元となる動画のフレームレートの高低に応じて、アクションフレーム時刻Ｔから何フレーム離れている動画フレーム２０１を、アクションフレームとして抽出するかを決定してもよい。例えば、６０ｆｐｓの２フレームは３０ｆｐｓの１フレームに相当するので、アクションフレーム選択部１０４は、６０ｆｐｓの場合は２フレーム離れた動画フレーム２０１を選択し、３０ｆｐｓの場合は１フレーム離れた動画フレーム２０１を選択する。これにより、ｆｐｓが異なっていても同程度の実時間に対応する動画フレーム２０１をアクションフレームとして抽出できる。
　また、アクションフレーム選択部１０４は、アクション判定部１０３が判定したアクションの種類に応じて、何フレーム以上離れている動画フレーム２０１を、アクションフレームとして選択するかを切り替えてもよい。球技では様々なアクションが行われるため、アクターの姿勢の変わり易さはアクションによって異なる。そのため、姿勢が大きく変わるアクションについて選択されたアクションフレーム同士が離れ過ぎている場合、アクターが撮影されていない動画フレーム２０１がアクションフレームとして選択されるおそれがある。一方、姿勢が変わりにくいアクションについて選択されたアクションフレーム同士が近すぎる場合、ほぼ同じ姿勢のアクターが撮影されている動画フレーム２０１がアクションフレームとして選択されてしまい、全てのアクションフレームにおいてユニフォーム番号が認識できないおそれがある。そこで、アクションフレーム選択部１０４は、アクターの姿勢の変化が大きいアクションほど、アクションフレーム時刻Ｔに近い動画フレーム２０１をアクションフレームとして選択し、アクターの姿勢の変化が小さいアクションほど、アクションフレーム時刻Ｔから離れている動画フレーム２０１をアクションフレームとして選択する。これにより、上記のような問題を軽減できる。
　また、球技映像解析装置１００は、何フレーム以上離れている動画フレーム２０１をアクションフレームとして選択すべきかの設定を、ユーザから手動で受け付けてもよい。同じアクションであっても、アクターの姿勢の変化の大きさを自動で完全に予想することは難しいため、ユーザの判断によってアクションフレームの選択基準を変更できることは有益である。
　なお、アクションフレーム選択部１０４が、アクションフレーム時刻Ｔよりも前方又は後方のフレーム時刻に対応する動画フレーム２０１をアクションフレームとして選択する処理を行わない構成であったとしても、本実施の形態は実現可能である。また、アクションフレーム選択部１０４は、より多くの動画フレーム２０１をアクションフレームとして選択してもよいし、より少ない動画フレーム２０１をアクションフレームとして選択してもよい。また、アクションフレーム選択部１０４は、アクションフレーム時刻Ｔよりも前方及び後方のフレーム時刻から均等に動画フレームを選択するのではなく、前方又は後方の一方のフレーム時刻のみに対応するアクションフレームを選択してもよい。
＜検出領域設定部の詳細＞
　次に、検出領域設定部１０５の詳細について説明する。
　検出領域設定部１０５は、アクションフレーム選択部１０４によって選択された各アクションフレームに対して、アクションフレーム時刻Ｔにおけるボールの３次元位置に応じた検出領域を設定する。次に、図４及び図５を参照しながら、バレーボールにおける検出領域の設定について説明する。
　検出領域設定部１０５は、アクションフレーム時刻Ｔにおけるボールの座標ｚ（高さ）が所定の閾値（例えば２ｍ）以上である場合、図４に示すように、ボールの画像３０１Ａが検出領域３００Ａの上辺（上端）中央に位置するように、アクションフレームに対して検出領域３００Ａを設定する。ボールの座標ｚ（高さ）が所定の閾値以上の場合、ボールの下にアクターが存在する可能性が高いからである。なお、検出領域３００Ａは、ボールの画像３０１Ａが厳密な上辺中央から１～数ピクセルずれた位置に設定されてもよい。本明細書における「上辺中央」は、このような位置も含むものとする。
　一方、検出領域設定部１０５は、アクションフレーム時刻Ｔにおけるボールの座標ｚ（高さ）が所定の閾値（例えば２ｍ）未満である場合、図５に示すように、ボールの画像３０１Ｂが検出領域３００Ｂの中心に位置するように、アクションフレームに対して検出領域３００Ｂを設定する。ボールの座標ｚ（高さ）が所定の閾値未満の場合、ボールの近傍にアクターが存在する可能性が高いからである。なお、検出領域３００Ｂは、ボールの画像３０１Ｂが厳密な中心から１～数ピクセルずれた位置に設定されてもよい。本明細書における「中心」は、このような位置も含むものとする。
　このように、検出領域設定部１０５において検出領域３００を設定し、選手検出部１０６において検出領域３００内からアクター領域４００を検出することにより、アクションフレーム全体からアクター領域を検出するよりも、処理負荷が低減し、延いては処理時間が短縮する。これにより、球技映像解析装置１００は、ほぼリアルタイムでアクターのユニフォーム番号を認識でき得る。
　なお、検出領域３００のサイズは、競技中の選手がカメラ３に最も近づいた場合に当該選手が動画フレームに占めるサイズよりも、少し大きいことが好ましい。競技中の選手は、足を大きく開いたり、スライディングしたりなど、多様な姿勢をとり、また、フレーム間における移動距離も大きいためである。
＜選手検出部の詳細＞
　次に、選手検出部１０６の詳細について説明する。
　まず、選手検出部１０６は、各検出領域３００内から、選手（人物）が撮影されている領域（以下「選手領域」という）を検出する。例えば、選手検出部１０６は、競技中の複数の選手画像をディープラーニングによって学習させた選手検出用のモデル（例えばニューラルネットワーク）を用いて、検出領域３００内から選手領域を検出する。
　次に、選手検出部１０６は、その検出した選手領域の中から、アクターが撮影されている選手領域を、アクター領域として選択する。例えば、選手検出部１０６は、検出した選手領域が１つである場合、当該選手領域をアクター領域４００として選択し、検出した選手領域が複数である場合、次の（Ａ１）及び（Ａ２）によって、１つの選手領域をアクター領域４００として選択する。
　（Ａ１）複数の選手領域を、アクションフレーム時刻Ｔのアクションフレームから検出した場合、選手検出部１０６は、３次元空間上において、アクションフレーム時刻Ｔにおけるボールの３次元位置と最も近い選手領域を、アクター領域４００として選択する。
　（Ａ２）複数の選手領域を、アクションフレーム時刻Ｔの前方（例えばフレーム時刻Ｔ－３）又は後方（例えばフレーム時刻Ｔ＋３）のアクションフレームから検出した場合、３次元空間上において、上記（Ａ１）で選択したアクター領域４００と最も近い選手領域を、アクター領域４００として選択する
　なお、選手検出部１０６は、アクター領域４００におけるアクターの姿勢を推定し、カメラ３に背中を向けている姿勢と推定した場合、当該アクター領域４００を残し、他の姿勢と推定した場合、当該アクター領域４００を破棄してもよい。これにより、ユニフォーム番号５００が撮影されているアクター領域４００が残り、ユニフォーム番号５００が撮影されていないアクター領域４００が破棄されるので、番号認識部１０７における番号の誤認識が低減する。
＜＜同一選手判定＞＞
　なお、選手検出部１０６は、上記のように各アクションフレームから検出したアクター領域４００について、それらのアクター領域４００の選手が同一の選手であるか否かを判定してもよい。以下、この判定処理を「同一選手判定処理」と呼ぶ。
　次に、図６Ａ、図６Ｂを参照しながら、同一選手判定処理の一例について説明する。図６Ａは、同一選手と判定される場合の図であり、図６Ｂは、異なる選手と判定される場合の図である。
　まず、選手検出部１０６は、図６Ａに示すように、カメラ３Ａの位置から、当該カメラ３Ａによってフレーム時刻ｔに撮影されたアクションフレームから検出されたアクター領域４００Ｃの上辺中央４０１Ａの位置へ延びるベクトル線４０２Ａを算出する。同様に、選手検出部１０６は、図６Ａに示すように、カメラ３Ｂの位置から、当該カメラ３Ｂによってフレーム時刻ｔに撮影されたアクションフレームから検出されたアクター領域４００Ｄの上辺中央４０１Ｂの位置へ延びるベクトル線４０２Ｂを算出する。
　次に、選手検出部１０６は、ベクトル線４０２Ａとベクトル線４０２Ｂとの間の最短距離４０３Ａが所定の閾値未満である場合、アクター領域４００Ｃの選手とアクター領域４００Ｄの選手とは同一の選手であると判定し、当該最短距離４０３Ａが所定の閾値以上である場合、アクター領域４００Ｃの選手とアクター領域４００Ｄの選手とは異なる選手であると判定する。例えば、図６Ａの場合、最短距離４０３Ａが所定の閾値未満であるので、選手検出部１０６は、アクター領域４００Ｃの選手とアクター領域４００Ｄの選手とは同一の選手であると判定する。一方、図６Ｂの場合、最短距離４０３Ｂが所定の閾値以上であるので、選手検出部１０６は、アクター領域４００Ｄの選手とアクター領域４００Ｅの選手とは異なる選手であると判定する。
　この判定について、以下、より詳細に説明する。
　同一の選手の同一の部位は、同一の３次元座標に存在する。そのため、図６Ａのように、カメラ３Ａ、３Ｂの３次元座標が異なっていたとしても、ベクトル線４０２Ａとベクトル線４０２Ｂとは理想的には一点（同一の選手の同一の部位）で交わることになる。アクター領域４００Ｃおよび４００Ｄの抽出の精度によっては、多少ベクトル線がずれることはあり得るものの、同一の人物が検出されている限り、ベクトル線４０２Ａとベクトル線４０２Ｂとが極端に離れる可能性は低い。そこで、選手検出部１０６は、ベクトル線４０２Ａとベクトル線４０２Ｂとの間の最短距離が閾値未満である場合には、アクター領域４００Ｃの選手とアクター領域４００Ｄの選手とは同一の選手であると判定する。
　一方、図６Ｂのように、アクター領域４００Ｄとアクター領域４００Ｅで異なる選手が検出されている場合、同一であるかのように見える部位（４０１Ｂと４０１Ｃ）は３次元空間内では明らかに異なる座標に存在する。その結果、ベクトル線４０２Ｂとベクトル線４０２Ｃとは互いにねじれの位置を通過し、ベクトル線間の最短距離４０３Ｂは、同一の選手が検出されている場合よりも明らかに大きくなる。そこで、選手検出部１０６は、ベクトル線４０２Ｂとベクトル線４０２Ｃとの間の最短距離が閾値以上である場合には、アクター領域４００Ｄの選手とアクター領域４００Ｅの選手とは異なる選手であると判定する。例えば、図６Ｂではアクター領域４００Ｄではユニフォーム番号「１３」の選手が検出され、アクター領域４００Ｅではユニフォーム番号「１３」の手前に存在し、より背の高い「３３」の選手が検出されている。この場合、ベクトル線４０２Ｃはベクトル線４０２ＢよりもＺ軸方向において明らかに高い位置を通過する。そのため、ベクトル線４０２Ｂとベクトル線４０２Ｃとの間の最短距離は大きくなり、アクター領域４００Ｄとアクター領域４００Ｅとで異なる選手が検出されていることが分かる。
　なお、選手検出部１０６は、同一の選手と判定したアクター領域４００を残し、異なる選手と判定したアクター領域４００を破棄してもよい。これにより、異なる選手のアクター領域４００が誤検出される可能性が低減するので、番号認識部１０７において、互いに異なるユニフォーム番号５００が認識される可能性が低減する。すなわち、アクターのユニフォーム番号５００の認識精度が向上する。
＜番号認識部の詳細＞
　次に、番号認識部１０７の詳細について説明する。
　番号認識部１０７は、各アクター領域４００から、アクターのユニフォーム番号５００を認識する。例えば、番号認識部１０７は、複数の選手のユニフォームの数字画像をディープラーニングによって学習させたユニフォーム番号検出用のモデル（ニューラルネットワーク）を用いて、アクター領域４００内から、アクターのユニフォーム番号５００を認識する。
　なお、番号認識部１０７は、各アクター領域４００から認識したユニフォーム番号５００が一致しない場合、多数決によってアクターのユニフォーム番号５００を決定してよい。例えば、６つのアクター領域４００から認識したユニフォーム番号５００のうち、４つのユニフォーム番号が「１３」、２つのユニフォーム番号が「１０」であった場合、番号認識部１０７は、一致した数が４つと最も多いユニフォーム番号「１３」を、アクターのユニフォーム番号５００に決定する。
　また、番号認識部１０７は、まず、アクター領域４００から番号の画像領域を検出し、次に、その検出した画像領域から番号自体を認識する、という２段階で処理を行ってもよい。
　また、番号認識部１０７は、各アクター領域４００について、認識されたユニフォーム番号の候補の確からしさを示す尤度（例えば０以上～１以下の値）を算出し、尤度を加算した結果が最も大きな候補を、アクターのユニフォーム番号と決定してもよい。上述した多数決の場合、認識した番号の確からしさは、決定に影響を与えないため、１つのアクター領域４００から認識されたユニフォーム番号「１６」が９０％正しいものであり、２つのアクター領域４００から認識されたユニフォーム番号「１０」が３０％正しいものであったとしても、正しいユニフォーム番号は、「１０」と決定されてしまう。一方、このように尤度を考慮した決定を行うことによって、認識した番号の確からしさを、番号の決定に反映することができる。
＜処理フロー＞
　次に、球技映像解析装置１００における処理フローについて説明する。処理フローは、アクション判定処理と、アクター認識処理とに大別される。
＜＜アクション判定処理＞＞
　次に、図７に示すフローチャートを参照しながら、アクション判定処理について説明する。
　映像受信部１０１は、カメラ３Ａ～３Ｄから送信される動画フレーム２０１を受信し、記憶部１０９に格納する（Ｓ１０１）。軌跡算出部１０２は、記憶部１０９に格納された複数の動画フレーム２０１から、各フレーム時刻におけるボールの３次元位置及び速度を算出し、ボール軌跡情報２０２を生成する（Ｓ１０２）。
　アクション判定部１０３は、ボール軌跡情報２０２から、ボールに対するアクションが発生したか否かを判定する（Ｓ１０３）。アクションが未発生と判定した場合（Ｓ１０３：ＮＯ）、フローはＳ１０１に戻る。アクションが発生したと判定した場合（Ｓ１０３：ＹＥＳ）、アクション判定部１０３は、アクション情報２０３を生成し（Ｓ１０４）、アクター認識処理のスレッドを生成する（Ｓ１０５）。そして、フローは、Ｓ１０１に戻る。
＜＜アクター認識処理＞＞
　次に、図８に示すフローチャートを参照しながら、アクター認識処理について説明する。当該アクター認識処理は、図７のＳ１０５において生成されるスレッドの処理に相当する。
　アクションフレーム選択部１０４は、アクション情報２０３に含まれるボールの３次元位置と、カメラ３の位置とに基づいて、少なくとも２つのカメラ３を選択する（Ｓ２０１）。
　次に、アクションフレーム選択部１０４は、Ｓ２０１で選択した各カメラ３の動画フレーム２０１から、アクションフレーム時刻に対応するアクションフレームと、当該アクションフレーム時刻の前後のフレーム時刻に対応するアクションフレームとを選択する（Ｓ２０２）。
　次に、検出領域設定部１０５は、Ｓ２０２で選択された各アクションフレームに対して、検出領域３００を設定する（Ｓ２０３）。
　次に、選手検出部１０６は、Ｓ２０３で設定された各検出領域３００から、選手領域を検出する（Ｓ２０４）。そして、選手検出部１０６は、Ｓ２０４で検出した各選手領域の中から、アクター領域４００を選択する（Ｓ２０５）。そして、選手検出部１０６は、Ｓ２０１で選択された各カメラ３のアクター領域４００を用いて、同一選手判定処理を行う（Ｓ２０６）。なお、当該同一選手判定処理は省略されてもよい。
　次に、番号認識部１０７は、各アクター領域４００からユニフォーム番号５００を認識し、アクターのユニフォーム番号５００を決定する（Ｓ２０７）。なお、番号認識部１０７は、認識したユニフォーム番号５００が一致しない場合、上述の通り、最も多いユニフォーム番号５００をアクターのユニフォーム番号５００に決定する。
　次に、番号認識部１０７は、アクションフレーム時刻Ｔと、Ｓ２０７で検出したアクターのユニフォーム番号５００とを対応付けたアクター情報２０４を生成し、記憶部１０９に格納する（Ｓ２０８）。そして、フローは、処理を終了する（ＥＮＤ）。
　このように、球技映像解析装置１００は、アクション判定処理を繰り返し実行し、アクションが発生したと判定した場合に、アクター認識処理のスレッドを生成し、アクターのユニフォーム番号５００を認識する。これにより、アクター認識処理は、ボールに対するアクションが発生した場合に実行されるので、球技映像解析装置１００の処理負荷を低減できる。
＜実施の形態１のまとめ＞
　実施の形態１では、球技映像解析装置１００は、カメラ３Ａ～３Ｄから動画フレーム２０１を受信し、それら受信した複数の動画フレーム２０１から、ボールの軌跡を算出し、その算出したボールの軌跡変化に基づいて、ボールに対して選手によるアクションが発生したか否かを判定し、アクションが発生した場合、複数の動画フレーム２０１の中から、当該アクションが発生したタイミングにおける動画フレームをアクションフレームとして選択し、当該アクションフレームからアクションを行った選手（アクター）を、例えばユニフォーム番号５００によって認識する。
　これにより、球技を撮影した動画フレームに基づいて、ボールに対してアクションを行った選手（アクター）を特定できる。
　また、実施の形態１では、上記アクションフレームに対して、アクションが発生したタイミングにおけるボールの３次元位置に応じた検出領域３００を設定し、その検出領域３００からアクターが撮影されているアクター領域４００を検出し、そのアクター領域４００から、アクターを認識してもよい。
　これにより、アクターの検出処理が、検出領域３００内に限定して行われ、ユニフォーム番号５００の認識処理が、アクター領域４００内に限定して行われる。したがって、動画フレーム全体に対してアクターの検出処理及びユニフォーム番号の認識処理を行う場合と比較して、処理負荷を低減できる。よって、球技映像解析装置１００は、ほぼリアルタイムにアクターを認識でき得る。
（実施の形態２）
　実施の形態２では、実施の形態１で説明した球技映像解析装置１００が生成したプレイ情報２０５を利用して選手のプレイを分析するプレイ分析システムについて説明する。なお、実施の形態１と共通の構成要素については、同じ参照符号を付与して説明を省略する。
　図９は、プレイ分析システム２の構成例を示す。プレイ分析システム２は、複数のカメラ３Ａ，３Ｂ，３Ｃ，３Ｄと、球技映像解析装置１００と、プレイ分析装置１０００と、プレイ情報ＤＢ１１００と、プレイ情報管理装置１２００と、表示装置１３００と、入力装置１４００とを備える。カメラ３Ａ～３Ｄ及び球技映像解析装置１００については、実施の形態１にて説明した通りである。
　球技映像解析装置１００と、プレイ分析装置１０００と、プレイ情報管理装置１２００とは、有線又は無線のネットワークで接続されている。また、プレイ情報管理装置１２００とプレイ情報ＤＢ１１００とは所定のケーブルで接続されている。なお、プレイ情報ＤＢ１１００は、プレイ情報管理装置１２００内の記憶装置（図示せず）に内蔵されてもよい。また、プレイ分析装置１０００と、表示装置１３００及び入力装置１４００とは、所定のケーブル又は無線Ｉ／Ｆで接続されている。
　プレイ情報ＤＢ１１００は、球技映像解析装置１００にて生成されたプレイ情報２０５をデータベースとして管理する。プレイ情報管理装置１２００は、球技映像解析装置１００にて生成されたプレイ情報２０５を、プレイ情報ＤＢ１１００に登録する。また、プレイ情報管理装置１２００は、プレイ分析装置１０００からの指示に基づき、プレイ情報ＤＢ１１００からプレイ情報２０５を取得したり、プレイ情報ＤＢ１１００内のプレイ情報２０５を修正したりする。
　プレイ分析装置１０００は、プレイ情報ＤＢ１１００内のプレイ情報２０５に基づいて、球技のプレイの分析に関するＵＩ２０００（図１１参照）を生成し、表示装置１３００（例えば液晶ディスプレイ）に表示する。また、プレイ分析装置１０００は、入力装置１４００（例えばマウス等）を通じてＵＩ２０００に対して行われた操作に基づいて、プレイ情報２０５に関する処理を実行する。なお、プレイ分析装置１０００と、表示装置１３００と、入力装置１４００とは、一体型の装置であってもよい。この場合、表示装置１３００と入力装置１４００とは、例えば、タッチパネルディスプレイのように、入力と表示を兼ねる装置であってもよい。
　以下では、球技がバレーボールの場合を例に説明する。しかし、実施の形態２は、バレーボールに限られず、卓球又はバドミントン等、様々な球技に適用可能である。
　図１０は、プレイ分析装置１０００の構成例を示す。図１１は、プレイ分析装置１０００が生成するＵＩ２０００の例を示す。
　プレイ分析装置１０００は、ＵＩ制御部１００１と、映像制御部１００２と、プレイ情報制御部１００３と、スコア情報制御部１００４と、プレイ分析部１００５とを有する。
　ＵＩ制御部１００１は、ＵＩ２０００を生成し、表示装置１３００に表示する。また、ＵＩ制御部１００１は、入力装置１４００を通じて、ＵＩ２０００に対する操作を受け付ける。
　映像制御部１００２は、ＵＩ２０００上に、球技のプレイ映像２１００を表示する。プレイ映像２１００は、カメラ３Ａ～３Ｄが撮影中のリアルタイム映像であってもよいし、過去のプレイの録画映像であってもよい。なお、ユーザからカメラの切替指示を受けた場合、映像制御部１００２は、その切替先のカメラによって撮影されたプレイ映像２１００を表示する。
　プレイ情報制御部１００３は、１ラリー中に生成されたプレイ情報２０５の内容を時系列に並べ、プレイ情報リスト２２００としてＵＩ２０００上に表示する。なお、プレイ情報制御部１００３及びプレイ情報リスト２２００の詳細については後述する。
　スコア情報制御部１００４は、スコア情報の内容を時系列に並べ、スコア情報リスト２３００としてＵＩ２０００上に表示する。１つのスコア情報には、１ラリー後の自分のチームのスコアと相手のチームのスコアとが含まれている。また、１つのスコア情報には、当該ラリー中に生成された１以上のプレイ情報２０５が対応付けられている。なお、スコア情報制御部１００４及びスコア情報リスト２３００の詳細については後述する。
　プレイ分析部１００５は、分析対象に選択された選手のプレイの分析結果を示す画像であるプレイ分析画像２４００（図１２参照）を生成し、ＵＩ２０００上に表示する。なお、プレイ分析部１００５の詳細については後述する。
＜プレイ分析画像＞
　次に、図１２を参照して、トスのプレイ分析画像２４００について説明する。トスのプレイ分析画像２４００は、分析対象の選手（典型的にはセッター）のトスのプレイを分析するための画像である。
　トスのプレイ分析画像２４００は、対象選手側のコートのフロントゾーンを基準とする。なお、ユーザは、カーソルボタン２４１０を操作し、コートに対するプレイ分析画像２４００の領域を移動させることができる。
　プレイ分析部１００５は、プレイ情報ＤＢ１１００から、アクター番号が分析対象の選手の番号であり、かつ、アクション種別が「トス」であるプレイ情報２０５を取得する。そして、プレイ分析部１００５は、その取得したプレイ情報２０５のボール座標から、分析対象の選手がトスを行った位置を特定する。
　プレイ分析部１００５は、トスのプレイ分析画像２４００において、対象選手がトスを行った位置に属性画像２４０１を配置する。属性画像２４０１は、例えば、円とバーとを含む形状であり、円の色とバーの長さとによって、トスに関する複数の異なる属性情報を視覚的に表現する。トスに関する属性情報には、例えば、トスの種類、トス時のボールの速度、トス時のボールの高さ、及び、トス時のボールの移動距離がある。
　・内円２４０２の色は、トスの種類を示す。例えば、水色が右側へのトス、赤色が後方へのトス、黄色が左側へのトス、桃色がクイック、青色が２アタックを示す。なお、図１２では、色の違いを、塗りつぶしパターンの違いで表現している。
　・内円２４０２の領域を除いた外円２４０３の色は、トス時のボールの速度を示す。例えば、緑色が２０ｋｍ／ｈ以下、黄色が２０～２５ｋｍ／ｈ、赤色が２５ｋｍ／ｈ以上を示す。なお、図１２では、色の違いを、塗りつぶしパターンの違いで表現している。
　・外円２４０３のサイズ（直径）は、トス時のボールの高さを示す。例えば、小さい外円が２ｍ未満、中程度の外円が２～３ｍ未満、大きい外円が３ｍ以上を示す。
　・バー２４０４の長さは、トス時のボールの移動距離を示す。例えば、長いバーが４ｍ以上、中程度のバーが２～４ｍ未満、短いバーが２ｍ未満を示す。なお、バー２４０４の長さは、トス時のボールの移動距離に限らず、トスに伴って取得される距離、例えば、トスに連動する動作であるアタック位置のネットからの距離であってもよい。
　これにより、ユーザは、トスのプレイ分析画像２４００から、対象選手のトスのプレイを視覚的に把握及び分析することができる。なお、上述のトスのプレイ分析画像２４００の説明は、トス以外のアクションにも適用できる。例えば、内円２４０２の色がアタックの種類を示し、外円２４０３の色がアタック時のボールの速度を示し、外円２４０３のサイズがアタック時のボールの高さを示し、バー２４０４の長さがアタック時のボールの移動距離を示してもよい。
　なお、トスのプレイ分析画像２４００は、ユーザが次の操作を行うことによって表示されてよい。
　（ステップＳ１１）ユーザがＵＩ２０００上のトス分析ボタン（図示せず）を押下した場合、ＵＩ制御部１００１は、選手のリストを表示する。
　（ステップＳ１２）ユーザが、その表示された選手のリストから、トス分析対象の選手を選択する。
　（ステップＳ１３）プレイ分析部１００５は、その選択された対象選手に関する複数のプレイ情報２０５を、プレイ情報ＤＢ１１００から取得する。そして、プレイ分析部１００５は、その取得したプレイ情報２０５から、トスの属性情報を特定し、トスのプレイ分析画像２４００を生成する。
　（ステップＳ１４）プレイ分析部１００５は、ＵＩ２０００上に、その生成したトスのプレイ分析画像２４００を表示する。
＜プレイ情報リスト＞
　次に、図１３を参照して、プレイ情報リスト２２００について説明する。
　プレイ情報リスト２２００は、上述のとおり、１ラリー中に生成されたプレイ情報２０５の内容を時系列に並べて表示したものである。プレイ情報リスト２２００は、プレイ情報２０５毎に、再生ボタン２２０１と、チーム２２０２と、選手番号２２０３と、アクション２２０４とを有する。
　再生ボタン２２０１は、当該再生ボタン２２０１が対応付けられているプレイ情報２０５に係るプレイ映像２１００を再生するためのボタンである。ユーザが再生ボタン２２０１を押下した場合、映像制御部１００２は、当該再生ボタン２２０１に対応するプレイ情報２０５のフレーム時刻の近傍のプレイ映像２１００を再生する。これにより、ユーザは、プレイ情報２０５に対応する選手のプレイを簡単に確認することができる。
　チーム２２０２は、アクション２２０４を行った選手が、自分のチームと相手のチームとの何れであるかを示す。例えば、「ａ」は自分のチーム、「ｅ」は相手のチームを表す。また、チーム２２０２はボタンになっており、プレイ情報制御部１００３は、当該チーム２２０２が押下された場合、修正用に「ａ」と「ｅ」のボタンを表示する。
　選手番号２２０３は、アクション２２０４を行った選手の番号（背番号）を示す。また、選手番号２２０３はボタンになっており、プレイ情報制御部１００３は、当該選手番号２２０３が押下された場合、選手番号の修正用のボタンを表示する。選手番号の修正用のボタンは、数字を入力するためのボタンであってよい。或いは、選手番号の修正用のボタンは、チームに登録されている選手の番号のリストであってもよい。
　アクション２２０４は、アクションの種別を示す。例えば、「Ｓ」はサーブ、「Ｒ」はレセプション、「Ｅ」はトス、「Ａ」はアタック、「Ｄ」はディグ、「Ｂ」はブロックを示す。また、アクション２２０４はボタンになっており、プレイ情報制御部１００３は、当該アクション２２０４が押下された場合、修正用に、「Ｓ」、「Ｒ」、「Ｅ」、「Ａ」、「Ｄ」及び「Ｂ」のボタンを表示する（図１６、図１７参照）。
　例えば、図１３に示すプレイ情報リスト２２００の１行目は、自分のチーム（「ａ」）の背番号「１０」の選手が、レセプション「Ｒ」を行ったことを示す。
＜スコア情報リスト＞
　次に、図１４を参照して、スコア情報リスト２３００について説明する。
　スコア情報リスト２３００は、上述のとおり、１セットにおける各ラリーに対応するスコア情報の内容を時系列に並べて表示したものである。スコア情報リスト２３００は、スコア情報毎に、再生ボタン２３０１と、スコア２３０２と、チェックボックス２３０３とを有する。
　再生ボタン２３０１は、当該再生ボタン２３０１が対応付けられているスコア情報に係るプレイ映像２１００を再生するためのボタンである。ユーザが再生ボタン２３０１を押下した場合、映像制御部１００２は、当該再生ボタン２３０１に対応するラリーのプレイ映像２１００を再生する。
　スコア２３０２は、ラリー後の自分のチームと相手のチームのスコアを示す。また、スコア２３０２は選択（クリック）可能になっており、当該スコア２３０２が選択された場合、スコア情報制御部１００４は、当該スコア２３０２のラリー（スコア情報）に対応付けられているプレイ情報リスト２２００を表示する。
　チェックボックス２３０３は、ユーザがスコア単位でラリーに対するチェックをオン及びオフするためのものである。例えば、試合中などのリアルタイム状況では、プレイ情報リスト２２００の内容（チーム２２０２、選手番号２２０３、アクション２２０４）に誤りを発見しても、次のラリーがすぐに始まってしまうため、或るラリーを後で再検証（修正）したい場合に備えて、ユーザは、当該ラリーに対応するチェックボックス２３０３をオン（識別情報の入力）にして、プレイ情報リスト２２００の内容が暫定状態にあることを識別できるようにする。これにより、ユーザは、後で、チェックボックス２３０３をオンにしたラリーをまとめて再検証できる。例えば、スコア情報制御部１００４が、ユーザからの指示に応じて、チェックボックス２３０３がオンになっているラリーに限定して表示することにより、ユーザは、効率的に修正作業を行える。また、チェックボックス２３０３の数は、１つに限られない。例えば、図１４に示すように、１つのスコア情報に対して、用途別に２以上のチェックボックスが設けられてもよい。
＜プレイ情報の修正＞
　次に、図１５、図１６及び図１７を参照して、プレイ情報２０５の修正手順について説明する。なお、当該修正手順は一例であり、他の手順による修正も可能である。
　（ステップＳ２１）ユーザは、ラリー中にリアルタイムに更新されるプレイ情報リスト２２００を見ながら、当該ラリーに係るプレイ情報２０５について修正が必要と判断した場合、次の操作を行う。すなわち、ユーザは、スコア情報リスト２３００における当該ラリーのスコア２３０２に対応するチェックボックス２３０３をオンにする。
　（ステップＳ２２）図１５に示すように、ユーザは、１セット終了後又は試合終了後に、チェックボックス２３０３をオンにしたスコア２３０２を選択する。
　（ステップＳ２３）図１５に示すように、スコア情報制御部１００４は、ステップＳ２２にて選択されたスコア２３０２（スコア情報）に関連付けられているプレイ情報リスト２２００を表示する。
　（ステップＳ２４）図１６に示すように、ユーザは、プレイ情報リスト２２００から、修正対象のアクション２２０４（例えば「Ａ」）を押下する。
　（ステップＳ２５）図１６に示すように、プレイ情報制御部１００３は、アクション２２０４の押下を検出し、アクションに関する修正用のボタン２２１０を表示する。
　（ステップＳ２６）ユーザは、図１７に示すように、修正用のボタン２２１０の中から、修正後のアクションに対応するボタン（例えば「Ｅ」）を選択する。
　（ステップＳ２７）プレイ情報制御部１００３は、ステップＳ２６にて選択された修正用のボタン（例えば「Ｅ」）に対応するアクションによって、プレイ情報２０５を修正する。例えば、図１７に示すように、プレイ情報２０５における修正前のアクション２２０４「Ａ」を、修正後のアクション２２０４「Ｅ」に修正する。
　以上の手順によれば、プレイ情報２０５の誤りを簡単に修正することができる。なお、修正対象はアクション２２０４に限られず、チーム２２０２及び選手番号２２０３も、同様に修正できる。また、修正の有無にかかわらず、チェックボックス２３０３がオン状態にあるプレイ情報２０５の確認が終了した場合に、これに連動して、チェックボックス２３０３の状態をオフにしてもよい。
＜実施の形態２のまとめ＞
　実施の形態２では、プレイ分析装置１０００は、複数のプレイ情報２０５を用いて、特定の選手が特定のアクションを行った各位置を示すプレイ分析画像２４００を生成するプレイ分析部１００５を備える。なお、プレイ情報２０５は、球技映像解析装置１００によって生成されたものであってよい。例えば、球技映像解析装置１００は、複数のカメラ３Ａ～３Ｄによって撮影された複数のプレイ映像を用いて、球技の移動体（ボール）の軌跡を算出し、当該移動体の軌跡の変化に基づいて、球技に関するアクション、当該アクションを行った選手、及び当該選手が当該アクションを行った位置を検出し、当該アクション、当該選手、及び当該位置を対応付けたプレイ情報２０５を生成する。
　これにより、プレイ分析画像２４００には特定の選手が特定のアクションを行った各位置が表示されるので、ユーザは、プレイ分析画像２４００から、当該特定の選手の特定のアクションを詳細に分析することができる。
　また、実施の形態２では、プレイ分析装置１０００は、複数のプレイ情報２０５に含まれる選手とアクションの情報を時系列に並べて表示するプレイ情報制御部１００３を備える。プレイ情報２０５は、球技映像解析装置１００によって生成されたものであってよい。例えば、球技映像解析装置１００は、複数のカメラ３Ａ～３Ｄによって撮影された複数のプレイ映像を用いて、球技の移動体の軌跡を算出し、当該移動体の軌跡の変化に基づいて、球技に関するアクションと、当該アクションを行った選手とを検出し、当該アクションと当該選手とを対応付けたプレイ情報２０５を生成する。
　これにより、プレイ分析装置１０００は、球技映像解析装置１００によって自動的に生成される複数のプレイ情報２０５に含まれる選手とアクションの情報（プレイ情報リスト２２００）を表示することができる。よって、ユーザは、煩雑な操作を行うことなく、球技中に各選手が行ったプレイを確認することができる。
　また、プレイ情報制御部１００３は、リアルタイムでスコアに対応付けて少なくとも１つのプレイ情報２０５に含まれる選手及びアクションの情報を時系列に並べて表示し、チェックボックス２３０３を用いて、スコア単位でその表示した選手及びアクションの情報が暫定状態にあることを後で識別できるようにする。
　これにより、プレイ分析装置１０００は、自動的に生成された複数のプレイ情報２０５に含まれる選手及びアクションの情報（プレイ情報リスト２２００）に対する検証が複数存在するような場合でも、後で一括して確認できる。よって、ユーザは、自動的に生成されたプレイ情報２０５の内容が誤っている場合、その誤りを簡単かつ効率的に確認して修正できる。
　以上、本開示に係る実施形態について図面を参照して詳述してきたが、上述した各装置１００、１０００、１２００の機能は、コンピュータプログラムにより実現され得る。
　図１８は、各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ３１００は、キーボード又はマウス、タッチパッドなどの入力装置３１０１、ディスプレイ又はスピーカーなどの出力装置３１０２、ＣＰＵ（Central Processing Unit）３１０３、ＧＰＵ（Graphics Processing Unit）３１０４、ＲＯＭ（Read Only Memory）３１０５、ＲＡＭ（Random Access Memory）３１０６、ハードディスク装置又はＳＳＤ（Solid State Drive）などの記憶装置３１０７、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置３１０８、ネットワークを介して通信を行う送受信装置３１０９を備え、各部はバス３１１０により接続される。
　そして、読取装置３１０８は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置３１０７に記憶させる。あるいは、送受信装置３１０９が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置３１０７に記憶させる。
　そして、ＣＰＵ３１０３が、記憶装置３１０７に記憶されたプログラムをＲＡＭ３１０６にコピーし、そのプログラムに含まれる命令をＲＡＭ３１０６から順次読み出して実行することにより、上記各装置の機能が実現される。
　上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　本特許出願は２０１８年１０月４日に出願した日本国特許出願第２０１８－１８９１７１号に基づきその優先権を主張するものであり、日本国特許出願第２０１８－１８９１７１号の全内容を本願に援用する。また、本特許出願は２０１８年１０月４日に出願した日本国特許出願第２０１８－１８９１７４号に基づきその優先権を主張するものであり、日本国特許出願第２０１８－１８９１７４号の全内容を本願に援用する。
　本開示の一態様は、球技を分析するためのシステムに有用である。
　１　球技映像解析システム
　２　プレイ分析システム
　３Ａ，３Ｂ，３Ｃ，３Ｄ　カメラ
　４、１３００　表示装置
　５、１４００　入力装置
　１００　球技映像解析装置
　１０１　映像受信部
　１０２　軌跡算出部
　１０３　アクション判定部
　１０４　アクションフレーム選択部
　１０５　検出領域設定部
　１０６　選手検出部
　１０７　番号認識部
　１０８　結果出力部
　１０９　記憶部
　２０１　動画フレーム
　２０２　ボール軌跡情報
　２０３　アクション情報
　２０４　アクター情報
　２０５　プレイ情報
　１０００　プレイ分析装置
　１００１　ＵＩ制御部
　１００２　映像制御部
　１００３　プレイ情報制御部
　１００４　スコア情報制御部
　１００５　プレイ分析部
　１１００　プレイ情報ＤＢ
　１２００　プレイ情報管理装置
　２０００　ＵＩ
　２１００　プレイ映像
　２２００　プレイ情報リスト
　２３００　スコア情報リスト
　２４００　プレイ分析画像

Claims (11)

  1. 　球技のプレイを分析するプレイ分析装置であって、
    　複数のカメラによって撮影された複数のプレイ映像を用いて、前記球技の移動体の軌跡を算出し、前記移動体の軌跡の変化に基づいて、前記球技に関するアクションと、当該アクションを行った選手とを検出し、当該アクションと当該選手とを対応付けたプレイ情報を生成する球技映像解析部と、
    　少なくとも１つの前記プレイ情報に含まれる選手及びアクションの情報を時系列に並べて表示するプレイ情報制御部と、
    　を備える、プレイ分析装置。
  2. 　前記プレイ情報制御部は、前記少なくとも１つの前記プレイ情報に含まれる選手及びアクションの情報を、球技のスコアに対応付けて表示すると共に、前記プレイ情報が暫定状態にあることを示す識別情報の入力欄を、前記スコアの単位にて表示する、
    　請求項１に記載のプレイ分析装置。
  3. 　前記球技におけるスコア情報を時系列に並べて表示するスコア情報制御部、をさらに備え、
    　前記スコア情報制御部は、前記識別情報の入力された前記スコア情報が選択された場合、当該スコア情報に関連付けられているプレイ情報の表示を、前記プレイ情報制御部に指示する、
    　請求項２に記載のプレイ分析装置。
  4. 　前記プレイ映像を再生する映像制御部、をさらに備え、
    　前記スコア情報制御部は、前記スコア情報に対する前記プレイ映像の再生指示を受けた場合、当該再生指示されたスコア情報に関連付けられているプレイ情報の生成に用いられたプレイ映像の再生を、前記映像制御部に指示する、
    　請求項３に記載のプレイ分析装置。
  5. 　前記球技はバレーボールであり、
    　前記プレイ情報制御部は、前記選手を識別する番号と、前記アクションに属するサーブ、レセプション、トス、アタック、ディグ及びブロックを識別する記号と、を表示し、
    　前記スコア情報制御部は、ラリー終了毎に更新される両チームのスコアを表示する、
    　請求項２に記載のプレイ分析装置。
  6. 　前記プレイ情報制御部は、複数の前記プレイ情報に含まれる選手及びアクションの情報を時系列に並べて表示し、当該表示した選手及びアクションの情報に対する修正を受け付ける、
    　請求項１に記載のプレイ分析装置。
  7. 　前記プレイ情報制御部は、前記アクションの情報に対する修正を受けた場合、前記アクションを識別する記号の選択肢を提示し、前記プレイ情報に含まれる前記アクションの情報を、当該選択肢から選択された記号に対応するアクションの情報に修正する、
    　請求項６に記載のプレイ分析装置。
  8. 　前記球技はバレーボールであり、
    　前記アクションを識別する記号は、サーブ、レセプション、トス、アタック、ディグ及びブロックを示す、
    　請求項７に記載のプレイ分析装置。
  9. 　前記プレイ情報制御部は、前記選手の情報に対する修正を受けた場合、前記選手を識別する番号の入力を受け付け、前記プレイ情報に含まれる前記選手の情報を、当該入力された番号に修正する、
    　請求項６に記載のプレイ分析装置。
  10. 　前記プレイ映像を再生する映像制御部、をさらに備え、
    　前記プレイ情報制御部は、前記プレイ情報に対する前記プレイ映像の再生指示を受けた場合、当該再生指示されたプレイ情報の生成に用いられたプレイ映像の再生を、前記映像制御部に指示する、
    　請求項６に記載のプレイ分析装置。
  11. 　球技のプレイを分析するプレイ分析方法であって、
    　複数のカメラによって撮影された複数のプレイ映像を用いて、前記球技の移動体の軌跡を算出し、
    　前記移動体の軌跡の変化に基づいて、前記球技に関するアクションと、当該アクションを行った選手とを検出し、
    　当該アクションと当該選手とを対応付けたプレイ情報を生成し、
    　少なくとも１つの前記プレイ情報に含まれる選手及びアクションの情報を時系列に並べて表示する、
    　プレイ分析方法。
PCT/JP2019/036088 2018-10-04 2019-09-13 プレイ分析装置、及び、プレイ分析方法 WO2020071092A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-189174 2018-10-04
JP2018189174A JP7113336B2 (ja) 2018-10-04 2018-10-04 プレイ分析装置、及び、プレイ分析方法
JP2018189171A JP7113335B2 (ja) 2018-10-04 2018-10-04 プレイ分析装置、及び、プレイ分析方法
JP2018-189171 2018-10-04

Publications (1)

Publication Number Publication Date
WO2020071092A1 true WO2020071092A1 (ja) 2020-04-09

Family

ID=70055807

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/036088 WO2020071092A1 (ja) 2018-10-04 2019-09-13 プレイ分析装置、及び、プレイ分析方法

Country Status (1)

Country Link
WO (1) WO2020071092A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114584685A (zh) * 2020-11-30 2022-06-03 北京市商汤科技开发有限公司 一种赛况展示方法、装置、计算机设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221478A (ja) * 1995-02-13 1996-08-30 Dainippon Printing Co Ltd 試合記録入力装置
JPH11339009A (ja) * 1998-05-26 1999-12-10 Sony Corp 解析データ生成装置
US20150018990A1 (en) * 2012-02-23 2015-01-15 Playsight Interactive Ltd. Smart-court system and method for providing real-time debriefing and training services of sport games
JP2017091092A (ja) * 2015-11-06 2017-05-25 富士通株式会社 画像処理方法、画像処理プログラムおよび画像処理装置
JP2017199318A (ja) * 2016-04-28 2017-11-02 パナソニックＩｐマネジメント株式会社 オンライントレーニングのサーバ装置、オンライントレーニング方法及びオンライントレーニングのプログラム
JP2018068516A (ja) * 2016-10-26 2018-05-10 国立大学法人名古屋大学 運動動作評価システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221478A (ja) * 1995-02-13 1996-08-30 Dainippon Printing Co Ltd 試合記録入力装置
JPH11339009A (ja) * 1998-05-26 1999-12-10 Sony Corp 解析データ生成装置
US20150018990A1 (en) * 2012-02-23 2015-01-15 Playsight Interactive Ltd. Smart-court system and method for providing real-time debriefing and training services of sport games
JP2017091092A (ja) * 2015-11-06 2017-05-25 富士通株式会社 画像処理方法、画像処理プログラムおよび画像処理装置
JP2017199318A (ja) * 2016-04-28 2017-11-02 パナソニックＩｐマネジメント株式会社 オンライントレーニングのサーバ装置、オンライントレーニング方法及びオンライントレーニングのプログラム
JP2018068516A (ja) * 2016-10-26 2018-05-10 国立大学法人名古屋大学 運動動作評価システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAKAHASHI, SHIGEKI ET AL.: "A note on player and ball tracking in volleyball videos and its application to event estimation", ITE TECHNICAL REPORT, vol. 34, no. 17-21, 2010, ISSN: 1342-6893 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114584685A (zh) * 2020-11-30 2022-06-03 北京市商汤科技开发有限公司 一种赛况展示方法、装置、计算机设备及可读存储介质

Similar Documents

Publication Publication Date Title
JP7289080B2 (ja) 球技映像解析装置、及び、球技映像解析方法
US10010778B2 (en) Systems and methods for tracking dribbling and passing performance in sporting environments
JP6915701B2 (ja) 抽出プログラム、抽出方法および情報処理装置
US11745077B1 (en) System and method for a user adaptive training and gaming platform
US11040287B2 (en) Experience-oriented virtual baseball game apparatus and virtual baseball game control method using the same
WO2020235339A1 (ja) プレイ分析装置、及び、プレイ分析方法
WO2020010040A1 (en) Systems and methods for determining reduced player performance in sporting events
WO2015190071A1 (ja) 映像処理方法、映像処理装置
JP6677319B2 (ja) スポーツ動作解析支援システム、方法およびプログラム
JP7113335B2 (ja) プレイ分析装置、及び、プレイ分析方法
JP7113336B2 (ja) プレイ分析装置、及び、プレイ分析方法
WO2020255948A1 (ja) プレイ分析装置、プレイ分析方法、及び、コンピュータプログラム
US11638068B2 (en) Mobile entity tracking device and method for tracking mobile entity
WO2020071092A1 (ja) プレイ分析装置、及び、プレイ分析方法
JP7296546B2 (ja) プレイ分析装置、及び、プレイ分析方法
JP7289054B2 (ja) プレイ分析装置、プレイ分析方法、及び、コンピュータプログラム
JP7437652B2 (ja) 球技映像解析装置、球技映像解析システム、球技映像解析方法、及び、コンピュータプログラム
JP7300668B2 (ja) プレイ分析装置、及び、プレイ分析方法
KR20150006624A (ko) 양방향 스포츠 경기 정보 제공 시스템
JP7429887B2 (ja) 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム
WO2023106201A1 (ja) プレイ分析装置、プレイ分析方法、及びコンピュータ読み取り可能な記録媒体
US20230410507A1 (en) System for tracking, locating and calculating the position of an object in a game involving moving objects
CN114041172A (zh) 多相机球衣号码识别

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19868766

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19868766

Country of ref document: EP

Kind code of ref document: A1