WO2021182081A1 - 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム - Google Patents

球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム Download PDF

Info

Publication number
WO2021182081A1
WO2021182081A1 PCT/JP2021/006501 JP2021006501W WO2021182081A1 WO 2021182081 A1 WO2021182081 A1 WO 2021182081A1 JP 2021006501 W JP2021006501 W JP 2021006501W WO 2021182081 A1 WO2021182081 A1 WO 2021182081A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
reference frame
frame image
moving image
ball game
Prior art date
Application number
PCT/JP2021/006501
Other languages
English (en)
French (fr)
Inventor
純子 上田
優麻 齋藤
井村　康治
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2021182081A1 publication Critical patent/WO2021182081A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This disclosure relates to a ball game image analysis device, a ball game image analysis method, and a computer program.
  • Patent Document 1 high-performance dedicated cameras with the same specifications are installed at the four corners overlooking the court, and all the images taken by each dedicated camera are configured to be captured in synchronization.
  • a camera that exists close to you for example, a camera mounted on a mobile terminal such as a smartphone or tablet
  • practice ball games for example, volleyball serve practice.
  • a non-dedicated camera there is a problem that the movement locus of a moving body (for example, a ball) related to a ball game cannot be specified due to a difference in performance between cameras used for ball game image analysis.
  • An object of the present disclosure is to provide a technique capable of identifying a moving locus of a moving body related to a ball game by using a camera that exists close to the user without using a dedicated camera specialized in ball game video analysis.
  • the ball game image analysis device includes a receiving unit that receives a first moving image and a second moving image of a person's action on a moving body used in the ball game taken from different positions, and the first moving image and the said first moving body. From each of the second moving images, a reference frame image which is a frame image in which a specific sub-action constituting the action is captured is specified, and the first reference frame image which is the reference frame image specified from the first moving image is specified.
  • a reference frame specifying unit that generates synchronization shift information, which is information indicating a time lag between the reference frame image and the second reference frame image, which is the reference frame image identified from the second moving image, and a second It is provided with an analysis unit that corrects the synchronization deviation of the frame image between the moving image of 1 and the moving image of the second image based on the synchronization deviation information and specifies the movement locus of the moving body.
  • the apparatus receives the first video and the second video in which the actions of a person with respect to the moving body used in the ball game are captured from different positions, and the first video and the video are described. From each of the second moving images, a reference frame image which is a frame image in which a specific sub-action constituting the action is captured is specified, and the first reference frame image which is the reference frame image specified from the first moving image is specified. Synchronous deviation information, which is information indicating a time lag between the reference frame image and the second reference frame image, which is the reference frame image identified from the second moving image, is generated, and the first moving image and the second moving image are generated. The synchronization deviation of the frame image between the two moving images is corrected based on the synchronization deviation information, and the movement locus of the moving body is specified.
  • the computer program receives the first moving image and the second moving image in which the actions of the person with respect to the moving body used in the ball game are taken from different positions, and the first moving image and the second moving image are used. From each, a reference frame image which is a frame image in which a specific sub-action constituting the action is taken is specified, and the first reference frame image which is the reference frame image specified from the first moving image and the said Synchronized deviation information, which is information indicating a time lag between the reference frame image and the second reference frame image identified from the second moving image, is generated, and the first moving image and the second moving image are combined.
  • the computer is made to execute a process of correcting the synchronization deviation of the frame image between the frames based on the synchronization deviation information and analyzing the movement locus of the moving body.
  • FIG. 1 shows the configuration example of the ball game image analysis system which concerns on this Embodiment Diagram for explaining how to identify the position of the ball Block diagram showing a configuration example of a ball game video analysis device Diagram for explaining how to identify the reference frame image
  • FIG. 1 shows the configuration example of the ball game image analysis system which concerns on this Embodiment Diagram for explaining how to identify the position of the ball Block diagram showing a configuration example of a ball game video analysis device Diagram for explaining how to identify the reference frame image
  • FIG. 1 shows a detailed example of the reference frame confirmation UI (User Interface)
  • the figure which shows the detailed example of the UI for changing a reference frame Diagram showing a display example of analysis results The figure which shows the hardware structure of the computer which realizes the function of the ball game image analysis apparatus which concerns on this disclosure by a program.
  • FIG. 1 is a diagram showing a configuration example of a ball game video analysis system according to the present embodiment.
  • the ball game video analysis system 10 is a system that analyzes a video of a ball game and analyzes the trajectory of a moving body used in the ball game.
  • volleyball which is one of the ball games
  • the ball game video analysis system 10 is not limited to volleyball, and can be applied to various ball games such as soccer, baseball, table tennis, basketball, tennis, rugby, American football, lacrosse, badminton, and ice hockey.
  • the moving body targeted by the ball game video analysis system 10 is typically a ball.
  • the moving body targeted by the ball game video analysis system 10 is not limited to the ball, and may have a shape that does not fit the concept of "ball" such as a badminton shuttle or an ice hockey puck.
  • the ball game video analysis system 10 includes a first mobile terminal 20A, a second mobile terminal 20B, a display terminal 30, and a ball game video analysis device 100.
  • the first mobile terminal 20A, the second mobile terminal 20B, the display terminal 30, and the ball game video analysis device 100 can transmit and receive information to and from each other through the communication network N.
  • the communication network N is composed of, for example, a wireless communication network (wireless LAN (Local Area Network), 4G, 5G, etc.), an Internet network, or a combination thereof.
  • the first mobile terminal 20A and the second mobile terminal 20B are wireless communication terminals provided with a camera.
  • Examples of the first mobile terminal 20A and the second mobile terminal 20B are mobile phones, smartphones, tablets, mobile PCs, and the like.
  • the first mobile terminal 20A and the second mobile terminal 20B photograph the action of a person performing a ball game (hereinafter referred to as "player").
  • a volleyball serve which is one of the actions of the player, will be described as an example.
  • the action of the player is not limited to the serve of volleyball, and may be a dig, a reception, a toss, an attack, a block, or the like.
  • the action of the person performing the ball game may be a specific action in the above sports other than volleyball.
  • the first mobile terminal 20A and the second mobile terminal 20B for example, shoot a player's serve practice as a moving image from different directions, and generate a first moving image 201A and a second moving image 201B, respectively.
  • the first mobile terminal 20A photographs the player from the rear right
  • the second mobile terminal 20B photographs the player from the rear left.
  • the first mobile terminal 20A and the second mobile terminal 20B transmit the generated first moving image 201A and second moving image 201B to the ball game video analysis device 100 through the communication network N, respectively.
  • the display terminal 30 displays the analysis result by the ball game image analysis device 100.
  • a display example of the analysis result will be described later (see FIG. 10).
  • Examples of the display terminal 30 are mobile phones, smartphones, tablets, mobile PCs, and the like.
  • the display terminal 30 may be read as a third mobile terminal. Although the configuration in which the display terminal 30 for displaying the analysis result is separately provided is illustrated, either the first mobile terminal 20A or the second mobile terminal 20B may be used as a terminal for displaying the analysis result.
  • the ball game video analysis device 100 analyzes the movement trajectory of the ball in the three-dimensional space based on the first moving image 201A and the second moving image 201B received from the first mobile terminal 20A and the second mobile terminal 20B, respectively. ..
  • the movement locus of the ball in the three-dimensional space can be generated by arranging the three-dimensional coordinates of the ball in chronological order.
  • the three-dimensional coordinates of the ball at time t can be calculated from the frame image F1 at time t in the first moving image 201A and the frame image F2 at time t in the second moving image 201B. .. That is, as shown in FIG. 2, the vector V1 extending from the position U1 of the first mobile terminal 20A (camera) to the position B1 of the ball in the frame image F1 and the position of the second mobile terminal 20B (camera). The intersection with the vector V2 extending from U2 to the position B2 of the ball in the frame image F2 is the three-dimensional coordinate Pa of the ball.
  • the time code (time information) given to each frame image of the first moving image 201A by the first mobile terminal 20A and the time given to each frame image of the second moving image 201B by the second mobile terminal 20B. If the code is a completely accurate time, the three-dimensional coordinates of the ball can be accurately specified by the above method using the frame images F1 and F2 to which the time code of the time t is assigned.
  • a frame image taken by a first mobile terminal 20A and a second frame image taken at a high frame rate of 30 fps or more are taken.
  • the synchronization accuracy in milliseconds with the frame image captured by the mobile terminal 20B of the above is required.
  • NTP Network Time Protocol
  • a synchronization shift may occur.
  • the processing performance of the second mobile terminal 20B is lower than that of the first mobile terminal 20A, the processing load of time code assignment of the mobile terminal 20B is large, and it is slightly slower than the first mobile terminal 20A as a whole.
  • the frame image F2 may actually be taken a little earlier than the frame image F1.
  • the position of the ball is B3, and as shown in FIG. 2, the three-dimensional coordinates of the ball are also shifted to Pb. Therefore, the calculated movement locus of the ball also deviates.
  • the ball game image analysis device 100 has a function of specifying the synchronization deviation of the frame image between the first mobile terminal 20A and the second mobile terminal 20B. Then, the ball game image analysis device 100 calculates the movement locus of the ball in consideration of the specified synchronization deviation.
  • the movement locus of the ball can be calculated by using a general-purpose camera such as a camera mounted on a mobile terminal instead of a dedicated camera specialized in ball game video analysis as shown in Patent Document 1.
  • a general-purpose camera such as a camera mounted on a mobile terminal instead of a dedicated camera specialized in ball game video analysis as shown in Patent Document 1.
  • FIG. 3 is a block diagram showing a configuration example of the ball game image analysis device 100 according to the present embodiment.
  • the ball game video analysis device 100 includes a moving image receiving unit 101, an image conversion unit 102, a reference frame specifying unit 103, a reference frame changing unit 104, an analysis unit 105, and a result display unit 106.
  • the video receiving unit 101 receives the first video 201A from the first mobile terminal 20A, and receives the second video 201B from the second mobile terminal 20B.
  • Examples of video formats include MPEG4, TS files, H.D. 264, H. It is 265 mag.
  • a time code is assigned to each frame image constituting the first moving image 201A by the first mobile terminal 20A.
  • a time code is assigned to each frame image constituting the second moving image 201B by the second mobile terminal 20B.
  • a scene in which the player hits a serve is shot.
  • the image conversion unit 102 converts each frame image of the first moving image 201A into a still image, and generates the first frame image group 202A.
  • the image conversion unit 102 converts each frame image of the second moving image 201B into a still image, and generates a second frame image group 202B.
  • Examples of still image formats are JPEG, GIF, TIFF and the like.
  • the reference frame specifying unit 103 identifies a reference frame image (hereinafter referred to as “reference frame image”) for frame synchronization from the first frame image group 202A and the second frame image group 202B, respectively. ..
  • reference frame image a reference frame image
  • the reference frame image specified from the first frame image group 202A is referred to as a first reference frame image
  • the reference frame image specified from the second frame image group 202B is referred to as a second reference frame. It is called an image.
  • the reference frame specifying unit 103 specifies a frame image in which a specific sub-action constituting the action is captured as a reference frame image. For example, the reference frame specifying unit 103 captures a frame image in which the moment (sub-action) when the hand hitting the serve hits the ball is captured in the frame image group in which the series of actions of the serve (action) is captured. Specify as a reference frame image. Next, an example of a method of specifying the reference frame image will be described with reference to FIG.
  • the reference frame specifying unit 103 sets the ball detection region 211A for the first frame image group 202A.
  • the reference frame specifying unit 103 sets the ball detection area 211B for the second frame image group 202B.
  • the ball detection area becomes smaller, so that the time required for the ball detection process can be shortened. It is not necessary to set the detection area of the ball.
  • the reference frame specifying unit 103 detects a ball from each frame image of the first frame image group 202A by a known method. For example, the reference frame specifying unit 103 detects a ball from a frame image by pattern matching. Alternatively, the reference frame specifying unit 103 detects the ball from the frame image by using deep learning learned in advance for ball detection. Similarly, the reference frame specifying unit 103 detects the ball from each frame image of the second frame image group 202B.
  • the reference frame specifying unit 103 calculates the two-dimensional movement locus of the ball based on the position of the ball detected from each frame image of the first frame image group 202A. Then, the reference frame specifying unit 103 identifies the first reference frame image based on the change in the two-dimensional movement locus of the ball. For example, the reference frame specifying unit 103 identifies the first reference frame image by the following processes S11 to S13.
  • the reference frame specifying unit 103 obtains a first frame image from the first frame image group 202A in which the amount of movement of the ball in the X direction is equal to or greater than a predetermined threshold value (that is, the ball has moved significantly in the lateral direction). Extract. As a result, it is possible to extract the first frame image in which the ball is flying toward the net immediately after the hand hitting the serve hits the ball.
  • a predetermined threshold value that is, the ball has moved significantly in the lateral direction
  • the reference frame specifying unit 103 has a plurality of first frame images included in a certain period prior to the first frame image extracted in S11, in which the amount of movement of the ball in the Y-axis direction is equal to or greater than a predetermined threshold value.
  • the first frame image that changes and is closest to the first frame image extracted in S11 is specified. Thereby, among the plurality of first frame images in which the ball thrown for the serve is rising or falling, the first frame image at the moment when the hand hitting the serve hits the ball can be identified. ..
  • the reference frame specifying unit 103 uses the first frame image specified in S12 as the first reference frame image.
  • the reference frame specifying unit 103 specifies the second reference frame image by the same processing as described above. Then, the reference frame specifying unit 103 has a time code corresponding to the first reference frame image (hereinafter referred to as “first reference time code”) and a time code corresponding to the second reference frame image (hereinafter referred to as “second reference time code”). "Reference time code”) is written in the synchronization deviation information 203.
  • the reference frame specifying unit 103 may specify the reference frame image by an action and a sub-action different from the serve.
  • the reference frame specifying unit 103 may use a frame image in which the moment when the hand that made the attack (or dig, reception, toss, block, etc.) of the player hits the ball is captured as the reference frame image.
  • the reference frame specifying unit 103 may write a value obtained by subtracting the second reference time code from the first reference time code (hereinafter referred to as “synchronization time difference”) in the synchronization deviation information 203.
  • the synchronization time difference written in the synchronization deviation information 203 corresponds to the magnitude of the synchronization deviation of the frame image between the first mobile terminal 20A and the second mobile terminal 20B. For example, when the synchronization time difference is almost 0, it is shown that the time code assigned by the first mobile terminal 20A and the time code assigned by the second mobile terminal 20B tend to be almost the same. When the synchronization time difference is a positive value, it indicates that the time code assigned by the second mobile terminal 20B tends to be later than the time code assigned by the first mobile terminal 20A. When the synchronization time difference is a negative value, it indicates that the time code assigned by the first mobile terminal 20A tends to be later than the time code assigned by the second mobile terminal 20B.
  • the reference frame image automatically identified by the reference frame specifying unit 103 by the method described above is not necessarily the correct reference frame image. Therefore, the reference frame specifying unit 103 provides a UI (User Interface) (hereinafter referred to as “reference frame confirmation UI”) 310 for the user to confirm the reference frame image.
  • UI User Interface
  • the details of the reference frame confirmation UI 310 will be described later (see FIG. 8).
  • the reference frame changing unit 104 provides a UI (hereinafter referred to as "reference frame changing UI") 320 for the user to change the reference frame image.
  • reference frame changing UI UI
  • the details of the reference frame changing UI 320 will be described later (see FIG. 9).
  • the reference frame change unit 104 changes the synchronization shift information 203 based on the changed reference frame image.
  • the analysis unit 105 identifies the movement locus of the ball in the three-dimensional space related to the action by using the synchronization deviation information 203 from, for example, the first moving image 201A and the second moving image 201B in which the action of the serve by the player is photographed.
  • the analysis result information 204 including the information indicating the movement locus of the ball is generated.
  • the first moving image 201A and the second moving image 201B to be analyzed by the analysis unit 105 are different from the first moving image 201A and the second moving image 201B taken to generate the synchronization deviation information 203 described above. It may be a thing.
  • the analysis unit 105 determines the camera parameters of the first mobile terminal 20A and the second mobile terminal 20B obtained in advance by calibration processing (according to the perspective projection conversion matrix for converting the world coordinates into a camera image). Based on the position of the ball in the first frame image and the position of the ball in the second frame image synchronized with the first frame image corrected by the synchronization deviation information 203, the first frame The three-dimensional coordinates of the ball at the timing when the image and the second frame image are taken are specified. The analysis unit 105 identifies the movement locus of the ball in the three-dimensional space by arranging the three-dimensional coordinates of the ball thus specified in chronological order. The analysis unit 105 generates analysis result information 204 including information indicating the movement locus of the specified ball. As a result, the movement trajectory of the ball in the three-dimensional space can be analyzed with sufficient accuracy even if a camera mounted on the mobile terminal is used instead of a dedicated camera specialized in ball game video analysis.
  • the result display unit 106 displays the analysis result information 204 on, for example, the display terminal 30.
  • the result display unit 106 may display the analysis result information 204 on the first mobile terminal 20A and / or the second mobile terminal 20B.
  • FIG. 5 is a flowchart showing an example of the preliminary work.
  • the pre-work is a work performed before the analysis unit 105 analyzes the actual action, and is, for example, a work performed to generate the synchronization deviation information 203.
  • the user installs the first mobile terminal 20A and the second mobile terminal 20B at positions where the player and the ball can be photographed from different directions (S101).
  • the user pairs the first mobile terminal 20A and the second mobile terminal 20B (S102).
  • the pairing information may be transmitted to the ball game image analysis device 100.
  • the user instructs the first mobile terminal 20A and the second mobile terminal 20B to start shooting related to the preliminary work (S103). As a result, the first mobile terminal 20A and the second mobile terminal 20B start shooting.
  • the player hits the serve (S104).
  • the first mobile terminal 20A and the second mobile terminal 20B can shoot the first moving image 201A and the second moving image 201B in which the player hits the serve and the ball flies, respectively.
  • the user and the player may be the same person.
  • the user instructs the first mobile terminal 20A and the second mobile terminal 20B to stop shooting related to the preliminary work (S105).
  • the first mobile terminal 20A and the second mobile terminal 20B receive an instruction to stop shooting, respectively, and transmit the first moving image 201A and the second moving image 201B to the ball game video analysis device 100, respectively.
  • the ball game video analysis device 100 identifies the first reference frame image from the first moving image 201A and the second reference frame image from the second moving image 201B, and displays the reference frame confirmation UI 310 on the display terminal 30.
  • the user confirms the first reference frame image and the second reference frame image from the reference frame confirmation UI 310 displayed on the display terminal 30 (S106). For example, when changing the reference frame image, the user instructs the ball game video analysis device 100 to change the reference frame image through the reference frame confirmation UI 310. In this case, the ball game image analysis device 100 causes the display terminal 30 to display the UI 320 for changing the reference frame.
  • the instructions for starting and stopping the shooting in S103 and S105 may be given from either of the mobile terminals.
  • the start and instruction of shooting is automatically transmitted to the second mobile terminal 20B via the ball game video analyzer 100. You can.
  • the user operates the reference frame change UI 320 displayed on the display terminal 30 to change the reference frame image (S107).
  • S106 and S107 will be described later (see FIGS. 7 and 8).
  • the ball game image analysis device 100 can generate the synchronization deviation information 203 based on the first reference frame image and the second reference frame image confirmed and corrected by the user.
  • FIG. 6 is a sequence chart showing an example of processing related to pre-work.
  • FIG. 6 corresponds to the detailed description of S106 to S107 in FIG.
  • the video receiving unit 101 receives the first video 201A from the first mobile terminal 20A (S201) and receives the second video 201B from the second mobile terminal 20B (S202).
  • the image conversion unit 102 generates the first frame image group 202A from the first moving image 201A, and generates the second frame image group 202B from the second moving image 201B (S203).
  • the reference frame specifying unit 103 searches the first frame image group 202A for a first reference frame image in which a specific sub-action constituting the action is captured (S204). For example, as described above, the reference frame specifying unit 103 captures the moment when the hand hitting the player's serve hits the ball based on the change in the two-dimensional (X direction, Y direction) movement locus of the ball. The first reference frame image is searched.
  • the reference frame specifying unit 103 searches for the second reference frame image from the second frame image group 202B (S205). At this time, the reference frame specifying unit 103 may use the second frame image group 202B after the time code that goes back a predetermined time from the time code of the first reference frame image as the search range of the second reference frame image. As a result, the time required for the search can be shortened as compared with the case where the entire second frame image group 202B is set as the search range.
  • the reference frame specifying unit 103 uses the time code of the first reference frame image (first reference time code) and the time code of the second reference frame image (second reference time code) as synchronization deviation information 203. Write to (S206).
  • the reference frame changing unit 104 transmits information for displaying the first reference frame image, the second reference frame image, and the reference frame confirmation UI 310 to the display terminal 30 (S207).
  • the display terminal 30 displays the first reference frame image, the second reference frame image, and the reference frame confirmation UI 310 (S208).
  • the details of the reference frame confirmation UI 310 will be described later (see FIG. 8).
  • the display terminal 30 When the user performs an operation to the effect that the reference frame image is not changed with respect to the reference frame confirmation UI 310 displayed in S208, the display terminal 30 sends instruction information indicating no change to the ball game video analysis device 100. Transmit (S209).
  • the reference frame changing unit 104 determines the content of the synchronization deviation information 203 written in S206 (S210). Then, the ball game image analysis device 100 ends this process.
  • FIG. 7 is a sequence chart showing an example of processing related to pre-work when an operation to change the reference frame image is performed in FIG.
  • the display terminal 30 When the user performs an operation to change the reference frame image with respect to the reference frame confirmation UI 310 displayed in S208, the display terminal 30 sends the instruction information indicating the change to the ball game video analysis device 100. Transmit (S221).
  • the reference frame changing unit 104 When the reference frame changing unit 104 receives the instruction information indicating that there is a change, the reference frame changing unit 104 performs the following processing. That is, the reference frame changing unit 104 extracts a plurality of first frame images taken before and after the first reference frame image searched in S204 from the first frame image group 202A, and a plurality of extracted first frame images. The first frame image is used as a candidate for the first reference frame image.
  • the reference frame changing unit 104 extracts a plurality of second frame images taken before and after the second reference frame image searched in S205 from the second frame image group 202B, and extracts a plurality of the extracted second frame images.
  • the second frame image of is used as a candidate for the second reference frame image.
  • the reference frame changing unit 104 displays a plurality of first candidate frame candidates and their time codes, a plurality of second reference frame image candidates and these time codes, and a reference frame changing UI 320. Information for this is transmitted to the display terminal 30 (S222).
  • the display terminal 30 displays the reference frame change UI 320 (S223).
  • the details of the reference frame changing UI 320 will be described later (see FIG. 9).
  • the user operates the reference frame change UI 320 displayed in S223 to select the changed first reference frame image from the plurality of first reference frame image candidates, and a plurality of second reference frame images.
  • a second reference frame image after the change is selected from the candidates for the reference frame image of (S224).
  • the display terminal 30 is the time code of the first reference frame image after the change (hereinafter referred to as “the first reference time code after the change”) selected in S224, and / or the second after the change.
  • the time code of the reference frame image (hereinafter referred to as “the second reference time code after the change”) is transmitted to the ball game image analysis device 100 (S225).
  • the reference frame changing unit 104 overwrites the changed first reference time code and / or the changed second reference time code received from the display terminal 30 on the synchronization deviation information 203, and the synchronization deviation.
  • the content of the information 203 is confirmed (S226).
  • the content of the synchronization deviation information 203 automatically generated by the reference frame specifying unit 103 is overwritten with the time code of the reference frame image changed by the user through the reference frame changing unit 104. Then, the ball game image analysis device 100 ends this process.
  • FIG. 8 is a diagram showing a detailed example of the reference frame confirmation UI.
  • the reference frame confirmation UI 310 includes a first image display area 210A, a second image display area 210B, an OK button 312, a change button 313, and a redo button 314.
  • the reference frame confirmation UI 310 may not include either the change button 313 or the redo button 314.
  • the display terminal 30 displays the first reference frame image transmitted from the ball game image analysis device 100 in S207 of FIG. 6 in the first image display area 210A.
  • the display terminal 30 displays the second reference frame image transmitted from the ball game image analysis device 100 in S207 of FIG. 6 in the second image display area 210B.
  • the first image display area 210A and the second image display area 210B may be arranged side by side.
  • the arrangement mode of the first image display area 210A and the second image display area 210B is not limited to the arrangement arranged side by side.
  • the first image display area 210A and the second image display area 210B may be displayed as separate windows.
  • the display terminal 30 transmits instruction information indicating no change in S209 of FIG. 6 to the ball game video analysis device 100.
  • the user correctly captures both the first reference frame image displayed in the first image display area 210A and the second reference frame image displayed in the second image display area 210B.
  • the OK button 312 may be pressed.
  • the content of the synchronization shift information 203 is determined.
  • the display terminal 30 transmits instruction information indicating that there is a change in S221 of FIG. 7 to the ball game video analysis device 100.
  • the user correctly sub-acts at least one of the first reference frame image displayed in the first image display area 210A and the second reference frame image displayed in the second image display area 210B. If is not the captured image, the change button 313 may be pressed. As a result, as shown in S223 of FIG. 7, the reference frame change UI 320 is displayed on the display terminal 30.
  • the display terminal 30 transmits instruction information indicating redoing the pre-work to the ball game video analysis device 100.
  • the ball game video analyzer 100, the first mobile terminal 20A, and the second mobile terminal 20B redo the pre-work from S103 in FIG.
  • the serve of S104 fails, the first reference frame image and / or the second reference frame image is clearly different from the ball served by the player (eg, a ball lying on the floor or another player). If the player recognizes the ball being practiced, the user may press the redo button 314.
  • the first reference frame image includes three first frame images immediately before the first reference frame image searched in S204 and three first frame images immediately after the first reference frame. Frame image and may be included. In this case, the number of the first reference frame images is seven in total, including the first reference frame image searched in S204.
  • the second reference frame image includes three second frame images immediately before the second reference frame image searched in S205 and three images immediately after the second reference frame image. A second frame image may be included. In this case, the number of the second reference frame images is seven in total, including the second reference frame image searched in S205.
  • the display terminal 30 displays seven first reference frame images and seven second reference frame images in the first image display area 210A and the second image display area 210B, respectively. It may be displayed continuously in synchronization.
  • first and second reference frame images are an example, and the number of a plurality of first and second reference frame images may be any number. Further, the plurality of first and second reference frame images are not limited to the case where each frame is continuous, and may be skipped at predetermined frame intervals.
  • the user not only confirms the synchronization between the one first reference frame image and the second reference frame image, but also a plurality of first reference frame images and the second reference frame image. You can easily check the synchronization with.
  • the reference frame confirmation UI 310 is displayed on either the first mobile terminal 20A or the second mobile terminal 20B. It may be displayed in.
  • the reference frame confirmation UI 310 for the first reference frame image may be displayed on the first mobile terminal 20A
  • the reference frame confirmation UI 310 for the second reference frame image may be displayed on the second mobile terminal 20B. ..
  • FIG. 9 is a diagram showing a detailed example of the UI for changing the reference frame.
  • the reference frame changing UI 320 includes a first image display area 210A, a second image display area 210B, an OK button 322, and a return button 323. Further, the reference frame change UI 320 includes a 1-frame return button 324A, an N-frame return button 325A, a 1-frame advance button 326A, and an N-frame advance button 327A corresponding to the first image display area 210A.
  • N is a predetermined integer of 2 or more.
  • the reference frame change UI 320 includes a 1-frame return button 324B, an N-frame return button 325B, a 1-frame advance button 326B, and an N-frame advance button 327B corresponding to the second image display area 210B.
  • the display terminal 30 returns to the display of the reference frame confirmation UI 310 shown in FIG.
  • the display terminal 30 selects a candidate for the first reference frame image one frame before the candidate for the first reference frame image displayed in the first image display area 210A. , Is displayed in the first image display area 210A.
  • the 1-frame return button 324B corresponding to the second image display area 210B.
  • the display terminal 30 selects a candidate for the first reference frame image N frames or earlier than the candidate for the first reference frame image displayed in the first image display area 210A. , Is displayed in the first image display area 210A. The same applies to the N-frame return button 325B corresponding to the second image display area 210B.
  • the display terminal 30 selects a candidate for the first reference frame image one frame or later from the candidate for the first reference frame image displayed in the first image display area 210A. , Is displayed in the first image display area 210A.
  • the one-frame advance button 326B corresponding to the second image display area 210B.
  • the display terminal 30 selects a candidate for the first reference frame image after the N frame rather than a candidate for the first reference frame image displayed in the first image display area 210A. , Is displayed in the first image display area 210A.
  • the N-frame advance button 327B corresponding to the second image display area 210B.
  • buttons 324A to 327A and 324B to 327B described above so that the image in which the sub-action is correctly captured is displayed in both the first image display area 210A and the second image display area 210B. You may operate it.
  • the display terminal 30 When the OK button 322 is pressed, the display terminal 30 has a time code of a candidate for the first reference frame image being displayed in the first image display area 210A (first reference time code after the change), and The time code of the candidate for the second reference frame image displayed in the second image display area 210B (the changed second reference time code) is transmitted to the ball game image analysis device 100.
  • This process corresponds to S225 in FIG.
  • the user may press the OK button 322 after operating so that the image in which the sub-action is correctly captured is displayed in both the first image display area 210A and the second image display area 210B.
  • FIG. 10 is a diagram showing a display example of the analysis result.
  • the first mobile terminal 20A and the second mobile terminal 20B photograph the player's serve practice and generate and transmit the first video 201A and the second video 201B, respectively.
  • the first moving image 201A and the second moving image 201B may be different from the first moving image 201A and the second moving image 201B taken for the preliminary work.
  • the analysis unit 105 corrects the synchronization deviation of the frame image between the first moving image 201A and the second moving image 201B in which the serve practice is taken based on the synchronization deviation information 203, and then corrects the movement locus of the ball. It analyzes and generates analysis result information 204. For example, in the synchronization deviation information 203, when the second reference time code is later than the first reference time code, the analysis unit 105 between the second reference time code and the first reference time code. After correcting to delay each frame image of the first moving image 201A by the difference time, each frame image of the first moving image 201 and each frame image of the second moving image 201B are synchronized to form the ball. Analyze the movement trajectory. As a result, the delay in assigning the time code by the second mobile terminal 20B is corrected, and the movement locus of the ball with sufficient accuracy can be calculated.
  • the result display unit 106 causes the display terminal 30 to display the analysis result screen 330 based on the analysis result information 204.
  • the analysis result screen 330 As shown in FIG. 10, the movement locus 331 of the ball indicated by the analysis result information 204 may be superimposed and displayed on the reproduction of the first moving image 201A or the second moving image 201B. ..
  • the analysis result screen 330 may display the height and velocity of the ball at the moment when the ball hit by the hand leaves the hand.
  • the analysis result screen 330 may display the height and velocity of the ball at the moment when the ball passes over the net.
  • the player can confirm in detail the movement trajectory of the ball by the serve in addition to the movement of the body at the time of the serve from the analysis result screen 330.
  • a moving image for synchronization adjustment is taken in advance, synchronization adjustment and confirmation are performed, then a moving image for analysis processing is taken, and the moving image on which the trajectory of the ball is superimposed is analyzed.
  • the synchronization adjustment and the analysis processing are continuously performed. May be good.
  • the synchronization adjustment may be executed at an arbitrary timing while the detection of the synchronization deviation is automated and the analysis processing for the sequentially shot moving images is performed.
  • the frame number of the first frame image in the first moving image 201A generated by the first mobile terminal 20A (hereinafter referred to as "first frame number”) and the second A frame image (hereinafter referred to as "second frame number”) in the second moving image 201B generated by the mobile terminal 20B may be used.
  • the reference frame specifying unit 103 has a first frame number of the first reference frame image (hereinafter referred to as "first reference frame number”) and a second frame number of the second reference frame image (hereinafter referred to as “first reference frame number”). “Second reference frame number”) may be written in the synchronization shift information 203.
  • the reference frame changing unit 104 uses the frame number of the changed first reference frame image (hereinafter referred to as “changed first reference frame number”) selected through the reference frame changing UI 320, and / or ,
  • the frame number of the changed second reference frame image (hereinafter referred to as “the changed second reference frame number”) may be overwritten on the synchronization shift information 203.
  • FIG. 11 is a diagram showing a hardware configuration of a computer that realizes the functions of the ball game image analysis device 100 by a program.
  • the computer 1000A includes an input device 1001 such as a keyboard or mouse and a touch pad, an output device 1002 such as a display or a speaker, a CPU (Central Processing Unit) 1003, a GPU (Graphics Processing Unit) 1004, and a ROM (Read Only Memory) 1005.
  • RAM RandomAccessMemory
  • HDD HardDiskDrive
  • SSD SolidStateDrive
  • storage device 1007 such as flash memory, DVD-ROM (DigitalVersatileDiskReadOnlyMemory) or USB (UniversalSerialBus) memory, etc.
  • a reading device 1008 that reads information from the recording medium of the above, and a transmitting / receiving device 1009 that communicates by wire or wirelessly via the communication network N are provided, and each part is connected by a bus 1010.
  • the reading device 1008 reads the program from the recording medium on which the program for realizing the function of each of the above devices is recorded, and stores the program in the storage device 1007.
  • the transmission / reception device 1009 communicates with the server device connected to the communication network N, and stores the program downloaded from the server device for realizing the function of each device in the storage device 1007.
  • the CPU 1003 copies the program stored in the storage device 1007 to the RAM 1006, and sequentially reads and executes the instructions included in the program from the RAM 1006, whereby the functions of the above devices are realized.
  • FIG. 12 is a diagram showing a hardware configuration of a computer that programmatically realizes the functions of the first mobile terminal 20A, the second mobile terminal 20B, and the display terminal 30.
  • the components described with reference to FIG. 11 may be designated by the same reference numerals and the description thereof may be omitted.
  • This computer 1000B includes an input device 1001, an output device 1002, a CPU 1003, a GPU 1004, a ROM 1005, a RAM 1006, a storage device 1007, a reading device 1008, a transmission / reception device 1009, and a camera device 1011.
  • the camera device 1011 includes an image sensor and generates captured images (moving images and still images).
  • the generated captured image is stored in the storage device 1007.
  • the captured image stored in the storage device 1007 may be transmitted to an external server or the like through the transmission / reception device 1009 and the communication network N.
  • LSI is an integrated circuit. These may be individually integrated into one chip, or may be integrated into one chip so as to include a part or all of them. Although it is referred to as LSI here, it may be referred to as IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the ball game image analysis device (100) receives a first moving image (201A) and a second moving image (201B) obtained by capturing a person's action on a moving body used in the ball game from different positions.
  • a reference frame image which is a frame image in which a specific sub-action constituting an action is taken, is specified from each of the part (101), the first moving image, and the second moving image, and is specified from the first moving image.
  • Synchronous deviation information (203) which is information indicating a time lag between the first reference frame image, which is the reference frame image, and the second reference frame image, which is the reference frame image identified from the second moving image.
  • the reference frame specifying unit (103) that generates the (105) and.
  • synchronization shift information indicating a time lag between the first reference frame image in which a specific subaction is taken and the second reference frame image is generated. Therefore, even if the camera that shot the first video and the second video is not a dedicated camera specialized in ball game video analysis, the first video and the second video are based on the synchronization deviation information. Since the synchronization deviation of the frame images between them can be corrected, the movement trajectory of the moving body can be specified with sufficient accuracy.
  • the reference frame specifying unit (103) may generate and output a reference frame confirmation UI (310) that presents the first reference frame image and the second reference frame image to the user.
  • the user can confirm the first reference frame image and the second reference frame image through the reference frame confirmation UI, so that it is possible to prevent the synchronization shift information from being generated by an erroneous reference frame image. ..
  • the reference frame change for the user to change the first reference frame image and / or the second reference frame image.
  • a reference frame changing unit (104) for generating and outputting a UI (320) may be further provided.
  • the user can change the first reference frame image and / or the second reference frame image through the reference frame change UI (320), so that the synchronization shift information can be generated by the correct reference frame image.
  • the reference frame specifying unit (103) generates and outputs a reference frame confirmation UI (310) that receives an instruction as to whether or not to re-shoot the first moving image (201A) and the second moving image (201B). You can do it.
  • the user can re-shoot the first moving image and the second moving image for specifying the reference frame image through the reference frame confirmation UI, so that the synchronization deviation information is generated by the incorrect reference frame image. Can be prevented.
  • first moving image and the second moving image may be taken by a first mobile terminal (20A) and a second mobile terminal (20B) provided with a camera and a wireless communication device, respectively. ..
  • the ball game video analysis device (100) transmits the first reference frame image, the second reference frame image, and the information indicating the result of the analysis by the analysis unit (105) to the third mobile terminal (30).
  • a result display unit (106) for output may be further provided.
  • the information indicating the analysis result is displayed on the third mobile terminal (30), so that the user can use the first mobile terminal (20A) and the second mobile terminal (20B) as a person. It is installed for shooting the action of the above, and the information showing the analysis result can be confirmed from the third mobile terminal (30) without touching the first mobile terminal and the second mobile terminal.
  • the ball game may be volleyball
  • the moving body may be the ball of the volleyball
  • the action may be the serve of volleyball
  • the sub-action may be the moment when the hand of the person who performed the serve hits the ball.
  • the frame image taken at the moment when the hand of the serving person hits the ball can be specified as the reference frame image. Therefore, even if the camera that captured the first moving image and the second moving image is not a dedicated camera specialized in ball game video analysis, the movement trajectory of the volleyball ball can be specified with sufficient accuracy.
  • the technology of the present disclosure can be used for analysis of sports using mobile objects.
  • Ball game video analysis system 20A 1st mobile terminal 20B 2nd mobile terminal 30 Display terminal 100 Ball game video analysis device 101 Video receiver 102 Image conversion unit 103 Reference frame identification unit 104 Reference frame change unit 105 Analysis unit 106 Result display unit 201A 1st video 201B 2nd video 202A 1st frame image group 202B 2nd frame image group 203 Synchronous deviation information 204 Analysis result information 210A 1st image display area 210B 2nd image display area 211A, 211B Ball Detection area 310 Reference frame confirmation UI 312 OK button 313 Change button 314 Redo button 320 Reference frame change UI 322 OK button 323 Back button 324A, 324B 1 frame return button 325A, 325B N frame return button 326A, 326B 1 frame forward button 327A, 327B N frame forward button 330 Analysis result screen 331 Ball movement trajectory 1000A, 1000B Computer 1001 Input device 1002 output device 1003 CPU 1004 GPU 1005 ROM 1006 RAM 1007 Storage device 1008 Reading device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

球技映像解析装置は球技用の移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画を受信し、第１の動画及び第２の動画の各々からアクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、第１の動画から特定された第１の基準フレーム画像と第２の動画から特定された第２の基準フレーム画像との間の時間のずれを示す同期ずれ情報を生成し、第１の動画と第２の動画との間のフレーム画像の同期ずれを補正し、移動体の移動軌跡を特定する。

Description

球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム
　本開示は、球技映像解析装置、球技映像解析方法、及び、コンピュータプログラムに関する。
　従来、バレーボール分析ソフトウェアとして「Ｄａｔａ　Ｖｏｌｌｅｙ」が市販され、このソフトウェアに精通したアナリストの主観的判断に基づいて、チームの選手の状況をデータ化する技術が知られている。
　近年では、アナリストの操作に頼ることなく、コートを見下ろす四隅にそれぞれカメラを設置し、これら４台のカメラを同期させてプレイを撮影した映像を取り込み、ボールの動きを追跡して、当該ボールの３次元の位置情報を求め、同時に選手の背番号やプレイに含まれるアクションの種類（サーブ、レセプション、ディグ、トス、アタック、ブロック）に関する解析データを出力する技術が知られている（特許文献１）。
国際公開第２０１９／２２５４１５号
　特許文献１によれば、コートを見下ろす四隅に、同スペックの高性能な専用カメラがそれぞれ設置され、各専用カメラで撮影された映像はすべて同期して取り込まれるように構成されている。
　ところで、専用カメラではなく、身近に存在するカメラ（例えばスマートフォン及びタブレットといった携帯端末に搭載されたカメラ）を用いて、簡易な球技映像解析装置を構成し、球技の練習（例えばバレーボールのサーブの練習）に活用したいという要望がある。しかし、専用カメラではない場合、球技映像解析に用いられるカメラ間の性能などの違いにより、球技に係る移動体（例えばボール）の移動軌跡を特定できないという問題があった。
　本開示の目的は、球技映像解析に特化した専用カメラを用いることなく、身近に存在するカメラを用いて球技に係る移動体の移動軌跡を特定できる技術を提供することにある。
　本開示に係る球技映像解析装置は、球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画を受信する受信部と、前記第１の動画及び前記第２の動画の各々から、前記アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、前記第１の動画から特定された前記基準フレーム画像である第１の基準フレーム画像と前記第２の動画から特定された前記基準フレーム画像である第２の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報を生成する基準フレーム特定部と、第１の動画と第２の動画との間のフレーム画像の同期ずれを前記同期ずれ情報に基づいて補正し、前記移動体の移動軌跡を特定する解析部と、を備える。
　本開示に係る球技映像解析方法は、装置が、球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画を受信し、前記第１の動画及び前記第２の動画の各々から、前記アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、前記第１の動画から特定された前記基準フレーム画像である第１の基準フレーム画像と前記第２の動画から特定された前記基準フレーム画像である第２の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報を生成し、第１の動画と第２の動画との間のフレーム画像の同期ずれを前記同期ずれ情報に基づいて補正し、前記移動体の移動軌跡を特定する。
　本開示に係るコンピュータプログラムは、球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画を受信し、前記第１の動画及び前記第２の動画の各々から、前記アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、前記第１の動画から特定された前記基準フレーム画像である第１の基準フレーム画像と前記第２の動画から特定された前記基準フレーム画像である第２の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報を生成し、第１の動画と第２の動画との間のフレーム画像の同期ずれを前記同期ずれ情報に基づいて補正し、前記移動体の移動軌跡を解析する、処理をコンピュータに実行させる。
　なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　本開示によれば、球技映像解析に特化した専用カメラを用いることなく、身近に存在するカメラを用いて球技に係る移動体の移動軌跡を特定できる。
本実施の形態に係る球技映像解析システムの構成例を示す図 ボールの位置の特定方法を説明するための図 球技映像解析装置の構成例を示すブロック図 基準フレーム画像の特定方法を説明するための図 事前作業の一例を示すフローチャート 事前作業に関する処理の一例を示すシーケンスチャート 図６において基準フレーム画像を変更する旨の操作が行われた場合の事前作業に関する処理の一例を示すシーケンスチャート 基準フレーム確認用ＵＩ（User Interface）の詳細例を示す図 基準フレーム変更用ＵＩの詳細例を示す図 解析結果の表示例を示す図 本開示に係る球技映像解析装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図 本開示に係る第１の形態端末、第２の形態端末及び表示端末の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図
　以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。
　（本実施の形態）
　＜球技映像解析システムの構成＞
　図１は、本実施の形態に係る球技映像解析システムの構成例を示す図である。
　球技映像解析システム１０は、球技を撮影した映像を解析し、当該球技に用いられる移動体の軌跡を解析するシステムである。本実施の形態では、球技の１つであるバレーボールを例に説明する。ただし、球技映像解析システム１０は、バレーボールに限らず、サッカー、野球、卓球、バスケットボール、テニス、ラグビー、アメリカンフットボール、ラクロス、バドミントン、又はアイスホッケー等、様々な球技に適用可能である。また、球技映像解析システム１０が対象とする移動体は、典型的にはボールである。ただし、球技映像解析システム１０が対象とする移動体は、ボールに限らず、例えばバドミントンのシャトル又はアイスホッケーのパックといった「球」の概念に当てはまらない形状のものであってもよい。
　球技映像解析システム１０は、第１の携帯端末２０Ａ、第２の携帯端末２０Ｂ、表示端末３０、及び、球技映像解析装置１００を備える。第１の携帯端末２０Ａ、第２の携帯端末２０Ｂ、表示端末３０、及び、球技映像解析装置１００は、通信ネットワークＮを通じて互いに情報を送受信できる。通信ネットワークＮは、例えば、無線通信網（無線ＬＡＮ（Local Area Network）、４Ｇ、５Ｇ等）、インターネット網、又は、それらの組み合わせによって構成される。
　第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、カメラを備える無線通信端末である。第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂの例は、携帯電話、スマートフォン、タブレット又はモバイルＰＣ等である。
　第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、球技を行う人物（以下「プレイヤー」という）のアクションを撮影する。本実施の形態では、プレイヤーのアクションの１つであるバレーボールのサーブを例に説明する。ただし、プレイヤーのアクションは、バレーボールのサーブに限らず、ディグ、レセプション、トス、アタック、ブロック等であってもよい。あるいは、球技を行う人物のアクションは、バレーボール以外の上記スポーツにおける特定のアクションであってもよい。
　第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、例えば、プレイヤーのサーブの練習を、互いに異なる方向から動画で撮影し、それぞれ、第１の動画２０１Ａ及び第２の動画２０１Ｂを生成する。例えば、図１に示すように、第１の携帯端末２０Ａはプレイヤーを右後方から撮影し、第２の携帯端末２０Ｂはプレイヤーを左後方から撮影する。
　第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、それぞれ、生成した第１の動画２０１Ａ及び第２の動画２０１Ｂを、通信ネットワークＮを通じて、球技映像解析装置１００に送信する。
　表示端末３０は、球技映像解析装置１００による解析結果を表示する。なお、解析結果の表示例については後述する（図１０参照）。表示端末３０の例は、携帯電話、スマートフォン、タブレット又はモバイルＰＣ等である。表示端末３０は、第３の携帯端末と読み替えられてもよい。なお、解析結果を表示する表示端末３０を別途設ける構成を例示したが、第１の携帯端末２０Ａ、第２の携帯端末２０Ｂのいずれかを、解析結果を表示する端末として利用してもよい。
　球技映像解析装置１００は、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂからそれぞれ受信した第１の動画２０１Ａ及び第２の動画２０１Ｂに基づいて、３次元空間におけるボールの移動軌跡を解析する。３次元空間におけるボールの移動軌跡は、ボールの３次元座標を時系列に並べることで生成できる。
　時刻ｔのボールの３次元座標は、図２に示すように、第１の動画２０１Ａの中の時刻ｔのフレーム画像Ｆ１と、第２の動画２０１Ｂの中の時刻ｔのフレーム画像Ｆ２から算出できる。すなわち、図２に示すように、第１の携帯端末２０Ａ（のカメラ）の位置Ｕ１からフレーム画像Ｆ１におけるボールの位置Ｂ１へ伸ばしたベクトルＶ１と、第２の携帯端末２０Ｂ（のカメラ）の位置Ｕ２からフレーム画像Ｆ２におけるボールの位置Ｂ２へ伸ばしたベクトルＶ２との交点が、ボールの３次元座標Ｐａとなる。
　ここで、第１の携帯端末２０Ａが第１の動画２０１Ａの各フレーム画像に付与したタイムコード（時刻情報）と、第２の携帯端末２０Ｂが第２の動画２０１Ｂの各フレーム画像に付与したタイムコードとが完全に正確な時刻ならば、時刻ｔのタイムコードが付与されたフレーム画像Ｆ１、Ｆ２を用いて、上述の方法でボールの３次元座標を正確に特定できる。
　しかし、特許文献１に示すような球技映像解析に特化した専用カメラではなく、携帯端末に搭載されたカメラのような汎用的なカメラを用いる場合、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、必ずしも正確なタイムコードを付与できるとは限らない。以下、その理由を説明する。
　球技に係るスポーツのボールは高速に移動するため、ボールの３次元位置を特定するためには、例えば３０ｆｐｓ以上の高フレームレートで撮影し、第１の携帯端末２０Ａが撮影したフレーム画像と第２の携帯端末２０Ｂが撮影したフレーム画像との間にミリ秒単位の同期精度が求められる。
　ここで、ＮＴＰ（Network Time Protocol）を使用して第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂの内部クロックを同期させることが考えられる。しかし、ＮＴＰの同期精度は秒単位であるため、第１の携帯端末２０Ａの内部クロックと第２の携帯端末２０Ｂの内部クロックとの間にミリ秒単位の同期ずれが生じる可能性がある。よって、この方法では、高速に移動するボールの３次元座標を十分な精度で特定できない場合がある。
　または、ＧＰＳ（Global Positioning System）といった衛星測位システムを使用して第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂの内部クロックを同期させることが考えられる。しかし、この方法では、ＧＰＳ機能を搭載していない携帯端末のカメラは使用できなくなってしまう。また、屋内施設等においてＧＰＳ信号が受信できない場合に、第１の携帯端末２０Ａの内部クロックと第２の携帯端末２０Ｂの内部クロックとの間に同期ずれが生じてしまう可能性がある。よって、この方法では、高速に移動するボールの３次元座標を十分な精度で特定できない場合がある。
　または、第１の携帯端末２０Ａ及び／又は第２の携帯端末２０Ｂがタイムコードを付与する際に、同期ずれが発生してしまう可能性がある。例えば、第１の携帯端末２０Ａよりも第２の携帯端末２０Ｂの処理性能が低い場合は、携帯端末２０Ｂのタイムコード付与の処理負荷が大きく、全体的に第１の携帯端末２０Ａよりも少し遅いタイムコードを付与してしまう可能性がある。この場合、フレーム画像Ｆ１とフレーム画像Ｆ２のタイムコードが同じであっても、フレーム画像Ｆ２は、実際にはフレーム画像Ｆ１よりも少し以前に撮影されたものになることがある。この少し以前に撮影されたフレーム画像Ｆ２では、ボールの位置がＢ３となり、図２に示すように、ボールの３次元座標もＰｂにずれてしまう。よって、算出されるボールの移動軌跡もずれてしまう。
　そこで、本実施の形態に係る球技映像解析装置１００は、第１の携帯端末２０Ａと第２の携帯端末２０Ｂとの間のフレーム画像の同期ずれを特定する機能を有する。そして、球技映像解析装置１００は、その特定した同期ずれを考慮してボールの移動軌跡を算出する。これにより、特許文献１に示すような球技映像解析に特化した専用カメラではなく、携帯端末に搭載されたカメラのような汎用的なカメラを用いても、ボールの移動軌跡を算出できる。以下、詳細に説明する。
　＜球技映像解析装置の構成＞
　図３は、本実施の形態に係る球技映像解析装置１００の構成例を示すブロック図である。
　球技映像解析装置１００は、動画受信部１０１、画像変換部１０２、基準フレーム特定部１０３、基準フレーム変更部１０４、解析部１０５、及び、結果表示部１０６を備える。
　動画受信部１０１は、第１の携帯端末２０Ａから第１の動画２０１Ａを受信し、第２の携帯端末２０Ｂから第２の動画２０１Ｂを受信する。動画のフォーマットの例は、ＭＰＥＧ４、ＴＳファイル、Ｈ．２６４、Ｈ．２６５等である。第１の動画２０１Ａを構成する各フレーム画像には、第１の携帯端末２０Ａによってタイムコードが付与されている。第２の動画２０１Ｂを構成する各フレーム画像には、第２の携帯端末２０Ｂによってタイムコードが付与されている。図１にて説明したとおり、第１の動画２０１Ａ及び第２の動画２０１Ｂには、例えば、プレイヤーがサーブを打つシーンが撮影される。
　画像変換部１０２は、第１の動画２０１Ａの各フレーム画像を静止画に変換し、第１のフレーム画像群２０２Ａを生成する。画像変換部１０２は、第２の動画２０１Ｂの各フレーム画像を静止画に変換し、第２のフレーム画像群２０２Ｂを生成する。静止画のフォーマットの例は、ＪＰＥＧ、ＧＩＦ、ＴＩＦＦ等である。
　基準フレーム特定部１０３は、第１のフレーム画像群２０２Ａ及び第２のフレーム画像群２０２Ｂの中から、それぞれ、フレーム同期のための基準となるフレーム画像（以下「基準フレーム画像」という）を特定する。以下、第１のフレーム画像群２０２Ａの中から特定された基準フレーム画像を第１の基準フレーム画像といい、第２のフレーム画像群２０２Ｂの中から特定された基準フレーム画像を第２の基準フレーム画像という。
　基準フレーム特定部１０３は、アクションを構成する特定のサブアクションが撮影されたフレーム画像を、基準フレーム画像として特定する。例えば、基準フレーム特定部１０３は、サーブ（アクション）の一連の動作が撮影されたフレーム画像群のうち、サーブを打った手がボールに当たった瞬間（サブアクション）が撮影されたフレーム画像を、基準フレーム画像として特定する。次に、図４を参照して、基準フレーム画像を特定する方法の一例を説明する。
　図４に示すように、基準フレーム特定部１０３は、第１のフレーム画像群２０２Ａに対してボールの検出領域２１１Ａを設定する。基準フレーム特定部１０３は、第２のフレーム画像群２０２Ｂに対してボールの検出領域２１１Ｂを設定する。これにより、ボールの検出領域が小さくなるので、ボールの検出処理に要する時間を短縮できる。なお、当該ボールの検出領域の設定は行われなくてもよい。
　基準フレーム特定部１０３は、公知の方法によって、第１のフレーム画像群２０２Ａの各フレーム画像からボールを検出する。例えば、基準フレーム特定部１０３は、パターンマッチングによってフレーム画像からボールを検出する。あるいは、基準フレーム特定部１０３は、ボール検出用に予め学習されたディープラーニングを用いて、フレーム画像からボールを検出する。基準フレーム特定部１０３は、同様に、第２のフレーム画像群２０２Ｂの各フレーム画像からもボールを検出する。
　基準フレーム特定部１０３は、第１のフレーム画像群２０２Ａの各フレーム画像から検出したボールの位置に基づいて、ボールの２次元の移動軌跡を算出する。そして、基準フレーム特定部１０３は、そのボールの２次元の移動軌跡の変化に基づいて、第１の基準フレーム画像を特定する。例えば、基準フレーム特定部１０３は、次のＳ１１～Ｓ１３の処理により第１の基準フレーム画像を特定する。
　（Ｓ１１）基準フレーム特定部１０３は、第１のフレーム画像群２０２Ａから、ボールのＸ方向の移動量が所定の閾値以上である（つまりボールが横方向に大きく移動した）第１のフレーム画像を抽出する。これにより、サーブを打った手がボールに当たった直後の、ボールがネット方向に飛んでいる第１のフレーム画像を抽出できる。
　（Ｓ１２）基準フレーム特定部１０３は、Ｓ１１で抽出した第１のフレーム画像より以前の一定期間に含まれる複数の第１のフレーム画像のうち、ボールのＹ軸方向の移動量が所定の閾値以上変化し、かつ、Ｓ１１で抽出した第１のフレーム画像に最も近い第１のフレーム画像を特定する。これにより、サーブのために投げ上げられたボールが上昇中又は落下中である複数の第１のフレーム画像のうち、サーブを打った手がボールに当たった瞬間の第１のフレーム画像を特定できる。
　（Ｓ１３）基準フレーム特定部１０３は、Ｓ１２で特定した第１のフレーム画像を、第１の基準フレーム画像とする。
　基準フレーム特定部１０３は、上記と同様の処理により、第２の基準フレーム画像を特定する。そして、基準フレーム特定部１０３は、第１の基準フレーム画像に対応するタイムコード（以下「第１の基準タイムコード」という）と、第２の基準フレーム画像に対応するタイムコード（以下「第２の基準タイムコード」という）とを、同期ずれ情報２０３に書き込む。
　なお、基準フレーム特定部１０３は、サーブとは異なるアクション及びサブアクションによって基準フレーム画像を特定してもよい。例えば、基準フレーム特定部１０３は、プレイヤーのアタック（又はディグ、レセプション、トス、ブロック等）を行った手がボールに当たった瞬間が撮影されているフレーム画像を、基準フレーム画像としてもよい。
　また、基準フレーム特定部１０３は、第１の基準タイムコードから第２の基準タイムコードを差し引いた値（以下「同期時間差」という）を、同期ずれ情報２０３に書き込んでもよい。この同期ずれ情報２０３に書き込まれた同期時間差は、第１の携帯端末２０Ａと第２の携帯端末２０Ｂとの間のフレーム画像の同期ずれの大きさに相当する。例えば、同期時間差がほぼ０の場合、第１の携帯端末２０Ａが付与するタイムコードと、第２の携帯端末２０Ｂが付与するタイムコードとは、ほとんどずれない傾向にあることを示す。同期時間差が正値の場合、第２の携帯端末２０Ｂが付与するタイムコードは、第１の携帯端末２０Ａが付与するタイムコードよりも遅れる傾向にあることを示す。同期時間差が負値の場合、第１の携帯端末２０Ａが付与するタイムコードは、第２の携帯端末２０Ｂが付与するタイムコードよりも遅れる傾向にあることを示す。
　図３の説明に戻る。
　基準フレーム特定部１０３が上述した方法によって自動的に特定した基準フレーム画像は、必ずしも正しい基準フレーム画像であるとは限らない。そこで、基準フレーム特定部１０３は、ユーザが基準フレーム画像を確認するためのＵＩ（User Interface）（以下「基準フレーム確認用ＵＩ」という）３１０を提供する。なお、基準フレーム確認用ＵＩ３１０の詳細については後述する（図８参照）。
　基準フレーム変更部１０４は、ユーザが基準フレーム画像を変更するためのＵＩ（以下「基準フレーム変更用ＵＩ」という）３２０を提供する。なお、基準フレーム変更用ＵＩ３２０の詳細については後述する（図９参照）。基準フレーム変更部１０４は、基準フレーム変更用ＵＩ３２０を通じて基準フレーム画像が変更された場合、その変更された基準フレーム画像に基づいて、同期ずれ情報２０３を変更する。
　解析部１０５は、例えばプレイヤーによるサーブのアクションを撮影した第１の動画２０１Ａ及び第２の動画２０１Ｂから、同期ずれ情報２０３を用いて、アクションに係るボールの３次元空間における移動軌跡を特定し、そのボールの移動軌跡を示す情報を含む解析結果情報２０４を生成する。なお、解析部１０５が解析対象とする第１の動画２０１Ａ及び第２の動画２０１Ｂは、上述した同期ずれ情報２０３を生成するために撮影された第１の動画２０１Ａ及び第２の動画２０１Ｂと異なるものであってよい。
　例えば、解析部１０５は、事前にキャリブレーション処理により求めた第1の携帯端末２０Ａ及び第２の携帯端末２０Ｂの各々のカメラパラメータ（世界座標をカメラ画像に変換するための透視投影変換行列による）と、第１のフレーム画像におけるボールの位置と、同期ずれ情報２０３によって補正された、当該第１のフレーム画像に同期する第２のフレーム画像におけるボールの位置とに基づいて、当該第１のフレーム画像及び第２のフレーム画像が撮影されたタイミングにおけるボールの３次元座標を特定する。解析部１０５は、このように特定したボールの３次元座標を時系列に並べることにより、３次元空間におけるボールの移動軌跡を特定する。解析部１０５は、その特定したボールの移動軌跡を示す情報を含む解析結果情報２０４を生成する。これにより、球技映像解析に特化した専用カメラではなく、携帯端末に搭載されたカメラを用いても、十分な精度で３次元空間におけるボールの移動軌跡を解析できる。
　結果表示部１０６は、解析結果情報２０４を、例えば表示端末３０に表示させる。なお、結果表示部１０６は、第１の携帯端末２０Ａ及び／又は第２の携帯端末２０Ｂに解析結果情報２０４を表示させてもよい。
　＜事前作業＞
　図５は、事前作業の一例を示すフローチャートである。事前作業とは、解析部１０５によって本番のアクションの解析を行う前に行われる作業であり、例えば、同期ずれ情報２０３を生成するために行われる作業である。
　ユーザは、プレイヤー及びボールを互いに異なる方向から撮影できる位置に第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂをそれぞれ設置する（Ｓ１０１）。
　ユーザは、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂをペアリングする（Ｓ１０２）。ペアリングの情報は、球技映像解析装置１００へ送信されてよい。
　ユーザは、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂに対して、事前作業に係る撮影の開始を指示する（Ｓ１０３）。これにより、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、撮影を開始する。
　プレイヤーはサーブを打つ（Ｓ１０４）。これにより、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、それぞれ、プレイヤーがサーブを打ってボールが飛んでいく第１の動画２０１Ａ及び第２の動画２０１Ｂを撮影できる。なお、ユーザとプレイヤーは同一人物であってもよい。
　ユーザは、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂに対して、事前作業に係る撮影の停止を指示する（Ｓ１０５）。第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、それぞれ、撮影の停止の指示を受け、第１の動画２０１Ａ及び第２の動画２０１Ｂを球技映像解析装置１００へ送信する。球技映像解析装置１００は、第１の動画２０１Ａから第１の基準フレーム画像を、第２の動画２０１Ｂから第２の基準フレーム画像を特定し、基準フレーム確認用ＵＩ３１０を表示端末３０に表示させる。
　ユーザは、表示端末３０に表示された基準フレーム確認用ＵＩ３１０から、第１の基準フレーム画像及び第２の基準フレーム画像を確認する（Ｓ１０６）。ユーザは、例えば、基準フレーム画像を変更する場合、基準フレーム確認用ＵＩ３１０を通じて、球技映像解析装置１００に対して、基準フレーム画像の変更を指示する。この場合、球技映像解析装置１００は、基準フレーム変更用ＵＩ３２０を表示端末３０に表示させる。
　なお、上記のＳ１０３、Ｓ１０５における撮影の開始及び停止の指示は、どちらか一方の携帯端末から行うことができてよい。例えば、第1の携帯端末２０Ａから撮影の開始及び停止の指示が行われた場合、この撮影の開始及び指示は、球技映像解析装置１００を介して、第２の携帯端末２０Ｂに自動で送信されてよい。
　ユーザは、表示端末３０に表示された基準フレーム変更用ＵＩ３２０を操作して、基準フレーム画像を変更する（Ｓ１０７）。なお、Ｓ１０６及びＳ１０７の詳細については後述する（図７、図８参照）。
　以上の処理により、球技映像解析装置１００は、ユーザによって確認及び修正された第１の基準フレーム画像及び第２の基準フレーム画像に基づいて、同期ずれ情報２０３を生成できる。
　＜事前作業に関する処理＞
　図６は、事前作業に関する処理の一例を示すシーケンスチャートである。図６は、図５におけるＳ１０６～Ｓ１０７の詳細な説明に相当する。
　動画受信部１０１は、第１の携帯端末２０Ａから第１の動画２０１Ａを受信し（Ｓ２０１）、第２の携帯端末２０Ｂから第２の動画２０１Ｂを受信する（Ｓ２０２）。
　画像変換部１０２は、第１の動画２０１Ａから第１のフレーム画像群２０２Ａを生成し、第２の動画２０１Ｂから第２のフレーム画像群２０２Ｂを生成する（Ｓ２０３）。
　基準フレーム特定部１０３は、第１のフレーム画像群２０２Ａの中から、アクションを構成する特定のサブアクションが撮影された第１の基準フレーム画像を探索する（Ｓ２０４）。例えば、基準フレーム特定部１０３は、前述のように、ボールの２次元（Ｘ方向、Ｙ方向）の移動軌跡の変化に基づいて、プレイヤーのサーブを打った手がボールに当たった瞬間が撮影された第１の基準フレーム画像を探索する。
　基準フレーム特定部１０３は、上記同様、第２のフレーム画像群２０２Ｂの中から、第２の基準フレーム画像を探索する（Ｓ２０５）。このとき、基準フレーム特定部１０３は、第１の基準フレーム画像のタイムコードから所定時間遡ったタイムコード以降の第２のフレーム画像群２０２Ｂを、第２の基準フレーム画像の探索範囲としてよい。これにより、第２のフレーム画像群２０２Ｂのすべてを探索範囲とする場合と比較して、探索に要する時間を短縮できる。
　基準フレーム特定部１０３は、第１の基準フレーム画像のタイムコード（第１の基準タイムコード）、及び、第２の基準フレーム画像のタイムコード（第２の基準タイムコード）を、同期ずれ情報２０３に書き込む（Ｓ２０６）。
　基準フレーム変更部１０４は、第１の基準フレーム画像及び第２の基準フレーム画像、並びに、基準フレーム確認用ＵＩ３１０を表示するための情報を、表示端末３０に送信する（Ｓ２０７）。
　表示端末３０は、第１の基準フレーム画像、第２の基準フレーム画像、及び、基準フレーム確認用ＵＩ３１０を表示する（Ｓ２０８）。なお、基準フレーム確認用ＵＩ３１０の詳細については後述する（図８参照）。
　Ｓ２０８にて表示された基準フレーム確認用ＵＩ３１０に対して、ユーザが、基準フレーム画像を変更しない旨の操作を行った場合、表示端末３０は、変更なしを示す指示情報を球技映像解析装置１００に送信する（Ｓ２０９）。
　基準フレーム変更部１０４は、変更なしを示す指示情報を受信した場合、Ｓ２０６にて書き込まれた同期ずれ情報２０３の内容を確定する（Ｓ２１０）。そして、球技映像解析装置１００は本処理を終了する。
　図７は、図６において基準フレーム画像を変更する旨の操作が行われた場合の事前作業に関する処理の一例を示すシーケンスチャートである。
　Ｓ２０８にて表示された基準フレーム確認用ＵＩ３１０に対して、ユーザが基準フレーム画像を変更する旨の操作を行った場合、表示端末３０は、変更ありを示す指示情報を、球技映像解析装置１００に送信する（Ｓ２２１）。
　基準フレーム変更部１０４は、変更ありを示す指示情報を受信した場合、次の処理を行う。すなわち、基準フレーム変更部１０４は、第１のフレーム画像群２０２Ａから、Ｓ２０４で探索した第１の基準フレーム画像の前後に撮影された複数の第１のフレーム画像を抽出し、それら抽出した複数の第１のフレーム画像を、第１の基準フレーム画像の候補とする。
　同様に、基準フレーム変更部１０４は、第２のフレーム画像群２０２Ｂから、Ｓ２０５で探索した第２の基準フレーム画像の前後に撮影された複数の第２のフレーム画像を抽出し、それら抽出した複数の第２のフレーム画像を、第２の基準フレーム画像の候補とする。そして、基準フレーム変更部１０４は、複数の第１の候補フレームの候補とこれらのタイムコード、複数の第２の基準フレーム画像の候補とこれらのタイムコード、及び、基準フレーム変更用ＵＩ３２０を表示するための情報を、表示端末３０に送信する（Ｓ２２２）。
　表示端末３０は、基準フレーム変更用ＵＩ３２０を表示する（Ｓ２２３）。なお、基準フレーム変更用ＵＩ３２０の詳細については後述する（図９参照）。
　ユーザは、Ｓ２２３にて表示された基準フレーム変更用ＵＩ３２０を操作して、複数の第１の基準フレーム画像の候補の中から、変更後の第１の基準フレーム画像を選択し、複数の第２の基準フレーム画像の候補の中から、変更後の第２の基準フレーム画像を選択する（Ｓ２２４）。
　表示端末３０は、Ｓ２２４にて選択された、変更後の第１の基準フレーム画像のタイムコード（以下「変更後の第１の基準タイムコード」という）、及び／又は、変更後の第２の基準フレーム画像のタイムコード（以下「変更後の第２の基準タイムコード」という）を、球技映像解析装置１００に送信する（Ｓ２２５）。
　基準フレーム変更部１０４は、表示端末３０から受信した、変更後の第１の基準タイムコード、及び／又は、変更後の第２の基準タイムコードを、同期ずれ情報２０３に上書きし、当該同期ずれ情報２０３の内容を確定する（Ｓ２２６）。これにより、基準フレーム特定部１０３によって自動的に生成された同期ずれ情報２０３の内容が、基準フレーム変更部１０４を通じてユーザによって変更された基準フレーム画像のタイムコードにて上書きされる。そして、球技映像解析装置１００は本処理を終了する。
　＜基準フレーム確認用ＵＩの詳細＞
　図８は、基準フレーム確認用ＵＩの詳細例を示す図である。
　図８に示すように、基準フレーム確認用ＵＩ３１０は、第１の画像表示領域２１０Ａ、第２の画像表示領域２１０Ｂ、ＯＫボタン３１２、変更ボタン３１３、及び、やり直しボタン３１４を含む。なお、基準フレーム確認用ＵＩ３１０は、変更ボタン３１３又はやり直しボタン３１４の何れか一方を含まなくてもよい。
　表示端末３０は、第１の画像表示領域２１０Ａに、図６のＳ２０７にて球技映像解析装置１００から送信された第１の基準フレーム画像を表示する。表示端末３０は、第２の画像表示領域２１０Ｂに、図６のＳ２０７にて球技映像解析装置１００から送信された第２の基準フレーム画像を表示する。図８に示すように、第１の画像表示領域２１０Ａと第２の画像表示領域２１０Ｂは、左右に並べて配置されてよい。ただし、第１の画像表示領域２１０Ａと第２の画像表示領域２１０Ｂの配置態様は、左右に並べられる配置に限られない。例えば、第１の画像表示領域２１０Ａと第２の画像表示領域２１０Ｂは、別々のウィンドウとして表示されてもよい。
　表示端末３０は、ＯＫボタン３１２が押下された場合、図６のＳ２０９における変更なしを示す指示情報を、球技映像解析装置１００に送信する。ユーザは、第１の画像表示領域２１０Ａに表示された第１の基準フレーム画像と、第２の画像表示領域２１０Ｂに表示された第２の基準フレーム画像とのいずれもが、正しくサブアクションが撮影された画像である場合、ＯＫボタン３１２を押下してよい。これにより、図６のＳ２１０に示すように、同期ずれ情報２０３の内容が確定される。
　表示端末３０は、変更ボタン３１３が押下された場合、図７のＳ２２１における変更ありを示す指示情報を、球技映像解析装置１００に送信する。ユーザは、第１の画像表示領域２１０Ａに表示された第１の基準フレーム画像と、第２の画像表示領域２１０Ｂに表示された第２の基準フレーム画像とのうちの少なくとも一方が、正しくサブアクションが撮影された画像でない場合、変更ボタン３１３を押下してよい。これにより、図７のＳ２２３に示すように、表示端末３０には、基準フレーム変更用ＵＩ３２０が表示される。
　表示端末３０は、やり直しボタン３１４が押下された場合、事前作業のやり直しを示す指示情報を球技映像解析装置１００に送信する。この指示を受信した場合、球技映像解析装置１００、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、図５のＳ１０３から事前作業をやり直す。例えば、Ｓ１０４のサーブに失敗した場合、第１の基準フレーム画像及び／又は第２の基準フレーム画像が明らかにプレイヤーによるサーブのボールとは別のボール（例えば床に転がっているボールや他のプレイヤーが練習中のボール等）を認識したものである場合、ユーザは、やり直しボタン３１４を押下してよい。
　なお、第１の基準フレーム画像には、Ｓ２０４にて探索された第１の基準フレーム画像の直前の３枚の第１のフレーム画像と、当該第１の基準フレームの直後の３枚の第１のフレーム画像とが含まれてよい。この場合、第１の基準フレーム画像は、Ｓ２０４にて探索された第１の基準フレーム画像も含めて、合計７枚となる。同様に、第２の基準フレーム画像には、Ｓ２０５にて探索された第２の基準フレーム画像の直前の３枚の第２のフレーム画像と、当該第２の基準フレーム画像の直後の３枚の第２のフレーム画像とが含まれてよい。この場合、第２の基準フレーム画像は、Ｓ２０５にて探索された第２の基準フレーム画像も含めて、合計７枚となる。
　この場合、表示端末３０は、第１の画像表示領域２１０Ａ及び第２の画像表示領域２１０Ｂにおいて、それぞれ、７枚の第１の基準フレーム画像、及び、７枚の第２の基準フレーム画像を、同期させて連続的に表示してもよい。
　なお、上記の７枚は一例であり、複数の第１及び第２の基準フレーム画像の枚数はいくつであってもよい。また、複数の第１及び第２の基準フレーム画像は、１フレームずつ連続する場合に限られず、所定のフレーム間隔でスキップされたものであってもよい。
　これにより、ユーザは、１枚の第１の基準フレーム画像と第２の基準フレーム画像との間の同期を確認するだけでなく、複数枚の第１の基準フレーム画像と第２の基準フレーム画像との間の同期を容易に確認することができる。
　なお、図８に示した基準フレーム確認用ＵＩ３１０を表示端末３０へ表示する例を示したが、この基準フレーム確認用ＵＩ３１０を、第1の携帯端末２０Ａ又は第２の携帯端末２０Ｂのいずれか一方に表示させてもよい。あるいは、第１の基準フレーム画像に対する基準フレーム確認用ＵＩ３１０を第1の携帯端末２０Ａに表示させ、第２の基準フレーム画像に対する基準フレーム確認用ＵＩ３１０を第２の携帯端末２０Ｂに表示させてもよい。
　＜基準フレーム変更用ＵＩの詳細＞
　図９は、基準フレーム変更用ＵＩの詳細例を示す図である。
　図９に示すように、基準フレーム変更用ＵＩ３２０は、第１の画像表示領域２１０Ａ、第２の画像表示領域２１０Ｂ、ＯＫボタン３２２、及び、戻りボタン３２３を含む。さらに、基準フレーム変更用ＵＩ３２０は、第１の画像表示領域２１０Ａに対応する、１フレーム戻りボタン３２４Ａ、Ｎフレーム戻りボタン３２５Ａ、１フレーム進みボタン３２６Ａ、Ｎフレーム進みボタン３２７Ａを含む。ここで、Ｎは２以上の予め定められた整数である。さらに、基準フレーム変更用ＵＩ３２０は、第２の画像表示領域２１０Ｂに対応する、１フレーム戻りボタン３２４Ｂ、Ｎフレーム戻りボタン３２５Ｂ、１フレーム進みボタン３２６Ｂ、Ｎフレーム進みボタン３２７Ｂを含む。
　表示端末３０は、戻りボタン３２３が押下された場合、図８に示す基準フレーム確認用ＵＩ３１０の表示に戻る。
　表示端末３０は、１フレーム戻りボタン３２４Ａが押下された場合、第１の画像表示領域２１０Ａに表示中の第１の基準フレーム画像の候補よりも１フレーム以前の第１の基準フレーム画像の候補を、第１の画像表示領域２１０Ａに表示する。なお、第２の画像表示領域２１０Ｂに対応する１フレーム戻りボタン３２４Ｂについても同様である。
　表示端末３０は、Ｎフレーム戻りボタン３２５Ａが押下された場合、第１の画像表示領域２１０Ａに表示中の第１の基準フレーム画像の候補よりもＮフレーム以前の第１の基準フレーム画像の候補を、第１の画像表示領域２１０Ａに表示する。なお、第２の画像表示領域２１０Ｂに対応するＮフレーム戻りボタン３２５Ｂについても同様である。
　表示端末３０は、１フレーム進みボタン３２６Ａが押下された場合、第１の画像表示領域２１０Ａに表示中の第１の基準フレーム画像の候補よりも１フレーム以後の第１の基準フレーム画像の候補を、第１の画像表示領域２１０Ａに表示する。なお、第２の画像表示領域２１０Ｂに対応する１フレーム進みボタン３２６Ｂについても同様である。
　表示端末３０は、Ｎフレーム進みボタン３２７Ａが押下された場合、第１の画像表示領域２１０Ａに表示中の第１の基準フレーム画像の候補よりもＮフレーム以後の第１の基準フレーム画像の候補を、第１の画像表示領域２１０Ａに表示する。なお、第２の画像表示領域２１０Ｂに対応するＮフレーム進みボタン３２７Ｂについても同様である。
　ユーザは、第１の画像表示領域２１０Ａ及び第２の画像表示領域２１０Ｂのいずれにも、正しくサブアクションが撮影された画像が表示されるように、上述した各ボタン３２４Ａ～３２７Ａ、３２４Ｂ～３２７Ｂを操作してよい。
　表示端末３０は、ＯＫボタン３２２が押下された場合、第１の画像表示領域２１０Ａに表示中の第１の基準フレーム画像の候補のタイムコード（変更後の第１の基準タイムコード）、及び、第２の画像表示領域２１０Ｂに表示中の第２の基準フレーム画像の候補のタイムコード（変更後の第２の基準タイムコード）を、球技映像解析装置１００へ送信する。この処理は、図７のＳ２２５に相当する。ユーザは、第１の画像表示領域２１０Ａ及び第２の画像表示領域２１０Ｂのいずれにも正しくサブアクションが撮影された画像が表示されるように操作した後、ＯＫボタン３２２を押下してよい。
　＜解析結果画面＞
　図１０は、解析結果の表示例を示す図である。
　第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、プレイヤーのサーブの練習を撮影し、それぞれ、第１の動画２０１Ａ及び第２の動画２０１Ｂを生成及び送信する。なお、この第１の動画２０１Ａ及び第２の動画２０１Ｂは、事前作業のために撮影された第１の動画２０１Ａ及び第２の動画２０１Ｂとは異なるものであってよい。
　解析部１０５は、サーブの練習が撮影された第１の動画２０１Ａ及び第２の動画２０１Ｂとの間のフレーム画像の同期ずれを同期ずれ情報２０３に基づいて補正した上で、ボールの移動軌跡を解析し、解析結果情報２０４を生成する。例えば、同期ずれ情報２０３において、第２の基準タイムコードが第１の基準タイムコードよりも以後である場合、解析部１０５は、第２の基準タイムコードと第１の基準タイムコードとの間の差分時間の分、第１の動画２０１Ａの各フレーム画像を遅らせる補正を行った上で、第１の動画２０１の各フレーム画像と第２の動画２０１Ｂの各フレーム画像とを同期させて、ボールの移動軌跡を解析する。これにより、第２の携帯端末２０Ｂによるタイムコード付与の遅れが補正され、十分な精度のボールの移動軌跡を算出できる。
　結果表示部１０６は、解析結果情報２０４に基づく解析結果画面３３０を、表示端末３０に表示させる。例えば、解析結果画面３３０には、図１０に示すように、第１の動画２０１Ａ又は第２の動画２０１Ｂの再生に対して、解析結果情報２０４が示すボールの移動軌跡３３１が重畳表示されてよい。加えて、解析結果画面３３０には、手で打たれたボールが手から離れた瞬間のボールの高さ及び速度が表示されてもよい。加えて、解析結果画面３３０には、ボールがネット上を通過する瞬間のボールの高さ及び速度が表示されてもよい。
　これにより、プレイヤーは、解析結果画面３３０から、サーブのときの体の動きに加えて、そのサーブによるボールの移動軌跡を詳細に確認できる。
　なお、上述では、事前作業として、予め同期調整用の動画を撮影し、同期調整及び確認を行ってから、解析処理用の動画を撮影して、ボールの軌跡等が重畳された動画を解析結果として表示させる例を説明した。しかし、本実施の形態は、同期調整用の動画と解析処理用の動画とを区別することなく、例えば、最初に撮影した動画において、連続して同期調整と解析処理とを行う構成であってもよい。さらに、同期ずれの検出を自動化し、順次撮影した動画に対する解析処理を行う中、任意のタイミングで同期調整を実行するようにしてもよい。
　＜変形例＞
　上述では、フレーム同期のずれを示す情報として、第１の携帯端末２０Ａが第１のフレーム画像に付与した第１のタイムコードと、第２の携帯端末２０Ｂが第２のフレーム画像に付与した第２のタイムコードとを用いる例を説明した。しかし、フレーム同期のずれを示す情報は、タイムコードに限られない。
　例えば、フレーム同期のずれを示す情報として、第１の携帯端末２０Ａが生成した第１の動画２０１Ａにおける第１のフレーム画像のフレーム番号（以下「第１のフレーム番号」という）と、第２の携帯端末２０Ｂが生成した第２の動画２０１Ｂにおけるフレーム画像（以下「第２のフレーム番号」という）とを用いてもよい。この場合、基準フレーム特定部１０３は、第１の基準フレーム画像の第１のフレーム番号（以下「第１の基準フレーム番号」という）と、第２の基準フレーム画像の第２のフレーム番号（以下「第２の基準フレーム番号」という）とを、同期ずれ情報２０３に書き込んでよい。そして、基準フレーム変更部１０４は、基準フレーム変更用ＵＩ３２０を通じて選択された、変更後の第１の基準フレーム画像のフレーム番号（以下「変更後の第１の基準フレーム番号」という）、及び／又は、変更後の第２の基準フレーム画像のフレーム番号（以下「変更後の第２の基準フレーム番号」という）を、同期ずれ情報２０３に上書きしてもよい。
　＜ハードウェア構成＞
　以上、本開示に係る実施形態について図面を参照して詳述した。なお、上述した第１の携帯端末２０Ａ、第２の携帯端末２０Ｂ、表示端末３０、及び、球技映像解析装置１００の機能は、コンピュータプログラムにより実現され得る。
　図１１は、球技映像解析装置１００の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。
　このコンピュータ１０００Ａは、キーボード又はマウス、タッチパッドなどの入力装置１００１、ディスプレイ又はスピーカーなどの出力装置１００２、ＣＰＵ（Central Processing Unit）１００３、ＧＰＵ（Graphics Processing Unit）１００４、ＲＯＭ（Read Only Memory）１００５、ＲＡＭ（Random Access Memory）１００６、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）又はフラッシュメモリなどの記憶装置１００７、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１００８、通信ネットワークＮを介して有線又は無線にて通信を行う送受信装置１００９を備え、各部は、バス１０１０により接続される。
　そして、読取装置１００８は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１００７に記憶させる。あるいは、送受信装置１００９が、通信ネットワークＮに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置１００７に記憶させる。
　そして、ＣＰＵ１００３が、記憶装置１００７に記憶されたプログラムをＲＡＭ１００６にコピーし、そのプログラムに含まれる命令をＲＡＭ１００６から順次読み出して実行することにより、上記各装置の機能が実現される。
　図１２は、第１の携帯端末２０Ａ、第２の携帯端末２０Ｂ及び表示端末３０の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。なお、図１１にて説明済みの構成要素については、同じ参照符号を付して説明を省略する場合がある。
　このコンピュータ１０００Ｂは、入力装置１００１、出力装置１００２、ＣＰＵ１００３、ＧＰＵ１００４、ＲＯＭ１００５、ＲＡＭ１００６、記憶装置１００７、読取装置１００８、送受信装置１００９、カメラ装置１０１１を備え、各部は、バス１０１０により接続される。
　カメラ装置１０１１は、撮像素子を備え、撮像画像（動画及び静止画）を生成する。生成された撮像画像は記憶装置１００７に記憶される。記憶装置１００７に記憶された撮像画像は、送受信装置１００９及び通信ネットワークＮを通じて外部のサーバ等に送信されてよい。
　上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
　（本開示のまとめ）
　本開示に係る、球技映像解析装置（１００）は、球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画（２０１Ａ）及び第２の動画（２０１Ｂ）を受信する受信部（１０１）と、第１の動画及び前記第２の動画の各々から、アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、第１の動画から特定された基準フレーム画像である第１の基準フレーム画像と第２の動画から特定された基準フレーム画像である第２の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報（２０３）を生成する基準フレーム特定部（１０３）と、第１の動画と第２の動画との間のフレーム画像の同期ずれを同期ずれ情報に基づいて補正し、移動体の移動軌跡を特定する解析部（１０５）と、を備える。
　この構成によれば、特定のサブアクションが撮影された第１の基準フレーム画像と第２の基準フレーム画像との間の時間のずれを示す同期ずれ情報が生成される。よって、第１の動画及び第２の動画を撮影したカメラが、球技映像解析に特化した専用カメラでなかったとしても、同期ずれ情報に基づいて、第１の動画及び第２の動画との間のフレーム画像の同期ずれを補正できるので、十分な精度で移動体の移動軌跡を特定できる。
　また、基準フレーム特定部（１０３）は、第１の基準フレーム画像及び第２の基準フレーム画像をユーザに提示する基準フレーム確認用ＵＩ（３１０）を生成及び出力してよい。
　この構成によれば、ユーザは基準フレーム確認用ＵＩを通じて、第１の基準フレーム画像及び第２の基準フレーム画像を確認できるので、誤った基準フレーム画像によって同期ずれ情報が生成されることを防止できる。
　また、基準フレーム確認用ＵＩ（３１０）を通じてユーザから基準フレームの変更の指示を受信した場合、ユーザが第１の基準フレーム画像及び／又は第２の基準フレーム画像を変更するための基準フレーム変更用ＵＩ（３２０）を生成及び出力する基準フレーム変更部（１０４）、をさらに備えてよい。
　この構成によれば、ユーザは基準フレーム変更用ＵＩ（３２０）を通じて、第１の基準フレーム画像及び／又は第２の基準フレーム画像を変更できるので、正しい基準フレーム画像によって同期ずれ情報を生成できる。
　また、基準フレーム特定部（１０３）は、第１の動画（２０１Ａ）及び第２の動画（２０１Ｂ）の再撮影を行うか否かの指示を受け付ける基準フレーム確認用ＵＩ（３１０）を生成及び出力してよい。
　この構成によれば、ユーザは基準フレーム確認用ＵＩを通じて、基準フレーム画像を特定するための第１の動画及び第２の動画を再撮影できるので、誤った基準フレーム画像によって同期ずれ情報が生成されることを防止できる。
　また、第１の動画及び第２の動画は、それぞれ、カメラ及び無線通信装置を備えた第１の携帯端末（２０Ａ）及び第２の携帯端末（２０Ｂ）にて撮影されたものであってよい。
　この構成によれば、球技映像解析に特化した専用カメラではなく、第１の携帯端末及び第２の携帯端末を用いて、十分な精度で移動体の移動軌跡を解析できる。
　また、球技映像解析装置（１００）は、第１の基準フレーム画像及び第２の基準フレーム画像、並びに、解析部（１０５）による解析の結果を示す情報を、第３の携帯端末（３０）に出力する結果表示部（１０６）をさらに備えてよい。
　この構成によれば、解析の結果を示す情報が、第３の携帯端末（３０）に表示されるので、ユーザは、第１の携帯端末（２０Ａ）及び第２の携帯端末（２０Ｂ）を人物のアクションの撮影用に設置し、第１の携帯端末及び第２の携帯端末に触れることなく、第３の携帯端末（３０）から解析の結果を示す情報を確認できる。
　また、球技はバレーボールであり、移動体は前記バレーボールのボールであり、アクションはバレーボールのサーブであり、サブアクションはサーブを行った人物の手がボールに当たった瞬間であってよい。
　この構成によれば、サーブを行った人物の手がボールに当たった瞬間が撮影されたフレーム画像を、基準フレーム画像として特定できる。よって、第１の動画及び第２の動画を撮影したカメラが、球技映像解析に特化した専用カメラでなかったとしても、バレーボールのボールの移動軌跡を十分な精度で特定できる。
　以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。
　なお、本出願は、２０２０年３月９日出願の日本特許出願（特願２０２０－０３９７６０）に基づくものであり、その内容は本出願の中に参照として援用される。
　本開示の技術は、移動体を用いたスポーツの解析に利用可能である。
　１０　球技映像解析システム
　２０Ａ　第１の携帯端末
　２０Ｂ　第２の携帯端末
　３０　表示端末
　１００　球技映像解析装置
　１０１　動画受信部
　１０２　画像変換部
　１０３　基準フレーム特定部
　１０４　基準フレーム変更部
　１０５　解析部
　１０６　結果表示部
　２０１Ａ　第１の動画
　２０１Ｂ　第２の動画
　２０２Ａ　第１のフレーム画像群
　２０２Ｂ　第２のフレーム画像群
　２０３　同期ずれ情報
　２０４　解析結果情報
　２１０Ａ　第１の画像表示領域
　２１０Ｂ　第２の画像表示領域
　２１１Ａ、２１１Ｂ　ボールの検出領域
　３１０　基準フレーム確認用ＵＩ
　３１２　ＯＫボタン
　３１３　変更ボタン
　３１４　やり直しボタン
　３２０　基準フレーム変更用ＵＩ
　３２２　ＯＫボタン
　３２３　戻るボタン
　３２４Ａ、３２４Ｂ　１フレーム戻りボタン
　３２５Ａ、３２５Ｂ　Ｎフレーム戻りボタン
　３２６Ａ、３２６Ｂ　１フレーム進みボタン
　３２７Ａ、３２７Ｂ　Ｎフレーム進みボタン
　３３０　解析結果画面
　３３１　ボールの移動軌跡
　１０００Ａ、１０００Ｂ　コンピュータ
　１００１　入力装置
　１００２　出力装置
　１００３　ＣＰＵ
　１００４　ＧＰＵ
　１００５　ＲＯＭ
　１００６　ＲＡＭ
　１００７　記憶装置
　１００８　読取装置
　１００９　送受信装置
　１０１０　バス
　１０１１　カメラ装置
 

Claims (9)

  1. 　球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画を受信する受信部と、
    　前記第１の動画及び前記第２の動画の各々から、前記アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、前記第１の動画から特定された前記基準フレーム画像である第１の基準フレーム画像と前記第２の動画から特定された前記基準フレーム画像である第２の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報を生成する基準フレーム特定部と、
    　第１の動画と第２の動画との間のフレーム画像の同期ずれを前記同期ずれ情報に基づいて補正し、前記移動体の移動軌跡を特定する解析部と、を備えた、
    　球技映像解析装置。
  2. 　前記基準フレーム特定部は、前記第１の基準フレーム画像及び前記第２の基準フレーム画像をユーザに提示する基準フレーム確認用ＵＩ（User Interface）を生成及び出力する、
    　請求項１に記載の球技映像解析装置。
  3. 　前記基準フレーム確認用ＵＩを通じて前記ユーザから基準フレームの変更の指示を受信した場合、前記ユーザが前記第１の基準フレーム画像及び／又は前記第２の基準フレーム画像を変更するための基準フレーム変更用ＵＩを生成及び出力する基準フレーム変更部、をさらに備えた、
    　請求項２に記載の球技映像解析装置。
  4. 　前記基準フレーム特定部は、前記第１の動画及び前記第２の動画の再撮影を行うか否かの指示を受け付ける基準フレーム確認用ＵＩを生成及び出力する、
    　請求項１に記載の球技映像解析装置。
  5. 　前記第１の動画及び前記第２の動画は、それぞれ、カメラ及び無線通信装置を備えた第１の携帯端末及び第２の携帯端末にて撮影されたものである、
    　請求項２から４のいずれか１項に記載の球技映像解析装置。
  6. 　前記第１の基準フレーム画像及び前記第２の基準フレーム画像、並びに、前記解析部による解析の結果を示す情報を、第３の携帯端末に出力する結果表示部、をさらに備えた、
    　請求項５に記載の球技映像解析装置。
  7. 　前記球技はバレーボールであり、
    　前記移動体は前記バレーボールのボールであり、
    　前記アクションは前記バレーボールのサーブであり、
    　前記サブアクションは前記サーブを行った前記人物の手が前記ボールに当たった瞬間である、
    　請求項１から６のいずれか１項に記載の球技映像解析装置。
  8. 　装置が、
    　球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画を受信し、
    　前記第１の動画及び前記第２の動画の各々から、前記アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、前記第１の動画から特定された前記基準フレーム画像である第１の基準フレーム画像と前記第２の動画から特定された前記基準フレーム画像である第２の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報を生成し、
    　第１の動画と第２の動画との間のフレーム画像の同期ずれを前記同期ずれ情報に基づいて補正し、前記移動体の移動軌跡を特定する、
    　球技映像解析方法。
  9. 　球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画を受信し、
    　前記第１の動画及び前記第２の動画の各々から、前記アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、前記第１の動画から特定された前記基準フレーム画像である第１の基準フレーム画像と前記第２の動画から特定された前記基準フレーム画像である第２の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報を生成し、
    　第１の動画と第２の動画との間のフレーム画像の同期ずれを前記同期ずれ情報に基づいて補正し、前記移動体の移動軌跡を解析する、
    　処理をコンピュータに実行させる、コンピュータプログラム。
PCT/JP2021/006501 2020-03-09 2021-02-19 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム WO2021182081A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-039760 2020-03-09
JP2020039760A JP7429887B2 (ja) 2020-03-09 2020-03-09 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2021182081A1 true WO2021182081A1 (ja) 2021-09-16

Family

ID=77668770

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/006501 WO2021182081A1 (ja) 2020-03-09 2021-02-19 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム

Country Status (2)

Country Link
JP (1) JP7429887B2 (ja)
WO (1) WO2021182081A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008199557A (ja) * 2007-02-16 2008-08-28 Nec Corp ストリーム同期再生システム、ストリーム同期再生装置、同期再生方法、及び同期再生用プログラム
JP2015082817A (ja) * 2013-10-24 2015-04-27 ソニー株式会社 情報処理装置、記録媒体、および情報処理方法
WO2019225415A1 (ja) * 2018-05-21 2019-11-28 パナソニックＩｐマネジメント株式会社 球技映像解析装置、及び、球技映像解析方法
JP2020031406A (ja) * 2018-08-24 2020-02-27 独立行政法人日本スポーツ振興センター 判定システム、及び判定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008199557A (ja) * 2007-02-16 2008-08-28 Nec Corp ストリーム同期再生システム、ストリーム同期再生装置、同期再生方法、及び同期再生用プログラム
JP2015082817A (ja) * 2013-10-24 2015-04-27 ソニー株式会社 情報処理装置、記録媒体、および情報処理方法
WO2019225415A1 (ja) * 2018-05-21 2019-11-28 パナソニックＩｐマネジメント株式会社 球技映像解析装置、及び、球技映像解析方法
JP2020031406A (ja) * 2018-08-24 2020-02-27 独立行政法人日本スポーツ振興センター 判定システム、及び判定方法

Also Published As

Publication number Publication date
JP2021140643A (ja) 2021-09-16
JP7429887B2 (ja) 2024-02-09

Similar Documents

Publication Publication Date Title
US8358346B2 (en) Video processing device, video processing method, and program
JP6213146B2 (ja) 情報処理装置、記録媒体、および情報処理方法
US9367746B2 (en) Image processing apparatus for specifying an image relating to a predetermined moment from among a plurality of images
US20100194891A1 (en) Video processing device, video processing method, and program
WO2019225415A1 (ja) 球技映像解析装置、及び、球技映像解析方法
US20070064975A1 (en) Moving object measuring apparatus, moving object measuring system, and moving object measurement
US10382704B2 (en) Image processing device that generates a composite image
JP6720587B2 (ja) 映像処理装置、映像処理方法および映像処理プログラム
CN111866575B (zh) 一种实时动作视频智能捕捉与反馈方法及系统
US20210168411A1 (en) Storage medium, video image generation method, and video image generation system
WO2021187193A1 (ja) 球技映像解析装置、球技映像解析システム、球技映像解析方法、及び、コンピュータプログラム
KR101540771B1 (ko) Ａｒ 글래스를 이용한 스포츠 경기 판정 시스템 및 방법
WO2021182081A1 (ja) 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム
KR101802783B1 (ko) 골프 스윙 표시 방법, 이를 수행하는 모바일 장치 및 이를 포함하는 골프 스윙 분석 시스템
KR101701632B1 (ko) 판정 방법 및 장치
KR102454801B1 (ko) 스포츠 중계를 위한 영상을 결정하는 장치, 방법 및 명령을 기록한 기록 매체
US10950276B2 (en) Apparatus and method to display event information detected from video data
JP6941769B2 (ja) 動画分割方法、動画分割装置および動画処理システム
WO2020071092A1 (ja) プレイ分析装置、及び、プレイ分析方法
JP2021150668A (ja) 解析情報修正装置、解析情報修正方法、及び、コンピュータプログラム
KR101102926B1 (ko) 스포츠 영상 분석 시스템
KR101231587B1 (ko) 영상 비교 처리 장치
EP3882853A1 (en) Image processing method and apparatus
WO2020071155A1 (ja) プレイ分析装置、及び、プレイ分析方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21768226

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21768226

Country of ref document: EP

Kind code of ref document: A1