WO2022215116A1 - 情報処理プログラム、装置、及び方法 - Google Patents

情報処理プログラム、装置、及び方法 Download PDF

Info

Publication number
WO2022215116A1
WO2022215116A1 PCT/JP2021/014499 JP2021014499W WO2022215116A1 WO 2022215116 A1 WO2022215116 A1 WO 2022215116A1 JP 2021014499 W JP2021014499 W JP 2021014499W WO 2022215116 A1 WO2022215116 A1 WO 2022215116A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
ice
athlete
height
information processing
Prior art date
Application number
PCT/JP2021/014499
Other languages
English (en)
French (fr)
Inventor
公治 中村
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to KR1020237032930A priority Critical patent/KR20230147733A/ko
Priority to EP21935924.7A priority patent/EP4300948A1/en
Priority to PCT/JP2021/014499 priority patent/WO2022215116A1/ja
Priority to JP2023512507A priority patent/JPWO2022215116A1/ja
Priority to CN202180096595.3A priority patent/CN117203956A/zh
Publication of WO2022215116A1 publication Critical patent/WO2022215116A1/ja
Priority to US18/476,925 priority patent/US20240020976A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Definitions

  • the disclosed technology relates to an information processing program, an information processing device, and an information processing method.
  • predetermined scenes are cut out from video during sports competitions.
  • the predetermined scene is, for example, a scene including the moment of impact with a ball in golf, baseball, tennis, or the like, or a scene including jumping or landing in gymnastics.
  • an information processing device that identifies a decisive moment from the continuous motion of a subject and extracts it as an image.
  • the device receives sensor data from a sensor attached to the user or an object that contacts the user, and time information corresponding to the sensor data. Also, this device identifies the time when a predetermined motion pattern occurred in the user or object based on the sensor data and the time information. Then, according to the specified time, the device selects one or more images from a series of images including the user or the object taken at predetermined time intervals.
  • the disclosed technique aims at estimating the ice take-off time and ice landing time of a jump in figure skating.
  • the technology disclosed obtains images captured by each of a plurality of cameras that capture an athlete on a skating rink from two intersecting directions.
  • the disclosed technique specifies the height of at least a part of the athlete and the equipment worn by the athlete in each of the plurality of frames included in the video. Then, based on the change in height, the disclosed technology calculates the ice takeoff time and the ice landing time of the jump performed by the athlete from the frame corresponding to the ice takeoff time and the ice landing time. presume.
  • it has the effect of being able to estimate the ice take-off time and ice landing time of a jump in figure skating.
  • FIG. 1 is a schematic diagram of an information processing system according to first and third embodiments;
  • FIG. 1 is a functional block diagram of an information processing device according to first and third embodiments;
  • FIG. 10 is a diagram for explaining selection of an optimum identification camera;
  • FIG. FIG. 4 is a diagram for explaining calculation of the positions of the tip and the terminal end of a blade as predetermined parts;
  • FIG. 4 is a diagram for explaining estimation of ice take-off time and ice accretion time in the first embodiment; It is a figure for demonstrating specification of a reference line.
  • 1 is a block diagram showing a schematic configuration of a computer functioning as an information processing device;
  • FIG. 4 is a flow chart showing an example of an information processing routine in the first embodiment;
  • FIG. 7 is a functional block diagram of an information processing device according to a second embodiment
  • FIG. 11 is a diagram for explaining estimation of ice take-off time in the second embodiment
  • FIG. 11 is a diagram for explaining estimation of icing time in the second embodiment
  • FIG. 4 is a diagram for explaining how to identify the take-off point and the ice-landing point
  • FIG. 5 is a diagram for explaining specific details of the take-off point
  • FIG. 10 is a diagram showing a rotation angle ⁇ calculated from each frame included in a jump section
  • FIG. 15 is an enlarged view of a portion indicated by a dashed frame in FIG. 14
  • 9 is a flow chart showing an example of an information processing routine in the second embodiment
  • an information processing system 100 includes an information processing device 10, a tracking camera 20, and an identification camera 22.
  • FIG. 1 An information processing system 100 according to the first embodiment includes an information processing device 10, a tracking camera 20, and an identification camera 22.
  • the tracking camera 20 is, for example, a motion tracking imaging device that captures an image that can identify the position of the athlete 32 on the skating rink 30 .
  • a plurality of (for example, two) tracking cameras 20 are installed on the ceiling, side wall, or the like of the venue.
  • the identification camera 22 is a photographing device that photographs the athlete 32 on the skating rink 30 from two intersecting directions.
  • the identification camera 22 includes a plurality of first cameras 22A installed along the short side of the skating rink 30 so that the shooting direction is parallel to the long axis direction of the skating rink 30 .
  • the identification camera 22 also includes a plurality of second cameras 22B installed along the long side of the skating rink 30 so that the shooting direction is parallel to the short axis direction of the skating rink.
  • first camera 22A and the second camera 22B are described without distinction, they are referred to as "specifying camera 22".
  • position coordinates of the position where the shooting direction of the first camera 22A and the shooting direction of the second camera 22B intersect on the xy plane in which the skating rink 30 is viewed from above. are specified for each.
  • the position coordinates of the position where the imaging direction of the i-th first camera 22A and the imaging direction of the j-th second camera 22B intersect are assumed to be (x c — ij , y c — ij ).
  • Each of the tracking camera 20 and the identification camera 22 outputs images captured at a predetermined frame rate (eg, 120 fps).
  • the output video includes a plurality of frames, and each frame is associated with time information. Each video is temporally synchronized based on the time information. Note that the numbers of the tracking cameras 20 and the identification cameras 22 are not limited to the examples in FIGS.
  • the information processing device 10 functionally includes an acquisition unit 12, an identification unit 14, an estimation unit 16, and a calculation unit 18, as shown in FIG.
  • the acquisition unit 12 acquires the video output from the tracking camera 20 .
  • the acquisition unit 12 acquires the position of the athlete 32 on the skating rink 30 by motion tracking from the acquired video.
  • the acquisition unit 12 recognizes the athlete 32 who is the object of motion tracking for each frame of the video captured by each tracking camera 20 .
  • the acquisition unit 12 recognizes the athlete 32 from each frame based on the characteristics of the athlete 32 or the clothing worn by the athlete 32, such as the color and shape.
  • the acquisition unit 12 may also recognize the moving object indicated by the difference between frames as the player 32 .
  • the acquisition unit 12 calculates the position of the player 32 recognized in each frame for each frame.
  • the acquisition unit 12 generates trajectory information by tracking the position of the player 32 in each frame.
  • the position of the player 32 may be calculated three-dimensionally or may be calculated two-dimensionally.
  • a case of calculating the position coordinates (x p , y p ) of the recognized player 32 on the xy plane in which the skating rink 30 is viewed from above will be described.
  • the acquisition unit 12 selects the optimum identification camera 22 for the position of the player 32 from among the identification cameras 22, and obtains the image captured by the selected identification camera 22. Specifically, the acquisition unit 12 selects each of the first camera 22A and the second camera 22B where the position where the photographing direction of the first camera 22A and the photographing direction of the second camera 22B intersect is closest to the position of the athlete. Get the video captured by
  • the acquisition unit 12 obtains the position coordinates (x Identify the position coordinates (x c — ij , y c — ij ) that are closest to p , y p ). Then, the acquiring unit 12 obtains the frame n and the time information of the video captured by each of the i-th first camera 22A and the j-th second camera B corresponding to the specified (x c — ij , y c — ij ). Get frames to sync. For example, as shown in FIG. 3, assume that the position coordinates (x c — 24 , y c — 24 ) are closest to the position coordinates (x p , y p ) of the player 32 . In this case, the acquiring unit 12 acquires frames of images captured by each of the second first camera 22A and the fourth second camera 22B (cameras indicated by hatching in FIG. 3).
  • the acquisition unit 12 delivers the acquired frames to the identification unit 14 and delivers the generated trajectory information to the calculation unit 18 .
  • the identifying unit 14 identifies the height of the athlete 32 and the height of at least a part of the equipment worn by the athlete 32 in each of the frames delivered from the acquiring unit 12 .
  • the specifying unit 14 three-dimensionally analyzes each of the frames delivered from the acquisition unit 12, and determines the three-dimensional position (x, y , z).
  • z is the height of the predetermined portion.
  • the predetermined portions include the leading edge 34 and the trailing edge 36 of the blade of the skate shoe worn by the athlete 32, as shown in FIG.
  • the predetermined parts may include each joint of the player 32, the head, and parts of the face such as the eyes, nose, and mouth.
  • an existing method such as a recognition method using the shape of the predetermined part or a recognition method using a human body skeleton model may be used.
  • the identifying unit 14 transfers the height z of the predetermined part calculated for each frame to the estimating unit 16 and transfers the three-dimensional position (x, y, z) of the predetermined part to the calculating unit 18 .
  • the estimating unit 16 calculates the take-off time of the jump from the frame corresponding to the take-off and the frame corresponding to the landing of the jump performed by the athlete 32, based on the change in the height of the predetermined portion specified for each frame. and estimate the icing time. Specifically, as shown in FIG. 5, the estimating unit 16 determines the frame in which the height of the predetermined portion exceeds the reference value indicating the height at the time of icing, or the time of the previous frame exceeding the reference value. Information is estimated as ice-off time. The estimating unit 16 also estimates the time information of the frame in which the height of the predetermined part returns to the reference value after exceeding the reference value or the frame immediately before returning to the reference value as the icing time.
  • the reference value may be, for example, a value obtained by adding a margin to the average of the heights of predetermined parts specified in advance from images in which it is known that the athlete 32 is on ice.
  • the height z of the predetermined portion identified from the frame FT1 is below the reference value, and the height z of the predetermined portion identified from the next frame FT2 exceeds the reference value. Therefore, the time information tT1 of the frame FT1 or the time information tT2 of the frame FT2 is estimated as the ice break-off time. Also, the height z of the predetermined portion identified from the frame FL2 exceeds the reference value, and the height z of the predetermined portion identified from the next frame FL1 is below the reference value. Therefore, the time information tL1 of the frame FL1 or the time information tL2 of the frame FL2 is estimated as the icing time. The estimating unit 16 transfers the estimated ice take-off time and ice accretion time to the calculator 18 .
  • the calculation unit 18 calculates the absolute angle of the blade with respect to the shooting direction of the identification camera 22 using the positions of the leading edge 34 and trailing edge 36 of the blade identified from each of the frames of the ice release time and the ice accretion time. do. For example, the calculation unit 18 calculates the angle between the photographing direction of the identification camera 22 or a line perpendicular to the photographing direction and the line connecting the tip 34 and the terminal end 36 of the blade, that is, the direction of the blade, as the absolute angle of the blade. can be calculated as Frames captured by the first camera 22A and the second camera 22B are used as the identifying camera 22 to identify the tip 34 and the terminal end 36 of the blade. Therefore, the calculation unit 18 determines one of the first camera 22A and the second camera 22B as the main identification camera 22, and determines the absolute angle of the blade based on the photographing direction of the main identification camera 22. should be calculated.
  • the calculation unit 18 also converts the absolute angle of the blade into an angle with respect to the reference line for determining insufficient rotation of the jump (hereinafter referred to as "rotation angle ⁇ "). Specifically, the calculator 18 calculates the ice takeoff point A and the ice accretion point based on the trajectory information received from the acquirer 12 and the ice takeoff time and ice accretion time received from the estimator 16 . Identify the location of each of B. More specifically, in the trajectory information, the calculation unit 18 specifies the position coordinates of the player 32 specified from the frame whose time information is the ice takeoff time as the ice takeoff point A, and uses the ice landing time as the time information. The position coordinates of the athlete 32 specified from the frame are specified as the ice landing point B.
  • the calculation unit 18 specifies a straight line passing through the ice takeoff point A and the ice landing point B as the reference line (AB) for judging the rotation of the jump.
  • the calculation unit 18 subtracts the angle difference between the specified reference line (AB) and the line based on the photographing direction of the main specifying camera 22 from the absolute angle of the blade to obtain the rotation angle ⁇ of the blade. calculate.
  • the calculation unit 18 outputs the rotation angle ⁇ of the blade calculated from the frame of the icing time as the rotation angle ⁇ of the blade during icing.
  • the calculation unit 18 determines from each of the frames included in the section from the ice takeoff time to the ice landing time (hereinafter also referred to as "jump section") and a predetermined number of frames before and after the section. Information other than the rotation angle may be calculated based on the three-dimensional position of the predetermined part. For example, the calculation unit 18 calculates the position of the waist as the predetermined part, and calculates the difference between the minimum and maximum values of the waist position calculated from each frame included in the jump section as the height of the jump. good too. Further, the calculation unit 18 may calculate the distance from the specified ice takeoff point A to the ice landing point B as the flying distance of the jump.
  • the calculation unit 18 may calculate the rotational speed from the time from the ice take-off time to the ice landing time and the change in the rotation angle in the jump section. Further, the calculation unit 18 may calculate the railroad crossing speed from the time from the frame corresponding to the ice break-off time to a predetermined frame before and the amount of change in the position of the predetermined portion during that time.
  • the calculation unit 18 outputs a calculation result including the calculated rotation angle ⁇ at the time of icing and other calculated information.
  • the output rotation angle ⁇ at the time of icing can be used to determine insufficient jump rotation.
  • the output calculation result may be used as stats displayed on the screen of a television broadcast or the like. Further, for example, the calculation unit 18 may generate and output image data of an image 38 (see FIG. 1) indicating a jump section on the trajectory indicated by the trajectory information.
  • the information processing device 10 can be realized by, for example, a computer 40 shown in FIG.
  • the computer 40 includes a CPU (Central Processing Unit) 41 , a memory 42 as a temporary storage area, and a non-volatile storage section 43 .
  • the computer 40 also includes an input/output device 44 such as an input unit and a display unit, and an R/W (Read/Write) unit 45 that controls reading and writing of data to and from a storage medium 49 .
  • the computer 40 also has a communication I/F (Interface) 46 connected to a network such as the Internet.
  • the CPU 41 , memory 42 , storage unit 43 , input/output device 44 , R/W unit 45 and communication I/F 46 are connected to each other via bus 47 .
  • the storage unit 43 can be implemented by a HDD (Hard Disk Drive), SSD (Solid State Drive), flash memory, or the like.
  • An information processing program 50 for causing the computer 40 to function as the information processing apparatus 10 is stored in the storage unit 43 as a storage medium.
  • the information processing program 50 has an acquisition process 52 , an identification process 54 , an estimation process 56 and a calculation process 58 .
  • the CPU 41 reads out the information processing program 50 from the storage unit 43, develops it in the memory 42, and sequentially executes the processes of the information processing program 50.
  • the CPU 41 operates as the acquisition unit 12 shown in FIG. 2 by executing the acquisition process 52 . Further, the CPU 41 operates as the specifying unit 14 shown in FIG. 2 by executing the specifying process 54 . Also, the CPU 41 operates as the estimation unit 16 shown in FIG. 2 by executing the estimation process 56 . Further, the CPU 41 operates as the calculator 18 shown in FIG. 2 by executing the calculation process 58 .
  • the computer 40 executing the information processing program 50 functions as the information processing device 10 . Note that the CPU 41 that executes the program is hardware.
  • the functions realized by the information processing program 50 can also be realized by, for example, a semiconductor integrated circuit, more specifically an ASIC (Application Specific Integrated Circuit) or the like.
  • a semiconductor integrated circuit more specifically an ASIC (Application Specific Integrated Circuit) or the like.
  • the information processing routine shown in FIG. 8 is executed in the information processing device 10.
  • FIG. The information processing routine is an example of the information processing method of technology disclosed herein.
  • the acquisition unit 12 acquires the video output from the tracking camera 20. Then, the acquisition unit 12 calculates the position coordinates of the athlete 32 on the xy plane in which the skating rink 30 is viewed from above by motion tracking from the acquired video.
  • step S12 the acquisition unit 12 determines that the position where the photographing direction of the first camera 22A and the photographing direction of the second camera 22B intersect is closest to the position of the player. Get a frame of video taken at each of the
  • step S14 the specifying unit 14 three-dimensionally analyzes each of the frames acquired in step S12, and calculates the three-dimensional positions of the athlete 32 and the predetermined parts of the equipment worn by the athlete 32. . Thereby, the height of the predetermined portion is specified.
  • step S16 the estimating unit 16 detects the frame in which the height of the predetermined portion specified in step S14 exceeds the reference value indicating the height at the time of icing or the previous frame exceeding the reference value. is estimated as the ice break-off time. Also, the estimating unit 16 estimates the time information of the frame in which the height of the predetermined part returns to the reference value after exceeding the reference value or the frame immediately before returning to the reference value as the icing time.
  • step S18 the calculation unit 18 uses the positions of the blade tip 34 and the tip end 36 specified from each of the ice takeoff time frame and the ice accretion time frame, and uses the shooting direction of the specification camera 22 as a reference. Calculate the absolute angle of the blade. Further, the calculation unit 18 calculates each of the ice takeoff point A and the ice accretion point B based on the trajectory information delivered from the acquisition unit 12 and the ice takeoff time and ice landing time delivered from the estimation unit 16.
  • the calculation unit 18 specifies a straight line passing through the ice take-off point A and the ice accretion point B as the reference line (AB), and the line based on the photographing direction of the main identification camera 22 and the specified reference line
  • the angle difference from (AB) is subtracted from the absolute angle of the blade to calculate the rotation angle ⁇ of the blade.
  • the calculation unit 18 calculates information such as the height of the jump, the flight distance, and the crossing speed based on the three-dimensional positions of the predetermined parts specified from each of the jump section and a predetermined number of frames before and after the section. calculate.
  • the calculation unit 18 outputs the calculation result of the rotation angle ⁇ and other information, and the information processing routine ends.
  • the information processing device captures images of the athletes on the skating rink from two intersecting directions captured by each of a plurality of cameras. get.
  • the information processing device specifies the height of the athlete and at least a part of the equipment worn by the athlete in each of the plurality of frames included in the acquired video.
  • the information processing device calculates the ice takeoff time and the ice landing time of the jump performed by the athlete from the frame corresponding to the ice takeoff time and the ice landing time, based on the change in the height of the predetermined part. presume.
  • the information processing device estimates the ice take-off time and the ice landing time of the jump based on images captured by each of a plurality of cameras that capture images of the athlete from two intersecting directions. Time of day and icing time can be estimated. Furthermore, information such as the rotation angle of the jump at the time of icing can also be calculated with high accuracy based on the ice take-off time and ice accretion time that are estimated with high accuracy.
  • an information processing system 200 includes an information processing device 210 and a camera 222 .
  • the camera 222 is a photographing device capable of photographing the three-dimensional position of the athlete 32 on the skating rink 30 and a predetermined portion of the clothing worn by the athlete 32 so as to be able to be identified. be.
  • a plurality of (for example, two) cameras 222 are installed at positions where the three-dimensional position of the above-described predetermined portion can be measured by a stereo camera method.
  • the camera 222 outputs video captured at a predetermined frame rate (120 fps, for example).
  • the output video includes a plurality of frames, and each frame is associated with time information.
  • a single ToF (Time-of-Flight) camera may be used.
  • the camera 222 also functions, for example, as an imaging device for motion tracking, which captures an image capable of identifying the position of the athlete 32 on the skating rink 30, like the tracking camera 20 in the first embodiment.
  • the information processing device 210 functionally includes an acquisition unit 212, an identification unit 214, an estimation unit 216, and a calculation unit 218, as shown in FIG.
  • the acquisition unit 212 acquires the video output from the camera 222 .
  • the acquisition unit 212 transfers the acquired video to the identification unit 214 .
  • the specifying unit 214 specifies the blade height of the skate shoes worn by the athlete 32 in each of the plurality of frames included in the video transferred from the acquiring unit 212 .
  • the identifying unit 214 calculates the three-dimensional positions (x, y, z) of the tip 34 and the terminal end 36 of the blade as shown in FIG. 4, like the identifying unit 14 in the first embodiment.
  • Trajectory information similar to the trajectory information of the player 32 calculated by the acquisition unit 12 of the first embodiment is calculated from the three-dimensional position (x, y).
  • the three-dimensional position z corresponds to the height of the tip 34 or the terminal end 36 of the blade (hereinafter also simply referred to as "blade").
  • the identifying unit 214 may also calculate the three-dimensional position (x, y, z) of a predetermined part other than the blade, like the identifying unit 14 in the first embodiment.
  • the identifying unit 214 transfers the height z of the blade to the estimating unit 216 , and also transfers the three-dimensional positions (x, y, z) of the blade and other predetermined parts, and trajectory information to the calculating unit 218 .
  • the estimating unit 216 estimates the ice take-off time and ice accretion time of the jump based on the blade height change and the time information of each of the plurality of frames received from the specifying unit 214 . Specifically, as shown in FIG. 10, the estimating unit 216 determines that the degree of change in blade height with respect to time information of each of a plurality of frames changes from within a predetermined value to exceeding a predetermined value. The time corresponding to the change point is estimated as the ice break-off time.
  • the predetermined value may be a value that indicates that the height of the blade is almost unchanged, that is, a value that allows it to be determined that the player 32 is in an icing state.
  • the change in the height z of the blade is within a predetermined value up to the time information tT1 , and the change in the height z exceeds the predetermined value after the time information tT2 .
  • the estimating unit 216 calculates a straight line obtained by linearly approximating the height z up to time information t T1 when the change in the height z of the blade is within a predetermined value, and a straight line obtained by approximating the height z after the time information t T2 when the change in the height z exceeds the predetermined value. is detected as a point of change. Then, the estimating unit 216 estimates the time information tT corresponding to the point of change as the ice break-off time.
  • the estimating unit 216 similarly determines that the icing time corresponds to a change point at which the degree of change in blade height changes from exceeding a predetermined value to within a predetermined value. Estimate the time when the icing occurs.
  • the change in the height z of the blade exceeds a predetermined value up to the time information tL2 , and the change in the height z is within the predetermined value after the time information tL1 .
  • the estimating unit 216 performs curve approximation of the height z up to the time information t L2 where the change in the height z of the blade exceeds a predetermined value, and the change in the height z is within a predetermined value.
  • a point of intersection with a straight line obtained by linearly approximating the height z after the time information tL1 is detected as a change point.
  • the estimation unit 216 estimates the time information tL corresponding to the change point as the icing time.
  • the time information of a frame as the ice-break time is estimated as time.
  • the time information of the frame before or after that timing is It is estimated as time.
  • the estimation unit 216 transfers the estimated ice take-off time and ice accretion time to the calculation unit 218 .
  • the calculator 218 calculates the rotation angle ⁇ for each frame, like the calculator 18 in the first embodiment. At this time, as shown in FIG. Identify the position of player 32 calculated from each of the frames corresponding to the information. Then, the calculation unit 218 specifies, as the ice takeoff point A, a position corresponding to the ice takeoff time tT between the two specified positions. In FIG. 12, for convenience of explanation, the trajectory of the position of the player 32 is represented by a straight line corresponding to the time axis.
  • the calculation unit 218 calculates F T1 as the frame corresponding to the time information t T1 immediately before the ice-break time t T and the time information t T2 immediately after the ice-break time t T .
  • the calculation unit 218 sets the position of the player 32 calculated from the frame FT1 to PT1, the position of the player 32 calculated from the frame FT2 to PT2 , and between PT1 and PT2 , Assume that the position of player 32 varies linearly.
  • the calculation unit 218 identifies a straight line passing through the identified ice takeoff point A and ice landing point B as the reference line (AB) for judging the rotation of the jump. Calculate the rotation angle ⁇ from each of the frames included in .
  • FIG. 14 shows an example of the rotation angle ⁇ calculated from each frame included in the jump section. Furthermore, the calculation unit 218 calculates the rotation angle ⁇ at the ice landing time based on the rotation angle ⁇ calculated from the frames before and after the ice landing time estimated by the estimation unit 216 .
  • FIG. 15 is an enlarged view of the portion indicated by the dashed frame in FIG.
  • F L2 be the frame corresponding to the time information t L2 immediately before the icing time t L estimated by the estimation unit 216
  • F L1 be the frame corresponding to the time information t L1 immediately after the icing time t L
  • the calculation unit 218 assumes that the rotation angle of the blade calculated from the frame FL1 is ⁇ L1, the rotation angle calculated from the frame FL2 is ⁇ L2 , and that the rotation speed during the jump is substantially constant.
  • the calculation unit 218 calculates the rotation angle between ⁇ L1 and ⁇ L2 , which corresponds to the ratio of t L to the time (t L1 ⁇ t L2 ) for one frame, at the icing time t
  • the rotation angle can be calculated with higher accuracy than in the case of the first embodiment.
  • the calculation unit 218 also calculates information other than the rotation angle and outputs the calculation result, like the calculation unit 18 in the first embodiment.
  • the information processing device 210 can be realized, for example, by the computer 40 shown in FIG.
  • the storage unit 43 of the computer 40 stores an information processing program 250 for causing the computer 40 to function as the information processing device 210 .
  • the information processing program 250 has an acquisition process 252 , an identification process 254 , an estimation process 256 and a calculation process 258 .
  • the CPU 41 reads out the information processing program 250 from the storage unit 43, develops it in the memory 42, and sequentially executes the processes of the information processing program 250.
  • the CPU 41 operates as the acquisition unit 212 shown in FIG. 9 by executing the acquisition process 252 . Further, the CPU 41 operates as the specifying unit 214 shown in FIG. 9 by executing the specifying process 254 . Further, the CPU 41 operates as the estimation unit 216 shown in FIG. 9 by executing the estimation process 256 . Further, the CPU 41 operates as the calculation unit 218 shown in FIG. 9 by executing the calculation process 258 .
  • the computer 40 executing the information processing program 250 functions as the information processing device 210 .
  • the functions realized by the information processing program 250 can also be realized by, for example, a semiconductor integrated circuit, more specifically an ASIC or the like.
  • the information processing routine shown in FIG. 16 is executed in the information processing device 210 .
  • the information processing routine is an example of the information processing method of technology disclosed herein.
  • step S210 the acquisition unit 212 acquires the video output from the camera 222 and transfers it to the identification unit 214. Then, the identifying unit 214 determines the three-dimensional position (x, y, z ) is calculated. This three-dimensional position (x, y, z) includes the trajectory information of player 32 and the height of the blade.
  • step S212 the estimating unit 216 determines that the degree of change in the height of the blade with respect to the time information of each of the plurality of frames corresponds to a point of change from within a predetermined value to exceeding a predetermined value. Estimate the time as the ice break-off time. Similarly, for the icing time, the estimating unit 216 calculates the icing time corresponding to the change point at which the degree of change in the blade height z changes from exceeding a predetermined value to within a predetermined value. estimated as
  • step S214 the calculation unit 218 calculates the position of the player 32 from each of the frames corresponding to the time information immediately before and after the estimated take-off time based on the trajectory information of the player 32. identify. Then, the calculation unit 218 specifies, as the ice takeoff point A, a position corresponding to the ice takeoff time between the two specified positions. Similarly, the calculator 218 identifies the position of the player 32 calculated from each of the frames corresponding to the time information immediately before and after the estimated ice landing time. Then, the calculation unit 218 identifies a position corresponding to the icing time as the icing point B between the two identified positions. Further, the calculation unit 218 identifies a straight line passing through the identified ice takeoff point A and ice landing point B as the reference line (AB) for judging the rotation of the jump.
  • the calculation unit 218 identifies a straight line passing through the identified ice takeoff point A and ice landing point B as the reference line (AB) for judging the rotation of the jump.
  • step S216 the calculation unit 218 calculates the rotation angle ⁇ from each frame included in the jump section using the identified reference line (AB). Then, the calculation unit 218 calculates the rotation angle corresponding to the ice accretion time between the rotation angles calculated from each of the frames corresponding to the time information immediately before and after the estimated ice accretion time.
  • step S218 the calculation unit 218 calculates information other than the rotation angle, outputs the calculation result together with the rotation angle calculated in step S216, and ends the information processing routine.
  • the information processing device acquires the video captured by the camera that captures the athlete on the skating rink.
  • the information processing device also identifies the height of the blades of the skate shoes worn by the athlete in each of the plurality of frames included in the acquired video.
  • the information processing device estimates the ice take-off time and ice landing time of the jump based on the change in the height of the blade and the time information of each of the plurality of frames. As a result, it is possible to estimate the ice take-off time and ice landing time of a jump in figure skating without attaching a sensor or the like to the athlete or the equipment worn by the athlete.
  • the information processing device detects a point of change in the height of the blade, and estimates the time information corresponding to the point of change as the ice take-off time and the ice accretion time. It is possible to estimate accurate ice take-off time and ice accretion time. Further, based on the detailed estimated ice take-off time and ice landing time, it is possible to accurately calculate information such as the rotation angle of the jump at the time of ice landing.
  • an information processing system 300 includes an information processing device 310, a tracking camera 20, and an identification camera 22.
  • the information processing device 310 functionally includes an acquisition unit 12, an identification unit 14, an estimation unit 216, and a calculation unit 218, as shown in FIG. That is, the information processing apparatus 310 according to the third embodiment has a configuration in which the information processing apparatus 10 according to the first embodiment and the information processing apparatus 210 according to the second embodiment are combined.
  • the information processing device 310 uses the plurality of identification cameras 22 to determine the optimum identification position based on the position of the athlete 32 obtained from the video captured by the tracking camera 20 . select the camera 22 for Then, the information processing device 310 calculates the three-dimensional position of the predetermined part including the blade from the image captured by the selected identification camera 22 . This also specifies the height of the blade. Further, the information processing device 310 detects the point of change in the height of the blade, and estimates the time information corresponding to the point of change as the ice release time and the ice accretion time.
  • the information processing device 310 can be realized, for example, by the computer 40 shown in FIG.
  • the storage unit 43 of the computer 40 stores an information processing program 350 for causing the computer 40 to function as the information processing device 310 .
  • the information processing program 350 has an acquisition process 52 , an identification process 54 , an estimation process 256 and a calculation process 258 .
  • the CPU 41 reads out the information processing program 350 from the storage unit 43, develops it in the memory 42, and sequentially executes the processes of the information processing program 350.
  • the CPU 41 operates as the acquisition unit 12 shown in FIG. 2 by executing the acquisition process 52 . Further, the CPU 41 operates as the specifying unit 14 shown in FIG. 2 by executing the specifying process 54 . Further, the CPU 41 operates as the estimation unit 216 shown in FIG. 2 by executing the estimation process 256 . Further, the CPU 41 operates as the calculation unit 218 shown in FIG. 2 by executing the calculation process 258 .
  • the computer 40 executing the information processing program 350 functions as the information processing device 310 .
  • the functions realized by the information processing program 350 can also be realized by, for example, a semiconductor integrated circuit, more specifically an ASIC or the like.
  • the information processing apparatus 210 executes steps S10 to S14 of the information processing routine shown in FIG. 8 and steps S212 to S218 of the information processing routine shown in FIG.
  • the ice take-off time and ice landing time of a jump in figure skating can be further improved. It can be estimated with high accuracy.
  • the optimum identification camera 22 is selected from the plurality of identification cameras 22 based on the position of the athlete 32 obtained from the video captured by the tracking camera 20 for each frame. Although the case of selection has been described, the present invention is not limited to this. Rough ice release time and ice accretion time are obtained from the video captured by the tracking camera 20, and the optimum identification camera 22 is selected for the frame corresponding to the ice release time and ice accretion time. good too.
  • the information processing device acquires the three-dimensional position including the position in the height direction of the predetermined part of the player 32 from each frame of the video captured by the tracking camera 20 . Then, the information processing device acquires the time information of the frame in which the height of the predetermined portion exceeds the reference value indicating the height at the time of ice accretion or the frame immediately preceding the reference value, as the approximate ice release time. do. In addition, the information processing device acquires time information of the frame in which the height of the predetermined portion returns to the reference value from the state exceeding the reference value or the frame immediately before returning to the reference value as rough icing time. .
  • the information processing device identifies a section from a predetermined number of frames before the frame corresponding to the approximate ice takeoff time to a predetermined number of frames after the frame corresponding to the approximate ice landing time. Then, based on the position of the athlete 32 on the skating rink 30 acquired from each frame included in the specified section, the information processing device explains each frame included in the section using FIG. Select the appropriate identifying camera 22 as before. This makes it possible to limit the selection of the optimum identification camera 22 and the execution of the processing on the video imaged by the identification camera 22 to the jump section, thereby reducing the amount of processing.
  • the information processing program is pre-stored (installed) in the storage unit, but the present invention is not limited to this.
  • the program according to the technology disclosed herein can also be provided in a form stored in a storage medium such as a CD-ROM, DVD-ROM, USB memory, or the like.

Abstract

情報処理装置（１０）は、トラッキング用カメラ（２０）で撮影された映像から取得した、スケートリンク（３０）上の競技者（３２）の位置に基づいて、競技者（３２）を交差する２方向から撮影する複数の特定用カメラ（２２）から最適な第１カメラ（２２Ａ）及び第２カメラ（２２Ｂ）を選択し、選択した第１カメラ（２２Ａ）及び第２カメラ（２２Ｂ）で撮影された映像から、所定部位の高さを特定し、所定部位の高さの変化に基づいて、ジャンプの離氷時刻及び着氷時刻を推定する。

Description

情報処理プログラム、装置、及び方法
　開示の技術は、情報処理プログラム、情報処理装置、及び情報処理方法に関する。
　従来、スポーツの競技中の映像から、所定のシーンを切り出すことが行われている。所定のシーンは、例えば、ゴルフ、野球、テニス等におけるボールに対するインパクトの瞬間を含むシーン、体操競技等における跳躍や着地を含むシーン等である。
　上記のようなシーン切り出しに関する技術として、例えば、被写体の連続するモーションの中から決定的瞬間を特定して画像として抽出する情報処理装置が提案されている。この装置は、ユーザ又はユーザに接触するオブジェクトに装着されたセンサからのセンサデータ、及びセンサデータに対応する時刻情報を受信する。また、この装置は、センサデータ及び時刻情報に基づいて、ユーザ又はオブジェクトに所定のモーションパターンが発生した時刻を特定する。そして、この装置は、特定した時刻に応じて、所定の時間間隔で撮影されたユーザ又はオブジェクトを含む一連の画像から１又は複数の画像を選択する。
特開２０１５－８２８１７号公報
　フィギュアスケートのジャンプのシーンについて、ジャンプの離氷時刻及び着氷時刻を推定することを考える。フィギュアスケートにおいては、競技者、又は競技者が装着するウェアやシューズにセンサを取り付ける等の少しの変化が、ジャンプ等の精度に影響を与えてしまう場合がある。そのため、従来技術を適用して、フィギュアスケートにおけるジャンプの離氷時刻及び着氷時刻を推定することは困難である。
　一つの側面として、開示の技術は、フィギュアスケートにおけるジャンプの離氷時刻及び着氷時刻を推定することを目的とする。
　一つの態様として、開示の技術は、スケートリンク上の競技者を、交差する２方向から撮影する複数のカメラの各々で撮影された映像を取得する。また、開示の技術は、前記映像に含まれる複数のフレームの各々における、前記競技者及び前記競技者が装着する装着物の少なくとも一部の部位の高さを特定する。そして、開示の技術は、前記高さの変化に基づいて、前記競技者が行ったジャンプの離氷時に対応するフレーム及び着氷時に対応するフレームから、前記ジャンプの離氷時刻及び着氷時刻を推定する。
　一つの側面として、フィギュアスケートにおけるジャンプの離氷時刻及び着氷時刻を推定することができる、という効果を有する。
第１及び第３実施形態に係る情報処理システムの概略図である。 第１及び第３実施形態に係る情報処理装置の機能ブロック図である。 最適な特定用カメラの選択を説明するための図である。 所定部位としてブレードの先端及び終端の位置を算出することを説明するための図である。 第１実施形態における離氷時刻及び着氷時刻の推定を説明するための図である。 基準線の特定を説明するための図である。 情報処理装置として機能するコンピュータの概略構成を示すブロック図である。 第１実施形態における情報処理ルーチンの一例を示すフローチャートである。 第２実施形態に係る情報処理装置の機能ブロック図である。 第２実施形態における離氷時刻の推定を説明するための図である。 第２実施形態における着氷時刻の推定を説明するための図である。 離氷点及び着氷点の特定を説明するための図である。 離氷点の特定の詳細を説明するための図である。 ジャンプの区間に含まれるフレームの各々から算出された回転角度θを示す図である。 図１４の破線枠で示す部分の拡大図である。 第２実施形態における情報処理ルーチンの一例を示すフローチャートである。
　以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。
＜第１実施形態＞
　図１及び図２に示すように、第１実施形態に係る情報処理システム１００は、情報処理装置１０と、トラッキング用カメラ２０と、特定用カメラ２２とを含む。
　トラッキング用カメラ２０は、スケートリンク３０上の競技者３２の位置を特定可能な映像を撮影する、例えばモーショントラッキング用の撮影装置である。例えば、トラッキング用カメラ２０は、会場の天井、側壁等に複数台（例えば、２台）設置される。
　特定用カメラ２２は、スケートリンク３０上の競技者３２を、交差する２方向から撮影する撮影装置である。例えば、特定用カメラ２２は、撮影方向がスケートリンク３０の長軸方向と平行になるように、スケートリンク３０の短辺側に沿って設置される複数の第１カメラ２２Ａを含む。また、特定用カメラ２２は、撮影方向がスケートリンクの短軸方向と平行になるように、スケートリンク３０の長辺側に沿って設置される複数の第２カメラ２２Ｂを含む。以下、第１カメラ２２Ａと第２カメラ２２Ｂとを区別なく説明する場合には、「特定用カメラ２２」という。特定用カメラ２２の各々の設置位置及び撮影方向に基づいて、スケートリンク３０を平面視したｘｙ平面における、第１カメラ２２Ａの撮影方向と第２カメラ２２Ｂの撮影方向とが交差する位置の位置座標がそれぞれ特定されている。以下では、ｉ番目の第１カメラ２２Ａの撮影方向と、ｊ番目の第２カメラ２２Ｂの撮影方向とが交差する位置の位置座標を（ｘｃ＿ｉｊ，ｙｃ＿ｉｊ）とする。
　トラッキング用カメラ２０及び特定用カメラ２２の各々は、所定のフレームレート（例えば、１２０ｆｐｓ）で撮影した映像を出力する。出力される映像は、複数のフレームを含んでおり、各フレームには時刻情報が対応付いている。時刻情報に基づいて、各映像は時間的に同期している。なお、トラッキング用カメラ２０及び特定用カメラ２２の各々の台数は、図１及び図２の例に限定されない
　情報処理装置１０は、機能的には、図２に示すように、取得部１２と、特定部１４と、推定部１６と、算出部１８とを含む。
　取得部１２は、トラッキング用カメラ２０から出力された映像を取得する。取得部１２は、取得した映像から、モーショントラッキングによりスケートリンク３０上での競技者３２の位置を取得する。例えば、取得部１２は、各トラッキング用カメラ２０で撮影された映像のフレーム毎に、モーショントラッキングの対象である競技者３２を認識する。例えば、取得部１２は、競技者３２又は競技者３２が装着する装着物の色、形状等の特徴に基づいて、各フレームから競技者３２を認識する。また、取得部１２は、フレーム間の差分が示す移動する物体を競技者３２として認識してもよい。そして、取得部１２は、各フレームにおいて認識された競技者３２の位置を、フレーム毎に算出する。そして、取得部１２は、各フレームにおける競技者３２の位置を追跡することで、軌跡情報を生成する。なお、競技者３２の位置は３次元で算出されてもよいし、２次元で算出されてもよい。本実施形態では、スケートリンク３０を平面視したｘｙ平面における、認識した競技者３２の位置座標（ｘｐ，ｙｐ）を算出する場合について説明する。
　取得部１２は、特定用カメラ２２のうち、競技者３２の位置に対して最適な特定用カメラ２２を選択し、選択した特定用カメラ２２で撮影された映像を取得する。具体的には、取得部１２は、第１カメラ２２Ａの撮影方向と第２カメラ２２Ｂの撮影方向とが交差する位置が、競技者の位置に最も近い第１カメラ２２Ａ及び第２カメラ２２Ｂの各々で撮影された映像を取得する。
　より具体的には、取得部１２は、予め特定されている位置座標（ｘｃ＿ｉｊ，ｙｃ＿ｉｊ）から、トラッキング用カメラ２０で撮影された映像のフレームｎから算出した競技者３２の位置座標（ｘｐ，ｙｐ）に最も近い位置座標（ｘｃ＿ｉｊ，ｙｃ＿ｉｊ）を特定する。そして、取得部１２は、特定した（ｘｃ＿ｉｊ，ｙｃ＿ｉｊ）に対応する、ｉ番目の第１カメラ２２Ａ及びｊ番目の第２カメラＢの各々で撮影された映像の、フレームｎと時刻情報が同期するフレームを取得する。例えば、図３に示すように、競技者３２の位置座標（ｘｐ，ｙｐ）に最も近い位置座標が（ｘｃ＿２４，ｙｃ＿２４）であるとする。この場合、取得部１２は、２番目の第１カメラ２２Ａ及び４番目の第２カメラ２２Ｂ（図３中の網掛で示すカメラ）の各々で撮影された映像のフレームを取得する。
　取得部１２は、取得したフレームを特定部１４へ受け渡し、生成した軌跡情報を算出部１８へ受け渡す。
　特定部１４は、取得部１２から受け渡されたフレームの各々における、競技者３２及び競技者３２が装着する装着物の少なくとも一部の所定部位の高さを特定する。具体的には、特定部１４は、取得部１２から受け渡されたフレームの各々を３次元解析し、競技者３２及び競技者３２が装着する装着物の所定部位の３次元位置（ｘ，ｙ，ｚ）を算出する。ｚが所定部位の高さである。所定部位は、図４に示すように、競技者３２が装着するスケートシューズのブレードの先端３４及び終端３６を含む。また、所定部位は、競技者３２の各関節、頭部、及び目、鼻、口等の顔の部位を含んでもよい。なお、各フレームから、これらの所定部位を認識する手法は、所定部位の形状を用いた認識方法や、人体骨格モデルを用いた認識方法等、既存の手法を用いてよい。特定部１４は、フレーム毎に算出した所定部位の高さｚを推定部１６へ受け渡すと共に、所定部位の３次元位置（ｘ，ｙ，ｚ）を算出部１８へ受け渡す。
　推定部１６は、フレーム毎に特定された所定部位の高さの変化に基づいて、競技者３２が行ったジャンプの離氷時に対応するフレーム及び着氷時に対応するフレームから、ジャンプの離氷時刻及び着氷時刻を推定する。具体的には、図５に示すように、推定部１６は、所定部位の高さが、着氷時の高さを示す基準値を超えたフレーム又は基準値を超える１つ前のフレームの時刻情報を、離氷時刻として推定する。また、推定部１６は、所定部位の高さが、基準値を超えた状態から基準値に戻ったフレーム又は基準値に戻る１つ前のフレームの時刻情報を、着氷時刻として推定する。基準値は、予め競技者３２が着氷中であることが既知の映像から特定された所定部位の高さの平均にマージンを加えた値等としてよい。
　図５の例では、フレームＦＴ１から特定された所定部位の高さｚが基準値以下で、次のフレームＦＴ２から特定された所定部位の高さｚが基準値を超えている。したがって、フレームＦＴ１の時刻情報ｔＴ１又はフレームＦＴ２の時刻情報ｔＴ２が離氷時刻として推定される。また、フレームＦＬ２から特定された所定部位の高さｚが基準値を超えており、次のフレームＦＬ１から特定された所定部位の高さｚが基準値以下となっている。したがって、フレームＦＬ１の時刻情報ｔＬ１又はフレームＦＬ２の時刻情報ｔＬ２が着氷時刻として推定される。推定部１６は、推定した離氷時刻及び着氷時刻を算出部１８へ受け渡す。
　算出部１８は、離氷時刻及び着氷時刻のフレームの各々から特定されたブレードの先端３４及び終端３６の位置を用いて、特定用カメラ２２の撮影方向を基準としたブレードの絶対角度を算出する。例えば、算出部１８は、特定用カメラ２２の撮影方向、又は撮影方向に垂直な線と、ブレードの先端３４と終端３６とを結ぶ線、すなわちブレードの向きとのなす角度を、ブレードの絶対角度として算出してよい。なお、ブレードの先端３４及び終端３６を特定するために、特定用カメラ２２として第１カメラ２２Ａ及び第２カメラ２２Ｂの各々で撮影されたフレームが用いられている。したがって、算出部１８は、第１カメラ２２Ａ及び第２カメラ２２Ｂのうち、いずれかをメインの特定用カメラ２２として定めておき、メインの特定用カメラ２２の撮影方向を基準に、ブレードの絶対角度を算出すればよい。
　また、算出部１８は、ブレードの絶対角度を、ジャンプの回転不足を判定するための基準線に対する角度（以下、「回転角度θ」という）に変換する。具体的には、算出部１８は、取得部１２から受け渡された軌跡情報と、推定部１６から受け渡された離氷時刻及び着氷時刻の各々とに基づいて、離氷点Ａ及び着氷点Ｂの各々の位置を特定する。より具体的には、算出部１８は、軌跡情報において、離氷時刻を時刻情報とするフレームから特定された競技者３２の位置座標を離氷点Ａとして特定し、着氷時刻を時刻情報とするフレームから特定された競技者３２の位置座標を着氷点Ｂとして特定する。
　そして、算出部１８は、図６に示すように、離氷点Ａと着氷点Ｂとを通る直線を、ジャンプの回転を判定するための基準線（Ａ－Ｂ）として特定する。算出部１８は、メインの特定用カメラ２２の撮影方向を基準とした線と、特定した基準線（Ａ－Ｂ）との角度差を、ブレードの絶対角度から差し引いて、ブレードの回転角度θを算出する。算出部１８は、着氷時刻のフレームから算出されたブレードの回転角度θを、着氷時のブレードの回転角度θとして出力する。
　また、算出部１８は、離氷時刻から着氷時刻までの区間（以下、「ジャンプの区間」ともいう）に含まれるフレームと、その区間の前後所定数分のフレームとの各々から特定された所定部位の３次元位置に基づいて、回転角度以外の情報を算出してもよい。例えば、算出部１８は、所定部位として腰の位置を算出し、ジャンプの区間に含まれる各フレームから算出された腰の位置の最小値と最大値との差をジャンプの高さとして算出してもよい。また、算出部１８は、特定した離氷点Ａから着氷点Ｂまでの距離をジャンプの飛距離として算出してもよい。また、算出部１８は、離氷時刻から着氷時刻までの時間と、ジャンプの区間における回転角度の変化とから、回転速度を算出してもよい。また、算出部１８は、離氷時刻に対応するフレームから所定フレーム前までの時間と、その間における所定部位の位置の変化量とから、踏切速度を算出してもよい。
　算出部１８は、算出した、着氷時の回転角度θ、及びその他算出した情報を含む算出結果を出力する。出力された着氷時の回転角度θは、ジャンプの回転不足等の判定に用いることができる。また、出力された算出結果を、テレビ放送等の画面に表示するスタッツとして用いてもよい。また、例えば、算出部１８は、軌跡情報が示す軌跡上にジャンプの区間を示す画像３８（図１参照）の画像データを生成し、出力してもよい。
　情報処理装置１０は、例えば図７に示すコンピュータ４０で実現することができる。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１と、一時記憶領域としてのメモリ４２と、不揮発性の記憶部４３とを備える。また、コンピュータ４０は、入力部、表示部等の入出力装置４４と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部４５とを備える。また、コンピュータ４０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）４６を備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力装置４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。
　記憶部４３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４３には、コンピュータ４０を、情報処理装置１０として機能させるための情報処理プログラム５０が記憶される。情報処理プログラム５０は、取得プロセス５２と、特定プロセス５４と、推定プロセス５６と、算出プロセス５８とを有する。
　ＣＰＵ４１は、情報処理プログラム５０を記憶部４３から読み出してメモリ４２に展開し、情報処理プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、取得プロセス５２を実行することで、図２に示す取得部１２として動作する。また、ＣＰＵ４１は、特定プロセス５４を実行することで、図２に示す特定部１４として動作する。また、ＣＰＵ４１は、推定プロセス５６を実行することで、図２に示す推定部１６として動作する。また、ＣＰＵ４１は、算出プロセス５８を実行することで、図２に示す算出部１８として動作する。これにより、情報処理プログラム５０を実行したコンピュータ４０が、情報処理装置１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。
　なお、情報処理プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。
　次に、第１実施形態に係る情報処理システム１００の作用について説明する。情報処理装置１０に、トラッキング用カメラ２０及び特定用カメラ２２の各々で撮影された映像が入力されると、情報処理装置１０において、図８に示す情報処理ルーチンが実行される。なお、情報処理ルーチンは、開示の技術の情報処理方法の一例である。
　ステップＳ１０で、取得部１２が、トラッキング用カメラ２０から出力された映像を取得する。そして、取得部１２が、取得した映像から、モーショントラッキングにより、スケートリンク３０を平面視したｘｙ平面における競技者３２の位置座標を算出する。
　次に、ステップＳ１２で、取得部１２が、第１カメラ２２Ａの撮影方向と第２カメラ２２Ｂの撮影方向とが交差する位置が、競技者の位置に最も近い第１カメラ２２Ａ及び第２カメラ２２Ｂの各々で撮影された映像のフレームを取得する。
　次に、ステップＳ１４で、特定部１４が、上記ステップＳ１２で取得されたフレームの各々を３次元解析し、競技者３２及び競技者３２が装着する装着物の所定部位の３次元位置を算出する。これにより、所定部位の高さが特定される。
　次に、ステップＳ１６で、推定部１６が、上記ステップＳ１４で特定された所定部位の高さが、着氷時の高さを示す基準値を超えたフレーム又は基準値を超える１つ前のフレームの時刻情報を、離氷時刻として推定する。また、推定部１６が、所定部位の高さが、基準値を超えた状態から基準値に戻ったフレーム又は基準値に戻る１つ前のフレームの時刻情報を、着氷時刻として推定する。
　次に、ステップＳ１８で、算出部１８が、離氷時刻及び着氷時刻のフレームの各々から特定されたブレードの先端３４及び終端３６の位置を用いて、特定用カメラ２２の撮影方向を基準としたブレードの絶対角度を算出する。また、算出部１８が、取得部１２から受け渡された軌跡情報と、推定部１６から受け渡された離氷時刻及び着氷時刻の各々とに基づいて、離氷点Ａ及び着氷点Ｂの各々の位置を特定する。そして、算出部１８が、離氷点Ａと着氷点Ｂとを通る直線を基準線（Ａ－Ｂ）として特定し、メインの特定用カメラ２２の撮影方向を基準とした線と、特定した基準線（Ａ－Ｂ）との角度差を、ブレードの絶対角度から差し引いて、ブレードの回転角度θを算出する。さらに、算出部１８が、ジャンプの区間及びその区間の前後所定数分のフレームの各々から特定された所定部位の３次元位置に基づいて、ジャンプの高さ、飛距離、踏切速度等の情報を算出する。そして、算出部１８が、回転角度θ及び他の情報の算出結果を出力し、情報処理ルーチンは終了する。
　以上説明したように、第１実施形態に係る情報処理システムによれば、情報処理装置が、スケートリンク上の競技者を、交差する２方向から撮影する複数のカメラの各々で撮影された映像を取得する。また、情報処理装置が、取得した映像に含まれる複数のフレームの各々における、競技者及び競技者が装着する装着物の少なくとも一部の所定部位の高さを特定する。そして、情報処理装置が、所定部位の高さの変化に基づいて、競技者が行ったジャンプの離氷時に対応するフレーム及び着氷時に対応するフレームから、ジャンプの離氷時刻及び着氷時刻を推定する。これにより、競技者及び競技者が装着する装着物にセンサ等を取り付けることなく、フィギュアスケートにおけるジャンプの離氷時刻及び着氷時刻を推定することができる。
　また、情報処理装置は、競技者を、交差する２方向から撮影する複数のカメラの各々で撮影された映像に基づいて、ジャンプの離氷時刻及び着氷時刻を推定するため、精度良く離氷時刻及び着氷時刻を推定することができる。さらに、精度良く推定された離氷時刻及び着氷時刻に基づいて、ジャンプの着氷時の回転角度等の情報も精度良く算出することができる。
＜第２実施形態＞
　次に、第２実施形態について説明する。なお、第２実施形態に係る情報処理システムにおいて、第１実施形態に係る情報処理システム１００と同様の構成については、同一符号を付して詳細な説明を省略する。また、第２実施形態において、第１実施形態の機能部と符号の下２桁が共通する機能部について、第１実施形態の機能部と共通する機能については、詳細な説明を省略する。
　図９に示すように、第２実施形態に係る情報処理システム２００は、情報処理装置２１０と、カメラ２２２とを含む。
　カメラ２２２は、第１実施形態における特定用カメラ２２と同様に、スケートリンク３０上の競技者３２及び競技者３２が装着する装着物の所定部位の３次元位置を特定可能に撮影する撮影装置でもある。カメラ２２２は、上記の所定部位の３次元位置をステレオカメラ方式により計測可能な位置に複数台（例えば、２台）設置される。カメラ２２２は、所定のフレームレート（例えば、１２０ｆｐｓ）で撮影した映像を出力する。出力される映像は、複数のフレームを含んでおり、各フレームには時刻情報が対応付いている。なお、カメラ２２２として、ＴｏＦ（Time-of-Flight）方式の１台のカメラを用いてもよい。また、カメラ２２２は、第１実施形態におけるトラッキング用カメラ２０と同様に、スケートリンク３０上の競技者３２の位置を特定可能な映像を撮影する、例えばモーショントラッキング用の撮影装置としても機能する。
　情報処理装置２１０は、機能的には、図９に示すように、取得部２１２と、特定部２１４と、推定部２１６と、算出部２１８とを含む。
　取得部２１２は、カメラ２２２から出力された映像を取得する。取得部２１２は、取得した映像を特定部２１４へ受け渡す。
　特定部２１４は、取得部２１２から受け渡された映像に含まれる複数のフレームの各々における、競技者３２が装着するスケートシューズのブレードの高さを特定する。具体的には、特定部２１４は、第１実施形態における特定部１４と同様に、図４に示すような、ブレードの先端３４及び終端３６の３次元位置（ｘ，ｙ，ｚ）を算出する。３次元位置の（ｘ，ｙ）により、第１実施形態の取得部１２により算出した競技者３２の軌跡情報と同様の軌跡情報が算出される。また、３次元位置のｚが、ブレードの先端３４又は終端３６（以下、単に「ブレード」ともいう）の高さに相当する。また、特定部２１４は、第１実施形態における特定部１４と同様に、ブレード以外の他の所定部位についても、３次元位置（ｘ，ｙ，ｚ）を算出してよい。特定部２１４は、ブレードの高さｚを推定部２１６に受け渡すと共に、ブレード、他の所定部位の３次元位置（ｘ，ｙ，ｚ）、及び軌跡情報を算出部２１８へ受け渡す。
　推定部２１６は、特定部２１４から受け渡された、ブレードの高さの変化、及び複数のフレームの各々の時刻情報に基づいて、ジャンプの離氷時刻及び着氷時刻を推定する。具体的には、図１０に示すように、推定部２１６は、複数のフレームの各々の時刻情報に対するブレードの高さの変化の度合いが、所定値以内の状態から所定値を超える状態に変化した変化点に対応する時刻を離氷時刻として推定する。所定値は、ブレードの高さにほぼ変化がないことを表す値、すなわち、競技者３２が着氷状態であると判定可能な値を予め定めておけばよい。
　図１０の例を用いて、より具体的に説明する。図１０の例では、時刻情報ｔＴ１までは、ブレードの高さｚの変化が所定値以内の状態、時刻情報ｔＴ２以降は、高さｚの変化が所定値を超えた状態である。推定部２１６は、ブレードの高さｚの変化が所定値以内である時刻情報ｔＴ１まで高さｚを直線近似した直線と、高さｚの変化が所定値を超えている時刻情報ｔＴ２以降の高さｚを曲線近似した上に凸の曲線との交点を変化点として検出する。そして、推定部２１６は、変化点に対応する時刻情報ｔＴを、離氷時刻として推定する。
　また、推定部２１６は、図１１に示すように、着氷時刻についても同様に、ブレードの高さの変化の度合いが、所定値を超える状態から所定値以内の状態に変化した変化点に対応する時刻を着氷時刻として推定する。
　図１１の例を用いて、より具体的に説明する。図１１の例では、時刻情報ｔＬ２までは、ブレードの高さｚの変化が所定値を超えている状態、時刻情報ｔＬ１以降は、高さｚの変化が所定値以内の状態である。推定部２１６は、ブレードの高さｚの変化が所定値を超えている時刻情報ｔＬ２までの高さｚを曲線近似した上に凸の曲線と、高さｚの変化が所定値以内である時刻情報ｔＬ１以降の高さｚを直線近似した直線との交点を変化点として検出する。そして、推定部２１６は、変化点に対応する時刻情報ｔＬを、着氷時刻として推定する。
　第１実施形態のように、フレームの時刻情報を離氷時刻として推定する場合には、実際の離氷のタイミングがフレーム間にあったとしても、そのタイミングの前又は後のフレームの時刻情報が離氷時刻として推定されてしまう。着氷時刻についても同様である。上記のように、ブレードの高さの変化の変化点を検出することで、フレーム間の時間間隔よりも詳細な離氷時刻及び着氷時刻を推定することができる。推定部２１６は、推定した離氷時刻及び着氷時刻を算出部２１８へ受け渡す。
　算出部２１８は、第１実施形態における算出部１８と同様に、フレーム毎に回転角度θを算出する。この際、算出部２１８は、図１２に示すように、特定部２１４により生成された競技者３２の軌跡情報に基づいて、推定部２１６により推定された離氷時刻ｔＴの直前及び直後の時刻情報に対応するフレームの各々から算出された競技者３２の位置を特定する。そして、算出部２１８は、特定した両位置の間で、離氷時刻ｔＴに対応する位置を、離氷点Ａとして特定する。なお、図１２では、説明の都合上、競技者３２の位置の軌跡を時間軸に対応させた直線で表している。
　より具体的には、算出部２１８は、図１３に示すように、離氷時刻ｔＴの直前の時刻情報ｔＴ１に対応するフレームをＦＴ１、離氷時刻ｔＴの直後の時刻情報ｔＴ２に対応するフレームをＦＴ２とする。また、算出部２１８は、フレームＦＴ１から算出された競技者３２の位置をＰＴ１、フレームＦＴ２から算出された競技者３２の位置をＰＴ２とし、ＰＴ１とＰＴ２との間では、競技者３２の位置は直線的に変化するものと仮定する。この場合、算出部２１８は、ＰＴ１とＰＴ２との間の位置であって、１フレーム分の時間（ｔＴ２－ｔＴ１）に対するｔＴの割合に対応する位置を、離氷点Ａと特定する。すなわち、算出部２１８は、Ａ＝ＰＴ１＋（ＰＴ２－ＰＴ１）×（ｔＴ－ｔＴ１）／（ｔＴ２－ｔＴ１）により、離氷点Ａを特定する。算出部２１８は、着氷時刻ｔＬに対応する位置である着氷点Ｂについても、上記の離氷点Ａと同様に特定する。これにより、第１実施形態の場合よりも、精度良く離氷点Ａ及び着氷点Ｂを特定することができる。
　算出部２１８は、特定した離氷点Ａと着氷点Ｂとを通る直線を、ジャンプの回転を判定するための基準線（Ａ－Ｂ）として特定し、第１実施形態と同様に、ジャンプの区間に含まれるフレームの各々から回転角度θを算出する。図１４に、ジャンプの区間に含まれるフレームの各々から算出された回転角度θの一例を示す。さらに、算出部２１８は、推定部２１６により推定された着氷時刻の前後のフレームから算出された回転角度θに基づいて、着氷時刻における回転角度θを算出する。
　図１５を参照して、具体的に説明する。図１５は、図１４の破線枠で示す部分の拡大図である。推定部２１６により推定された着氷時刻ｔＬの直前の時刻情報ｔＬ２に対応するフレームをＦＬ２、着氷時刻ｔＬの直後の時刻情報ｔＬ１に対応するフレームをＦＬ１とする。また、算出部２１８は、フレームＦＬ１から算出されたブレードの回転角度をθＬ１、フレームＦＬ２から算出された回転角度をθＬ２とし、ジャンプ中の回転速度はほぼ一定であると仮定する。そして、算出部２１８は、θＬ１とθＬ２との間の回転角度であって、１フレーム分の時間（ｔＬ１－ｔＬ２）に対するｔＬの割合に対応する回転角度を、着氷時刻ｔＬにおける回転角度θＬとして算出する。すなわち、算出部２１８は、θＬ＝θＬ２＋（θＬ１－θＬ２）×（ｔＬ－ｔＬ２）／（ｔＬ１－ｔＬ２）により、回転角度θＬを算出する。これにより、第１実施形態の場合よりも、精度良く回転角度を算出することができる。
　算出部２１８は、第１実施形態における算出部１８と同様に、回転角度以外の情報も算出し、算出結果を出力する。
　情報処理装置２１０は、例えば図７に示すコンピュータ４０で実現することができる。コンピュータ４０の記憶部４３には、コンピュータ４０を、情報処理装置２１０として機能させるための情報処理プログラム２５０が記憶される。情報処理プログラム２５０は、取得プロセス２５２と、特定プロセス２５４と、推定プロセス２５６と、算出プロセス２５８とを有する。
　ＣＰＵ４１は、情報処理プログラム２５０を記憶部４３から読み出してメモリ４２に展開し、情報処理プログラム２５０が有するプロセスを順次実行する。ＣＰＵ４１は、取得プロセス２５２を実行することで、図９に示す取得部２１２として動作する。また、ＣＰＵ４１は、特定プロセス２５４を実行することで、図９に示す特定部２１４として動作する。また、ＣＰＵ４１は、推定プロセス２５６を実行することで、図９に示す推定部２１６として動作する。また、ＣＰＵ４１は、算出プロセス２５８を実行することで、図９に示す算出部２１８として動作する。これにより、情報処理プログラム２５０を実行したコンピュータ４０が、情報処理装置２１０として機能することになる。
　なお、情報処理プログラム２５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。
　次に、第２実施形態に係る情報処理システム２００の作用について説明する。第２実施形態では、情報処理装置２１０において、図１６に示す情報処理ルーチンが実行される。なお、情報処理ルーチンは、開示の技術の情報処理方法の一例である。
　ステップＳ２１０で、取得部２１２が、カメラ２２２から出力された映像を取得し、特定部２１４へ受け渡す。そして、特定部２１４が、取得部２１２から受け渡された映像に含まれる複数のフレームの各々における、競技者３２が装着するスケートシューズのブレードを含む所定部位の３次元位置（ｘ，ｙ，ｚ）を算出する。この３次元位置（ｘ，ｙ，ｚ）には、競技者３２の軌跡情報及びブレードの高さが含まれる。
　次に、ステップＳ２１２で、推定部２１６が、複数のフレームの各々の時刻情報に対するブレードの高さの変化の度合いが、所定値以内の状態から所定値を超える状態に変化した変化点に対応する時刻を離氷時刻として推定する。また、推定部２１６が、着氷時刻についても同様に、ブレードの高さｚの変化の度合いが、所定値を超える状態から所定値以内の状態に変化した変化点に対応する時刻を着氷時刻として推定する。
　次に、ステップＳ２１４で、算出部２１８が、競技者３２の軌跡情報に基づいて、推定された離氷時刻の直前及び直後の時刻情報に対応するフレームの各々から算出された競技者３２の位置を特定する。そして、算出部２１８が、特定した両位置の間で、離氷時刻に対応する位置を、離氷点Ａとして特定する。同様に、算出部２１８が、推定された着氷時刻の直前及び直後の時刻情報に対応するフレームの各々から算出された競技者３２の位置を特定する。そして、算出部２１８が、特定した両位置の間で、着氷時刻に対応する位置を、着氷点Ｂとして特定する。さらに、算出部２１８が、特定した離氷点Ａと着氷点Ｂとを通る直線を、ジャンプの回転を判定するための基準線（Ａ－Ｂ）として特定する。
　次に、ステップＳ２１６で、算出部２１８が、特定した基準線（Ａ－Ｂ）を用いて、ジャンプの区間に含まれるフレームの各々から回転角度θを算出する。そして、算出部２１８が、推定された着氷時刻の直前及び直後の時刻情報に対応するフレームの各々から算出された回転角度の間で、着氷時刻に対応する回転角度を算出する。
　次に、ステップＳ２１８で、算出部２１８が、回転角度以外の情報も算出し、上記ステップＳ２１６で算出した回転角度も合わせ、算出結果を出力し、情報処理ルーチンは終了する。
　以上説明したように、第２実施形態に係る情報処理システムによれば、情報処理装置が、スケートリンク上の競技者を撮影するカメラで撮影された映像を取得する。また、情報処理装置が、取得した映像に含まれる複数のフレームの各々における、競技者が装着するスケートシューズのブレードの高さを特定する。そして、情報処理装置が、ブレードの高さの変化、及び複数のフレームの各々の時刻情報に基づいて、ジャンプの離氷時刻及び着氷時刻を推定する。これにより、競技者及び競技者が装着する装着物にセンサ等を取り付けることなく、フィギュアスケートにおけるジャンプの離氷時刻及び着氷時刻を推定することができる。
　また、情報処理装置は、ブレードの高さの変化の変化点を検出し、その変化点に対応する時刻情報を離氷時刻及び着氷時刻として推定することで、フレーム間の時間間隔よりも詳細な離氷時刻及び着氷時刻を推定することができる。さらに、詳細に推定された離氷時刻及び着氷時刻に基づいて、ジャンプの着氷時の回転角度等の情報を精度良く算出することができる。
＜第３実施形態＞
　次に、第３実施形態について説明する。なお、第３実施形態に係る情報処理システムにおいて、第１実施形態に係る情報処理システム１００、及び第２実施形態に係る情報処理システム１００と同様の構成については、同一符号を付して詳細な説明を省略する。
　図１及び図２に示すように、第３実施形態に係る情報処理システム３００は、情報処理装置３１０と、トラッキング用カメラ２０と、特定用カメラ２２とを含む。情報処理装置３１０は、機能的には、図２に示すように、取得部１２と、特定部１４と、推定部２１６と、算出部２１８とを含む。すなわち、第３実施形態に係る情報処理装置３１０は、第１実施形態に係る情報処理装置１０と、第２実施形態に係る情報処理装置２１０とを組み合わせた構成である。
　具体的には、情報処理装置３１０は、第１実施形態と同様に、トラッキング用カメラ２０で撮影された映像から取得した競技者３２の位置に基づいて、複数の特定用カメラ２２から最適な特定用カメラ２２を選択する。そして、情報処理装置３１０は、選択した特定用カメラ２２で撮影された映像から、ブレードを含む所定部位の３次元位置を算出する。これにより、ブレードの高さも特定される。さらに、情報処理装置３１０は、ブレードの高さの変化の変化点を検出し、変化点に対応する時刻情報を離氷時刻及び着氷時刻として推定する。
　情報処理装置３１０は、例えば図７に示すコンピュータ４０で実現することができる。コンピュータ４０の記憶部４３には、コンピュータ４０を、情報処理装置３１０として機能させるための情報処理プログラム３５０が記憶される。情報処理プログラム３５０は、取得プロセス５２と、特定プロセス５４と、推定プロセス２５６と、算出プロセス２５８とを有する。
　ＣＰＵ４１は、情報処理プログラム３５０を記憶部４３から読み出してメモリ４２に展開し、情報処理プログラム３５０が有するプロセスを順次実行する。ＣＰＵ４１は、取得プロセス５２を実行することで、図２に示す取得部１２として動作する。また、ＣＰＵ４１は、特定プロセス５４を実行することで、図２に示す特定部１４として動作する。また、ＣＰＵ４１は、推定プロセス２５６を実行することで、図２に示す推定部２１６として動作する。また、ＣＰＵ４１は、算出プロセス２５８を実行することで、図２に示す算出部２１８として動作する。これにより、情報処理プログラム３５０を実行したコンピュータ４０が、情報処理装置３１０として機能することになる。
　なお、情報処理プログラム３５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。
　次に、第３実施形態に係る情報処理システム２００の作用について説明する。第３実施形態では、情報処理装置２１０において、図８に示す情報処理ルーチンのステップＳ１０～Ｓ１４、及び図１６に示す情報処理ルーチンのステップＳ２１２～Ｓ２１８が実行される。
　以上説明したように、第３実施形態に係る情報処理システムによれば、第１実施形態と第２実施形態値を組み合わせた構成により、フィギュアスケートにおけるジャンプの離氷時刻及び着氷時刻を、より精度良く推定することができる。
　なお、第１及び第３実施形態では、フレーム毎に、トラッキング用カメラ２０で撮影された映像から取得した競技者３２の位置に基づいて、複数の特定用カメラ２２から最適な特定用カメラ２２を選択する場合について説明したが、これに限定されない。トラッキング用カメラ２０で撮影された映像から、大まかな離氷時刻及び着氷時刻を取得し、その離氷時刻及び着氷時刻に対応するフレームについて、最適な特定用カメラ２２を選択するようにしてもよい。
　具体的には、情報処理装置は、トラッキング用カメラ２０で撮影された映像の各フレームから、競技者３２の所定部位の高さ方向の位置も含む３次元位置を取得する。そして、情報処理装置は、所定部位の高さが、着氷時の高さを示す基準値を超えたフレーム又は基準値を超える１つ前のフレームの時刻情報を、大まかな離氷時刻として取得する。また、情報処理装置は、所定部位の高さが、基準値を超えた状態から基準値に戻ったフレーム又は基準値に戻る１つ前のフレームの時刻情報を、大まかな着氷時刻として取得する。そして、情報処理装置は、大まかな離氷時刻に対応するフレームの所定数前のフレームから、大まかな着氷時刻に対応するフレームの所定数後のフレームまでの区間を特定する。そして、情報処理装置は、特定した区間に含まれる各フレームから取得されている競技者３２のスケートリンク３０上での位置に基づいて、その区間に含まれる各フレームについて、図３を用いて説明したように、適切な特定用カメラ２２を選択する。これにより、最適な特定用カメラ２２の選択、及び特定用カメラ２２で撮影された映像に対する処理の実行を、ジャンプの区間に限定することができ、処理量を削減することができる。
　また、上記各実施形態では、情報処理プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。
１００、２００       情報処理システム
１０、２１０、３１０ 情報処理装置
１２、２１２  取得部
１４、２１４  特定部
１６、２１６  推定部
１８、２１８  算出部
２０   トラッキング用カメラ
２２   特定用カメラ
２２Ａ 第１カメラ
２２Ｂ 第２カメラ
２２２ カメラ
３０   スケートリンク
３２   競技者
３４   ブレードの先端
３６   ブレードの終端
４０   コンピュータ
４１   ＣＰＵ
４２   メモリ
４３   記憶部
４９   記憶媒体
５０、２５０、３５０ 情報処理プログラム

Claims (20)

  1. 　スケートリンク上の競技者を、交差する２方向から撮影する複数のカメラの各々で撮影された映像を取得し、
    　前記映像に含まれる複数のフレームの各々における、前記競技者及び前記競技者が装着する装着物の少なくとも一部の部位の高さを特定し、
    　前記高さの変化に基づいて、前記競技者が行ったジャンプの離氷時に対応するフレーム及び着氷時に対応するフレームから、前記ジャンプの離氷時刻及び着氷時刻を推定する
    　ことを含む処理をコンピュータに実行させるための情報処理プログラム。
  2. 　前記映像を取得する処理は、撮影方向が前記スケートリンクの長軸方向と平行な複数の第１カメラ、及び撮影方向が前記スケートリンクの短軸方向と平行な複数の第２カメラのうち、前記第１カメラの撮影方向と前記第２カメラの撮影方向とが交差する位置が、前記競技者の位置に最も近い前記第１カメラ及び前記第２カメラの各々で撮影された映像を取得することを含む請求項１に記載の情報処理プログラム。
  3. 　前記離氷時刻及び前記着氷時刻を推定する処理は、前記部位の高さが、着氷時の高さを示す基準値を超えたフレーム又は前記基準値を超える１つ前のフレームの時刻情報を、前記離氷時刻として推定し、前記部位の高さが、前記基準値を超えた状態から前記基準値に戻ったフレーム又は前記基準値に戻る１つ前のフレームの時刻情報を、前記着氷時刻として推定することを含む請求項１又は請求項２に記載の情報処理プログラム。
  4. 　前記部位を、前記競技者が装着するスケートシューズのブレードとする請求項１～請求項３のいずれか１項に記載の情報処理プログラム。
  5. 　スケートリンク上の競技者を撮影するカメラで撮影された映像を取得し、
    　前記映像に含まれる複数のフレームの各々における、前記競技者が装着するスケートシューズのブレードの高さを特定し、
    　前記高さの変化、及び前記複数のフレームの各々の時刻情報に基づいて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する
    　ことを含む処理をコンピュータに実行させるための情報処理プログラム。
  6. 　前記離氷時刻を推定する処理は、前記複数のフレームの各々の時刻情報に対する前記高さの変化の度合いが、所定値以内の状態から前記所定値を超える状態に変化した変化点に対応する時刻を離氷時刻として推定し、前記着氷時刻を推定する処理は、前記高さの変化の度合いが、前記所定値を超える状態から前記所定値以内の状態に変化した変化点に対応する時刻を着氷時刻として推定することを含む請求項５に記載の情報処理プログラム。
  7. 　前記映像を取得する処理は、前記競技者を、交差する２方向から撮影する複数のカメラの各々で撮影された映像を取得することを含む請求項５又は請求項６に記載の情報処理プログラム。
  8. 　前記映像を取得する処理は、撮影方向が前記スケートリンクの長軸方向と平行な複数の第１カメラ、及び撮影方向が前記スケートリンクの短軸方向と平行な複数の第２カメラのうち、前記第１カメラの撮影方向と前記第２カメラの撮影方向とが交差する位置が、前記競技者の位置に最も近い前記第１カメラ及び前記第２カメラの各々で撮影された映像を取得することを含む請求項７に記載の情報処理プログラム。
  9. 　前記離氷時刻及び前記着氷時刻の各々における、前記ブレードの向きに基づく基準線に対する前記ブレードの角度を算出することをさらに含む処理を前記コンピュータに実行させる請求項４～請求項８のいずれか１項に記載の情報処理プログラム。
  10. 　前記着氷時刻の前後のフレームから算出された前記角度に基づいて、前記着氷時刻における前記ブレードの角度を算出する請求項９に記載の情報処理プログラム。
  11. 　前記離氷時刻に対応するフレームの所定数前のフレームから、前記着氷時刻に対応するフレームの所定数後のフレームまでの各フレームにおける前記競技者及び前記競技者が装着する装着物の少なくとも一部の部位の３次元位置に基づいて、踏切速度、ジャンプの高さ、飛距離、及び回転速度の少なくとも１つを算出する請求項１～請求項１０のいずれか１項に記載の情報処理プログラム。
  12. 　スケートリンク上の競技者を、交差する２方向から撮影する複数のカメラの各々で撮影された映像を取得する取得部と、
    　前記映像に含まれる複数のフレームの各々における、前記競技者及び前記競技者が装着する装着物の少なくとも一部の部位の高さを特定する特定部と、
    　前記高さの変化に基づいて、前記競技者が行ったジャンプの離氷時に対応するフレーム及び着氷時に対応するフレームから、前記ジャンプの離氷時刻及び着氷時刻を推定する推定部と、
    　を含む情報処理装置。
  13. 　前記取得部は、撮影方向が前記スケートリンクの長軸方向と平行な複数の第１カメラ、及び撮影方向が前記スケートリンクの短軸方向と平行な複数の第２カメラのうち、前記第１カメラの撮影方向と前記第２カメラの撮影方向とが交差する位置が、前記競技者の位置に最も近い前記第１カメラ及び前記第２カメラの各々で撮影された映像を取得する請求項１２に記載の情報処理装置。
  14. 　前記推定部は、前記部位の高さが、着氷時の高さを示す基準値を超えたフレーム又は前記基準値を超える１つ前のフレームの時刻情報を、前記離氷時刻として推定し、前記部位の高さが、前記基準値を超えた状態から前記基準値に戻ったフレーム又は前記基準値に戻る１つ前のフレームの時刻情報を、前記着氷時刻として推定する請求項１２又は請求項１３に記載の情報処理装置。
  15. 　スケートリンク上の競技者を撮影するカメラで撮影された映像を取得する取得部と、
    　前記映像に含まれる複数のフレームの各々における、前記競技者が装着するスケートシューズのブレードの高さを特定する特定部と、
    　前記高さの変化、及び前記複数のフレームの各々の時刻情報に基づいて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する推定部と、
    　を含む情報処理装置。
  16. 　前記推定部は、前記複数のフレームの各々の時刻情報に対する前記高さの変化の度合いが、所定値以内の状態から前記所定値を超える状態に変化した変化点に対応する時刻を離氷時刻として推定し、前記着氷時刻を推定する処理は、前記高さの変化の度合いが、前記所定値を超える状態から前記所定値以内の状態に変化した変化点に対応する時刻を着氷時刻として推定する請求項１５に記載の情報処理装置。
  17. 　スケートリンク上の競技者を、交差する２方向から撮影する複数のカメラの各々で撮影された映像を取得し、
    　前記映像に含まれる複数のフレームの各々における、前記競技者及び前記競技者が装着する装着物の少なくとも一部の部位の高さを特定し、
    　前記高さの変化に基づいて、前記競技者が行ったジャンプの離氷時に対応するフレーム及び着氷時に対応するフレームから、前記ジャンプの離氷時刻及び着氷時刻を推定する
    　ことを含む処理をコンピュータが実行する情報処理方法。
  18. 　スケートリンク上の競技者を撮影するカメラで撮影された映像を取得し、
    　前記映像に含まれる複数のフレームの各々における、前記競技者が装着するスケートシューズのブレードの高さを特定し、
    　前記高さの変化、及び前記複数のフレームの各々の時刻情報に基づいて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する
    　ことを含む処理をコンピュータが実行する情報処理方法。
  19. 　スケートリンク上の競技者を、交差する２方向から撮影する複数のカメラの各々で撮影された映像を取得し、
    　前記映像に含まれる複数のフレームの各々における、前記競技者及び前記競技者が装着する装着物の少なくとも一部の部位の高さを特定し、
    　前記高さの変化に基づいて、前記競技者が行ったジャンプの離氷時に対応するフレーム及び着氷時に対応するフレームから、前記ジャンプの離氷時刻及び着氷時刻を推定する
    　ことを含む処理をコンピュータに実行させるための情報処理プログラムを記憶した記憶媒体。
  20. 　スケートリンク上の競技者を撮影するカメラで撮影された映像を取得し、
    　前記映像に含まれる複数のフレームの各々における、前記競技者が装着するスケートシューズのブレードの高さを特定し、
    　前記高さの変化、及び前記複数のフレームの各々の時刻情報に基づいて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する
    　ことを含む処理をコンピュータに実行させるための情報処理プログラムを記憶した記憶媒体。
PCT/JP2021/014499 2021-04-05 2021-04-05 情報処理プログラム、装置、及び方法 WO2022215116A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020237032930A KR20230147733A (ko) 2021-04-05 2021-04-05 정보 처리 프로그램, 장치, 및 방법
EP21935924.7A EP4300948A1 (en) 2021-04-05 2021-04-05 Information processing program, device, and method
PCT/JP2021/014499 WO2022215116A1 (ja) 2021-04-05 2021-04-05 情報処理プログラム、装置、及び方法
JP2023512507A JPWO2022215116A1 (ja) 2021-04-05 2021-04-05
CN202180096595.3A CN117203956A (zh) 2021-04-05 2021-04-05 信息处理程序、装置、以及方法
US18/476,925 US20240020976A1 (en) 2021-04-05 2023-09-28 Information processing program, device, and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/014499 WO2022215116A1 (ja) 2021-04-05 2021-04-05 情報処理プログラム、装置、及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/476,925 Continuation US20240020976A1 (en) 2021-04-05 2023-09-28 Information processing program, device, and method

Publications (1)

Publication Number Publication Date
WO2022215116A1 true WO2022215116A1 (ja) 2022-10-13

Family

ID=83545227

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/014499 WO2022215116A1 (ja) 2021-04-05 2021-04-05 情報処理プログラム、装置、及び方法

Country Status (6)

Country Link
US (1) US20240020976A1 (ja)
EP (1) EP4300948A1 (ja)
JP (1) JPWO2022215116A1 (ja)
KR (1) KR20230147733A (ja)
CN (1) CN117203956A (ja)
WO (1) WO2022215116A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015082817A (ja) 2013-10-24 2015-04-27 ソニー株式会社 情報処理装置、記録媒体、および情報処理方法
WO2016092933A1 (ja) * 2014-12-08 2016-06-16 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2016098415A1 (ja) * 2014-12-18 2016-06-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018142815A (ja) * 2017-02-27 2018-09-13 富士通株式会社 ３次元データ取得装置及び方法
WO2019229818A1 (ja) * 2018-05-28 2019-12-05 富士通株式会社 表示方法、表示プログラムおよび情報処理装置
JP2020030190A (ja) * 2018-08-24 2020-02-27 独立行政法人日本スポーツ振興センター 位置追跡システム、及び位置追跡方法
JP2020031406A (ja) * 2018-08-24 2020-02-27 独立行政法人日本スポーツ振興センター 判定システム、及び判定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015082817A (ja) 2013-10-24 2015-04-27 ソニー株式会社 情報処理装置、記録媒体、および情報処理方法
WO2016092933A1 (ja) * 2014-12-08 2016-06-16 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2016098415A1 (ja) * 2014-12-18 2016-06-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018142815A (ja) * 2017-02-27 2018-09-13 富士通株式会社 ３次元データ取得装置及び方法
WO2019229818A1 (ja) * 2018-05-28 2019-12-05 富士通株式会社 表示方法、表示プログラムおよび情報処理装置
JP2020030190A (ja) * 2018-08-24 2020-02-27 独立行政法人日本スポーツ振興センター 位置追跡システム、及び位置追跡方法
JP2020031406A (ja) * 2018-08-24 2020-02-27 独立行政法人日本スポーツ振興センター 判定システム、及び判定方法

Also Published As

Publication number Publication date
JPWO2022215116A1 (ja) 2022-10-13
KR20230147733A (ko) 2023-10-23
US20240020976A1 (en) 2024-01-18
EP4300948A1 (en) 2024-01-03
CN117203956A (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
JP7362806B2 (ja) 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム
KR102290932B1 (ko) 레이더 데이터 및 이미지화기 데이터를 사용하여 물체를 추적하기 위한 디바이스, 시스템, 및 방법
US11348255B2 (en) Techniques for object tracking
EP2227299B1 (en) Methods and processes for detecting a mark on a playing surface and for tracking an object
US10769810B2 (en) Apparatus, systems and methods for shadow assisted object recognition and tracking
US10922871B2 (en) Casting a ray projection from a perspective view
KR102226623B1 (ko) 실내 스포츠를 위한 카메라를 이용한 운동량 산출 시스템
WO2022215116A1 (ja) 情報処理プログラム、装置、及び方法
US20220392222A1 (en) Information processing program, device, and method
KR101703316B1 (ko) 영상을 기반으로 속도를 측정하는 방법 및 장치
WO2021186645A1 (ja) 情報処理プログラム、装置、及び方法
KR101971060B1 (ko) 모듈형 고속 촬영 장치, 고속 영상 기반의 공 운동 인식 장치 및 방법
US20210343025A1 (en) Method and controller for tracking moving objects
WO2021056552A1 (zh) 视频的处理方法和装置
CN111288972A (zh) 应用于虚拟射箭系统的箭的运动参数测量系统和方法
TWI775637B (zh) 高爾夫揮桿解析系統、高爾夫揮桿解析方法及資訊記憶媒體

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21935924

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023512507

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 20237032930

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020237032930

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2021935924

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2021935924

Country of ref document: EP

Effective date: 20230926

NENP Non-entry into the national phase

Ref country code: DE