WO2021186645A1 - 情報処理プログラム、装置、及び方法 - Google Patents

情報処理プログラム、装置、及び方法 Download PDF

Info

Publication number
WO2021186645A1
WO2021186645A1 PCT/JP2020/012122 JP2020012122W WO2021186645A1 WO 2021186645 A1 WO2021186645 A1 WO 2021186645A1 JP 2020012122 W JP2020012122 W JP 2020012122W WO 2021186645 A1 WO2021186645 A1 WO 2021186645A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
ice
image
information processing
sound signal
Prior art date
Application number
PCT/JP2020/012122
Other languages
English (en)
French (fr)
Inventor
中村　公治
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2022507936A priority Critical patent/JP7444238B2/ja
Priority to EP20925729.4A priority patent/EP4093024A4/en
Priority to KR1020227028571A priority patent/KR20220128433A/ko
Priority to PCT/JP2020/012122 priority patent/WO2021186645A1/ja
Priority to CN202080096865.6A priority patent/CN115136591A/zh
Publication of WO2021186645A1 publication Critical patent/WO2021186645A1/ja
Priority to US17/890,024 priority patent/US20220394322A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/10—Positions
    • A63B2220/13—Relative positions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/807—Photo cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/808—Microphones
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2244/00—Sports without balls
    • A63B2244/18—Skating
    • A63B2244/183—Artistic or figure skating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the disclosed technology relates to information processing programs, information processing devices, and information processing methods.
  • the predetermined points are, for example, the moment of impact on the ball in golf, baseball, tennis, etc., the moment of jumping or landing in gymnastics, etc.
  • an information processing device that identifies a decisive moment from continuous motions of a subject and extracts it as an image.
  • This device receives sensor data from a user or a sensor mounted on an object in contact with the user, and time information corresponding to the sensor data.
  • this device identifies the time when a predetermined motion pattern occurs in the user or the object based on the sensor data and the time information. Then, this device selects one or a plurality of images from a series of images including a user or an object taken at a predetermined time interval according to a specified time.
  • the disclosed technology aims to identify the freezing and landing points of jumps in figure skating.
  • the disclosed technology acquires a sound signal collected by a microphone provided in the venue including the skating rink and a first image of a player on the skating rink. Further, the disclosed technique estimates the ice removal time and the icing time of the jump performed by the competitor in response to the disappearance and return of the ice sound based on the sound signal. Then, the disclosed technique synchronizes the time information of the sound signal with the time information of the first image, and acquires the trajectory of the position of the athlete on the skating rink based on the first image. .. Further, the disclosed technique identifies each of the position corresponding to the ice-off time and the position corresponding to the icing time in the locus of the position of the athlete.
  • it has the effect of being able to identify the freezing point and the freezing point of jumps in figure skating.
  • the information processing system 100 includes an information processing device 10, a microphone 20, and a camera 22.
  • the information processing system 100 processes sound signals output from the microphone 20 and images output from the camera 22, and jumps from the freezing point to the freezing point on the trajectory of the athlete's position. To identify.
  • the microphone 20 is installed in the ice of the skating rink 30.
  • the microphone 20 can be installed in the ice by embedding it in the skating rink 30 when putting ice.
  • the microphone 20 collects the sound of the competition venue and outputs a sound signal. Since the microphone 20 is installed in the ice, the sound component contained in the sound signal collected by the microphone 20 suppresses the sound component indicating cheers, music, etc., and the surface (ice) of the skating link 30 and the skating.
  • the sound component that indicates the frictional sound with the blade of the shoe becomes dominant. Time information is associated with each sampling point of the output sound signal.
  • the frictional sound between the surface of the skating rink 30 (ice) and the blade of the skate shoe is an example of the sound of ice.
  • the camera 22 is a photographing device for, for example, motion tracking, which captures an image capable of identifying the position of the athlete 32 on the skating rink 30.
  • a plurality of cameras 22 for example, three are installed on the ceiling, side wall, or the like of the venue. In FIG. 1, only one camera 22 is shown.
  • Each camera 22 outputs an image captured at a predetermined frame rate (for example, 120 fps).
  • the output video contains a plurality of frames, and each frame is associated with time information.
  • the information processing device 10 includes an acquisition unit 12, an estimation unit 14, a specific unit 16, and an output unit 18, as shown in FIG.
  • the acquisition unit 12 acquires the sound signal output from the microphone 20 and the video output from each of the plurality of cameras 22.
  • the acquisition unit 12 passes the acquired sound signal to the estimation unit 14, and delivers the acquired video to the specific unit 16.
  • the estimation unit 14 estimates the ice removal time and the icing time of the jump performed by the athlete according to the disappearance and return of the ice sound based on the sound signal. For example, the estimation unit 14 estimates the ice-off time and the icing time of the jump performed by the athlete based on the section in which the sound signal level is equal to or less than a predetermined threshold value. This utilizes the fact that the frictional noise between the blade and the ice disappears when the ice is removed at the start of the jump, and the frictional noise is restored when the ice is landed. As the threshold value, a value that can be regarded as having lost the sound signal may be set. Specifically, as shown in FIG.
  • the estimation unit 14 estimates the time when the sound signal becomes the threshold value TH or less as the ice removal time tA. Further, the estimation unit 14 estimates the time when the sound signal that was below the threshold value TH exceeds the threshold value TH again as the icing time tB.
  • the estimation unit 14 may estimate the ice removal time tA and the icing time tB of the jump based on the sound signal after removing the predetermined frequency component included in the sound signal.
  • the predetermined frequency component can be, for example, a frequency component corresponding to a sound other than the friction sound between the blade and ice, such as cheers and music.
  • sounds other than the friction sound between the blade and the ice, such as cheers and music are suppressed.
  • the jump deicing time tA and the icing time tB can be estimated with higher accuracy.
  • the microphone 20 When the microphone 20 is installed in a venue that is not in the ice, the sound signal includes a lot of cheers, music, and the like, so it is effective to remove a predetermined frequency component.
  • the estimation unit 14 passes the estimated jump deicing time tA and icing time tB to the specific unit 16.
  • the specific unit 16 acquires the trajectory of the position of the athlete 32 on the skating rink 30 by motion tracking from the video delivered from the acquisition unit 12. For example, the specific unit 16 recognizes the player 32, which is the target of motion tracking, for each frame of the image captured by each camera 22. For example, the specific unit 16 recognizes the athlete 32 from each frame based on the characteristics such as the color and shape of the athlete 32 or the attachment worn by the athlete 32. Further, the specific unit 16 may recognize the moving object indicated by the difference between the frames as the athlete 32. Then, the specific unit 16 calculates the position of the player 32 recognized in each frame for each frame. Then, the specific unit 16 generates trajectory information by tracking the position of the athlete in each frame. The position of the athlete may be calculated in three dimensions or in two dimensions. In the present embodiment, the case of calculating the recognized position coordinates (x, y) of the athlete 32 on the xy plane when the skating rink 30 is viewed in a plane will be described.
  • the identification unit 16 synchronizes the time information of the sound signal with the time information of the video.
  • the specific unit 16 may reflect the delay time of the sound signal with respect to the image according to the distance between the player 32 and the microphone 20. Specifically, as shown in FIG. 4, when the distance between the athlete 32 and the microphone 20 is X [m], the speed of sound 3230 [m / s] in ice is used, and the delay time is X ⁇ 3230. It becomes.
  • the specific unit 16 may synchronize the time information obtained by subtracting the delay time from the time information of the sound signal and the time information of the video by using the delay time obtained as described above.
  • the identification unit 16 specifies as a jump section from the position corresponding to the icing time tA to the position corresponding to the icing time tB on the trajectory of the position of the athlete 32.
  • each of the ice-off time tA and the ice-landing time tB is delayed from each of the ice-off time tA and the ice-landing time tB estimated by the estimation unit 14. It is the time information obtained by subtracting the time.
  • the specific unit 16 was acquired from each of the frames corresponding to the time information immediately before and after the ice break time tA in the video in which the sound signal and the time information were synchronized. Identify the position of the competitor 32. Then, the specifying unit 16 specifies a position corresponding to the ice-off time tA (hereinafter, also referred to as “ice-off point”) between the specified positions.
  • ice-off point a position corresponding to the ice-off time tA (hereinafter, also referred to as “ice-off point”) between the specified positions.
  • the locus of the position of the athlete 32 is represented by a straight line corresponding to the time axis of the sound signal.
  • the identification unit 16 also specifies the position corresponding to the icing time tB (hereinafter, also referred to as “icing point”) in the same manner as the above-mentioned icing point.
  • the specific unit 16 passes the locus of the position of the athlete 32 acquired by motion tracking and the positions of the specified deicing point and icing point to the output unit 18.
  • the output unit 18 superimposes an image showing the locus of the position of the athlete 32 on the image showing the skating rink 30, and displays the specified jump section in a display mode different from other sections in the locus. Generates and outputs the image data of. For example, the output unit 18 generates image data showing an image 38 as shown in FIG. In the example of image 38 in FIG. 1, the locus is shown by a broken line and the jump section is shown by a solid line.
  • the image 38 indicated by the output image data is displayed on, for example, a display device or the like used by the referee, and can be used for determining the link cover or the like. It is also possible to insert the image 38 on the screen of a television broadcast or the like.
  • the information processing device 10 can be realized by, for example, the computer 40 shown in FIG.
  • the computer 40 includes a CPU (Central Processing Unit) 41, a memory 42 as a temporary storage area, and a non-volatile storage unit 43. Further, the computer 40 includes an input / output device 44 such as an input unit and a display unit, and an R / W (Read / Write) unit 45 that controls reading and writing of data to the storage medium 49. Further, the computer 40 includes a communication I / F (Interface) 46 connected to a network such as the Internet.
  • the CPU 41, the memory 42, the storage unit 43, the input / output device 44, the R / W unit 45, and the communication I / F 46 are connected to each other via the bus 47.
  • the storage unit 43 can be realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like.
  • the information processing program 50 for making the computer 40 function as the information processing device 10 is stored in the storage unit 43 as a storage medium.
  • the information processing program 50 has an acquisition process 52, an estimation process 54, a specific process 56, and an output process 58.
  • the CPU 41 reads the information processing program 50 from the storage unit 43, expands it in the memory 42, and sequentially executes the processes included in the information processing program 50.
  • the CPU 41 operates as the acquisition unit 12 shown in FIG. 2 by executing the acquisition process 52. Further, the CPU 41 operates as the estimation unit 14 shown in FIG. 2 by executing the estimation process 54. Further, the CPU 41 operates as the specific unit 16 shown in FIG. 2 by executing the specific process 56. Further, the CPU 41 operates as the output unit 18 shown in FIG. 2 by executing the output process 58.
  • the computer 40 that executes the information processing program 50 functions as the information processing device 10.
  • the CPU 41 that executes the program is hardware.
  • the function realized by the information processing program 50 can also be realized by, for example, a semiconductor integrated circuit, more specifically, an ASIC (Application Specific Integrated Circuit) or the like.
  • a semiconductor integrated circuit more specifically, an ASIC (Application Specific Integrated Circuit) or the like.
  • the information processing routine is an example of an information processing method of the disclosed technology.
  • step S12 the acquisition unit 12 acquires the sound signal and the video input to the information processing device 10.
  • the acquisition unit 12 passes the acquired sound signal to the estimation unit 14, and delivers the acquired video to the specific unit 16.
  • step S14 the estimation unit 14 estimates the time when the sound signal is below the threshold value TH as the ice-off time tA, and arrives at the time when the sound signal below the threshold value TH exceeds the threshold value TH again. Estimated as ice time tB. The estimation unit 14 passes the estimated jump deicing time tA and icing time tB to the specific unit 16.
  • step S16 the specific unit 16 acquires the trajectory of the position of the athlete 32 on the skating rink 30 from each frame of the image delivered from the acquisition unit 12.
  • step S18 the specific unit 16 synchronizes the time information of the sound signal with the time information of the video. Then, the specific unit 16 identifies the position of the athlete 32 acquired from each of the frames corresponding to the time information immediately before and after the ice removal time tA in each frame of the video in which the sound signal and the time information are synchronized. do. Then, the specifying unit 16 specifies the position of the ice-off point A corresponding to the ice-off time tA between the specified positions. Similarly, the specific unit 16 determines the position of the competitor 32 acquired from each of the frames corresponding to the time information immediately before and after the icing time tB in each frame of the video in which the sound signal and the time information are synchronized. Identify.
  • the specific unit 16 specifies the position of the icing point B corresponding to the icing time tB between the specified positions.
  • the section from the specified deicing point A to the ice landing point B is specified as a jump section.
  • the specific unit 16 passes the locus of the position of the athlete 32 acquired by motion tracking and the positions of the specified deicing point and icing point to the output unit 18.
  • step S20 the output unit 18 superimposes an image showing the locus of the position of the athlete 32 on the image showing the skating rink 30, and sets the specified jump section different from the image showing the locus. Generates and outputs image data for display in a display mode. Then, the information processing routine ends.
  • the information processing device is a sound signal collected by a microphone provided in the venue including the skating rink, and a competitor on the skating rink. Acquires a video shot so that the position of is identifiable. Then, the information processing device estimates the ice removal time and the icing time of the jump performed by the competitor according to the disappearance and return of the ice sound based on the sound signal. Further, the information processing device synchronizes the time information of the sound signal with the time information of the video, and the position corresponding to the ice removal time in the trajectory of the athlete's position on the skating rink acquired from the video by motion tracking. , And each of the positions corresponding to the ice landing time is specified. This makes it possible to identify the freezing point and the freezing point of a jump in figure skating without attaching a sensor or the like to the athlete.
  • the information processing system 200 includes an information processing device 210, a microphone 20, a first camera 22, and a second camera 24.
  • the information processing system 200 processes information on the sound signal output from the microphone 20 and the images output from the first camera 22 and the second camera 24, and the information processing system 200 performs information processing on the video output from the first camera 22 and the second camera 24. Identify the jump section from the freezing point to the freezing point on the trajectory.
  • the information processing system 200 calculates information about the jump, such as the rotation angle of the blade at the time of icing of the jump, using the specified jump section.
  • the first camera 22 is the same as the camera 22 in the first embodiment, and is a photographing device for, for example, motion tracking, which captures an image capable of identifying the position of the athlete 32 on the skating rink 30.
  • the second camera 24 is a photographing device that can identify the three-dimensional position of the athlete 32 on the skating rink 30 and the predetermined portion of the attachment worn by the athlete 32.
  • a plurality of (for example, two) second cameras 24 are installed at positions where the three-dimensional position of the predetermined portion can be measured by the stereo camera method. In FIG. 9, only one second camera 24 is shown.
  • Each second camera 24 outputs an image captured at a predetermined frame rate (for example, 30 fps, 60 fps, etc.).
  • the output video contains a plurality of frames, and each frame is associated with time information.
  • one ToF (Time-of-Flight) type camera may be used as the second camera 24, one ToF (Time-of-Flight) type camera may be used.
  • the image taken by the first camera 22 will be referred to as the first image
  • the image taken by the second camera 24 will be referred to as the second image.
  • the information processing device 210 includes an acquisition unit 212, an estimation unit 14, a specific unit 216, a calculation unit 19, and an output unit 218.
  • the acquisition unit 212 acquires the sound signal output from the microphone 20, the first image output from each of the plurality of first cameras 22, and the second image output from each of the plurality of second cameras 24. do.
  • the acquisition unit 212 passes the acquired sound signal to the estimation unit 14, and delivers the acquired first video and the second video to the specific unit 216.
  • the specific unit 216 has the ice removal point A and the icing point based on the ice removal time tA and the icing time tB estimated by the estimation unit 14 and the first image. Identify each position of B. Further, as shown in FIG. 11, the specifying unit 216 specifies a straight line passing through the freezing point A and the freezing point B as a reference line (AB) for determining the rotation of the jump. The specific unit 216 passes the locus of the position of the athlete 32 and the positions of the freezing point A and the freezing point B to the output unit 218, and the positions of the freezing point A and the freezing point B and the reference line (AB). The information is passed to the calculation unit 19.
  • the specific unit 216 synchronizes the time information of the sound signal with the time information of the second image, and in the second image passed from the acquisition unit 212, from the frame corresponding to the icing time tA of the jump.
  • the frame up to the frame corresponding to the icing time tB is specified as the jump section.
  • the specific unit 216 is a frame before a predetermined number of frames of the second image of time information synchronized with the ice removal time tA (hereinafter, referred to as “ice removal frame mA”). Is specified as the start frame mS corresponding to the ice removal time tA. Further, the specific unit 216 ends the frame after a predetermined number of frames of the second image of the time information synchronized with the icing time tB (hereinafter, referred to as “icing frame mB”) corresponding to the icing time tB. Specified as frame mE.
  • the frames before and after the deicing frame mA to the icing claim mB are included in order to specify the start frame mS and the end frame mE so as to ensure that the process from deicing to icing is included.
  • the predetermined number can be, for example, 1.
  • the specifying unit 216 may use a predetermined number based on the delay time when specifying the start frame mS, and may use 1 as the predetermined number when specifying the end frame mE.
  • the specific unit 216 extracts the section from the start frame mS to the end frame mE from the second video delivered from the acquisition unit 212 as a jump section, and delivers it to the calculation unit 19.
  • the calculation unit 19 three-dimensionally analyzes each of the frames of the second image included in the jump section delivered from the specific unit 216, and determines the athlete 32 and the predetermined portion of the attachment worn by the athlete 32.
  • the three-dimensional position (x, y, z) is calculated.
  • the predetermined portion includes the tip 34 and the end 36 of the blade of the skate shoe worn by the athlete 32, as shown in FIG.
  • the predetermined portion may include each joint of the athlete 32, a head portion, and a facial portion such as eyes, nose, and mouth.
  • existing methods such as a recognition method using the shape of the predetermined part and a recognition method using a human skeleton model can be used.
  • the information processing system 200 is equipped with three or more second cameras 24.
  • the calculation unit 19 uses two images of the athlete 32 taken at an angle suitable for calculating the three-dimensional position among the images taken by each of the plurality of second cameras 24, and uses the two images of the predetermined portion.
  • the three-dimensional position may be calculated.
  • the calculation unit 19 calculates the absolute angle of the blade with reference to the shooting direction of the second camera 24 by using the positions of the tip 34 and the end 36 of the blade calculated from each of the frames included in the jump section. For example, the calculation unit 19 may calculate the angle formed by the shooting direction of the second camera 24 or the line perpendicular to the shooting direction and the line connecting the tip end 34 and the end end 36 of the blade as the absolute angle of the blade. can.
  • the calculation unit 19 defines any of the second cameras 24 among the plurality of second cameras 24 as the main camera, and determines the absolute angle of the blade with reference to the shooting direction of the main second camera 24. It may be calculated.
  • the calculation unit 19 converts the absolute angle of the blade into an angle with respect to the reference line for determining the insufficient rotation of the jump (hereinafter, referred to as “rotation angle ⁇ ”). Specifically, the calculation unit 19 subtracts the angle difference between the line based on the shooting direction of the second camera 24 and the reference line (AB) specified by the specific unit 216 from the absolute angle of the blade. Then, the rotation angle ⁇ of the blade is calculated.
  • FIG. 14 shows the rotation angle ⁇ calculated from each of the frames included in the jump section.
  • the calculation unit 19 calculates the delay time ⁇ t of the sound signal with respect to the second image at the time of icing.
  • the delay time is the distance X [m] ⁇ 3230 [m / s] (sound velocity in ice).
  • the distance X is the distance between the position of the microphone 20 and the icing point B.
  • the calculation unit 19 is based on the rotation angle ⁇ (mE) calculated from the end frame mE and the rotation angle ⁇ (mE-1) calculated from the frame mE-1 immediately before the end frame mE at the time of icing. Calculate the rotation angle of the blade.
  • FIG. 15 is an enlarged view of the portion shown by the broken line frame of FIG.
  • the corrected icing time tB ⁇ t in consideration of the calculated delay time ⁇ t in the icing time tB estimated based on the sound signal is included in the time for one frame from frame mE-1 to frame mE. ..
  • the delay time ⁇ t is a minute time as compared with the time for one frame.
  • the calculation unit 19 assumes that the rotation speed during the jump is substantially constant, and uses the rotation angle ⁇ (mE-1) and the rotation angle ⁇ (mE) to determine the rotation angle between the frame mE-1 and the frame mE. Linear interpolation. Then, the calculation unit 19 calculates the rotation angle corresponding to the corrected icing time tB ⁇ t as the rotation angle ⁇ (tB ⁇ t) at the time of icing.
  • the calculation unit 19 can also calculate other information based on the three-dimensional position of the predetermined portion corresponding to the jump section. For example, the calculation unit 19 calculates the waist position as a predetermined part, and calculates the difference between the minimum value and the maximum value of the waist position calculated from each frame included in the jump section as the jump height. Can be done. Further, the calculation unit 19 can calculate the distance from the deicing point A specified by the specific unit 216 to the icing point B as the jump flight distance. Further, the calculation unit 19 can calculate the rotation speed from the time from the ice removal time tA to the icing time tB and the change in the rotation angle in the jump section.
  • the calculation unit 19 can calculate the railroad crossing speed from the time from the start frame mS to the predetermined frame and the amount of change in the position of the predetermined portion during that time.
  • the calculation unit 19 passes the rotation angle ⁇ (tB ⁇ t) at the time of icing and other calculated information to the output unit 218.
  • the output unit 218 Similar to the output unit 18 in the first embodiment, the output unit 218 generates and outputs image data of the image 38 showing the jump section on the locus of the position of the athlete 32. Further, the output unit 218 outputs information such as the rotation angle ⁇ (tB ⁇ t) at the time of icing delivered from the calculation unit 19. The rotation angle ⁇ (tB ⁇ t) at the time of icing can be used for determining the insufficient rotation of the jump or the like. Further, the output information can be used as stats to be displayed on a screen of a television broadcast or the like.
  • the information processing device 210 can be realized by, for example, the computer 40 shown in FIG.
  • the information processing program 250 for making the computer 40 function as the information processing device 210 is stored in the storage unit 43 of the computer 40.
  • the information processing program 250 has an acquisition process 252, an estimation process 54, a specific process 256, a calculation process 59, and an output process 258.
  • the CPU 41 reads the information processing program 250 from the storage unit 43, expands it in the memory 42, and sequentially executes the processes included in the information processing program 250.
  • the CPU 41 operates as the acquisition unit 212 shown in FIG. 10 by executing the acquisition process 252. Further, the CPU 41 operates as the estimation unit 14 shown in FIG. 10 by executing the estimation process 54. Further, the CPU 41 operates as the specific unit 216 shown in FIG. 10 by executing the specific process 256. Further, the CPU 41 operates as the calculation unit 19 shown in FIG. 10 by executing the calculation process 59. Further, the CPU 41 operates as the output unit 218 shown in FIG. 10 by executing the output process 258. As a result, the computer 40 that executes the information processing program 250 functions as the information processing device 210.
  • the function realized by the information processing program 250 can also be realized by, for example, a semiconductor integrated circuit, more specifically, an ASIC or the like.
  • the information processing device 210 receives a sound signal output from the microphone 20, a first image captured by each of the plurality of first cameras 22, and a second image captured by each of the plurality of second cameras 24. Entered. Then, the information processing routine shown in FIG. 16 is executed in the information processing device 210. In the information processing routine shown in FIG. 16, the same step numbers are assigned to the same processing as the information processing routine (FIG. 8) in the first embodiment, and detailed description thereof will be omitted.
  • the information processing routine is an example of an information processing method of the disclosed technology.
  • step S212 the acquisition unit 212 acquires the sound signal, the first video, and the second video input to the information processing device 210.
  • the acquisition unit 212 passes the acquired sound signal to the estimation unit 14, and delivers the acquired first video and the second video to the specific unit 216.
  • the specific unit 216 After passing through steps S14 to S18, in the next step S218, the specific unit 216 passes through the freezing point A and the freezing point B using the respective positions of the freezing point A and the freezing point B specified in the above step S18. Is specified as a reference line (AB) for determining the rotation of the jump.
  • AB reference line
  • step S220 in the second image, the specific unit 216 sets the frame before the predetermined number (for example, 1 frame) of the deicing frame mA of the time information synchronized with the deicing time tA to the deicing time tA. Is specified as the start frame mS corresponding to. Further, the specifying unit 216 specifies a frame after a predetermined number (for example, 1 frame) of the icing frame mB of the time information synchronized with the icing time tB as the end frame mE corresponding to the icing time tB. The specific unit 216 extracts a section from the start frame mS to the end frame mE as a jump section from the second video delivered from the acquisition unit 212, and delivers it to the calculation unit 19.
  • the predetermined number for example, 1 frame
  • step S222 the calculation unit 19 three-dimensionally analyzes each of the frames included in the jump section delivered from the specific unit 216, and the three-dimensional position of the predetermined portion including the tip 34 and the end 36 of the blade. (X, y, z) is calculated. Then, the calculation unit 19 calculates the angle formed by the line based on the shooting direction of the second camera 24 and the line connecting the tip end 34 and the end end 36 of the blade as the absolute angle of the blade. Further, the calculation unit 19 subtracts the angle difference between the reference line specified by the specific unit 216 in step S218 and the line based on the shooting direction of the second camera 24 from the absolute angle of the blade to obtain the blade. Calculate the rotation angle ⁇ .
  • step S226 the calculation unit 19 determines the flight distance based on the three-dimensional position of the predetermined portion corresponding to the jump section, the positions of the freezing point A and the ice landing point B specified by the specific unit 216, and the like. Calculate other information such as rotation speed.
  • the information processing device estimates the ice removal time and the ice landing time from the sound signal, similarly to the information processing device according to the first embodiment. By doing so, the positions of the freezing point and the freezing point can be accurately specified.
  • the information processing device specifies a reference line for determining the rotation of the jump using the specified deicing point and icing point. As a result, it is possible to provide support for accurately determining the lack of rotation of the jump.
  • the mode in which the information processing program is stored (installed) in the storage unit in advance has been described, but the present invention is not limited to this.
  • the program according to the disclosed technique can also be provided in a form stored in a storage medium such as a CD-ROM, a DVD-ROM, or a USB memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Devices For Executing Special Programs (AREA)

Abstract

情報処理装置（１０）は、スケートリンク（３０）を含む会場内に設けられたマイク（２０）で集音された音信号、及びスケートリンク（３０）上の競技者（３２）の位置を特定可能に撮影した映像を取得し、音信号に基づく氷の音の消失及び復帰に応じて、競技者（３２）が行ったジャンプの離氷時刻及び着氷時刻を推定し、音信号の時刻情報と映像の時刻情報とを同期させ、映像からモーショントラッキングにより取得されたスケートリンク（３０）上での競技者（３２）の位置の軌跡において、離氷時刻に対応する位置、及び着氷時刻に対応する位置の各々を特定することにより、フィギュアスケートにおけるジャンプの離氷点及び着氷点を特定する。

Description

情報処理プログラム、装置、及び方法
　開示の技術は、情報処理プログラム、情報処理装置、及び情報処理方法に関する。
　従来、スポーツの競技中の映像から、競技者の位置、姿勢等の所定のポイントや区間を特定することが行われている。所定のポイントは、例えば、ゴルフ、野球、テニス等におけるボールに対するインパクトの瞬間、体操競技等における跳躍や着地の瞬間等である。
　上記のような所定のポイントや区間の特定に関する技術として、例えば、被写体の連続するモーションの中から決定的瞬間を特定して画像として抽出する情報処理装置が提案されている。この装置は、ユーザ又はユーザに接触するオブジェクトに装着されたセンサからのセンサデータ、及びセンサデータに対応する時刻情報を受信する。また、この装置は、センサデータ及び時刻情報に基づいて、ユーザ又はオブジェクトに所定のモーションパターンが発生した時刻を特定する。そして、この装置は、特定した時刻に応じて、所定の時間間隔で撮影されたユーザ又はオブジェクトを含む一連の画像から１又は複数の画像を選択する。
特開２０１５－８２８１７号公報
　特定対象のポイントとして、フィギュアスケートのジャンプの離氷点及び着氷点の位置を想定する。フィギュアスケートにおいては、競技者、又は競技者が装着するウェアやシューズにセンサを取り付ける等の少しの変化が、ジャンプ等の精度に影響を与えてしまう場合がある。そのため、従来技術を適用して、フィギュアスケートにおけるジャンプの離氷点及び着氷点の位置を特定することは困難である。
　一つの側面として、開示の技術は、フィギュアスケートにおけるジャンプの離氷点及び着氷点を特定することを目的とする。
　一つの態様として、開示の技術は、スケートリンクを含む会場内に設けられたマイクで集音された音信号、及び前記スケートリンク上の競技者を撮影した第１の映像を取得する。また、開示の技術は、前記音信号に基づく氷の音の消失及び復帰に応じて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する。そして、開示の技術は、前記音信号の時刻情報と前記第１の映像の時刻情報とを同期させ、前記第１の映像に基づく前記スケートリンク上での前記競技者の位置の軌跡を取得する。さらに、開示の技術は、前記競技者の位置の軌跡において、前記離氷時刻に対応する位置、及び前記着氷時刻に対応する位置の各々を特定する。
　一つの側面として、フィギュアスケートにおけるジャンプの離氷点及び着氷点を特定することができる、という効果を有する。
第１実施形態に係る情報処理システムの概略構成を示すブロック図である。 第１実施形態に係る情報処理装置の機能ブロックである。 離氷時刻及び着氷時刻の推定を説明するための図である。 映像に対する音信号の遅延時間を説明するための図である。 離氷点及び着氷点の特定を説明するための図である。 離氷点の特定の詳細を説明するための図である。 情報処理装置として機能するコンピュータの概略構成を示すブロック図である。 第１実施形態における情報処理ルーチンの一例を示すフローチャートである。 第２実施形態に係る情報処理システムの概略構成を示すブロック図である。 第２実施形態に係る情報処理装置の機能ブロックである。 基準線の特定を説明するための図である。 ジャンプの区間を示す第２の映像のフレームの特定を説明するための図である。 所定部位としてブレードの先端及び終端の位置を算出することを説明するための図である。 ジャンプの区間に含まれるフレームの各々から算出された回転角度θを示す図である。 図１４の破線枠で示す部分の拡大図である。 第２実施形態における情報処理ルーチンの一例を示すフローチャートである。
　以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。
＜第１実施形態＞
　まず、第１実施形態に係る情報処理システムの概要について説明する。図１に示すように、情報処理システム１００は、情報処理装置１０と、マイク２０と、カメラ２２とを含む。情報処理システム１００は、マイク２０から出力される音信号、及びカメラ２２から出力される映像に対して情報処理を行い、競技者の位置の軌跡上における、離氷点から着氷点までのジャンプの区間を特定する。
　マイク２０は、スケートリンク３０の氷中に設置される。例えば、スケートリンク３０の設営時において、氷を張る際にスケートリンク３０内に埋め込むことで、マイク２０を氷中に設置することができる。マイク２０は、競技会場の音声を集音し、音信号を出力する。マイク２０が氷中に設置されていることにより、マイク２０で集音される音信号に含まれる音成分は、歓声や音楽等を示す音成分が抑制され、スケートリンク３０表面（氷）とスケートシューズのブレードとの摩擦音を示す音成分が支配的になる。出力される音信号の各サンプリング点には時刻情報が対応付いている。スケートリンク３０表面（氷）とスケートシューズのブレードとの摩擦音は、氷の音の一例である。
　カメラ２２は、スケートリンク３０上の競技者３２の位置を特定可能な映像を撮影する、例えばモーショントラッキング用の撮影装置である。例えば、カメラ２２は、会場の天井、側壁等に複数台（例えば、３台）設置される。なお、図１では、カメラ２２は１台のみ図示している。各カメラ２２は、所定のフレームレート（例えば、１２０ｆｐｓ）で撮影した映像を出力する。出力される映像は、複数のフレームを含んでおり、各フレームには時刻情報が対応付いている。
　情報処理装置１０は、機能的には、図２に示すように、取得部１２と、推定部１４と、特定部１６と、出力部１８とを含む。
　取得部１２は、マイク２０から出力された音信号、及び複数のカメラ２２の各々から出力された映像を取得する。取得部１２は、取得した音信号を推定部１４へ受け渡し、取得した映像を特定部１６へ受け渡す。
　推定部１４は、音信号に基づく氷の音の消失と復帰とに応じて、競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する。例えば、推定部１４は、音信号のレベルが予め定めた閾値以下となる区間に基づいて、競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する。これは、ジャンプ開始の離氷時には、ブレードと氷との摩擦音が消失し、着氷時に摩擦音が復帰することを利用したものである。閾値としては、概ね音信号が消失したと見做せる値を定めておけばよい。具体的には、図３に示すように、推定部１４は、音信号が閾値ＴＨ以下となった時刻を離氷時刻ｔＡとして推定する。また、推定部１４は、閾値ＴＨ以下となっていた音信号が再び閾値ＴＨを超えた時刻を着氷時刻ｔＢとして推定する。
　また、推定部１４は、音信号に含まれる所定の周波数成分を除去した後の音信号に基づいて、ジャンプの離氷時刻ｔＡ及び着氷時刻ｔＢを推定してもよい。所定の周波数成分としては、例えば、歓声や音楽等、ブレードと氷との摩擦音以外の音に相当する周波数成分とすることができる。上述のように、マイク２０が氷中に設置されている場合には、歓声や音楽等、ブレードと氷との摩擦音以外の音は抑制されている。ただし、ブレードと氷との摩擦音以外の音に相当する周波数成分を除去することにより、より高精度にジャンプの離氷時刻ｔＡ及び着氷時刻ｔＢを推定することができる。なお、マイク２０が氷中ではない会場内に設置されている場合、音信号には歓声や音楽等も多く含まれることになるため、所定の周波数成分を除去することが有効となる。推定部１４は、推定したジャンプの離氷時刻ｔＡ及び着氷時刻ｔＢを特定部１６へ受け渡す。
　特定部１６は、取得部１２から受け渡された映像から、モーショントラッキングによりスケートリンク３０上での競技者３２の位置の軌跡を取得する。例えば、特定部１６は、各カメラ２２で撮影された映像のフレーム毎に、モーショントラッキングの対象である競技者３２を認識する。例えば、特定部１６は、競技者３２又は競技者３２が装着する装着物の色、形状等の特徴に基づいて、各フレームから競技者３２を認識する。また、特定部１６は、フレーム間の差分が示す移動する物体を競技者３２として認識してもよい。そして、特定部１６は、各フレームにおいて認識された競技者３２の位置を、フレーム毎に算出する。そして、特定部１６は、各フレームにおける競技者の位置を追跡することで、軌跡情報を生成する。なお、競技者の位置は３次元で算出されてもよいし、２次元で算出されてもよい。本実施形態では、スケートリンク３０を平面視したｘｙ平面における、認識した競技者３２の位置座標（ｘ，ｙ）を算出する場合について説明する。
　特定部１６は、音信号の時刻情報と映像の時刻情報とを同期させる。この際、特定部１６は、競技者３２とマイク２０との距離に応じた、映像に対する音信号の遅延時間を反映させるようにしてもよい。具体的には、図４に示すように、競技者３２とマイク２０との距離がＸ［ｍ］の場合、氷中の音速３２３０［ｍ／ｓ］を用いて、遅延時間は、Ｘ÷３２３０となる。例えば、特定部１６は、マイク２０の位置からスケートリンク３０の端までの距離の最大値をＸ＝３０ｍとし、遅延時間を、３０÷３２３０＝９．２８［ｍｓ］と求めることができる。特定部１６は、上記のように求めた遅延時間を用いて、音信号の時刻情報から遅延時間を減算した時刻情報と、映像の時刻情報とを同期させてもよい。
　特定部１６は、競技者３２の位置の軌跡上で、離氷時刻ｔＡに対応する位置から着氷時刻ｔＢに対応する位置までをジャンプの区間として特定する。なお、上記のように、音信号の遅延時間を反映させる場合、離氷時刻ｔＡ及び着氷時刻ｔＢの各々は、推定部１４により推定された離氷時刻ｔＡ及び着氷時刻ｔＢの各々から遅延時間を減算した時刻情報である。
　具体的には、図５に示すように、特定部１６は、音信号と時刻情報を同期させた映像において、離氷時刻ｔＡの直前及び直後の時刻情報に対応するフレームの各々から取得された競技者３２の位置を特定する。そして、特定部１６は、特定した両位置の間で、離氷時刻ｔＡに対応する位置（以下、「離氷点」ともいう）を特定する。なお、図５では、説明の都合上、競技者３２の位置の軌跡を、音信号の時間軸に対応させた直線で表している。
　より具体的には、特定部１６は、図６に示すように、離氷時刻ｔＡの直前の時刻情報ｔ１に対応するフレームをｍ１、離氷時刻ｔＡの直後の時刻情報ｔ２に対応するフレームをｍ２とする。また、特定部１６は、フレームｍ１から取得された位置をＰ１、フレームｍ２から取得された位置をＰ２とし、Ｐ１とＰ２との間では、競技者３２の位置は直線的に変化するものと仮定する。この場合、特定部１６は、Ｐ１とＰ２との間の位置であって、１フレーム分の時間（ｔ２－ｔ１）に対するｔＡの割合に対応する位置を、離氷点Ａと特定する。すなわち、特定部１６は、Ａ＝Ｐ１＋（Ｐ２－Ｐ１）×（ｔＡ－ｔ１）／（ｔ２－ｔ１）により、離氷点を特定することができる。
　特定部１６は、着氷時刻ｔＢに対応する位置（以下、「着氷点」ともいう）についても、上記の離氷点と同様に特定する。特定部１６は、モーショントラッキングにより取得した競技者３２の位置の軌跡と、特定した離氷点及び着氷点の位置とを出力部１８へ受け渡す。
　出力部１８は、スケートリンク３０を表す画像に、競技者３２の位置の軌跡を示す画像を重畳すると共に、特定されたジャンプの区間を、軌跡における他の区間とは異なる表示態様で表示するための画像データを生成し、出力する。例えば、出力部１８は、図１に示すような画像３８を示す画像データを生成する。図１の画像３８の例では、軌跡を破線で示し、ジャンプの区間を実線で示している。出力された画像データが示す画像３８は、例えば、審判員が使用する表示装置等に表示され、リンクカバー等の判定に用いることができる。また、テレビ放送等の画面に画像３８を挿入することも可能である。
　情報処理装置１０は、例えば図７に示すコンピュータ４０で実現することができる。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１と、一時記憶領域としてのメモリ４２と、不揮発性の記憶部４３とを備える。また、コンピュータ４０は、入力部、表示部等の入出力装置４４と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部４５とを備える。また、コンピュータ４０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）４６を備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力装置４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。
　記憶部４３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４３には、コンピュータ４０を、情報処理装置１０として機能させるための情報処理プログラム５０が記憶される。情報処理プログラム５０は、取得プロセス５２と、推定プロセス５４と、特定プロセス５６と、出力プロセス５８とを有する。
　ＣＰＵ４１は、情報処理プログラム５０を記憶部４３から読み出してメモリ４２に展開し、情報処理プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、取得プロセス５２を実行することで、図２に示す取得部１２として動作する。また、ＣＰＵ４１は、推定プロセス５４を実行することで、図２に示す推定部１４として動作する。また、ＣＰＵ４１は、特定プロセス５６を実行することで、図２に示す特定部１６として動作する。また、ＣＰＵ４１は、出力プロセス５８を実行することで、図２に示す出力部１８として動作する。これにより、情報処理プログラム５０を実行したコンピュータ４０が、情報処理装置１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。
　なお、情報処理プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。
　次に、第１実施形態に係る情報処理システム１００の作用について説明する。情報処理装置１０に、マイク２０から出力された音信号、及び複数のカメラ２２の各々で撮影された映像が入力されると、情報処理装置１０において、図８に示す情報処理ルーチンが実行される。なお、情報処理ルーチンは、開示の技術の情報処理方法の一例である。
　ステップＳ１２で、取得部１２が、情報処理装置１０に入力された音信号及び映像を取得する。取得部１２は、取得した音信号を推定部１４へ受け渡し、取得した映像を特定部１６へ受け渡す。
　次に、ステップＳ１４で、推定部１４が、音信号が閾値ＴＨ以下となった時刻を離氷時刻ｔＡとして推定し、閾値ＴＨ以下となっていた音信号が再び閾値ＴＨを超えた時刻を着氷時刻ｔＢとして推定する。推定部１４は、推定したジャンプの離氷時刻ｔＡ及び着氷時刻ｔＢを特定部１６へ受け渡す。
　次に、ステップＳ１６で、特定部１６が、取得部１２から受け渡された映像の各フレームから、モーショントラッキングによりスケートリンク３０上での競技者３２の位置の軌跡を取得する。
　次に、ステップＳ１８で、特定部１６が、音信号の時刻情報と映像の時刻情報とを同期させる。そして、特定部１６が、音信号と時刻情報を同期させた映像の各フレームにおいて、離氷時刻ｔＡの直前及び直後の時刻情報に対応するフレームの各々から取得された競技者３２の位置を特定する。そして、特定部１６は、特定した両位置の間で、離氷時刻ｔＡに対応する離氷点Ａの位置を特定する。特定部１６は、同様に、音信号と時刻情報を同期させた映像の各フレームにおいて、着氷時刻ｔＢの直前及び直後の時刻情報に対応するフレームの各々から取得された競技者３２の位置を特定する。そして、特定部１６は、特定した両位置の間で、着氷時刻ｔＢに対応する着氷点Ｂの位置を特定する。特定された離氷点Ａから着氷点Ｂまでの区間がジャンプの区間として特定される。特定部１６は、モーショントラッキングにより取得した競技者３２の位置の軌跡と、特定した離氷点及び着氷点の位置とを出力部１８へ受け渡す。
　次に、ステップＳ２０で、出力部１８が、スケートリンク３０を表す画像に、競技者３２の位置の軌跡を示す画像を重畳すると共に、特定されたジャンプの区間を、軌跡を示す画像とは異なる表示態様で表示するための画像データを生成し、出力する。そして、情報処理ルーチンは終了する。
　以上説明したように、第１実施形態に係る情報処理システムによれば、情報処理装置が、スケートリンクを含む会場内に設けられたマイクで集音された音信号、及びスケートリンク上の競技者の位置を特定可能に撮影した映像を取得する。そして、情報処理装置は、音信号に基づく氷の音の消失及び復帰に応じて、競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する。さらに、情報処理装置は、音信号の時刻情報と映像の時刻情報とを同期させ、映像からモーショントラッキングにより取得されたスケートリンク上での競技者の位置の軌跡において、離氷時刻に対応する位置、及び前記着氷時刻に対応する位置の各々を特定する。これにより、競技者にセンサ等を取り付けることなく、フィギュアスケートにおけるジャンプの離氷点及び着氷点を特定することができる。
　また、音信号から離氷時刻及び着氷時刻を推定することにより、映像からモーショントラッキングにより位置を特定する場合に比べ、１フレーム分の時間単位の時刻より細かい時刻における位置を特定することができる。
＜第２実施形態＞
　次に、第２実施形態について説明する。なお、第２実施形態に係る情報処理システムにおいて、第１実施形態に係る情報処理システム１００と同様の構成については、同一符号を付して詳細な説明を省略する。
　図９に示すように、第２実施形態に係る情報処理システム２００は、情報処理装置２１０と、マイク２０と、第１カメラ２２と、第２カメラ２４とを含む。情報処理システム２００は、マイク２０から出力される音信号、第１カメラ２２及び第２カメラ２４から出力される映像に対して情報処理を行い、第１実施形態と同様に、競技者の位置の軌跡上における、離氷点から着氷点までのジャンプの区間を特定する。加えて、情報処理システム２００は、特定したジャンプの区間を用いて、ジャンプの着氷時のブレードの回転角度等、ジャンプに関する情報を算出する。
　第１カメラ２２は、第１実施形態におけるカメラ２２と同様であり、スケートリンク３０上の競技者３２の位置を特定可能な映像を撮影する、例えばモーショントラッキング用の撮影装置である。
　第２カメラ２４は、スケートリンク３０上の競技者３２及び競技者３２が装着する装着物の所定部位の３次元位置を特定可能に撮影する撮影装置である。第２カメラ２４は、上記の所定部位の３次元位置をステレオカメラ方式により計測可能な位置に複数台（例えば、２台）設置される。なお、図９では、第２カメラ２４は１台のみ図示している。各第２カメラ２４は、所定のフレームレート（例えば、３０ｆｐｓ、６０ｆｐｓ等）で撮影した映像を出力する。出力される映像は、複数のフレームを含んでおり、各フレームには時刻情報が対応付いている。なお、第２カメラ２４として、ＴｏＦ（Time-of-Flight）方式の１台のカメラを用いてもよい。
　以下では、第１カメラ２２で撮影された映像を第１の映像、第２カメラ２４で撮影された映像を第２の映像という。
　情報処理装置２１０は、機能的には、図１０に示すように、取得部２１２と、推定部１４と、特定部２１６と、算出部１９と、出力部２１８とを含む。
　取得部２１２は、マイク２０から出力された音信号、複数の第１カメラ２２の各々から出力された第１の映像、及び複数の第２カメラ２４の各々から出力された第２の映像を取得する。取得部２１２は、取得した音信号を推定部１４へ受け渡し、取得した第１の映像及び第２の映像を特定部２１６へ受け渡す。
　特定部２１６は、第１実施形態における特定部１６と同様に、推定部１４で推定された離氷時刻ｔＡ及び着氷時刻ｔＢと、第１の映像とに基づいて、離氷点Ａ及び着氷点Ｂの各々の位置を特定する。さらに、特定部２１６は、図１１に示すように、離氷点Ａと着氷点Ｂとを通る直線を、ジャンプの回転を判定するための基準線（Ａ－Ｂ）として特定する。特定部２１６は、競技者３２の位置の軌跡と、離氷点Ａ及び着氷点Ｂの位置とを出力部２１８へ受け渡し、離氷点Ａ及び着氷点Ｂの位置と、基準線（Ａ－Ｂ）の情報とを算出部１９へ受け渡す。
　また、特定部２１６は、音信号の時刻情報と第２の映像の時刻情報とを同期させ、取得部２１２から受け渡された第２の映像において、ジャンプの離氷時刻ｔＡに対応するフレームから着氷時刻ｔＢに対応するフレームまでをジャンプの区間として特定する。
　具体的には、図１２に示すように、特定部２１６は、離氷時刻ｔＡと同期する時刻情報の第２の映像のフレーム（以下、「離氷フレームｍＡ」という）の所定数前のフレームを、離氷時刻ｔＡに対応する開始フレームｍＳとして特定する。また、特定部２１６は、着氷時刻ｔＢと同期する時刻情報の第２の映像のフレーム（以下、「着氷フレームｍＢ」という）の所定数後のフレームを、着氷時刻ｔＢに対応する終了フレームｍＥとして特定する。離氷フレームｍＡ～着氷クレームｍＢの前後のフレームを含めるのは、離氷から着氷までが確実に含まれるように、開始フレームｍＳ及び終了フレームｍＥを特定するためである。図１２に示すように、所定数は、例えば１とすることができる。
　また、特定部２１６は、所定数を、上述した、映像に対する音信号の遅延時間をフレーム数に換算した数としてもよい。例えば、競技者３２とマイク２０との距離Ｘ［ｍ］を、Ｘ＝３０ｍとした場合、遅延時間は、３０÷３２３０＝９．２８［ｍｓ］である。第２の映像のフレームレートが３０ｆｐｓ又は６０ｆｐｓの場合、上記図１２の例と同様に、所定数を１とし、１２０ｆｐｓの場合、所定数を２とすればよい。
　なお、特定部２１６は、開始フレームｍＳを特定する際には、遅延時間に基づく所定数を用い、終了フレームｍＥを特定する際には、所定数として１を用いるようにしてもよい。
　特定部２１６は、取得部２１２から受け渡された第２の映像から、開始フレームｍＳから終了フレームｍＥまでの区間を、ジャンプの区間として抽出して、算出部１９へ受け渡す。
　算出部１９は、特定部２１６から受け渡されたジャンプの区間に含まれる、第２の映像のフレームの各々を３次元解析し、競技者３２及び競技者３２が装着する装着物の所定部位の３次元位置（ｘ，ｙ，ｚ）を算出する。所定部位は、図１３に示すように、競技者３２が装着するスケートシューズのブレードの先端３４及び終端３６を含む。また、所定部位は、競技者３２の各関節、頭部、及び目、鼻、口等の顔の部位を含んでもよい。なお、各フレームから、これらの所定部位を認識する手法は、所定部位の形状を用いた認識方法や、人体骨格モデルを用いた認識方法等、既存の手法を用いることができる。
　また、情報処理システム２００が３台以上の第２カメラ２４を備えているとする。この場合、算出部１９は、複数の第２カメラ２４の各々で撮影された映像のうち、３次元位置の算出に適した角度で競技者３２を撮影した２つの映像を用いて、所定部位の３次元位置を算出すればよい。
　算出部１９は、ジャンプの区間に含まれるフレームの各々から算出したブレードの先端３４及び終端３６の位置を用いて、第２カメラ２４の撮影方向を基準としたブレードの絶対角度を算出する。例えば、算出部１９は、第２カメラ２４の撮影方向、又は撮影方向に垂直な線と、ブレードの先端３４と終端３６とを結ぶ線とのなす角度を、ブレードの絶対角度として算出することができる。なお、算出部１９は、複数の第２カメラ２４のうち、いずれかの第２カメラ２４をメインのカメラとして定めておき、メインの第２カメラ２４の撮影方向を基準に、ブレードの絶対角度を算出すればよい。
　また、算出部１９は、ブレードの絶対角度を、ジャンプの回転不足を判定するための基準線に対する角度（以下、「回転角度θ」という）に変換する。具体的には、算出部１９は、第２カメラ２４の撮影方向を基準とした線と、特定部２１６により特定された基準線（Ａ－Ｂ）との角度差を、ブレードの絶対角度から差し引いて、ブレードの回転角度θを算出する。図１４に、ジャンプの区間に含まれるフレームの各々から算出された回転角度θを示す。
　算出部１９は、着氷時における、第２の映像に対する音信号の遅延時間Δｔを算出する。上述したように、遅延時間は、距離Ｘ［ｍ］÷３２３０［ｍ／ｓ］（氷中の音速）である。ここでは、距離Ｘを、マイク２０の位置と、着氷点Ｂとの距離とする。
　算出部１９は、終了フレームｍＥから算出した回転角度θ（ｍＥ）と、終了フレームｍＥの１つ前のフレームｍＥ－１から算出した回転角度θ（ｍＥ－１）とに基づいて、着氷時のブレードの回転角度を算出する。
　図１５を参照して、具体的に説明する。図１５は、図１４の破線枠で示す部分の拡大図である。音信号に基づいて推定した着氷時刻ｔＢに、算出した遅延時間Δｔを考慮した補正後の着氷時刻ｔＢ－Δｔは、フレームｍＥ－１～フレームｍＥまでの１フレーム分の時間内に含まれる。なお、ここでは、遅延時間Δｔは、１フレーム分の時間と比較して微小な時間である。算出部１９は、ジャンプ中の回転速度はほぼ一定であると仮定し、フレームｍＥ－１～フレームｍＥ間の回転角度を、回転角度θ（ｍＥ－１）及び回転角度θ（ｍＥ）を用いて線形補完する。そして、算出部１９は、補正後の着氷時刻ｔＢ－Δｔに対応する回転角度を、着氷時の回転角度θ（ｔＢ－Δｔ）として算出する。
　また、算出部１９は、ジャンプの区間に対応する所定部位の３次元位置に基づいて、他の情報を算出することもできる。例えば、算出部１９は、所定部位として腰の位置を算出し、ジャンプの区間に含まれる各フレームから算出された腰の位置の最小値と最大値との差をジャンプの高さとして算出することができる。また、算出部１９は、特定部２１６で特定された離氷点Ａから着氷点Ｂまでの距離をジャンプの飛距離として算出することができる。また、算出部１９は、離氷時刻ｔＡから着氷時刻ｔＢまでの時間と、ジャンプの区間における回転角度の変化とから、回転速度を算出することができる。また、算出部１９は、開始フレームｍＳから所定フレームまでの時間と、その間における所定部位の位置の変化量とから、踏切速度を算出することができる。算出部１９は、着氷時の回転角度θ（ｔＢ－Δｔ）、及びその他算出した情報を出力部２１８へ受け渡す。
　出力部２１８は、第１実施形態における出力部１８と同様に、競技者３２の位置の軌跡上にジャンプの区間を示す画像３８の画像データを生成し、出力する。また、出力部２１８は、算出部１９から受け渡された着氷時の回転角度θ（ｔＢ－Δｔ）等の情報を出力する。着氷時の回転角度θ（ｔＢ－Δｔ）は、ジャンプの回転不足等の判定に用いることができる。また、出力された情報を、テレビ放送等の画面に表示するスタッツとして用いることもできる。
　情報処理装置２１０は、例えば図７に示すコンピュータ４０で実現することができる。コンピュータ４０の記憶部４３には、コンピュータ４０を、情報処理装置２１０として機能させるための情報処理プログラム２５０が記憶される。情報処理プログラム２５０は、取得プロセス２５２と、推定プロセス５４と、特定プロセス２５６と、算出プロセス５９と、出力プロセス２５８とを有する。
　ＣＰＵ４１は、情報処理プログラム２５０を記憶部４３から読み出してメモリ４２に展開し、情報処理プログラム２５０が有するプロセスを順次実行する。ＣＰＵ４１は、取得プロセス２５２を実行することで、図１０に示す取得部２１２として動作する。また、ＣＰＵ４１は、推定プロセス５４を実行することで、図１０に示す推定部１４として動作する。また、ＣＰＵ４１は、特定プロセス２５６を実行することで、図１０に示す特定部２１６として動作する。また、ＣＰＵ４１は、算出プロセス５９を実行することで、図１０に示す算出部１９として動作する。また、ＣＰＵ４１は、出力プロセス２５８を実行することで、図１０に示す出力部２１８として動作する。これにより、情報処理プログラム２５０を実行したコンピュータ４０が、情報処理装置２１０として機能することになる。
　なお、情報処理プログラム２５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。
　次に、第２実施形態に係る情報処理システム２００の作用について説明する。情報処理装置２１０に、マイク２０から出力された音信号、複数の第１カメラ２２の各々で撮影された第１の映像、及び複数の第２カメラ２４の各々で撮影された第２の映像が入力される。そして、情報処理装置２１０において、図１６に示す情報処理ルーチンが実行される。なお、図１６に示す情報処理ルーチンにおいて、第１実施形態における情報処理ルーチン（図８）と同様の処理については、同一のステップ番号を付与して詳細な説明を省略する。また、情報処理ルーチンは、開示の技術の情報処理方法の一例である。
　ステップＳ２１２で、取得部２１２が、情報処理装置２１０に入力された音信号、第１の映像、及び第２の映像を取得する。取得部２１２は、取得した音信号を推定部１４へ受け渡し、取得した第１の映像及び第２の映像を特定部２１６へ受け渡す。
　ステップＳ１４～Ｓ１８を経て、次のステップＳ２１８で、特定部２１６が、上記ステップＳ１８で特定した離氷点Ａ及び着氷点Ｂの各々の位置を用いて、離氷点Ａと着氷点Ｂとを通る直線を、ジャンプの回転を判定するための基準線（Ａ－Ｂ）として特定する。
　次に、ステップＳ２２０で、特定部２１６が、第２の映像において、離氷時刻ｔＡと同期する時刻情報の離氷フレームｍＡの所定数（例えば、１フレーム）前のフレームを、離氷時刻ｔＡに対応する開始フレームｍＳとして特定する。また、特定部２１６が、着氷時刻ｔＢと同期する時刻情報の着氷フレームｍＢの所定数（例えば、１フレーム）後のフレームを、着氷時刻ｔＢに対応する終了フレームｍＥとして特定する。特定部２１６は、取得部２１２から受け渡された第２の映像から、開始フレームｍＳから終了フレームｍＥまでの区間を、ジャンプの区間として抽出して、算出部１９へ受け渡す。
　次に、ステップＳ２２２で、算出部１９が、特定部２１６から受け渡されたジャンプの区間に含まれるフレームの各々を３次元解析し、ブレードの先端３４及び終端３６を含む所定部位の３次元位置（ｘ，ｙ，ｚ）を算出する。そして、算出部１９が、第２カメラ２４の撮影方向を基準とした線と、ブレードの先端３４と終端３６とを結ぶ線とのなす角度を、ブレードの絶対角度として算出する。また、算出部１９が、上記ステップＳ２１８で特定部２１６により特定された基準線と、第２カメラ２４の撮影方向を基準とした線との角度差を、ブレードの絶対角度から差し引いて、ブレードの回転角度θを算出する。
　次に、ステップＳ２２４で、算出部１９が、マイク２０の位置と、着氷点Ｂとの距離Ｘを算出し、着氷時における、映像に対する音信号の遅延時間Δｔを、Δｔ＝距離Ｘ［ｍ］÷３２３０［ｍ／ｓ］（氷中の音速）として算出する。そして、算出部１９が、フレームｍＥ－１～フレームｍＥ間の回転角度を、回転角度θ（ｍＥ－１）及びθ（ｍＥ）を用いて線形補完し、補正後の着氷時刻ｔＢ－Δｔに対応する回転角度を、着氷時の回転角度θ（ｔＢ－Δｔ）として算出する。
　次に、ステップＳ２２６で、算出部１９が、ジャンプの区間に対応する所定部位の３次元位置、及び特定部２１６で特定された離氷点Ａ及び着氷点Ｂの位置等に基づいて、飛距離、回転速度等の他の情報を算出する。
　次に、ステップＳ２２８で、出力部２１８が、競技者３２の位置の軌跡上にジャンプの区間を示す画像３８の画像データを生成し、画像データと、上記ステップＳ２２６で算出された、着氷時の回転角度θ（ｔＢ－Δｔ）等の情報を出力する。そして、情報処理ルーチンは終了する。
　以上説明したように、第２実施形態に係る情報処理システムによれば、情報処理装置が、第１実施形態に係る情報処理装置と同様に、音信号から離氷時刻及び着氷時刻を推定することにより、精度良く離氷点及び着氷点の位置を特定する。また、情報処理装置は、特定した離氷点及び着氷点を用いて、ジャンプの回転を判定するための基準線を特定する。これにより、ジャンプの回転不足等の判定を精度良く行うための支援を行うことができる。
　なお、上記各実施形態では、情報処理プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。
１０、２１０  情報処理装置
１２、２１２  取得部
１４   推定部
１６、２１６  特定部
１８、２１８  出力部
１９   算出部
２０   マイク
２２   カメラ、第１カメラ
２４   第２カメラ
３０   スケートリンク
３２   競技者
３４   ブレードの先端
３６   ブレードの終端
３８   画像
４０   コンピュータ
４１   ＣＰＵ
４２   メモリ
４３   記憶部
４９   記憶媒体
５０、２５０  情報処理プログラム
１００、２００       情報処理システム

Claims (20)

  1. 　スケートリンクを含む会場内に設けられたマイクで集音された音信号、及び前記スケートリンク上の競技者を撮影した第１の映像を取得し、
    　前記音信号に基づく氷の音の消失及び復帰に応じて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定し、
    　前記音信号の時刻情報と前記第１の映像の時刻情報とを同期させ、前記第１の映像に基づく前記スケートリンク上での前記競技者の位置の軌跡において、前記離氷時刻に対応する位置、及び前記着氷時刻に対応する位置の各々を特定する
    　ことを含む処理をコンピュータに実行させるための情報処理プログラム。
  2. 　前記軌跡における前記競技者の位置は、前記第１の映像に含まれるフレームの各々に対応して取得されており、
    　前記離氷時刻の直前の時刻情報に対応するフレームから取得された位置と、前記離氷時刻の直後の時刻情報に対応するフレームから取得された位置との間で、前記離氷時刻に対応する位置を特定し、
    　前記着氷時刻の直前の時刻情報に対応するフレームから取得された位置と、前記着氷時刻の直後の時刻情報に対応するフレームから取得された位置との間で、前記着氷時刻に対応する位置を特定する
    　請求項１に記載の情報処理プログラム。
  3. 　前記音信号の時刻情報と前記第１の映像の時刻情報とを同期させる際、前記第１の映像に対する前記音信号の遅延時間を反映させる請求項１又は請求項２に記載の情報処理プログラム。
  4. 　前記コンピュータに、さらに、
    　前記スケートリンクを表す画像に、前記競技者の位置の軌跡を示す画像を重畳すると共に、特定したジャンプの区間を、前記軌跡における他の区間とは異なる表示態様で表示するための画像データを出力する
    　処理を実行させるための請求項１～請求項３のいずれか１項に記載の情報処理プログラム。
  5. 　前記コンピュータに、さらに、
    　前記離氷時刻に対応する位置と前記着氷時刻に対応する位置とを通る直線を、前記ジャンプの回転を判定するための基準線として特定する
    　処理を実行させるための請求項１～請求項４のいずれか１項に記載の情報処理プログラム。
  6. 　前記コンピュータに、さらに、
    　前記スケートリンク上の競技者及び前記競技者が装着する装着物の所定部位の３次元位置を特定可能に撮影した第２の映像を取得し、
    　前記音信号の時刻情報と前記第２の映像の時刻情報とを同期させ、前記第２の映像に含まれる前記ジャンプの区間に対応するフレームの各々から３次元画像解析により取得される前記所定部位の３次元位置に基づいて、前記基準線に対する前記所定部位の角度を算出する
    　処理を実行させる請求項５に記載の情報処理プログラム。
  7. 　前記所定部位は、前記競技者が装着するスケートシューズのブレードの向きを特定可能な部位である請求項６に記載の情報処理プログラム。
  8. 　前記マイクは、前記スケートリンクの氷中に設けられる請求項１～請求項７のいずれか１項に記載の情報処理プログラム。
  9. 　前記音信号に含まれる所定の周波数成分を除去した後の音信号に基づいて、前記離氷時刻及び前記着氷時刻を推定する請求項１～請求項８のいずれか１項に記載の情報処理プログラム。
  10. 　スケートリンクを含む会場内に設けられたマイクで集音された音信号、及び前記スケートリンク上の競技者を撮影した第１の映像を取得する取得部と、
    　前記音信号に基づく氷の音の消失及び復帰に応じて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する推定部と、
    　前記音信号の時刻情報と前記第１の映像の時刻情報とを同期させ、前記第１の映像に基づく前記スケートリンク上での前記競技者の位置の軌跡において、前記離氷時刻に対応する位置、及び前記着氷時刻に対応する位置の各々を特定する特定部と、
    　を含む情報処理装置。
  11. 　前記特定部は、
    　　前記軌跡における前記競技者の位置を、前記第１の映像に含まれるフレームの各々に対応して取得し、
    　　前記離氷時刻の直前の時刻情報に対応するフレームから取得された位置と、前記離氷時刻の直後の時刻情報に対応するフレームから取得された位置との間で、前記離氷時刻に対応する位置を特定し、
    　　前記着氷時刻の直前の時刻情報に対応するフレームから取得された位置と、前記着氷時刻の直後の時刻情報に対応するフレームから取得された位置との間で、前記着氷時刻に対応する位置を特定する
    　請求項１０に記載の情報処理装置。
  12. 　前記特定部は、前記音信号の時刻情報と前記第１の映像の時刻情報とを同期させる際、前記第１の映像に対する前記音信号の遅延時間を反映させる請求項１０又は請求項１１に記載の情報処理装置。
  13. 　前記スケートリンクを表す画像に、前記競技者の位置の軌跡を示す画像を重畳すると共に、特定したジャンプの区間を、前記軌跡における他の区間とは異なる表示態様で表示するための画像データを出力する出力部をさらに含む請求項１０～請求項１２のいずれか１項に記載の情報処理装置。
  14. 　前記特定部は、さらに、前記離氷時刻に対応する位置と前記着氷時刻に対応する位置とを通る直線を、前記ジャンプの回転を判定するための基準線として特定する請求項１０～請求項１３のいずれか１項に記載の情報処理装置。
  15. 　前記取得部は、前記スケートリンク上の競技者及び前記競技者が装着する装着物の所定部位の３次元位置を特定可能に撮影した第２の映像を取得し、
    　前記音信号の時刻情報と前記第２の映像の時刻情報とを同期させ、前記第２の映像に含まれる前記ジャンプの区間に対応するフレームの各々から３次元画像解析により取得される前記所定部位の３次元位置に基づいて、前記基準線に対する前記所定部位の角度を算出する算出部をさらに含む
    　請求項１４に記載の情報処理装置。
  16. 　前記所定部位は、前記競技者が装着するスケートシューズのブレードの向きを特定可能な部位である請求項１５に記載の情報処理装置。
  17. 　前記マイクは、前記スケートリンクの氷中に設けられる請求項１０～請求項１６のいずれか１項に記載の情報処理装置。
  18. 　前記推定部は、前記音信号に含まれる所定の周波数成分を除去した後の音信号に基づいて、前記離氷時刻及び前記着氷時刻を推定する請求項１０～請求項１７のいずれか１項に記載の情報処理装置。
  19. 　スケートリンクを含む会場内に設けられたマイクで集音された音信号、及び前記スケートリンク上の競技者を撮影した第１の映像を取得し、
    　前記音信号に基づく氷の音の消失及び復帰に応じて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定し、
    　前記音信号の時刻情報と前記第１の映像の時刻情報とを同期させ、前記第１の映像に基づく前記スケートリンク上での前記競技者の位置の軌跡において、前記離氷時刻に対応する位置、及び前記着氷時刻に対応する位置の各々を特定する
    　ことを含む処理をコンピュータが実行する情報処理方法。
  20. 　スケートリンクを含む会場内に設けられたマイクで集音された音信号、及び前記スケートリンク上の競技者を撮影した第１の映像を取得し、
    　前記音信号に基づく氷の音の消失及び復帰に応じて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定し、
    　前記音信号の時刻情報と前記第１の映像の時刻情報とを同期させ、前記第１の映像に基づく前記スケートリンク上での前記競技者の位置の軌跡において、前記離氷時刻に対応する位置、及び前記着氷時刻に対応する位置の各々を特定する
    　ことを含む処理をコンピュータに実行させるための情報処理プログラムを記憶した記憶媒体。
PCT/JP2020/012122 2020-03-18 2020-03-18 情報処理プログラム、装置、及び方法 WO2021186645A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2022507936A JP7444238B2 (ja) 2020-03-18 2020-03-18 情報処理プログラム、装置、及び方法
EP20925729.4A EP4093024A4 (en) 2020-03-18 2020-03-18 INFORMATION PROCESSING PROGRAM, DEVICE AND METHOD
KR1020227028571A KR20220128433A (ko) 2020-03-18 2020-03-18 정보 처리 프로그램, 장치, 및 방법
PCT/JP2020/012122 WO2021186645A1 (ja) 2020-03-18 2020-03-18 情報処理プログラム、装置、及び方法
CN202080096865.6A CN115136591A (zh) 2020-03-18 2020-03-18 信息处理程序、装置以及方法
US17/890,024 US20220394322A1 (en) 2020-03-18 2022-08-17 Information processing program, device, and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/012122 WO2021186645A1 (ja) 2020-03-18 2020-03-18 情報処理プログラム、装置、及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/890,024 Continuation US20220394322A1 (en) 2020-03-18 2022-08-17 Information processing program, device, and method

Publications (1)

Publication Number Publication Date
WO2021186645A1 true WO2021186645A1 (ja) 2021-09-23

Family

ID=77771747

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/012122 WO2021186645A1 (ja) 2020-03-18 2020-03-18 情報処理プログラム、装置、及び方法

Country Status (6)

Country Link
US (1) US20220394322A1 (ja)
EP (1) EP4093024A4 (ja)
JP (1) JP7444238B2 (ja)
KR (1) KR20220128433A (ja)
CN (1) CN115136591A (ja)
WO (1) WO2021186645A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013235534A (ja) * 2012-05-11 2013-11-21 Seiko Epson Corp センサーユニット、運動解析装置
JP2015082817A (ja) 2013-10-24 2015-04-27 ソニー株式会社 情報処理装置、記録媒体、および情報処理方法
WO2016092933A1 (ja) * 2014-12-08 2016-06-16 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2016098415A1 (ja) * 2014-12-18 2016-06-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018189924A (ja) * 2017-05-11 2018-11-29 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019033869A (ja) * 2017-08-14 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539336B1 (en) * 1996-12-12 2003-03-25 Phatrat Technologies, Inc. Sport monitoring system for determining airtime, speed, power absorbed and other factors such as drop distance
DE19614253A1 (de) * 1996-03-05 1997-09-11 Karl Leonhardtsberger Elektronisches Aufzeichnungs- und Wiedergabeverfahren für Bewegungsabläufe auf Sportplätzen und/oder in Sport- und Eislaufhallen
JP4541744B2 (ja) * 2004-03-31 2010-09-08 ヤマハ株式会社 音像移動処理装置およびプログラム
RU2399402C2 (ru) * 2008-03-04 2010-09-20 Алексей Николаевич Мишин Система измерения параметров вращательного движения фигуриста
JP5515671B2 (ja) * 2009-11-20 2014-06-11 ソニー株式会社 画像処理装置、その制御方法およびプログラム
CN109074629A (zh) * 2015-10-29 2018-12-21 Oy沃肯视觉有限公司 使用联网照相机对关注的区域进行视频摄像
US10083537B1 (en) * 2016-02-04 2018-09-25 Gopro, Inc. Systems and methods for adding a moving visual element to a video
KR20220128404A (ko) * 2020-02-27 2022-09-20 후지쯔 가부시끼가이샤 정보 처리 프로그램, 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013235534A (ja) * 2012-05-11 2013-11-21 Seiko Epson Corp センサーユニット、運動解析装置
JP2015082817A (ja) 2013-10-24 2015-04-27 ソニー株式会社 情報処理装置、記録媒体、および情報処理方法
WO2016092933A1 (ja) * 2014-12-08 2016-06-16 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2016098415A1 (ja) * 2014-12-18 2016-06-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018189924A (ja) * 2017-05-11 2018-11-29 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019033869A (ja) * 2017-08-14 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4093024A4

Also Published As

Publication number Publication date
US20220394322A1 (en) 2022-12-08
EP4093024A1 (en) 2022-11-23
CN115136591A (zh) 2022-09-30
JP7444238B2 (ja) 2024-03-06
EP4093024A4 (en) 2023-03-01
KR20220128433A (ko) 2022-09-20
JPWO2021186645A1 (ja) 2021-09-23

Similar Documents

Publication Publication Date Title
CN108028902B (zh) 集成传感器和视频运动分析方法
WO2016111069A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018226692A1 (en) Techniques for object tracking
US20170352226A1 (en) Information processing device, information processing method, and program
KR20150128886A (ko) 운동 기술들에 대한 동기화된 디스플레이를 위한 시스템 및 방법과, 비일시적 컴퓨터 판독가능 매체
JP6596804B1 (ja) 位置追跡システム、及び位置追跡方法
US20160065984A1 (en) Systems and methods for providing digital video with data identifying motion
CN108076355B (zh) 视频播放控制方法和装置
JP2020031406A (ja) 判定システム、及び判定方法
EP4358035A1 (en) Apparatus, systems and methods for shadow assisted object recognition and tracking
US20220392222A1 (en) Information processing program, device, and method
WO2021186645A1 (ja) 情報処理プログラム、装置、及び方法
KR101703316B1 (ko) 영상을 기반으로 속도를 측정하는 방법 및 장치
KR20000064088A (ko) 스포츠 영상 분석 방송 시스템 및 방법
WO2022215116A1 (ja) 情報処理プログラム、装置、及び方法
JP6760610B2 (ja) 位置計測システム、及び位置計測方法
JP7074059B2 (ja) 情報処理装置及び情報処理システム
KR102351189B1 (ko) 볼링 투구 영상 리플레이 시스템
JPWO2021171470A5 (ja)
JP7054950B1 (ja) 位置計測システム、及び位置計測方法
JPWO2021186645A5 (ja)
JP2022160233A (ja) 情報処理装置、情報処理方法およびプログラム
KR20220114129A (ko) 스포츠 기술들에 대한 동기화된 디스플레이를 위한 시스템 및 방법
WO2022056315A1 (en) System and method for capture and analysis of sporting performance data and broadcast of the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20925729

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022507936

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020925729

Country of ref document: EP

Effective date: 20220817

NENP Non-entry into the national phase

Ref country code: DE