WO2021171470A1 - 情報処理プログラム、装置、及び方法 - Google Patents

情報処理プログラム、装置、及び方法 Download PDF

Info

Publication number
WO2021171470A1
WO2021171470A1 PCT/JP2020/007998 JP2020007998W WO2021171470A1 WO 2021171470 A1 WO2021171470 A1 WO 2021171470A1 JP 2020007998 W JP2020007998 W JP 2020007998W WO 2021171470 A1 WO2021171470 A1 WO 2021171470A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
icing
information processing
sound signal
jump
Prior art date
Application number
PCT/JP2020/007998
Other languages
English (en)
French (fr)
Inventor
中村　公治
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2020/007998 priority Critical patent/WO2021171470A1/ja
Priority to CN202080096350.6A priority patent/CN115136590A/zh
Priority to JP2022502703A priority patent/JP7400937B2/ja
Priority to EP20921461.8A priority patent/EP4093023A4/en
Priority to KR1020227028019A priority patent/KR20220128404A/ko
Publication of WO2021171470A1 publication Critical patent/WO2021171470A1/ja
Priority to US17/820,445 priority patent/US20220392222A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647—Visualisation of executed movements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/808—Microphones
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2244/00—Sports without balls
    • A63B2244/18—Skating
    • A63B2244/183—Artistic or figure skating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Definitions

  • the disclosed technology relates to information processing programs, information processing devices, and information processing methods.
  • a predetermined scene has been cut out from a video during a sports competition.
  • the predetermined scene is, for example, a scene including a moment of impact on a ball in golf, baseball, tennis, or the like, a scene including a jump or landing in a gymnastics competition, or the like.
  • an information processing device that identifies a decisive moment from continuous motions of a subject and extracts it as an image.
  • This device receives sensor data from a user or a sensor mounted on an object in contact with the user, and time information corresponding to the sensor data.
  • this device identifies the time when a predetermined motion pattern occurs in the user or the object based on the sensor data and the time information. Then, this device selects one or a plurality of images from a series of images including a user or an object taken at a predetermined time interval according to a specified time.
  • the disclosed technology aims to identify the section from the start to the end of a jump in figure skating.
  • the disclosed technology acquires a sound signal collected by a microphone provided in the venue including a skating rink and a video of a player competing at the skating rink. Further, the disclosed technique estimates the ice removal time and the icing time of the jump performed by the competitor in accordance with the disappearance and return of the ice sound based on the sound signal. Then, the disclosed technology synchronizes the time information of the sound signal with the time information of the video, and jumps from the frame corresponding to the ice removal time to the frame corresponding to the icing time in the video. Identify as.
  • it has the effect of being able to specify the section from the start to the end of the jump in figure skating.
  • the microphone 20 is installed in the ice of the skating rink 30.
  • the microphone 20 can be installed in the ice by embedding it in the skating rink 30 when putting ice.
  • the microphone 20 collects the sound of the competition venue and outputs a sound signal. Since the microphone 20 is installed in the ice, the sound component contained in the sound signal collected by the microphone 20 suppresses the sound component indicating cheers, music, etc., and the surface (ice) of the skating link 30 and the skating. The sound component that indicates the frictional sound with the blade of the shoe becomes dominant. Time information is associated with each sampling point of the output sound signal.
  • Each of the plurality of cameras 22 is attached to the athlete 32 on the skating rink 30 and the position where the three-dimensional position of the predetermined portion of the attachment worn by the athlete 32 can be measured by the stereo camera method.
  • Each camera 22 outputs an image captured at a predetermined frame rate (for example, 30 fps, 60 fps, etc.).
  • the output video contains a plurality of frames, and each frame is associated with time information.
  • a ToF (Time-of-Flight) type camera may be used.
  • the acquisition unit 12 acquires the sound signal output from the microphone 20 and the video output from each of the plurality of cameras 22.
  • the acquisition unit 12 passes the acquired sound signal to the estimation unit 14, and delivers the acquired video to the specific unit 16.
  • the estimation unit 14 may estimate the jump deicing time tA and the icing time tB based on the sound signal after removing the predetermined frequency component included in the sound signal.
  • the predetermined frequency component can be, for example, a frequency component corresponding to a sound other than the friction sound between the blade and ice, such as cheers and music.
  • sounds other than the friction sound between the blade and the ice, such as cheers and music are suppressed.
  • the jump deicing time tA and the icing time tB can be estimated with higher accuracy.
  • the microphone 20 When the microphone 20 is installed in a venue that is not in the ice, the sound signal includes a lot of cheers, music, and the like, so it is effective to remove a predetermined frequency component.
  • the estimation unit 14 passes the estimated jump deicing time tA and icing time tB to the specific unit 16.
  • the specific unit 16 synchronizes the time information of the sound signal with the time information of the video, and in the video delivered from the acquisition unit 12, the frame corresponding to the jump deicing time tA to the frame corresponding to the icing time tB. Is specified as the jump section.
  • the specific unit 16 sets a frame before a predetermined number of time information frames synchronized with the ice removal time tA (hereinafter, referred to as “ice removal frame mA”) to the ice removal time. It is specified as the start frame mS corresponding to tA. Further, the specifying unit 16 specifies a frame after a predetermined number of time information frames synchronized with the icing time tB (hereinafter, referred to as “icing frame mB”) as an end frame mE corresponding to the icing time tB. ..
  • the specific unit 16 may use a predetermined number as a number obtained by converting the delay time of the sound signal with respect to the image according to the distance between the player 32 and the microphone 20 into the number of frames.
  • a predetermined number As shown in FIG. 5, when the distance between the athlete 32 and the microphone 20 is X [m], the delay time is X ⁇ 3230 using the speed of sound 3230 [m / s] in ice.
  • the maximum value of the distance from the position of the microphone 20 to the end of the skating rink 30 can be set to X.
  • the predetermined number may be set to 1, and when the frame rate is 120 fps, the predetermined number may be set to 2.
  • the specifying unit 16 may use a predetermined number based on the delay time when specifying the start frame mS, and may use 1 as the predetermined number when specifying the end frame mE.
  • the specific unit 16 extracts the section from the start frame mS to the end frame mE from the video delivered from the acquisition unit 12 as a jump section and delivers it to the calculation unit 18.
  • the competitor 32 is photographed at an angle suitable for calculating the three-dimensional position among the images captured by each of the plurality of cameras 22.
  • the three-dimensional position of a predetermined part may be calculated using one image.
  • the calculation unit 18 specifies the reference line based on the position of the tip 34 of the blade at each of the ice removal time tA and the icing time tB. More specifically, as shown in FIG. 7, the calculation unit 18 specifies the position of the tip 34 of the blade calculated from the ice removal frame mA as the ice removal point A. Further, the calculation unit 18 specifies the position of the tip 34 of the blade calculated from the icing frame mB as the icing point B.
  • the calculation unit 18 calculates the delay time ⁇ t of the sound signal with respect to the image at the time of icing.
  • the delay time is the distance X [m] ⁇ 3230 [m / s] (sound velocity in ice).
  • the distance X is the distance between the position of the microphone 20 and the icing point B.
  • the calculation unit 18 is based on the rotation angle ⁇ (mE) calculated from the end frame mE and the rotation angle ⁇ (mE-1) calculated from the frame mE-1 immediately before the end frame mE at the time of icing. Calculate the rotation angle of the blade.
  • the calculation unit 18 can also calculate other information based on the three-dimensional position of the predetermined portion corresponding to the jump section. For example, the calculation unit 18 calculates the waist position as a predetermined part, and calculates the difference between the minimum value and the maximum value of the waist position calculated from each frame included in the jump section as the jump height. Can be done. Further, the calculation unit 18 can calculate the distance from the freezing point A to the freezing point B as the jumping distance. Further, the calculation unit 18 can calculate the rotation speed from the time from the ice removal time tA to the icing time tB and the change in the rotation angle in the jump section. Further, the calculation unit 18 can calculate the railroad crossing speed from the time from the start frame mS to the predetermined frame and the amount of change in the position of the predetermined portion during that time.
  • the calculation unit 18 outputs the rotation angle ⁇ (tB ⁇ t) at the time of icing and other calculated information.
  • the rotation angle ⁇ (tB ⁇ t) at the time of icing can be used for determining the insufficient rotation of the jump or the like. Further, the output information can be used as stats to be displayed on a screen of a television broadcast or the like.
  • the information processing device 10 can be realized by, for example, the computer 40 shown in FIG.
  • the computer 40 includes a CPU (Central Processing Unit) 41, a memory 42 as a temporary storage area, and a non-volatile storage unit 43. Further, the computer 40 includes an input / output device 44 such as an input unit and a display unit, and an R / W (Read / Write) unit 45 that controls reading and writing of data to the storage medium 49. Further, the computer 40 includes a communication I / F (Interface) 46 connected to a network such as the Internet.
  • the CPU 41, the memory 42, the storage unit 43, the input / output device 44, the R / W unit 45, and the communication I / F 46 are connected to each other via the bus 47.
  • the storage unit 43 can be realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like.
  • the information processing program 50 for making the computer 40 function as the information processing device 10 is stored in the storage unit 43 as a storage medium.
  • the information processing program 50 includes an acquisition process 52, an estimation process 54, a specific process 56, and a calculation process 58.
  • the CPU 41 reads the information processing program 50 from the storage unit 43, expands it in the memory 42, and sequentially executes the processes included in the information processing program 50.
  • the CPU 41 operates as the acquisition unit 12 shown in FIG. 2 by executing the acquisition process 52. Further, the CPU 41 operates as the estimation unit 14 shown in FIG. 2 by executing the estimation process 54. Further, the CPU 41 operates as the specific unit 16 shown in FIG. 2 by executing the specific process 56. Further, the CPU 41 operates as the calculation unit 18 shown in FIG. 2 by executing the calculation process 58.
  • the computer 40 that executes the information processing program 50 functions as the information processing device 10.
  • the CPU 41 that executes the program is hardware.
  • the function realized by the information processing program 50 can also be realized by, for example, a semiconductor integrated circuit, more specifically, an ASIC (Application Specific Integrated Circuit) or the like.
  • a semiconductor integrated circuit more specifically, an ASIC (Application Specific Integrated Circuit) or the like.
  • the information processing routine is an example of an information processing method of the disclosed technology.
  • step S12 the acquisition unit 12 acquires the sound signal and the video input to the information processing device 10.
  • the acquisition unit 12 passes the acquired sound signal to the estimation unit 14, and delivers the acquired video to the specific unit 16.
  • step S14 the estimation unit 14 estimates the time when the sound signal becomes equal to or less than the threshold value TH as the icing time tA, and arrives at the time when the sound signal which is equal to or higher than the threshold value exceeds the threshold value TH again. Estimated as ice time tB. The estimation unit 14 passes the estimated jump deicing time tA and icing time tB to the specific unit 16.
  • step S16 the specific unit 16 sets the frame before a predetermined number (for example, one frame) of the ice removal frame mA of the time information synchronized with the ice removal time tA as the start frame mS corresponding to the ice removal time tA. Identify as. Further, the specifying unit 16 specifies a frame after a predetermined number (for example, one frame) of the icing frame mB of the time information synchronized with the icing time tB as the end frame mE corresponding to the icing time tB. The specific unit 16 extracts a section from the start frame mS to the end frame mE as a jump section from the video delivered from the acquisition unit 12, and delivers it to the calculation unit 18.
  • a predetermined number for example, one frame
  • step S18 the calculation unit 18 three-dimensionally analyzes each of the frames included in the jump section delivered from the specific unit 16, and the three-dimensional position of the predetermined portion including the tip 34 and the end 36 of the blade. (X, y, z) is calculated. Then, the calculation unit 18 calculates the angle formed by the line perpendicular to the shooting direction of the camera 22 and the line connecting the tip end 34 and the end end 36 of the blade as the absolute angle of the blade.
  • step S20 the calculation unit 18 specifies the position of the blade tip 34 calculated from the icing frame mA as the icing point A, and sets the position of the blade tip 34 calculated from the icing frame mAB. Specify as freezing point B. Then, the calculation unit 18 uses a straight line passing through the freezing point A and the freezing point B as a reference line, subtracts the angle difference between the line perpendicular to the shooting direction of the camera 22 and the reference line from the absolute angle of the blade, and subtracts the angle difference of the blade. Calculate the rotation angle ⁇ .
  • step S24 the calculation unit 18 linearly complements the rotation angle between the frame mE-1 and the frame mE using the rotation angles ⁇ (mE-1) and ⁇ (mE), and corrects the icing.
  • the rotation angle corresponding to the time tB ⁇ t is calculated as the rotation angle ⁇ (tB ⁇ t) at the time of icing.
  • the calculation unit 18 may calculate other information based on the three-dimensional position of the predetermined portion corresponding to the jump section.
  • the calculation unit 18 outputs the calculated rotation angle ⁇ (tB ⁇ t) at the time of icing and other calculated information, and the information processing routine ends.
  • the information processing device captures a sound signal collected by a microphone provided on the skating rink and an image of a player competing on the skating rink. To get. Then, the information processing device estimates the ice-off time and the icing time of the jump performed by the competitor based on the section in which the sound signal level is equal to or less than a predetermined threshold value. Further, the information processing device synchronizes the time information of the sound signal with the time information of the video, and specifies in the video from the frame corresponding to the icing time to the frame corresponding to the icing time as a jump section. As a result, it is possible to specify the section from the start to the end of the jump in figure skating without attaching a sensor or the like to the athlete.
  • the time of desorption and icing can be estimated with higher accuracy by using the sound signal, and the jump can be performed with higher accuracy based on the estimated time. Can be specified.
  • the angle of the blade at the time of icing is used in determining the lack of rotation of the jump. If this is determined only by the video, if the frame rate is 30 fps, it will rotate by about 60 ° during one frame, so that an accurate determination cannot be made.
  • the rotation angle at a time finer than the time in the time unit of one frame can be calculated by using the icing time estimated by using the sound signal, so that the determination of insufficient rotation is accurately supported. can do.
  • the mode in which the information processing program is stored (installed) in the storage unit in advance has been described, but the present invention is not limited to this.
  • the program according to the disclosed technology can also be provided in a form stored in a storage medium such as a CD-ROM, a DVD-ROM, or a USB memory.
  • Information processing device 12 Acquisition unit 14 Estimating unit 16 Specific unit 18 Calculation unit 20 Microphone 22 Camera 30 Skating rink 32 Athletes 34 Blade tip 36 Blade end 40 Computer 41 CPU 42 Memory 43 Storage unit 49 Storage medium 50 Information processing program 100 Information creation system

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Devices For Executing Special Programs (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

フィギュアスケートにおけるジャンプの開始から終了までの区間を特定することを目的とする。　情報処理装置（１０）は、スケートリンクの氷中に設けられたマイク（２０）で集音された音信号の消失及び復帰に基づいて、離氷時刻ｔＡ及び着氷時刻ｔＢを推定し、スケートリンク（３０）で競技する競技者（３２）をカメラ（２２）で撮影した映像と音信号とで時刻情報を同期させ、離氷時刻ｔＡ及び着氷時刻ｔＢの各々に対応する開始フレームｍＳから終了フレームｍＥまでをジャンプの区間として特定する。また、情報処理装置（１０）は、特定したジャンプの区間の映像を３次元解析して、着氷時のブレードの回転角度等の情報を算出する。

Description

情報処理プログラム、装置、及び方法
　開示の技術は、情報処理プログラム、情報処理装置、及び情報処理方法に関する。
　従来、スポーツの競技中の映像から、所定のシーンを切り出すことが行われている。所定のシーンは、例えば、ゴルフ、野球、テニス等におけるボールに対するインパクトの瞬間を含むシーン、体操競技等における跳躍や着地を含むシーン等である。
　上記のようなシーン切り出しに関する技術として、例えば、被写体の連続するモーションの中から決定的瞬間を特定して画像として抽出する情報処理装置が提案されている。この装置は、ユーザ又はユーザに接触するオブジェクトに装着されたセンサからのセンサデータ、及びセンサデータに対応する時刻情報を受信する。また、この装置は、センサデータ及び時刻情報に基づいて、ユーザ又はオブジェクトに所定のモーションパターンが発生した時刻を特定する。そして、この装置は、特定した時刻に応じて、所定の時間間隔で撮影されたユーザ又はオブジェクトを含む一連の画像から１又は複数の画像を選択する。
特開２０１５－８２８１７号公報
　切り出し対象のシーンとして、フィギュアスケートのジャンプの区間を想定する。フィギュアスケートにおいては、競技者、又は競技者が装着するウェアやシューズにセンサを取り付ける等の少しの変化が、ジャンプ等の精度に影響を与えてしまう場合がある。そのため、従来技術を適用して、フィギュアスケートにおけるジャンプの開始から終了までの区間を特定することは困難である。
　一つの側面として、開示の技術は、フィギュアスケートにおけるジャンプの開始から終了までの区間を特定することを目的とする。
　一つの態様として、開示の技術は、スケートリンクを含む会場内に設けられたマイクで集音された音信号、及び前記スケートリンクで競技する競技者を撮影した映像を取得する。また、開示の技術は、前記音信号に基づく氷の音の消失と復帰に応じて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する。そして、開示の技術は、前記音信号の時刻情報と前記映像の時刻情報とを同期させ、前記映像において、前記離氷時刻に対応するフレームから前記着氷時刻に対応するフレームまでをジャンプの区間として特定する。
　一つの側面として、フィギュアスケートにおけるジャンプの開始から終了までの区間を特定することができる、という効果を有する。
本実施形態に係る情報作成システムの概略構成を示すブロック図である。 本実施形態に係る情報処理装置の機能ブロックである。 離氷時刻及び着氷時刻の推定を説明するための図である。 ジャンプの区間の特定を説明するための図である。 映像に対する音信号の遅延時間を説明するための図である。 所定部位としてブレードの先端及び終端の位置を算出することを説明するための図である。 基準線及び回転角度を説明するための図である。 ジャンプの区間に含まれるフレームの各々から算出された回転角度θを示す図である。 図８の破線枠で示す部分の拡大図である。 情報処理装置として機能するコンピュータの概略構成を示すブロック図である。 本実施形態における情報処理ルーチンの一例を示すフローチャートである。
　以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。以下の実施形態では、情報処理装置により特定されるジャンプの区間の映像に関する情報を作成する情報作成システムについて説明する。
　まず、本実施形態に係る情報作成システムの概要について説明する。図１に示すように、情報作成システム１００は、情報処理装置１０と、マイク２０と、複数のカメラ２２とを含む。情報作成システム１００は、マイク２０から出力される音信号、及びカメラ２２から出力される映像に対して情報処理を行い、ジャンプの着氷時のブレードの回転角度等の情報を算出して出力する。
　マイク２０は、スケートリンク３０の氷中に設置される。例えば、スケートリンク３０を設営時において、氷を張る際にスケートリンク３０内に埋め込むことで、マイク２０を氷中に設置することができる。マイク２０は、競技会場の音声を集音し、音信号を出力する。マイク２０が氷中に設置されていることにより、マイク２０で集音される音信号に含まれる音成分は、歓声や音楽等を示す音成分が抑制され、スケートリンク３０表面（氷）とスケートシューズのブレードとの摩擦音を示す音成分が支配的になる。出力される音信号の各サンプリング点には時刻情報が対応付いている。
　複数のカメラ２２の各々は、スケートリンク３０上の競技者３２及び競技者３２が装着する装着物の所定部位の３次元位置をステレオカメラ方式により計測可能な位置にそれぞれ取り付けられる。各カメラ２２は、所定のフレームレート（例えば、３０ｆｐｓ、６０ｆｐｓ等）で撮影した映像を出力する。出力される映像は、複数のフレームを含んでおり、各フレームには時刻情報が対応付いている。なお、ＴｏＦ（Time-of-Flight）方式の１台のカメラを用いてもよい。
　情報処理装置１０は、機能的には、図２に示すように、取得部１２と、推定部１４と、特定部１６と、算出部１８とを含む。
　取得部１２は、マイク２０から出力された音信号、及び複数のカメラ２２の各々から出力された映像を取得する。取得部１２は、取得した音信号を推定部１４へ受け渡し、取得した映像を特定部１６へ受け渡す。
　推定部１４は、音信号に基づく氷の音の消失と復帰とに応じて、競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する。例えば、推定部１４は、音信号のレベルが予め定めた閾値以下となる区間に基づいて、競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する。これは、ジャンプ開始の離氷時には、ブレードと氷との摩擦音が消失し、着氷時に摩擦音が復帰することを利用したものである。閾値としては、概ね音信号が消失したと見做せる値を定めておけばよい。具体的には、図３に示すように、推定部１４は、音信号が閾値ＴＨ以下となった時刻を離氷時刻ｔＡとして推定する。また、推定部１４は、閾値ＴＨ以となっていた音信号が再び閾値ＴＨを超えた時刻を着氷時刻ｔＢとして推定する。
　なお、推定部１４は、音信号に含まれる所定の周波数成分を除去した後の音信号に基づいて、ジャンプの離氷時刻ｔＡ及び着氷時刻ｔＢを推定してもよい。所定の周波数成分としては、例えば、歓声や音楽等、ブレードと氷との摩擦音以外の音に相当する周波数成分とすることができる。上述のように、マイク２０が氷中に設置されている場合には、歓声や音楽等、ブレードと氷との摩擦音以外の音は抑制されている。ただし、ブレードと氷との摩擦音以外の音に相当する周波数成分を除去することにより、より高精度にジャンプの離氷時刻ｔＡ及び着氷時刻ｔＢを推定することができる。なお、マイク２０が氷中ではない会場内に設置されている場合、音信号には歓声や音楽等も多く含まれることになるため、所定の周波数成分を除去することが有効となる。推定部１４は、推定したジャンプの離氷時刻ｔＡ及び着氷時刻ｔＢを特定部１６へ受け渡す。
　特定部１６は、音信号の時刻情報と映像の時刻情報とを同期させ、取得部１２から受け渡された映像において、ジャンプの離氷時刻ｔＡに対応するフレームから着氷時刻ｔＢに対応するフレームまでをジャンプの区間として特定する。
　具体的には、図４に示すように、特定部１６は、離氷時刻ｔＡと同期する時刻情報のフレーム（以下、「離氷フレームｍＡ」という）の所定数前のフレームを、離氷時刻ｔＡに対応する開始フレームｍＳとして特定する。また、特定部１６は、着氷時刻ｔＢと同期する時刻情報のフレーム（以下、「着氷フレームｍＢ」という）の所定数後のフレームを、着氷時刻ｔＢに対応する終了フレームｍＥとして特定する。離氷フレームｍＡ～着氷クレームｍＢの前後のフレームを含めるのは、離氷から着氷までが確実に含まれるように、開始フレームｍＳ及び終了フレームｍＥを特定するためである。図４に示すように、所定数は、例えば１とすることができる。
　また、特定部１６は、所定数を、競技者３２とマイク２０との距離に応じた、映像に対する音信号の遅延時間をフレーム数に換算した数としてもよい。図５に示すように、競技者３２とマイク２０との距離がＸ［ｍ］の場合、氷中の音速３２３０［ｍ／ｓ］を用いて、遅延時間は、Ｘ÷３２３０となる。ここでは、厳密な距離Ｘを用いる必要はなく、例えば、マイク２０の位置からスケートリンク３０の端までの距離の最大値をＸとすることができる。例えば、Ｘ＝３０ｍとした場合、遅延時間は、３０÷３２３０＝９．２８［ｍｓ］である。映像のフレームレートが３０ｆｐｓ又は６０ｆｐｓの場合、上記図４の例と同様に、所定数を１とし、１２０ｆｐｓの場合、所定数を２とすればよい。
　なお、特定部１６は、開始フレームｍＳを特定する際には、遅延時間に基づく所定数を用い、終了フレームｍＥを特定する際には、所定数として１を用いるようにしてもよい。
　特定部１６は、取得部１２から受け渡された映像から、開始フレームｍＳから終了フレームｍＥまでの区間を、ジャンプの区間として抽出して、算出部１８へ受け渡す。
　算出部１８は、特定部１６から受け渡されたジャンプの区間に含まれるフレームの各々を３次元解析し、競技者３２及び競技者３２が装着する装着物の所定部位の３次元位置（ｘ，ｙ，ｚ）を算出する。所定部位は、図６に示すように、競技者３２が装着するスケートシューズのブレードの先端３４及び終端３６を含む。また、所定部位は、競技者３２の各関節、頭部、及び目、鼻、口等の顔の部位を含んでもよい。なお、各フレームから、これらの所定部位を認識する手法は、所定部位の形状を用いた認識方法や、人体骨格モデルを用いた認識方法等、既存の手法を用いることができる。
　また、情報作成システム１００が３台以上のカメラ２２を備えている場合、複数のカメラ２２の各々で撮影された映像のうち、３次元位置の算出に適した角度で競技者３２を撮影した２つの映像を用いて、所定部位の３次元位置を算出すればよい。
　算出部１８は、ジャンプの区間に含まれるフレームの各々から算出したブレードの先端３４及び終端３６の位置を用いて、カメラ２２の撮影方向を基準としたブレードの絶対確度を算出する。例えば、算出部１８は、カメラ２２の撮影方向、又は撮影方向に垂直な線と、ブレードの先端３４と終端３６とを結ぶ線とのなす角度を、ブレードの絶対角度として算出することができる。なお、複数のカメラ２２のうち、いずれかのカメラ２２をメインのカメラとして定めておき、メインのカメラ２２の撮影方向を基準に、ブレードの絶対確度を算出すればよい。また、算出部１８は、ブレードの絶対角度を、ジャンプの回転不足を判定するための基準線に対する角度（以下、「回転角度θ」という）に変換する。
　具体的には、算出部１８は、離氷時刻ｔＡ及び着氷時刻ｔＢの各々におけるブレードの先端３４の位置に基づいて基準線を特定する。より具体的には、図７に示すように、算出部１８は、離氷フレームｍＡから算出されたブレードの先端３４の位置を離氷点Ａとして特定する。また、算出部１８は、着氷フレームｍＢから算出されたブレードの先端３４の位置を着氷点Ｂとして特定する。そして、算出部１８は、離氷点Ａ及び着氷点Ｂを通る直線を基準線とし、カメラ２２の撮影方向に垂直な線と基準線との角度差を、ブレードの絶対角度から差し引いて、ブレードの回転角度θを算出する。図８に、ジャンプの区間に含まれるフレームの各々から算出された回転角度θを示す。
　算出部１８は、着氷時における、映像に対する音信号の遅延時間Δｔを算出する。上述したように、遅延時間は、距離Ｘ［ｍ］÷３２３０［ｍ／ｓ］（氷中の音速）である。ここでは、距離Ｘを、マイク２０の位置と、着氷点Ｂとの距離とする。
　算出部１８は、終了フレームｍＥから算出した回転角度θ（ｍＥ）と、終了フレームｍＥの１つ前のフレームｍＥ－１から算出した回転角度θ（ｍＥ－１）とに基づいて、着氷時のブレードの回転角度を算出する。
　図９を参照して、具体的に説明する。図９は、図８の破線枠で示す部分の拡大図である。音信号に基づいて推定した着氷時刻ｔＢに、算出した遅延時間Δｔを考慮した補正後の着氷時刻ｔＢ－Δｔは、フレームｍＥ－１～フレームｍＥまでの１フレーム分の時間内に含まれる。なお、ここでは、遅延時間Δｔは、１フレーム分の時間と比較して微小な時間である。算出部１８は、ジャンプ中の回転速度はほぼ一定であると仮定し、フレームｍＥ－１～フレームｍＥ間の回転角度を、回転角度θ（ｍＥ－１）及び回転角度θ（ｍＥ）を用いて線形補完する。そして、算出部１８は、補正後の着氷時刻ｔＢ－Δｔに対応する回転角度を、着氷時の回転角度θ（ｔＢ－Δｔ）として算出する。
　また、算出部１８は、ジャンプの区間に対応する所定部位の３次元位置に基づいて、他の情報を算出することもできる。例えば、算出部１８は、所定部位として腰の位置を算出し、ジャンプの区間に含まれる各フレームから算出された腰の位置の最小値と最大値との差をジャンプの高さとして算出することができる。また、算出部１８は、離氷点Ａから着氷点Ｂまでの距離をジャンプの飛距離として算出することができる。また、算出部１８は、離氷時刻ｔＡから着氷時刻ｔＢまでの時間と、ジャンプの区間における回転角度の変化とから、回転速度を算出することができる。また、算出部１８は、開始フレームｍＳから所定フレームまでの時間と、その間における所定部位の位置の変化量とから、踏切速度を算出することができる。
　算出部１８は、着氷時の回転角度θ（ｔＢ－Δｔ）、及びその他算出した情報を出力する。着氷時の回転角度θ（ｔＢ－Δｔ）は、ジャンプの回転不足等の判定に用いることができる。また、出力された情報を、テレビ放送等の画面に表示するスタッツとして用いることもできる。
　情報処理装置１０は、例えば図１０に示すコンピュータ４０で実現することができる。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１と、一時記憶領域としてのメモリ４２と、不揮発性の記憶部４３とを備える。また、コンピュータ４０は、入力部、表示部等の入出力装置４４と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部４５とを備える。また、コンピュータ４０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）４６を備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力装置４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。
　記憶部４３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４３には、コンピュータ４０を、情報処理装置１０として機能させるための情報処理プログラム５０が記憶される。情報処理プログラム５０は、取得プロセス５２と、推定プロセス５４と、特定プロセス５６と、算出プロセス５８とを有する。
　ＣＰＵ４１は、情報処理プログラム５０を記憶部４３から読み出してメモリ４２に展開し、情報処理プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、取得プロセス５２を実行することで、図２に示す取得部１２として動作する。また、ＣＰＵ４１は、推定プロセス５４を実行することで、図２に示す推定部１４として動作する。また、ＣＰＵ４１は、特定プロセス５６を実行することで、図２に示す特定部１６として動作する。また、ＣＰＵ４１は、算出プロセス５８を実行することで、図２に示す算出部１８として動作する。これにより、情報処理プログラム５０を実行したコンピュータ４０が、情報処理装置１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。
　なお、情報処理プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。
　次に、本実施形態に係る情報作成システム１００の作用について説明する。情報処理装置１０に、マイク２０から出力された音信号、及び複数のカメラ２２の各々で撮影された映像が入力されると、情報処理装置１０において、図１１に示す情報処理ルーチンが実行される。なお、情報処理ルーチンは、開示の技術の情報処理方法の一例である。
　ステップＳ１２で、取得部１２が、情報処理装置１０に入力された音信号及び映像を取得する。取得部１２は、取得した音信号を推定部１４へ受け渡し、取得した映像を特定部１６へ受け渡す。
　次に、ステップＳ１４で、推定部１４が、音信号が閾値ＴＨ以下となった時刻を離氷時刻ｔＡとして推定し、閾値ＴＨ以となっていた音信号が再び閾値ＴＨを超えた時刻を着氷時刻ｔＢとして推定する。推定部１４は、推定したジャンプの離氷時刻ｔＡ及び着氷時刻ｔＢを特定部１６へ受け渡す。
　次に、ステップＳ１６で、特定部１６が、離氷時刻ｔＡと同期する時刻情報の離氷フレームｍＡの所定数（例えば、１フレーム）前のフレームを、離氷時刻ｔＡに対応する開始フレームｍＳとして特定する。また、特定部１６が、着氷時刻ｔＢと同期する時刻情報の着氷フレームｍＢの所定数（例えば、１フレーム）後のフレームを、着氷時刻ｔＢに対応する終了フレームｍＥとして特定する。特定部１６は、取得部１２から受け渡された映像から、開始フレームｍＳから終了フレームｍＥまでの区間を、ジャンプの区間として抽出して、算出部１８へ受け渡す。
　次に、ステップＳ１８で、算出部１８が、特定部１６から受け渡されたジャンプの区間に含まれるフレームの各々を３次元解析し、ブレードの先端３４及び終端３６を含む所定部位の３次元位置（ｘ，ｙ，ｚ）を算出する。そして、算出部１８が、カメラ２２の撮影方向に垂直な線と、ブレードの先端３４と終端３６とを結ぶ線とのなす角度を、ブレードの絶対角度として算出する。
　次に、ステップＳ２０で、算出部１８が、離氷フレームｍＡから算出されたブレードの先端３４の位置を離氷点Ａとして特定し、着氷フレームｍＢから算出されたブレードの先端３４の位置を着氷点Ｂとして特定する。そして、算出部１８は、離氷点Ａ及び着氷点Ｂを通る直線を基準線とし、カメラ２２の撮影方向に垂直な線と基準線との角度差を、ブレードの絶対角度から差し引いて、ブレードの回転角度θを算出する。
　次に、ステップＳ２２で、算出部１８が、マイク２０の位置と、着氷点Ｂとの距離Ｘを算出し、着氷時における、映像に対する音信号の遅延時間Δｔを、Δｔ＝距離Ｘ［ｍ］÷３２３０［ｍ／ｓ］（氷中の音速）として算出する。
　次に、ステップＳ２４で、算出部１８が、フレームｍＥ－１～フレームｍＥ間の回転角度を、回転角度θ（ｍＥ－１）及びθ（ｍＥ）を用いて線形補完し、補正後の着氷時刻ｔＢ－Δｔに対応する回転角度を、着氷時の回転角度θ（ｔＢ－Δｔ）として算出する。また、算出部１８は、ジャンプの区間に対応する所定部位の３次元位置に基づいて、他の情報を算出してもよい。算出部１８は、算出した着氷時の回転角度θ（ｔＢ－Δｔ）、及び算出した他の情報を出力し、情報処理ルーチンは終了する。
　以上説明したように、本実施形態に係る情報作成システムによれば、情報処理装置が、スケートリンクに設けられたマイクで集音された音信号、及びスケートリンクで競技する競技者を撮影した映像を取得する。そして、情報処理装置は、音信号のレベルが予め定めた閾値以下となる区間に基づいて、競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する。さらに、情報処理装置は、音信号の時刻情報と映像の時刻情報とを同期させ、映像において、離氷時刻に対応するフレームから着氷時刻に対応するフレームまでをジャンプの区間として特定する。これにより、競技者にセンサ等を取り付けることなく、フィギュアスケートにおけるジャンプの開始から終了までの区間を特定することができる。
　また、映像の画像解析のみでジャンプの開始及び終了を特定する場合に比べ、音信号を用いて、より精度の高い離着氷の時刻を推定することができ、推定した時刻により、精度良くジャンプの区間を特定することができる。
　また、ジャンプの回転不足の判定においては、着氷時のブレードの角度が用いられる。これを映像のみで判定しようとすると、フレームレート３０ｆｐｓの場合、１フレームの間に６０°程度回転してしまうため、正確な判定を行うことができない。本実施形態では、音信号を用いて推定した着氷の時刻を用いて、１フレーム分の時間単位の時刻より細かい時刻における回転角度を算出することができるため、回転不足の判定を精度良く支援することができる。
　なお、上記実施形態では、情報処理プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。
１０   情報処理装置
１２   取得部
１４   推定部
１６   特定部
１８   算出部
２０   マイク
２２   カメラ
３０   スケートリンク
３２   競技者
３４   ブレードの先端
３６   ブレードの終端
４０   コンピュータ
４１   ＣＰＵ
４２   メモリ
４３   記憶部
４９   記憶媒体
５０   情報処理プログラム
１００ 情報作成システム

Claims (20)

  1. 　スケートリンクを含む会場内に設けられたマイクで集音された音信号、及び前記スケートリンクで競技する競技者を撮影した映像を取得し、
    　前記音信号に基づく氷の音の消失と復帰に応じて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定し、
    　前記音信号の時刻情報と前記映像の時刻情報とを同期させ、前記映像において、前記離氷時刻に対応するフレームから前記着氷時刻に対応するフレームまでをジャンプの区間として特定する
    　ことを含む処理をコンピュータに実行させるための情報処理プログラム。
  2. 　前記コンピュータに、さらに、
    　前記映像に基づき、前記競技者及び前記競技者が装着する装着物の所定部位の３次元位置を特定し、
    　前記ジャンプの区間に含まれるフレームの各々から、前記離氷時刻及び前記着氷時刻の各々における前記所定部位の位置に基づく基準線に対する前記所定部位の角度を算出する
    　処理を実行させる請求項１に記載の情報処理プログラム。
  3. 　前記着氷時刻に対応するフレームから算出された前記角度と、前記着氷時刻に対応するフレームの１つ前のフレームから算出された前記角度とに基づいて、前記着氷時刻における前記所定部位の角度を算出する請求項２に記載の情報処理プログラム。
  4. 　前記ジャンプの区間に対応する前記所定部位の３次元位置に基づいて、踏切速度、ジャンプの高さ、飛距離、及び回転速度の少なくとも１つを算出する請求項２又は請求項３に記載の情報処理プログラム。
  5. 　前記所定部位は、前記競技者が装着するスケートシューズのブレードの向きを特定可能な部位である請求項２～請求項４のいずれか１項に記載の情報処理プログラム。
  6. 　前記離氷時刻に対応するフレームとして、前記離氷時刻と同期する時刻情報のフレームの所定数前のフレームを特定し、前記着氷時刻に対応するフレームとして、前記着氷時刻と同期する時刻情報のフレームの所定数後のフレームを特定する請求項１～請求項５のいずれか１項に記載の情報処理プログラム。
  7. 　前記所定数を１、又は、前記競技者と前記マイクとの距離に応じた、前記映像に対する前記音信号の遅延時間をフレーム数に換算した数とする請求項６に記載の情報処理プログラム。
  8. 　前記マイクは、前記スケートリンクの氷中に設けられる請求項１～請求項７のいずれか１項に記載の情報処理プログラム。
  9. 　前記音信号に含まれる所定の周波数成分を除去した後の音信号に基づいて、前記離氷時刻及び前記着氷時刻を推定する請求項１～請求項８のいずれか１項に記載の情報処理プログラム。
  10. 　スケートリンクに設けられたマイクで集音された音信号、及び前記スケートリンクで競技する競技者を撮影した映像を取得する取得部と、
    　前記音信号のレベルが予め定めた閾値以下となる区間に基づいて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定する推定部と、
    　前記音信号の時刻情報と前記映像の時刻情報とを同期させ、前記映像において、前記離氷時刻に対応するフレームから前記着氷時刻に対応するフレームまでをジャンプの区間として特定する特定部と、
    　を含む情報処理装置。
  11. 　前記取得部は、前記映像として、前記競技者及び前記競技者が装着する装着物の所定部位の３次元位置を計測可能な映像を取得し、
    　前記ジャンプの区間に含まれるフレームの各々から、前記離氷時刻及び前記着氷時刻の各々における前記所定部位の位置に基づく基準線に対する前記所定部位の角度を算出する算出部を含む
    　請求項１０に記載の情報処理装置。
  12. 　前記算出部は、前記着氷時刻に対応するフレームから算出された前記角度と、前記着氷時刻に対応するフレームの１つ前のフレームから算出された前記角度とに基づいて、前記着氷時刻における前記所定部位の角度を算出する請求項１１に記載の情報処理装置。
  13. 　前記算出部は、前記ジャンプの区間に対応する前記所定部位の３次元位置に基づいて、踏切速度、ジャンプの高さ、飛距離、及び回転速度の少なくとも１つを算出する請求項１１又は請求項１２に記載の情報処理装置。
  14. 　前記所定部位は、前記競技者が装着するスケートシューズのブレードの向きを特定可能な部位である請求項１１～請求項１３のいずれか１項に記載の情報処理装置。
  15. 　前記特定部は、前記離氷時刻に対応するフレームとして、前記離氷時刻と同期する時刻情報のフレームの所定数前のフレームを特定し、前記着氷時刻に対応するフレームとして、前記着氷時刻と同期する時刻情報のフレームの所定数後のフレームを特定する請求項１０～請求項１４のいずれか１項に記載の情報処理装置。
  16. 　前記特定部は、前記所定数を１、又は、前記競技者と前記マイクとの距離に応じた、前記映像に対する前記音信号の遅延時間をフレーム数に換算した数とする請求項１５に記載の情報処理装置。
  17. 　前記マイクは、前記スケートリンクの氷中に設けられる請求項１０～請求項１６のいずれか１項に記載の情報処理装置。
  18. 　前記推定部は、前記音信号に含まれる所定の周波数成分を除去した後の前記音信号に基づいて、前記離氷時刻及び前記着氷時刻を推定する請求項１０～請求項１７のいずれか１項に記載の情報処理装置。
  19. 　スケートリンクに設けられたマイクで集音された音信号、及び前記スケートリンクで競技する競技者を撮影した映像を取得し、
    　前記音信号のレベルが予め定めた閾値以下となる区間に基づいて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定し、
    　前記音信号の時刻情報と前記映像の時刻情報とを同期させ、前記映像において、前記離氷時刻に対応するフレームから前記着氷時刻に対応するフレームまでをジャンプの区間として特定する
    　ことを含む処理をコンピュータが実行するための情報処理方法。
  20. 　スケートリンクに設けられたマイクで集音された音信号、及び前記スケートリンクで競技する競技者を撮影した映像を取得し、
    　前記音信号のレベルが予め定めた閾値以下となる区間に基づいて、前記競技者が行ったジャンプの離氷時刻及び着氷時刻を推定し、
    　前記音信号の時刻情報と前記映像の時刻情報とを同期させ、前記映像において、前記離氷時刻に対応するフレームから前記着氷時刻に対応するフレームまでをジャンプの区間として特定する
    　ことを含む処理をコンピュータに実行させるための情報処理プログラムを記憶した記憶媒体。
PCT/JP2020/007998 2020-02-27 2020-02-27 情報処理プログラム、装置、及び方法 WO2021171470A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
PCT/JP2020/007998 WO2021171470A1 (ja) 2020-02-27 2020-02-27 情報処理プログラム、装置、及び方法
CN202080096350.6A CN115136590A (zh) 2020-02-27 2020-02-27 信息处理程序、装置以及方法
JP2022502703A JP7400937B2 (ja) 2020-02-27 2020-02-27 情報処理プログラム、装置、及び方法
EP20921461.8A EP4093023A4 (en) 2020-02-27 2020-02-27 INFORMATION PROCESSING PROGRAM, DEVICE AND METHOD
KR1020227028019A KR20220128404A (ko) 2020-02-27 2020-02-27 정보 처리 프로그램, 장치 및 방법
US17/820,445 US20220392222A1 (en) 2020-02-27 2022-08-17 Information processing program, device, and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/007998 WO2021171470A1 (ja) 2020-02-27 2020-02-27 情報処理プログラム、装置、及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/820,445 Continuation US20220392222A1 (en) 2020-02-27 2022-08-17 Information processing program, device, and method

Publications (1)

Publication Number Publication Date
WO2021171470A1 true WO2021171470A1 (ja) 2021-09-02

Family

ID=77490036

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/007998 WO2021171470A1 (ja) 2020-02-27 2020-02-27 情報処理プログラム、装置、及び方法

Country Status (6)

Country Link
US (1) US20220392222A1 (ja)
EP (1) EP4093023A4 (ja)
JP (1) JP7400937B2 (ja)
KR (1) KR20220128404A (ja)
CN (1) CN115136590A (ja)
WO (1) WO2021171470A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7444238B2 (ja) * 2020-03-18 2024-03-06 富士通株式会社 情報処理プログラム、装置、及び方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013235534A (ja) * 2012-05-11 2013-11-21 Seiko Epson Corp センサーユニット、運動解析装置
JP2015082817A (ja) 2013-10-24 2015-04-27 ソニー株式会社 情報処理装置、記録媒体、および情報処理方法
WO2016092933A1 (ja) * 2014-12-08 2016-06-16 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2016098415A1 (ja) * 2014-12-18 2016-06-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018189924A (ja) * 2017-05-11 2018-11-29 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019033869A (ja) * 2017-08-14 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539336B1 (en) * 1996-12-12 2003-03-25 Phatrat Technologies, Inc. Sport monitoring system for determining airtime, speed, power absorbed and other factors such as drop distance
DE19614253A1 (de) * 1996-03-05 1997-09-11 Karl Leonhardtsberger Elektronisches Aufzeichnungs- und Wiedergabeverfahren für Bewegungsabläufe auf Sportplätzen und/oder in Sport- und Eislaufhallen
US10083537B1 (en) * 2016-02-04 2018-09-25 Gopro, Inc. Systems and methods for adding a moving visual element to a video

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013235534A (ja) * 2012-05-11 2013-11-21 Seiko Epson Corp センサーユニット、運動解析装置
JP2015082817A (ja) 2013-10-24 2015-04-27 ソニー株式会社 情報処理装置、記録媒体、および情報処理方法
WO2016092933A1 (ja) * 2014-12-08 2016-06-16 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2016098415A1 (ja) * 2014-12-18 2016-06-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018189924A (ja) * 2017-05-11 2018-11-29 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019033869A (ja) * 2017-08-14 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4093023A4

Also Published As

Publication number Publication date
US20220392222A1 (en) 2022-12-08
EP4093023A4 (en) 2023-03-01
KR20220128404A (ko) 2022-09-20
JPWO2021171470A1 (ja) 2021-09-02
CN115136590A (zh) 2022-09-30
EP4093023A1 (en) 2022-11-23
JP7400937B2 (ja) 2023-12-19

Similar Documents

Publication Publication Date Title
US10444843B2 (en) Systems and methods for converting sensory data to haptic effects
US11348255B2 (en) Techniques for object tracking
WO2016111069A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6213146B2 (ja) 情報処理装置、記録媒体、および情報処理方法
US10271775B2 (en) Determining performance indicators for periodic movements
KR20150128886A (ko) 운동 기술들에 대한 동기화된 디스플레이를 위한 시스템 및 방법과, 비일시적 컴퓨터 판독가능 매체
US20160065984A1 (en) Systems and methods for providing digital video with data identifying motion
JP6354461B2 (ja) フィードバック提供方法、システム、および解析装置
WO2021171470A1 (ja) 情報処理プログラム、装置、及び方法
US7236906B2 (en) Information processing apparatus and program
KR102226623B1 (ko) 실내 스포츠를 위한 카메라를 이용한 운동량 산출 시스템
WO2021186645A1 (ja) 情報処理プログラム、装置、及び方法
JP7074059B2 (ja) 情報処理装置及び情報処理システム
WO2022215116A1 (ja) 情報処理プログラム、装置、及び方法
JPWO2021171470A5 (ja)
JP5934865B2 (ja) 反復動作のパラメータをリアルタイムに決定するシステムおよび方法
JPWO2021186645A5 (ja)
JP2017126935A (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
KR20240013950A (ko) 인체 관절 위치 추출 기반 스피드 스케이팅 팔 스트로크 횟수 자동 측정 장치 및 방법
JP2022160233A (ja) 情報処理装置、情報処理方法およびプログラム
WO2023133556A1 (en) System and method for impact detection and analysis
JP2022077706A (ja) 位置計測システム、及び位置計測方法
JP2017121358A (ja) 運動解析装置、方法及びプログラム
JPWO2023062757A5 (ja)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20921461

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022502703

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020921461

Country of ref document: EP

Effective date: 20220817

NENP Non-entry into the national phase

Ref country code: DE