WO2024135232A1 - インパクト検出装置、インパクト検出方法およびプログラム - Google Patents

インパクト検出装置、インパクト検出方法およびプログラム Download PDF

Info

Publication number
WO2024135232A1
WO2024135232A1 PCT/JP2023/042297 JP2023042297W WO2024135232A1 WO 2024135232 A1 WO2024135232 A1 WO 2024135232A1 JP 2023042297 W JP2023042297 W JP 2023042297W WO 2024135232 A1 WO2024135232 A1 WO 2024135232A1
Authority
WO
WIPO (PCT)
Prior art keywords
swing
video data
impact
frame
reference motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/042297
Other languages
English (en)
French (fr)
Inventor
良平 田嶋
拓也 中島
和彦 山本
栄美 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to KR1020257015437A priority Critical patent/KR20250086739A/ko
Priority to CN202380082038.5A priority patent/CN120265362A/zh
Publication of WO2024135232A1 publication Critical patent/WO2024135232A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/32—Golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/808—Microphones

Definitions

  • This disclosure relates to, for example, an impact detection device, an impact detection method, and a program.
  • Patent Document 1 has the problem that it is difficult to distinguish between a swing that does not involve impact (hitting), specifically a simple practice swing or a missed swing, and a swing that actually involves impact.
  • one aspect of the present disclosure has an object to provide a technique that makes it easy to distinguish between a practice swing or a whiff swing and a swing that results in impact.
  • An impact detection device includes a first acquisition unit that acquires video data including sounds recorded when a user swings, the video data being a plurality of frames of the swing; a second acquisition unit that acquires reference motion data showing the time progression of a swing by a model, the reference motion data being given an identifier indicating the timing of impact in the swing; an identification unit that identifies a section of the video data that includes a frame corresponding to the timing of the identifier in the reference motion data; and a determination unit that determines whether or not a frame including a hitting sound is present in the section, and determines that the video data includes a swing with impact if it is determined that a frame including a hitting sound is present in the section.
  • FIG. 1 is a diagram illustrating an example of a usage state of an impact detection device according to an embodiment.
  • FIG. 2 is a diagram illustrating a hardware configuration of the impact detection device.
  • FIG. 2 is a functional block diagram of the impact detection device.
  • FIG. 2 is a diagram illustrating an example of video data.
  • FIG. 11 is a diagram illustrating an example of reference motion data.
  • 4 is a flowchart showing an operation of the impact detection device.
  • FIG. 13 is a diagram illustrating impact detection in the relationship between video data and audio data.
  • FIG. 13 is a diagram showing an example of video data showing a series of swings.
  • FIG. 13 is a diagram showing the extraction of video data.
  • FIG. 13 is a diagram showing an example of playback of video data.
  • FIG. 1 is a diagram showing an example of a usage state of the impact detection device 1 according to the embodiment.
  • the impact detection device 1 is, for example, an information processing device with a shooting function, specifically, a smartphone.
  • the impact detection device 1 shoots a swing accompanied by an impact by a user U, for example, a golf swing, and analyzes the shot video data.
  • the impact detection device 1 may be a device other than a smartphone, such as a portable terminal device or a personal computer, that has a function of analyzing video data.
  • FIG. 2 is a diagram showing the hardware configuration of the impact detection device 1. Impact detection by the impact detection device 1 is achieved through the cooperation of hardware and software.
  • the impact detection device 1 includes a processing device 10, a photographing device 11, an operation input device 12, a display device 13, a storage device 14, and a communication device 15.
  • the processing device 10 is composed of one or more arithmetic processing circuits, such as a CPU (Central Processing Unit), and controls all elements of the impact detection device 1, which is an information processing device.
  • the processing device 10 may also be composed of circuits such as a DSP (Digital Signal Processor) and an ASIC (Application Specific Integrated Circuit) in addition to a CPU.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the photographing device 11 photographs the swing of the user U and outputs video data including the photographed audio and video.
  • the operation input device 12 accepts operations by a user.
  • the operation input device 12 is, for example, a plurality of operators pressed by the user or a touch panel that detects contact by the user, and is overlaid on the image display screen of the display device 13. Note that the user who operates the operation input device 12 may be the user who made the swing, or may be another user.
  • the display device 13 is composed of, for example, a liquid crystal panel or an organic EL panel, and displays various images under the control of the processing device 10. For example, the photographed swing and an editing screen for that swing are displayed on the display device 13.
  • the storage device 14 is a single or multiple memories configured with known recording media such as magnetic recording media or semiconductor recording media, and stores the programs executed by the processing device 10, various data used by the processing device 10, and video data of the swing.
  • the storage device 14 may be configured with a combination of multiple types of recording media.
  • a portable recording medium that can be attached to and detached from the impact detection device 1, or an external recording medium (e.g., online storage) with which the impact detection device 1 can communicate via a network may be used as part of the storage device 14.
  • the communication device 15 communicates with a server etc. via a network under the control of the processing device 10.
  • FIG. 3 is a block diagram illustrating a functional configuration of the processing device 10.
  • the processing device 10 executes a program stored in the storage device 14 to function as a plurality of elements (a control unit 100, a first acquisition unit 101, a second acquisition unit 102, an analysis unit 103, an identification unit 104, and a determination unit 105) for detecting an impact frame in video data where an impact occurs.
  • the processing device 10 After detecting an impact frame in the video data, the processing device 10 also functions as an editing unit 106 for editing the video data and a playback unit 107 for playing the video data.
  • some of the functions of the processing device 10 may be implemented by another device, for example, a server connected via a network.
  • Fig. 4 is a diagram showing an example of video data.
  • the video data is an object of impact detection, and is a golf swing by a user U, captured by, for example, the impact detection device 1.
  • the video data includes a video portion made up of a plurality of frames Fr, and an audio portion synchronized with the video portion, although this is omitted in Fig. 4.
  • a swing image is recorded for each frame Fr, and in the audio portion, sounds picked up during the swing are recorded.
  • Each frame Fr of the video data is associated with a frame number as a serial number from the start frame.
  • the address, top, impact and finish of typical swing movements are shown as (A), (C), (E) and (G), respectively.
  • the moving image data is, for example, in the MPEG format, but any format is acceptable as long as it includes a video portion consisting of a series of multiple frames and an audio portion synchronized with the video portion.
  • the impact detection device 1 refers to the reference motion data to detect impact frames in the video data.
  • the reference motion data we will explain the reference motion data.
  • FIG. 5 is a diagram for explaining the reference action data.
  • the reference motion data is data showing a model/example swing.
  • the reference motion data is data showing a time transition of three-dimensional coordinates of each joint J of skeletal information when the model M swings.
  • the reference of the three-dimensional coordinates is, for example, the center of gravity coordinates of both feet of the model M, and the three-dimensional coordinates of each joint J are defined for each frame Fr by relative coordinates from the center of gravity coordinates.
  • Each frame Fr of the reference action data is associated with a frame number as a serial number from the start frame, similar to the video data.
  • Examples of the joint J include a left knee, a right knee, a left hip joint, a right hip joint, a left shoulder joint, a right shoulder joint, a left elbow, and a right elbow.
  • the joints J of a right-handed model M when swinging are shown as black circles when viewed from the front (east, if the ball is hit in the direction of north).
  • Representative parts of the swing, including the address, take-back, top, downswing, impact, follow-through, and finish, are illustrated, in that order, as (1) to (7).
  • the frame indicating the impact is tagged in advance with an identifier to distinguish it from the other frames.
  • the reference motion data indicates the three-dimensional coordinates of each joint J, it is possible to view the swing of the model M from any point by specifying a viewpoint.
  • swings differ depending on the attributes of the user U, such as the gender, dominant hand, generation (age), and golf skill (professional, semi-professional, amateur).
  • the database of reference motion data may be configured to be stored in the storage device 14 or may be configured to be stored in a server on the cloud.
  • a tree diagram showing the similarity of swings (time transition of joint coordinates) indicated by the reference motion data may be created in advance.
  • FIG. 6 is a flowchart showing the operation of the impact detection device 1. This operation is executed when, for example, a user U operates an icon corresponding to an application program that detects impact frames on the impact detection device 1.
  • control unit 100 instructs the first acquisition unit 101 to acquire video data for which impact frames are to be detected (step Sa11).
  • the instructed first acquisition unit 101 displays, for example, a list of one or more video data on the display device 13, and prompts the user U to select a video file that is to be detected for an impact frame.
  • the first acquisition unit 101 acquires the selected video file as a video file that is to be detected for an impact frame.
  • the video file may be acquired from the storage device 14 or an external device via a network.
  • the video files stored in the storage device 14 include the most recent video file captured by the imaging device 11 and video files captured in the past.
  • the control unit 100 transfers the video data acquired by the first acquisition unit 101 to the analysis unit 103.
  • the analysis unit 103 analyzes the time transition of the joint coordinates of the user swinging in the video data by using a known method.
  • the analysis unit 103 transfers information indicating the analyzed changes in the joint coordinates over time to the second acquisition unit 102 .
  • the second acquisition unit 102 searches a database to identify and acquire the reference motion data that is most similar to the time progression of the joint coordinates obtained by analyzing the video data (step Sa12).
  • the reference motion data that is most similar to the time progression of the joint coordinates obtained by analysis may be identified using, for example, Subsequence Dynamic Time Warping.
  • the control unit 100 transfers the video data acquired by the first acquisition unit 101 and the reference action data acquired by the second acquisition unit 102 to the identification unit 104.
  • the identification unit 104 determines the correlation between each frame of the video data and each frame of the reference action data, specifically, which frame of the reference action data each frame of the video data corresponds to.
  • the upper column of Figure 7 is a diagram showing the correlation between each frame of the video data and each frame of the reference action data; specifically, black dots indicate which frame of the reference action data each frame of the video data corresponds to.
  • frame (A) in the video data corresponds to the frame of address (1) in the reference motion data.
  • frame (E) in the video data corresponds to the frame of impact (5) in the reference motion data.
  • frame (G) in the video data corresponds to the frame of finish (7) in the reference motion data.
  • the identification unit 104 After determining the correlation, the identification unit 104 identifies a section S from, for example, 0.3 seconds earlier in time to, for example, 0.3 seconds later in time, based on frame (E) of the video data corresponding to impact (5) in the reference action data, as a section in the video data that is likely to include an impact frame (step Sa13). The identification unit 104 transfers information indicating the identified section S to the determination unit 105 .
  • the determination unit 105 determines whether or not there is one impact sound in the audio portion of the section S identified by the identification unit 104 in the video data (step Sa14).
  • An impact sound is a sound whose volume exceeds a threshold within an extremely short period of time (e.g., 0.01 seconds).
  • the lower section of Figure 7 shows an example waveform showing the audio portion of the section S identified by the identification unit 104, which is an example of a case in which there are two impact sounds in the section S.
  • the determination unit 105 determines that only one impact sound is present in the audio portion of section S (if the determination result in step Sa14 is "Yes"), it detects the frame in the video portion of section S in which the impact sound reaches its peak value as an impact frame (step Sa15).
  • step Sa16 determines whether there are two or more impact sounds in the audio portion of section S.
  • the determination unit 105 determines that, among the two or more impact sounds present in the section S, the impact sound having the timing closest to frame (E) of the video data is the impact that occurred during the swing by the user U. Then, the determination unit 105 identifies the frame in which the impact sound reaches its peak value as the impact frame (step Sa17).
  • the lower section of Figure 7 shows an example of a case where impact sounds occur at timings a and b in the audio portion of section S.
  • the volume of the impact sound generated at timing b is greater than the volume of the impact sound generated at timing a, there is a possibility that the impact in user U's swing will be erroneously detected as occurring at timing b.
  • step Sa18 the determination unit 105 notifies the control unit 100 that there is no impact frame in the video data, and the control unit 100 executes error processing (step Sa18).
  • the determination unit 105 when the swing by the user U is merely a practice swing, no impact sound is generated in the section S, and therefore error processing is executed in step Sa18. For this reason, in a swing that does not include an impact sound, frame (E) is not identified as an impact frame. Examples of error processing include displaying a message on the display device 13 indicating that there is no impact frame in the video data, or that the swing in the video data is a practice swing, etc.
  • This embodiment not only makes it possible to distinguish between practice swings and misses and swings that result in actual impact, but also makes it possible to accurately detect impact frames captured from users' swings, even when multiple people are swinging simultaneously.
  • the explanation is based on the assumption that the user U takes one swing, but in reality, the swing is repeated multiple times from the start of filming to the end of filming. If the video data includes multiple swings, the impact frame can be identified for each swing.
  • FIG 8 is a diagram showing the correlation between each frame of the video data and each frame of the reference motion data when the video data includes multiple swings.
  • the correlation shown in the figure is an example in which one video data includes three swings.
  • the audio portion is not shown, but if an impact sound occurs near frame (E) of each swing, the frame in which the impact sound occurs is detected as the impact frame.
  • the editing unit 106 may edit the video data to extract each swing. Specifically, when frame (E) is identified as an impact frame among the three swings in the video data, the editing unit 106 extracts the period from 2.0 seconds before frame (E) to 2.0 seconds after frame (E) as one swing, as shown in FIG. 9 .
  • three pieces of video data showing the swing are extracted.
  • the extracted video data are associated with information such as the shooting date and time.
  • 2.0 seconds before frame (E) is an example of the first time
  • 2.0 seconds after frame (E) is an example of the second time.
  • the first time and the second time may be set to any time by the user U.
  • the playback unit 107 may be configured to play two videos side by side for comparison, as shown in FIG. 10, for example.
  • the frames (E) identified as the impact frame are aligned as shown in the figure, the user U can easily grasp the difference in the swing before and after impact in the two videos.
  • the number of pieces of video data to be played back is not limited to two, but may be three or more.
  • the video data to be played back is not limited to that stored in the storage device 14, but may be video data stored in a server on the cloud. For example, by comparing one's swing with the swing of a more advanced player, it becomes easier to grasp the inferior points of one's swing. Also, by comparing a past swing with a current swing, it is possible to grasp the degree of improvement.
  • the playback unit 107 is not limited to playback at a constant speed, and may play back in slow motion, fast forward, or frame by frame.
  • the application program for identifying the impact frame is executed in response to an operation by the user U, but the application program may be executed in response to, for example, completion of filming of the swing.
  • the first acquisition unit 101 acquires video data of the filmed swing as a detection target for impact.
  • the analysis of the video data is configured to be performed by the analysis unit 103 of the impact detection device 1, but the analysis may also be performed by a device other than the impact detection device 1, for example an external device, and the second acquisition unit 102 may acquire information indicating the time progression of the joint coordinates, which is the analysis result.
  • a golf swing is given as an example of a swing, but the invention can also be applied to swings that involve impact sounds, such as tennis, baseball, and table tennis.
  • An impact detection device includes a first acquisition unit that acquires video data including sounds recorded when a user swings, the video data being a plurality of frames of the swing; a second acquisition unit that acquires reference motion data showing the time progression of a swing by a model, the reference motion data being given an identifier indicating the timing of impact in the swing; an identification unit that identifies a section of the video data that includes a frame corresponding to the timing of the identifier in the reference motion data; and a determination unit that determines whether or not a frame including a hitting sound is present in the section, and determines that the video data includes a swing with impact if it is determined that a frame including a hitting sound is present in the section.
  • a section is identified in the video data that includes a frame that corresponds to a timing in the reference motion data that is assigned an identifier indicating an impact
  • second if a frame including a hitting sound is present in that section, it is determined that the video data includes a swing with impact.
  • a frame including a hitting sound is not present in that section, it is determined that the video data does not include a swing with impact. Therefore, according to aspect 1, it is possible to distinguish between a swing that does not include impact, such as a practice swing or a whiff, and a swing that includes impact.
  • the determination unit determines the frame closest to the timing at which the identifier is assigned to be the impact frame.
  • the frame closest to the timing when the identifier was added is determined to be the impact frame. Therefore, the frame including the hitting sound by the target user can be identified with high accuracy without being affected by the hitting sounds by other users.
  • the impact detection device relating to a specific aspect 3 of aspect 1
  • a plurality of pieces of reference motion data are prepared for each model, and the second acquisition unit acquires one piece of reference motion data from the plurality of pieces of reference motion data that is similar to the swing shown in the video data.
  • the section is identified by using, from among the plurality of reference motion data, reference motion data similar to the swing shown in the video data.
  • the reference motion data is data indicating the time progression of the joint coordinates in the model
  • an analysis unit is provided that analyzes the time progression of the joint coordinates of the user in the video data
  • the second acquisition unit acquires, from the plurality of reference motion data, the reference motion data having the time progression that is most similar to the time progression of the joint coordinates of the user in the video data.
  • An impact detection device relating to a specific aspect 5 of aspect 2 has an editing unit that edits the video data, and the editing unit cuts out frames from the video data that are a first time ahead to a second time behind the impact frame identified by the identification unit. According to the fifth aspect, the editing unit cuts out from the video data a frame that is a first time before the impact frame and a frame that is a second time after the impact frame.
  • the editing unit cuts out the video data for each of the swings.
  • a series of video data including multiple swings is cut out for each swing.
  • the impact detection device which is a specific example of aspect 6, includes a playback unit that aligns and plays two or more pieces of video data extracted by the editing unit. According to aspect 7, swings can be compared by playing two or more videos.
  • the impact detection method causes a computer to execute the steps of: acquiring video data including sounds recorded when a user swings, the video data being a multiple-frame shot of the swing; acquiring reference motion data showing the time progression of a swing by a model, the reference motion data being given an identifier indicating the timing of impact in the swing; identifying a section of the video data that includes a frame corresponding to the timing of the identifier in the reference motion data; and determining whether or not a frame including a hitting sound is present in the section, and determining that the video data includes a swing with impact if it is determined that a frame including a hitting sound is present in the section.
  • the program according to a preferred aspect 9 of the present disclosure causes a computer to function as a first acquisition unit that acquires video data including sounds recorded when a user swings, the video data being a plurality of frames of the swing; a second acquisition unit that acquires reference motion data showing the time progression of a swing by a model, the reference motion data being given an identifier indicating the timing of impact in the swing; an identification unit that identifies a section of the video data that includes a frame corresponding to the timing of impact in the reference motion data that is given the identifier; and a determination unit that determines whether or not a frame including a hitting sound is present in the section, and determines that the video data includes a swing with impact if it is determined that a frame including a hitting sound is present in the section.
  • 1...impact detection device 10...processing device, 11...imaging device, 12...operation input device, 13...display device, 14...storage device, 15...communication device, 100...control unit, 101...first acquisition unit, 102...second acquisition unit, 103...analysis unit, 104...identification unit, 105...determination unit, 106...editing unit, 107...playback unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

ユーザーによるスイングの際に収録した音を含む動画データであって、当該スイングが複数フレームで撮影された動画データを取得する第１取得部１０１と、スイングの時間推移を示す基準動作データであって、スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する第２取得部１０２と、動画データのうち、基準動作データにおいて識別子が付されたタイミングに相当するフレームを含んだ区間を特定する特定部１０４と、区間に、打球音を含むフレームが存在するか否かを判定し、区間に打球音を含むフレームが存在すると判定した場合、動画データに、インパクトを伴うスイングが含まれると判定する判定部１０５と、を有する。

Description

インパクト検出装置、インパクト検出方法およびプログラム
　本開示は、例えばインパクト検出装置、インパクト検出方法およびプログラムに関する。
　従来、スポーツ等において一定のパターンを有するスイングを撮影し、撮影された動画データを解析することが行われている。これにより、当該スイングを評価したり、診断したりすることができる。このような技術の例として、例えばスイングに係る動画データの画像認識にかかる処理コストを減少させるとともに、画像認識結果を利用した動作の解析精度を向上させる技術が挙げられる（例えば特許文献１参照）。
特開２０２１－１２５０７５号公報
　しかしながら、特許文献１に記載された技術では、インパクト（打撃）を伴わないスイング、具体的には単なる素振りや空振りと、実際にインパクトを伴うスイングと、を区別することが困難である、という課題がある。
　このような事情を考慮して、本開示のひとつの態様は、素振りや空振りと、インパクトを伴うスイングとを区別することが容易な技術を提供することを目的とする。
　本開示の一態様に係るインパクト検出装置は、ユーザーによるスイングの際に収録した音を含む動画データであって、当該スイングが複数フレームで撮影された動画データを取得する第１取得部と、モデルによるスイングの時間推移を示す基準動作データであって、前記スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する第２取得部と、前記動画データのうち、前記基準動作データにおいて前記識別子が付されたタイミングに相当するフレームを含んだ区間を、特定する特定部と、前記区間に、打球音を含むフレームが存在するか否かを判定し、前記区間に打球音を含むフレームが存在すると判定した場合には、前記動画データに、インパクトを伴うスイングが含まれると判定する判定部と、を有する。
実施形態に係るインパクト検出装置の使用状況の一例を示す図である。 インパクト検出装置のハードウェアの構成を示す図である。 インパクト検出装置の機能ブロック図である。 動画データの一例を示す図である。 基準動作データの一例を示す図である。 インパクト検出装置の動作を示すフローチャートである。 動画データと音声データとの関係においてインパクト検出を示す図である。 スイングが連続する動画データの一例を示す図である。 動画データの切り出しを示す図である。 動画データの再生例を示す図である。
　以下、本開示の実施形態に係るインパクト検出装置について図面を参照して説明する。
　なお、各図において、各部の寸法および縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
　図１は、実施形態に係るインパクト検出装置１の使用状況の一例を示す図である。インパクト検出装置１は、例えば撮影機能付きの情報処理装置、具体的にはスマートフォンである。インパクト検出装置１は、ユーザーＵによるインパクトを伴うスイング、例えばゴルフにおけるスイングを撮影して、当該撮影した動画データを解析する。なお、インパクト検出装置１は、スマートフォン以外、例えば携帯型端末装置や、パーソナルコンピューターなどのように動画データを解析する機能を有する装置であってもよい。
　図２は、インパクト検出装置１におけるハードウェアの構成を示す図である。インパクト検出装置１によるインパクト検出は、ハードウェアとソフトウェアとの協働により実現される。インパクト検出装置１は、処理装置１０と撮影装置１１と操作入力装置１２と表示装置１３と記憶装置１４と通信装置１５とを含む。
　処理装置１０は、例えばＣＰＵ（Central Processing Unit）等の単数または複数の演算処理回路で構成され、情報処理装置であるインパクト検出装置１の各要素を統括的に制御する。なお、処理装置１０は、ＣＰＵのほか、ＤＳＰ（Digital Signal Processor）やＡＳＩＣ（Application Specific Integrated Circuit）等の回路によって構成されてもよい。
　撮影装置１１は、ユーザーＵのスイングを撮影し、当該撮影した音声および映像を含む動画データを出力する。
　操作入力装置１２は、ユーザーによる操作を受け付ける。操作入力装置１２は、例えばユーザーが押下する複数の操作子、またはユーザーによる接触を検知するタッチパネルであり、表示装置１３による画像表示面に重ねられる。なお、操作入力装置１２を操作するユーザーは、スイングをしたユーザー本人であってもよいし、他のユーザーであってもよい。
　表示装置１３は、例えば液晶パネルや有機ＥＬパネルで構成され、処理装置１０による制御のもとで各種の画像を表示する。例えば撮影されたスイングや、当該スイングの編集画面などが表示装置１３に表示される。
　記憶装置１４は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成された単数または複数のメモリーであり、処理装置１０が実行するプログラムと処理装置１０が使用する各種データや、スイングの動画データを記憶する。なお、複数種の記録媒体の組合せにより記憶装置１４を構成してもよい。また、インパクト検出装置１に対して着脱可能な可搬型の記録媒体、または、インパクト検出装置１がネットワークを介して通信可能な外部記録媒体（例えばオンラインストレージ）を、記憶装置１４の一部として利用してもよい。
　通信装置１５は、処理装置１０による制御のもとで、ネットワークを介してサーバー等と通信する。
　図３は、処理装置１０の機能的な構成を例示するブロック図である。処理装置１０は、記憶装置１４に記憶されたプログラムを実行することで、動画データにおいてインパクトが発生したインパクトフレームを検出するための複数の要素（制御部１００、第１取得部１０１、第２取得部１０２、解析部１０３、特定部１０４および判定部１０５）として機能する。また、処理装置１０は、動画データにおいてインパクトフレーム検出した後に、当該動画データを編集するための編集部１０６、および、動画データを再生するための再生部１０７としても機能する。
　なお、処理装置１０における機能の一部を他の装置、例えばネットワークを介して接続されたサーバーに負担させる構成としてもよい。
　図４は、動画データの一例を示す図である。図に示されるように、動画データは、インパクトの検出対象であって、ユーザーＵによるゴルフのスイングを、例えばインパクト検出装置１によって撮影したものである。当該動画データは、複数のフレームＦｒで構成される映像部分と、図４では省略されているが、映像部分に同期した音声部分と、を含む。映像部分では、スイング画像がフレームＦｒ毎に記録され、音声部分では、スイングの際に収音した音が記録される。
　なお、動画データの各フレームＦｒには、開始フレームからの通し番号としてフレーム番号が関連付けられる。
　図では、スイングの代表的な動作のうち、アドレス、トップ、インパクトおよびフィニッシュが順に（Ａ）、（Ｃ）、（Ｅ）および（Ｇ）で示される。
　また、動画データは、例えばＭＰＥＧ方式であるが、複数のフレームで連続する映像部分と、当該映像部分に同期した音声部分とを含むのであれば、方式は問わない。
　インパクト検出装置１では、動画データのインパクトフレームを検出するために、基準動作データを参照する。そこで、基準動作データについて説明する。
　図５は、基準動作データを説明するための図である。
　基準動作データは、模範／見本になるスイングを示すデータである。詳細には、基準動作データは、モデルＭがスイングした際の骨格情報の各関節Ｊにおける三次元座標の時間推移を示すデータである。三次元座標の基準は、例えばモデルＭにおける両足の重心座標であり、各関節Ｊにおける三次元座標は、当該重心座標からの相対座標によりフレームＦｒ毎に規定される。
　なお、基準動作データの各フレームＦｒには、動画データと同様に、開始フレームからの通し番号としてフレーム番号が関連付けられる。
　関節Ｊの例としては、例えば左膝、右膝、左股関節、右股関節、左肩関節、右肩関節、左肘および右肘など挙げられる。
　図では、右利きのモデルＭが正面（打球方向を北とした場合に、東）から見たスイングした際の関節Ｊが黒丸で示され、スイングのうち、代表的なアドレス、テイクバック、トップ、ダウンスイング、インパクト、フォロースルーおよびフィニッシュについて、順に（１）～（７）として例示されている。
　基準動作データで示されるスイングのフレームのうち、インパクトを示すフレームインパクトフレームには、他のフレームとは区別するために識別子が予めタグ付けされる。
　基準動作データは、各関節Ｊの三次元座標を示すので、視点を指定すれば、任意の地点から、モデルＭのスイングを眺めることが可能である。
　スイングは、一般的に言えば、ユーザーＵの性別、利き手、世代（年齢）、ゴルフの巧拙（プロ、セミプロ、アマ）などの属性によって異なる。このため、基準動作データは、これらの属性に応じて、複数の種類が用意されてデータベース化される。基準動作データのデータベースは、記憶装置１４に記憶する構成としてもよいし、クラウド上のサーバーに記憶する構成としてもよい。
　また、基準動作データのデータベースの検索性を向上させるために、基準動作データで示されるスイング（関節座標の時間推移）の類似性を示す樹形図を、予め作成してもよい。
　次に、インパクト検出装置１において、動画データからインパクトフレームを検出するための動作について説明する。
　図６は、インパクト検出装置１の動作を示すフローチャートである。この動作は、例えばユーザーＵが、インパクト検出装置１に対して、インパクトフレームを検出するアプリケーションプログラムに対応するアイコンを操作したことを契機として実行される。
　当該アプリケーションプログラムが実行されると、制御部１００は、第１取得部１０１に対し、インパクトフレームの検出対象である動画データの取得を指示する（ステップＳａ１１）。
　指示された第１取得部１０１は、例えば１または２以上の動画データの一覧を表示装置１３に表示させて、ユーザーＵにインパクトフレームの検出対象となる動画ファイルの選択を促す。ユーザーＵが動画ファイルすると、第１取得部１０１は、選択した動画ファイルを、インパクトフレームの検出する対象の動画ファイルとして取得する。
　なお、動画ファイルの取得元としては、記憶装置１４や、ネットワークを介した外部装置などが挙げられる。記憶装置１４に記憶された動画ファイルとしては、撮影装置１１で撮影された直近の動画ファイルや、過去に撮影された動画ファイルなどが含まれる。
　制御部１００は、第１取得部１０１によって取得された動画データを解析部１０３に転送する。解析部１０３は、動画データにおいて、スイングするユーザーの関節座標の時間推移を、既知の方法を用いて解析する。
　解析部１０３は、解析した関節座標の時間推移を示す情報を第２取得部１０２に転送する。
　第２取得部１０２は、動画データを解析して得られた関節座標の時間推移に最も類似する基準動作データを、データベースを検索して特定し、取得する（ステップＳａ１２）。なお、解析して得られた関節座標の時間推移に最も類似する基準動作データは、例えばSubsequence Dynamic Time Warpingを用いて特定してもよい。
　制御部１００は、第１取得部１０１によって取得された動画データおよび第２取得部１０２によって取得された基準動作データを特定部１０４に転送する。特定部１０４は、動画データの各フレームと基準動作データの各フレームとの相関性を、具体的には、動画データの各フレームが基準動作データのどのフレームに対応しているのかを求める。
　図７の上欄は、動画データの各フレームと基準動作データの各フレームとの相関性を示す図であり、具体的には、動画データの各フレームが基準動作データのどのフレームに対応しているのかを黒点で示す。
　例えば、動画データにおいてフレーム（Ａ）が、基準動作データにおいてアドレス（１）のフレームに対応していることを示す。同様に、動画データにおいてフレーム（Ｅ）が、基準動作データにおいてインパクト（５）のフレームに対応していることを示す。また、動画データにおいてフレーム（Ｇ）が、基準動作データにおいてフィニッシュ（７）のフレームに対応していることを示す。
　特定部１０４は、相関性を求めた後、基準動作データのインパクト（５）に対応する動画データのフレーム（Ｅ）を基準にして、時間的に前の例えば０．３秒から、時間的に後方の例えば０．３秒までの区間Ｓを、当該動画データにおいてインパクトフレームが含まれる可能性が高い区間であると特定する（ステップＳａ１３）。
　特定部１０４は、特定した区間Ｓを示す情報を判定部１０５に転送する。
　次に、判定部１０５は、動画データのうち、特定部１０４によって特定された区間Ｓの音声部分に、打撃音が１つであるか否かを判定する（ステップＳａ１４）。打撃音とは、極めて短時間（例えば０．０１秒）以内において音量が閾値を超える音をいう。図７の下欄は、特定部１０４によって特定された区間Ｓの音声部分を示す波形一例であって、当該区間Ｓに打撃音が２つ存在する場合の例である。
　判定部１０５は、区間Ｓの音声部分に存在する打撃音が１つのみと判定した場合（ステップＳａ１４の判定結果が「Ｙｅｓ」である場合）、区間Ｓの映像部分のうち、当該打撃音がピーク値を迎えるフレームをインパクトフレームと検出する（ステップＳａ１５）。
　区間Ｓの音声部分に存在する打撃音が１つではないと判定される場合（ステップＳａ１４の判定結果が「Ｎｏ」になる場合）、次に、判定部１０５は、当該区間Ｓの音声部分に存在する打撃音が２つ以上であるか否かを判定する（ステップＳａ１６）。
　当該区間Ｓの音声部分に存在する打撃音が２つ以上であると判定した場合（ステップＳａ１６の判定結果が「Ｙｅｓ」の場合）、判定部１０５は、区間Ｓに存在する２以上の打撃音のうち、動画データのフレーム（Ｅ）に最も近いタイミングの打撃音が、ユーザーＵによるスイングで発生したインパクトであるとする。そして、判定部１０５は、当該打撃音がピーク値を迎えるフレームをインパクトフレームと特定する（ステップＳａ１７）。
　ゴルフ練習場では、多数のユーザーが、同時並行的にゴルフを練習する。このため、短時間の間に多数の打撃音が発生し得る。図７の下欄は、区間Ｓの音声部分では、タイミングａ、ｂで打撃音が発生した場合の例である。この場合、タイミングｂで発生した打撃音の音量がタイミングａで発生した打撃音の音量よりも大きければ、ユーザーＵのスイングにおけるインパクトがタイミングｂで発生したと誤検出してしまう可能性がある。
　これに対し、本実施形態では、打撃音の音量ではなく、フレーム（Ｅ）に最も近いタイミングａの打撃音が、ユーザーＵによるスイングで発生したと判定されるので、多数のユーザーが同時に練習する場合であっても、ユーザーＵのスイングにおけるインパクトフレームを精度良く特定することができる。
　なお、区間Ｓの音声部分に存在する打撃音が１つではなく（ステップＳａ１４の判定結果が「Ｎｏ」であって）、打撃音が２つ以上でない場合（ステップＳａ１６の判定結果が「Ｎｏ」になる場合）とは、当該区間Ｓの音声部分に打撃音が存在しない場合である。このため、判定部１０５は、ステップＳａ１６の判定結果が「Ｎｏ」の場合には、動画データにはインパクトフレームが存在しないことになるので、制御部１００に通知し、当該制御部１００は、エラー処理を実行する（ステップＳａ１８）。
　本実施形態では、ユーザーＵによるスイングが単なる素振りである場合、区間Ｓに打撃音が発生しないので、ステップＳａ１８においてエラー処理が実行される。このため、打撃音を伴わないスイングにおいてフレーム（Ｅ）がインパクトフレームである、と特定されることはない。
　なお、エラー処理の例としては、動画データにはインパクトフレームが存在しない旨や、動画データのスイングは素振りです旨などのメッセージを、表示装置１３に表示させることなどが挙げられる。
　本実施形態によれば、素振りや空振りと、実際の打撃を伴うスイングとを区別することができるだけでなく、複数人が同時並行的にスイングする場合でも、ユーザーのスイングを撮影したインパクトフレームを精度良く検出することができる。
　実施形態において、ユーザーＵが１回のスイングしたことを前提として説明したが、実際には、撮影開始から撮影終了まで、スイングを複数回繰り返す。動画データに複数回のスイングが含まれている場合、スイング毎にインパクトフレームを特定すればよい。
　図８は、動画データに複数回のスイングが含まれている場合において、当該動画データの各フレームと基準動作データの各フレームとの相関性を示す図である。図に示される相関性は、１つの動画データに３回のスイングが含まれる例である。
　この例において、音声部分の図示は省略されているが、仮に、各スイングのフレーム（Ｅ）付近に打撃音が発生していれば、当該打撃音の発生しているフレームがインパクトフレームとして検出される。
　動画データに複数回のスイングが含まれる場合、各スイングにおいてインパクトフレームが特定された後に、編集部１０６は、当該動画データを編集して、各スイングを切り出す構成としてもよい。
　具体的には、当該動画データのうち、３回のスイングにおいてフレーム（Ｅ）がインパクトフレームとして特定された場合、図９に示されるように、編集部１０６が、フレーム（Ｅ）の時間的に前の２．０秒から、フレーム（Ｅ）の時間的に後の２．０秒までを、１つのスイングとして切り出す。
　なお、図の例の場合、スイングを示す動画データが３つ切り出されることになる。このように切り出された動画データには、例えば撮影日時など情報が関連付けられる。
　また、フレーム（Ｅ）の時間的に前の２．０秒が第１時間の一例であり、フレーム（Ｅ）の時間的に後の２．０秒が第２時間の一例である。第１時間および第２時間については、ユーザーＵによって任意の時間に設定可能にしてもよい。
　スイング毎に、動画データが切り出された場合に、再生部１０７は、例えば図１０に示されるように、比較のために２つ並べて再生する構成としてもよい。２つ並べて再生する構成において、図に示されるように、インパクトフレームとして特定されたフレーム（Ｅ）で揃えれば、２つの動画においてインパクト前後においてスイングの相違をユーザーＵが把握しやすくなる。
　再生する動画データについては、２つに限られず、３以上であってもよい。また、再生する動画データについて、記憶装置１４に記憶されているものに限られず、クラウド上のサーバーに記憶された動画データであってもよい。
　例えば、自己のスイングと、より上級者のスイングとを比較することによって、自己のスイングが劣っている点を把握しやすくなる。また例えば過去のスイングと現在のスイングとを比較することによって上達の度合いを把握することもできる。る、  なお、再生部１０７は、等速の再生に限られず、スロー再生してもよいし、早送り再生してもよいし、コマ送りで再生してもよい。
　なお、実施形態では、インパクトフレームを特定するアプリケーションプログラムが、ユーザーＵによる操作を契機として実行されたが、例えばスイングの撮影が終了したことを契機として実行される構成としてもよい。この構成において、第１取得部１０１は、撮影されたスイングの動画データをインパクトの検出対象として取得する。
　また、実施形態では、動画データの解析を、インパクト検出装置１の解析部１０３が行う構成としたが、インパクト検出装置１以外の装置、例えば外部装置が解析し、当該解析結果である、関節座標の時間推移を示す情報を、第２取得部１０２が取得する構成でもよい。
　また、実施形態では、スイングとして、ゴルフスイングを例示したが、他にテニス、野球、卓球など打撃音を伴うスイングにおいて適用可能である。
　以上の記載から、例えば以下のように本開示の好適な態様が把握される。
　本開示のひとつの態様（態様１）に係るインパクト検出装置は、ユーザーによるスイングの際に収録した音を含む動画データであって、当該スイングが複数フレームで撮影された動画データを取得する第１取得部と、モデルによるスイングの時間推移を示す基準動作データであって、前記スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する第２取得部と、前記動画データのうち、前記基準動作データにおいて前記識別子が付されたタイミングに相当するフレームを含んだ区間を特定する特定部と、前記区間に、打球音を含むフレームが存在するか否かを判定し、前記区間に打球音を含むフレームが存在すると判定した場合には、前記動画データに、インパクトを伴うスイングが含まれると判定する判定部と、を有する。
　態様１によれば、第１に、動画データにおいて、基準動作データにおいてインパクトである旨の識別子が付されたタイミングに相当するフレームを含む区間が特定され、第２に、当該区間に、打球音を含むフレームが存在すれば、動画データにインパクトを伴うスイングが含まれると判定される。換言すれば、当該区間に、打球音を含むフレームが存在しなれければ、動画データに、インパクトを伴うスイングが含まれないと判定される。したがって、態様１によれば、素振りや空振りのように、インパクトを伴わないスイングと、インパクトを伴うスイングとを区別することができる。
　態様１の具体的な態様２に係るインパクト検出装置では、前記区間に打球音を含むフレームが２以上存在する場合、前記判定部は、前記識別子が付されたタイミングに最も近いフレームをインパクトフレームとして判定する。
　態様２によれば、区間に打球音を含むフレームが２以上存在する場合、識別子が付されたタイミングに最も近いフレームがインパクトフレームとして判定される。このため、対象ユーザーによる打球音を伴うフレームを、他のユーザーによる打球音の影響を受けずに、精度良く特定することができる。
　態様１の具体的な態様３に係るインパクト検出装置では、前記基準動作データは、モデル毎に複数で用意され、前記第２取得部は、前記複数の基準動作データのうち、前記動画データで示されるスイングに類似する一の基準動作データを取得する。
　態様３によれば、複数の基準動作データのうち、動画データで示されるスイングに類似する基準動作データが用いられて、区間が特定される。
　態様３の具体的な態様４に係るインパクト検出装置では、前記基準動作データは、前記モデルにおける関節座標の時間推移を示すデータであり、前記動画データにおけるユーザーにおける関節座標の時間推移を解析する解析部を有し、前記第２取得部は、前記複数の基準動作データのうち、前記動画データの、ユーザーにおける関節座標の時間推移に最も類似する時間推移を有する基準動作データを取得する。
　態様２の具体的な態様５に係るインパクト検出装置では、前記動画データを編集する編集部を有し、前記編集部は、前記動画データに対し、前記特定部で特定されたインパクトフレームを基準に、第１時間だけ前方のフレームから第２時間だけ後方のフレームまでを切り出す。
　態様５によれば、動画データのうち、インパクトフレームに対し第１時間だけ前方のフレームから、インパクトフレームに対し第２時間だけ後方のフレームまでが、編集部によって切り出される。
　態様５の具体的な態様６に係るインパクト検出装置では、前記動画データに２以上のスイングが含まれている場合、前記編集部は、前記スイング毎に、当該動画データを切り出す。態様６によれば、複数のスイングを含む一連の動画データが、スイング毎に切り出される。
　態様６の具体的な態様７に係るインパクト検出装置では、前記編集部によって切り出された２以上の動画データを並べて再生する再生部を備える。態様７によれば、２以上の動画を再生することによりスイングを比較することができる。
　本開示の好適な態様８に係るインパクト検出方法は、コンピューターに、ユーザーによるスイングの際に収録した音を含む動画データであって、当該スイングが複数フレームで撮影された動画データを取得する過程と、モデルによるスイングの時間推移を示す基準動作データであって、前記スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する過程部と、前記動画データのうち、前記基準動作データにおいて前記識別子が付されたタイミングに相当するフレームを含んだ区間を特定する過程と、前記区間に、打球音を含むフレームが存在するか否かを判定し、前記区間に打球音を含むフレームが存在すると判定した場合には、前記動画データに、インパクトを伴うスイングが含まれると判定する過程と、を実行させる。
　本開示の好適な態様９に係るプログラムは、コンピューターを、ユーザーによるスイングの際に収録した音を含む動画データであって、当該スイングが複数フレームで撮影された動画データを取得する第１取得部、モデルによるスイングの時間推移を示す基準動作データであって、前記スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する第２取得部、前記動画データのうち、前記基準動作データにおいて前記識別子が付されたタイミングに相当するフレームを含んだ区間を特定する特定部、および、前記区間に、打球音を含むフレームが存在するか否かを判定し、前記区間に打球音を含むフレームが存在すると判定した場合には、前記動画データに、インパクトを伴うスイングが含まれると判定する判定部、として機能させる。
　１…インパクト検出装置、１０…処理装置、１１…撮影装置、１２…操作入力装置、１３…表示装置、１４…記憶装置、１５…通信装置、１００…制御部、１０１…第１取得部、１０２…第２取得部、１０３…解析部、１０４…特定部、１０５…判定部、１０６…編集部、１０７…再生部。

Claims (9)

  1. 　ユーザーによるスイングの際に収録した音を含む動画データであって、当該スイングが複数フレームで撮影された動画データを取得する第１取得部と、
    　モデルによるスイングの時間推移を示す基準動作データであって、前記スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する第２取得部と、
    　前記動画データのうち、前記基準動作データにおいて前記識別子が付されたタイミングに相当するフレームを含んだ区間を、特定する特定部と、
    　前記区間に、打球音を含むフレームが存在するか否かを判定し、
    　前記区間に打球音を含むフレームが存在すると判定した場合には、前記動画データに、インパクトを伴うスイングが含まれると判定する判定部と、
    　を有するインパクト検出装置。
  2. 　前記区間に打球音を含むフレームが２以上存在する場合、
    　前記判定部は、
    　前記識別子が付されたタイミングに最も近いフレームをインパクトフレームとして判定する
    　請求項１に記載のインパクト検出装置。
  3. 　前記基準動作データは、モデル毎に複数で用意され、
    　前記第２取得部は、
    　前記複数の基準動作データのうち、前記動画データで示されるスイングに類似する一の基準動作データを取得する
    　請求項１に記載のインパクト検出装置。
  4. 　前記基準動作データは、前記モデルにおける関節座標の時間推移を示すデータであり、
    　前記動画データにおけるユーザーにおける関節座標の時間推移を解析する解析部を有し、
    　前記第２取得部は、
    　前記複数の基準動作データのうち、
    　前記動画データの、ユーザーにおける関節座標の時間推移に最も類似する時間推移を有する基準動作データを取得する
    　請求項３に記載のインパクト検出装置。
  5. 　前記動画データを編集する編集部を有し、
    　前記編集部は、
    　前記動画データに対し、前記特定部で特定されたインパクトフレームを基準に、第１時間だけ前方のフレームから第２時間だけ後方のフレームまでを切り出す
    　請求項２に記載のインパクト検出装置。
  6. 　前記動画データに２以上のスイングが含まれている場合、
    　前記編集部は、
    　前記スイング毎に、当該動画データを切り出す
    　請求項５に記載のインパクト検出装置。
  7. 　前記編集部によって切り出された２以上の動画データを並べて再生する再生部を備える
    　請求項６に記載のインパクト検出装置。
  8. 　コンピューターに、
    　ユーザーによるスイングの際に収録した音を含む動画データであって、当該スイングが複数フレームで撮影された動画データを取得する過程と、
    　モデルによるスイングの時間推移を示す基準動作データであって、前記スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する過程部と、
    　前記動画データのうち、前記基準動作データにおいて前記識別子が付されたタイミングに相当するフレームを含んだ区間を、特定する過程と、
    　前記区間に、打球音を含むフレームが存在するか否かを判定し、
    　前記区間に打球音を含むフレームが存在すると判定した場合には、前記動画データに、インパクトを伴うスイングが含まれると判定する過程と、
    　を実行させるインパクト検出方法。
  9. 　コンピューターを、
    　ユーザーによるスイングの際に収録した音を含む動画データであって、当該スイングが複数フレームで撮影された動画データを取得する第１取得部、
    　モデルによるスイングの時間推移を示す基準動作データであって、前記スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する第２取得部、
    　前記動画データのうち、前記基準動作データにおいて前記識別子が付されたタイミングに相当するフレームを含んだ区間を、特定する特定部、および、
    　前記区間に、打球音を含むフレームが存在するか否かを判定し、前記区間に打球音を含むフレームが存在すると判定した場合には、前記動画データに、インパクトを伴うスイングが含まれると判定する判定部、
    　として機能させるプログラム。
PCT/JP2023/042297 2022-12-22 2023-11-27 インパクト検出装置、インパクト検出方法およびプログラム Ceased WO2024135232A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020257015437A KR20250086739A (ko) 2022-12-22 2023-11-27 임팩트 검출 장치, 임팩트 검출 방법 및 프로그램
CN202380082038.5A CN120265362A (zh) 2022-12-22 2023-11-27 击球瞬间检测装置、击球瞬间检测方法以及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-205279 2022-12-22
JP2022205279A JP2024089828A (ja) 2022-12-22 2022-12-22 インパクト検出装置、インパクト検出方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2024135232A1 true WO2024135232A1 (ja) 2024-06-27

Family

ID=91588199

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/042297 Ceased WO2024135232A1 (ja) 2022-12-22 2023-11-27 インパクト検出装置、インパクト検出方法およびプログラム

Country Status (4)

Country Link
JP (1) JP2024089828A (ja)
KR (1) KR20250086739A (ja)
CN (1) CN120265362A (ja)
WO (1) WO2024135232A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10258146A (ja) * 1997-03-17 1998-09-29 Yamaha Corp フォーム解析装置及びそれに用いる画像記録再生装置
US20060008116A1 (en) * 2002-06-06 2006-01-12 Kiraly Christopher M Flight parameter measurement system
JP2016168196A (ja) * 2015-03-13 2016-09-23 ヤマハ株式会社 スイング計測システム
JP2017169203A (ja) * 2017-04-12 2017-09-21 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2021058760A (ja) * 2021-01-19 2021-04-15 株式会社ユピテル 装置およびプログラム
KR102281124B1 (ko) * 2020-12-24 2021-07-23 주식회사 유라이크 사용자의 골프 스윙 영상 편집 방법 및 이에 사용되는 관리 서버
JP2021125075A (ja) * 2020-02-07 2021-08-30 株式会社Ｎｔｔドコモ 情報処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10258146A (ja) * 1997-03-17 1998-09-29 Yamaha Corp フォーム解析装置及びそれに用いる画像記録再生装置
US20060008116A1 (en) * 2002-06-06 2006-01-12 Kiraly Christopher M Flight parameter measurement system
JP2016168196A (ja) * 2015-03-13 2016-09-23 ヤマハ株式会社 スイング計測システム
JP2017169203A (ja) * 2017-04-12 2017-09-21 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2021125075A (ja) * 2020-02-07 2021-08-30 株式会社Ｎｔｔドコモ 情報処理装置
KR102281124B1 (ko) * 2020-12-24 2021-07-23 주식회사 유라이크 사용자의 골프 스윙 영상 편집 방법 및 이에 사용되는 관리 서버
JP2021058760A (ja) * 2021-01-19 2021-04-15 株式会社ユピテル 装置およびプログラム

Also Published As

Publication number Publication date
JP2024089828A (ja) 2024-07-04
KR20250086739A (ko) 2025-06-13
CN120265362A (zh) 2025-07-04

Similar Documents

Publication Publication Date Title
JP4905474B2 (ja) 映像処理装置、映像処理方法及びプログラム
CN101377852B (zh) 用来判断运动视频中精采片段的装置
US8848058B2 (en) Method for analyzing the motion of a person during an activity
JP2010183301A (ja) 映像処理装置、映像処理方法及びプログラム
JP2003117045A (ja) スイングフォーム診断装置
JPH11339009A (ja) 解析データ生成装置
TWI590856B (zh) 擷取方法及裝置
KR101705836B1 (ko) 깊이 정보를 이용한 골프 스윙 분석 시스템 및 방법
CN120935433A (zh) 视频剪辑方法、装置、电子设备及非易失性存储介质
CN112287771A (zh) 用于检测视频事件的方法、装置、服务器和介质
CN110310302B (zh) 显示装置、显示方法及非暂态计算机可读记录介质
US7590286B2 (en) Image recognition apparatus and program for recognizing the substance of an image, particularly in a motion picture environment
JP3929811B2 (ja) 画像合成装置及び画像合成方法
JP7295053B2 (ja) シーン抽出方法、装置およびプログラム
JP2024089828A (ja) インパクト検出装置、インパクト検出方法およびプログラム
KR102055146B1 (ko) 이벤트 기반 비전 센서를 이용한 운동 자세 점검 방법 및 운동 자세 점검 장치
KR102281124B1 (ko) 사용자의 골프 스윙 영상 편집 방법 및 이에 사용되는 관리 서버
JP2003141505A (ja) 画像合成装置およびプログラム
JP7704196B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2017131308A (ja) 指導アシストシステム、および指導アシストプログラム
KR20250145652A (ko) 동영상 재생 장치, 프로그램, 및 동영상 재생 방법
TWI559760B (zh) 擷取方法及裝置（二）
KR20020046862A (ko) 카메라를 이용한 동작비교장치 및 그 비교방법
JP2017022659A (ja) 画像再生装置及びコンピュータプログラム
JPH08219691A (ja) 標的装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23906601

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20257015437

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202380082038.5

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020257015437

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 202380082038.5

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23906601

Country of ref document: EP

Kind code of ref document: A1