WO2018008259A1 - 情報処理装置、センサ装置及び情報処理システム - Google Patents

情報処理装置、センサ装置及び情報処理システム Download PDF

Info

Publication number
WO2018008259A1
WO2018008259A1 PCT/JP2017/018302 JP2017018302W WO2018008259A1 WO 2018008259 A1 WO2018008259 A1 WO 2018008259A1 JP 2017018302 W JP2017018302 W JP 2017018302W WO 2018008259 A1 WO2018008259 A1 WO 2018008259A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
information processing
processing apparatus
reference timing
series
Prior art date
Application number
PCT/JP2017/018302
Other languages
English (en)
French (fr)
Inventor
基行 杉岡
弘和 橋本
象 村越
一浩 中込
嘉行 宮本
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP17823867.1A priority Critical patent/EP3482801A4/en
Priority to US16/306,074 priority patent/US10814202B2/en
Priority to JP2018525961A priority patent/JP7074059B2/ja
Publication of WO2018008259A1 publication Critical patent/WO2018008259A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A63B69/3608—Attachments on the body, e.g. for measuring, aligning, restraining
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/38—Training appliances or apparatus for special sports for tennis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/10—Positions
    • A63B2220/12—Absolute positions, e.g. by using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/10—Positions
    • A63B2220/13—Relative positions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/30—Speed
    • A63B2220/34—Angular speed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/40—Acceleration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/62—Time or time measurement used for time reference, time stamp, master time or clock signal
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/70—Measuring or simulating ambient conditions, e.g. weather, terrain or surface conditions
    • A63B2220/72—Temperature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G06F2218/16—Classification; Matching by matching signal segments
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports

Definitions

  • the present disclosure relates to an information processing device, a sensor device, and an information processing system.
  • Patent Document 1 describes a technique that assumes that a scene corresponding to a state of sports play by a user is extracted with higher accuracy.
  • an improvement of the user's own swing can be achieved by displaying and displaying a model swing video and the user's own swing video side by side. There is a request to know.
  • the swing speed varies greatly depending on the user, and the timing of starting and ending the swing also varies greatly depending on the user. For this reason, even if the moving images of the swing are simply arranged side by side, it is difficult to specifically compare the two, and it is substantially difficult to find the improvement point as described above by comparison.
  • an operation information acquisition unit that acquires a plurality of operation information indicating a series of operations of the same type, a reference timing extraction unit that extracts a reference timing based on the plurality of operation information, and a plurality of the operations
  • An information processing apparatus includes an image information acquisition unit that acquires a plurality of series of image information corresponding to information, and a synchronization processing unit that synchronizes the plurality of image information based on the reference timing.
  • a sensor that detects a plurality of pieces of operation information indicating a series of operations of the same type, a process of extracting a reference timing based on the plurality of pieces of operation information, and a plurality of pieces corresponding to the plurality of pieces of operation information.
  • the operation information is transmitted to the information processing apparatus to cause the information processing apparatus to perform a process of acquiring a series of image information and a process of synchronizing a plurality of the image information based on the reference timing.
  • a sensor unit is provided.
  • the operation information acquisition unit that acquires the operation information from the sensor device, and the plurality of pieces of operation information
  • a reference timing extraction unit that extracts a reference timing
  • an image information acquisition unit that acquires a plurality of series of image information corresponding to the plurality of motion information, and a plurality of the image information based on the reference timing
  • FIG. 2 is a block diagram illustrating a schematic functional configuration of a sensor device and an information processing device according to an embodiment of the present disclosure.
  • FIG. It is a schematic diagram which shows the state with which this sensor apparatus was mounted
  • the sensor device is mounted in the vicinity of the grip of the club head, it is a characteristic diagram showing a trajectory A1 of the sensor unit and a trajectory A2 of the head unit which are obtained by analysis from acceleration.
  • FIG. 9 is a schematic diagram showing a state in which both play images are synchronized with respect to FIG. 8 based on the impact time t1. It is a schematic diagram showing a state in which the playback time of the play image of the player P2 is lengthened and the playback times of both the play images are matched with respect to the play image of the player P1. It is a mimetic diagram showing the state where a golf swing was divided into a plurality of angles.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure.
  • the information processing system 10 includes a sensor device 100 and an information processing device 200.
  • the sensor device 100 is attached to a user who is playing sports or a sports equipment used by the user. In the example illustrated in FIG. 1, the user is playing tennis on the tennis court.
  • the sensor device 100 may be shaped like a bracelet as shown in the figure and directly worn on the user's body.
  • the sensor device 100 is attached to a sporting equipment (for example, tennis, racket, wear, shoes, wristband, etc., golf, golf club), the sensor device 100 is wound around a shaft portion or sewn on a cloth. It may be attached, affixed, or incorporated in the tool in advance.
  • the sensor device 100 acquires sensor information indicating the behavior of a user who plays sports.
  • the user's behavior indicated by the sensor information can be, for example, a physical motion (position, velocity, acceleration, etc.) of the user or tool.
  • the sensor device 100 includes at least one sensor.
  • the sensor detects, for example, acceleration, angular velocity, vibration, temperature, time, or position (for example, a position on the ground surface represented by latitude and longitude, or a position relative to a court).
  • the sensor device 100 accumulates sensor information acquired in this way, for example.
  • the accumulated sensor information can be transmitted to the information processing apparatus 200 when, for example, the user connects the sensor apparatus 100 and the information processing apparatus 200 after the end of play.
  • the information processing apparatus 200 includes a camera and captures a sport play image.
  • the information processing apparatus 100 is a mobile device such as a smartphone or a tablet terminal.
  • the play image may be a moving image in which a user who is playing sports is captured at least in part.
  • the information processing apparatus 200 is installed, for example, around a court where a user is playing sports and captures a play image.
  • the captured play image data is stored at least temporarily in the information processing apparatus 200.
  • the information processing apparatus 200 can receive sensor information acquired by the sensor apparatus 100 during shooting of a play image.
  • the information processing apparatus 200 Based on the sensor information received here, the information processing apparatus 200 performs a process of extracting a play image in a sport in which the user is playing for a predetermined time. The extraction of a play image by the information processing apparatus 200 will be described in detail later.
  • the information processing apparatus 200 may upload a play image in which a digest image or additional information is set, for example, to a server (not shown).
  • the play image captured by the information processing apparatus 200 may be uploaded to the server, the sensor apparatus 100 may also upload the sensor information to the server, and the server may perform various processes described below.
  • FIG. 2 is a block diagram illustrating a schematic functional configuration of a sensor device and an information processing device according to an embodiment of the present disclosure.
  • the functional configuration of each apparatus will be described with reference to FIG. A hardware configuration for realizing these functions will be described later.
  • the sensor device 100 includes a sensor 101, a preprocessing unit 103, a storage unit 105, a clock 107, a driver 109, and a communication unit 110.
  • the sensor device 100 may further include an analysis unit 111.
  • the analysis unit 111 performs the same processing as the analysis unit 204 of the information processing device 200, and sends the analysis result to the information processing device 200 via the communication unit 110.
  • image information may also be acquired on the sensor device 100 side, and the same processing as the information processing device 200 may be performed on the sensor device 100 side.
  • Sensor 101 detects, for example, acceleration, angular velocity, vibration, temperature, time, or position. More specifically, the sensor 101 may include, for example, an acceleration sensor, an angular velocity sensor (gyro sensor), a vibration sensor, a temperature sensor, a pressure sensor (including a push switch), or a GPS (Global Positioning System) receiver.
  • the sensor device 200 may be provided integrally with the information processing device 200. In addition, the sensor device 200 may acquire user operation information by motion capture or the like.
  • the pre-processing unit 103 performs pre-processing of data detected by the sensor 101.
  • the preprocessing can be, for example, amplification of detected data, filtering of data below a threshold value, or the like.
  • data may be supplied to the storage unit 105 without necessarily passing through the preprocessing unit 103.
  • the storage unit 105 temporarily stores data detected by the sensor 101 and processed by the preprocessing unit 103 as necessary, as sensor information. At this time, the sensor information is stored together with a time stamp given by the clock 107.
  • the sensor information stored in the storage unit 105 is transmitted to the information processing apparatus 200 via the communication unit 110.
  • the sensor information may be transmitted from the sensor device 100 to the information processing device 200 in real time, or may be transmitted later.
  • the clock 107 defines the time used in the sensor device 100.
  • the clock 107 defines the time based on, for example, the initially set time and the frequency of the crystal resonator.
  • the driver 109 drives an output device that expresses the time of the sensor device 100 by light or sound, for example, a lamp such as an LED (Light Emitted Diode), a display such as an LCD (Liquid Crystal Display), or a speaker.
  • a lamp such as an LED (Light Emitted Diode)
  • a display such as an LCD (Liquid Crystal Display)
  • a speaker for example, when the clock 107 reaches a predetermined time, the driver 109 drives the output device with a pattern indicating the time.
  • the driver 109 turns on a lamp with a predetermined color or a predetermined pattern, displays characters or codes indicating time on a display, or causes a speaker to ring at a predetermined oscillation frequency or a predetermined oscillation pattern.
  • the information processing apparatus 200 includes an imaging unit 201, a storage unit 203, a clock 205, an analysis unit 207, a communication unit 211, an image information acquisition unit 212, a section extraction unit 213, a synchronization processing unit 214, a time
  • the adaptation unit 216, the display processing unit 218, and the display unit 220 are configured.
  • the analysis unit 207 includes an operation information acquisition unit 208, a reference timing extraction unit 209, and a trajectory analysis unit 210.
  • these components can be comprised from hardware (circuit) or central processing units, such as CPU, and the program for functioning this.
  • the imaging unit 201 includes an imaging element and a lens for capturing an image, a drive circuit thereof, and the like.
  • the image sensor is composed of a CMOS sensor, a CCD sensor, or the like.
  • the imaging unit 201 captures an image of a user who is playing sports while wearing the sensor device 100 or a tool on which the sensor device 100 is mounted. This image is the above-described play image. Therefore, the play image may include the sensor device 100 worn directly or indirectly by the user together with the user who is the subject.
  • the storage unit 203 temporarily or continuously stores play image data captured by the imaging unit 201. At this time, the play image data is stored together with a time stamp given by the clock 205.
  • the play image data can be provided to the analysis unit 207 when sensor information is received from the sensor device 100 via the communication unit 211. Also, a play image reflecting the analysis result in the analysis unit 207 and a play image in which additional information such as a chapter image is set may be stored in the storage unit 203 again.
  • the clock 205 defines the time used in the information processing apparatus 200.
  • the clock 205 defines the time based on, for example, the initially set time and the frequency of the crystal resonator.
  • the analysis unit 207 analyzes sensor information received from the sensor device 100 via the communication unit 211.
  • the motion information acquisition unit 208 acquires information such as acceleration and angular acceleration from the sensor device 100 as a plurality of motion information indicating a series of motions of the same type performed by a plurality of users.
  • the reference timing extraction unit 209 extracts the reference timing based on operation information such as acceleration and angular acceleration.
  • the trajectory analysis unit 210 analyzes the trajectory of the sensor device 200, the trajectory of the head unit, and the like based on operation information such as acceleration and angular acceleration.
  • the image information acquisition unit 212 acquires a plurality of series of image information corresponding to the operation information from the imaging unit 201.
  • the image information may be moving image information or a series of image information including a plurality of still images.
  • the section extraction unit 213 performs a process of extracting a predetermined temporal region from the play image by associating the reference timing with the play image.
  • the synchronization processing unit 214 performs processing for synchronizing image information corresponding to a series of operations of the same type performed by a plurality of users based on the reference timing.
  • the time adapting unit 216 performs processing for adapting the time between reference timings in image information corresponding to a series of operations of the same type performed by a plurality of users.
  • the display processing unit 218 performs processing for displaying a plurality of pieces of image information.
  • the display unit 220 includes a liquid crystal display (LCD) or the like, and displays a plurality of pieces of image information in accordance with the processing of the display processing unit 218.
  • LCD liquid crystal display
  • the information processing apparatus 200 acquires operation information corresponding to the play image from the plurality of sensor apparatuses 100.
  • the information processing apparatus 200 acquires play image data from the two sensor apparatuses 100 will be described as an example.
  • the sensor device 100 is attached to the shaft 320 immediately below the grip 310 of the golf club 300.
  • the trajectory of the head unit can be obtained from the geometric relationship between the position of the sensor device 100 and the position of the head unit based on the trajectory of the sensor device 100.
  • the information processing apparatus 200 performs a process of extracting only necessary portions from the play image data. For example, taking golf as an example, useful data for play images are (1) Backswing from address to top, (2) Downswing from top to impact, (3) From impact to finish There are three temporal areas of the follow swing.
  • the analysis unit 207 of the information processing device 200 performs processing for extracting these three temporal regions based on the detection value of the sensor 101.
  • the analysis unit 207 analyzes the address time, impact time, top time, and finish time based on the detection value of the sensor 101 of the sensor device 100. Specifically, the reference timing extraction unit 209 extracts these times as reference timings. Then, the section extracting unit 213 performs processing for extracting the above three temporal regions (sections) by associating these times with the play image. By acquiring play image data from a plurality of sensor devices 100 and performing the same processing, it is possible to display a swing in a state in which each temporal region is adapted to a plurality of players.
  • the sensor device 100 or the information processing device 200 can cut out a play image of a predetermined time before and after the impact time as a reference in advance. Thereby, while reducing the processing load of the sensor apparatus 100 and the information processing apparatus 200, the usage-amount of memory can be reduced.
  • FIG. 4 is a flowchart illustrating processing performed by the information processing apparatus 200.
  • the motion information acquisition unit 208 acquires data detected by the sensor 101 of the sensor device 100.
  • the movement of the golf club is analyzed based on the detection value acquired in step S10.
  • FIG. 5 is a graph showing an example of the measurement result of the acceleration sensor.
  • a user's movement during play may be accompanied by an impact.
  • the sensor device 100 is attached to the shaft 320 of the golf club 300 and an operation of hitting the ball with the golf club 300 is performed, an impact is generated when the ball hits the golf club 300.
  • the impact appears as a sharp change in acceleration compared to the midway of the swing.
  • the measurement value of the acceleration sensor 200 changes sharply in a short time in the vicinity of time t1 in FIG. 5, so it is considered that an impact has occurred in the vicinity of time t1. Therefore, the analysis unit 207 can determine the time t1 as the impact timing based on the result of analyzing the acceleration.
  • FIG. 6 is a characteristic diagram showing the angle (rotational position) of the sensor device 200 obtained from the angular acceleration. Specifically, the acceleration is integrated to calculate the velocity, and the velocity is further integrated to determine the displacement of the head portion. Similarly, the angle of the head portion can be obtained by integrating the angular acceleration.
  • FIG. 7 is a characteristic diagram showing the trajectory A1 of the sensor device 100 and the trajectory A2 of the head unit analyzed based on acceleration and angular acceleration when the sensor device 100 is mounted in the vicinity of the grip of the club head. The trajectory A2 of the head unit can be obtained from the geometric relationship between the position of the sensor device 100 and the position of the head unit based on the trajectory A1 of the sensor device 100.
  • the analysis unit 207 can obtain time information corresponding to arbitrary points on the trajectories A1 and A2.
  • the reference timing extraction unit 209 of the analysis unit 207 extracts the above-described impact time t1 as the reference timing. Accordingly, the impact positions B1 and B2 corresponding to the above-described impact time t1 can be obtained.
  • the position B1 is the position of the sensor 101 at the time of impact
  • the position B2 is the position of the head portion at the time of impact.
  • the analysis unit 207 can acquire the inflection points C1 and C2 in the trajectories A1 and A2 based on the detected values of acceleration and angular acceleration.
  • the inflection point C1 corresponds to the position of the sensor 101 at the top position of the golf swing.
  • the inflection point C2 corresponds to the position of the head portion at the top position.
  • the change amount of the angle is 0, and it can be seen that the rotation of the sensor device 200 is temporarily stopped.
  • time t2 and time t3 correspond to the address and top positions, respectively.
  • the reference timing extraction unit 209 of the analysis unit 207 extracts the time corresponding to each address and top position as the reference timing.
  • the positions D1 and D2 of the address and the positions C1 and C2 of the top can be determined in the trajectories A1 and A2.
  • the position D1 corresponds to the position of the sensor 101 at the address position
  • the position D2 corresponds to the position of the head portion at the address position.
  • the section extraction unit 213 calculates the address from the address A1 of the sensor 101 based on the time information corresponding to an arbitrary point on the locus A1, the address position D1, the top position C1, and the impact position B1. It is possible to extract the backswing section (broken line) up to and the downswing section (solid line) from the top to the impact. Similarly, based on the time information corresponding to an arbitrary point on the locus A2, the address position D2, the top position C2, and the impact position B2, the back swing from the address A2 to the top from the locus A2 of the head portion. A section (broken line) and a downswing section (solid line) from the top to the impact can be extracted.
  • the analysis unit 207 can acquire the finish positions E1 and E2 in the trajectories A1 and A2 based on the detected values of acceleration and angular acceleration.
  • the change amount of the angle is 0 at time t4, and the rotation of the sensor device 200 is temporarily stopped.
  • the finish positions E1 and E2 are times later than the impact positions B1 and B2, and can be positions where the sensor 101 and the head portion are stationary for a certain period of time.
  • the reference timing extraction unit 209 of the analysis unit 207 extracts the time corresponding to the finish position as the reference timing.
  • the position E1 corresponds to the position of the sensor 101 at the finish position
  • the position E2 corresponds to the position of the head portion at the finish position.
  • the section extraction unit 213 determines the impact from each of the trajectories A1 and A2 based on the time information corresponding to an arbitrary point on the trajectories A1 and A2, the impact positions B1 and B2, and the finish positions E1 and E2.
  • the section of the follow swing from the start to the finish can be extracted.
  • step S12 of FIG. 4 the motion of the golf club is analyzed based on the detection value of the sensor 101.
  • FIG. 8 shows an example in which the temporal area from the address to the finish is extracted from the play images of the swings of the two players P1 and P2 based on the result of step S12.
  • the movements of the players P1 and P2 are shown on the same time axis.
  • the back swing section is indicated by a broken line
  • the down swing section is indicated by a solid line
  • the follow swing section is indicated by a one-dot chain line.
  • the top position is indicated by “C”
  • the address position is indicated by “D”
  • the impact position is indicated by “B”
  • the finish position is indicated by “E”.
  • the time required for the backswing, downswing, and follow swing is different for each player.
  • the time required for the player P1 from the address to the finish is longer than the player P2. For this reason, if both swings from the address to the finish are arranged side by side and the video is played back, the video of the player P2 ends first, and then the video of the player P1 ends. It becomes difficult to do.
  • the synchronization processing unit 214 performs a process of synchronizing the swings of the players P1 and P2 at the reference point during the swing of the players P1 and P2.
  • the impact time t1 of the player P1 is used.
  • FIG. 9 shows a state in which both play images are synchronized with FIG. 8 with reference to the impact time t1 of the player P1.
  • the reproducing of the moving image of the player P1 starts first, and the moving image of the player P2 is reproduced later. Therefore, the visibility at the time of simultaneous playback is significantly improved as compared with FIG. Thereby, the user can compare the swings of the players P1 and P2 with reference to the moment of impact.
  • the time adapting unit 216 adapts the section from the address to the top, the time from the top to the impact, and the playback time of the play images of both players from the impact to the finish.
  • FIG. 10 shows a state in which the playback time of the play image of the player P2 is lengthened and the playback times of both the play images are matched with respect to the play image of the player P1.
  • synchronization is realized by setting a plurality of synchronization points based on the analysis result of the sensor 101 and dynamically changing the reproduction speed.
  • FIG. 11 shows a state where the golf swing is divided into a plurality of angles.
  • the playback speed is dynamically changed for each divided angle.
  • the address position is “6” and the top position is “11”
  • the angle from the address to the top is equally divided into five and synchronized for each divided angle. I do.
  • the correlation between the arbitrary positions on the trajectories A1 and A2 and the time is obtained by the processing in step S12, for example, in the back image from the address to the top in the play image of the player P1, the address Assuming that the time to reach the position “7” advanced by the angle of one division from the position “6” is “T”, the position of the address “6” from the position “6” in the play image of the player P2 is also assumed. The playback speed is changed so that the time to reach is T. Similarly, the playback time of the play image of the player P2 is also adapted to match the playback time of the play image of the player P1 with respect to the time to reach the position “8” from the position “7”.
  • the playback times of the play images of the player 1 and the player 2 match, it is possible to reliably recognize the difference in swing by playing the play images of both players side by side on the information processing apparatus 200 side. . Therefore, for example, by reproducing a video of a professional golfer as a play image of the player 1 and reproducing a recorded video of the user as a play image of the player 2, the improvement point of the user's own swing with respect to the swing of the professional golfer can be seen from the video. It is also possible to judge. Further, for example, by simultaneously reproducing the user's previous swing and the current swing, it is also possible to check the degree of progress.
  • the playback time of the player 2 is adapted based on the playback time of the player 1, but the playback time of the player 1 may be adapted based on the playback time of the player 2.
  • the playback time is adapted by synchronizing the moving images of the two players.
  • the reproducing time may be adapted by synchronizing the moving images of three or more players.
  • FIGS. 12 to 14 are schematic views showing examples in which golf swings photographed by the information processing apparatus 200 are superimposed with still images for every predetermined time.
  • FIG. 12 shows a back swing
  • FIG. 13 shows a down swing
  • FIG. 14 shows a follow swing.
  • the time information of the address position, the top position, the impact position, and the finish position can be obtained.
  • each swing can be displayed in a different color so that a backswing, a downswing, and a follow swing can be distinguished.
  • the display processing unit 218 performs processing for displaying a plurality of continuous still images, and is determined by time information (reference timing) of each of the address position, top position, impact position, and finish position.
  • the still image is displayed so that the display state of the still image is different for each temporal area.
  • FIGS. 12 to 14 can determine what kind of swing the back swing, the down swing, and the follow swing are just by looking at the screen.
  • by displaying the backswing, downswing, and follow swing in a superimposed manner for example, it is possible to visually recognize the difference between the locus of the backswing and the downswing.
  • the reproduction is completed in a short time, and there is a possibility that there is a portion that cannot be recognized by the eyes.
  • FIG. 12 to FIG. 14 it is possible to reliably recognize fine movements by superimposing still images every predetermined time.
  • an operation information acquisition unit that acquires a plurality of operation information indicating a series of operations of the same type;
  • a reference timing extraction unit that extracts a reference timing based on a plurality of the operation information;
  • An image information acquisition unit that acquires a plurality of series of image information corresponding to a plurality of the operation information;
  • a synchronization processing unit that synchronizes a plurality of the image information based on the reference timing;
  • An information processing apparatus comprising: (2) The reference timing extraction unit extracts a plurality of the reference timings corresponding to the feature of the operation from each of the plurality of the operation information,
  • the information processing apparatus according to (1) further including a time adapting unit that adapts a time between the reference timings in the plurality of image information.
  • the information processing apparatus is acceleration or angular acceleration related to the motion.
  • the information processing apparatus according to any one of (1) to (3), further including a sensor that detects the operation information.
  • the reference timing is a timing at which a change is added to the series of operations.
  • the reference timing is a timing at which an impact due to impact occurs in the series of operations.
  • the information processing apparatus is a timing at which the operation stops in the series of operations.
  • the information processing apparatus according to any one of (1) to (8), further including a display processing unit that performs processing for displaying a plurality of the image information.
  • the information processing apparatus performs processing for displaying a plurality of continuous still images based on the image information.
  • the display processing unit displays the still image so that a display state of the still image is different for each temporal region determined by the reference timing.
  • the plurality of pieces of operation information correspond to a series of the same types of operations performed by a plurality of users.
  • the information processing apparatus according to any one of (1) to (11), wherein the plurality of pieces of operation information correspond to a series of the same types of operations performed by a single user.
  • a sensor that detects a plurality of pieces of operation information indicating a series of operations of the same type;
  • a sensor device for transmitting the operation information to the information processing device in order to cause the information processing device to perform a process of synchronizing;
  • a sensor device that detects a plurality of pieces of operation information indicating a series of operations of the same type;
  • a motion information acquisition unit that acquires the motion information from the sensor device, a reference timing extraction unit that extracts a reference timing based on the plurality of motion information, and a plurality of series of image information corresponding to the plurality of motion information
  • An information processing apparatus comprising: an image information acquisition unit that acquires the image information; and a synchronization processing unit that synchronizes a plurality of the image information based on the reference timing;
  • An information processing system comprising: (16) The reference timing extraction unit extracts a plurality of the reference timings corresponding to the feature of the operation from each of the plurality of the operation information,
  • the information processing apparatus includes a time adapting unit that adapts a time between the reference timings in the plurality of pieces of image information.

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

【課題】複数の一連の画像を並べて表示した場合に、両画像を比較し易くする。 【解決手段】本開示に係る情報処理装置は、複数のユーザが行う同種の一連の動作を示す複数の動作情報を取得する動作情報取得部と、複数の前記動作情報に基づいて、基準タイミングを抽出する基準タイミング抽出部と、複数の前記動作情報に対応する複数の一連の画像情報を取得する画像情報取得部と、前記基準タイミングに基づいて、複数の前記画像情報を同期させる同期処理部と、を備える。

Description

情報処理装置、センサ装置及び情報処理システム
　本開示は、情報処理装置、センサ装置及び情報処理システムに関する。
　従来、例えば下記の特許文献１には、ユーザによるスポーツのプレーの状態に対応するシーンをより高い精度で抽出することを想定した技術が記載されている。
特開２０１４－１８７４８１号公報
　例えば野球、テニス、ゴルフなど、一連の動作によりスイングが行われるスポーツでは、模範となるスイングの動画と、撮影したユーザ自身のスイングの動画を並べて再生表示することで、ユーザ自身のスイングの改善点を把握したいといった要請がある。
　しかしながら、スイングの速度はユーザによって大きく相違し、スイングの開始、終了のタイミングもユーザによって大きく相違する。このため、単にスイングの動画を並べて再生しても、両者を具体的に比較することは難しく、比較により上述したような改善点を見出すことは実質的に困難である。
　そこで、複数の一連の画像を並べて表示した場合に、両画像を比較し易くすることが望まれていた。
　本開示によれば、同種の一連の動作を示す複数の動作情報を取得する動作情報取得部と、複数の前記動作情報に基づいて、基準タイミングを抽出する基準タイミング抽出部と、複数の前記動作情報に対応する複数の一連の画像情報を取得する画像情報取得部と、前記基準タイミングに基づいて、複数の前記画像情報を同期させる同期処理部と、を備える、情報処理装置が提供される。
　また、本開示によれば、同種の一連の動作を示す複数の動作情報を検出するセンサと、複数の前記動作情報に基づいて、基準タイミングを抽出する処理、複数の前記動作情報に対応する複数の一連の画像情報を取得する処理、及び、前記基準タイミングに基づいて、複数の前記画像情報を同期させる処理、を情報処理装置に行わせるために、前記動作情報を前記情報処理装置へ送信する送信部と、を備える、センサ装置が提供される。
　また、本開示によれば、同種の一連の動作を示す複数の動作情報を検出するセンサ装置と、前記センサ装置から前記動作情報を取得する動作情報取得部と、複数の前記動作情報に基づいて、基準タイミングを抽出する基準タイミング抽出部と、複数の前記動作情報に対応する複数の一連の画像情報を取得する画像情報取得部と、前記基準タイミングに基づいて、複数の前記画像情報を同期させる同期処理部と、を有する、情報処理装置と、を備える、情報処理システムが提供される。
　以上説明したように本開示によれば、複数の一連の画像を並べて表示した場合に、両画像を比較し易くすることが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの概要を示す図である。 本開示の一実施形態に係るセンサ装置および情報処理装置の概略的な機能構成を示すブロック図である。 本センサ装置が、ゴルフクラブのグリップの直下においてシャフトに装着された状態を示す模式図である。 解析部が行う処理を示すフローチャートである。 加速度センサの測定結果の一例を示すグラフである。 センサ装置をクラブヘッドのグリップの近傍に装着した場合に、加速度から解析した求めたセンサ部の軌跡Ａ１とヘッド部の軌跡Ａ２を示す特性図である。 角加速度から求めたセンサ装置の角度を示す特性図である。 図４のステップＳ１２の結果に基づいて、アドレスからフィニッシュまでの区間を２人のプレーヤＰ１，Ｐ２のスイングのプレー画像から抽出した例を示している。 図８に対し、インパクトの時刻ｔ１を基準に両プレー画像を同期させた状態を示す模式図である。 プレーヤＰ１のプレー画像を基準にして、プレーヤＰ２のプレー画像の再生時間を長くし、両プレー画像の再生時間を一致させた状態を示す模式図である。 ゴルフスイングを複数の角度に分割した状態を示す模式図である。 情報処理装置で撮影したゴルフスイングを、所定時間毎の静止画像を重畳して示した例を示す模式図である。 情報処理装置で撮影したゴルフスイングを、所定時間毎の静止画像を重畳して示した例を示す模式図である。 情報処理装置で撮影したゴルフスイングを、所定時間毎の静止画像を重畳して示した例を示す模式図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．システムの構成例
　２．装置構成
　３．情報処理装置が行う処理
　４．動認識と画像処理を組み合わせた例
　［１．システムの構成例］
　まず、図１を参照して、本開示の第１の実施形態に係る情報処理システムの構成について説明する。図１は、本開示の一実施形態に係る情報処理システムの概要を示す図である。図１を参照すると、情報処理システム１０は、センサ装置１００と、情報処理装置２００とを含む。
　センサ装置１００は、スポーツをプレーしているユーザ、またはユーザが使用するスポーツ用具に装着される。図１に示す例では、ユーザがテニスコートでテニスをしている様子を示している。センサ装置１００をユーザに装着する場合、例えば、図示しているようにセンサ装置１００を腕輪状の形状にして、ユーザの体に直接装着してもよい。また、センサ装置１００をスポーツ用具（例えばテニスの場合、ラケット、ウェア、シューズ、リストバンドなど、ゴルフの場合、ゴルフクラブ）に装着する場合、センサ装置１００をシャフト部分などに巻きつけたり、布地に縫い付けたり、貼り付けたり、また予め用具に内蔵したりしてもよい。
　ここで、センサ装置１００は、スポーツをプレーするユーザの挙動を示すセンサ情報を取得する。センサ情報によって示されるユーザの挙動は、例えば、ユーザや用具の物理的な運動（位置、速度、加速度など）でありうる。かかるセンサ情報を取得するために、例えば、センサ装置１００は、少なくとも１つのセンサを有する。センサは、例えば加速度、角速度、振動、温度、時刻、または位置（例えば緯度経度によって表される地表上の位置、またはコートなどに対する相対的な位置）などを検出する。センサ装置１００は、例えばこのようにして取得されたセンサ情報を蓄積する。蓄積されたセンサ情報は、例えばプレー終了後にユーザがセンサ装置１００と情報処理装置２００とを接続したときに、情報処理装置２００に送信されうる。
　情報処理装置２００は、カメラを備え、スポーツのプレー画像を撮像する。情報処理装置１００は、例えばスマートフォン、タブレット端末等のモバイル機器である。プレー画像は、少なくともその一部にスポーツをプレーしているユーザが写っている動画像でありうる。情報処理装置２００は、例えばユーザがスポーツをプレーしているコートなどの周りに設置されて、プレー画像を撮像する。撮像されたプレー画像のデータは、情報処理装置２００に少なくとも一時的に蓄積される。情報処理装置２００は、プレー画像の撮影中にセンサ装置１００が取得したセンサ情報を受信しうる。
　ここで受信されたセンサ情報に基づいて、情報処理装置２００は、ユーザがプレーしているスポーツにおけるプレー画像を所定時間だけ抽出する処理を行う。情報処理装置２００によるプレー画像の抽出については、後で詳細に説明する。
　なお、情報処理装置２００は、例えばダイジェスト画像や付加情報が設定されたプレー画像を、図示しないサーバにアップロードしてもよい。あるいは、情報処理装置２００が撮像したプレー画像をサーバにアップロードし、センサ装置１００もセンサ情報をサーバにアップロードし、サーバにおいて以下で説明する各種処理を行っても良い。
　［２．装置構成］
　次に、図２を参照して、本開示の一実施形態に係る情報処理システムに含まれる装置の機能構成について説明する。図２は、本開示の一実施形態に係るセンサ装置および情報処理装置の概略的な機能構成を示すブロック図である。以下、図２を参照して、それぞれの装置の機能構成について説明する。なお、これらの機能を実現するためのハードウェア構成については後述する。
　　(センサ装置)
　センサ装置１００は、センサ１０１と、前処理部１０３と、記憶部１０５と、時計１０７と、ドライバ１０９と、通信部１１０、とを含む。センサ装置１００は、解析部１１１をさらに含んでもよい。センサ装置１００が解析部１１１を含む場合、解析部１１１は、情報処理装置２００の解析部２０４と同様の処理を行い、解析結果を通信部１１０を介して情報処理装置２００へ送る。また、センサ装置１００が解析部１１１を含む場合、センサ装置１００側で画像情報をも取得し、センサ装置１００側で情報処理装置２００と同じ処理を行っても良い。
　センサ１０１は、例えば加速度、角速度、振動、温度、時刻、または位置などを検出する。より具体的には、センサ１０１は、例えば加速度センサ、角速度センサ（ジャイロセンサ）、振動センサ、温度センサ、圧力センサ（押下スイッチを含む）、またはＧＰＳ（Global　Positioning　System）受信機などを含みうる。なお、センサ装置２００は、情報処理装置２００と一体に設けられていても良い。また、センサ装置２００は、モーションキャプチャー等によりユーザの動作情報を取得しても良い。
　前処理部１０３は、センサ１０１によって検出されたデータの前処理を実行する。前処理は、例えば、検出されたデータの増幅や、閾値以下のデータのフィルタリングなどでありうる。なお、センサ１０１の種類によっては、データが必ずしも前処理部１０３を経由せずに記憶部１０５に供給される場合もある。
　記憶部１０５は、センサ１０１によって検出され、必要に応じて前処理部１０３で処理されたデータを、センサ情報として一時的に格納する。このとき、センサ情報は、時計１０７によって与えられるタイムスタンプとともに格納される。
　ここで、記憶部１０５に格納されたセンサ情報は、通信部１１０を介して情報処理装置２００に送信される。センサ情報は、生成されたときにリアルタイムでセンサ装置１００から情報処理装置２００に送信されても良いし、事後的に送信されても良い。
　時計１０７は、センサ装置１００において使用される時刻を規定する。時計１０７は、例えば、初期設定された時刻と、水晶振動子の振動数とに基づいて時刻を規定する。
　ドライバ１０９は、光または音などによってセンサ装置１００の時刻を表現する出力装置、例えばＬＥＤ（Light　Emitted　Diode）などのランプ、ＬＣＤ（Liquid　Crystal　Display）などのディスプレイ、またはスピーカなどを駆動する。ドライバ１０９は、例えば時計１０７が所定の時刻に到達した場合に、その時刻を示すパターンで出力装置を駆動する。ドライバ１０９は、例えば、ランプを所定の色または所定のパターンで点灯させたり、ディスプレイに時刻を示す文字またはコードを表示させたり、スピーカを所定の発振周波数または所定の発振パターンで鳴動させる。
　　（情報処理装置）
　情報処理装置２００は、撮像部２０１と、記憶部２０３と、時計２０５と、解析部２０７と、通信部２１１と、画像情報取得部２１２と、区間抽出部２１３と、同期処理部２１４と、時間適合部２１６と、表示処理部２１８と、表示部２２０と、を有して構成されている。解析部２０７は、動作情報取得部２０８と、基準タイミング抽出部２０９と、軌跡解析部２１０を含む。なお、これらの構成要素は、ハードウェア（回路）、またはＣＰＵなどの中央演算処理装置と、これを機能させるためのプログラムから構成されることができる。
　撮像部２０１は、画像を撮像するための撮像素子やレンズ、およびそれらの駆動回路などを含む。撮像素子は、ＣＭＯＳセンサ、ＣＣＤセンサ等から構成される。撮像部２０１は、センサ装置１００またはセンサ装置１００が装着された用具を装着してスポーツをプレーしているユーザの画像を撮像する。この画像が、上述したプレー画像である。従って、プレー画像には、被写体であるユーザとともに、ユーザが直接的または間接的に装着しているセンサ装置１００が映っていても良い。
　記憶部２０３は、撮像部２０１が撮像したプレー画像のデータを一時的または持続的に格納する。このとき、プレー画像のデータは、時計２０５によって与えられるタイムスタンプとともに格納される。プレー画像のデータは、通信部２１１を介してセンサ装置１００からセンサ情報が受信されたときに、解析部２０７に提供されうる。また、解析部２０７における解析の結果を反映したプレー画像や、チャプタ画像などの付加情報が設定されたプレー画像が、再び記憶部２０３に格納されてもよい。
　時計２０５は、情報処理装置２００において使用される時刻を規定する。時計２０５は、例えば、初期設定された時刻と、水晶振動子の振動数とに基づいて時刻を規定する。
　解析部２０７は、通信部２１１を介してセンサ装置１００から受信されたセンサ情報を解析する。動作情報取得部２０８は、センサ装置１００から、複数のユーザが行う同種の一連の動作を示す複数の動作情報として、加速度、角加速度などの情報を取得する。基準タイミング抽出部２０９は、加速度、角加速度などの動作情報に基づいて、基準タイミングを抽出する。軌跡解析部２１０は、加速度、角加速度などの動作情報に基づいて、センサ装置２００の軌跡、ヘッド部の軌跡等を解析する。
　画像情報取得部２１２は、撮像部２０１から、動作情報に対応する複数の一連の画像情報を取得する。一例として、この画像情報は動画情報であっても良いし、複数の静止画からなる一連の画像情報であっても良い。区間抽出部２１３は、基準タイミングをプレー画像に対応させることで、プレー画像から所定の時間的領域を抜き出す処理を行う。同期処理部２１４は、基準タイミングに基づいて、複数のユーザが行う同種の一連の動作に対応する画像情報を同期させる処理を行う。時間適合部２１６は、複数のユーザが行う同種の一連の動作に対応する画像情報において、基準タイミング間の時間を適合させる処理を行う。表示処理部２１８は、複数の画像情報を表示するための処理を行う。
　表示部２２０は、液晶表示ディスプレイ（ＬＣＤ）等から構成され、表示処理部２１８の処理に従い、複数の画像情報を表示させる。
　情報処理装置２００は、複数のセンサ装置１００からプレー画像に対応する動作情報を取得する。以下では、情報処理装置２００が２つのセンサ装置１００からプレー画像のデータを取得する場合を例に挙げて説明する。
　以下では、ユーザがゴルフのスイングを行う場合を例に挙げて説明する。図３に示すように、一例として、センサ装置１００はゴルフクラブ３００のグリップ３１０の直下において、シャフト３２０に装着される。この場合、ヘッド部（クラブヘッド）の軌跡は、センサ装置１００の軌跡に基づいて、センサ装置１００の位置とヘッド部の位置の幾何学的関係により求めることができる。
　本実施形態では、２人のユーザのスイングを比較するため、２つのセンサ装置１００が２人のユーザにそれぞれ装着される。情報処理装置２００は、プレー画像のデータから、必要な部分だけ抽出する処理を行う。例えば、ゴルフの場合を例に挙げると、プレー画像のデータとして有用なものは、（１）アドレスからトップへのバックスイング、（２）トップからインパクトまでのダウンスイング、（３）インパクトからフィニッシュまでのフォロースイングの３つの時間的領域となる。情報処理装置２００の解析部２０７は、センサ１０１の検出値に基づいて、この３つの時間的領域を抜き出す処理を行う。
　このため、解析部２０７は、センサ装置１００のセンサ１０１の検出値に基づいて、アドレスの時刻、インパクトの時刻、トップの時刻、フィニッシュの時刻を解析する。具体的に、基準タイミング抽出部２０９が、これらの時刻を基準タイミングとして抽出する。そして、区間抽出部２１３は、これらの時刻をプレー画像に対応させることで、上記の３つの時間的領域（区間）を抜き出す処理を行う。複数のセンサ装置１００からプレー画像のデータを取得し、同様の処理を行うことで、複数のプレイヤーについて、各時間的領域を適合させた状態でスイングを表示することが可能となる。
　なお、上記の３つの時間的領域を抽出する処理を行う前に、センサ装置１００または情報処理装置２００において、インパクトの時刻を基準として前後の所定時間のプレー画像を予め切り出しておくことができる。これにより、センサ装置１００、情報処理装置２００の処理負荷を低減するとともに、メモリの使用量を削減することができる。
　［３．情報処理装置が行う処理］
　図４は、情報処理装置２００が行う処理を示すフローチャートである。先ず、ステップＳ１０では、動作情報取得部２０８が、センサ装置１００のセンサ１０１が検出したデータを取得する。次のステップＳ１２では、ステップＳ１０で取得した検出値に基づいて、ゴルフクラブの動きを解析する。
　図５は、加速度センサの測定結果の一例を示すグラフである。ユーザのプレー中の動きには衝撃が伴う場合がある。センサ装置１００がゴルフクラブ３００のシャフト３２０に取付けられ、ゴルフクラブ３００でボールを打つ動作が行われる場合、ボールがゴルフクラブ３００に当たった際に衝撃が発生する。当該衝撃は、スイング途中と比べて急峻な加速度の変化として現れる。図５を参照して説明すると、図５の時間ｔ１付近では、加速度センサ２００の測定値が短時間で急峻に変化しているため、当該時間ｔ１付近で衝撃が発生したと考えられる。従って、解析部２０７は、加速度を解析した結果に基づいて、時刻ｔ１をインパクトのタイミングとして判定することができる。
　また、ヘッド部の動きは、加速度、角加速度を解析することによって解析でき、軌跡解析部２１０によって解析される。図６は、角加速度から求めたセンサ装置２００の角度（回転位置）を示す特性図である。具体的には、加速度を積分して速度を算出し、更に速度を積分することで、ヘッド部の変位が求まる。同様に、角加速度を積分していくことで、ヘッド部の角度が求まる。図７は、センサ装置１００をクラブヘッドのグリップの近傍に装着した場合に、加速度、角加速度に基づいて解析したセンサ装置１００の軌跡Ａ１とヘッド部の軌跡Ａ２を示す特性図である。なお、ヘッド部の軌跡Ａ２は、センサ装置１００の軌跡Ａ１に基づいて、センサ装置１００の位置とヘッド部の位置の幾何学的関係により求めることができる。
　センサ１０１の検出値は時刻データを含むため、解析部２０７は、軌跡Ａ１，Ａ２上の任意の点に対応する時刻情報を得ることができる。解析部２０７の基準タイミング抽出部２０９は、上述したインパクトの時刻ｔ１を基準タイミングとして抽出する。従って、上述したインパクトの時刻ｔ１に対応するインパクトの位置Ｂ１，Ｂ２を求めることができる。ここで、位置Ｂ１はインパクト時のセンサ１０１の位置であり、位置Ｂ２はインパクト時のヘッド部の位置である。
　また、解析部２０７は、加速度、角加速度の検出値に基づいて、軌跡Ａ１，Ａ２における変曲点Ｃ１，Ｃ２を取得することができる。ここで、変曲点Ｃ１はゴルフスイングのトップの位置におけるセンサ１０１の位置に対応する。また、変曲点Ｃ２は、トップの位置におけるヘッド部の位置に対応する。図７において、時刻ｔ２、時刻ｔ３では角度の変化量が０となっており、センサ装置２００の回転が一時的に停止していることが分かる。スイングを時系列的に見ると、最初に、アドレス位置でクラブの動きが停止し、その後トップの位置でクラブの動きが停止する。従って、時刻ｔ２、時刻ｔ３は、それぞれアドレス、トップの各位置に対応する。解析部２０７の基準タイミング抽出部２０９は、アドレス、トップの各位置に対応する時刻を基準タイミングとして抽出する。このように、アドレス、トップの各位置に対応する時刻が分かれば、軌跡Ａ１，Ａ２において、アドレスの位置Ｄ１，Ｄ２、トップの位置Ｃ１，Ｃ２を判別できる。ここで、位置Ｄ１はアドレスの位置におけるセンサ１０１の位置に対応し、位置Ｄ２はアドレスの位置におけるヘッド部の位置に対応する。
　従って、区間抽出部２１３は、軌跡Ａ１上の任意の点に対応する時刻情報と、アドレスの位置Ｄ１、トップの位置Ｃ１、インパクトの位置Ｂ１に基づいて、センサ１０１の軌跡Ａ１から、アドレスからトップまでのバックスイングの区間（破線）と、トップからインパクトまでのダウンスイングの区間（実線）を抽出することができる。同様に、軌跡Ａ２上の任意の点に対応する時刻情報と、アドレスの位置Ｄ２、トップの位置Ｃ２、インパクトの位置Ｂ２に基づいて、ヘッド部の軌跡Ａ２から、アドレスからトップまでのバックスイングの区間（破線）と、トップからインパクトまでのダウンスイングの区間（実線）を抽出することができる。
　また、解析部２０７は、加速度、角加速度の検出値に基づいて、軌跡Ａ１，Ａ２におけるフィニッシュの位置Ｅ１，Ｅ２を取得することができる。図７において、時刻ｔ４では角度の変化量が０となっており、センサ装置２００の回転が一時的に停止している。フィニッシュの位置Ｅ１，Ｅ２は、インパクトの位置Ｂ１，Ｂ２よりも後の時刻であって、一定時間センサ１０１及びヘッド部が静止している位置とすることができる。解析部２０７の基準タイミング抽出部２０９は、フィニッシュの位置に対応する時刻を基準タイミングとして抽出する。位置Ｅ１はフィニッシュの位置におけるセンサ１０１の位置に対応し、位置Ｅ２はフィニッシュの位置におけるヘッド部の位置に対応する。従って、区間抽出部２１３は、軌跡Ａ１，Ａ２上の任意の点に対応する時刻情報と、インパクトの位置Ｂ１，Ｂ２、フィニッシュの位置Ｅ１，Ｅ２に基づいて、軌跡Ａ１，Ａ２のそれぞれから、インパクトからフィニッシュまでのフォロースイングの区間（一点鎖線）を抽出することができる。
　以上のようにして、図４のステップＳ１２では、センサ１０１の検出値に基づいて、ゴルフクラブの動きの解析が行われる。
　次のステップＳ１４では、ステップＳ１２で解析したゴルフクラブの動きとプレー画像とを対応付けて表示するための処理を行う。図８は、ステップＳ１２の結果に基づいて、アドレスからフィニッシュまでの時間的領域を２人のプレーヤＰ１，Ｐ２のスイングのプレー画像から抽出した例を示している。図８では、プレーヤＰ１，Ｐ２の動きを同じ時間軸で示している。図８においても、バックスイングの区間を破線で示し、ダウンスイングの区間を実線で示し、フォロースイングの区間を一点鎖線で示している。また、トップの位置を‘Ｃ’、アドレスの位置を‘Ｄ’、インパクトの位置を‘Ｂ’、フィニッシュの位置を‘Ｅ’で示している。
　図８に示すように、バックスイング、ダウンスイング及びフォロースイングの所要時間は、プレーヤ毎に異なる。図８に示す例では、プレーヤＰ１はアドレスからフィニッシュまでに要する時間がプレーヤＰ２よりも長い。このため、アドレスからフィニッシュまでの両者のスイングを並べて動画再生すると、プレーヤＰ２の動画が先に終了してしまい、その後、プレーヤＰ１の動画が終了するため、動画を再生しながら両者のスイングを比較することが困難になる。
　このため、同期処理部２１４は、プレーヤＰ１、プレーヤＰ２のスイング中の基準点で両者のスイングを同期させる処理を行う。基準点として、プレーヤＰ１のインパクトの時刻ｔ１を用いる。図９は、図８に対し、プレーヤＰ１のインパクトの時刻ｔ１を基準に両プレー画像を同期させた状態を示している。図９に示す状態では、プレーヤＰ１とプレーヤＰ２の動画を再生すると、プレーヤＰ１の動画再生が先に開始し、追ってプレーヤＰ２の動画が再生されるが、双方の動画のインパクトの時刻が一致するため、同時再生をした際の見易さが図８に比べて格段に向上する。これにより、ユーザは、プレーヤＰ１とプレーヤＰ２のスイングを、インパクトの瞬間を基準に比較することが可能となる。
　更に、本実施形態では、図９のようにインパクトの位置で両プレーヤのプレー画像を同期させた後、動画再生開始（アドレス位置）から終了（フィニッシュ位置）までの時間を適合させる処理を行う。具体的には、時間適合部２１６が、アドレスからトップまでの区間、トップからインパクトまでの時間、インパクトからフィニッシュまでの両プレーヤのプレー画像の再生時間を適合させる。
　図１０は、プレーヤＰ１のプレー画像を基準にして、プレーヤＰ２のプレー画像の再生時間を長くし、両プレー画像の再生時間を一致させた状態を示している。この際、センサ１０１による解析結果に基づいて、複数の同期ポイントを設定し、再生速度を動的に変更することで同期を実現する。
　図１１は、ゴルフスイングを複数の角度に分割した状態を示している。図１０に示す同期処理の際には、一例として、分割した角度毎に再生速度を動的に変更する。図１１に示すように、アドレスの位置が‘６’の位置であり、トップの位置が‘１１’の位置である場合、アドレスからトップまでの角度を５等分し、分割した角度毎に同期を行う。上述したように、ステップＳ１２の処理により軌跡Ａ１，Ａ２上の任意の位置と時刻との相関がとれているため、例えばプレーヤＰ１のプレー画像において、アドレスからトップに向かうバックスイングの際に、アドレスの‘６’位置から１分割の角度分だけ進んだ‘７’の位置に到達する時間がＴであったとすると、プレーヤＰ２のプレー画像においても、アドレスの‘６’位置から ‘７’の位置に到達する時間がＴとなるように、再生速度を変更する。同様に、‘７’の位置から‘８’の位置に到達する時間についても、プレーヤＰ１のプレー画像の再生時間と一致するようにプレーヤＰ２のプレー画像の再生時間を適合させる。このような処理をアドレス～トップ～インパクト～フィニッシュに至る領域で行うことで、プレーヤ１とプレーヤ２のプレー画像の再生時間を違和感なく一致させることができる。なお、分割の角度をより細かくすることで、再生時間を合わせた場合に動画をより滑らかに表示することが可能である。また、角度の切り換わりで再生時間を変更する場合に、切り換わりのタイミングを含む所定時間内で再生時間を滑らかに変化させることで、動画をより滑らかに表示することが可能である。
　これにより、プレーヤ１とプレーヤ２のプレー画像の再生時間が一致するため、情報処理装置２００側で両プレーヤのプレー画像を並べて再生することで、スイングの違いを確実に認識することが可能となる。従って、例えばプレーヤ１のプレー画像としてプロゴルファーの映像を再生し、ユーザ自身の録画映像をプレーヤ２のプレー画像として再生することで、プロゴルファーのスイングに対してユーザ自身のスイングの改善点等を映像から判断することも可能となる。また、例えばユーザの以前のスイングと現在のスイングを同時再生することで、上達度合いを確認することも可能となる。なお、上述した例では、プレーヤ１の再生時間を基準としてプレーヤ２の再生時間を適合させたが、プレーヤ２の再生時間を基準としてプレーヤ１の再生時間を適合させても良い。また、上述した例では、２人のプレーヤの動画を同期させて再生時間を適合させたが、３人以上の動画を同期させて再生時間を適合させても良い。
　［４．動認識と画像処理を組み合わせた例］
　次に、センサ装置１００による動きの認識と画像処理を組み合わせた例について説明する。図１２～図１４は、情報処理装置２００で撮影したゴルフスイングを、所定時間毎の静止画像を重畳して示した例を示す模式図である。ここで、図１２はバックスイングを、図１３はダウンスイングを、図１４はフォロースイングを示している。本実施形態では、上述したように、アドレスの位置、トップの位置、インパクトの位置、フィニッシュの位置のそれぞれの時刻情報を得ることができる。このため、プレー画像を表示する際に、バックスイング、ダウンスイング、フォロースイングを区別できるように、各スイングを異なる色で表示することができる。一例として、図１２に示すバックスイングは赤色、図１３に示すダウンスイングは緑色、図１４に示すフォロースイングは青色で表示される。図１２～図１４の各スイングを１枚の画像として重畳表示することもできる。この際、表示処理部２１８は、複数の連続する静止画を表示するための処理を行い、アドレスの位置、トップの位置、インパクトの位置、フィニッシュの位置のそれぞれの時刻情報（基準タイミング）によって定まる時間的な領域毎に静止画の表示状態が異なるように静止画を表示させる。
　これにより、図１２～図１４を視認したユーザは、画面を見るだけでバックスイング、ダウンスイング、フォロースイングがどのようなスイングになっているかを判別することができる。特に、バックスイング、ダウンスイング、フォロースイングを重畳して表示することにより、例えばバックスイングとダウンスイングの軌跡の違いを視覚的に認識することも可能となる。また、スイングの動画を再生した場合、短時間で再生が完了するため、眼で認識できない部分が存在する可能性もある。図１２～図１４に示したように、所定時間毎の静止画像を重畳して示すことで、細かい動きを確実に認識することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　同種の一連の動作を示す複数の動作情報を取得する動作情報取得部と、
　複数の前記動作情報に基づいて、基準タイミングを抽出する基準タイミング抽出部と、
　複数の前記動作情報に対応する複数の一連の画像情報を取得する画像情報取得部と、
　前記基準タイミングに基づいて、複数の前記画像情報を同期させる同期処理部と、
　を備える、情報処理装置。
（２）　前記基準タイミング抽出部は、複数の前記動作情報のそれぞれから動作の特徴が対応する複数の前記基準タイミングを抽出し、
　複数の前記画像情報において、前記基準タイミング間の時間を適合させる時間適合部を備える、前記（１）に記載の情報処理装置。
（３）　前記動作情報は、前記動作に関する加速度又は角加速度である、前記（１）又は（２）に記載の情報処理装置。
（４）　前記動作情報を検出するセンサを備える、前記（１）～（３）のいずれかに記載の情報処理装置。
（５）　前記基準タイミングは、前記一連の動作に変化が加わるタイミングである、前記（１）～（４）のいずれかに記載の情報処理装置。
（６）　前記基準タイミングは、前記一連の動作において打撃による衝撃が発生するタイミングである、前記（５）に記載の情報処理装置。
（７）　前記基準タイミングは、前記一連の動作において動作が停止するタイミングである、前記（５）に記載の情報処理装置。
（８）　前記基準タイミングは、前記一連の動作の開始又は終了タイミングである、前記（５）に記載の情報処理装置。
（９）　複数の前記画像情報を表示するための処理を行う表示処理部を備える、前記（１）～（８）のいずれかに記載の情報処理装置。
（１０）　前記表示処理部は、前記画像情報に基づいて、複数の連続する静止画を表示するための処理を行う、前記（９）に記載の情報処理装置。
（１１）　前記表示処理部は、前記基準タイミングによって定まる時間的な領域毎に前記静止画の表示状態が異なるように前記静止画を表示させる、前記（１０）に記載の情報処理装置。
（１２）　複数の前記動作情報は複数のユーザが行う同種の一連の前記動作に対応する、前記（１）～（１１）のいずれかに記載の情報処理装置。
（１３）　複数の前記動作情報は単一のユーザが行う同種の一連の前記動作に対応する、前記（１）～（１１）のいずれかに記載の情報処理装置。
（１４）　同種の一連の動作を示す複数の動作情報を検出するセンサと、
　複数の前記動作情報に基づいて、基準タイミングを抽出する処理、複数の前記動作情報に対応する複数の一連の画像情報を取得する処理、及び、前記基準タイミングに基づいて、複数の前記画像情報を同期させる処理、を情報処理装置に行わせるために、前記動作情報を前記情報処理装置へ送信する送信部と、
　を備える、センサ装置。
（１５）　同種の一連の動作を示す複数の動作情報を検出するセンサ装置と、
　前記センサ装置から前記動作情報を取得する動作情報取得部と、複数の前記動作情報に基づいて、基準タイミングを抽出する基準タイミング抽出部と、複数の前記動作情報に対応する複数の一連の画像情報を取得する画像情報取得部と、前記基準タイミングに基づいて、複数の前記画像情報を同期させる同期処理部と、を有する、情報処理装置と、
　を備える、情報処理システム。
（１６）　前記基準タイミング抽出部は、複数の前記動作情報のそれぞれから動作の特徴が対応する複数の前記基準タイミングを抽出し、
　前記情報処理装置は、複数の前記画像情報において、前記基準タイミング間の時間を適合させる時間適合部を備える、前記（１５）に記載の情報処理システム。
　２０８　　動作情報取得部
　２０９　　基準タイミング抽出部
　２１２　　画像情報取得部
　２１４　　同期処理部
　２１６　　時間適合部
　２１８　　表示処理部

Claims (16)

  1. 　同種の一連の動作を示す複数の動作情報を取得する動作情報取得部と、
    　複数の前記動作情報に基づいて、基準タイミングを抽出する基準タイミング抽出部と、
    　複数の前記動作情報に対応する複数の一連の画像情報を取得する画像情報取得部と、
    　前記基準タイミングに基づいて、複数の前記画像情報を同期させる同期処理部と、
    　を備える、情報処理装置。
  2. 　前記基準タイミング抽出部は、複数の前記動作情報のそれぞれから動作の特徴が対応する複数の前記基準タイミングを抽出し、
    　複数の前記画像情報において、前記基準タイミング間の時間を適合させる時間適合部を備える、請求項１に記載の情報処理装置。
  3. 　前記動作情報は、前記動作に関する加速度又は角加速度である、請求項１に記載の情報処理装置。
  4. 　前記動作情報を検出するセンサを備える、請求項１に記載の情報処理装置。
  5. 　前記基準タイミングは、前記一連の動作に変化が加わるタイミングである、請求項１に記載の情報処理装置。
  6. 　前記基準タイミングは、前記一連の動作において打撃による衝撃が発生するタイミングである、請求項５に記載の情報処理装置。
  7. 　前記基準タイミングは、前記一連の動作において動作が停止するタイミングである、請求項５に記載の情報処理装置。
  8. 　前記基準タイミングは、前記一連の動作の開始又は終了タイミングである、請求項５に記載の情報処理装置。
  9. 　複数の前記画像情報を表示するための処理を行う表示処理部を備える、請求項１に記載の情報処理装置。
  10. 　前記表示処理部は、前記画像情報に基づいて、複数の連続する静止画を表示するための処理を行う、請求項９に記載の情報処理装置。
  11. 　前記表示処理部は、前記基準タイミングによって定まる時間的な領域毎に前記静止画の表示状態が異なるように前記静止画を表示させる、請求項１０に記載の情報処理装置。
  12. 　複数の前記動作情報は複数のユーザが行う同種の一連の前記動作に対応する、請求項１に記載の情報処理装置。
  13. 　複数の前記動作情報は単一のユーザが行う同種の一連の前記動作に対応する、請求項１に記載の情報処理装置。
  14. 　同種の一連の動作を示す複数の動作情報を検出するセンサと、
    　複数の前記動作情報に基づいて、基準タイミングを抽出する処理、複数の前記動作情報に対応する複数の一連の画像情報を取得する処理、及び、前記基準タイミングに基づいて、複数の前記画像情報を同期させる処理、を情報処理装置に行わせるために、前記動作情報を前記情報処理装置へ送信する送信部と、
    　を備える、センサ装置。
  15. 　同種の一連の動作を示す複数の動作情報を検出するセンサ装置と、
    　前記センサ装置から前記動作情報を取得する動作情報取得部と、複数の前記動作情報に基づいて、基準タイミングを抽出する基準タイミング抽出部と、複数の前記動作情報に対応する複数の一連の画像情報を取得する画像情報取得部と、前記基準タイミングに基づいて、複数の前記画像情報を同期させる同期処理部と、を有する、情報処理装置と、
    　を備える、情報処理システム。
  16. 　前記基準タイミング抽出部は、複数の前記動作情報のそれぞれから動作の特徴が対応する複数の前記基準タイミングを抽出し、
    　前記情報処理装置は、複数の前記画像情報において、前記基準タイミング間の時間を適合させる時間適合部を備える、請求項１５に記載の情報処理システム。
PCT/JP2017/018302 2016-07-05 2017-05-16 情報処理装置、センサ装置及び情報処理システム WO2018008259A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17823867.1A EP3482801A4 (en) 2016-07-05 2017-05-16 INFORMATION PROCESSING DEVICE, DETECTION DEVICE, AND INFORMATION PROCESSING SYSTEM
US16/306,074 US10814202B2 (en) 2016-07-05 2017-05-16 Information processing device, sensor device, and information processing system
JP2018525961A JP7074059B2 (ja) 2016-07-05 2017-05-16 情報処理装置及び情報処理システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016133403 2016-07-05
JP2016-133403 2016-07-05

Publications (1)

Publication Number Publication Date
WO2018008259A1 true WO2018008259A1 (ja) 2018-01-11

Family

ID=60912529

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/018302 WO2018008259A1 (ja) 2016-07-05 2017-05-16 情報処理装置、センサ装置及び情報処理システム

Country Status (4)

Country Link
US (1) US10814202B2 (ja)
EP (1) EP3482801A4 (ja)
JP (1) JP7074059B2 (ja)
WO (1) WO2018008259A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021058300A (ja) * 2019-10-04 2021-04-15 コニカミノルタ株式会社 周期動作比較表示装置、および周期動作比較表示方法
WO2023219049A1 (ja) * 2022-05-13 2023-11-16 京セラ株式会社 動作解析システム、動作解析方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5323361U (ja) * 1976-08-05 1978-02-27
JP2004260765A (ja) * 2003-02-27 2004-09-16 Nihon Knowledge Kk 実技分析システム及びプログラム
JP2006230630A (ja) * 2005-02-23 2006-09-07 Nihon Knowledge Kk 実技分析システム及びプログラム
WO2006135160A1 (en) * 2005-06-17 2006-12-21 Ls Media Co., Ltd. System and method for analyzing golf swing motion
JP2009106323A (ja) * 2007-10-26 2009-05-21 Yamaha Corp 運動フォーム評価装置および運動フォーム評価プログラム
JP2014064109A (ja) * 2012-09-20 2014-04-10 Casio Comput Co Ltd 再生制御装置、再生制御方法及びプログラム
JP2014064110A (ja) * 2012-09-20 2014-04-10 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2015061237A (ja) * 2013-09-19 2015-03-30 カシオ計算機株式会社 画像合成装置、画像合成方法及びプログラム
WO2016024392A1 (ja) * 2014-08-11 2016-02-18 セイコーエプソン株式会社 運動解析方法、運動解析装置、運動解析システム及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10341431A (ja) * 1997-06-06 1998-12-22 Yamaha Corp 被写体の動き成分検出処理装置およびその処理プログラムを記憶した媒体
US6537076B2 (en) * 2001-02-16 2003-03-25 Golftec Enterprises Llc Method and system for presenting information for physical motion analysis
KR101591779B1 (ko) * 2009-03-17 2016-02-05 삼성전자주식회사 모션 데이터 및 영상 데이터를 이용한 골격 모델 생성 장치및 방법
KR101231587B1 (ko) * 2011-06-29 2013-02-08 (주)이노시스 영상 비교 처리 장치
JP5867432B2 (ja) 2013-03-22 2016-02-24 ソニー株式会社 情報処理装置、記録媒体および情報処理システム
JP2015205072A (ja) * 2014-04-22 2015-11-19 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US9714386B2 (en) * 2014-07-24 2017-07-25 Exxonmobil Chemical Patents Inc. Production of xylenes from syngas

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5323361U (ja) * 1976-08-05 1978-02-27
JP2004260765A (ja) * 2003-02-27 2004-09-16 Nihon Knowledge Kk 実技分析システム及びプログラム
JP2006230630A (ja) * 2005-02-23 2006-09-07 Nihon Knowledge Kk 実技分析システム及びプログラム
WO2006135160A1 (en) * 2005-06-17 2006-12-21 Ls Media Co., Ltd. System and method for analyzing golf swing motion
JP2009106323A (ja) * 2007-10-26 2009-05-21 Yamaha Corp 運動フォーム評価装置および運動フォーム評価プログラム
JP2014064109A (ja) * 2012-09-20 2014-04-10 Casio Comput Co Ltd 再生制御装置、再生制御方法及びプログラム
JP2014064110A (ja) * 2012-09-20 2014-04-10 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2015061237A (ja) * 2013-09-19 2015-03-30 カシオ計算機株式会社 画像合成装置、画像合成方法及びプログラム
WO2016024392A1 (ja) * 2014-08-11 2016-02-18 セイコーエプソン株式会社 運動解析方法、運動解析装置、運動解析システム及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3482801A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021058300A (ja) * 2019-10-04 2021-04-15 コニカミノルタ株式会社 周期動作比較表示装置、および周期動作比較表示方法
WO2023219049A1 (ja) * 2022-05-13 2023-11-16 京セラ株式会社 動作解析システム、動作解析方法

Also Published As

Publication number Publication date
EP3482801A1 (en) 2019-05-15
JPWO2018008259A1 (ja) 2019-04-25
US20190134482A1 (en) 2019-05-09
US10814202B2 (en) 2020-10-27
JP7074059B2 (ja) 2022-05-24
EP3482801A4 (en) 2019-07-24

Similar Documents

Publication Publication Date Title
US9613661B2 (en) Information processing apparatus, recording medium, and information processing system
US11250247B2 (en) Information processing device, information processing system, and program
JP6213146B2 (ja) 情報処理装置、記録媒体、および情報処理方法
US11247114B2 (en) Information processing device, storage medium, and information processing method
CN108028902B (zh) 集成传感器和视频运动分析方法
AU2015223099B2 (en) Sporting device and wearable computer interaction
JP6610689B2 (ja) 情報処理装置、情報処理方法及び記録媒体
CN108079547B (zh) 图像处理装置、分析系统、图像处理方法以及记录介质
US9380198B2 (en) Photographing system, photographing method, light emitting apparatus, photographing apparatus, and computer-readable storage medium
US20220277161A1 (en) Video playback method, medium, glasses and program product
WO2018008259A1 (ja) 情報処理装置、センサ装置及び情報処理システム
WO2021187193A1 (ja) 球技映像解析装置、球技映像解析システム、球技映像解析方法、及び、コンピュータプログラム
WO2024135232A1 (ja) インパクト検出装置、インパクト検出方法およびプログラム
JP7357258B2 (ja) 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム
Akhadov et al. Motion based remote camera control with mobile devices
JP2017022727A (ja) 情報処理装置、情報処理システムおよびプログラム
JP2016015780A (ja) 情報処理装置、記録媒体および情報処理システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018525961

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17823867

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017823867

Country of ref document: EP

Effective date: 20190205