WO2020090899A1 - モーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法 - Google Patents

モーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法 Download PDF

Info

Publication number
WO2020090899A1
WO2020090899A1 PCT/JP2019/042598 JP2019042598W WO2020090899A1 WO 2020090899 A1 WO2020090899 A1 WO 2020090899A1 JP 2019042598 W JP2019042598 W JP 2019042598W WO 2020090899 A1 WO2020090899 A1 WO 2020090899A1
Authority
WO
WIPO (PCT)
Prior art keywords
body movement
wearer
motion
calibration
data
Prior art date
Application number
PCT/JP2019/042598
Other languages
English (en)
French (fr)
Inventor
加地　邦彦
晋一 福間
Original Assignee
リオモ インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by リオモ インク filed Critical リオモ インク
Priority to US17/288,915 priority Critical patent/US20210398665A1/en
Priority to EP19879811.8A priority patent/EP3875159A4/en
Publication of WO2020090899A1 publication Critical patent/WO2020090899A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing

Definitions

  • the present invention relates to a motion capture system, a motion capture program, and a motion capture method that detect a body motion of a wearer using a so-called smartphone, wearable type, or other information terminal device.
  • wearable information processing terminals that can be worn on the user's body are becoming widespread, and this wearable terminal is lightweight.
  • this wearable terminal In addition to the clock function and GPS function, it has a communication function with various sensors such as a heart rate sensor, so you can wear it during sports training such as running, walking, bicycle, or exercise and record its body movements.
  • a system for monitoring has been developed (for example, Patent Document 1).
  • a device for measuring exercise parameters is attached to a user, and the exercise parameters obtained by monitoring an exerciser during exercise activities are compared with basic baseline data, Depending on whether or not the comparison result is within the allowable range, it is possible to give the user real-time feedback during the exercise activity by changing the music to be played back or the like.
  • exercise parameters are represented by numerical values and graphs, it is possible to record detailed movements, but it is difficult to imagine actual body movements. There is a request to check the body movements while shooting in and comparing the image with the parameters.
  • An object of the present invention is to provide a motion capture system, a motion capture program, and a motion capture method for displaying / outputting on / off.
  • the present invention is a motion capture system for detecting body movements of a wearer, which is attached to an arbitrary part of the wearer and can measure a three-dimensional displacement or acceleration of each part.
  • the device includes a device, a time axis for displaying body motion data, and a synchronization processing unit for performing a synchronization process for matching a time axis for displaying an image, and the synchronization processing unit is a predetermined one by a wearer that reacts the body motion sensor.
  • the characteristic actions of the person are extracted from the video or audio, and the characteristic reaction due to the characteristic action in the body movement data is extracted, and the timing of the extracted characteristic action and the timing of the characteristic reaction are extracted. Itasa perform synchronization processing by causing.
  • the present invention is a motion capture system that detects body movements of a wearer, and a plurality of body movement sensors that are attached to any part of the wearer and that can measure three-dimensional displacement or acceleration of each part, An imaging device that captures and records the body movements of the wearer, and an output device that outputs the detection result of the body movement sensor as body movement data in synchronization with the image recorded by the imaging means in a manner that can be compared and output a light emission or audio signal.
  • the calibration signal transmission unit that transmits the calibration signal by the, the calibration control signal acquisition unit that acquires the calibration control signal indicating the timing when the calibration signal is transmitted, the time axis that displays the body movement data, and the video
  • the synchronization processing unit includes a synchronization processing unit that executes synchronization processing that matches the displayed time axis.
  • the present invention is a motion capture method for detecting body motion of a wearer, ⁇
  • a body motion sensor attached to any part of the wearer measures the three-dimensional displacement or acceleration of each part, and records the detection result of the body motion sensor as body motion data in the body motion recording unit.
  • Motion recording step A photographing step in which the photographing means photographs and records the body movement of the wearer, ⁇ Synchronization processing is performed to match the time axis that displays the detection result of the body motion sensor as body motion data with the time axis that displays the image recorded by the shooting means, and the body motion data is synchronized so that it can be compared with the image.
  • the synchronization processing unit extracts a predetermined characteristic action by the wearer who reacts the body movement sensor from the image or the sound, extracts a characteristic reaction due to the characteristic action in the body movement data, and extracts the characteristic reaction. Synchronization processing is performed by matching the timing of the characteristic action with the timing of the characteristic reaction.
  • the present invention is a motion capture method for detecting a body movement of a wearer, ⁇
  • a body motion sensor attached to any part of the wearer measures the three-dimensional displacement or acceleration of each part, and records the detection result of the body motion sensor as body motion data in the body motion recording unit.
  • Motion recording step A photographing step in which the photographing means photographs and records the body movement of the wearer, -Calibration control signal acquisition unit that acquires the calibration control signal indicating the timing at which the calibration signal transmission unit that transmits the calibration signal by emitting light or outputs the audio signal outputs the calibration signal.
  • Steps, ⁇ Synchronization processing is performed to match the time axis that displays the detection result of the body motion sensor as body motion data with the time axis that displays the image recorded by the shooting means, and the body motion data is synchronized so that it can be compared with the image.
  • an output step displayed by the output device In the output step, the synchronization processing unit extracts the calibration signal transmitted by the calibration signal transmission unit from the video or audio, and the timing of the extracted calibration signal and the calibration control acquired by the calibration control signal acquisition unit. Synchronization processing is performed by matching the timing indicated by the signal.
  • the system and method according to the present invention described above can be realized by executing the program of the present invention described in a predetermined language on a computer. That is, the program according to the present invention is a pacemaker program that uses a plurality of information processing terminals having a communication function and an information output function and presents information about speed to a moving body. Through the communication function of each processing terminal, the information output function of each information processing terminal is caused to function as a cooperation control unit that controls the timing at which information regarding speed is output.
  • Such a program of the present invention is installed in a mobile terminal device, a smart phone, a wearable terminal, an information processing terminal such as a tablet PC or other general-purpose computer such as a personal computer or a server computer, and a memory device, and is executed on a CPU.
  • a mobile terminal device a smart phone, a wearable terminal, an information processing terminal such as a tablet PC or other general-purpose computer such as a personal computer or a server computer, and a memory device.
  • the present invention is a motion capture program for detecting body movements of a wearer, in which an information processing terminal is attached to any part of the wearer, and three-dimensional displacement or acceleration of each part can be measured.
  • a body movement recording unit that records the detection results of a plurality of body movement sensors as body movement data, and an image recorded by a photographing means that photographs and records the body movement of the wearer, using the detection results of the body movement sensors as body movement data.
  • the synchronization processing unit functions as a synchronization processing unit that executes a synchronization process that matches the time axis for displaying the body movement data and the time axis for displaying the body movement data, which are synchronously displayed in synchronization with each other.
  • a predetermined characteristic action by the wearer who reacts the sensor is extracted from the image or sound, and the characteristic reaction due to the characteristic action in the body movement data is extracted and extracted. And performing a synchronization process by matching the timing of the timing and the characteristic reaction for.
  • the present invention is a motion capture program for detecting body movements of a wearer, comprising a plurality of information processing terminals which are attached to arbitrary parts of the wearer and which can measure a three-dimensional displacement or acceleration of each part.
  • the calibration signal transmission unit that transmits the calibration signal by the output of the audio signal
  • the calibration control signal acquisition unit that acquires the calibration control signal indicating the timing when the calibration signal is transmitted
  • the time for displaying the body movement data It is made to function as a synchronization processing unit that executes the synchronization processing that matches the axis with the time axis for displaying the video.
  • the unit extracts the calibration signal transmitted by the calibration signal transmission unit from the video or audio, and the timing of the extracted calibration signal and the timing indicated by the calibration control signal acquired by the calibration control signal acquisition unit.
  • the synchronization processing is performed by matching
  • a predetermined characteristic action by the wearer that causes the body movement sensor to react is recorded in the image in advance, or the light emission or the sound is emitted.
  • the recorded characteristic action or calibration signal is extracted from the video or audio, and the timing of the extracted characteristic action or calibration signal and the timing indicated by the calibration control signal are matched to each other.
  • a process of synchronizing the time axis displaying the motion data and the time axis displaying the video is performed. As a result, the recorded body movement data and the captured image can be synchronized and displayed in a comparable manner.
  • the wearer's exercise activity It is possible to display and output the body movements of the robot in exact synchronization with the video, improve the accuracy of body movement analysis, and perform appropriate training and coaching.
  • the information terminal device 100 is used to apply the present invention to a bicycle race, and to provide a system that enables body movement measurement and coaching in the bicycle race.
  • the embodiments described below exemplify a device or the like for embodying the technical idea of the present invention, and the technical idea of the present invention is the material, shape, structure, and the like of each component. Arrangements are not specified below.
  • the technical idea of the present invention can be modified in various ways within the scope of the claims.
  • FIG. 1 is an explanatory diagram showing a usage mode of a motion capture system using the information terminal device 100 according to the present embodiment
  • FIG. 2 is a diagram showing body motion reproduction data acquired by the motion capture system according to the present embodiment. This is an example.
  • 3 is a block diagram showing the internal configuration of each device.
  • the motion capture system includes an information terminal device 100 that is worn by the wearer 1 and a wireless device that is attached to each part of the wearer's body. It is composed of a body movement sensor 40 (40a to 40c) connected thereto.
  • the system can be constructed within the range constructed by the short-distance wireless communication between the information terminal device 100 and the body movement sensor 40, and the server on the communication network, etc.
  • the system can be operated as a so-called offline stand-alone without being connected during actual measurement.
  • the body motion sensors 40a to 40c are sensors that are mounted on the site where the wearer 1 is moving and detect three-dimensional displacement or acceleration of each site.
  • the body movement sensor 40 includes a right foot movement sensor 40a attached to the instep of the wearer's right foot, a left foot movement sensor 40b attached to the wearer's left instep, and a waist attached to the wearer's waist. It is composed of a body movement sensor 40c.
  • These body movement sensors 40a to 41c are equipped with a 3-axis accelerometer that measures the acceleration of an object, a 3-axis gyroscope that detects the angular velocity of the object, and a 3-axis magnetic sensor that measures the magnitude and direction of the magnetic field. The movement of the axis can be detected.
  • Each body motion sensor 40 can be attached to and detached from the wearer's shoes, belt, clothes, etc. by a member such as a clip, etc., and each sensor can be easily attached and detached to make a measurement, which puts a burden on the wearer. It is easy to make continuous measurements without giving.
  • Each of these body movement sensors 40 has a wireless communication unit as shown in FIG.
  • This wireless communication unit has an antenna inside, and has a function of executing a protocol for data communication of short-distance wireless communication by BTLE (Bluetooth (registered trademark) Low Energy, Bluetooth (registered trademark) 4.0) or the like, by the information terminal device. Communication processing with 100 is possible.
  • the wireless communication unit of each body movement sensor 40 uses BTLE as a protocol for low power consumption communication, but ANT, ANT +, or the like can also be used. Ordinary Bluetooth (registered trademark) may be adopted.
  • FIG. 3 shows the internal configuration of the information terminal device according to the present embodiment.
  • the information terminal device 100 according to the present embodiment is a small terminal device such as a smartphone as shown in FIG. 1, and is used by being mounted on a handle portion of a bicycle or the like so that other functions can be used while traveling. When only recording body movement data during traveling, it may be stored in a storage device such as a bag.
  • the information terminal device 100 includes a wireless interface 113, a control unit 170, a memory 114, an output interface 111, and an input interface 112. More specifically, the information terminal device 100 according to the present embodiment has a function of collecting the detection result detected by each body movement sensor 40, and performs communication processing with each body movement sensor 40 by the wireless interface 113. Thus, the detection result of each body movement sensor 40 can be acquired.
  • the memory 114 of the information terminal device 100 functions as a body movement recording unit that records the detection result of the body movement sensor 40 as body movement data.
  • the body movement data is raw data detected by various sensors, and the data obtained by recording and analyzing the body movement data, extracting necessary information, and correcting is the body movement reproduction data.
  • the detection result transmitted from each body movement sensor 40 is added with sensor identification information for identifying each body movement sensor 40, and the identification information is accumulated in the memory 114 of the information terminal device 100.
  • the control unit 170 acquires from the wireless interface 113, it is possible to determine from which body motion sensor 40 the detection result is acquired.
  • this identification information includes mounting site information that identifies the mounting site of each sensor, and body motion reproduction data can be calculated based on this mounting site information.
  • the body movement data also includes time information when the detection result is obtained from each body movement sensor 40.
  • the wireless interface 113 is a module that controls transmission / reception of various information via a communication network and short-range wireless communication such as wifi and Bluetooth (registered trademark), and communicates with each body motion sensor 40 by various protocols. Alternatively, data is transmitted / received to / from the server device or the like by 3G communication.
  • the information terminal device 100 includes an output interface 111 and an input interface 112.
  • the input interface 112 is a device such as a mouse, a keyboard, operation buttons and a touch panel for inputting user operations.
  • the output interface 111 includes devices such as a display and a speaker that output video and audio.
  • the output interface 111 includes a display unit such as a liquid crystal display, and the display unit is superimposed on the touch panel which is the input interface.
  • the display unit connected to the output interface 111 is an output device that displays or outputs the analysis result of the body motion reproduction data, and displays the display information generated by the display information generation unit 170e through the output interface 111.
  • the palm is displayed on this display unit on a display built in the information terminal device 100 or an external display connected to the outside.
  • the input interface 112 includes a moving image acquisition unit 112a.
  • the moving image acquisition unit 112a is a module that acquires moving image data of a body movement of the wearer that is captured and recorded.
  • the video data acquired by the video acquisition unit 112a includes video data in which a video is recorded, audio data recorded together with the video, and metadata such as a time stamp such as shooting time, end time, and elapsed time. ..
  • a built-in camera 115 built in the information terminal device 100 and an external camera 20 can be connected to the input interface 112, and moving image data captured by these image capturing means is acquired by the moving image acquisition unit 112a.
  • the moving image data obtained from the external camera 20 is obtained in addition to streaming data sequentially obtained in real time at the time of shooting, as well as downloading moving image data in a file format shot and accumulated by the external camera 20 after shooting. Also includes things.
  • the information terminal device 100 has a function of analyzing the body movement of the wearer based on the body movement data acquired from each sensor and generating body movement reproduction data.
  • the information terminal device 100 includes a control unit 170, as shown in FIG. 3, and the control unit 170 is an arithmetic processing device such as a CPU that performs various calculations necessary for controlling each unit. is there.
  • each function of the information terminal device 100 is virtually constructed on the control unit 170 by executing the motion capture program of the present invention in the control unit 170. More specifically, the control unit 170 virtually constructs the body motion data acquisition unit 170a, the body motion calculation unit 170b, the analysis unit 170d, and the display information generation unit 170e by executing the motion capture application. To be done.
  • the body movement data acquisition unit 170a is a module that acquires body movement data from each body movement sensor 40 via the wireless interface 113, and in the present embodiment, performs wireless communication with each of the body movement sensors 40a to 40c. Body movement data, which is the result of these detections, is acquired. This body movement data is temporarily stored in the memory 114, and thereafter, each detection result of the body movement sensor 40 is transmitted to the body movement calculation unit 170b.
  • the body movement calculating unit 170b uses the detection results of the body movement sensors 40a to 40c stored in the memory 114 (body movement recording unit), the displacements and rotations of the body movement sensors 40a to 40c, and their accelerations, This module calculates the body movement of the wearer as body movement reproduction data.
  • each detection result by the body movement sensor 40 is a value measured by a so-called 9-axis sensor, and in the present embodiment, the direction and size of acceleration (including gravitational acceleration) acting on the object, the object, Is the angular velocity (magnitude, direction, center position) and magnitude / direction (direction) of the magnetic field.
  • the calculated body movement includes an index of smoothness of pedaling, an angular velocity ⁇ of the pedal axis of the bicycle, a temporal change of this angular velocity ⁇ , and the smoothness of the change.
  • the body movement sensors 40a and 40b are attached to the left and right shoes, and as shown in FIG. 2, the rotational movement detected by the sensor is the rotation of the shoe. Since it rotates around the pedal shaft, the angular velocity of this pedal shaft is ⁇ .
  • the waist body motion sensor 40c is attached to the back side of the wearer's belt and swings to the left and right following a pedaling operation.
  • the body movement calculation unit 170b extracts the periodic change included in the body movement based on the body movement reproduction data accumulated in the memory 114.
  • This cyclic change includes not only a simple circular motion but also a complex free orbit C1 to C3 that is three-dimensional and has a complex figure 8 or wavy motion as shown in FIG.
  • the orbit is output as a waveform represented by amplitude and time. More specifically, in the present embodiment, the orbital motion by the right foot motion sensor 40a attached to the instep of the right foot of the wearer C1 is C1, and the orbital motion by the left foot motion sensor 40b attached to the instep of the wearer's left foot is C2, The swing of the waist of the wearer 1 is extracted as C3.
  • the body movement calculating unit 170b uses the body movement of the wearer as body movement reproduction data based on the detection results of the body movement sensor 40 and the change characteristics of the orbiting movement of the body movement sensor 40. calculate. At this time, the body movement calculating unit 170b calculates, for example, as shown in FIG. 2, the three-dimensional free-circulation loci C1 to C3 of each body movement sensor 40. Then, the body movement calculating unit 170b evaluates the amplitude, timing, collapse, etc. of the orbiting motion of each of the left and right legs of the wearer and the swing of the main part based on the calculated characteristic changes of the free orbits C1 to C3. .. Then, the body motion reproduction data is calculated based on the free-circulation trajectories C1 to C3 thus calculated.
  • the analysis unit 170d is a module that analyzes each element of the body movement of the wearer 1 item by item based on the body movement reproduction data.
  • the analysis unit 170d functions as a characteristic analysis unit that analyzes the characteristics of angular velocity change, swing amplitude, and fluctuation in the periodic motion extracted by the body movement calculation unit 170b, and the analyzed characteristics are performed here. Is expressed as a waveform on the timeline W2 defined by amplitude-time as shown in FIGS. 7 and 8, and is synchronized with the video data, and then is displayed on the output device via the display information generation unit 170e. Displayed or output.
  • an analysis of pedaling that is, pedaling is performed. Specifically, based on the relative displacement of each sensor, the change in angular velocity and angular acceleration, the pedal crank, the skeleton of the wearer, etc., the body movement reproduction data is analyzed, and the time change of power (Power) and rhythm ( Cadence), upper body angle change (Torso Angle), thigh angle range of motion (LAR: Leg Angular Range) change, left and right ankle (Foot) / knee (Knee) displacement in X and Y directions, waist Estimate the displacement of (Waist) in the X and Y directions.
  • three-dimensional data in which the wearer 1 is three-dimensionally displayed may be generated, or two-dimensional data projected on the XY plane. It may generate data.
  • a deviation from normal body movement can be detected.
  • the indicated improvement data may be generated.
  • user information such as gender, height, weight, and age may be registered in advance to perform analysis based on each user information. Then, the analysis unit 170d transmits the analysis results such as the stereoscopic image data and the improvement data to the information terminal device 100.
  • the analysis unit 170d includes a synchronization processing unit 170f.
  • the synchronization processing unit 170f is a module that executes a calibration process in order to perform a synchronization process for matching a time axis displaying body movement data with a time axis displaying an image captured by a camera.
  • the synchronization processing unit 170f extracts a predetermined characteristic action (calibration action) by the wearer 1 who reacts the body movement sensor 40 from the image or the sound, and extracts the body movement data from the body movement data.
  • the synchronous process is performed by extracting the characteristic reaction due to the characteristic action of, and matching the extracted characteristic action timing with the characteristic reaction timing.
  • This characteristic action includes, for example, the wearer 1 hitting or shaking the body or the body movement sensor 40 itself in front of the camera by a predetermined number or a predetermined number of times with respect to the body movement sensor 40 in a short time. There is an action such as adding vibration.
  • the wearer 1 detects that a graphic of a predetermined shape or color is displaced with a constant amplitude or rhythm within a predetermined time length by image recognition processing. It recognizes that it is "hit by hand”, reads the shooting time of the frame in the image that has the maximum displacement during that time, and detects the time information as a calibration signal. Further, when the moving image data includes audio data, a sound tapped by the wearer 1 may be extracted, and the extracted time information may be detected as a calibration signal.
  • the user operation may be assisted, and the characteristic actions may be extracted by focusing on the time width designated by the user operation.
  • the detection of the characteristic reaction of the body motion sensor 40 described above is performed by scanning the detection values of various sensors provided in the body motion sensor 40, for example, an acceleration sensor, and a reaction of a certain amplitude or more is detected within a predetermined time width. It is performed by extracting a portion that is repeated a predetermined number of times. It should be noted that the detection of the characteristic action and the characteristic reaction may be performed by either one of them first, and the detection process may be executed by narrowing down the scanning range of the other by referring to the detected time stamp of the one. Good.
  • the time stamp time information of the time when the characteristic action described above is performed and the time when the characteristic reaction is detected.
  • the synchronization processing is performed by aligning the reproduction start times of the both so as to match the time stamps of. At that time, if there is a difference in the intervals of repeated actions or reactions, extend the playback time of the movie or the length of the timeline of the body movement sensor to start the playback start time of the movie data and body movement reproduction data. Synchronize by matching the end time with.
  • the display information generation unit 170e is a module that generates display information displayed on the output interface 111, and generates display information that displays or outputs the body motion reproduction data analyzed by the analysis unit 170d in association with a moving image.
  • this display information displays a moving image captured by the built-in camera 115 or the external camera 20 in the window W1 and displays the body motion reproduction data analyzed by the analysis unit 170d on a plane. It is represented by a circular shape, and is displayed in synchronization with the timeline W2 displaying the body movement reproduction data analyzed by the analysis unit 170d so as to be comparable.
  • this display information includes an acoustic signal and other output control signals.
  • the display screen includes a GUI (Graphical User Interface) W3 for touch operation, and the operation on the touch panel on which this GUI is displayed is input to the input interface 112 to switch the display by the display information generation unit 170e.
  • GUI Graphic User Interface
  • various methods such as superimposing a timeline on a moving image and displaying the entire screen can be adopted.
  • the reproduction point cursor PP displayed on the timeline as shown in FIGS. 6 and 7 is slid to the left and right.
  • the playback point cursor PP can move on the timeline in synchronization with the playback of the moving image to display the progress of time, specify a playback start point to instruct playback of the moving image, or perform a predetermined time. It is also possible to set the width and set it to be played repeatedly during that period.
  • the memory 114 is a storage device that records various kinds of data, and includes identification information for identifying each information terminal device 100, mounting site information of each body motion sensor 40, and relative position of the body motion sensor 40 mounted on each site. The relationship, the user information described above, and model movement data, etc. are accumulated.
  • the motion capture method according to the present embodiment can be implemented by operating the motion capture system having the above configuration.
  • FIG. 4 shows the recording operation
  • FIG. 5 shows the operation during data reproduction.
  • the wearer 1 wears the body motion sensors 40a to 40c on arbitrary parts such as both legs and waist.
  • the wearer 1 fixes the information terminal device 100 to the handle of the bicycle through the mounting device, attaches the external camera 20 to the rear portion of the bicycle, and executes the motion capture.
  • the application which is the program of the present invention, is started on the information terminal device 100 side, a measurement start operation is input to the application in order to acquire the detection result from each body motion sensor 40, and the shooting start operation of the external camera 20 is performed. Is performed (S201).
  • the control unit 170 of the information terminal device 100 performs connection processing with each body movement sensor 40 (S101).
  • each body motion sensor 40 starts detecting the motion of the wearer 1 (S102).
  • the body movement sensor 40 attached to each part of the wearer's body detects a three-dimensional displacement or acceleration of each part.
  • each acquired detection result is transmitted to the wireless interface 113 of the information terminal device 100 by a weak radio wave via the wireless communication unit of each body movement sensor 40 (S103).
  • the memory 114 which is a body movement recording unit, sequentially records the detection results of the body movement sensors 40a to 40c as body movement data. (S203).
  • the operator performs a calibration operation (S204). Specifically, for example, the wearer 1 hits or shakes his / her body or the body movement sensor 40 itself in front of the camera a predetermined number of times, or vibrates the body movement sensor 40 a predetermined number of times in a short time. Acts like adding.
  • the competition is started, and the detection value of the body motion sensor 40 and the recording processing are continuously executed during the competition and are recorded in the memory 114 or the like (“N” in S205).
  • moving image data captured by the built-in camera 115 built in the information terminal device 100 or the external camera 20 connected to the outside is acquired by the moving image acquisition unit 112a and accumulated in the memory 114, or the control unit. It is subjected to processing at 170. During this time, the detection data of the body motion sensor 40 and the recorded video may be analyzed in real time and displayed on the display unit of the information terminal device 100. After that, the measurement is finished as soon as the competition is finished (“Y” in S205), and the recording process is stopped if necessary (S206). Then, the communication with each sensor is disconnected (S104).
  • the synchronization processing unit 170f extracts a predetermined characteristic action (calibration action) by the wearer 1 that causes the body movement sensor 40 to react from the image or the sound, and the characteristic action in the body movement data.
  • the characteristic reaction by is extracted.
  • the wearer 1 is performing “acting with hands” by detecting displacement of a graphic of a predetermined shape or color with a constant amplitude or rhythm within a predetermined time length by image recognition processing. Is recognized, the shooting time of the frame in the video image having the maximum displacement during that time is read, and the time information is detected as a calibration signal.
  • the moving image data includes audio data
  • a sound tapped by the wearer 1 may be extracted, and the extracted time information may be detected as a calibration signal.
  • the detection of the characteristic reaction of the body motion sensor 40 described above is performed by scanning the detection values of various sensors provided in the body motion sensor 40, for example, an acceleration sensor, and a reaction of a certain amplitude or more is detected within a predetermined time width. It is performed by extracting a portion that is repeated a predetermined number of times.
  • the moving image and the body movement data are synchronized (S305). Specifically, by aligning the reproduction start times of both of them so that the time stamp (time information) at the time when the characteristic action described above is performed and the time stamp at the time when the characteristic reaction is detected are matched. Performs synchronization processing. At that time, if there is a difference in the intervals of repeated actions or reactions, extend the playback time of the movie or the length of the timeline of the body movement sensor to start the playback start time of the movie data and body movement reproduction data. Synchronize by matching the end time with. In this way, the moving images and body motion reproduction data that have been analyzed and synchronized so that they can be compared with each other display or output the analysis results by the display of the information terminal device 100, the sound from the speaker, or the like (S305).
  • Motion capture program The motion capture system and the motion capture method according to the present embodiment described above are realized by executing the motion capture program of the present invention described in a predetermined language on a computer, like the motion capture application described above. be able to. That is, the program of the present invention is installed in an IC chip or a memory device of a general-purpose computer such as a mobile terminal device, a smartphone, a wearable terminal, a mobile PC or other information processing terminal, a personal computer or a server computer, and is executed on a CPU. As a result, it is possible to construct a system having the above-described functions and implement the motion capture method.
  • the calibration action (predetermined characteristic action) by the wearer 1 that causes the body movement sensor 40 to react is shown in the image in advance. Every time, the recorded characteristic action is extracted from the video or audio, and the timing of the extracted characteristic action is matched with the timing indicated by the calibration control signal, so that a time axis for displaying the body movement data is obtained. , Performs processing for synchronizing the time axis for displaying the image.
  • the recorded body movement data and the captured image can be displayed in a synchronized manner so that they can be displayed in a comparable manner, and the body movement due to the athletic activity of the wearer 1 can be accurately displayed with the image. It is possible to display and output in synchronism, improve the accuracy of body movement analysis, and enable proper training and coaching.
  • the package application that can be distributed through a communication line and recorded on a computer-readable recording medium to operate on a stand-alone computer.
  • a computer-readable recording medium to operate on a stand-alone computer.
  • various recording media such as a magnetic recording medium such as a flexible disk or a cassette tape, an optical disk such as a CD-ROM or a DVD-ROM, or a RAM card can be used.
  • the computer-readable recording medium in which this program is recorded it becomes possible to easily implement the above-described system and method by using a general-purpose computer or a dedicated computer, and to store, transport, and store the program. Installation can be done easily.
  • the synchronization processing of the captured moving image and the body movement data is performed based on the calibration action performed by the wearer 1.
  • the body movement is performed.
  • the gist is that the calibration signal transmission unit incorporated in the sensor 40 automatically performs this.
  • the same components as those in the first embodiment described above are designated by the same reference numerals, and the functions and the like are the same unless otherwise specified, and the description thereof will be omitted.
  • the body motion sensors 40a to 40c according to the present embodiment, in addition to the configuration described in the above-described first embodiment, as shown in FIG. 8, emit a calibration signal by light emission or output of an audio signal.
  • a calibration signal transmitting unit 401 (401a to 401c) for transmitting is provided.
  • the calibration signal transmitting unit 401 outputs a calibration signal by light or sound by providing a light emitting body such as an LED or the like so as to be visible on the outer surface of the sensor body or providing a voice transmitting means such as a speaker. ..
  • the transmission of the calibration signal by the calibration signal transmission unit 401 is executed based on the calibration execution signal transmitted from the calibration control signal acquisition unit 170c or based on an arbitrary operation of the wearer 1. To do.
  • the operation arbitrarily performed by the wearer 1 includes transmitting control signals from operation buttons provided on the body motion sensor 40 body and other devices, and the calibration signal transmitting unit 401 actually transmits the calibration signals.
  • the obtained time is transmitted to the calibration control signal acquisition unit 170c as a calibration control signal.
  • the information terminal device 100 includes a calibration control signal acquisition unit 170c as shown in FIG. 8 in addition to the configuration described in the first embodiment.
  • the calibration control signal acquisition unit 170c transmits a calibration execution signal for causing the calibration signal transmission unit 401 to transmit the calibration signal to the calibration signal transmission unit 401, or actually transmits the calibration signal.
  • the obtained time is acquired as a calibration control signal.
  • the calibration control signal acquired by the calibration control signal acquisition unit 170c is input to the analysis unit 170d.
  • the synchronization processing unit 170f extracts the calibration signal transmitted by the calibration signal transmission unit 401 from the video or audio. Further, the synchronization processing unit 170f matches the transmission timing of the calibration signal extracted from the video or audio with the actual transmission timing indicated by the calibration control signal acquired by the calibration control signal acquisition unit 170c. Performs synchronization processing.
  • the motion capture method according to the present embodiment can be implemented by operating the motion capture system having the above configuration.
  • 9 and 10 show the recording operation and the data reproducing operation according to the second embodiment.
  • the wearer 1 wears the body motion sensors 40a to 40c on arbitrary parts such as both legs and waist.
  • the wearer 1 fixes the information terminal device 100 to the handle of the bicycle through the mounting device, attaches the external camera 20 to the rear portion of the bicycle, and executes the motion capture.
  • the application which is the program of the present invention, is started on the information terminal device 100 side, a measurement start operation is input to the application in order to acquire the detection result from each body motion sensor 40, and the shooting start operation of the external camera 20 is performed. Is performed (S501).
  • the control unit 170 of the information terminal device 100 performs a connection process with each body movement sensor 40 (S401). After the connection processing, each body motion sensor 40 starts detecting the motion of the wearer 1 (S402). Specifically, the body movement sensor 40 attached to each part of the wearer's body detects the three-dimensional displacement or acceleration of each part.
  • each acquired detection result is transmitted to the wireless interface 113 of the information terminal device 100 by a weak radio wave via the wireless communication unit of each body movement sensor 40 (S403).
  • the wireless interface 113 of the information terminal device 100 starts to acquire each detection result (S502)
  • the memory 114 which is a body movement recording unit, sequentially records the detection results of the body movement sensors 40a to 40c as body movement data. It goes (S503).
  • a calibration operation is performed (S504).
  • this calibration operation is automatically executed under the initiative of the calibration control signal acquisition unit 170c on the information terminal device 100 side.
  • the calibration signal transmission unit 401 outputs a calibration signal based on light or sound.
  • the calibration signal transmission unit 401 may transmit the calibration signal based on an arbitrary operation of the wearer 1 or may be performed based on a control signal from another device.
  • the calibration signal transmission unit 401 transmits the time when the calibration signal is actually transmitted to the calibration control signal acquisition unit 170c as a calibration control signal, and the calibration control signal is received by the calibration control signal acquisition unit 170c. , Is recorded in the memory 114 through the analysis unit 170d (S505).
  • the competition is started, and during the competition, the detection value of the body motion sensor 40 is continuously acquired and the recording process is continuously executed and recorded in the memory 114 or the like (“N” in S506).
  • moving image data captured by the built-in camera 115 built in the information terminal device 100 or the external camera 20 connected to the outside is acquired by the moving image acquisition unit 112a and accumulated in the memory 114, or the control unit. It is subjected to processing at 170.
  • the detection data of the body motion sensor 40 and the recorded video may be analyzed in real time and displayed on the display unit of the information terminal device 100. After that, the measurement is finished as soon as the competition is finished (“Y” in S506), and the recording process is stopped if necessary (S507). Then, the communication with each sensor is disconnected (S405).
  • the calibration signal based on the light emission of the body motion sensor 40 or the output of the dial tone shown in the moving image is extracted (S602), and the dial record of the calibration signal indicated by the calibration control signal is read from the memory 114 (S603).
  • the synchronization processing unit 170f extracts the light emission and the dial tone output (calibration signal) by the body motion sensor 40 from the image or the sound, and also transmits the calibration signal described in the calibration control signal. Read the time.
  • the image recognition processing recognizes that light of a predetermined wavelength has emitted with a constant amplitude or rhythm within a predetermined time length, and detects the time information as a calibration signal.
  • the audio signal emitted by the calibration signal transmitting unit 401 may be extracted and the extracted time information may be detected as the calibration signal.
  • synchronization processing of the moving image and body movement data is performed (S605). Specifically, the reproduction start time of both is adjusted so that the time stamp (time information) of the time when the calibration signal is transmitted and the time stamp of the time recorded in the transmission record of the calibration control signal are matched.
  • the synchronization processing is performed by aligning. At that time, if there is a difference in the intervals of repeated actions or reactions, extend the playback time of the movie or the length of the timeline of the body movement sensor to start the playback start time of the movie data and body movement reproduction data. Synchronize by matching the end time with. In this way, the moving images and body motion reproduction data that have been analyzed and synchronized so that they can be compared with each other display or output the analysis result by the display of the information terminal device 100, the sound from the speaker, or the like (S605).
  • Motion capture program Note that the motion capture system and the motion capture method according to the present embodiment described above are also realized by executing the motion capture program of the present invention described in a predetermined language on a computer, like the motion capture application described above. be able to. That is, the program of the present invention is installed in an IC chip or a memory device of a general-purpose computer such as a mobile terminal device, a smartphone, a wearable terminal, a mobile PC or other information processing terminal, a personal computer or a server computer, and is executed on a CPU. As a result, it is possible to construct a system having the above-described functions and implement the motion capture method.
  • a calibration signal is automatically emitted in advance by light emission or an audio signal, and a characteristic reaction by the signal is recorded or recorded. Record. Then, the recorded calibration signal is extracted from the video or audio, and the timing of the extracted calibration signal and the timing indicated by the calibration control signal are matched to each other, thereby providing a time axis for displaying the body movement data. , Performs processing for synchronizing the time axis for displaying the image. As a result, the recorded body movement data and the captured image can be synchronized and displayed in a comparable manner.
  • the motion of the wearer It is possible to display and output the body movements caused by the activities in exact synchronization with the images, improve the accuracy of body movement analysis, and enable proper training and coaching.
  • the present invention is not limited to the above-described embodiments as they are, and constituent elements can be modified and embodied at the stage of implementation without departing from the scope of the invention. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. For example, some constituent elements may be deleted from all the constituent elements described in the embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】複雑な体動を映像と性格に同期させ、比較しながら詳細に理解できるように表示・出力する。 【解決手段】装着者１の任意の部位に装着され、各部位の三次元的な変位又は加速度を測定可能な複数の体動センサー４０と、装着者１の体動を撮影し記録する外部カメラ２０と、体動センサー４０による検出結果を体動データとして外部カメラ２０が記録した映像と対比可能に同期させて表示する表示部と、体動データを表示する時間軸と映像を表示する時間軸とを合致させる同期処理を実行する同期処理部１７０ｆとを備え、同期処理部１７０ｆは、装着者による所定の特徴的行為を映像又は音声中から抽出するとともに、体動データ中の特徴的反応を抽出し、抽出された特徴的行為のタイミングと特徴的反応のタイミングとを合致させることにより同期処理を行う。

Description

モーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法
　本発明は、いわゆるスマートフォンやウェアラブルタイプ、その他の情報端末装置を用い、装着者の体動を検出するモーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法に関する。
　近年、情報端末装置の小型・軽量化、多機能化が進み、ユーザーの身体に装着可能ないわゆるウェアラブル端末と呼ばれる装着型情報処理端末が普及しつつあり、このウェアラブル端末は、軽量であるうえ、時計機能やＧＰＳ機能の他、心拍センサー等の各種センサー類との通信機能などを備えていることから、ランニングやウォーキング、自転車等のスポーツトレーニングやエクササイズ時に装着して、その体動を記録したりモニタリングしたりするシステムが開発されている（例えば、特許文献１）。
　この特許文献１に開示されたシステムによれば、ユーザーに運動パラメーターを測定する装置を取り付け、運動活動中の運動者のモニタリングにより得られる運動パラメーターを、基本的なベースラインデータと比較して、その比較結果が許容範囲内にあるか否かに応じて、再生される音楽を変化させるなどして、運動活動時におけるリアルタイムのフィードバックをユーザーに与えることができる。
　ところで、運動パラメーターは数値やグラフで表現されるものであるため、詳細な動きを記録することができるものの、実際の体動をイメージしづらいことから、運動活動中のユーザーの姿をビデオカメラ等で撮影し、その映像とパラメーターとを比較しながら体動を確認したいという要請がある。
特開２０１３－２１５５９０号公報
　しかしながら、運動時のユーザーの体動は瞬間的に複雑に変化するものであることから、撮影機器や動画処理の特性によっては、再生した映像と運動パラメーターの表示とに微妙な時間的ズレが生じる可能性がある。再生した映像と運動パラメーターの表示とに時間的ズレが生じた場合には、体動の解析精度が低下し、適切なトレーニングやコーチングができなくなる惧れがある。
　そこで、本発明は、上記のような問題を解決するものであり、ユーザーの身体の運動活動をキャプチャーするシステムにおいて、複雑な体動を映像と性格に同期させ、比較しながら詳細に理解できるように表示・出力するモーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法を提供することを目的とする。
　上記課題を解決するために、本発明は、装着者の体動を検出するモーションキャプチャーシステムであって、装着者の任意の部位に装着され、各部位の三次元的な変位又は加速度を測定可能な複数の体動センサーと、装着者の体動を撮影し記録する撮影手段と、体動センサーによる検出結果を体動データとして、撮影手段が記録した映像と対比可能に同期させて表示する出力デバイスと、体動データを表示する時間軸と、映像を表示する時間軸とを合致させる同期処理を実行する同期処理部とを備え、同期処理部は、体動センサーを反応させる装着者による所定の特徴的行為を映像又は音声中から抽出するとともに、体動データ中の特徴的行為による特徴的反応を抽出し、抽出された特徴的行為のタイミングと特徴的反応のタイミングとを合致させることにより同期処理を行う。
　本発明は、装着者の体動を検出するモーションキャプチャーシステムであって、装着者の任意の部位に装着され、各部位の三次元的な変位又は加速度を測定可能な複数の体動センサーと、装着者の体動を撮影し記録する撮影手段と、体動センサーによる検出結果を体動データとして、撮影手段が記録した映像と対比可能に同期させて表示する出力デバイスと発光又は音声信号の出力によるキャリブレーション信号を発信するキャリブレーション信号発信部と、キャリブレーション信号を発信したタイミングを示すキャリブレーション制御信号を取得するキャリブレーション制御信号取得部と、体動データを表示する時間軸と、映像を表示する時間軸とを合致させる同期処理を実行する同期処理部とを備え、同期処理部は、キャリブレーション信号発信部が発信したキャリブレーション信号を映像又は音声中から抽出するとともに、抽出されたキャリブレーション信号のタイミングとキャリブレーション制御信号取得部が取得したキャリブレーション制御信号が示すタイミングとを合致させることにより同期処理を行う。
　本発明は、装着者の体動を検出するモーションキャプチャー方法であって、
・装着者の任意の部位に装着された体動センサーにより、各部位の三次元的な変位又は加速度を測定するとともに、体動センサーによる検出結果を体動データとして体動記録部に記録する体動記録ステップと、
・撮影手段が装着者の体動を撮影し記録する撮影ステップと、
・体動センサーによる検出結果を体動データとして表示する時間軸と、撮影手段が記録した映像を表示する時間軸とを合致させる同期処理を実行するとともに、体動データを映像と対比可能に同期させて出力デバイスが表示する出力ステップと
を含み、
　出力ステップにおいて同期処理部は、体動センサーを反応させる装着者による所定の特徴的行為を映像又は音声中から抽出するとともに、体動データ中の特徴的行為による特徴的反応を抽出し、抽出された特徴的行為のタイミングと特徴的反応のタイミングとを合致させることにより同期処理を行う。
　また、本発明は、装着者の体動を検出するモーションキャプチャー方法であって、
・装着者の任意の部位に装着された体動センサーにより、各部位の三次元的な変位又は加速度を測定するとともに、体動センサーによる検出結果を体動データとして体動記録部に記録する体動記録ステップと、
・撮影手段が装着者の体動を撮影し記録する撮影ステップと、
・発光又は音声信号の出力によるキャリブレーション信号を発信するキャリブレーション信号発信部が、キャリブレーション信号を発信したタイミングを示すキャリブレーション制御信号を、キャリブレーション制御信号取得部が取得するキャリブレーション制御信号取得ステップと、
・体動センサーによる検出結果を体動データとして表示する時間軸と、撮影手段が記録した映像を表示する時間軸とを合致させる同期処理を実行するとともに、体動データを映像と対比可能に同期させて出力デバイスが表示する出力ステップとを含み、
　出力ステップにおいて同期処理部は、キャリブレーション信号発信部が発信したキャリブレーション信号を映像又は音声中から抽出するとともに、抽出されたキャリブレーション信号のタイミングとキャリブレーション制御信号取得部が取得したキャリブレーション制御信号が示すタイミングとを合致させることにより同期処理を行う。
　なお、上述した本発明に係るシステムや方法は、所定の言語で記述された本発明のプログラムをコンピューター上で実行することにより実現することができる。すなわち、本発明に係るプログラムは、通信機能及び情報出力機能を有する複数の情報処理端末を用い、移動体に対して速度に関する情報を提示するペースメーカープログラムであって、情報処理端末を、複数の情報処理端末がそれぞれ有する通信機能を通じて、各情報処理端末の情報出力機能から速度に関する情報を出力するタイミングを制御する連携制御部として機能させる。
　このような本発明のプログラムを、携帯端末装置やスマートフォン、ウェアラブル端末、タブレットＰＣその他の情報処理端末、パーソナルコンピューターやサーバーコンピューター等の汎用コンピューターのＩＣチップ、メモリ装置にインストールし、ＣＰＵ上で実行することにより、上述した各機能を有するシステムを構築して、本発明に係る方法を実施することができる。
　すなわち、本発明は、装着者の体動を検出するモーションキャプチャープログラムであって、情報処理端末を、装着者の任意の部位に装着され、各部位の三次元的な変位又は加速度を測定可能な複数の体動センサーによる検出結果を体動データとして記録する体動記録部と、体動センサーによる検出結果を体動データとして、装着者の体動を撮影し記録する撮影手段が記録した映像と対比可能に同期させて表示する出力デバイスと体動データを表示する時間軸と、映像を表示する時間軸とを合致させる同期処理を実行する同期処理部として機能させ、同期処理部は、体動センサーを反応させる装着者による所定の特徴的行為を映像又は音声中から抽出するとともに、体動データ中の特徴的行為による特徴的反応を抽出し、抽出された特徴的行為のタイミングと特徴的反応のタイミングとを合致させることにより同期処理を行うことを特徴とする。
　本発明は、装着者の体動を検出するモーションキャプチャープログラムであって、情報処理端末を、装着者の任意の部位に装着され、各部位の三次元的な変位又は加速度を測定可能な複数の体動センサーと、装着者の体動を撮影し記録する撮影手段と、体動センサーによる検出結果を体動データとして、撮影手段が記録した映像と対比可能に同期させて表示する出力デバイスと発光又は音声信号の出力によるキャリブレーション信号を発信するキャリブレーション信号発信部が、キャリブレーション信号を発信したタイミングを示すキャリブレーション制御信号を取得するキャリブレーション制御信号取得部と、体動データを表示する時間軸と、映像を表示する時間軸とを合致させる同期処理を実行する同期処理部として機能させ、同期処理部は、キャリブレーション信号発信部が発信したキャリブレーション信号を映像又は音声中から抽出するとともに、抽出されたキャリブレーション信号のタイミングとキャリブレーション制御信号取得部が取得したキャリブレーション制御信号が示すタイミングとを合致させることにより同期処理を行う。
　以上述べたように、この発明によれば、装着者の体動を記録する際、予め、体動センサーを反応させる装着者による所定の特徴的行為を映像に映し込んでおいたり、発光又は音声信号によるキャリブレーション信号の発信を録画若しくは録音を記録しておく。そして、記録された特徴的行為又はキャリブレーション信号を映像又は音声中から抽出するとともに、抽出された特徴的行為又はキャリブレーション信号のタイミングとキャリブレーション制御信号が示すタイミングとを合致させることにより、体動データを表示する時間軸と、映像を表示する時間軸とを同期させる処理を行う。これにより、記録された体動データと撮影した映像とを同期させたうえで対比可能に表示させることができる。この結果、本発明によれば、撮影機器や動画処理の特性によって、再生した映像と体動データ中の運動パラメーターの表示とに微妙な時間的ズレが生じるような場合でも、装着者の運動活動による体動を映像と正確に同期させて表示・出力でき、体動の解析精度を高めて、適切なトレーニングやコーチングが可能となる。
第１及び第２実施形態に係るモーションキャプチャーシステムの使用態様を示す説明図である。 第１及び第２実施形態で取得される体動再現データの一例である。 第１実施形態に係る各装置の内部構成を示すブロック図である。 第１実施形態に係るモーションキャプチャー方法を示すシーケンス図である。 第１実施形態に係るモーションキャプチャーにおけるデータ再生処理を示すフロー図である。 第１及び第２実施形態に係るモーションキャプチャーシステムの表示画面（個別波形）を示す画面構成図である。 第１及び第２実施形態に係るモーションキャプチャーシステムの表示画面（波形重ね合わせ）を示す画面構成図である。 第２実施形態に係る各装置の内部構成を示すブロック図である。 第２実施形態に係るモーションキャプチャー方法を示すシーケンス図である。 第２実施形態に係るモーションキャプチャーにおける同期処理を示すフロー図である。
［第１実施形態］
　以下、本発明の第１実施形態について図面を参照して説明する。本実施形態では、情報端末装置１００を用いて、自転車競技に本発明を適用し、自転車競技についての体動計測及びコーチングを可能とするシステムを提供する。なお、以下に示す実施の形態は、この発明の技術的思想を具体化するための装置などを例示するものであって、この発明の技術的思想は、各構成部品の材質、形状、構造、配置などを下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。
（モーションキャプチャーシステムの構成）
　図１は、本実施形態に係る情報端末装置１００を用いたモーションキャプチャーシステムの使用態様を示す説明図であり、図２は、本実施形態に係るモーションキャプチャーシステムにより取得された体動再現データの一例である。また、図３は、各装置の内部構成を示すブロック図である。
　図１～図３に示すように、本実施形態に係るモーションキャプチャーシステムは、装着者１に装着される情報端末装置１００と、装着者の身体各部位に装着され情報端末装置１００に対して無線接続される体動センサー４０（４０ａ～４０ｃ）とから構成されている。なお、本実施形態では、基本的に情報端末装置１００と体動センサー４０との間における近距離無線通信で構築される範囲でシステムが構築可能となっており、通信ネットワーク上のサーバー等とは実際の測定時には接続されず、いわゆるオフラインでのスタンドアローンとして、システムの運用が可能となっている。
（各装置の構成）
（１）体動センサー
　体動センサー４０ａ～４０ｃは、装着者１の運動が行われる部位に装着され各部位の三次元的な変位又は加速度を検出するセンサーである。本実施形態において体動センサー４０は、装着者の右足の甲に取り付けられる右足体動センサー４０ａと、装着者の左足の甲に取り付けられる左足体動センサー４０ｂと、装着者の腰に取り付けられる腰部体動センサー４０ｃとから構成されている。これら体動センサー４０ａ～４１ｃは、物体の加速度を計測する３軸加速度計と、物体の角速度を検出する３軸ジャイロスコープ、磁場の大きさ・方向を計測する３軸磁気センサーが搭載され、９軸の動きを検知可能となっている。なお、各体動センサー４０は、クリップ等の部材などによって装着者の靴やベルト、衣服などに着脱可能であり、容易に各センサーを着脱して測定を行うことができ、装着者に負担を与えずに継続的な測定を行うことが容易である。
　そして、これらの体動センサー４０（各体動センサー４０ａ～４０ｃ）は、図３に示すように、それぞれ無線通信部を有している。この無線通信部は、内部にアンテナを有し、ＢＴＬＥ（Bluetooth（登録商標） Low Energy，Bluetooth（登録商標） 4.0）等による近距離無線通信のデータ通信用プロトコルを実行する機能によって、情報端末装置１００と通信処理が可能となっている。なお、本実施形態において、各体動センサー４０の無線通信部は、低消費電力通信用のプロトコルとしてＢＴＬＥを採用したが、例えば、ＡＮＴ、ＡＮＴ＋等を採用することもできる。また、通常のBluetooth（登録商標）を採用することもできる。
（２）情報端末装置
　図３に本実施形態に係る情報端末装置の内部構成を示す。本実施形態に係る情報端末装置１００は、図１に示すように、スマートフォンなどの小型の端末装置であり、走行中に他の機能を使えるように自転車のハンドル部分等にマウントして用いるが、走行中に体動データの記録のみを行うときにはバッグなどの収納具にしまっておいてもよい。
　情報端末装置１００は、図３に示すように、無線インターフェース１１３と、制御部１７０と、メモリ１１４と、出力インターフェース１１１と、入力インターフェース１１２とを備えている。詳述すると、本実施形態に係る情報端末装置１００は、各体動センサー４０によって検出された検出結果を収集する機能を有し、無線インターフェース１１３によって各体動センサー４０と相互に通信処理を行って、各体動センサー４０による検出結果を取得できるようになっている。情報端末装置１００のメモリ１１４は、体動センサー４０による検出結果を体動データとして記録する体動記録部としての機能を果たしている。ここで、体動データとは、各種センサーが検出した生データであり、この体動データを記録し解析し、必要な情報を抽出したり、補正したりしたデータが体動再現データである。
　なお、各体動センサー４０から送信される検出結果には、各体動センサー４０を識別するセンサー識別情報が付加されており、情報端末装置１００のメモリ１１４には、当該識別情報が蓄積され、制御部１７０では無線インターフェース１１３から取得した際、いずれの体動センサー４０から取得した検出結果であるかを判別可能となっている。なお、この識別情報には、各センサーの装着部位を特定する装着部位情報が含まれており、この装着部位情報に基づいて、体動再現データの算出が可能となっている。さらに体動データ内には、各体動センサー４０から検出結果を取得した際の時刻情報も含まれている。
　無線インターフェース１１３は、通信ネットワークを介した各種情報の送受信や、wifiやBluetooth（登録商標）等の近距離無線通信を制御するモジュールであり、種々のプロトコルにより、各体動センサー４０と通信をしたり、３Ｇ通信により上記サーバー装置等との間でデータの送受信を行う。
　さらに、情報端末装置１００は、出力インターフェース１１１と入力インターフェース１１２とを備えている。入力インターフェース１１２は、マウス、キーボード、操作ボタンやタッチパネルなどユーザー操作を入力するデバイスである。また、出力インターフェース１１１には、ディスプレイやスピーカーなど、映像や音響を出力するデバイスが含まれる。特に、この出力インターフェース１１１には、液晶ディスプレイなどの表示部が含まれるとともに、この表示部は、入力インターフェースであるタッチパネルに重畳されている。
　出力インターフェース１１１に接続された表示部は、体動再現データに対する解析結果を表示又は出力する出力デバイスであり、表示情報生成部１７０ｅによって生成された表示情報を、出力インターフェース１１１を通じて表示する。この表示部に掌は、情報端末装置１００に内蔵されたディスプレイや、外部に接続された外部ディスプレイに表示される。
　一方、入力インターフェース１１２は、動画取得部１１２ａを備えている。この動画取得部１１２ａは、装着者の体動を撮影し記録した動画データを取得するモジュールである。この動画取得部１１２ａが取得する動画データには、映像が記録された映像データと、その映像とともに録音された音声データ、撮影時刻、終了時刻、時間経過などのタイムスタンプ等のメタデータが含まれる。入力インターフェース１１２には、情報端末装置１００に内蔵された内蔵カメラ１１５や、外部の外部カメラ２０が接続可能となっており、これらの撮影手段で撮影された動画データが動画取得部１１２ａによって取得され、メモリ１１４に蓄積されたり、制御部１７０における処理に供される。なお、外部カメラ２０から取得される動画データには、撮影時に逐次リアルタイムで取得されるストリーミングデータの他、外部カメラ２０で撮影され蓄積されたファイル形式の動画データを撮影後にダウンロードして取得されるものも含まれる。
　また、情報端末装置１００は、本実施形態において、各センサーから取得した体動データに基づいて、装着者の体動を解析し、体動再現データを生成する機能を有している。具体的に情報端末装置１００は、図３に示すように、制御部１７０を備えており、この制御部１７０は、各部を制御する際に必要な種々の演算を行うＣＰＵ等の演算処理装置である。なお、情報端末装置１００の各機能は、この制御部１７０において、本発明のモーションキャプチャープログラムを実行することにより、制御部１７０上に仮想的に構築される。詳述すると、制御部１７０は、モーションキャプチャーアプリケーションが実行されることによって、体動データ取得部１７０ａと、体動算出部１７０ｂと、解析部１７０ｄと、表示情報生成部１７０ｅとが仮想的に構築される。
　体動データ取得部１７０ａは、無線インターフェース１１３を介して、各体動センサー４０から体動データを取得するモジュールであり、本実施形態では、各体動センサー４０ａ～４０ｃと無線通信を行って、これらの検出結果である体動データを取得する。この体動データは、一時的にメモリ１１４内に蓄積され、その後、体動センサー４０による各検出結果は、体動算出部１７０ｂに送信される。
　体動算出部１７０ｂは、メモリ１１４（体動記録部）に蓄積された体動センサー４０ａ～４０ｃによる各検出結果と、各体動センサー４０ａ～４０ｃの変位や回転、それらの加速度に基づいて、装着者の体動を体動再現データとして算出するモジュールである。ここで、体動センサー４０による各検出結果とは、いわゆる９軸センサーで測定される値であり、本実施形態では、物体に作用する加速度（重力加速度を含む。）の方向と大きさ、物体の角速度（大きさ、方向、中心位置）、磁場の大きさ・方向（方角）である。
　ここで、算出される体動としては、ペダリングのスムーズさの指標、自転車のペダル軸の角速度ω、この角速度ωの時間的変化、及びその変化の滑らかさが含まれる。なお、本実施形態では、体動センサー４０ａ及び４０ｂは左右のシューズに取り付けられ、図２に示すように、センサーによって検出される回転運動はシューズの回転となるが、自転車を漕ぐ場合、シューズはペダル軸を中心として回転するので、このペダル軸の角速度をωとする。また、腰部体動センサー４０ｃは、装着者のベルトの背中側に取り付けられ、ペダルを漕ぐ動作に追従して左右に揺動することになる。
　さらに、本実施形態では、体動算出部１７０ｂは、メモリ１１４に蓄積された体動再現データに基づいて、体動に含まれる周期的な変化を抽出する。この周期的な変化としては、単純な円運動だけではなく、図２に示すように、立体的で且つ８の字や波状運動が複合された複雑な自由周回軌跡Ｃ１～Ｃ３が含まれ、この周回軌跡を振幅及び時間で表された波形として出力する。詳述すると、本実施形態では、装着者１の右足の甲に取り付けられる右足体動センサー４０ａによる周回運動がＣ１、装着者の左足の甲に取り付けられる左足体動センサー４０ｂによる周回運動がＣ２、装着者１の腰部の揺動がＣ３として抽出される。
　なお、本実施形態において、体動算出部１７０ｂは、体動センサー４０による各検出結果と、これら体動センサー４０の周回運動の変化特性に基づいて、装着者の体動を体動再現データとして算出する。このとき、体動算出部１７０ｂは、例えば、図２に示すように、各体動センサー４０の三次元的な自由周回軌跡Ｃ１～Ｃ３を算出する。そして、体動算出部１７０ｂは、算出した自由周回軌跡Ｃ１～Ｃ３の特性変化に基づいて、装着者の左右の脚それぞれにおける周回運動や要部の揺動の振幅やタイミング、崩れ等を評価する。そして、このようにして算出された自由周回軌跡Ｃ１～Ｃ３に基づいて体動再現データを算出する。
　解析部１７０ｄは、体動再現データに基づいて、装着者１の体動の各要素を項目毎に解析するモジュールである。本実施形態では、解析部１７０ｄは、体動算出部１７０ｂが抽出した周期運動における角速度変化や揺動の振幅やゆらぎの特性を解析する特性解析部としての機能を果たし、ここで解析された特性は、例えば、図７及び図８に示すような振幅－時間で定義されるタイムラインＷ２上に波形として表現され、ビデオデータと同期されたうえで、表示情報生成部１７０ｅを介して出力デバイスで表示又は出力される。
　具体的に、解析部１７０ｄによる解析では、自転車を漕ぐ動作、いわゆるペダリングの解析を行う。具体的には、各センサーの相対的な変位や角速度・角加速度の変化、ペダルクランクや装着者の骨格等に基づいて、体動再現データを解析し、力（Power）の時間変化、リズム（Cadence）、上半身角度の変化（Torso Angle）、腿の角度的な可動域（ＬＡＲ：Leg Angular Range）の変化、左右の足首（Foot）・膝（Knee）のＸ方向・Ｙ方向の変位、ウエスト（Waist）のＸ方向・Ｙ方向の変位を推定する。
　なお、この解析部１７０ｄによる他の解析方法としては、装着者１を３次元的に表示させた立体的なデータを生成するものであってもよく、また、ＸＹ平面に投影した２次元的なデータを生成するものであってもよい。また、例えば、模範となる体動データが蓄積されたメモリ１１４から、模範となる体動データを抽出し、装着者の体動再現データと比較することで、正常な体動とのズレなどを示した改善データを生成してもよい。さらには、予め、性別、身長、体重、年齢などユーザー情報を登録しておくことで、各ユーザー情報に基づいた解析を行ってもよい。そして、解析部１７０ｄは、この立体画像データや改善データなどの解析結果を情報端末装置１００に送信する。
　さらに、本実施形態において解析部１７０ｄは、同期処理部１７０ｆを備えている。同期処理部１７０ｆは、体動データを表示する時間軸と、カメラで撮影された映像を表示する時間軸とを合致させる同期処理を実行するために、キャリブレーション処理を実行するモジュールである。具体的に、本実施形態にかかる同期処理部１７０ｆは、体動センサー４０を反応させる装着者１による所定の特徴的行為（キャリブレーション行為）を映像又は音声中から抽出するとともに、体動データ中の特徴的行為による特徴的反応を抽出し、抽出された特徴的行為のタイミングと特徴的反応のタイミングとを合致させることにより同期処理を行う。この特徴的行為としては、例えば、装着者１がカメラの前で自身の体や体動センサー４０自体を所定か数だけ叩いたり揺すったりするなど、短時間中に体動センサー４０に対して所定回数振動を加えるような行為が挙げられる。
　このような特徴的行為の抽出処理としては、例えば画像認識処理によって所定時間長内において所定の形状や色の図形が一定の振幅やリズムで変位するのを検出することで、装着者１が「手で叩く」という行為をしていることを認識して、その間の最大変位となった映像中のフレームの撮影時刻を読み出し、その時間情報をキャリブレーション信号として検出する。また、動画データに音声データが含まれているときには、装着者１が叩く音を抽出して、その抽出された時間情報をキャリブレーション信号として検出してもよい。
　さらに、録画データが長時間にわたるサイズであるときには、ユーザー操作を補助的に行い、ユーザー操作によって指定された時間幅に絞って上記特徴的行為の抽出を行うようにしてもよい。一方、上述した体動センサー４０の特徴的反応の検出は、体動センサー４０に備えられた各種センサー、例えば加速度センサーの検出値を走査して、一定の振幅以上の反応が所定の時間幅内において所定回数繰り返されている箇所を抽出することにより行う。なお、この特徴的行為及び特徴的反応の検出は、いずれか一方を先に行い、検出された一方のタイムスタンプを参考にして、他方の走査範囲を絞って検出処理を実行するようにしてもよい。
　そして、抽出された特徴的行為のタイミングと特徴的反応のタイミングとを合致させるには、上述した特徴的行為が行われた時刻のタイムスタンプ（時間情報）と、特徴的反応が検出された時刻のタイムスタンプを整合させるように、両者の再生開始時刻を揃えることにより同期処理を行う。その際、繰り返し行われた行為や反応の間隔に差異がある場合には、動画の再生時間又は体動センサーのタイムラインの長さを伸張させて、動画データと体動再現データの再生開始時刻と終了時刻を整合させるようにして、同期させる。
　表示情報生成部１７０ｅは、出力インターフェース１１１で表示される表示情報を生成するモジュールであり、解析部１７０ｄが解析した体動再現データを動画に対応させて表示又は出力する表示情報を生成する。この表示情報は、本実施形態では図６及び図７に示すように、内蔵カメラ１１５や外部カメラ２０で撮影した動画をウィンドウＷ１に表示するとともに、解析部１７０ｄが解析した体動再現データを平面的な円形で表し、解析部１７０ｄが解析した体動再現データを表示するタイムラインＷ２とを、対比可能に同期させて表示する。なお、この表示情報には表示データとともに、音響信号やその他の出力制御信号が含まれる。
　また、表示画面には、タッチ操作のためのＧＵＩ（Graphical User Interface）Ｗ３が含まれ、このＧＵＩが表示されるタッチパネルに対する操作は、入力インターフェース１１２に入力され表示情報生成部１７０ｅによる表示を切り替えることができる。図示した例では、図６に示すように、外部カメラ２０で撮影した装着者１を背後から撮影した動画をＷ１に表示し、タイムラインＷ２には体動再現データに含まれる各運動パラメーターを個別的に表示し、表示モードを切り替えることにより、図７に示すように、情報端末装置１００の内蔵カメラ１１５で撮影した装着者１を正面から撮影した動画をＷ１に表示し、タイムラインＷ２には体動再現データに含まれる各運動パラメーターを重ね合わせて表示ている。なお、表示モードを切り替える他の様式としては、例えば、動画にタイムラインを重ね合わせて全画面表示するなど種々の方法を採用することができる。
　そして、同期された動画と体動再現データとを対比可能に同期させて出力する際は、図６及び図７に示すような、タイムライン上に表示された再生ポイントカーソルＰＰを左右にスライドさせることにより、そのタイムラインが示す時刻の動画中のフレームが表示される。この再生ポイントカーソルＰＰは、動画の再生と同期してタイムライン上を移動して時間進行を表示することができ、再生開始ポイントを指定してそこから動画の再生を指示したり、所定の時間幅を設定して、その間を繰り返し再生させるように設定させることもできる。
　メモリ１１４は、各種のデータを記録する記憶装置であり、各情報端末装置１００を識別する識別情報や、各体動センサー４０の装着部位情報、各部位に装着された体動センサー４０の相対位置関係、及び上述したユーザー情報や模範となる体動データなどが蓄積されている。
（モーションキャプチャー方法）
　以上の構成を有するモーションキャプチャーシステムを動作させることによって、本実施形態に係るモーションキャプチャー方法を実施することができる。図４に記録動作を示し、図５にデータ再生時の動作を示す。
（１）記録動作
　先ず、装着者１は、両足や腰などの任意の部位に各体動センサー４０ａ～４０ｃを装着する。また、装着者１は、マウント器具を介して情報端末装置１００を自転車のハンドルに固定するとともに、外部カメラ２０を自転車の後部に取り付けて、モーションキャプチャーを実行する。
　そして、情報端末装置１００側で本発明のプログラムであるアプリケーションを起動し、各体動センサー４０から検出結果を取得すべくアプリケーションに対して計測開始操作を入力するとともに、外部カメラ２０の撮影開始操作を行う（Ｓ２０１）。この計測開始操作を受けて、情報端末装置１００の制御部１７０は、各体動センサー４０と接続処理を行う（Ｓ１０１）。接続処理された後、各体動センサー４０では、装着者１の動作の検出を開始する（Ｓ１０２）。具体的には、装着者の身体各部位に取り付けられた体動センサー４０により、各部位の三次元的な変位、又は加速度を検出する。
　次いで、取得された各検出結果は、各体動センサー４０の無線通信部を介して、微弱電波により情報端末装置１００の無線インターフェース１１３へと送信される（Ｓ１０３）。情報端末装置１００の無線インターフェース１１３が各検出結果の取得が開始されると（Ｓ２０２）、体動記録部であるメモリ１１４は、体動センサー４０ａ～４０ｃによる検出結果を体動データとして順次記録してゆく（Ｓ２０３）。
　そして、自転車走行などの競技を開始する前に、操作者はキャリブレーション操作を行う（Ｓ２０４）。具体的には、例えば、装着者１がカメラの前で自身の体や体動センサー４０自体を所定か数だけ叩いたり揺すったりするなど、短時間中に体動センサー４０に対して所定回数振動を加えるような行為を行う。次いで、競技を開始し、競技中は継続して体動センサー４０の検出値の取得、及び録画処理が継続して実行され、メモリ１１４等に記録される（Ｓ２０５における「Ｎ」）。
　具体的には、情報端末装置１００に内蔵された内蔵カメラ１１５や、外部に接続された外部カメラ２０で撮影された動画データが動画取得部１１２ａによって取得され、メモリ１１４に蓄積されたり、制御部１７０における処理に供される。この間、体動センサー４０による検出データや録画された映像を、リアルタイムで解析して情報端末装置１００の表示部に表示するようにしてもよい。その後、競技が終了次第計測を終了するとともに（Ｓ２０５における「Ｙ」）、必要に応じて録画処理を停止する（Ｓ２０６）。その後、各センサーとの通信を切断する（Ｓ１０４）。
（２）再生同期処理
　このようにして記録された動画及び体動データは、以下のように再生される。すなわち、図５に示すように、体動データ取得部１７０ａにより体動データが取得され、動画取得部１１２ａにより動画データが取得されると、体動算出部１７０ｂ及び解析部１７０ｄでは、メモリ１１４に蓄積された体動センサー４０による各検出結果と、各体動センサー４０の相対位置関係に基づいて、装着者の体動を体動再現データとして算出及び解析する（Ｓ３０１）。
　次いで、動画中に映っている装着者１によるキャリブレーション行為及び体動データ中の特徴的波形を抽出する（Ｓ３０２及びＳ３０３）。具体的には、同期処理部１７０ｆが、体動センサー４０を反応させる装着者１による所定の特徴的行為（キャリブレーション行為）を映像又は音声中から抽出するとともに、体動データ中の特徴的行為による特徴的反応を抽出する。例えば、画像認識処理によって所定時間長内において所定の形状や色の図形が一定の振幅やリズムで変位するのを検出することで、装着者１が「手で叩く」という行為をしていることを認識して、その間の最大変位となった映像中のフレームの撮影時刻を読み出し、その時間情報をキャリブレーション信号として検出する。また、動画データに音声データが含まれているときには、装着者１が叩く音を抽出して、その抽出された時間情報をキャリブレーション信号として検出してもよい。一方、上述した体動センサー４０の特徴的反応の検出は、体動センサー４０に備えられた各種センサー、例えば加速度センサーの検出値を走査して、一定の振幅以上の反応が所定の時間幅内において所定回数繰り返されている箇所を抽出することにより行う。
　次いで、抽出された特徴的行為のタイミングと特徴的反応のタイミングとを合致させることにより動画と体動データの同期処理を行う（Ｓ３０５）。具体的には、上述した特徴的行為が行われた時刻のタイムスタンプ（時間情報）と、特徴的反応が検出された時刻のタイムスタンプを整合させるように、両者の再生開始時刻を揃えることにより同期処理を行う。その際、繰り返し行われた行為や反応の間隔に差異がある場合には、動画の再生時間又は体動センサーのタイムラインの長さを伸張させて、動画データと体動再現データの再生開始時刻と終了時刻を整合させるようにして、同期させる。このように、解析され対比可能に同期された動画及び体動再現データは、解析結果を情報端末装置１００のディスプレイやスピーカーによる音響等によって表示又は出力される（Ｓ３０５）。
（モーションキャプチャープログラム）
　なお、上述した本実施形態に係るモーションキャプチャーシステム及びモーションキャプチャー方法は、上述したモーションキャプチャーアプリケーションのように、所定の言語で記述された本発明のモーションキャプチャープログラムをコンピューター上で実行することにより実現することができる。すなわち、本発明のプログラムを、携帯端末装置やスマートフォン、ウェアラブル端末、モバイルＰＣその他の情報処理端末、パーソナルコンピューターやサーバーコンピューター等の汎用コンピューターのＩＣチップ、メモリ装置にインストールし、ＣＰＵ上で実行することにより、上述した各機能を有するシステムを構築してモーションキャプチャー方法を実施することができる。
（作用・効果）
　このような本実施形態によれば、装着者１の体動を記録する際、予め、体動センサー４０を反応させる装着者１によるキャリブレーション行為（所定の特徴的行為）を映像に映し込んでおき、記録された特徴的行為を映像又は音声中から抽出するとともに、抽出された特徴的行為のタイミングとキャリブレーション制御信号が示すタイミングとを合致させることにより、体動データを表示する時間軸と、映像を表示する時間軸とを同期させる処理を行う。これにより、本実施形態によれば、記録された体動データと撮影した映像とを同期させたうえで対比可能に表示させることができ、装着者１の運動活動による体動を映像と正確に同期させて表示・出力でき、体動の解析精度を高めて、適切なトレーニングやコーチングが可能となる。
　また、本実施形態に係るモーションキャプチャープログラムでは、例えば、通信回線を通じて配布することが可能であり、また、コンピューターで読み取り可能な記録媒体に記録することにより、スタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。この記録媒体として、具体的には、フレキシブルディスクやカセットテープ等の磁気記録媒体、若しくはＣＤ-ＲＯＭやＤＶＤ-ＲＯＭ等の光ディスクの他、ＲＡＭカードなど、種々の記録媒体に記録することができる。そして、このプログラムを記録したコンピューター読み取り可能な記録媒体によれば、汎用のコンピューターや専用コンピューターを用いて、上述したシステム及び方法を簡便に実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。
［第２実施形態］
　次いで、本発明の第２実施形態について説明する。本実施形態では、上述した第１実施形態では、撮影した動画と体動データとの同期処理を、装着者１が行うキャリブレーション行為に基づいて行うようにしたが、本実施形態では、体動センサー４０に組み込まれたキャリブレーション信号発信部により自動的に行うことを要旨とする。なお、本実施形態において、上述した第１実施形態と同一の構成要素には同一の符号を付し、その機能等は特に言及しない限り同一であり、その説明は省略する。
（各装置の構成）
（１）体動センサー
　本実施形態にかかる体動センサー４０ａ～４０ｃは、上述した第１実施形態で説明した構成に加え、図８に示すように、発光又は音声信号の出力によるキャリブレーション信号を発信するキャリブレーション信号発信部４０１（４０１ａ～４０１ｃ）を備えている。このキャリブレーション信号発信部４０１は、例えばＬＥＤ等の発光体をセンサー本体の外表面に視認可能に設けたり、スピーカー等の音声発信手段を設けたりして、光や音によるキャリブレーション信号を出力する。このキャリブレーション信号発信部４０１によるキャリブレーション信号の発信は、キャリブレーション制御信号取得部１７０ｃから送信されるキャリブレーション実行信号に基づいて実行されたり、装着者１の任意の操作に基づいて実行されたりする。装着者１の任意による操作としては、体動センサー４０本体に設けられた操作ボタンやその他の機器から制御信号を送信するなどがあり、キャリブレーション信号発信部４０１は、実際にキャリブレーション信号を発信した時刻をキャリブレーション制御信号としてキャリブレーション制御信号取得部１７０ｃに送信する。
（２）情報端末装置
　本実施形態にかかる情報端末装置１００は、上述した第１実施形態で説明した構成に加え、図８に示すように、キャリブレーション制御信号取得部１７０ｃを備えている。このキャリブレーション制御信号取得部１７０ｃは、キャリブレーション信号発信部４０１に対してキャリブレーション信号発信部４０１からキャリブレーション信号の発信を実行させるキャリブレーション実行信号を送信したり、実際にキャリブレーション信号を発信した時刻をキャリブレーション制御信号として取得する。このキャリブレーション制御信号取得部１７０ｃで取得されたキャリブレーション制御信号は解析部１７０ｄに入力される。
　本実施形態において、同期処理部１７０ｆは、キャリブレーション信号発信部４０１が発信したキャリブレーション信号を映像又は音声中から抽出する。また、同期処理部１７０ｆは、映像又は音声中から抽出されたキャリブレーション信号の発信タイミングと、キャリブレーション制御信号取得部１７０ｃが取得したキャリブレーション制御信号が示す実際の発信タイミングとを合致させることにより同期処理を行う。
（モーションキャプチャー方法）
　以上の構成を有するモーションキャプチャーシステムを動作させることによって、本実施形態に係るモーションキャプチャー方法を実施することができる。図９及び図１０に第２実施形態にかかる記録動作及びデータ再生時の動作を示す。
（１）記録動作
　先ず、装着者１は、両足や腰などの任意の部位に各体動センサー４０ａ～４０ｃを装着する。また、装着者１は、マウント器具を介して情報端末装置１００を自転車のハンドルに固定するとともに、外部カメラ２０を自転車の後部に取り付けて、モーションキャプチャーを実行する。
　そして、情報端末装置１００側で本発明のプログラムであるアプリケーションを起動し、各体動センサー４０から検出結果を取得すべくアプリケーションに対して計測開始操作を入力するとともに、外部カメラ２０の撮影開始操作を行う（Ｓ５０１）。この計測開始操作を受けて、情報端末装置１００の制御部１７０は、各体動センサー４０と接続処理を行う（Ｓ４０１）。接続処理された後、各体動センサー４０では、装着者１の動作の検出を開始する（Ｓ４０２）。具体的には、装着者の身体各部位に取り付けられた体動センサー４０により、各部位の三次元的な変位、又は加速度を検出する。
　次いで、取得された各検出結果は、各体動センサー４０の無線通信部を介して、微弱電波により情報端末装置１００の無線インターフェース１１３へと送信される（Ｓ４０３）。情報端末装置１００の無線インターフェース１１３が各検出結果の取得が開始されると（Ｓ５０２）、体動記録部であるメモリ１１４は、体動センサー４０ａ～４０ｃによる検出結果を体動データとして順次記録してゆく（Ｓ５０３）。
　そして、自転車走行などの競技を開始する前に、キャリブレーション動作を行う（Ｓ５０４）。本実施形態では、このキャリブレーション操作は、情報端末装置１００側のキャリブレーション制御信号取得部１７０ｃ主導で自動的に実行される。具体的には、例えば、キャリブレーション制御信号取得部１７０ｃから送信されるキャリブレーション実行信号に基づいて、光や音によるキャリブレーション信号をキャリブレーション信号発信部４０１から出力する。なお、このキャリブレーション信号発信部４０１によるキャリブレーション信号の発信は、装着者１の任意の操作に基づいて実行してもよく、他の機器から制御信号に基づいて実行してもよい。キャリブレーション信号発信部４０１は、実際にキャリブレーション信号を発信した時刻をキャリブレーション制御信号としてキャリブレーション制御信号取得部１７０ｃに送信し、このキャリブレーション制御信号はキャリブレーション制御信号取得部１７０ｃによって受信され、解析部１７０ｄを通じてメモリ１１４に記録される（Ｓ５０５）。
　次いで、競技を開始し、競技中は継続して体動センサー４０の検出値の取得、及び録画処理が継続して実行され、メモリ１１４等に記録される（Ｓ５０６における「Ｎ」）。具体的には、情報端末装置１００に内蔵された内蔵カメラ１１５や、外部に接続された外部カメラ２０で撮影された動画データが動画取得部１１２ａによって取得され、メモリ１１４に蓄積されたり、制御部１７０における処理に供される。この間、体動センサー４０による検出データや録画された映像を、リアルタイムで解析して情報端末装置１００の表示部に表示するようにしてもよい。その後、競技が終了次第計測を終了するとともに（Ｓ５０６における「Ｙ」）、必要に応じて録画処理を停止する（Ｓ５０７）。その後、各センサーとの通信を切断する（Ｓ４０５）。
（２）再生同期処理
　このようにして記録された動画及び体動データは、以下のように再生される。すなわち、図１０に示すように、体動データ取得部１７０ａにより体動データが取得され、動画取得部１１２ａにより動画データが取得されると、体動算出部１７０ｂ及び解析部１７０ｄでは、メモリ１１４に蓄積された体動センサー４０による各検出結果と、各体動センサー４０の相対位置関係に基づいて、装着者の体動を体動再現データとして算出及び解析する（Ｓ６０１）。
　次いで、動画に映っている体動センサー４０の発光や発信音出力によるキャリブレーション信号を抽出するとともに（Ｓ６０２）、キャリブレーション制御信号が示すキャリブレーション信号の発信記録をメモリ１１４から読み出す（Ｓ６０３）。具体的には、同期処理部１７０ｆが、体動センサー４０による発光や発信音出力（キャリブレーション信号）を映像又は音声中から抽出するとともに、キャリブレーション制御信号中に記されたキャリブレーション信号の発信時刻を読み出す。例えば、画像認識処理によって所定時間長内において所定の波長の光が一定の振幅やリズムで発光したのを認識し、その時間情報をキャリブレーション信号として検出する。また、動画データに音声データが含まれているときには、キャリブレーション信号発信部４０１が発した音声信号を抽出して、その抽出された時間情報をキャリブレーション信号として検出してもよい。
　次いで、抽出されたキャリブレーション信号のタイミングと、キャリブレーション制御信号のタイミングとを合致させることにより動画と体動データの同期処理を行う（Ｓ６０５）。具体的には、上述したキャリブレーション信号が発信された時刻のタイムスタンプ（時間情報）と、キャリブレーション制御信号の発信記録に記された時刻のタイムスタンプを整合させるように、両者の再生開始時刻を揃えることにより同期処理を行う。その際、繰り返し行われた行為や反応の間隔に差異がある場合には、動画の再生時間又は体動センサーのタイムラインの長さを伸張させて、動画データと体動再現データの再生開始時刻と終了時刻を整合させるようにして、同期させる。このように、解析され対比可能に同期された動画及び体動再現データは、解析結果を情報端末装置１００のディスプレイやスピーカーによる音響等によって表示又は出力される（Ｓ６０５）。
（モーションキャプチャープログラム）
　なお、上述した本実施形態に係るモーションキャプチャーシステム及びモーションキャプチャー方法も、上述したモーションキャプチャーアプリケーションのように、所定の言語で記述された本発明のモーションキャプチャープログラムをコンピューター上で実行することにより実現することができる。すなわち、本発明のプログラムを、携帯端末装置やスマートフォン、ウェアラブル端末、モバイルＰＣその他の情報処理端末、パーソナルコンピューターやサーバーコンピューター等の汎用コンピューターのＩＣチップ、メモリ装置にインストールし、ＣＰＵ上で実行することにより、上述した各機能を有するシステムを構築してモーションキャプチャー方法を実施することができる。
（作用・効果）
　このような本実施形態によれば、装着者の体動を記録する際、予め、発光又は音声信号によるキャリブレーション信号の発信を自動的に行うとともに、その信号による特徴的な反応を録画若しくは録音を記録しておく。そして、記録されたキャリブレーション信号を映像又は音声中から抽出するとともに、抽出されたキャリブレーション信号のタイミングとキャリブレーション制御信号が示すタイミングとを合致させることにより、体動データを表示する時間軸と、映像を表示する時間軸とを同期させる処理を行う。これにより、記録された体動データと撮影した映像とを同期させたうえで対比可能に表示させることができる。この結果、本実施形態によれば、撮影機器や動画処理の特性によって、再生した映像と体動データ中の運動パラメーターの表示とに微妙な時間的ズレが生じるような場合でも、装着者の運動活動による体動を映像と正確に同期させて表示・出力でき、体動の解析精度を高めて、適切なトレーニングやコーチングが可能となる。
　なお、本発明は、上記した各実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合せにより、種々の発明を形成できる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除してもよい。
　Ｃ１～Ｃ３…自由周回・揺動軌跡
　ＰＰ…再生ポイントカーソル
　Ｗ１…ウィンドウ
　Ｗ２…タイムライン
　Ｗ３…ＧＵＩ
　Ｘ…進行方向
　Ｙ…鉛直方向
　１…装着者
　２０…外部カメラ
　４０…体動センサー
　４０ａ…右足体動センサー
　４０ｂ…左足体動センサー
　４０ｃ…腰部体動センサー
　１００…情報端末装置
　１１１…出力インターフェース
　１１２…入力インターフェース
　１１２ａ…動画取得部
　１１３…無線インターフェース
　１１４…メモリ
　１１５…内蔵カメラ
　１７０…制御部
　１７０ａ…体動データ取得部
　１７０ｂ…体動算出部
　１７０ｃ…キャリブレーション制御信号取得部
　１７０ｄ…解析部
　１７０ｅ…表示情報生成部
　１７０ｆ…同期処理部
　４０１…キャリブレーション信号発信部

Claims (9)

  1. 　装着者の体動を検出するモーションキャプチャーシステムであって、
    　前記装着者の任意の部位に装着され、各部位の三次元的な変位又は加速度を測定可能な複数の体動センサーと、
    　前記装着者の体動を撮影し記録する撮影手段と、
    　前記体動センサーによる検出結果を体動データとして、前記撮影手段が記録した映像と対比可能に同期させて表示する出力デバイスと
    　前記体動データを表示する時間軸と、前記映像を表示する時間軸とを合致させる同期処理を実行する同期処理部と
    を備え、
    　前記同期処理部は、前記体動センサーを反応させる前記装着者による所定の特徴的行為を前記映像又は音声中から抽出するとともに、前記体動データ中の前記特徴的行為による特徴的反応を抽出し、抽出された前記特徴的行為のタイミングと前記特徴的反応のタイミングとを合致させることにより前記同期処理を行う
    ことを特徴とするモーションキャプチャーシステム。
  2. 　前記特徴的行為は、短時間中に前記体動センサーに所定回数振動を加えるものであることを特徴とする請求項１に記載のモーションキャプチャーシステム。
  3. 　装着者の体動を検出するモーションキャプチャーシステムであって、
    　前記装着者の任意の部位に装着され、各部位の三次元的な変位又は加速度を測定可能な複数の体動センサーと、
    　前記装着者の体動を撮影し記録する撮影手段と、
    　前記体動センサーによる検出結果を体動データとして、前記撮影手段が記録した映像と対比可能に同期させて表示する出力デバイスと
    　発光又は音声信号の出力によるキャリブレーション信号を発信するキャリブレーション信号発信部と、
    　前記キャリブレーション信号を発信したタイミングを示すキャリブレーション制御信号を取得するキャリブレーション制御信号取得部と、
    　前記体動データを表示する時間軸と、前記映像を表示する時間軸とを合致させる同期処理を実行する同期処理部と
    を備え、
    　前記同期処理部は、前記キャリブレーション信号発信部が発信した前記キャリブレーション信号を前記映像又は音声中から抽出するとともに、抽出された前記キャリブレーション信号のタイミングと前記キャリブレーション制御信号取得部が取得した前記キャリブレーション制御信号が示す前記タイミングとを合致させることにより前記同期処理を行う
    ことを特徴とするモーションキャプチャーシステム。
  4. 　装着者の体動を検出するモーションキャプチャープログラムであって、情報処理端末を、
    　前記装着者の任意の部位に装着され、各部位の三次元的な変位又は加速度を測定可能な複数の体動センサーによる検出結果を体動データとして記録する体動記録部と、
    　前記体動センサーによる検出結果を体動データとして、前記装着者の体動を撮影し記録する撮影手段が記録した映像と対比可能に同期させて表示する出力デバイスと
    　前記体動データを表示する時間軸と、前記映像を表示する時間軸とを合致させる同期処理を実行する同期処理部
    として機能させ、
    　前記同期処理部は、前記体動センサーを反応させる前記装着者による所定の特徴的行為を前記映像又は音声中から抽出するとともに、前記体動データ中の前記特徴的行為による特徴的反応を抽出し、抽出された前記特徴的行為のタイミングと前記特徴的反応のタイミングとを合致させることにより前記同期処理を行う
    ことを特徴とするモーションキャプチャープログラム。
  5. 　前記特徴的行為は、短時間中に前記体動センサーに所定回数振動を加えるものであることを特徴とする請求項４に記載のモーションキャプチャープログラム。
  6. 　装着者の体動を検出するモーションキャプチャープログラムであって、情報処理端末を、
    　前記装着者の任意の部位に装着され、各部位の三次元的な変位又は加速度を測定可能な複数の体動センサーと、
    　前記装着者の体動を撮影し記録する撮影手段と、
    　前記体動センサーによる検出結果を体動データとして、前記撮影手段が記録した映像と対比可能に同期させて表示する出力デバイスと
    　発光又は音声信号の出力によるキャリブレーション信号を発信するキャリブレーション信号発信部が、前記キャリブレーション信号を発信したタイミングを示すキャリブレーション制御信号を取得するキャリブレーション制御信号取得部と、
    　前記体動データを表示する時間軸と、前記映像を表示する時間軸とを合致させる同期処理を実行する同期処理部
    として機能させ、
    　前記同期処理部は、前記キャリブレーション信号発信部が発信した前記キャリブレーション信号を前記映像又は音声中から抽出するとともに、抽出された前記キャリブレーション信号のタイミングと前記キャリブレーション制御信号取得部が取得した前記キャリブレーション制御信号が示す前記タイミングとを合致させることにより前記同期処理を行う
    ことを特徴とするモーションキャプチャープログラム。
  7. 　装着者の体動を検出するモーションキャプチャー方法であって、
    　前記装着者の任意の部位に装着された体動センサーにより、各部位の三次元的な変位又は加速度を測定するとともに、前記体動センサーによる検出結果を体動データとして体動記録部に記録する体動記録ステップと、
    　撮影手段が前記装着者の体動を撮影し記録する撮影ステップと、
    　前記体動センサーによる検出結果を体動データとして表示する時間軸と、前記撮影手段が記録した映像を表示する時間軸とを合致させる同期処理を実行するとともに、前記体動データを前記映像と対比可能に同期させて出力デバイスが表示する出力ステップと
    を含み、
    　前記出力ステップでは、前記体動センサーを反応させる前記装着者による所定の特徴的行為を前記映像又は音声中から抽出するとともに、前記体動データ中の前記特徴的行為による特徴的反応を抽出し、抽出された前記特徴的行為のタイミングと前記特徴的反応のタイミングとを合致させることにより前記同期処理を行う
    ことを特徴とするモーションキャプチャー方法。
  8. 　前記特徴的行為は、短時間中に前記体動センサーに所定回数振動を加えるものであることを特徴とする請求項７に記載のモーションキャプチャー方法。
  9. 　装着者の体動を検出するモーションキャプチャー方法であって、
    　前記装着者の任意の部位に装着された体動センサーにより、各部位の三次元的な変位又は加速度を測定するとともに、前記体動センサーによる検出結果を体動データとして体動記録部に記録する体動記録ステップと、
    　撮影手段が前記装着者の体動を撮影し記録する撮影ステップと、
    　発光又は音声信号の出力によるキャリブレーション信号を発信するキャリブレーション信号発信部が、前記キャリブレーション信号を発信したタイミングを示すキャリブレーション制御信号を、キャリブレーション制御信号取得部が取得するキャリブレーション制御信号取得ステップと、
    　前記体動センサーによる検出結果を体動データとして表示する時間軸と、前記撮影手段が記録した映像を表示する時間軸とを合致させる同期処理を実行するとともに、前記体動データを前記映像と対比可能に同期させて出力デバイスが表示する出力ステップと
    を含み、
    　前記出力ステップにおいて前記同期処理部は、前記キャリブレーション信号発信部が発信した前記キャリブレーション信号を前記映像又は音声中から抽出するとともに、抽出された前記キャリブレーション信号のタイミングと前記キャリブレーション制御信号取得部が取得した前記キャリブレーション制御信号が示す前記タイミングとを合致させることにより前記同期処理を行う
    ことを特徴とするモーションキャプチャー方法。
PCT/JP2019/042598 2018-10-31 2019-10-30 モーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法 WO2020090899A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/288,915 US20210398665A1 (en) 2018-10-31 2019-10-30 Motion-capture system, motion-capture program, and motion-capture method
EP19879811.8A EP3875159A4 (en) 2018-10-31 2019-10-30 MOTION CAPTURE SYSTEM, MOTION CAPTURE PROGRAM AND MOTION CAPTURE METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-205106 2018-10-31
JP2018205106A JP7307447B2 (ja) 2018-10-31 2018-10-31 モーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法

Publications (1)

Publication Number Publication Date
WO2020090899A1 true WO2020090899A1 (ja) 2020-05-07

Family

ID=70462097

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/042598 WO2020090899A1 (ja) 2018-10-31 2019-10-30 モーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法

Country Status (4)

Country Link
US (1) US20210398665A1 (ja)
EP (1) EP3875159A4 (ja)
JP (1) JP7307447B2 (ja)
WO (1) WO2020090899A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918249A (zh) * 2020-07-29 2020-11-10 福州数据技术研究院有限公司 一种智能穿戴设备同步方法及存储介质
CN112090053A (zh) * 2020-09-14 2020-12-18 成都拟合未来科技有限公司 一种3d交互健身训练方法、装置、设备和介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7067513B2 (ja) * 2019-03-25 2022-05-16 日本電信電話株式会社 映像同期装置、映像同期方法、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005110850A (ja) * 2003-10-06 2005-04-28 Hitachi Metals Ltd 身体運動の評価方法、スイング動作評価方法および身体運動の計測システム
JP2013215590A (ja) 2007-02-16 2013-10-24 Nike Internatl Ltd 運動情報のリアルタイム比較法
US20160065984A1 (en) * 2014-09-03 2016-03-03 Farzad Nejat Systems and methods for providing digital video with data identifying motion

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9401178B2 (en) * 2010-08-26 2016-07-26 Blast Motion Inc. Event analysis system
US9235765B2 (en) * 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
JP2013192591A (ja) * 2012-03-16 2013-09-30 Seiko Epson Corp 運動解析情報収集装置、運動解析装置及び運動解析方法
JP2018085575A (ja) * 2016-11-21 2018-05-31 カシオ計算機株式会社 画像処理装置、解析システム、画像処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005110850A (ja) * 2003-10-06 2005-04-28 Hitachi Metals Ltd 身体運動の評価方法、スイング動作評価方法および身体運動の計測システム
JP2013215590A (ja) 2007-02-16 2013-10-24 Nike Internatl Ltd 運動情報のリアルタイム比較法
US20160065984A1 (en) * 2014-09-03 2016-03-03 Farzad Nejat Systems and methods for providing digital video with data identifying motion

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KEITA KOJIMA, YOSHIFUMI MARUTANI, SHOJI KAJITA, KENJI MASE: "Effect On Workers' Skill By Displaying Skill Videos Synchronized With Results Of Acceleration Analysis", CORRESPONDENCES ON HUMAN INTERFACE SOCIETY, vol. 13, no. 1, 28 February 2011 (2011-02-28), JP, pages 41 - 48, XP009520972, ISSN: 2185-9329 *
KENTARO YOSHIDA, YUSEI HORIUCHI, YASUAKI MAKINO, HIROYUKI SHINODA: "Estimation and presentation of vibration based on the first-person videos using machine learning", THE 22ST ANNUAL CONFERENCE OF THE VIRTUAL REALITY SOCIETY OF JAPAN, 27 September 2017 (2017-09-27), XP009520971, ISSN: 1349-5062 *
See also references of EP3875159A4
SHOHEI UEDA ET AL: "Feasibility study on recording and experiencing walking sensation using scenery optic flow and foot vibration", TRANSACTIONS OF THE VIRTUAL REALITY SOCIETY OF JAPAN, vol. 21, no. 1, 31 March 2016 (2016-03-31), pages 15 - 22, XP055704318, ISSN: 1344-011X, DOI: 10.18974/tvrsj.21.1_15 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918249A (zh) * 2020-07-29 2020-11-10 福州数据技术研究院有限公司 一种智能穿戴设备同步方法及存储介质
CN111918249B (zh) * 2020-07-29 2023-11-28 福州数据技术研究院有限公司 一种智能穿戴设备同步方法及存储介质
CN112090053A (zh) * 2020-09-14 2020-12-18 成都拟合未来科技有限公司 一种3d交互健身训练方法、装置、设备和介质

Also Published As

Publication number Publication date
EP3875159A1 (en) 2021-09-08
JP7307447B2 (ja) 2023-07-12
JP2020069087A (ja) 2020-05-07
US20210398665A1 (en) 2021-12-23
EP3875159A4 (en) 2021-12-22

Similar Documents

Publication Publication Date Title
JP5811360B2 (ja) 運動情報表示システムおよび運動情報表示方法、運動情報表示プログラム
JP6332830B2 (ja) 運動支援システム及び運動支援方法、運動支援プログラム
WO2020090899A1 (ja) モーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法
US10105106B2 (en) Exercise information display system, exercise information display method and computer-readable recording medium
US20170221379A1 (en) Information terminal, motion evaluating system, motion evaluating method, and recording medium
JP7209363B2 (ja) スタビリティ評価システム、プログラム及び方法
JP2015116288A (ja) 運動情報表示システムおよび運動情報表示方法、運動情報表示プログラム
CN110997093A (zh) 信息处理装置、信息处理方法和程序
JP2016043260A (ja) 運動解析装置、運動解析方法、および運動解析システム
JP6094476B2 (ja) 撮影システム、その制御方法、および、その制御プログラム
CN113076002A (zh) 基于多部位动作识别的互联健身竞技系统及方法
JP6337980B2 (ja) 運動状態検出装置、その制御方法、および、その制御プログラム
JP6482106B2 (ja) モーションキャプチャシステム、モーションキャプチャプログラム及びモーションキャプチャ方法
TW200842653A (en) Human body exercise pose distribution analyzing method and the system thereof
WO2023100565A1 (ja) ランニングフォーム評価システム、プログラム及び方法
TW201900108A (zh) 運動記錄裝置及運動記錄系統
WO2024005183A1 (ja) ランニングフォーム評価システム、プログラム及び方法
KR101836857B1 (ko) 퍼포먼스 인지 서비스를 위한 웨어러블 기기, 단말기 및 이를 이용한 서비스 제공 시스템
WO2023195461A1 (ja) ランニングフォーム解析システム、プログラム及び方法
TW201904517A (zh) 可攜式運動監視系統
JP7188422B2 (ja) 画像処理装置、解析システム、画像処理方法及びプログラム
WO2021070250A1 (ja) 情報処理端末装置の連結機構及び連結方法
JP2016131603A (ja) 身体活動検出装置
JP2004340882A (ja) 超音波を利用したエンターテイメント用三次元座標計測装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19879811

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019879811

Country of ref document: EP

Effective date: 20210531