WO2023067694A1 - データ生成装置、学習システム、推定装置、データ生成方法、および記録媒体 - Google Patents

データ生成装置、学習システム、推定装置、データ生成方法、および記録媒体 Download PDF

Info

Publication number
WO2023067694A1
WO2023067694A1 PCT/JP2021/038615 JP2021038615W WO2023067694A1 WO 2023067694 A1 WO2023067694 A1 WO 2023067694A1 JP 2021038615 W JP2021038615 W JP 2021038615W WO 2023067694 A1 WO2023067694 A1 WO 2023067694A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
pseudo
gait
vector
measured
Prior art date
Application number
PCT/JP2021/038615
Other languages
English (en)
French (fr)
Inventor
晨暉 黄
善喬 野崎
謙一郎 福司
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/038615 priority Critical patent/WO2023067694A1/ja
Publication of WO2023067694A1 publication Critical patent/WO2023067694A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics

Definitions

  • the present disclosure relates to a data generation device and the like that generate a data set used for learning a model that estimates a physical state using gait data.
  • gait characteristics included in walking patterns.
  • characteristics also called gait
  • techniques for analyzing gaits based on sensor data measured by sensors mounted on footwear such as shoes have been developed.
  • Features of gait events associated with health conditions appear in time-series data of sensor data.
  • Patent Document 1 discloses a learning device that generates a learning model using rehabilitation data collected within a predetermined period.
  • the device of Patent Literature 1 generates, as learning data, rehabilitation data including an index indicating the degree of recovery of the trainee and setting parameters.
  • the device of Patent Literature 1 performs machine learning using learning data to generate a learning model that receives an index as an input and outputs a recommended value for a setting parameter.
  • Non-Patent Document 1 discloses the extension of inertial sensor-based walking data.
  • walking data is expanded by adding random temporal fluctuations to time-series data of sensor data measured by an inertial sensor.
  • Patent Document 1 With the method of Patent Document 1, it is necessary to collect as much rehabilitation data as possible in order to generate a sufficiently accurate learning model. However, in order to collect a sufficient number of rehabilitation data, it was necessary to increase the number of trainees' walking training, and a huge amount of time and effort was required to collect the data.
  • the data set used for learning is expanded by extending the time-series data of the sensor data corresponding to the explanatory variables and associating the response variables with the extended explanatory variables. That is, according to the method of Non-Patent Document 1, it is possible to save the time and effort necessary for data collection.
  • the data set can be expanded when the response variable is a fixed value, such as a personal authentication ID (Identifier).
  • the response variable is a continuous numerical value, the response variable cannot be associated with the extended explanatory variable, so the data set cannot be extended.
  • An object of the present disclosure is to provide a data generation device or the like that can generate a data set used for learning even if the response variable is a continuous numerical value.
  • a data generation device acquires paired data in which measured gait data related to sensor data measured according to the movement of a user's feet and response variables corresponding to the measured gait data are combined.
  • a measurement that generates a measurement data set vector by combining an acquisition unit, a feature amount vector calculated using a feature amount extracted from measured gait data, and a response variable, and generates a covariance matrix for multiple paired data.
  • a data processing unit that generates pseudo gait data using measured gait data, a pseudo feature quantity vector calculated using the pseudo feature quantity extracted from the pseudo gait data, and a covariance with respect to the pseudo feature quantity vector; a pseudo data generation unit that generates a pseudo data set vector by combining a pseudo response variable generated using a matrix, and an output unit that outputs a data set including the measurement data set vector and the pseudo data set vector.
  • paired data obtained by combining measured gait data related to sensor data measured according to the movement of the user's feet and response variables corresponding to the measured gait data is acquired.
  • a measurement data set vector is generated by combining the feature amount vector calculated using the feature amount extracted from the measured gait data and the response variable, a covariance matrix is generated for a plurality of 4-pair data, and the measurement Pseudo gait data is generated using the gait data, and the pseudo feature amount vector calculated using the pseudo feature amount extracted from the pseudo gait data and the covariance matrix for the pseudo feature amount vector are used.
  • a pseudo dataset vector is generated by combining with the simulated response variables obtained, and a dataset including the measurement dataset vector and the pseudo dataset vector is output.
  • a program acquires paired data in which measured gait data related to sensor data measured according to the movement of a user's foot and response variables corresponding to the measured gait data are combined. , a process of generating a measurement data set vector by combining a feature amount vector calculated using a feature amount extracted from measured gait data and a response variable, and a process of generating a covariance matrix for a plurality of paired data. , a process of generating pseudo gait data using measured gait data, a pseudo feature quantity vector calculated using the pseudo feature quantity extracted from the pseudo gait data, and a covariance matrix for the pseudo feature quantity vector.
  • a computer is made to execute a process of generating a pseudo dataset vector by combining the pseudo response variable generated using and a process of outputting a dataset including the measurement dataset vector and the pseudo dataset vector.
  • a data generation device or the like that can generate a data set used for learning even if the response variable is a continuous numerical value.
  • FIG. 1 is a block diagram showing an example of a configuration of a learning system according to a first embodiment
  • FIG. FIG. 2 is a conceptual diagram for explaining an arrangement example of measuring devices for measuring sensor data used by the data generation device included in the learning system according to the first embodiment
  • FIG. 2 is a conceptual diagram for explaining an example of a coordinate system set in a measurement device that measures sensor data used by a data generation device included in the learning system according to the first embodiment
  • FIG. 2 is a conceptual diagram for explaining an example of a gait event detected from time-series data of sensor data used by a data generation device included in the learning system according to the first embodiment
  • FIG. 4 is a conceptual diagram for explaining an example of feature amount extraction by a data generation device included in the learning system according to the first embodiment
  • FIG. 4 is a conceptual diagram for explaining an example of feature amount vector generation by a data generation device included in the learning system according to the first embodiment
  • FIG. 2 is a conceptual diagram for explaining an example of data processing by a data generating device included in the learning system according to the first embodiment
  • FIG. FIG. 2 is a conceptual diagram for explaining an example of data processing by a data generating device included in the learning system according to the first embodiment
  • FIG. FIG. 2 is a conceptual diagram for explaining an example of data processing by a data generating device included in the learning system according to the first embodiment
  • FIG. FIG. 2 is a conceptual diagram for explaining an example of data processing by a data generating device included in the learning system according to the first embodiment
  • FIG. FIG. 2 is a conceptual diagram for explaining an example of data processing by a data generating device included in the learning system according to the first embodiment
  • FIG. 2 is a conceptual diagram for explaining an example of data processing by a data generating device included in the learning system according to the first embodiment
  • FIG. FIG. 2 is a conceptual diagram for explaining an example of data processing by a data generating device included in the learning system according to the first embodiment
  • FIG. FIG. 2 is a conceptual diagram for explaining an example of data processing by a data generating device included in the learning system according to the first embodiment
  • FIG. FIG. 2 is a conceptual diagram for explaining an example of data processing by a data generating device included in the learning system according to the first embodiment
  • FIG. 1 is a conceptual diagram for explaining an example of a configuration of a learning device included in a learning system according to a first embodiment
  • 4 is a flowchart for explaining an example of the operation of the data generation device included in the learning system according to the first embodiment; 4 is a flowchart for explaining an example of measurement data processing by a data generation device included in the learning system according to the first embodiment; 4 is a flowchart for explaining an example of pseudo data generation processing by a data generation device included in the learning system according to the first embodiment; 4 is a flowchart for explaining an example of the operation of a learning device included in the learning system according to the first embodiment; 4 is a graph for explaining evaluation of accuracy of response variables estimated by an estimation model generated using a data set that is not extended by the data processing device included in the learning system according to the first embodiment; 4 is a graph for explaining evaluation of accuracy of response variables estimated by an estimation model generated using a data set extended by a learning device included in the learning system according to the first embodiment; 7 is a graph for explaining evaluation of versatility of response variables estimated by an estimation model generated using a data set that has not been expanded by the data processing device included in the learning system according to the first embodiment
  • FIG. 7 is a graph for explaining evaluation of versatility of response variables estimated by an estimation model generated using a data set expanded by a data processing device included in the learning system according to the first embodiment;
  • FIG. 10 is a conceptual diagram for explaining application example 1-1 of the first embodiment;
  • FIG. 10 is a conceptual diagram for explaining application example 1-1 of the first embodiment;
  • FIG. 10 is a conceptual diagram for explaining application example 1-2 of the first embodiment;
  • It is a block diagram which shows an example of a structure of the estimation system which concerns on 2nd Embodiment.
  • It is a block diagram which shows an example of a structure of the measuring device with which the estimation system which concerns on 2nd Embodiment is provided.
  • FIG. 11 is a conceptual diagram for explaining an arrangement example of measuring devices included in an estimation system according to a second embodiment; It is a block diagram which shows an example of a structure of the estimation apparatus with which the estimation system which concerns on 2nd Embodiment is provided.
  • FIG. 11 is a conceptual diagram for explaining an example of estimation by an estimation device included in an estimation system according to a second embodiment; 9 is a flowchart for explaining an example of the operation of a measuring device included in the estimation system according to the second embodiment; 9 is a flowchart for explaining an example of sensor data measurement processing by a measuring device included in an estimation system according to a second embodiment; 9 is a flowchart for explaining an example of gait parameter calculation processing by a measuring device included in an estimation system according to a second embodiment; 9 is a flowchart for explaining an example of the operation of an estimating device included in the estimating system according to the second embodiment; FIG.
  • FIG. 12 is a conceptual diagram for explaining application example 2-1 of the second embodiment;
  • FIG. 11 is a conceptual diagram for explaining application example 2-2 of the second embodiment;
  • FIG. 11 is a conceptual diagram for explaining application example 2-2 of the second embodiment;
  • FIG. 11 is a conceptual diagram showing an example of the configuration of a data generation device according to a third embodiment; It is a block diagram showing an example of hardware constitutions which perform control and processing concerning each embodiment.
  • the learning system of the present embodiment has a learning model that outputs response variables related to the user's gait event and physical condition in response to the input of the feature amount generated based on the physical quantity measured according to the user's walking. Generate.
  • FIG. 1 is a block diagram showing an example of the configuration of a learning system 10 according to this embodiment.
  • a learning system 10 includes a data generation device 11 and a learning device 15 .
  • FIG. 1 shows a detailed configuration of the data generator 11. As shown in FIG. A detailed configuration of the learning device 15 will be described later (FIG. 15). The data generation device 11 and the learning device 15 will be described below in order.
  • the data generation device 11 of the learning system 10 will be described.
  • the data generation device 11 has an acquisition unit 111 , a measurement data processing unit 112 , a pseudo data generation unit 113 and an output unit 115 .
  • the acquisition unit 111 acquires paired data according to the walking of the user.
  • the paired data is a pair of gait data relating to features (also called gait) included in the user's walking pattern and a gait event index (also called response variable) corresponding to the gait data. That is, the paired data is data obtained by combining gait data and response variables corresponding to the gait data.
  • the acquisition unit 111 acquires paired data accumulated in a database constructed in a cloud or a server (not shown).
  • Gait data is data related to physical quantities (also called sensor data) related to leg movements.
  • gait data is time-series data of physical quantities (also called sensor data) related to leg movements.
  • gait data are values of gait parameters related to events (also called gait events) detected from time-series data of sensor data.
  • Gait data based on measured sensor data is hereinafter also referred to as measured gait data.
  • a gait event index is a value corresponding to gait data.
  • the response variables are numerical values related to gait parameters such as the user's walking speed, stride length, contact angle, take-off angle, maximum leg lift height (sensor position), shunt (traveling direction trajectory), and toe direction.
  • the response variable is a numerical value related to the user's physical condition estimated based on the gait parameters.
  • the response variable is a numerical value that indicates the degree of pronation/supination of the user's foot, hallux valgus, left-right symmetry, and the like.
  • the response variable may be an identification number for identifying the user or a value related to attributes.
  • Time-series data of sensor data for one step cycle is a collection of sensor data such as acceleration, angular velocity, and sole angle.
  • the unit interval of the one-step cycle is called a "walking phase".
  • the walking waveform for one step cycle is equally divided by 0 to 100 percent (%), the walking phase is set for each 1%.
  • a walking waveform for one step cycle may be divided according to sensor data measurement conditions and gait parameters to be measured.
  • FIG. 2 is a conceptual diagram for explaining an arrangement example of the measuring device 110 that measures physical quantities related to foot movement.
  • a measuring device 110 is arranged in the shoe 100 .
  • FIG. 2 shows an example in which the measuring device 110 is installed at a position corresponding to the back side of the arch of the foot.
  • measuring device 110 is placed on an insole that is inserted into shoe 100 .
  • measuring device 110 is placed on the bottom surface of shoe 100 .
  • the measuring device 110 is embedded in the main body of the shoe 100 .
  • the measuring device 110 may be removable from the shoe 100 or may not be removable from the shoe 100 .
  • the measuring device 110 may be installed at a position other than the back side of the arch as long as it can acquire sensor data regarding the movement of the foot.
  • the measuring device 110 may be installed on a sock worn by the user or an accessory such as an anklet worn by the user.
  • the measuring device 110 may be attached directly to the foot or embedded in the foot.
  • FIG. 2 shows an example in which the measuring device 110 is installed on the shoe 100 on the right foot side.
  • the measuring device 110 may be installed on the shoe 100 on the left foot side.
  • the measurement devices 110 may be installed on the shoes 100 of both feet.
  • the measuring device 110 includes a sensor (not shown) that measures physical quantities related to the movement of the foot of the user wearing the footwear.
  • Physical quantities related to foot movement include acceleration in three-axis directions (also called spatial acceleration) and angular velocity around three axes (also called spatial angular velocity).
  • Physical quantities related to foot movement include velocity, angle, and position (trajectory) calculated by integrating acceleration and angular velocity.
  • the acquisition unit 111 acquires paired data related to sensor data measured by the measuring device 110 .
  • the acquisition unit 111 acquires paired data accumulated in a cloud, a server, or the like.
  • the acquisition unit 111 may acquire paired data stored in a mobile terminal carried by the user. Further, the acquisition unit 111 may acquire measurement data from the measurement device 110 in real time.
  • FIG. 3 is a conceptual diagram for explaining the local coordinate system (x-axis, y-axis, z-axis) set in the measuring device 110 when the measuring device 110 is installed on the back side of the foot arch.
  • a local coordinate system consisting of x-direction, y-direction, and z-direction is set in the measuring device 110 .
  • a world coordinate system (X-axis, Y-axis, Z-axis) is set for the ground.
  • the local coordinate system set in the measuring device 110 is not limited to the example in FIG. A local coordinate system can be arbitrarily set for the measuring device 110 .
  • FIG. 4 is a conceptual diagram for explaining gait events detected in a step cycle with the right foot as a reference.
  • the horizontal axis of FIG. 4 is normalized by setting one gait cycle of the right foot starting at the time when the heel of the right foot touches the ground and ending at the time when the heel of the right foot touches the ground as 100 percent (%). This is the gait cycle.
  • One walking cycle of one leg is roughly divided into a stance phase in which at least part of the sole of the foot is in contact with the ground, and a swing phase in which the sole of the foot is separated from the ground. In the example of FIG. 4, it is normalized so that the stance phase accounts for 60% and the swing phase accounts for 40%.
  • the stance phase is further subdivided into early stance T1, middle stance T2, final stance T3, and early swing T4.
  • the swing phase is further subdivided into early swing phase T5, middle swing phase T6, and final swing phase T7.
  • the walking waveform for one step cycle does not have to start from the time when the heel touches the ground.
  • the starting point of the gait waveform for one step cycle may be set at the middle point of the stance phase.
  • the gait event E1 represents an event (heel strike) in which the heel of the right foot touches the ground (HS: Heel Strike).
  • a gait event E2 represents an event in which the toe of the left foot leaves the ground while the sole of the right foot touches the ground (OTO: Opposite Toe Off).
  • a gait event E3 represents an event in which the heel of the right foot is lifted (heel rise) while the sole of the right foot is in contact with the ground (HR: Heel Rise).
  • Gait event E4 is an event in which the heel of the left foot touches the ground (opposite heel strike) (OHS: Opposite Heel Strike).
  • a gait event E5 represents an event (toe off) in which the toe of the right foot leaves the ground while the sole of the left foot touches the ground (TO: Toe Off).
  • a gait event E6 represents an event (Foot Adjacent) in which the left foot and the right foot cross each other while the sole of the left foot touches the ground (FA: Foot Adjacent).
  • a gait event E7 represents an event (tibia vertical) in which the tibia of the right foot becomes almost vertical to the ground while the sole of the left foot is in contact with the ground (TV: Tibia Vertical).
  • a gait event E8 represents an event (heel strike) in which the heel of the right foot touches the ground (HS: Heel Strike). The gait event E8 corresponds to the end point of the gait cycle starting from the gait event E1 and also to the starting point of the next gait cycle.
  • FIG. 5 is a conceptual diagram for explaining feature amounts extracted from walking waveforms.
  • the graph of FIG. 5 is an example of a walking waveform of the plantar angle around the x-axis.
  • the walking waveform in FIG. 5 is a waveform for one step cycle (0 to 100%) starting from heel contact.
  • a feature amount is extracted from each of continuous walking phases in which the walking cycle is about 40%.
  • a plurality of feature values extracted from temporally consecutive walking phases are integrated as a cluster (also called a walking phase cluster).
  • a walking phase cluster GC0 is set in which continuous walking phases with a walking cycle of about 40% are integrated. From the walking phase cluster, a feature amount is extracted according to the feature amount extracted from the walking phases forming the walking phase cluster.
  • the feature amount is extracted from the single walking phase GP1 before the walking cycle of 80%.
  • the feature values extracted from the sensor data for one walking cycle are integrated as a feature vector for the one step cycle.
  • a plurality of feature amounts extracted for each of nine types of walking waveforms relating to accelerations in three axial directions and angular velocities/angles around three axes are integrated as feature amount vectors for one step cycle.
  • FIG. 6 is a conceptual diagram for explaining an example of a feature amount vector extracted from gait data for one step cycle.
  • a gait event index is an evaluation index of a gait event and corresponds to a response variable.
  • a gait event index is a numeric value for a user's gait parameter.
  • the gait event index is a numerical value (also referred to as score) regarding the evaluation of the user's gait.
  • the gait event index includes the degree of pronation/supination of the foot, the degree of progression of hallux valgus, the degree of progression of knee arthritis, muscle strength, balance ability, body flexibility, and other physical conditions.
  • the gait event index is CPEI (Center of Pressure Excursion Index), which is an evaluation index of foot pronation/supination.
  • the feature quantity of a gait phase cluster composed of temporally continuous gait phases and the feature quantity of a single gait phase are extracted.
  • the feature quantity extracted from the gait waveform is associated with the gait event index. That is, the covariance can be used as an index of correspondence between the feature amount extracted from the gait waveform and the gait event index for the same subject or the same group of subjects.
  • a walking phase cluster GC0 is formed by integrating temporally continuous walking phases i to i+4 (i is a natural number). A feature amount is extracted from each of the walking phases i to i+4.
  • a feature quantity constitutive formula is applied to the feature quantity extracted from each of the walking phases i to i+4 to generate the feature quantity of the walking phase cluster GC0.
  • the feature quantity constitutive formula is a calculation formula set in advance to generate the feature quantity of the walking phase cluster.
  • the feature quantity configuration formula is a calculation formula regarding the four arithmetic operations.
  • the feature quantity configuration formula is a calculation formula regarding integral average, arithmetic average, slope, and variation.
  • a feature amount is also extracted from a single walking phase j (j is a natural number). Note that the feature amount configuration formula may be applied without distinguishing between the walking phases i to i+4 forming the walking phase cluster and the single walking phase j.
  • a plurality of feature values extracted from sensor data for one walking cycle are integrated as a feature vector associated with the one step cycle.
  • a plurality of feature quantities extracted from walking waveforms for one step cycle are integrated using a feature quantity constitutive formula.
  • the measured data processing unit 112 acquires a plurality of pairs of data including measured gait data and response variables corresponding to the measured gait data.
  • the measured data processing unit 112 extracts feature amounts from the measured gait data.
  • the measured data processing unit 112 calculates a feature amount vector for each pair of data based on the feature amount extracted from the measured gait data.
  • a feature amount vector is a vector obtained by combining feature amounts extracted for each pair of data.
  • the feature amount vector is composed of feature amounts extracted for each gait data for one step cycle.
  • the measurement data processing unit 112 generates a vector (also referred to as a measurement data set vector) by combining the feature amount vector and the response variable for each of the acquired paired data.
  • the measurement data processing unit 112 calculates an average vector of feature amount vectors for a plurality of paired data. For example, the measurement data processing unit 112 calculates, for each walking phase, the average value of the feature amounts forming the feature amount vector of the gait data for a plurality of paired data. The measurement data processing unit 112 combines the average values of the feature amounts calculated for each walking phase to generate an average vector of the feature amount vectors. Also, the measurement data processing unit 112 calculates the average value of the response variables for a plurality of paired data. Numerical values of feature amounts that form a one-dimensional feature amount vector follow Gaussian distribution.
  • covariance is used as an index of correspondence between the feature quantity extracted from the gait waveform and the gait event index (response variable). use the value.
  • variances other than the covariance an average value corresponding to the variances used may be used.
  • FIG. 7 is a conceptual diagram for explaining the feature vector F extracted from a plurality of measured gait data S and the response variable A corresponding to the feature vector F.
  • a plurality of feature amount vectors F1 to Fn are extracted from each of the plurality of measured gait data S1 to Sn (n is a natural number).
  • the average vector FS of the feature amount vector F is a vector obtained by combining the average values of the feature amounts constituting the feature amount vectors F1 to Fn.
  • Each of the plurality of feature amount vectors F1 to Fn is associated with each of the plurality of response variables A1 to An. Numerical values such as 0.3, 0.7, and 0.5 are shown in FIG. 7 to indicate that the response variables A1 to An are numerical values.
  • the average value of the plurality of response variables A1 to An is the average value AS of the response variables.
  • x indicates the numerical value of the average value AS of the response variable (x is a real number).
  • FIG. 8 is an example of generating a measurement data set vector FA by combining a feature amount vector F and a response variable A.
  • the measurement data processing unit 112 generates measurement data set vectors FA1 to FAn in which each of the plurality of response variables A1 to An is associated with each of the plurality of feature amount vectors F1 to Fn.
  • the measurement data processing unit 112 generates covariance matrices of multiple feature quantities and response variables for multiple measurement data set vectors. If the measurement data processing unit 112 regards each of the plurality of measurement data set vectors as a vector in one linear space, the vector group represented by all the measurement data set vectors follows a multidimensional normal distribution in this linear space. can think Therefore, the measurement data processing unit 112 generates a covariance matrix for the measurement data set vectors. There is a covariance between each of the multiple feature quantities that make up the measurement data set vector and the response variable. In some cases, there is also covariance between multiple features that make up the dataset vector. A combination of some features can also form a feature vector.
  • the measurement data processing unit 112 performs Cholesky decomposition of the covariance matrix and derives an upper triangular matrix of the covariance matrix.
  • the measurement data processing unit 112 extracts the last column vector of the derived upper triangular matrix.
  • the column vectors at the end of the upper triangular matrix collect the parts related to the response variables.
  • FIG. 9 is a conceptual diagram showing an example of deriving the upper triangular matrix W1 of the covariance matrix W for a plurality of measurement data set vectors.
  • the measurement data processing unit 112 calculates a covariance matrix W for a plurality of measurement data set vectors FA1-FAn.
  • the measurement data processing unit 112 performs Cholesky decomposition of the calculated covariance matrix W to calculate an upper triangular matrix W1.
  • the column vector LC at the end of the upper triangular matrix W1 is used to calculate the deviation C of the pseudo-response variable, which will be described later.
  • the pseudo data generation unit 113 acquires measured gait data of a plurality of paired data from the acquisition unit 111 . Further, the pseudo data generation unit 113 acquires the average vector of the feature amount vectors and the average value of the response variables from the measurement data processing unit 112 . Note that the average value of the feature quantity vector and the average value of the response variable may be configured to be calculated in the pseudo data generation unit 113 . A feature amount can be extracted from the measured gait data and the simulated gait data in a similar manner.
  • the pseudo data generation unit 113 generates a gait waveform (also called pseudo gait data) using a plurality of acquired measured gait data. For example, the pseudo data generation unit 113 generates pseudo gait data by adding temporal fluctuation or noise to the measured gait data. For example, the pseudo data generator 113 can generate pseudo gait data based on measured gait data using the method disclosed in Non-Patent Document 1 (Non-Patent Document 1: L. Tran and D. Choi, “Data Augmentation for Inertial Sensor-Based Gait Deep Neural Network”, IEEEAccess, Vol.8, pp.12364-12378(2020).).
  • Non-Patent Document 1 L. Tran and D. Choi, “Data Augmentation for Inertial Sensor-Based Gait Deep Neural Network”, IEEEAccess, Vol.8, pp.12364-12378(2020).
  • FIG. 10 is a conceptual diagram showing an example of generating time-series data of simulated gait data (also referred to as pseudo-waveform) based on time-series data of measured gait data (also referred to as measured waveform) included in paired data.
  • the example of FIG. 10 is an example of generating a pseudo waveform by adding temporal fluctuations by shifting at least part of the measured waveform along the walking cycle axis.
  • the pseudo waveform may be generated by shifting at least part of the measured waveform in a direction perpendicular to or oblique to the axis of the walking cycle.
  • a pseudo waveform may be generated by adding noise level fluctuations to at least a portion of the measured waveform.
  • the pseudo data generation unit 113 extracts feature quantities (also called pseudo feature quantities) from each of a plurality of pseudo waveforms (also called pseudo gait data).
  • the pseudo data generator 113 calculates a feature amount vector (also referred to as a pseudo feature amount vector) for each pseudo waveform based on the pseudo feature amount extracted from the pseudo waveform.
  • a pseudo-feature vector is a vector in which pseudo-features extracted from a pseudo-waveform are combined.
  • a pseudo-feature vector is composed of pseudo-features extracted for each pseudo-waveform of one-step cycle.
  • the simulated gait data will follow the same distribution as the measured gait data. That is, when calculating the pseudo response variable corresponding to the pseudo feature quantity, the covariance between the pseudo feature quantity and the pseudo response variable may be used. In this embodiment, it is assumed that the simulated gait data has the same covariance as the measured gait data. In this embodiment, a pseudo feature amount calculated from pseudo gait data and a covariance between the feature amount calculated from measured gait data and a response variable are used to generate a pseudo response corresponding to the pseudo feature amount. Decide on variables.
  • the pseudo data generation unit 113 calculates a deviation vector (also referred to as a pseudo deviation vector) of the pseudo feature amount vectors for each pseudo waveform by subtracting the average vector of the feature amount vectors from the pseudo feature amount vectors for each of a plurality of pseudo waveforms. do.
  • a deviation vector also referred to as a pseudo deviation vector
  • FIG. 11 is a conceptual diagram for explaining an example of generating a pseudo deviation vector D based on the pseudo gait data PS.
  • Pseudo data generator 113 extracts each of a plurality of pseudo feature amount vectors PF1 to PFn (n is a natural number) from each of a plurality of pseudo gait data PS1 to PSn.
  • the pseudo data generator 113 calculates each of the pseudo deviation vectors D1 to Dn by subtracting the average vector FS of the plurality of feature quantity vectors F1 to Fn from each of the plurality of pseudo feature quantity vectors PF1 to PFn.
  • the pseudo data generation unit 113 generates random numerical values that follow a normal distribution with an average value of 0/standard deviation of 1.
  • the random number generated corresponds to the variance generated by the random process.
  • the pseudo data generation unit 113 generates a pseudo variance vector for each of the plurality of pseudo waveforms by adding the generated random numerical value to the end of the pseudo deviation vector extracted for each of the plurality of pseudo waveforms.
  • the pseudo data generation unit 113 multiplies the generated pseudo variance vector for each of the plurality of pseudo gait data by the column vector at the end of the upper triangular matrix obtained from the covariance matrix to obtain each of the plurality of pseudo gait data. Compute the deviation of the pseudo-response variable corresponding to .
  • FIG. 12 is a conceptual diagram for explaining an example of calculating the deviation C of the pseudo response variable based on the pseudo deviation vector D extracted from a plurality of pseudo gait data PS.
  • Pseudo-data generation unit 113 generates random numerical values R1 to Rn (n is a natural number) following a normal distribution of mean value 0/standard deviation 1.
  • FIG. The pseudo data generation unit 113 assigns random numerical values R1 to Rn to the ends of the pseudo deviation vectors D1 to Dn of the pseudo feature vectors PF1 to PFn, respectively, for each of the plurality of pseudo gait data PS Generate pseudo-variance vectors DR1-DRn.
  • the pseudo data generation unit 113 multiplies each of the plurality of generated pseudo variance vectors DR1 to DRn by the last column vector LC of the upper triangular matrix W1 obtained by Cholesky decomposition of the covariance matrix W, Compute the deviations C1-Cn of the pseudo-response variables.
  • the numerical values of the deviations C1 to Cn of the pseudo-response variables are y 1 to y n (y 1 to y n are real numbers).
  • the pseudo data generation unit 113 adds the average value of the response variables to the deviation of the pseudo response variables corresponding to each of the plurality of pseudo gait data to calculate the pseudo response variable for each pseudo waveform.
  • the pseudo data generation unit 113 generates a pseudo data set vector in which a plurality of pseudo response variables are associated with the pseudo feature vector extracted for each of the plurality of pseudo waveforms.
  • FIG. 13 shows the results for each of the plurality of pseudo gait data PS using the deviation C of the pseudo response variables calculated for the plurality of pseudo gait data PS and the average value AS of the response variables calculated for the plurality of paired data.
  • the pseudo data generator 113 adds the mean value AS of the response variables to the deviations C1 to Cn of the pseudo response variables corresponding to the plurality of pseudo gait data PS1 to PSn to generate the pseudo response variables PA1 to PAn. (n is a natural number).
  • FIG. 14 is a conceptual diagram showing an example of generating a pseudo data set vector PFT by associating a plurality of pseudo response variables PA with a pseudo feature quantity vector PF extracted for each of a plurality of pseudo gait data PS.
  • Pseudo data generation unit 113 generates pseudo data set vectors PTF1 to PTF1 to PTF1 in which pseudo feature vectors PF1 to PFn extracted for each of the plurality of pseudo gait data PS1 to PSn are associated with a plurality of pseudo response variables PA1 to PAn, respectively.
  • Generate PTFn (n is a natural number).
  • the output unit 115 outputs to the learning device 15 a plurality of data sets configured by the measurement data set vector generated by the measurement data processing unit 112 and the pseudo data set vector generated by the pseudo data generation unit 113. .
  • a plurality of data sets output from the output unit 115 are used by the learning device 15 to generate an estimation model.
  • the data generation device 11 of the present embodiment can expand the data set used to generate the estimation model using paired data including gait data based on actually measured sensor data.
  • the data set can be expanded when the response variable is fixed.
  • the data set could not be expanded appropriately when the response variable was a variable.
  • the data generation device 11 of the present embodiment can calculate a pseudo response variable according to a pseudo feature amount vector extracted from pseudo gait data even when the response variable is a variable, so the data set can be expanded appropriately. can.
  • the measurement data processing unit 112 generates the measurement data set vector
  • the pseudo data generation unit 113 generates the pseudo data set vector.
  • a feature quantity (pseudo feature quantity) may be extracted from the measured waveform and the pseudo waveform generated based on the measured waveform in a common feature quantity extraction unit (not shown).
  • the pseudo-response variable may be generated based on the pseudo-feature using the method described above.
  • a common dataset vector generator (not shown) can generate dataset vectors for simulated gait data and measured gait data.
  • the extension of the data set by the data generation device 11 can be performed at any time.
  • the data generation device 11 can extend the data set using paired data accumulated in the past.
  • the data generation device 11 can extend the data set in real time according to the measurement of sensor data (gait data) in addition to paired data accumulated in the past.
  • FIG. 15 is a block diagram showing an example of the configuration of the learning device 15. As shown in FIG. The learning device 15 has a dataset acquisition unit 151 , a learning unit 153 and a storage unit 155 .
  • the data set acquisition unit 151 acquires multiple data sets generated by the data generation device 11 .
  • the multiple datasets include a measurement dataset vector and a pseudo dataset vector.
  • the dataset acquisition unit 151 causes the storage unit 155 to store the acquired dataset.
  • the measurement dataset vector and the pseudo dataset vector may be stored in the storage unit 155 so as to be distinguished, or may be stored in the storage unit 155 without being distinguished.
  • the learning unit 153 acquires a plurality of data sets from the storage unit 155.
  • the learning unit 153 extracts feature quantity vectors and response variables from a plurality of data sets.
  • the dataset vector is the measurement dataset vector
  • the learning unit 153 extracts the feature amount vector and the response variable.
  • the dataset vector is a pseudo dataset vector
  • the learning unit 153 extracts a pseudo feature quantity vector and a pseudo response variable.
  • the pseudo-feature vectors and pseudo-response variables extracted from the pseudo-dataset vectors are referred to as feature-value vectors and response variables, without distinguishing from the feature-value vectors and response variables extracted from the measurement dataset vectors. do.
  • the learning unit 153 generates an estimation model using feature quantity vectors and response variables of multiple data sets.
  • the learning unit 153 generates an estimation model that outputs a response variable (gait event index) according to the input of gait data.
  • the learning unit 153 uses some of the plurality of data sets as learning data (training data) and uses the remaining some as verification data and test data.
  • the learning unit 153 may generate a user-specific estimation model using the feature amount vector and the response variable of the data set generated based on the paired data measured according to the walking of the user. For example, a personal identifier for uniquely identifying the user who acquired the sensor data may be assigned to the sensor data, and the estimation model may be generated using the sensor data assigned the same personal identifier.
  • a user-dedicated estimation model may not be versatile for everyone, but can be specialized for the user and can accurately estimate the physical condition.
  • the learning unit 153 generates an estimation model using the feature amount vector and the response variable of the data set generated based on paired data measured according to attributes such as gender, age, weight, and height. good too. Even if the estimation model according to the attribute is not versatile for all attributes, it can be specialized for the user of the attribute and can accurately estimate the physical state.
  • the learning unit 153 generates an estimation model using the feature amount vector and the response variable of the data set generated based on paired data measured according to characteristic symptoms such as knee and leg pain.
  • characteristic symptoms such as knee and leg pain.
  • Estimation models according to symptoms can accurately estimate the physical condition by specializing in the symptoms, even if they are not universal for all symptoms.
  • the storage unit 155 stores multiple data sets.
  • the storage unit 155 also stores the estimation model generated by the learning unit 153 .
  • the estimation model stored in the storage unit 155 is implemented in an estimation device (not shown) that estimates the user's physical condition using the user's gait data. No particular limitation is imposed on the method of implementing the estimation model in the estimation device.
  • Learning using the data set by the learning device 15 can be performed at any time.
  • the learning device 15 can perform learning using a data set extended using paired data accumulated in the past.
  • the data generation device 11 can perform learning using a data set extended in real time according to measurement of sensor data (gait data) in addition to paired data accumulated in the past. If learning is performed using the data set expanded in real time, an estimation model that better reflects the current physical state of the user can be constructed.
  • FIG. 16 is a flowchart for explaining an example of the operation of the data generation device 11.
  • FIG. 16 In the explanation along the flow chart of FIG. 16, the data generation device 11 is assumed to be the subject of action.
  • the data generation device 11 first acquires paired data to be processed (step S101).
  • the data generation device 11 acquires paired data accumulated in a cloud or a server.
  • the data generation device 11 may be configured to directly acquire paired data from the measurement device 110 placed on the user's foot.
  • the data generation device 11 executes measurement data processing for the paired data to be processed (step S102).
  • the data generation device 11 generates a measurement data set vector based on the data set to be processed. Details of the measurement data processing will be described later.
  • the data generation device 11 executes pseudo data generation processing for the data set to be processed (step S103).
  • the data generation device 11 generates a pseudo data set vector based on the data set to be processed. Details of the pseudo data generation process will be described later.
  • the data generation device 11 outputs the generated data set (measurement data set vector/pseudo data set vector) (step S104).
  • the output data set is used for learning by the learning device 15 .
  • FIG. 17 is a flowchart for explaining an example of measurement data processing by the data generating device 11. As shown in FIG. In the explanation along the flow chart of FIG. 17, the data generation device 11 is assumed to be the subject of action. Vectors and numerical values derived in the description along the flow chart of FIG. 17 are stored in a storage unit (not shown).
  • the data generation device 11 extracts feature amounts from the measured gait data included in the paired data to be processed (step S111).
  • the data generation device 11 uses the extracted feature amount to generate a feature amount vector for each pair of data (step S112).
  • the data generation device 11 calculates the average vector of the feature quantity vectors generated for the measured gait data for each pair of data to be processed (step S113).
  • the calculated average vector is used in pseudo-data generation processing, which will be described later.
  • the data generation device 11 calculates the average value of the response variables for the plurality of pieces of measured gait data for the data set to be processed (step S114).
  • the calculated average value of the response variables is used in the pseudo data generation process described later.
  • the data generation device 11 generates a feature quantity vector and a measurement data set vector of response variables for each pair of data (step S115).
  • the generated measurement data set vector is output as a data set in step S104 of FIG.
  • the data generation device 11 generates a covariance matrix for the generated measurement data set vector (step S116).
  • the data generation device 11 performs Cholesky decomposition on the calculated covariance matrix to derive an upper triangular matrix (step S117).
  • the column at the end of the upper triangular matrix derived by Cholesky decomposition of the covariance matrix is used in pseudo data generation processing described later.
  • FIG. 18 is a flowchart for explaining an example of pseudo data generation processing by the data generation device 11 .
  • the data generation device 11 is assumed to be the subject of action.
  • Vectors and numerical values derived in the description along the flow chart of FIG. 18 are stored in a storage unit (not shown).
  • the data generation device 11 first generates simulated gait data using the measured gait data included in the paired data to be processed (step S121).
  • the data generation device 11 extracts a pseudo feature quantity from the generated pseudo gait data (step S122).
  • the data generation device 11 uses the extracted pseudo feature amount to calculate a pseudo feature amount vector for each pseudo gait data (step S123).
  • the data generation device 11 calculates a pseudo deviation vector using the pseudo feature quantity vector for each pseudo gait data and the average feature quantity vector (step S124).
  • the data generator 11 subtracts the average feature amount vector from the pseudo feature amount vector to calculate the pseudo deviation vector.
  • the data generation device 11 adds a random value to the end of the pseudo deviation vector for each pseudo gait data to generate a pseudo variance vector (step S125).
  • the data generation device 11 multiplies the pseudo variance vector for each pseudo gait data by the last column of the upper triangular matrix derived by Cholesky decomposition of the covariance matrix to obtain the deviation of the pseudo response variable. Calculate (step S126).
  • the data generation device 11 calculates a pseudo response variable by adding the average value of the response variable to the deviation of the pseudo response variable for each pseudo gait data (step S127).
  • the data generation device 11 combines the pseudo feature amount and the pseudo response variable for each pseudo gait data to generate a pseudo data set vector (step S128).
  • the generated pseudo dataset vector is output as a dataset in step S104 of FIG.
  • FIG. 19 is a flowchart for explaining an example of the operation of the learning device 15.
  • FIG. 19 In the description along the flow chart of FIG. 19, the learning device 15 will be described as the subject of action.
  • the learning device 15 first acquires the data set generated by the data generation device 11 (step S131).
  • the dataset includes a measurement dataset vector and a pseudo dataset vector.
  • the learning device 15 stores the acquired data set (step S132). Datasets are categorized for training, validation, and testing.
  • the learning device 15 generates an estimation model using a learning data set among the stored data sets (step S133).
  • the learning device 15 verifies/tests the estimation model using the verification/test data set among the stored data sets (step S134). For example, the learning device 15 executes a test using a test data set following verification using the verification data set. For example, the learning device 15 performs cross-validation such as k-folding, holdout, leave-one-out, random iterative subsampling, stratification, and resubstitution using the validation data set.
  • cross-validation such as k-folding, holdout, leave-one-out, random iterative subsampling, stratification, and resubstitution using the validation data set.
  • step S136 the learning device 15 adjusts the parameters of the estimation model. For example, the learning device 15 adjusts the parameters of the estimation model when predetermined indices such as accuracy, generalization error, accuracy rate, precision rate, recall rate, and F value do not meet the standards. After step S136, the process returns to step S134.
  • the learning device 15 stores the estimation model (step S137). For example, the learning device 15 stores an estimated model when predetermined indices such as accuracy, generalization error, accuracy rate, precision rate, recall rate, and F value satisfy criteria.
  • the estimation model generated by the learning device 15 is implemented in an estimation device (not shown) that estimates the physical condition using gait data.
  • CPEI Center of Pressure Excursion Index
  • ICC intraclass correlation coefficients
  • CPEI Center of Pressure Excursion Index
  • the original measurement dataset vector is 500 steps for 32 men.
  • simulated gait data for 6000 steps was generated for 32 men.
  • LOSO Leave-one-subject-out
  • one person's measurement data set vector was used as a test, and other people's measurement data set vectors and pseudo data set vectors were combined to generate an inference model. All 32 subjects were subjected to LOSO, and the predicted values and true values of the test were all combined and compared.
  • FIG. 20 is a graph showing the correlation between the true value and the estimated value of CPEI without data expansion.
  • the measurement data set vector was used as is.
  • the intraclass correlation coefficient ICC between the true and estimated values of CPEI was 0.6253.
  • FIG. 21 is a graph showing the correlation between the true value and the estimated value of CPEI when the data is expanded.
  • a measured dataset vector and a pseudo-measured dataset vector were used.
  • the intraclass correlation coefficient ICC between the true and estimated values of CPEI was 0.7040.
  • the data expansion showed better values for the intraclass correlation coefficient ICC between the true and estimated values of CPEI. In other words, data augmentation made it possible to build a more accurate estimation model.
  • FIG. 22 is a graph showing the correlation between the true value and the estimated value of CPEI when using an estimation model (estimation model in FIG. 20) without data augmentation.
  • the intraclass correlation coefficient ICC between the true and estimated values of CPEI was 0.6486.
  • FIG. 23 is a graph showing the correlation between the true value and the estimated value of CPEI when using the data-augmented estimation model (estimation model of FIG. 21).
  • the intraclass correlation coefficient ICC between the true and estimated values of CPEI was 0.6862.
  • the intraclass correlation coefficient ICC between the true value and the estimated value of CPEI showed better values when the data-augmented estimation model was used. In other words, it was possible to build an estimation model with higher versatility by extending the data.
  • a measuring device is installed in the user's shoe, and gait data measured by the measuring device is transmitted to the mobile terminal possessed by the user.
  • the sensor data transmitted to the mobile terminal are processed by an estimator implemented in the mobile terminal.
  • the function of the estimating device is provided as an application that can be installed on the mobile terminal.
  • [Application example 1-1] 24 and 25 are conceptual diagrams for explaining application example 1-1.
  • an algorithm for generating a data set using measured gait data is visualized and displayed on the screen of the terminal device that is visible to the user.
  • FIG. 24 is an example in which an algorithm for generating measurement data set vectors FA1 to FAn using measured gait data S1 to Sn is visualized and displayed on the screen 190 of the terminal device visible to the user.
  • the screen 190 also displays the average vector FS of the feature amount vectors F1 to Fn extracted from the measured gait data S1 to Sn and the average value AS of the response variables A1 to An.
  • the screen 190 also displays the covariance matrix W for the measurement data set vectors FA1 to FAn and the upper triangular matrix W1 derived by Cholesky decomposition of the covariance matrix W.
  • the measured gait data S1 to Sn can be used to intuitively understand the process of generating the measured data set vectors FA1 to FAn, the covariance matrix, and the like.
  • FIG. 25 is an example in which an algorithm for generating pseudo data set vectors PFA1 to PFAn using measured gait data S1 to Sn is visualized and displayed on the screen 190 of the terminal device visible to the user.
  • pseudo feature amount vectors PF1 to PFn, pseudo deviation vectors D1 to Dn, pseudo variance vectors DR1 to DRn, deviations C1 to Cn of pseudo response variables are calculated to calculate pseudo response variables PA1 to PAn.
  • the process was displayed on screen 190 .
  • FIG. 25 also shows the average vector FS of the feature quantity vectors F1 to Fn, the average value AS of the response variables A1 to An, and the end of the upper triangular matrix W1, which are used to calculate the pseudo response variables PA1 to PAn.
  • a column vector LC was also displayed on screen 190 .
  • the process of generating the pseudo data set vectors PFA1-PFAn using the measured gait data S1-Sn can be intuitively grasped. For example, if there is a problem with the accuracy or versatility of an estimation model generated by learning using a dataset, visually verify which process has the problem by referring to the algorithm displayed on the screen 190. can.
  • FIG. 26 is a conceptual diagram for explaining application example 1-2.
  • information about learning using a data set generated by the data generation device 11 is displayed on the screen of the terminal device that is visible to the user.
  • FIG. 26 shows information about the accuracy and versatility of the estimation model 150 generated when the learning device 15 learns the data set generated by the data generation device 11, displayed on the screen of the terminal device visible to the user.
  • the learning device 15 is caused to learn the measurement data set vector FA and the pseudo data set vector PSA generated by the data generation device 11, and the screen 190 displays how the estimation model 150 is generated.
  • the screen 190 displays how the estimation model 150 is generated.
  • the accuracy of the estimation model information about the accuracy of "the accuracy of the estimation model is XX" is displayed.
  • the screen 190 also displayed information about versatility, such as ⁇ Accuracy and versatility are improved by using pseudo data set vectors.''
  • the effect of learning using the data set generated by the data generation device 11 can be grasped according to the information on accuracy and versatility displayed on the screen 190 .
  • the learning system of this embodiment includes a data generation device and a learning device.
  • the data generation device includes an acquisition section, a measurement data processing section, a pseudo data generation section, and an output section.
  • the acquisition unit acquires paired data in which measured gait data related to sensor data measured according to the movement of the user's feet and response variables corresponding to the measured gait data are combined.
  • the measurement data processing unit generates a measurement data set vector by combining a feature amount vector calculated using the feature amount extracted from the measured gait data and the response variable.
  • a measurement data processing unit generates a covariance matrix for a plurality of paired data.
  • the pseudo data generator generates pseudo gait data using the measured gait data.
  • the pseudo data generator combines a pseudo feature quantity vector calculated using the pseudo feature quantity extracted from the pseudo gait data and a pseudo response variable generated using a covariance matrix relating to the pseudo feature quantity vector. to generate a pseudo dataset vector.
  • the output unit outputs a dataset including measurement dataset vectors and pseudo dataset vectors.
  • the learning device acquires the data set output from the data generation device. The learning device uses the acquired data set to generate an estimation model that outputs a response variable according to the physical condition of the user according to the input of the measured gait data.
  • Gait data based on sensor data on foot movement includes features specific to gait events associated with health conditions. If a model (estimation model) is generated by learning data in which gait data and gait events corresponding to the gait data are associated, the gait events are generated according to the measured gait data. can be estimated. In order to generate an estimation model, it is necessary to collect learning data for learning the relationship between gait data and gait events. A large amount of training data is required to generate an estimation model with sufficient accuracy. It takes a lot of time and effort to collect a large amount of learning data. According to the technique of Non-Patent Document 1, a label such as an identifier can be added to the pseudo gait data.
  • Non-Patent Document 1 numerical values (gait event indices) corresponding to gait data cannot be associated with pseudo gait data. According to the method of the present embodiment, a numerical value (gait event index) corresponding to gait data can be generated in association with simulated gait data. That is, according to the method of this embodiment, even if the response variable is a continuous numerical value, a data set used for learning can be generated. Therefore, according to the method of the present embodiment, it is possible to save the time and effort spent on collecting learning data and build a highly accurate estimation model.
  • the pseudo data generator adds fluctuations to the plurality of measured gait data included in the plurality of paired data to generate a plurality of pseudo gait data. According to this aspect, it is possible to increase the number of simulated gait data by adding fluctuations to a plurality of pieces of measured gait data.
  • the pseudo data generator adds noise to the plurality of measured gait data included in the plurality of paired data to generate a plurality of pseudo gait data.
  • the pseudo gait data can be increased by adding noise to a plurality of pieces of measured gait data.
  • the pseudo data generation unit uses measured gait data to generate a plurality of pieces of pseudo gait data.
  • the pseudo data generator extracts at least one pseudo feature quantity from the generated pseudo gait data.
  • the pseudo data generation unit uses the pseudo feature amount extracted from the pseudo gait data to generate a pseudo feature amount vector for each pseudo gait data.
  • a feature amount vector used for generating a pseudo data set vector can be generated for each pseudo gait data.
  • the measured data processing unit extracts at least one feature quantity corresponding to a gait event from measured gait data derived using sensor data for each step cycle.
  • a feature quantity vector is generated for each measured gait data using the feature quantity extracted from the measured gait data for each walking cycle.
  • a response variable associated with the measured gait data is added to the end of the feature quantity vector generated for each measured gait data to generate a measured data set vector for each measured gait data.
  • a measurement data set vector can be generated for each data pair.
  • the measured data processing unit calculates an average vector of a plurality of feature quantity vectors calculated from a plurality of measured gait data for a plurality of paired data.
  • a measurement data processing unit generates a covariance matrix for a plurality of measurement data set vectors generated for each piece of measured gait data.
  • the measurement data processing unit derives an upper triangular matrix of the covariance matrix by Cholesky decomposition of the generated covariance matrix.
  • the measurement data processing unit calculates average values of a plurality of response variables for a plurality of paired data.
  • the pseudo data generator subtracts the average vector of the feature amount from each of the plurality of pseudo gait data to calculate a pseudo deviation vector for each of the plurality of pseudo gait data.
  • the pseudo data generation unit generates a pseudo variance vector by adding a random value between 0 and 1 to the end of each of the plurality of calculated pseudo deviation vectors.
  • the pseudo data generation unit multiplies each of the plurality of generated pseudo variance vectors by the last column of the upper triangular matrix to calculate the deviation of the pseudo response variable for each pseudo gait data.
  • the pseudo data generator calculates a pseudo response variable corresponding to the pseudo gait data by adding the deviation of the pseudo response variable calculated for each pseudo gait data to the average value of the response variables.
  • a pseudo feature amount vector calculated using a pseudo feature amount extracted from pseudo gait data and a pseudo response variable generated using a covariance matrix for a plurality of paired data are combined to , can generate a pseudo dataset vector.
  • the output unit displays information about the generated dataset on the screen of the terminal device. According to this aspect, the data set generated by the data generation unit can be confirmed on the screen of the terminal device.
  • the estimation system of this embodiment uses the estimation model generated by the learning device according to the first embodiment to estimate the physical state of the user.
  • FIG. 27 is a block diagram showing the configuration of the estimation system 20 of this embodiment.
  • Estimation system 20 includes measurement device 21 and estimation device 25 .
  • the estimation system 20 may be configured only with the estimation device 25 excluding the measurement device 21 .
  • the measuring device 21 and the estimating device 25 will be described separately.
  • FIG. 28 is a block diagram showing an example of the configuration of the measuring device 21.
  • the measuring device 21 has a sensor 22 and a measuring section 23 .
  • Sensor 22 includes acceleration sensor 221 and angular velocity sensor 222 .
  • Measurement unit 23 includes acquisition unit 231 , storage unit 233 , calculation unit 235 , and transmission unit 237 .
  • the measuring device 21 is installed on the foot.
  • the measuring device 21 is the same as in the first embodiment with respect to the coordinate system set in the measuring device 21 installed on footwear such as shoes.
  • FIG. 29 is a conceptual diagram showing an example in which the measuring device 21 is arranged inside the shoe 200.
  • the measuring device 21 is installed at a position corresponding to the back side of the arch of the foot.
  • the measuring device 21 is placed on an insole that is inserted into the shoe 200 .
  • the measuring device 21 is arranged on the bottom surface of the shoe 200 .
  • the measuring device 21 is embedded in the main body of the shoe 200 .
  • the measurement device 21 may be removable from the shoe 200 or may not be removable from the shoe 200 .
  • the measuring device 21 may be installed at a position other than the back side of the arch as long as it can acquire sensor data regarding the movement of the foot.
  • the measurement device 21 may be installed on a sock worn by the user or an accessory such as an anklet worn by the user.
  • the measurement device 21 may be attached directly to the foot or embedded in the foot.
  • FIG. 29 shows an example in which measuring devices 21 are installed on shoes 200 of both feet. The measuring device 21 may be installed on the shoe 200 of one foot.
  • the acceleration sensor 221 is a sensor that measures acceleration in three axial directions (also called spatial acceleration).
  • the acceleration sensor 221 measures acceleration (also called spatial acceleration) as a physical quantity related to foot movement.
  • the acceleration sensor 221 outputs the measured acceleration to the measuring section 23 .
  • the acceleration sensor 221 can be a sensor of a piezoelectric type, a piezoresistive type, a capacitive type, or the like. As long as the sensor used as the acceleration sensor 221 can measure acceleration, the measurement method is not limited.
  • the angular velocity sensor 222 is a sensor that measures angular velocities in three axial directions (also called spatial angular velocities).
  • the angular velocity sensor 222 measures angular velocity (also called spatial angular velocity) as a physical quantity related to foot movement.
  • the angular velocity sensor 222 outputs the measured angular velocity to the measuring section 23 .
  • the angular velocity sensor 222 can be a vibration type sensor or a capacitance type sensor. As long as the sensor used as the angular velocity sensor 222 can measure the angular velocity, the measurement method is not limited.
  • the sensor 22 is realized, for example, by an inertial measurement device that measures acceleration and angular velocity.
  • An example of an inertial measurement device is an IMU (Inertial Measurement Unit).
  • the IMU includes an acceleration sensor 221 that measures acceleration along three axes and an angular velocity sensor 222 that measures angular velocity around three axes.
  • the sensor 22 may be implemented by an inertial measurement device such as VG (Vertical Gyro) or AHRS (Attitude Heading).
  • the sensor 22 may be realized by GPS/INS (Global Positioning System/Inertial Navigation System).
  • the sensor 22 may be implemented by a device other than an inertial measurement device as long as it can measure physical quantities related to foot movement.
  • the acquisition unit 231 acquires acceleration in three axial directions from the acceleration sensor 221 . Also, the obtaining unit 231 obtains angular velocities about three axes from the angular velocity sensor 222 . The acquisition unit 231 converts the acquired acceleration and angular velocity into digital data, and causes the storage unit 233 to store the converted digital data (also referred to as sensor data). The acquisition unit 231 may be configured to directly output sensor data to the calculation unit 235 .
  • the sensor data includes at least acceleration data converted into digital data and angular velocity data converted into digital data.
  • the acceleration data includes acceleration vectors in three axial directions.
  • the angular velocity data includes angular velocity vectors around three axes. Acceleration data and angular velocity data are associated with acquisition times of those data. Further, the acquisition unit 231 may apply corrections such as mounting error correction, temperature correction, and linearity correction to the acceleration data and the angular velocity data.
  • the storage unit 233 stores sensor data.
  • the sensor data stored in the storage unit 233 are used by the calculation unit 235 to calculate gait parameters.
  • the sensor data stored in the storage unit 233 may be transmitted from the transmission unit 237 as it is.
  • the calculation unit 235 acquires sensor data from the storage unit 233.
  • the calculation unit 235 may be configured to directly acquire sensor data from the acquisition unit 231 .
  • the calculation unit 235 transforms the coordinate system of the acquired sensor data from the local coordinate system to the world coordinate system.
  • the local coordinate system (x-axis, y-axis, z-axis) and the world coordinate system (X-axis, Y-axis, Z-axis) coincide. Since the spatial posture of the measuring device 21 changes while the user is walking, the local coordinate system (x-axis, y-axis, z-axis) and the world coordinate system (x-axis, y-axis, z-axis) match. do not.
  • the calculation unit 235 converts the sensor data acquired by the measuring device 21 from the local coordinate system (x-axis, y-axis, z-axis) of the measuring device 21 to the world coordinate system (X-axis, Y-axis, Z-axis). Convert. If a gait event can be detected using sensor data in the local coordinate system, coordinate transformation from the local coordinate system to the world coordinate system may be omitted.
  • the calculation unit 235 uses the acquired sensor data to generate time-series data of physical quantities related to the movement of the foot, which are measured as the user walks wearing the shoes 200 on which the measuring device 21 is installed.
  • the calculator 235 generates time-series data such as spatial acceleration and spatial angular velocity.
  • the calculation unit 235 also integrates the spatial acceleration and spatial angular velocity to generate time-series data such as spatial velocity, spatial angle (sole angle), and spatial trajectory.
  • the calculation unit 235 generates time-series data at predetermined timings and time intervals that are set in accordance with a general walking cycle or a user-specific walking cycle.
  • the timing at which the calculation unit 235 generates the time-series data can be set arbitrarily.
  • the calculation unit 235 is configured to continue generating time-series data while the user continues walking.
  • the calculator 235 may be configured to generate time-series data at specific timings.
  • the calculation unit 235 When calculating the gait parameter, the calculation unit 235 extracts time-series data (also called walking waveform) of sensor data for one step cycle from the generated time-series data.
  • the walking waveform is not the time-series data of the sensor data represented as a graph, but the time-series data of the sensor data itself.
  • the calculation unit 235 detects the timing at the center of the stance phase as the starting point of the gait waveform as the starting point of the time-series data.
  • the calculation unit 235 may detect the timing of heel contact and toe off as the starting point of the walking waveform. If the gait parameter is not calculated, the calculator 235 may output the generated time-series data to the transmitter 237 .
  • the calculation unit 235 detects a gait event from the extracted gait waveform for one step cycle. For example, the calculation unit 235 detects the timing of a characteristic change associated with the appearance of a gait event in the walking waveform. For example, the calculation unit 235 detects characteristic maximum and minimum timings associated with the occurrence of gait events in the walking waveform.
  • the calculation unit 235 detects gait events such as heel contact, toe-off, foot crossing, heel lift, tibia vertical, opposite foot toe-off, opposite foot heel-contact, and the like.
  • gait events such as heel contact, toe-off, foot crossing, heel lift, tibia vertical, opposite foot toe-off, opposite foot heel-contact, and the like.
  • the state in which the toe is positioned below the heel (plantar flexion) is positive
  • the state in which the toe is positioned above the heel (dorsiflexion) is negative.
  • the maximum roll angle occurs at the timing of toe-off.
  • the calculation unit 235 detects the timing at which the roll angle is maximized in the walking waveform of the one-step cycle as the timing of the toe-off.
  • dorsiflexion the minimum roll angle occurs at heel contact.
  • the calculation unit 235 detects the timing at which the roll angle is minimum in the walking waveform of the one-step cycle as the timing of heel contact. For example, the calculation unit 235 detects the timing of the center of the stance phase from the walking waveform of the roll angle. In reality, the timing of maximum/minimum roll angle and the timing of toe off/heel contact do not completely match. Therefore, in the walking waveform for one step cycle, the walking cycle may be normalized so that the timing at which the roll angle is maximum/minimum coincides with the timing of toe-off/heel-contact. By normalizing the gait waveform, it is possible to align the timing of occurrence of gait events that differ from person to person.
  • the calculation unit 235 calculates gait parameters based on the detected gait event. For example, the calculation unit 235 calculates gait parameters using the timings of detected gait events and sensor data values at the timings of these gait events. For example, the calculator 235 calculates a gait parameter for each step cycle. For example, the calculation unit 235 calculates gait parameters such as walking speed, stride length, ground contact angle, take-off angle, maximum leg lift height (sensor position), shunt (moving direction trajectory), and toe direction. A description of the calculation method of these gait parameters is omitted. Gait parameters and sensor data correspond to gait data.
  • the transmission unit 237 acquires gait data from the calculation unit 235 .
  • the transmission unit 237 transmits the acquired gait data to a mobile terminal or the like (not shown) in which the estimation device 25 is implemented.
  • the transmission unit 237 transmits the gait data to a mobile terminal or the like via a wire such as a cable.
  • the transmission unit 237 transmits gait data to a mobile terminal or the like via wireless communication.
  • the transmission unit 237 transmits gait data to a mobile terminal or the like via a wireless communication function (not shown) conforming to standards such as Bluetooth (registered trademark) and WiFi (registered trademark).
  • the communication function of the transmission unit 237 may conform to standards other than Bluetooth (registered trademark) and WiFi (registered trademark).
  • the measurement unit 23 is implemented by a microcomputer or microcontroller.
  • the measurement unit 23 has a control circuit and a memory circuit.
  • the control circuit is implemented by a CPU (Central Processing Unit).
  • the storage circuit is realized by volatile memory such as RAM (Random Access Memory).
  • the memory circuit is realized by nonvolatile memory such as ROM (Read Only Memory) and EEPROM (Electrically Erasable and Programmable Read Only Memory).
  • FIG. 30 is a block diagram showing an example of the configuration of the estimation device 25.
  • Estimation device 25 has reception section 251 , storage section 253 , estimation section 255 , and estimation result output section 257 .
  • the estimation device 25 is implemented in a mobile terminal (not shown) carried by the user.
  • the estimation device 25 is implemented by application software or the like installed in a mobile terminal (not shown) carried by the user.
  • the receiving unit 251 receives gait data such as gait parameters and sensor data from the measuring device 21 .
  • Receiving section 251 outputs the received gait data to estimating section 255 .
  • the receiving unit 251 may cause the storage unit 253 to store the received gait data.
  • the receiving unit 251 receives gait data from the measuring device 21 via wireless communication.
  • the receiving unit 251 is configured to receive gait data from the measurement device 21 via a wireless communication function (not shown) conforming to standards such as Bluetooth (registered trademark) and WiFi (registered trademark). .
  • the communication function of the receiving unit 251 may conform to standards other than Bluetooth (registered trademark) and WiFi (registered trademark).
  • the receiving unit 251 may receive the gait data from the measuring device 21 via a wire such as a cable.
  • the storage unit 253 stores the estimation model generated by the learning device 15 of the first embodiment.
  • the estimation model stored in the storage unit 253 is used for estimation by the estimation unit 255 .
  • the storage unit 253 may store data received by the receiving unit 251 .
  • the estimation unit 255 acquires time-series data of sensor data and gait data such as gait parameters from the reception unit 251 .
  • the estimation unit 255 extracts feature amounts from the acquired gait data.
  • the estimation unit 255 inputs the extracted feature amount to the estimation model, and outputs the result (gait event index) output from the estimation model.
  • FIG. 31 is a conceptual diagram for explaining an example of estimation by the estimation unit 255.
  • estimation is performed using the estimation model 250 generated by the method of the first embodiment.
  • the estimation model 250 outputs gait event data (response variables) in response to input of feature amounts extracted from gait data based on sensor data measured by the measuring device 21 .
  • the estimation model 250 outputs gait event data as an estimation result (m is a natural number) according to the input of the feature quantities FV1 to FVm.
  • the estimation model 250 outputs the progression according to the input feature amounts FV1 to FVm.
  • the estimation model 250 outputs degrees corresponding to the input feature amounts FV1 to FVm.
  • the gait event data response variable
  • the estimation result estimated by the estimation model 250 is not limited.
  • the estimation unit 255 estimates the score regarding the user's gait.
  • the score is a numerical value relating to the user's gait evaluation.
  • the estimation unit 255 estimates the physical condition of the user.
  • the physical condition includes the degree of pronation/supination of the foot, the progression of hallux valgus, the progression of knee arthritis, muscle strength, balance ability, body flexibility, and the like.
  • the estimation processing by the estimation unit 255 is not particularly limited as far as the gait is concerned.
  • the estimation unit 255 estimates the physical condition according to numerical values related to the physical condition such as the central foot pressure locus index CPEI and the HV angle. For example, with respect to the foot pressure center locus index CPEI, the estimating device 25 estimates pronation if it is 9 or less, presumes that it is normal if it is 9 to 20, and presumes that it is supination if it is 20 or more. For example, with respect to the HV angle, the estimating unit 255 estimates hallux valgus when it exceeds 20 degrees, and estimates that there is a tendency to have hallux valgus when it exceeds a predetermined threshold value of less than 20 degrees. is assumed to be normal. The estimation of the physical condition by the estimation unit 255 is not particularly limited as far as the gait is concerned.
  • the estimation result output unit 257 acquires the estimation result by the estimation unit 255.
  • the estimation result output section 257 outputs the estimation result obtained from the estimation section 255 .
  • the estimation result output unit 257 outputs the estimation result by the estimation unit 255 to a display device (not shown).
  • the estimation result by the estimation unit 255 is displayed on the screen of the display device.
  • the estimation result by the estimation unit 255 is output to an external system that uses the estimation result.
  • the usage of the estimation result by the estimation unit 255 is not particularly limited.
  • a mobile terminal (not shown) on which the estimation device 25 can be installed is a communication device that can be carried by a user.
  • a mobile terminal is a mobile terminal device having a communication function, such as a smart phone, a smart watch, a tablet, or a mobile phone.
  • the mobile terminal receives gait data from the measuring device 21 .
  • the portable terminal uses the received gait data to estimate the user's physical condition.
  • the measuring device 21 displays the result of data processing of the gait data on the screen of the portable terminal.
  • the results of data processing of the gait data may be displayed on a screen of a terminal device (not shown) that can be viewed by the user.
  • the estimating device 25 displays at least one numerical value of the gait data received from the measuring device 21 on the screen of the portable terminal in real time.
  • the estimating device 25 displays the time-series data of the gait data received from the measuring device 21 on the screen of the portable terminal in real time.
  • the estimation device 25 may also transmit the estimation result using the received gait data to a server, cloud, or the like. No particular limitation is imposed on the usage of the estimation result estimated by the estimation device 25 . Further, the estimating device 25 may be installed on the server or cloud side as long as the gait data measured by the measuring device 21 can be acquired.
  • FIG. 32 is a flowchart for explaining an example of the operation of the measuring device 21.
  • FIG. 32 is a flowchart for explaining an example of the operation of the measuring device 21.
  • the measuring device 21 is operating in vibration detection mode (step S201).
  • the measuring device 21 is activated according to the user's operation and starts operating in the vibration detection mode.
  • the measuring device 21 is set to start up at a preset time zone or timing.
  • step S203 When vibration is detected within a predetermined period (Yes in step S202), the measuring device 21 executes sensor data measurement processing (step S203). In the sensor data measurement process of step S203, the measurement device 21 measures sensor data. Details of the sensor data measurement process in step S203 will be described later. If no vibration is detected within the predetermined period (No in step S202), the process proceeds to step S206.
  • the measuring device 21 executes gait parameter calculation processing (step S204).
  • the measuring device 21 calculates gait parameters using the sensor data measured in the sensor data measurement process of step S203. Details of the gait parameter calculation process in step S204 will be described later.
  • step S204 if sensor data measurement is to be continued (Yes in step S205), the process returns to step S203. Whether to continue measuring sensor data may be determined according to preset conditions such as the number of steps and time. If the measurement of sensor data is not to be continued (No in step S205), or if the vibration detection mode is to be continued (Yes in step S206), the process returns to step S201. If the vibration detection mode is not to be continued (No in step S206), the process according to the flowchart of FIG. 32 is finished. Whether to continue or stop the measurement may be determined according to a predetermined timing, a user's stop operation, or the like.
  • FIG. 33 is a flowchart for explaining an example of sensor data measurement processing by the measurement device 21. As shown in FIG. In the description of the processing according to the flowchart of FIG. 33, the measuring device 21 is the subject of action.
  • the measuring device 21 measures sensor data at a designated sampling rate (step S211).
  • the measuring device 21 measures sensor data such as acceleration and angular velocity.
  • the measuring device 21 records the acquired sensor data in the buffer (storage unit 233) (step S212).
  • the measuring device 21 detects a gait event from the sensor data recorded in the buffer (step S213).
  • the measuring device 21 detects the starting point of the gait cycle (step S216). For example, the measurement device 21 detects the timing of heel contact, toe-off, the middle of the stance phase, etc. as the starting point of the walking cycle. If it is not the first step (No in step S215), the process proceeds to step S217.
  • step S215 the measuring device 21 performs stride determination (step S217).
  • stride determination the measuring device 21 determines acquisition of sensor data for one step (one stride).
  • step S218 If it is time for data communication (Yes in step S218), the process proceeds to step S204 of the flowchart in FIG. 32 (step S221 in FIG. 34). For example, the timing of data communication is set to the swing phase. If it is not the data communication timing (No in step S218), the process returns to step S211.
  • FIG. 34 is a flow chart for explaining an example of gait parameter calculation processing by the measuring device 21 .
  • the measuring device 21 is the subject of action.
  • the measuring device 21 first suspends measurement of sensor data (step S221).
  • step S221 measurement of sensor data is suspended because measurement of sensor data and calculation of gait parameters cannot be performed at the same time.
  • step S221 may be omitted because sensor data measurement and gait parameter calculation can be performed simultaneously.
  • the measuring device 21 uses the sensor data stored in the buffer (storage unit 233) to calculate gait parameters (step S222). Calculate gait parameters such as ground angle, maximum leg lift height (sensor position), shunt (traveling direction trajectory), toe direction, etc. When sending sensor data itself without calculating gait parameters, Step S222 is omitted.
  • the measuring device 21 transmits the calculated gait parameters (gait data) (step S223).
  • the measuring device 21 transmits gait parameters such as walking speed, stride length, contact angle, take-off angle, maximum leg lift height (sensor position), shunt (traveling direction trajectory), and toe direction.
  • the measuring device 21 may transmit the sensor data itself.
  • the measuring device 21 clears part of the sensor data stored in the buffer (storage unit 233) (step S224). For example, the measuring device 21 deletes the sensor data used for calculating the transmitted gait parameters from the buffer (storage unit 233). After step S224, the process proceeds to step S205 in the flowchart of FIG.
  • FIG. 35 is a flowchart for explaining an example of the operation of the estimating device 25.
  • the estimation device 25 will be described as an operating entity.
  • the estimation device 25 first receives gait data from the measurement device 21 (step S231).
  • the estimation device 25 receives gait data such as sensor data and gait parameters.
  • the estimation device 25 extracts feature amounts from the received gait data (step S232).
  • the estimation device 25 inputs the extracted feature quantity into the estimation model (step S233).
  • the estimation model outputs a response variable (gait event index) according to the input of the feature quantity.
  • Gait data is input in the case of an estimation model that outputs response variables in response to input of gait data such as sensor data and gait parameters.
  • the estimation model outputs the user's gait score as a response variable.
  • the estimation model outputs numerical values related to gait parameters as response variables.
  • the estimating device 25 outputs numerical values relating to the degree of pronation/supination of the foot, the progression of hallux valgus, the progression of knee arthritis, muscle strength, balance ability, body flexibility, etc., as response variables.
  • the estimation model outputs numerical values such as a center of pressure excursion index CPEI (Center of Pressure Excursion Index) and an HV (Hallux valgus) angle as response variables.
  • CPEI Center of Pressure Excursion Index
  • HV Heallux valgus
  • the estimation device 25 estimates the physical condition according to the output from the estimation model (step S234).
  • the estimation device 25 estimates the physical condition according to the response variables output from the estimation model. For example, the estimating device 25 estimates the score regarding the user's gait.
  • the estimating device 25 estimates the physical condition according to numerical values relating to gait parameters.
  • the estimating device 25 estimates the physical condition according to numerical values related to the degree of pronation/supination of the foot, the progression of hallux valgus, the progression of knee arthritis, muscle strength, balance ability, flexibility of the body, and the like. do.
  • the estimation device 25 outputs information about the estimated physical condition (step S235). For example, the estimation device 25 outputs the estimation result to a display device (not shown). For example, the estimation result by the estimation device 25 is displayed on the screen of the display device. For example, the estimation result by the estimation device 25 is output to a system that uses the estimation result.
  • the use of the estimation result by the estimation device 25 is not particularly limited.
  • a measuring device is installed in the user's shoe, and gait data measured by the measuring device is transmitted to the mobile terminal possessed by the user.
  • the sensor data transmitted to the mobile terminal are processed by an estimator implemented in the mobile terminal.
  • the function of the estimating device is provided as an application that can be installed on the mobile terminal.
  • FIG. 36 is a conceptual diagram for explaining application example 2-1.
  • information corresponding to the estimation result by the estimating device 25 is displayed on the screen of the portable terminal 260 of the user wearing the shoes 200 in which the measuring device 21 is installed.
  • the screen of the mobile terminal 260 carried by the user displays the estimation result "Your CPEI is +8.5".
  • the screen of the mobile terminal 260 displays information about the physical condition corresponding to the estimation result, such as "there is a tendency to pronate.”
  • the screen of the portable terminal 260 displays recommendation information "It is recommended that you walk with your toes pointing slightly outward" according to the user's physical condition.
  • a user who browses the information displayed on the screen of the mobile terminal 260 can take action according to the information. For example, a user who browses the information displayed on the screen of the mobile terminal 260 can exercise or walk in a manner suitable for him/herself according to the information. For example, a user viewing information displayed on the screen of the mobile terminal 260 can contact a medical institution or the like about his or her physical condition according to the information.
  • Information according to the estimation result by the estimation device 25 may be displayed not only on the screen of the mobile terminal 260 but also on the screen of a stationary personal computer or a dedicated terminal as long as the screen is visible to the user. Also, the information corresponding to the estimation result by the estimation device 25 may be an image corresponding to the estimation result instead of character information. Information according to the estimation result by the estimation device 25 may be notified by a preset pattern of sound, vibration, or the like.
  • [Application example 2-2] 37 and 38 are conceptual diagrams for explaining application example 2-2.
  • the user is authenticated according to the authentication information transmitted from the mobile terminal 260 of the user wearing the shoes 200 on which the measuring device 21 is installed.
  • paired data including already accumulated gait data may be extended by the method of the first embodiment.
  • the identification number is immutable because it is unique to an individual, but can be considered a variable.
  • FIG. 37 shows a user wearing shoes 200 with measuring device 21 installed and approaching a door that requires authentication.
  • an opening/closing control device 270 is installed that receives an identification number (also called authentication information) estimated by the estimation device 25 and controls opening and closing of the door according to the received identification number.
  • the opening/closing control device 270 controls a drive device (not shown) that opens and closes the door according to the received identification number.
  • the estimating device 25 mounted on the mobile terminal 260 estimates the identification number of the user using the feature amount extracted from the gait data measured by the measuring device 21 .
  • the estimating device 25 transmits the estimated identification number.
  • the identification number transmitted from the estimation device 25 is received by the switching control device 270 .
  • the identification number received by the switching control device 270 is authenticated by an authentication system or the like implemented in the switching control device 270 or a server or the like connected to the switching control device 270 . If the identification number is an authorized number, the open/close control device 270 opens the door. If the identification number is not an authorized number, the open/close control device 270 will not open the door.
  • FIG. 38 shows how the door is opened by the opening/closing control device 270 in accordance with the identification number transmitted from the estimation device 25 .
  • a user wearing shoes 200 in which measuring device 21 is installed can enter the interior of a building or the like through an open door.
  • the identification number is estimated according to the feature quantity extracted from the gait data of the person B. If the identification number of person B is an authorized number, the opening/closing control device 270 opens the door. If the identification number of person B is not an authorized number, the opening/closing control device 270 will not open the door. For example, if the shoe 200 with the measuring device 21 installed is put on by a person other than the user, the door will not be opened unless the identification number estimated according to the gait data is a permitted number.
  • authentication using an identification number estimated according to gait data may be combined with other authentication.
  • the opening/closing control device 270 can be configured to open the door. With this configuration, a person other than the user cannot pass through the door wearing shoes 200, thereby improving security.
  • authentication using identification numbers corresponding to gait data may be combined with authentication such as face authentication, fingerprint authentication, palm print authentication, and vein authentication.
  • a variable estimated according to the gait data may be used as the identification number.
  • the variable estimated according to the gait data is a value within a predetermined range from the permitted identification number, it can be authenticated.
  • even users who are permitted to enter can be restricted from entering according to variations in gait data. For example, in a situation where a user with a cold exhibits an unusual gait and an estimated variable falls outside a predetermined range from the permitted identification number, the user's entry can be restricted.
  • display information recommending that the user receive a medical examination at a health care center at work, or that he/she should be recuperated at home may be displayed near the door or on the screen of the portable terminal 260.
  • good For example, in a place that must be walked slowly through, the entry of a user who tries to run through can be restricted.
  • display information that recommends walking slowly or imposes a penalty for running may be displayed near the door or on the screen of the mobile terminal 260 .
  • the estimation system of this embodiment includes a measurement device and an estimation device.
  • the measuring device is placed on the user's footwear.
  • the measuring device measures spatial acceleration and spatial angular velocity according to the user's walking, and generates sensor data based on the measured spatial acceleration and spatial angular velocity.
  • the measuring device generates measured gait data using the generated sensor data.
  • the measuring device transmits the generated measured gait data to the estimating device.
  • the estimation device has a receiving section, a storage section, an estimating section, and an estimation result output section.
  • the receiving unit receives measured gait data derived using sensor data relating to the movement of the user's feet.
  • the storage unit stores the estimation model generated by the learning system of the first embodiment.
  • the estimation unit inputs the received measured gait data to the estimation model.
  • the estimation unit estimates the physical state of the user according to the response variable output from the estimation model.
  • the estimation result output unit outputs information about the estimated physical condition of the user.
  • the estimation system of this embodiment uses the estimation model generated by the learning system of the first embodiment to estimate the physical state of the user.
  • the estimation model generated by the learning system of the first embodiment has high accuracy and versatility because it is generated using an extended data set. Therefore, according to the estimation system of this embodiment, highly accurate and versatile estimation can be performed.
  • the estimation result output unit displays information on the estimated physical condition of the user on the screen of the mobile terminal carried by the user. According to this aspect, the user himself/herself can confirm in real time the estimation result estimated according to the user's gait.
  • the storage unit stores an estimation model that outputs response variables related to identification numbers in response to input of measured gait data.
  • the estimator estimates a user's identification number according to a response variable output from the estimation model according to the input of the measured gait data.
  • the output unit transmits the estimated identification number to an authentication device that performs authentication using the identification number. According to this aspect, authentication according to the gait can be realized.
  • the data generation device of this embodiment has a simplified configuration of the data generation device of the first embodiment.
  • FIG. 39 is a block diagram showing an example of the configuration of the data generation device 31 according to this embodiment.
  • the data generation device 31 includes an acquisition unit 311 , a measurement data processing unit 312 , a pseudo data generation unit 313 and an output unit 315 .
  • the acquisition unit 311 acquires paired data in which measured gait data related to sensor data measured according to the movement of the user's feet and response variables corresponding to the measured gait data are combined.
  • the measurement data processing unit 312 generates a measurement data set vector by combining the feature amount vector calculated using the feature amount extracted from the measured gait data and the response variable.
  • the measurement data processing unit 312 generates covariance matrices regarding a plurality of paired data.
  • the pseudo data generator 313 uses the measured gait data to generate pseudo gait data.
  • the pseudo data generator 313 generates a pseudo feature quantity vector calculated using the pseudo feature quantity extracted from the pseudo gait data, and a pseudo response variable generated using the covariance matrix for the pseudo feature quantity vector. Combine to generate a pseudo dataset vector.
  • the output unit 315 outputs a dataset including the measurement dataset vector and the pseudo dataset vector.
  • the data generating apparatus of the present embodiment generates pseudo feature quantity vectors calculated using pseudo feature quantities extracted from pseudo gait data and covariance matrices relating to a plurality of paired data.
  • the pseudo-response variables are combined to generate a pseudo-data set vector. Therefore, according to the data generation device of this embodiment, even if the response variable is a continuous numerical value, a data set used for learning can be generated.
  • the information processing device 90 includes a processor 91, a main storage device 92, an auxiliary storage device 93, an input/output interface 95, and a communication interface 96.
  • the interface is abbreviated as I/F (Interface).
  • Processor 91 , main storage device 92 , auxiliary storage device 93 , input/output interface 95 , and communication interface 96 are connected to each other via bus 98 so as to enable data communication.
  • the processor 91 , the main storage device 92 , the auxiliary storage device 93 and the input/output interface 95 are connected to a network such as the Internet or an intranet via a communication interface 96 .
  • the processor 91 loads the program stored in the auxiliary storage device 93 or the like into the main storage device 92 .
  • the processor 91 executes programs developed in the main memory device 92 .
  • a configuration using a software program installed in the information processing device 90 may be used.
  • the processor 91 executes control and processing according to each embodiment.
  • the main storage device 92 has an area in which programs are expanded.
  • a program stored in the auxiliary storage device 93 or the like is developed in the main storage device 92 by the processor 91 .
  • the main memory device 92 is realized by a volatile memory such as a DRAM (Dynamic Random Access Memory). Further, as the main storage device 92, a non-volatile memory such as MRAM (Magnetoresistive Random Access Memory) may be configured/added.
  • the auxiliary storage device 93 stores various data such as programs.
  • the auxiliary storage device 93 is implemented by a local disk such as a hard disk or flash memory. It should be noted that it is possible to store various data in the main storage device 92 and omit the auxiliary storage device 93 .
  • the input/output interface 95 is an interface for connecting the information processing device 90 and peripheral devices based on standards and specifications.
  • a communication interface 96 is an interface for connecting to an external system or device through a network such as the Internet or an intranet based on standards and specifications.
  • the input/output interface 95 and the communication interface 96 may be shared as an interface for connecting with external devices.
  • Input devices such as a keyboard, mouse, and touch panel may be connected to the information processing device 90 as necessary. These input devices are used to enter information and settings.
  • a touch panel is used as an input device, the display screen of the display device may also serve as an interface of the input device. Data communication between the processor 91 and the input device may be mediated by the input/output interface 95 .
  • the information processing device 90 may be equipped with a display device for displaying information.
  • the information processing device 90 is preferably provided with a display control device (not shown) for controlling the display of the display device.
  • the display device may be connected to the information processing device 90 via the input/output interface 95 .
  • the information processing device 90 may be equipped with a drive device. Between the processor 91 and a recording medium (program recording medium), the drive device mediates reading of data and programs from the recording medium, writing of processing results of the information processing device 90 to the recording medium, and the like.
  • the drive device may be connected to the information processing device 90 via the input/output interface 95 .
  • the above is an example of the hardware configuration for enabling control and processing according to each embodiment of the present invention.
  • the hardware configuration of FIG. 40 is an example of a hardware configuration for executing control and processing according to each embodiment, and does not limit the scope of the present invention.
  • the scope of the present invention also includes a program that causes a computer to execute control and processing according to each embodiment.
  • the scope of the present invention also includes a program recording medium on which the program according to each embodiment is recorded.
  • the recording medium can be implemented as an optical recording medium such as a CD (Compact Disc) or a DVD (Digital Versatile Disc).
  • the recording medium may be implemented by a semiconductor recording medium such as a USB (Universal Serial Bus) memory or an SD (Secure Digital) card.
  • the recording medium may be realized by a magnetic recording medium such as a flexible disk, or other recording medium.
  • each embodiment may be combined arbitrarily. Also, the components of each embodiment may be realized by software or by circuits.
  • (Appendix 1) an acquisition unit that acquires paired data in which measured gait data related to sensor data measured according to the movement of the user's feet and response variables corresponding to the measured gait data are combined; Measurement data for generating a measurement data set vector by combining a feature amount vector calculated using the feature amount extracted from the measured gait data and the response variable, and generating a covariance matrix for a plurality of the paired data.
  • pseudo-gait data is generated using the measured gait data, a pseudo-feature vector calculated using the pseudo-feature extracted from the pseudo-gait data, and the covariance matrix relating to the pseudo-feature vector
  • a pseudo data generator that generates a pseudo data set vector in combination with the pseudo response variable generated using and an output unit that outputs a dataset including the measurement dataset vector and the pseudo dataset vector.
  • the pseudo data generation unit is 1.
  • the data generation device according to appendix 1, wherein fluctuation is added to the plurality of measured gait data included in the plurality of paired data to generate the plurality of pseudo gait data.
  • the pseudo data generation unit is 3.
  • the data generation device according to appendix 1 or 2, wherein noise is added to the plurality of measured gait data included in the plurality of paired data to generate the plurality of pseudo gait data.
  • the pseudo data generation unit is generating a plurality of said pseudo gait data using said measured gait data; extracting at least one of the pseudo feature values from the generated pseudo gait data; 4.
  • the data generation device according to any one of appendices 1 to 3, wherein the pseudo feature amount vector is generated for each of the pseudo gait data using the pseudo feature amount extracted from the pseudo gait data.
  • the measurement data processing unit extracting at least one feature value from the measured gait data derived using the sensor data for each walking cycle; generating the feature amount vector for each measured gait data using the feature amount extracted from the measured gait data for each walking cycle; The response variable associated with the measured gait data is added to the end of the feature amount vector generated for each measured gait data to generate the measured data set vector for each measured gait data. 5.
  • the data generation device according to any one of Appendices 1 to 4.
  • the measurement data processing unit calculating an average vector of the plurality of feature amount vectors calculated from the plurality of measured gait data for the plurality of paired data; generating the covariance matrix with respect to the plurality of measured data set vectors generated for each measured gait data; Deriving an upper triangular matrix of the covariance matrix by Cholesky decomposition of the generated covariance matrix, calculating the average value of the plurality of response variables for the plurality of paired data;
  • the pseudo data generation unit is calculating a pseudo deviation vector for each of the plurality of pseudo gait data by subtracting the average vector of the feature quantity from each of the plurality of pseudo gait data; At the end of each of the plurality of calculated pseudo deviation vectors, a random value from 0 to 1 is added to generate a pseudo variance vector, multiplying each of the plurality of generated pseudo variance vectors by the last column of the upper triangular matrix to calculate the deviation of the pseudo response variable for each of the pseudo gait data; Any one of appendices 1 to 5,
  • the data generation device according to any one of the above.
  • (Appendix 7) The output unit 7.
  • the data generation device according to any one of appendices 1 to 6, wherein information about the generated data set is displayed on a screen of a terminal device.
  • (Appendix 8) The data generation device according to any one of Appendices 1 to 7; Learning to acquire the data set output from the data generation device and generate an estimation model that outputs a response variable according to the physical condition of the user according to the input of the measured gait data using the acquired data set.
  • a learning system comprising an apparatus.
  • (Appendix 9) a storage unit that stores the estimation model generated by the learning system according to appendix 8; a receiving unit that receives measured gait data derived using sensor data relating to the movement of the user's feet; an estimation unit for inputting the received measured gait data into the estimation model and estimating the physical state of the user according to a response variable output from the estimation model; an estimation result output unit that outputs information about the estimated physical condition of the user.
  • the estimation result output unit 10 The estimation system according to appendix 9, wherein the information about the estimated physical condition of the user is displayed on the screen of the mobile terminal carried by the user.
  • (Appendix 11) The storage unit storing the estimation model that outputs the response variable related to an identification number in response to the input of the measured gait data; The estimation unit estimating the identification number of the user according to the response variable output from the estimation model according to the input of the measured gait data; The output unit 11.
  • the estimation system comprising a measuring device that generates the measured gait data using the measured gait data and transmits the generated measured gait data to the receiving unit.
  • Appendix 13 the computer Acquiring paired data in which measured gait data related to sensor data measured according to the movement of the user's feet and response variables corresponding to the measured gait data are combined, generating a measurement data set vector by combining a feature amount vector calculated using the feature amount extracted from the measured gait data and the response variable; generating a covariance matrix for a plurality of said paired data; generating simulated gait data using the measured gait data; Pseudo data obtained by combining a pseudo feature vector calculated using the pseudo feature extracted from the pseudo gait data and a pseudo response variable generated using the covariance matrix relating to the pseudo feature vector generate a set vector, A data generation method for outputting a data set including the measurement data set vector and the pseudo data set vector.
  • (Appendix 14) a process of acquiring paired data in which measured gait data related to sensor data measured according to the movement of the user's feet and response variables corresponding to the measured gait data are combined; a process of generating a measurement data set vector by combining a feature amount vector calculated using the feature amount extracted from the measured gait data and the response variable; A process of generating a covariance matrix for the plurality of paired data; a process of generating pseudo gait data using the measured gait data; Pseudo data obtained by combining a pseudo feature vector calculated using the pseudo feature extracted from the pseudo gait data and a pseudo response variable generated using the covariance matrix relating to the pseudo feature vector a process of generating a set vector; A program for causing a computer to execute a process of outputting a data set including the measurement data set vector and the pseudo data set vector.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

応答変数が連続的な数値であっても、学習に用いられるデータセットを生成するために、ユーザの足の動きに応じて計測されたセンサデータに関する計測歩容データと、計測歩容データに対応する応答変数とが組み合わせられたペアデータを取得する取得部と、計測歩容データから抽出された特徴量を用いて算出された特徴量ベクトルと応答変数とを組み合わせて計測データセットベクトルを生成し、複数のペアデータに関する共分散行列を生成する計測データ処理部と、計測歩容データを用いて擬似歩容データを生成し、擬似歩容データから抽出された擬似特徴量を用いて算出された擬似特徴量ベクトルと、擬似特徴量ベクトルに関する共分散行列を用いて生成された擬似応答変数とを組み合わせて擬似データセットベクトルを生成する擬似データ生成部と、データセットを出力する出力部と、を備えるデータ生成装置とする。

Description

データ生成装置、学習システム、推定装置、データ生成方法、および記録媒体
　本開示は、歩容データを用いて身体状態を推定するモデルの学習に用いられるデータセットを生成するデータ生成装置等に関する。
　ヘルスケアへの関心の高まりに応じて、歩行パターンに含まれる特徴（歩容とも呼ぶ）に応じた情報を提供するサービスに注目が集まっている。例えば、靴等の履物に実装されたセンサによって計測されるセンサデータに基づいて、歩容を解析する技術が開発されている。健康状態と関連する歩容事象の特徴は、センサデータの時系列データに現れる。
　特許文献１には、所定の期間内に収集されたリハビリデータを用いて、学習モデルを生成する学習装置について開示されている。特許文献１の装置は、訓練者の回復度を示す指標と、設定パラメータとを含むリハビリデータを、学習用データとして生成する。特許文献１の装置は、学習用データを用いた機械学習を行うことで、指標を入力として、設定パラメータの推奨値を出力する学習モデルを生成する。
　非特許文献１には、慣性センサーベースの歩行データの拡張について開示されている。非特許文献１の手法では、慣性センサによって計測されるセンサデータの時系列データに、ランダムな時間的なゆらぎを加えることによって、歩行データを拡張する。
特開２０２１－００７４８１号公報
L. Tran and D. Choi, "Data Augmentation for Inertial Sensor-Based Gait Deep Neural Network", IEEE Access, Vol.8, pp.12364-12378 (2020).
　特許文献１の手法では、十分な精度の学習モデルを生成するために、リハビリデータをできる限り多く収集する必要がある。しかしながら、十分な数のリハビリデータを収集するためには、訓練者の歩行訓練を増やす必要があり、データの収集に膨大な時間と労力が必要であった。
　非特許文献１の手法では、説明変数に相当するセンサデータの時系列データを拡張し、拡張された説明変数に応答変数を対応付けることで、学習に用いられるデータセットを拡張する。すなわち、非特許文献１の手法によれば、データの収集に必要な時間や労力を節約できる。例えば、非特許文献１の手法によれば、個人認証ＩＤ（Identifier）のように、応答変数が固定値の場合には、データセットを拡張できる。しかしながら、特許文献１の手法では、応答変数が連続的な数値の場合、拡張された説明変数に応答変数を対応付けることができないため、データセットを拡張できなかった。
　本開示の目的は、応答変数が連続的な数値であっても、学習に用いられるデータセットを生成できるデータ生成装置等を提供することにある。
　本開示の一態様のデータ生成装置は、ユーザの足の動きに応じて計測されたセンサデータに関する計測歩容データと、計測歩容データに対応する応答変数とが組み合わせられたペアデータを取得する取得部と、計測歩容データから抽出された特徴量を用いて算出された特徴量ベクトルと応答変数とを組み合わせて計測データセットベクトルを生成し、複数のペアデータに関する共分散行列を生成する計測データ処理部と、計測歩容データを用いて擬似歩容データを生成し、擬似歩容データから抽出された擬似特徴量を用いて算出された擬似特徴量ベクトルと、擬似特徴量ベクトルに関する共分散行列とを用いて生成された擬似応答変数とを組み合わせて擬似データセットベクトルを生成する擬似データ生成部と、計測データセットベクトルおよび擬似データセットベクトルを含むデータセットを出力する出力部と、を備える。
　本開示の一態様のデータ生成方法においては、ユーザの足の動きに応じて計測されたセンサデータに関する計測歩容データと、計測歩容データに対応する応答変数とが組み合わせられたペアデータを取得し、計測歩容データから抽出された特徴量を用いて算出された特徴量ベクトルと応答変数とを組み合わせて計測データセットベクトルを生成し、複数の４ペアデータに関する共分散行列を生成し、計測歩容データを用いて擬似歩容データを生成し、擬似歩容データから抽出された擬似特徴量を用いて算出された擬似特徴量ベクトルと、擬似特徴量ベクトルに関する共分散行列とを用いて生成された擬似応答変数とを組み合わせて擬似データセットベクトルを生成し、計測データセットベクトルおよび擬似データセットベクトルを含むデータセットを出力する。
　本開示の一態様のプログラムは、ユーザの足の動きに応じて計測されたセンサデータに関する計測歩容データと、計測歩容データに対応する応答変数とが組み合わせられたペアデータを取得する処理と、計測歩容データから抽出された特徴量を用いて算出された特徴量ベクトルと応答変数とを組み合わせて計測データセットベクトルを生成する処理と、複数のペアデータに関する共分散行列を生成する処理と、計測歩容データを用いて擬似歩容データを生成する処理と、擬似歩容データから抽出された擬似特徴量を用いて算出された擬似特徴量ベクトルと、擬似特徴量ベクトルに関する共分散行列を用いて生成された擬似応答変数とを組み合わせて擬似データセットベクトルを生成する処理と、計測データセットベクトルおよび擬似データセットベクトルを含むデータセットを出力する処理と、をコンピュータに実行させる。
　本開示によれば、応答変数が連続的な数値であっても、学習に用いられるデータセットを生成できるデータ生成装置等を提供することが可能になる。
第１の実施形態に係る学習システムの構成の一例を示すブロック図である。 第１の実施形態に係る学習システムが備えるデータ生成装置によって用いられるセンサデータを計測する計測装置の配置例について説明するための概念図である。 第１の実施形態に係る学習システムが備えるデータ生成装置によって用いられるセンサデータを計測する計測装置に設定される座標系の一例について説明するための概念図である。 第１の実施形態に係る学習システムが備えるデータ生成装置によって用いられるセンサデータの時系列データから検出される歩容事象の一例について説明するための概念図である。 第１の実施形態に係る学習システムが備えるデータ生成装置による特徴量の抽出例について説明するための概念図である。 第１の実施形態に係る学習システムが備えるデータ生成装置による特徴量ベクトルの生成例について説明するための概念図である。 第１の実施形態に係る学習システムが備えるデータ生成装置によるデータ処理の一例について説明するための概念図である。 第１の実施形態に係る学習システムが備えるデータ生成装置によるデータ処理の一例について説明するための概念図である。 第１の実施形態に係る学習システムが備えるデータ生成装置によるデータ処理の一例について説明するための概念図である。 第１の実施形態に係る学習システムが備えるデータ生成装置によるデータ処理の一例について説明するための概念図である。 第１の実施形態に係る学習システムが備えるデータ生成装置によるデータ処理の一例について説明するための概念図である。 第１の実施形態に係る学習システムが備えるデータ生成装置によるデータ処理の一例について説明するための概念図である。 第１の実施形態に係る学習システムが備えるデータ生成装置によるデータ処理の一例について説明するための概念図である。 第１の実施形態に係る学習システムが備えるデータ生成装置によるデータ処理の一例について説明するための概念図である。 第１の実施形態に係る学習システムが備える学習装置の構成の一例について説明するための概念図である。 第１の実施形態に係る学習システムが備えるデータ生成装置の動作の一例について説明するためのフローチャートである。 第１の実施形態に係る学習システムが備えるデータ生成装置による計測データ処理の一例について説明するためのフローチャートである。 第１の実施形態に係る学習システムが備えるデータ生成装置による擬似データ生成処理の一例について説明するためのフローチャートである。 第１の実施形態に係る学習システムが備える学習装置の動作の一例について説明するためのフローチャートである。 第１の実施形態に係る学習システムが備えるデータ処理装置によって拡張されていないデータセットを用いて生成された推定モデルによって推定された応答変数の精度の評価について説明するためのグラフである。 第１の実施形態に係る学習システムが備える学習装置によって拡張されたデータセットを用いて生成された推定モデルによって推定された応答変数の精度の評価について説明するためのグラフである。 第１の実施形態に係る学習システムが備えるデータ処理装置によって拡張されていないデータセットを用いて生成された推定モデルによって推定された応答変数の汎用性の評価について説明するためのグラフである。 第１の実施形態に係る学習システムが備えるデータ処理装置によって拡張されたデータセットを用いて生成された推定モデルによって推定された応答変数の汎用性の評価について説明するためのグラフである。 第１の実施形態の適用例１－１について説明するための概念図である。 第１の実施形態の適用例１－１について説明するための概念図である。 第１の実施形態の適用例１－２について説明するための概念図である。 第２の実施形態に係る推定システムの構成の一例を示すブロック図である。 第２の実施形態に係る推定システムが備える計測装置の構成の一例を示すブロック図である。 第２の実施形態に係る推定システムが備える計測装置の配置例について説明するための概念図である。 第２の実施形態に係る推定システムが備える推定装置の構成の一例を示すブロック図である。 第２の実施形態に係る推定システムが備える推定装置による推定の一例について説明するための概念図である。 第２の実施形態に係る推定システムが備える計測装置の動作の一例について説明するためのフローチャートである。 第２の実施形態に係る推定システムが備える計測装置によるセンサデータ計測処理の一例について説明するためのフローチャートである。 第２の実施形態に係る推定システムが備える計測装置による歩容パラメータ計算処理の一例について説明するためのフローチャートである。 第２の実施形態に係る推定システムが備える推定装置の動作の一例について説明するためのフローチャートである。 第２の実施形態の適用例２－１について説明するための概念図である。 第２の実施形態の適用例２－２について説明するための概念図である。 第２の実施形態の適用例２－２について説明するための概念図である。 第３の実施形態に係るデータ生成装置の構成の一例を示す概念図である。 各実施形態に係る制御や処理を実行するハードウェア構成の一例を示すブロック図である。
　以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。
　（第１の実施形態）
　まず、第１の実施形態に係る学習システムについて図面を参照しながら説明する。本実施形態の学習システムは、ユーザの歩行に応じて計測された物理量に基づいて生成された特徴量の入力に応じて、そのユーザの歩容事象や身体状態に関する応答変数を出力する学習モデルを生成する。
　（構成）
　図１は、本実施形態に係る学習システム１０の構成の一例を示すブロック図である。学習システム１０は、データ生成装置１１と学習装置１５を備える。図１には、データ生成装置１１の詳細構成を図示する。学習装置１５の詳細構成については、後述する（図１５）。以下においては、データ生成装置１１と学習装置１５について、順番に説明する。
　〔データ生成装置〕
　学習システム１０のデータ生成装置１１について説明する。データ生成装置１１は、取得部１１１、計測データ処理部１１２、擬似データ生成部１１３、および出力部１１５を有する。
　取得部１１１は、ユーザの歩行に応じたペアデータを取得する。ペアデータは、ユーザの歩行パターンに含まれる特徴（歩容とも呼ぶ）に関する歩容データと、その歩容データに応じた歩容事象指標（応答変数とも呼ぶ）とを対にしたデータである。すなわち、ペアデータは、歩容データと、その歩容データに対応する応答変数とを組み合わせたデータである。例えば、取得部１１１は、クラウドやサーバ（図示しない）に構築されたデータベースに蓄積されたペアデータを取得する。
　歩容データは、足の動きに関する物理量（センサデータとも呼ぶ）に関するデータである。例えば、歩容データは、足の動きに関する物理量（センサデータとも呼ぶ）の時系列データである。例えば、歩容データは、センサデータの時系列データから検出された事象（歩容事象とも呼ぶ）に関する歩容パラメータの値である。以下において、計測されたセンサデータに基づく歩容データを、計測歩容データとも呼ぶ。
　歩容事象指標（応答変数）は、歩容データに対応する値である。例えば、応答変数は、ユーザの歩行速度や歩幅、接地角、離地角、最大足上げ高さ（センサ位置）、分回し（進行方向軌跡）、爪先の向き等の歩容パラメータに関する数値である。例えば、応答変数は、歩容パラメータに基づいて推定されるユーザの身体状態に関する数値である。例えば、応答変数は、ユーザの足の回内／回外や外反母趾、左右の対称性等の度合を示す数値である。例えば、応答変数は、ユーザを識別するための識別番号や属性に関する値であってもよい。
　一歩行周期分のセンサデータの時系列データ（歩行波形とも呼ぶ）は、加速度や角速度、足底角などのセンサデータの集合である。以下において、一歩行周期の単位区間を「歩行フェーズ」と呼ぶ。例えば、一歩行周期分の歩行波形が０～１００パーセント（％）で等分される場合、歩行フェーズは１％ごとに設定される。なお、一歩行周期分の歩行波形の分割基準については、特に限定を加えない。例えば、一歩行周期分の歩行波形は、センサデータの計測条件や、計測対象の歩容パラメータに応じて分割されればよい。
　図２は、足の動きに関する物理量を計測する計測装置１１０の配置例について説明するための概念図である。計測装置１１０は、靴１００の中に配置される。図２は、足弓の裏側に当たる位置に、計測装置１１０が設置される例である。例えば、計測装置１１０は、靴１００の中に挿入されるインソールに配置される。例えば、計測装置１１０は、靴１００の底面に配置される。例えば、計測装置１１０は、靴１００の本体に埋設される。計測装置１１０は、靴１００から着脱できてもよいし、靴１００から着脱できなくてもよい。計測装置１１０は、足の動きに関するセンサデータを取得できさえすれば、足弓の裏側ではない位置に設置されてもよい。また、計測装置１１０は、ユーザが履いている靴下や、ユーザが装着しているアンクレット等の装飾品に設置されてもよい。また、計測装置１１０は、足に直に貼り付けられたり、足に埋め込まれたりしてもよい。図２においては、右足側の靴１００に計測装置１１０が設置される例を示す。計測装置１１０は、左足側の靴１００に設置されてもよい。また、両足の靴１００に計測装置１１０が設置されてもよい。
　計測装置１１０は、履物を履くユーザの足の動きに関する物理量を計測するセンサ（図示しない）を含む。足の動きに関する物理量は、３軸方向の加速度（空間加速度とも呼ぶ）や、３軸周りの角速度（空間角速度とも呼ぶ）を含む。足の動きに関する物理量には、加速度や角速度を積分することによって計算される速度や角度、位置（軌跡）も含まれる。
　取得部１１１は、計測装置１１０によって計測されたセンサデータに関するペアデータを取得する。ペアデータの取得先には、特に限定を加えない。例えば、取得部１１１は、クラウドやサーバ等に蓄積されたペアデータを取得する。例えば、取得部１１１は、ユーザによって携帯された携帯端末に保存されたペアデータを取得してもよい。また、取得部１１１は、計測装置１１０から計測データをリアルタイムで取得してもよい。
　図３は、計測装置１１０が足弓の裏側に設置される場合に、その計測装置１１０に設定されるローカル座標系（ｘ軸、ｙ軸、ｚ軸）について説明するための概念図である。計測装置１１０には、ｘ方向、ｙ方向、およびｚ方向からなるローカル座標系を設定される。地面に対しては、世界座標系（Ｘ軸、Ｙ軸、Ｚ軸）が設定される。世界座標系（Ｘ軸、Ｙ軸、Ｚ軸）では、ユーザが直立した状態で、ユーザの横方向がＸ軸方向（右向きが正）、ユーザの正面の方向（進行方向）がＹ軸方向（前向きが正）、重力方向がＺ軸方向（鉛直上向きが正）に設定される。なお、計測装置１１０に設定されるローカル座標系は、図３の例に限定されない。ローカル座標系は、計測装置１１０に対して任意に設定できる。
　図４は、右足を基準とする一歩行周期において検出される歩容事象について説明するための概念図である。図４の横軸は、右足の踵が地面に着地した時点を起点とし、次に右足の踵が地面に着地した時点を終点とする右足の一歩行周期を１００パーセント（％）として正規化された歩行周期である。片足の一歩行周期は、足の裏側の少なくとも一部が地面に接している立脚相と、足の裏側が地面から離れている遊脚相とに大別される。図４の例では、立脚相が６０％を占め、遊脚相が４０％を占めるように正規化される。立脚相は、さらに、立脚初期Ｔ１、立脚中期Ｔ２、立脚終期Ｔ３、遊脚前期Ｔ４に細分される。遊脚相は、さらに、遊脚初期Ｔ５、遊脚中期Ｔ６、遊脚終期Ｔ７に細分される。なお、一歩行周期分の歩行波形は、踵が地面に着地した時点を起点としなくてもよい。例えば、一歩行周期分の歩行波形の起点は、立脚相の中央の時点に設定されてもよい。
　図４において、歩容事象Ｅ１は、右足の踵が接地する事象（踵接地）を表す（ＨＳ：Heel Strike）。歩容事象Ｅ２は、右足の足裏の接地面が接地した状態で、左足の爪先が地面から離れる事象（反対足爪先離地）を表す（ＯＴＯ：Opposite Toe Off）。歩容事象Ｅ３は、右足の足裏の接地面が接地した状態で、右足の踵が持ち上がる事象（踵持ち上がり）を表す（ＨＲ：Heel Rise）。歩容事象Ｅ４は、左足の踵が接地した事象（反対足踵接地）である（ＯＨＳ：Opposite Heel Strike）。歩容事象Ｅ５は、左足の足裏の接地面が接地した状態で、右足の爪先が地面から離れる事象（爪先離地）を表す（ＴＯ：Toe Off）。歩容事象Ｅ６は、左足の足裏の接地面が接地した状態で、左足と右足が交差する事象（足交差）を表す（ＦＡ：Foot Adjacent）。歩容事象Ｅ７は、左足の足裏が接地した状態で、右足の脛骨が地面に対してほぼ垂直になる事象（脛骨垂直）を表す（ＴＶ：Tibia Vertical）。歩容事象Ｅ８は、右足の踵が接地する事象（踵接地）を表す（ＨＳ：Heel Strike）。歩容事象Ｅ８は、歩容事象Ｅ１から始まる歩行周期の終点に相当するとともに、次の歩行周期の起点に相当する。
　図５は、歩行波形から抽出される特徴量について説明するための概念図である。図５のグラフは、ｘ軸周りの足底角の歩行波形の一例である。図５の歩行波形は、踵接地を起点とする一歩行周期分（０～１００％）の波形である。図５の例では、歩行周期が４０％前後の連続する歩行フェーズの各々から特徴量が抽出される。時間的に連続する歩行フェーズから抽出された複数の特徴量は、クラスター（歩行フェーズクラスターとも呼ぶ）として統合される。図５の例では、歩行周期が４０％前後の連続する歩行フェーズが統合された歩行フェーズクラスターＧＣ０が設定される。歩行フェーズクラスターからは、その歩行フェーズクラスターを構成する歩行フェーズから抽出された特徴量に応じた、特徴量が抽出される。また、図５の例では、歩行周期が８０％の手前の単独の歩行フェーズＧＰ１から特徴量が抽出される。一歩行周期分のセンサデータから抽出される特徴量は、その一歩行周期の特徴量ベクトルとして統合される。例えば、３軸方向の加速度、３軸周りの角速度／角度に関する９種類の歩行波形ごとに抽出された複数の特徴量は、一歩行周期分の特徴量ベクトルとして統合される。
　図６は、一歩行周期分の歩容データから抽出される特徴量ベクトルの一例について説明するための概念図である。歩行波形からは、身体状態に関連する歩容事象指標に応じた特徴が抽出される。歩容事象指標は、歩容事象の評価指標であり、応答変数に相当する。
例えば、歩容事象指標は、ユーザの歩容パラメータに関する数値である。例えば、歩容事象指標は、ユーザの歩容の評価に関する数値（スコアとも呼ぶ）である。例えば、歩容事象指標は、足の回内／回外の度合や、外反母趾の進行度、膝関節症の進行度、筋力、バランス能力、体の柔軟性などの身体状態に関する度合を含む。例えば、歩容事象指標は、足の回内／回外の評価指標であるＣＰＥＩ（Center of Pressure Excursion Index）である。
　歩行波形からは、時間的に連続する歩行フェーズによって構成される歩行フェーズクラスターの特徴量と、単独の歩行フェーズの特徴量とが抽出される。歩行波形から抽出された特徴量は、歩容事象指標と関連する。すなわち、同じ被験者や同じ被験者群に関して、歩行波形から抽出された特徴量と、歩容事象指標とが対応していることの指標として、共分散を用いることができる。例えば、時間的に連続する歩行フェーズｉ～ｉ＋４が統合された歩行フェーズクラスターＧＣ０が構成される（ｉは自然数）。歩行フェーズｉ～ｉ＋４の各々から、特徴量が抽出される。歩行フェーズｉ～ｉ＋４の各々から抽出された特徴量には、特徴量構成式が適用され、歩行フェーズクラスターＧＣ０の特徴量が生成される。特徴量構成式とは、歩行フェーズクラスターの特徴量を生成するために、予め設定された計算式である。例えば、特徴量構成式は、四則演算に関する計算式である。例えば、特徴量構成式は、積分平均や算術平均、傾斜、ばらつきに関する計算式である。また、単独の歩行フェーズｊからも、特徴量が抽出される（ｊは自然数）。なお、歩行フェーズクラスターを構成する歩行フェーズｉ～ｉ＋４と単独の歩行フェーズｊとを区別せずに、特徴量構成式が適用されてもよい。例えば、単独の歩行フェーズｊに特徴量構成式が適用される場合は、傾斜やばらつきを算出できないため、積分平均や算術平均などを計算する特徴量構成式が用いられればよい。一歩行周期分のセンサデータから抽出された複数の特徴量は、その一歩行周期に対応付けられた特徴量ベクトルとして統合される。例えば、一歩行周期分の歩行波形から抽出された複数の特徴量は、特徴量構成式を用いて統合される。
　計測データ処理部１１２は、計測歩容データと、その計測歩容データに対応する応答変数とを含むペアデータを複数取得する。計測データ処理部１１２は、計測歩容データから特徴量を抽出する。計測データ処理部１１２は、計測歩容データから抽出される特徴量に基づいて、ペアデータごとに特徴量ベクトルを計算する。特徴量ベクトルは、ペアデータごとに抽出された特徴量を組み合わせたベクトルである。特徴量ベクトルは、一歩行周期分の歩容データごとに抽出された特徴量によって構成される。
　計測データ処理部１１２は、取得した複数のペアデータの各々に関して、特徴量ベクトルと応答変数とを組み合わせたベクトル（計測データセットベクトルとも呼ぶ）を生成する。
　計測データ処理部１１２は、複数のペアデータに関して、特徴量ベクトルの平均ベクトルを計算する。例えば、計測データ処理部１１２は、複数のペアデータに関して、歩容データの特徴量ベクトルを構成する特徴量の平均値を、歩行フェーズごとに計算する。計測データ処理部１１２は、歩行フェーズごとに算出された特徴量の平均値を組み合わせて、特徴量ベクトルの平均ベクトルを生成する。また、計測データ処理部１１２は、複数のペアデータに関して、応答変数の平均値を計算する。一次元の特徴量ベクトルを構成する特徴量の数値は、ガウス分布に従う。本実施形態では、歩行波形から抽出された特徴量と歩容事象指標（応答変数）とが対応していることの指標として、共分散を用いるため、特徴量や応答変数の平均値として加算平均値を用いる。共分散以外の分散を用いる場合には、用いられる分散に応じた平均値が用いられればよい。
　図７は、複数の計測歩容データＳから抽出された特徴量ベクトルＦと、その特徴量ベクトルＦに対応する応答変数Ａとについて説明するための概念図である。複数の計測歩容データＳ１～Ｓｎの各々からは、複数の特徴量ベクトルＦ１～Ｆｎの各々が抽出される（ｎは自然数）。複数の特徴量ベクトルＦ１～Ｆｎを構成する複数の特徴量の平均値を組み合わせたベクトルが、特徴量ベクトルＦの平均ベクトルＦＳである。複数の特徴量ベクトルＦ１～Ｆｎの各々には、複数の応答変数Ａ１～Ａｎの各々が対応付けられる。図７には、応答変数Ａ１～Ａｎが数値であることを示すために、０．３や０．７、０．５といった数値を示す。複数の応答変数Ａ１～Ａｎの平均値が、応答変数の平均値ＡＳである。図７には、応答変数の平均値ＡＳの数値をｘで示す（ｘは実数）。
　図８は、特徴量ベクトルＦと応答変数Ａとを組み合わせた計測データセットベクトルＦＡを生成する例である。計測データ処理部１１２は、複数の特徴量ベクトルＦ１～Ｆｎの各々に、複数の応答変数Ａ１～Ａｎの各々を対応付けた計測データセットベクトルＦＡ１～ＦＡｎを生成する。
　計測データ処理部１１２は、複数の計測データセットベクトルに関して、複数の特徴量と応答変数との共分散行列を生成する。計測データ処理部１１２は、複数の計測データセットベクトルの各々を一つの線形空間中のベクトルとみなすと、全ての計測データセットベクトルが表すベクトル群は、この線形空間中において多次元正規分布に従うと考えうる。そのため、計測データ処理部１１２は、計測データセットベクトルに関する共分散行列を生成する。計測データセットベクトルを構成する複数の特徴量の各々と応答変数との間には、共分散がある。場合によっては、データセットベクトルを構成する複数の特徴量の間にも、共分散がある。一部の特徴量の組み合わせでも特徴量ベクトルを形成できる。しかし、全ての特徴量が応答変数と関連するため、一部の特徴量を組み合わせるよりも、全ての特徴量をまとめた方が共分散の精度が高い。また、特徴量の数に１を加えた次元数は、データ数よりも少なければならないという限定条件がある。そのため、データ数が少ない場合は、関連が低い特徴量を除去したり、関連が高い特徴量を組み合わせたりして、共分散の精度を向上させてもよい。
　計測データ処理部１１２は、共分散行列をコレスキー分解し、共分散行列の上三角行列を導出する。計測データ処理部１１２は、導出した上三角行列の末尾の列ベクトルを抽出する。上三角行列の末尾の列ベクトルには、応答変数に関連する部分がまとまる。
　図９は、複数の計測データセットベクトルに関して、共分散行列Ｗの上三角行列Ｗ１を導出する一例を示す概念図である。計測データ処理部１１２は、複数の計測データセットベクトルＦＡ１～ＦＡｎに関する共分散行列Ｗを計算する。計測データ処理部１１２は、算出された共分散行列Ｗをコレスキー分解して、上三角行列Ｗ１を計算する。上三角行列Ｗ１の末尾の列ベクトルＬＣは、後述する擬似応答変数の偏差Ｃの計算に用いられる。
　擬似データ生成部１１３は、取得部１１１から、複数のペアデータの計測歩容データを取得する。また、擬似データ生成部１１３は、計測データ処理部１１２から、特徴量ベクトルの平均ベクトルと、応答変数の平均値とを取得する。なお、特徴量ベクトルの平均値と、応答変数の平均値とは、擬似データ生成部１１３において計算するように構成されてもよい。計測歩容データおよび擬似歩容データからは、同様の手法で、特徴量を抽出できる。
　擬似データ生成部１１３は、取得した複数の計測歩容データを用いて、歩行波形（擬似歩容データも呼ぶ）を生成する。例えば、擬似データ生成部１１３は、計測歩容データに、時間的にゆらぎを加えたり、ノイズを加えたりすることで、擬似歩容データを生成する。例えば、擬似データ生成部１１３は、非特許文献１に開示された手法を用いて、計測歩容データに基づいて擬似歩容データを生成できる（非特許文献１：L. Tran and D. Choi, “Data Augmentation for Inertial Sensor-Based Gait Deep Neural Network”, IEEE Access, Vol.8, pp.12364-12378 (2020).）。
　図１０は、ペアデータに含まれる計測歩容データの時系列データ（計測波形とも呼ぶ）に基づいて、擬似歩容データの時系列データ（擬似波形とも呼ぶ）を生成する一例を示す概念図である。図１０の例は、計測波形の少なくとも一部を歩行周期の軸に沿ってずらすことによって、時間的にゆらぎを加えて、擬似波形を生成する例である。例えば、計測波形の少なくとも一部を歩行周期の軸に対して垂直な方向や斜めの方向にずらすことによって、擬似波形を生成してもよい。例えば、計測波形の少なくとも一部にノイズレベルの変動を追加して、擬似波形を生成してもよい。
　擬似データ生成部１１３は、複数の擬似波形（擬似歩容データとも呼ぶ）の各々から特徴量（擬似特徴量とも呼ぶ）を抽出する。擬似データ生成部１１３は、擬似波形から抽出される擬似特徴量に基づいて、擬似波形ごとに特徴量ベクトル（擬似特徴量ベクトルとも呼ぶ）を計算する。擬似特徴量ベクトルは、擬似波形から抽出される擬似特徴量を組み合わせたベクトルである。擬似特徴量ベクトルは、一歩行周期分の擬似波形ごとに抽出された擬似特徴量によって構成される。
　同じ被験者や同じ被験者群であれば、擬似歩容データも、計測歩容データと同様な分布に従うと予想される。すなわち、擬似特徴量に対応する擬似応答変数を計算する際には、擬似特徴量と擬似応答変数との間の共分散を用いればよい。本実施形態では、擬似歩容データが計測歩容データと同様の共分散を有すると仮定する。本実施形態では、擬似歩容データから算出された擬似特徴量と、計測歩容データから算出された特徴量と応答変数との間の共分散とを用いて、擬似特徴量に対応する擬似応答変数を決定する。
　擬似データ生成部１１３は、複数の擬似波形ごとの擬似特徴量ベクトルから、特徴量ベクトルの平均ベクトルを引くことによって、擬似特徴量ベクトルの偏差ベクトル（擬似偏差ベクトルとも呼ぶ）を擬似波形ごとに計算する。
　図１１は、擬似歩容データＰＳに基づいて、擬似偏差ベクトルをＤ生成する一例について説明するための概念図である。擬似データ生成部１１３は、複数の擬似歩容データＰＳ１～ＰＳｎの各々から、複数の擬似特徴量ベクトルＰＦ１～ＰＦｎの各々を抽出する（ｎは自然数）。擬似データ生成部１１３は、複数の擬似特徴量ベクトルＰＦ１～ＰＦｎの各々から、複数の特徴量ベクトルＦ１～Ｆｎの平均ベクトルＦＳを引くことによって、擬似偏差ベクトルＤ１～Ｄｎの各々を計算する。
　擬似データ生成部１１３は、平均値０／標準偏差１の正規分布に従うランダムな数値を生成する。生成されるランダムな数値は、ランダム処理で生成された分散に相当する。擬似データ生成部１１３は、生成されたランダムな数値を、複数の擬似波形ごとに抽出された擬似偏差ベクトルの末尾に付与することで、複数の擬似波形ごとに擬似分散ベクトルを生成する。
　擬似データ生成部１１３は、生成された複数の擬似歩容データごとの擬似分散ベクトルに、共分散行列から得られた上三角行列の末尾の列ベクトルを掛けて、複数の擬似歩容データの各々に対応する擬似応答変数の偏差を計算する。
　図１２は、複数の擬似歩容データＰＳから抽出された擬似偏差ベクトルＤに基づいて、擬似応答変数の偏差Ｃを計算する一例について説明するための概念図である。擬似データ生成部１１３は、平均値０／標準偏差１の正規分布に従うランダムな数値Ｒ１～Ｒｎを生成する（ｎは自然数）。擬似データ生成部１１３は、ランダムな数値Ｒ１～Ｒｎの各々を、擬似特徴量ベクトルＰＦ１～ＰＦｎの擬似偏差ベクトルＤ１～Ｄｎの各々の末尾に付与することで、複数の擬似歩容データＰＳごとに擬似分散ベクトルＤＲ１～ＤＲｎを生成する。擬似データ生成部１１３は、生成された複数の擬似分散ベクトルＤＲ１～ＤＲｎの各々に、共分散行列Ｗをコレスキー分解することで得られた上三角行列Ｗ１の末尾の列ベクトルＬＣを掛けて、擬似応答変数の偏差Ｃ１～Ｃｎを計算する。擬似応答変数の偏差Ｃ１～Ｃｎの数値は、ｙ1～ｙnである（ｙ1～ｙnは実数）。
　擬似データ生成部１１３は、複数の擬似歩容データの各々に対応する擬似応答変数の偏差に、応答変数の平均値を足して、擬似波形ごとの擬似応答変数を計算する。擬似データ生成部１１３は、複数の擬似波形ごとに抽出された擬似特徴量ベクトルに、複数の擬似応答変数を対応付けた擬似データセットベクトルを生成する。
　図１３は、複数の擬似歩容データＰＳに関して算出された擬似応答変数の偏差Ｃと、複数のペアデータに関して算出された応答変数の平均値ＡＳとを用いて、複数の擬似歩容データＰＳごとの擬似応答変数ＰＡを計算する一例を示す概念図である。擬似データ生成部１１３は、複数の擬似歩容データＰＳ１～ＰＳｎの各々に対応する擬似応答変数の偏差Ｃ１～Ｃｎに、応答変数の平均値ＡＳを足して、擬似応答変数ＰＡ１～ＰＡｎを生成する（ｎは自然数）。
　図１４は、複数の擬似歩容データＰＳごとに抽出された擬似特徴量ベクトルＰＦに、複数の擬似応答変数ＰＡを対応付けて、擬似データセットベクトルＰＦＴを生成する一例を示す概念図である。擬似データ生成部１１３は、複数の擬似歩容データＰＳ１～ＰＳｎごとに抽出された擬似特徴量ベクトルＰＦ１～ＰＦｎに、複数の擬似応答変数ＰＡ１～ＰＡｎの各々を対応付けた擬似データセットベクトルＰＴＦ１～ＰＴＦｎを生成する（ｎは自然数）。
　出力部１１５は、計測データ処理部１１２によって生成された計測データセットベクトルと、擬似データ生成部１１３によって生成された擬似データセットベクトルとによって構成される複数のデータセットを、学習装置１５に出力する。出力部１１５から出力された複数のデータセットは、学習装置１５による推定モデルの生成に用いられる。
　以上のように、本実施形態のデータ生成装置１１は、実際に計測されたセンサデータに基づく歩容データを含むペアデータを用いて、推定モデルの生成に用いられるデータセットを拡張できる。非特許文献１の手法を用いれば、応答変数が固定されている場合には、データセットを拡張できる。しかし、非特許文献１の手法では、応答変数が変数の場合には、データセットを適切に拡張できなかった。本実施形態のデータ生成装置１１は、応答変数が変数の場合であっても、擬似歩容データから抽出される擬似特徴量ベクトルに応じた擬似応答変数を算出できるので、データセットを適切に拡張できる。
　図１の構成においては、計測データ処理部１１２で計測データセットベクトルを生成し、擬似データ生成部１１３で擬似データセットベクトルを生成する。例えば、共通の特徴量抽出部（図示しない）において、計測波形に基づいて生成された擬似波形と、計測波形とから、特徴量（擬似特徴量）を抽出するように構成してもよい。その場合、擬似応答変数は、上述の手法を用いて、擬似特徴量に基づいて生成すればよい。例えば、擬似歩容データおよび計測歩容データに関して、共通のデータセットベクトル生成部（図示しない）において、データセットベクトルを生成することができる。
　データ生成装置１１によるデータセットの拡張は、任意のタイミングで行うことができる。例えば、データ生成装置１１は、過去に蓄積されたペアデータを用いて、データセットを拡張できる。例えば、データ生成装置１１は、過去に蓄積されたペアデータに加えて、センサデータ（歩容データ）の計測に応じてリアルタイムでデータセットを拡張することもできる。
　〔学習装置〕
　学習システム１０の学習装置１５について説明する。図１５は、学習装置１５の構成の一例を示すブロック図である。学習装置１５は、データセット取得部１５１、学習部１５３、および記憶部１５５を有する。
　データセット取得部１５１は、データ生成装置１１が生成した複数のデータセットを取得する。複数のデータセットは、計測データセットベクトルおよび擬似データセットベクトルを含む。データセット取得部１５１は、取得したデータセットを記憶部１５５に記憶させる。計測データセットベクトルと擬似データセットベクトルは、区別できるように記憶部１５５に記憶されてもよいし、区別されずに記憶部１５５に記憶されてもよい。
　学習部１５３は、複数のデータセットを記憶部１５５から取得する。学習部１５３は、複数のデータセットから、特徴量ベクトルと応答変数を抽出する。データセットベクトルが計測データセットベクトルの場合、学習部１５３は、特徴量ベクトルと応答変数を抽出する。データセットベクトルが擬似データセットベクトルの場合、学習部１５３は、擬似特徴量ベクトルと擬似応答変数を抽出する。以下においては、計測データセットベクトルから抽出された特徴量ベクトルおよび応答変数と区別せずに、擬似データセットベクトルから抽出された擬似特徴量ベクトルおよび擬似応答変数を、特徴量ベクトルおよび応答変数と記載する。
　学習部１５３は、複数のデータセットの特徴量ベクトルと応答変数を用いて、推定モデルを生成する。学習部１５３は、歩容データの入力に応じて、応答変数（歩容事象指標）を出力する推定モデルを生成する。例えば、学習部１５３は、複数のデータセットのうち、いくつかを学習データ（訓練用データ）として用い、残りのいくつかを検証用データやテスト用データとして用いる。
　例えば、学習部１５３は、ユーザの歩行に応じて計測されたペアデータに基づいて生成されたデータセットの特徴量ベクトルと応答変数を用いて、そのユーザ専用の推定モデルを生成してもよい。例えば、センサデータの取得元のユーザを一意に特定するための個人識別子をそのセンサデータに付与しておき、同一の個人識別子が付与されたセンサデータを用いて推定モデルを生成すればよい。ユーザ専用の推定モデルは、万人向けの汎用性はなくても、そのユーザに特化して、身体状態を精度よく推定できる。
　例えば、学習部１５３は、性別や年齢、体重、身長などの属性に応じて計測されたペアデータに基づいて生成されたデータセットの特徴量ベクトルと応答変数を用いて、推定モデルを生成してもよい。属性に応じた推定モデルは、全ての属性向けの汎用性はなくても、その属性のユーザに特化して、身体状態を精度よく推定できる。
　例えば、学習部１５３は、膝や足の痛みなどの特徴的な症状に応じて計測されたペアデータに基づいて生成されたデータセットの特徴量ベクトルと応答変数を用いて、推定モデルを生成してもよい。症状に応じた推定モデルは、全ての症状向けの汎用性はなくても、その症状に特化して、身体状態を精度よく推定できる。
　記憶部１５５は、複数のデータセットを記憶する。また、記憶部１５５は、学習部１５３によって生成された推定モデルを記憶する。記憶部１５５に記憶された推定モデルは、ユーザの歩容データを用いて、そのユーザの身体状態を推定する推定装置（図示しない）に実装される。推定モデルを推定装置に実装する方法については、特に限定を加えない。
　学習装置１５によるデータセットを用いた学習は、任意のタイミングで行うことができる。例えば、学習装置１５は、過去に蓄積されたペアデータを用いて拡張されたデータセットを用いて、学習を実行できる。例えば、データ生成装置１１は、過去に蓄積されたペアデータに加えて、センサデータ（歩容データ）の計測に応じてリアルタイムで拡張されたデータセットを用いて、学習を実行できる。リアルタイムで拡張されたデータセットを用いて学習が実行されれば、ユーザの現状の身体状態がより反映された推定モデルを構築できる。
　（動作）
　次に、学習システム１０の動作について図面を参照しながら説明する。以下においては、学習システム１０が備えるデータ生成装置１１と学習装置１５の動作を個別に説明する。
　〔データ生成装置〕
　まず、データ生成装置１１の動作について図面を参照しながら説明する。図１６は、データ生成装置１１の動作の一例について説明するためのフローチャートである。図１６のフローチャートに沿った説明においては、データ生成装置１１を動作主体として説明する。
　図１６において、まず、データ生成装置１１は、処理対象のペアデータを取得する（ステップＳ１０１）。例えば、データ生成装置１１は、クラウドやサーバに蓄積されたペアデータを取得する。例えば、データ生成装置１１は、ユーザの足に設置された計測装置１１０から、ペアデータを直に取得するように構成されてもよい。
　次に、データ生成装置１１は、処理対象のペアデータに関して、計測データ処理を実行する（ステップＳ１０２）。計測データ処理において、データ生成装置１１は、処理対象のデータセットに基づいて、計測データセットベクトルを生成する。計測データ処理の詳細については後述する。
　次に、データ生成装置１１は、処理対象のデータセットに関して、擬似データ生成処理を実行する（ステップＳ１０３）。擬似データ生成処理において、データ生成装置１１は、処理対象のデータセットに基づいて、擬似データセットベクトルを生成する。擬似データ生成処理の詳細については後述する。
　次に、データ生成装置１１は、生成されたデータセット（計測データセットベクトル／擬似データセットベクトル）を出力する（ステップＳ１０４）。出力されたデータセットは、学習装置１５による学習に用いられる。
　〔計測データ処理〕
　次に、データ生成装置１１による計測データ処理（図１６のステップＳ１０２）について図面を参照しながら説明する。図１７は、データ生成装置１１による計測データ処理の一例について説明するためのフローチャートである。図１７のフローチャートに沿った説明においては、データ生成装置１１を動作主体として説明する。図１７のフローチャートに沿った説明において導出されるベクトルや数値は、記憶部（図示しない）に記憶させておく。
　図１７において、まず、データ生成装置１１は、処理対象のペアデータに含まれる計測歩容データから特徴量を抽出する（ステップＳ１１１）。
　次に、データ生成装置１１は、抽出された特徴量を用いて、ペアデータごとの特徴量ベクトルを生成する（ステップＳ１１２）。
　次に、データ生成装置１１は、処理対象のペアデータごとの計測歩容データに関して生成された特徴量ベクトルの平均ベクトルを計算する（ステップＳ１１３）。算出された平均ベクトルは、後述する擬似データ生成処理で用いられる。
　次に、データ生成装置１１は、処理対象のデータセットに関して、複数の計測歩容データに関する応答変数の平均値を計算する（ステップＳ１１４）。算出された応答変数の平均値は、後述する擬似データ生成処理で用いられる。
　次に、データ生成装置１１は、ペアデータごとの特徴量ベクトルと応答変数の計測データセットベクトルを生成する（ステップＳ１１５）。生成された計測データセットベクトルは、図１６のステップＳ１０４において、データセットとして出力される。
　次に、データ生成装置１１は、生成された計測データセットベクトルに関する共分散行列を生成する（ステップＳ１１６）。
　次に、データ生成装置１１は、算出された共分散行列をコレスキー分解して、上三角行列を導出する（ステップＳ１１７）。共分散行列をコレスキー分解して導出された上三角行列の末尾の列は、後述する擬似データ生成処理で用いられる。
　〔擬似データ生成処理〕
　次に、データ生成装置１１による擬似データ生成処理（図１６のステップＳ１０３）について図面を参照しながら説明する。図１８は、データ生成装置１１による擬似データ生成処理の一例について説明するためのフローチャートである。図１８のフローチャートに沿った説明においては、データ生成装置１１を動作主体として説明する。図１８のフローチャートに沿った説明において導出されるベクトルや数値は、記憶部（図示しない）に記憶させておく。
　図１８において、まず、データ生成装置１１は、処理対象のペアデータに含まれる計測歩容データを用いて、擬似歩容データを生成する（ステップＳ１２１）。
　次に、データ生成装置１１は、生成された擬似歩容データから擬似特徴量を抽出する（ステップＳ１２２）。
　次に、データ生成装置１１は、抽出された擬似特徴量を用いて、擬似歩容データごとの擬似特徴量ベクトルを計算する（ステップＳ１２３）。
　次に、データ生成装置１１は、擬似歩容データごとの擬似特徴量ベクトルと平均特徴量ベクトルを用いて、擬似偏差ベクトルを計算する（ステップＳ１２４）。データ生成装置１１は、擬似特徴量ベクトルから平均特徴量ベクトルを引いて、擬似偏差ベクトルを計算する。
　次に、データ生成装置１１は、擬似歩容データごとの擬似偏差ベクトルに関して、末尾にランダム値を追加して、擬似分散ベクトルを生成する（ステップＳ１２５）。
　次に、データ生成装置１１は、擬似歩容データごとの擬似分散ベクトルに、共分散行列をコレスキー分解することで導出された上三角行列の末尾の列を掛けて、擬似応答変数の偏差を計算する（ステップＳ１２６）。
　次に、データ生成装置１１は、擬似歩容データごとの擬似応答変数の偏差に応答変数の平均値を足して、擬似応答変数を計算する（ステップＳ１２７）。
　次に、データ生成装置１１は、擬似歩容データごとの擬似特徴量と擬似応答変数を組み合わせて、擬似データセットベクトルを生成する（ステップＳ１２８）。生成された擬似データセットベクトルは、図１６のステップＳ１０４において、データセットとして出力される。
　〔学習装置〕
　次に、学習装置１５の動作について図面を参照しながら説明する。図１９は、学習装置１５の動作の一例について説明するためのフローチャートである。図１９のフローチャートに沿った説明においては、学習装置１５を動作主体として説明する。
　図１６において、まず、学習装置１５は、データ生成装置１１によって生成されたデータセットを取得する（ステップＳ１３１）。データセットは、計測データセットベクトルと擬似データセットベクトルを含む。
　次に、学習装置１５は、取得したデータセットを記憶する（ステップＳ１３２）。データセットは、学習用、検証用、およびテスト用に分類される。
　次に、学習装置１５は、記憶されたデータセットのうち学習用のデータセットを用いて、推定モデルを生成する（ステップＳ１３３）。
　次に、学習装置１５は、記憶されたデータセットのうち検証用／テスト用のデータセットを用いて、推定モデルを検証／テストする（ステップＳ１３４）。例えば、学習装置１５は、検証用のデータセットを用いた検証に続けて、テスト用のデータセットを用いたテストを実行する。例えば、学習装置１５は、検証用のデータセットを用いて、ｋ－分割やホールドアウト、リーブワンアウト、ランダム反復サブサンプリング、層化、再代入などの交差検証を行う。
　推定モデルの調整が必要な場合（ステップＳ１３５でＹｅｓ）、学習装置１５は、推定モデルのパラメータを調整する（ステップＳ１３６）。例えば、学習装置１５は、精度や汎化誤差、正解率、適合率、再現率、Ｆ値等の予め決められた指標が基準に満たない場合、推定モデルのパラメータの調整を行う。ステップＳ１３６の後は、ステップＳ１３４に戻る。
　推定モデルの調整が必要ではない場合（ステップＳ１３５でＮｏ）、学習装置１５は、推定モデルを記憶する（ステップＳ１３７）。例えば、学習装置１５は、精度や汎化誤差、正解率、適合率、再現率、Ｆ値等の予め決められた指標が基準を満たした場合、推定モデルを記憶する。学習装置１５によって生成された推定モデルは、歩容データを用いて身体状態を推定する推定装置（図示しない）に実装される。
　〔推定モデルの評価例〕
　次に、本実施形態の手法も用いて生成された推定モデルを評価した結果について、一例をあげて説明する。以下においては、実測された歩容データを含むデータセットを用いて、データセットに含まれる応答変数の真値と、データセットに含まれる計測歩容データを推定装置に入力して得られた応答変数の推定値との相関関係を評価した結果を示す。
　まず、データ拡張したことによる級内相関係数ＩＣＣ（Intraclass Correlation Coefficients）の改善について説明する。ここでは、応答変数としては、足の回内／回外の評価指標であるＣＰＥＩ（Center of Pressure Excursion Index）を用いた。元の計測データセットベクトルは、３２名の男性に関して、５００歩分である。本評価では、元の計測データセットベクトルに含まれる一歩ごとの計測歩容データに、ランダムな時間的なゆらぎを入れることで、３２名の男性に関して、６０００歩分の擬似歩容データを生成した。ＬＯＳＯ（Leave-one-subject-out）によって、一人の計測データセットベクトルをテスト用とし、他の人の計測データセットベクトルと擬似データセットベクトルを合わせて推定モデルを生成した。３２名の被験者全員に対してＬＯＳＯを行い、テストの予測値と真値を全て合わせて比較した。
　図２０は、データ拡張しなかった場合における、ＣＰＥＩの真値と推定値の相関関係を示すグラフである。図２０の例においては、計測データセットベクトルをそのまま用いた。図２０の例においては、ＣＰＥＩの真値と推定値の級内相関係数ＩＣＣは、０．６２５３であった。図２１は、データ拡張した場合における、ＣＰＥＩの真値と推定値の相関関係を示すグラフである。図２１の例においては、計測データセットベクトルと擬似計測データセットベクトルを用いた。図２１の例においては、ＣＰＥＩの真値と推定値の級内相関係数ＩＣＣは、０．７０４０であった。図２０－図２１の例では、データ拡張した方が、ＣＰＥＩの真値と推定値の級内相関係数ＩＣＣがよい値を示した。すなわち、データ拡張した方が、精度の高い推定モデルを構築できた。
　次に、３２名の男性の計測データセットベクトルを用いて生成された推定モデルを、それらの男性たちとは異なる１２名の男性の計測データセットベクトルについて評価した結果を示す。
　図２２は、データ拡張されていない推定モデル（図２０の推定モデル）を用いた場合における、ＣＰＥＩの真値と推定値の相関関係を示すグラフである。図２２の例においては、ＣＰＥＩの真値と推定値の級内相関係数ＩＣＣは、０．６４８６であった。図２３は、データ拡張された推定モデル（図２１の推定モデル）を用いた場合における、ＣＰＥＩの真値と推定値の相関関係を示すグラフである。図２３の例においては、ＣＰＥＩの真値と推定値の級内相関係数ＩＣＣは、０．６８６２であった。図２２～図２３の例では、データ拡張された推定モデルを用いた方が、ＣＰＥＩの真値と推定値の級内相関係数ＩＣＣがよい値を示した。すなわち、データ拡張した方が、汎用性の高い推定モデルを構築できた。
　（適用例）
　次に、本実施形態の適用例について図面を参照しながら説明する。本実施形態の適用例においては、ユーザの靴の中に計測装置が設置され、その計測装置によって計測された歩容データが、ユーザの所持する携帯端末に送信される。携帯端末に送信されたセンサデータは、携帯端末に実装された推定装置によって処理される。例えば、推定装置の機能は、携帯端末にインストール可能なアプリケーションとして提供される。
　〔適用例１－１〕
　図２４～図２５は、適用例１－１について説明するための概念図である。本適用例では、計測歩容データを用いてデータセットを生成するアルゴリズムを可視化して、ユーザによって視認可能な端末装置の画面に表示させる。
　図２４は、計測歩容データＳ１～Ｓｎを用いて計測データセットベクトルＦＡ１～ＦＡｎを生成するアルゴリズムを可視化して、ユーザによって視認可能な端末装置の画面１９０に表示させた例である。図２４の例では、計測歩容データＳ１～Ｓｎから抽出された特徴量ベクトルＦ１～Ｆｎの平均ベクトルＦＳや、応答変数Ａ１～Ａｎの平均値ＡＳも、画面１９０に表示させた。また、図２４の例では、計測データセットベクトルＦＡ１～ＦＡｎに関する共分散行列Ｗや、共分散行列Ｗをコレスキー分解することで導出された上三角行列Ｗ１も、画面１９０に表示させた。画面１９０に可視化されたアルゴリズムを参照すれば、計測歩容データＳ１～Ｓｎを用いて、計測データセットベクトルＦＡ１～ＦＡｎが生成される過程や共分散行列等を直感的に把握できる。
　図２５は、計測歩容データＳ１～Ｓｎを用いて擬似データセットベクトルＰＦＡ１～ＰＦＡｎを生成するアルゴリズムを可視化して、ユーザによって視認可能な端末装置の画面１９０に表示させた例である。図２５には、擬似特徴量ベクトルＰＦ１～ＰＦｎや、擬似偏差ベクトルＤ１～Ｄｎ、擬似分散ベクトルＤＲ１～ＤＲｎ、擬似応答変数の偏差Ｃ１～Ｃｎを計算して、擬似応答変数ＰＡ１～ＰＡｎを算出する過程を画面１９０に表示させた。また、図２５には、擬似応答変数ＰＡ１～ＰＡｎを算出するために用いられる、特徴量ベクトルＦ１～Ｆｎの平均ベクトルＦＳや、応答変数Ａ１～Ａｎの平均値ＡＳ、上三角行列Ｗ１の末尾の列ベクトルＬＣも、画面１９０に表示させた。画面１９０に可視化されたアルゴリズムを参照すれば、計測歩容データＳ１～Ｓｎを用いて、擬似データセットベクトルＰＦＡ１～ＰＦＡｎが生成される過程を直感的に把握できる。例えば、データセットを用いた学習で生成された推定モデルの精度や汎用性に問題がある場合、画面１９０に表示されたアルゴリズムを参照することで、どの過程に問題があるのかを視覚的に検証できる。
　〔適用例１－２〕
　図２６は、適用例１－２について説明するための概念図である。本適用例では、データ生成装置１１によって生成されたデータセットを用いた学習に関する情報を、ユーザによって視認可能な端末装置の画面に表示させる。
　図２６は、データ生成装置１１によって生成されたデータセットを学習装置１５に学習させた際に生成された推定モデル１５０の精度や汎用性に関する情報を、ユーザによって視認可能な端末装置の画面に表示させた例である。図２６の例では、データ生成装置１１によって生成された計測データセットベクトルＦＡおよび擬似データセットベクトルＰＳＡを、学習装置１５に学習させて、推定モデル１５０が生成された様子を画面１９０に表示させた。画面１９０には、推定モデルの精度として、「推定モデルの精度は○○です。」という精度に関する情報を表示させた。また、画面１９０には、「擬似データセットベクトルを用いることで、精度／汎用性が向上しています。」という汎用性に関する情報も表示させた。
　本適用例によれば、データ生成装置１１によって生成されたデータセットを用いた学習の効果を、画面１９０に表示された精度や汎用性に関する情報に応じて把握できる。
　以上のように、本実施形態の学習システムは、データ生成装置および学習装置を備える。
データ生成装置は、取得部、計測データ処理部、擬似データ生成部、および出力部を備える。取得部は、ユーザの足の動きに応じて計測されたセンサデータに関する計測歩容データと、計測歩容データに対応する応答変数とが組み合わせられたペアデータを取得する。計測データ処理部は、計測歩容データから抽出された特徴量を用いて算出された特徴量ベクトルと応答変数とを組み合わせて計測データセットベクトルを生成する。計測データ処理部は、複数のペアデータに関する共分散行列を生成する。擬似データ生成部は、計測歩容データを用いて擬似歩容データを生成する。擬似データ生成部は、擬似歩容データから抽出された擬似特徴量を用いて算出された擬似特徴量ベクトルと、擬似特徴量ベクトルに関する共分散行列とを用いて生成された擬似応答変数とを組み合わせて擬似データセットベクトルを生成する。出力部は、計測データセットベクトルおよび擬似データセットベクトルを含むデータセットを出力する。学習装置は、データ生成装置から出力されたデータセットを取得する。学習装置は、取得したデータセットを用いて、計測歩容データの入力に応じてユーザの身体状態に応じた応答変数を出力する推定モデルを生成する。
　足の動きに関するセンサデータに基づく歩容データには、健康状態と関連する歩容事象に特有の特徴が含まれる。歩容データと、その歩容データに対応する歩容事象とが関連付けられた学習データを学習させたモデル（推定モデル）を生成すれば、計測された歩容データに応じて、歩容事象を推定できる。推定モデルを生成するためには、歩容データと歩容事象の関連性を学習するための学習データを収集する必要がある。十分な精度の推定モデルを生成するためには、大量の学習データが必要である。大量の学習データを収集するためには、多大な時間や労力が必要である。非特許文献１の手法によれば、識別子などのラベルを擬似歩容データに付与することはできる。しかし、非特許文献１の手法では、歩容データに応じた数値（歩容事象指標）を、擬似歩容データに対応付けることができない。本実施形態の手法によれば、擬似歩容データに対応付けて、歩容データに応じた数値（歩容事象指標）を生成できる。すなわち、本実施形態の手法によれば、応答変数が連続的な数値であっても、学習に用いられるデータセットを生成できる。そのため、本実施形態の手法によれば、学習データの収集に費やされる時間や労力を節約し、高精度な推定モデルを構築できる。
　本実施形態の一態様において、擬似データ生成部は、複数のペアデータに含まれる複数の計測歩容データにゆらぎを加えて、複数の擬似歩容データを生成する。本態様によれば、複数の計測歩容データにゆらぎを加えることによって、擬似歩容データを増やすことができる。
　本実施形態の一態様において、擬似データ生成部は、複数のペアデータに含まれる複数の計測歩容データにノイズを加えて、複数の擬似歩容データを生成する。本態様によれば、複数の計測歩容データにノイズを加えることによって、擬似歩容データを増やすことができる。
　本実施形態の一態様において、擬似データ生成部は、計測歩容データを用いて複数の擬似歩容データを生成する。擬似データ生成部は、生成された擬似歩容データから少なくとも一つの擬似特徴量を抽出する。擬似データ生成部は、擬似歩容データから抽出された擬似特徴量を用いて、擬似歩容データごとに擬似特徴量ベクトルを生成する。本態様によれば、擬似データセットベクトルを生成するために用いられる特徴量ベクトルを、擬似歩容データごとに生成できる。
　本実施形態の一態様において、計測データ処理部は、一歩行周期ごとのセンサデータを用いて導出された計測歩容データから、歩容イベントに応じた特徴量を少なくとも一つ抽出する。一歩行周期ごとの計測歩容データから抽出された特徴量を用いて、計測歩容データごとに特徴量ベクトルを生成する。計測歩容データごとに生成された特徴量ベクトルの末尾に、計測歩容データに対応付けられた応答変数を加えて、計測歩容データごとの計測データセットベクトルを生成する。本態様によれば、データペアごとに、計測データセットベクトルを生成できる。
　本実施形態の一態様において、計測データ処理部は、複数のペアデータに関して、複数の計測歩容データから算出された複数の特徴量ベクトルの平均ベクトルを計算する。計測データ処理部は、計測歩容データごとに生成された複数の計測データセットベクトルに関して共分散行列を生成する。計測データ処理部は、生成された共分散行列をコレスキー分解することで、共分散行列の上三角行列を導出する。計測データ処理部は、複数のペアデータに関して、複数の応答変数の平均値を計算する。擬似データ生成部は、複数の擬似歩容データの各々から特徴量の平均ベクトルを引いて、複数の擬似歩容データの各々の擬似偏差ベクトルを計算する。擬似データ生成部は、算出された複数の擬似偏差ベクトルの各々の末尾に、０から１までのランダム値を付与して擬似分散ベクトルを生成する。擬似データ生成部は、生成された複数の擬似分散ベクトルの各々に、上三角行列の末尾の列を積算して、擬似応答変数の偏差を擬似歩容データごとに計算する。擬似データ生成部は、擬似歩容データごとに算出された擬似応答変数の偏差を、応答変数の平均値に足すことで、擬似歩容データに対応する擬似応答変数を計算する。本態様によれば、擬似歩容データから抽出された擬似特徴量を用いて算出された擬似特徴量ベクトルと、複数のペアデータに関する共分散行列を用いて生成された擬似応答変数とを組み合わせて、擬似データセットベクトルを生成できる。
　本実施形態の一態様において、出力部は、生成されたデータセットに関する情報を、端末装置の画面に表示させる。本態様によれば、データ生成部によって生成されたデータセットを、端末装置の画面で確認できる。
　（第２の実施形態）
　次に、第２の実施形態に係る推定システムについて図面を参照しながら説明する。本実施形態の推定システムは、第１の実施形態に係る学習装置によって生成された推定モデルを用いて、ユーザの身体状態を推定する。
　（構成）
　図２７は、本実施形態の推定システム２０の構成を示すブロック図である。推定システム２０は、計測装置２１および推定装置２５を備える。例えば、計測装置２１を除き、推定装置２５だけで推定システム２０が構成されてもよい。以下においては、計測装置２１と推定装置２５について個別に説明する。
　〔計測装置〕
　図２８は、計測装置２１の構成の一例を示すブロック図である。計測装置２１は、センサ２２および計測部２３を有する。センサ２２は、加速度センサ２２１および角速度センサ２２２を含む。計測部２３は、取得部２３１、記憶部２３３、計算部２３５、および送信部２３７を含む。計測装置２１は、足部に設置される。例えば、計測装置２１は、靴等の履物に設置される計測装置２１に設定される座標系等に関しては、第１の実施形態と同様である。
　図２９は、計測装置２１が靴２００の中に配置される一例を示す概念図である。図２９の例では、足弓の裏側に当たる位置に、計測装置２１が設置される。例えば、計測装置２１は、靴２００の中に挿入されるインソールに配置される。例えば、計測装置２１は、靴２００の底面に配置される。例えば、計測装置２１は、靴２００の本体に埋設される。計測装置２１は、靴２００から着脱できてもよいし、靴２００から着脱できなくてもよい。なお、計測装置２１は、足の動きに関するセンサデータを取得できさえすれば、足弓の裏側ではない位置に設置されてもよい。また、計測装置２１は、ユーザが履いている靴下や、ユーザが装着しているアンクレット等の装飾品に設置されてもよい。また、計測装置２１は、足に直に貼り付けられたり、足に埋め込まれたりしてもよい。図２９においては、両足の靴２００に計測装置２１が設置される例を示す。計測装置２１は、一方の足の靴２００に設置されてもよい。
　加速度センサ２２１は、３軸方向の加速度（空間加速度とも呼ぶ）を計測するセンサである。加速度センサ２２１は、足の動きに関する物理量として、加速度（空間加速度とも呼ぶ）を計測する。加速度センサ２２１は、計測した加速度を計測部２３に出力する。例えば、加速度センサ２２１には、圧電型や、ピエゾ抵抗型、静電容量型等の方式のセンサを用いることができる。加速度センサ２２１として用いられるセンサは、加速度を計測できれば、その計測方式に限定を加えない。
　角速度センサ２２２は、３軸方向の角速度（空間角速度とも呼ぶ）を計測するセンサである。角速度センサ２２２は、足の動きに関する物理量として、角速度（空間角速度とも呼ぶ）を計測する。角速度センサ２２２は、計測した角速度を計測部２３に出力する。例えば、角速度センサ２２２には、振動型や静電容量型等の方式のセンサを用いることができる。角速度センサ２２２として用いられるセンサは、角速度を計測できれば、その計測方式に限定を加えない。
　センサ２２は、例えば、加速度や角速度を計測する慣性計測装置によって実現される。慣性計測装置の一例として、ＩＭＵ（Inertial Measurement Unit）があげられる。ＩＭＵは、３軸方向の加速度を計測する加速度センサ２２１と、３軸周りの角速度を計測する角速度センサ２２２を含む。センサ２２は、ＶＧ（Vertical Gyro）やＡＨＲＳ（Attitude Heading）などの慣性計測装置によって実現されてもよい。また、センサ２２は、ＧＰＳ／ＩＮＳ（Global Positioning System/Inertial Navigation System）によって実現されてもよい。センサ２２は、足の動きに関する物理量を計測できれば、慣性計測装置以外の装置によって実現されてもよい。
　取得部２３１は、加速度センサ２２１から、３軸方向の加速度を取得する。また、取得部２３１は、角速度センサ２２２から、３軸周りの角速度を取得する。取得部２３１は、取得した加速度および角速度をデジタルデータに変換し、変換後のデジタルデータ（センサデータとも呼ぶ）を記憶部２３３に記憶させる。取得部２３１は、計算部２３５に、センサデータを直接出力するように構成されてもよい。センサデータには、デジタルデータに変換された加速度データと、デジタルデータに変換された角速度データとが少なくとも含まれる。加速度データは、３軸方向の加速度ベクトルを含む。角速度データは、３軸周りの角速度ベクトルを含む。加速度データおよび角速度データには、それらのデータの取得時間が紐付けられる。また、取得部２３１は、加速度データおよび角速度データに対して、実装誤差や温度補正、直線性補正などの補正を加えてもよい。
　記憶部２３３は、センサデータを記憶する。記憶部２３３に記憶されたセンサデータは、計算部２３５による歩容パラメータの計算に用いられる。歩容パラメータの計算を省略して、センサデータを直に推定装置２５に送信する場合は、記憶部２３３に記憶されたセンサデータをそのまま送信部２３７から送信するように構成されればよい。
　計算部２３５は、記憶部２３３からセンサデータを取得する。計算部２３５は、取得部２３１からセンサデータを直接取得するように構成されてもよい。例えば、計算部２３５は、取得されたセンサデータの座標系を、ローカル座標系から世界座標系に変換する。ユーザが直立した状態では、ローカル座標系（ｘ軸、ｙ軸、ｚ軸）と世界座標系（Ｘ軸、Ｙ軸、Ｚ軸）は一致する。ユーザが歩行している間、計測装置２１の空間的な姿勢が変化するため、ローカル座標系（ｘ軸、ｙ軸、ｚ軸）と世界座標系（Ｘ軸、Ｙ軸、Ｚ軸）は一致しない。そのため、計算部２３５は、計測装置２１によって取得されたセンサデータを、計測装置２１のローカル座標系（ｘ軸、ｙ軸、ｚ軸）から世界座標系（Ｘ軸、Ｙ軸、Ｚ軸）に変換する。ローカル座標系のセンサデータを用いて歩容事象を検出できる場合は、ローカル座標系から世界座標系への座標変換が割愛されてもよい。
　計算部２３５は、取得したセンサデータを用いて、計測装置２１が設置された靴２００を履いたユーザの歩行に伴って計測される、足の動きに関する物理量の時系列データを生成する。例えば、計算部２３５は、空間加速度や空間角速度などの時系列データを生成する。また、計算部２３５は、空間加速度や空間角速度を積分し、空間速度や空間角度（足底角）、空間軌跡などの時系列データを生成する。計算部２３５は、一般的な歩行周期や、ユーザに固有の歩行周期に合わせて設定された所定のタイミングや時間間隔で時系列データを生成する。計算部２３５が時系列データを生成するタイミングは、任意に設定できる。例えば、計算部２３５は、ユーザの歩行が継続されている期間、時系列データを生成し続けるように構成される。例えば、計算部２３５は、特定のタイミングにおいて、時系列データを生成するように構成されてもよい。
　歩容パラメータを計算する場合、計算部２３５は、生成された時系列データから、一歩行周期分のセンサデータの時系列データ（歩行波形とも呼ぶ）を抽出する。ここでは、歩行波形は、センサデータの時系列データをグラフとして表したものではなく、センサデータの時系列データそのものである。例えば、計算部２３５は、時系列データの始点として、立脚相の中央のタイミングを、歩行波形の始点として検出する。例えば、計算部２３５は、踵接地や爪先離地のタイミングを、歩行波形の始点として検出してもよい。歩容パラメータを計算しない場合、計算部２３５は、生成した時系列データを送信部２３７に出力すればよい。
　計算部２３５は、抽出された一歩行周期分の歩行波形から、歩容事象を検出する。例えば、計算部２３５は、歩行波形において、歩容事象の発現に伴う特徴的な変化のタイミングを検出する。例えば、計算部２３５は、歩行波形において、歩容事象の発現に伴う特徴的な極大や極小のタイミングを検出する。
　例えば、計算部２３５は、踵接地や爪先離地、足交差、踵持ち上がり、脛骨垂直、反対足爪先離地、反対足踵接地等の歩容事象を検出する。本実施形態においては、爪先が踵よりも下に位置する状態（底屈）を正とし、爪先が踵よりも上に位置する状態（背屈）を負とする。底屈では、爪先離地のタイミングでロール角が最大となる。例えば、計算部２３５は、一歩行周期の歩行波形において、ロール角が最大となるタイミングを、爪先離地のタイミングとして検出する。背屈では、踵接地のタイミングでロール角が最小になる。例えば、計算部２３５は、一歩行周期の歩行波形において、ロール角が最小となるタイミングを、踵接地のタイミングとして検出する。例えば、計算部２３５は、ロール角の歩行波形から立脚相の中央のタイミングを検出する。実際には、ロール角が最大／最小を示すタイミングと、爪先離地／踵接地のタイミングとは、完全には一致しない。そのため、一歩行周期分の歩行波形において、ロール角が最大／最小を示すタイミングと、爪先離地／踵接地のタイミングとが一致するように、歩行周期が正規化されてもよい。歩行波形を正規化すれば、人によって異なる歩容事象の発現のタイミングを揃えることができる。
　計算部２３５は、検出された歩容事象に基づいて、歩容パラメータを計算する。例えば、計算部２３５は、検出された歩容事象のタイミングや、それらの歩容事象のタイミングにおけるセンサデータの値を用いて、歩容パラメータを計算する。例えば、計算部２３５は、一歩行周期ごとに歩容パラメータを計算する。例えば、計算部２３５は、歩行速度や歩幅、接地角、離地角、最大足上げ高さ（センサ位置）、分回し（進行方向軌跡）、爪先の向き等の歩容パラメータを計算する。これらの歩容パラメータの計算方法については、説明を割愛する。歩容パラメータやセンサデータが、歩容データに相当する。
　送信部２３７は、計算部２３５から歩容データを取得する。送信部２３７は、取得した歩容データを、推定装置２５が実装された携帯端末等（図示しない）に送信する。例えば、送信部２３７は、ケーブルなどの有線を介して、歩容データを携帯端末等に送信する。例えば、送信部２３７は、無線通信を介して、歩容データを携帯端末等に送信する。例えば、送信部２３７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）などの規格に則した無線通信機能（図示しない）を介して、歩容データを携帯端末等に送信する。なお、送信部２３７の通信機能は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）以外の規格に則していてもよい。
　例えば、計測部２３は、マイクロコンピュータやマイクロコントローラによって実現される。例えば、計測部２３は、制御回路や記憶回路を有する。例えば、制御回路は、ＣＰＵ（Central Processing Unit）によって実現される。例えば、記憶回路は、ＲＡＭ（Random Access Memory）などの揮発性メモリによって実現される。例えば、記憶回路は、ＲＯＭ（Read Only Memory）や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）などの不揮発性メモリによって実現される。
　〔推定装置〕
　次に、推定システム２０が備える推定装置２５の詳細構成について図面を参照しながら説明する。図３０は、推定装置２５の構成の一例を示すブロック図である。推定装置２５は、受信部２５１、記憶部２５３、推定部２５５、および推定結果出力部２５７を有する。例えば、推定装置２５は、ユーザの携帯する携帯端末（図示しない）に実装される。例えば、推定装置２５は、ユーザの携帯する携帯端末（図示しない）にインストールされたアプリケーションソフトウェア等によって実現される。
　受信部２５１は、計測装置２１から、歩容パラメータやセンサデータなどの歩容データを受信する。受信部２５１は、受信した歩容データを推定部２５５に出力する。受信部２５１は、受信した歩容データを記憶部２５３に記憶させてもよい。例えば、受信部２５１は、無線通信を介して、計測装置２１から歩容データを受信する。例えば、受信部２５１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）などの規格に則した無線通信機能（図示しない）を介して、計測装置２１から歩容データを受信するように構成される。なお、受信部２５１の通信機能は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）以外の規格に則していてもよい。例えば、受信部２５１は、ケーブルなどの有線を介して、計測装置２１から歩容データを受信してもよい。
　記憶部２５３は、第１の実施形態の学習装置１５によって生成された推定モデルを記憶する。記憶部２５３に記憶された推定モデルは、推定部２５５による推定に用いられる。記憶部２５３は、受信部２５１によって受信されたデータを記憶してもよい。
　推定部２５５は、センサデータの時系列データや歩容パラメータなどの歩容データを、受信部２５１から取得する。推定部２５５は、取得した歩容データから特徴量を抽出する。推定部２５５は、抽出された特徴量を推定モデルに入力し、推定モデルから出力された結果（歩容事象指標）を出力する。
　図３１は、推定部２５５による推定の一例について説明するための概念図である。図３１の例では、第１の実施形態の手法で生成された推定モデル２５０を用いた推定を行う。推定モデル２５０は、計測装置２１によって計測されたセンサデータに基づく歩容データから抽出された特徴量の入力に応じて、歩容事象データ（応答変数）を出力する。推定モデル２５０は、特徴量ＦＶ１～ＦＶｍの入力に応じて、歩容事象データを推定結果として出力する（ｍは自然数）。例えば、外反母趾の進行度を推定する推定モデル２５０の場合、入力された特徴量ＦＶ１～ＦＶｍに応じた進行度が、推定モデル２５０から出力される。例えば、足の回内／回外の度合を推定する推定モデル２５０の場合、入力された特徴量ＦＶ１～ＦＶｍに応じた度合が推定モデル２５０から出力される。特徴量の入力に応じて、身体状態に関する歩容事象データ（応答変数）を推定結果として出力できれば、推定モデル２５０によって推定される推定結果には限定を加えない。
　例えば、推定部２５５は、ユーザの歩容に関するスコアを推定する。例えば、スコアは、ユーザの歩容の評価に関する数値である。例えば、推定部２５５は、ユーザの身体状態を推定する。例えば、身体状態は、足の回内／回外の度合や、外反母趾の進行度、膝関節症の進行度、筋力、バランス能力、体の柔軟性などに関する度合を含む。推定部２５５による推定処理は、歩容に関すれば、特に限定を加えない。
　例えば、推定部２５５は、足圧中心軌跡指標ＣＰＥＩやＨＶ角などの身体状態に関する数値に応じて、身体状態を推定する。例えば、足圧中心軌跡指標ＣＰＥＩに関して、推定装置２５は、９以下ならば回内と推定し、９～２０ならば正常と推定し、２０以上ならば回外と推定する。例えば、ＨＶ角に関して、推定部２５５は、２０度を超えた場合は外反母趾と推定し、２０度未満の所定の閾値を超えた場合は外反母趾の傾向があると推定し、所定の閾値以下の場合は正常と推定する。推定部２５５による身体状態の推定は、歩容に関すれば、特に限定を加えない。
　推定結果出力部２５７は、推定部２５５による推定結果を取得する。推定結果出力部２５７は、推定部２５５から取得した推定結果を出力する。例えば、推定結果出力部２５７は、推定部２５５による推定結果を表示装置（図示しない）に出力する。例えば、推定部２５５による推定結果は、表示装置の画面に表示される。例えば、推定部２５５による推定結果は、その推定結果を利用する外部システムに出力される。推定部２５５による推定結果の用途には、特に限定を加えない。
　推定装置２５を実装可能な携帯端末（図示しない）は、ユーザによって携帯可能な通信機器である。例えば、携帯端末は、スマートフォンやスマートウォッチ、タブレット、携帯電話等の通信機能を有する携帯型の端末装置である。携帯端末は、計測装置２１から歩容データを受信する。携帯端末は、受信した歩容データを用いて、ユーザの身体状態を推定する。例えば、計測装置２１は、歩容データをデータ処理した結果を、携帯端末の画面に表示させる。例えば、歩容データをデータ処理した結果を、ユーザによって視認可能な端末装置（図示しない）の画面に表示させてもよい。例えば、推定装置２５は、計測装置２１から受信した歩容データのうち少なくともいずれかの数値を、携帯端末の画面にリアルタイムで表示させる。例えば、推定装置２５は、計測装置２１から受信した歩容データの時系列データを、携帯端末の画面にリアルタイムで表示させる。また、推定装置２５は、受信した歩容データを用いた推定結果を、サーバやクラウド等に送信してもよい。推定装置２５によって推定された推定結果の用途については、特に限定を加えない。また計測装置２１によって計測された歩容データを取得可能であれば、サーバやクラウド側に推定装置２５が設置されててもよい。
　（動作）
　次に、推定システム２０の動作について図面を参照しながら説明する。以下においては、推定システム２０が備える計測装置２１と推定装置２５の動作を個別に説明する。
　〔計測装置〕
　まず、計測装置２１の動作について図面を参照しながら説明する。図３２は、計測装置２１の動作の一例について説明するためのフローチャートである。
　図３２において、計測装置２１は、振動検知モードで動作している（ステップＳ２０１）。例えば、計測装置２１は、ユーザの操作に応じて起動し、振動検知モードで動作し始める。例えば、計測装置２１は、予め設定された時間帯やタイミングに起動するように設定される。
　所定期間内に振動を検知すると（ステップＳ２０２でＹｅｓ）、計測装置２１は、センサデータ計測処理を実行する（ステップＳ２０３）。ステップＳ２０３のセンサデータ計測処理において、計測装置２１は、センサデータを計測する。ステップＳ２０３のセンサデータ計測処理の詳細については、後述する。所定期間内に振動を検知しなかった場合（ステップＳ２０２でＮｏ）、ステップＳ２０６に進む。
　ステップＳ２０３の次に、計測装置２１は、歩容パラメータ計算処理を実行する（ステップＳ２０４）。ステップＳ２０４の歩容パラメータ計算処理において、計測装置２１は、ステップＳ２０３のセンサデータ計測処理で計測されたセンサデータを用いて、歩容パラメータを計算する。ステップＳ２０４の歩容パラメータ計算処理の詳細については、後述する。
　ステップＳ２０４の次に、センサデータの計測を継続する場合（ステップＳ２０５でＹｅｓ）、ステップＳ２０３に戻る。センサデータの計測の継続は、歩数や時間等の予め設定された条件に応じて判定されればよい。センサデータの計測を継続しない場合（ステップＳ２０５でＮｏ）、振動検知モードを継続するのであれば（ステップＳ２０６でＹｅｓ）、ステップＳ２０１に戻る。振動検知モードを継続しない場合（ステップＳ２０６でＮｏ）、図３２のフローチャートに沿った処理は終了である。計測の継続／停止は、予め決められたタイミングや、ユーザの停止操作等に応じて判定されればよい。
　〔センサデータ計測処理〕
　次に、計測装置２１によるセンサデータ計測処理（図３２のステップＳ２０３）の一例について図面を参照しながら説明する。図３３は、計測装置２１によるセンサデータ計測処理の一例について説明するためのフローチャートである。図３３のフローチャートに沿った処理の説明においては、計測装置２１を動作主体とする。
　図３２において、まず、計測装置２１は、指定されたサンプリングレートでセンサデータを計測する（ステップＳ２１１）。計測装置２１は、加速度や角速度などのセンサデータを計測する。
　次に、計測装置２１は、取得されたセンサデータをバッファ（記憶部２３３）に記録する（ステップＳ２１２）。
　次に、計測装置２１は、バッファに記録されたセンサデータから歩容事象を検出する（ステップＳ２１３）。
　所定の歩容事象が検出され（ステップＳ２１４でＹｅｓ）、一歩目である場合（ステップＳ２１５でＹｅｓ）、計測装置２１は、歩行周期の起点を検出する（ステップＳ２１６）。例えば、計測装置２１は、踵接地や爪先離地、立脚相の中央のタイミングなどを、歩行周期の起点として検出する。一歩目でない場合（ステップＳ２１５でＮｏ）、ステップＳ２１７に進む。
　ステップＳ２１６の次、またはステップＳ２１５でＮｏの場合、計測装置２１は、ストライド判定を実施する（ステップＳ２１７）。ストライド判定において、計測装置２１は、一歩分（一ストライド分）のセンサデータの取得を判定する。
　ここで、データ通信のタイミングである場合（ステップＳ２１８でＹｅｓ）、図３２のフローチャートのステップＳ２０４（図３４のステップＳ２２１）に進む。例えば、データ通信のタイミングは、遊脚相に設定される。データ通信のタイミングでない場合（ステップＳ２１８でＮｏ）、ステップＳ２１１に戻る。
　〔歩容パラメータ計算処理〕
　次に、計測装置２１による歩容パラメータ計算処理（図３２のステップＳ２０４）の一例について図面を参照しながら説明する。図３４は、計測装置２１による歩容パラメータ計算処理の一例について説明するためのフローチャートである。図３４のフローチャートに沿った処理の説明においては、計測装置２１を動作主体とする。
　図３２において、まず、計測装置２１は、センサデータの計測を一時停止する（ステップＳ２２１）。シングルタスクマイコンの場合、センサデータの計測と歩容パラメータの計算とを同時に行うことができないため、センサデータの計測が一時停止される。マルチタスクマイコンの場合、センサデータの計測と歩容パラメータの計算とを同時に行うことができるため、ステップＳ２２１が省略されてもよい。
　次に、計測装置２１は、バッファ（記憶部２３３）に記憶されたセンサデータを用いて、歩容パラメータを計算する（ステップＳ２２２。例えば、計測装置２１は、歩行速度や歩幅、接地角、離地角、最大足上げ高さ（センサ位置）、分回し（進行方向軌跡）、爪先の向き等の歩容パラメータを計算する。歩容パラメータを計算せずに、センサデータそのものを送信する場合、ステップＳ２２２が省略される。
　次に、計測装置２１は、算出された歩容パラメータ（歩容データ）を送信する（ステップＳ２２３）。例えば、計測装置２１は、歩行速度や歩幅、接地角、離地角、最大足上げ高さ（センサ位置）、分回し（進行方向軌跡）、爪先の向き等の歩容パラメータを送信する。例えば、計測装置２１は、センサデータそのものを送信してもよい。
　次に、計測装置２１は、バッファ（記憶部２３３）に記憶されたセンサデータの一部をクリアする（ステップＳ２２４）。例えば、計測装置２１は、送信済みの歩容パラメータの計算に用いられたセンサデータをバッファ（記憶部２３３）から削除する。ステップＳ２２４の次は、図３２フローチャートのステップＳ２０５に進む。
　〔推定装置〕
　次に、推定装置２５の動作について図面を参照しながら説明する。図３５は、推定装置２５の動作の一例について説明するためのフローチャートである。図３５のフローチャートに沿った説明においては、推定装置２５を動作主体として説明する。
　図３５において、まず、推定装置２５は、計測装置２１から歩容データを受信する（ステップＳ２３１）。推定装置２５は、センサデータや歩容パラメータなどの歩容データを受信する。
　次に、推定装置２５は、受信した歩容データから特徴量を抽出する（ステップＳ２３２）。
　次に、推定装置２５は、抽出された特徴量を推定モデルに入力する（ステップＳ２３３）。推定モデルは、特徴量の入力に応じて、応答変数（歩容事象指標）を出力する。センサデータや歩容パラメータなどの歩容データの入力に応じて応答変数を出力する推定モデルの場合、歩容データが入力される。例えば、推定モデルは、ユーザの歩容に関するスコアを、応答変数として出力する。例えば、推定モデルは、歩容パラメータに関する数値を、応答変数として出力する。例えば、推定装置２５は、足の回内／回外の度合や、外反母趾の進行度、膝関節症の進行度、筋力、バランス能力、体の柔軟性などに関する数値を、応答変数として出力する。例えば、推定モデルは、足圧中心軌跡指標ＣＰＥＩ（Center of Pressure Excursion Index）やＨＶ（Hallux valgus）角などの数値を、応答変数として出力する。
　次に、推定装置２５は、推定モデルからの出力に応じて、身体状態を推定する（ステップＳ２３４）。推定装置２５は、推定モデルから出力された応答変数に応じて、身体状態を推定する。例えば、推定装置２５は、ユーザの歩容に関するスコアを推定する。例えば、推定装置２５は、歩容パラメータに関する数値に応じて、身体状態を推定する。例えば、推定装置２５は、足の回内／回外の度合や、外反母趾の進行度、膝関節症の進行度、筋力、バランス能力、体の柔軟性などに関する数値に応じて、身体状態を推定する。
　次に、推定装置２５は、推定された身体状態に関する情報を出力する（ステップＳ２３５）。例えば、推定装置２５は、推定結果を表示装置（図示しない）に出力する。例えば、推定装置２５による推定結果は、表示装置の画面に表示される。例えば、推定装置２５による推定結果は、その推定結果を利用するシステムに出力される。推定装置２５による推定結果の用途には、特に限定を加えない。
　（適用例）
　次に、本実施形態の適用例について図面を参照しながら説明する。本実施形態の適用例においては、ユーザの靴の中に計測装置が設置され、その計測装置によって計測された歩容データが、ユーザの所持する携帯端末に送信される。携帯端末に送信されたセンサデータは、携帯端末に実装された推定装置によって処理される。例えば、推定装置の機能は、携帯端末にインストール可能なアプリケーションとして提供される。
　〔適用例２－１〕
　図３６は、適用例２－１について説明するための概念図である。本適用例では、計測装置２１が設置された靴２００を履いたユーザの携帯端末２６０の画面に、推定装置２５による推定結果に応じた情報を表示させる。
　図３６の例では、ユーザの携帯する携帯端末２６０の画面に、「あなたのＣＰＥＩは＋８．５です」という推定結果を表示させる。また、携帯端末２６０の画面に、「回内の傾向があります。」という、推定結果に応じた身体状態に関する情報を表示させる。さらに、携帯端末２６０の画面に、その身体状態に応じて、「爪先を少し外側に向けて歩くことをお薦めします。」という推薦情報を表示させる。携帯端末２６０の画面に表示された情報を閲覧したユーザは、それらの情報に応じた行動を取ることができる。例えば、携帯端末２６０の画面に表示された情報を閲覧したユーザは、それらの情報に応じて、自身に適した運動や歩き方を実践できる。例えば、携帯端末２６０の画面に表示された情報を閲覧したユーザは、それらの情報に応じて、医療機関等に自身の身体状態について連絡できる。
　推定装置２５による推定結果に応じた情報は、ユーザによって視認可能な画面であれば、携帯端末２６０の画面に限らず、据え置き型のパーソナルコンピュータや専用端末の画面に表示されてもよい。また、推定装置２５による推定結果に応じた情報は、文字情報ではなく、推定結果に応じた画像であってもよい。また、推定装置２５による推定結果に応じた情報は、予め設定された音や振動などのパターンで通知されてもよい。
　〔適用例２－２〕
　図３７～図３８は、適用例２－２について説明するための概念図である。本適用例では、計測装置２１が設置された靴２００を履いたユーザの携帯端末２６０から送信された認証情報に応じて、そのユーザを認証する。歩容データに応じた個人認証を行う場合、既に蓄積された歩容データを含むペアデータを、第１の実施形態の手法で拡張すればよい。識別番号は、個人に固有であるため不変であるが、変数とみなすことができる。
　図３７は、計測装置２１が設置された靴２００を履いたユーザが、認証の必要なドアに近づいてきた様子を示す。ドアの上方には、推定装置２５によって推定された識別番号（認証情報とも呼ぶ）を受信し、受信した識別番号に応じてドアの開閉を制御する開閉制御装置２７０が設置されている。開閉制御装置２７０は、受信した識別番号に応じて、ドアを開閉する駆動装置（図示しない）を制御する。携帯端末２６０に実装された推定装置２５は、計測装置２１によって計測された歩容データから抽出される特徴量を用いて、ユーザの識別番号を推定する。推定装置２５は、推定された識別番号を送信する。推定装置２５から送信された識別番号は、開閉制御装置２７０によって受信される。開閉制御装置２７０によって受信された識別番号は、開閉制御装置２７０や、開閉制御装置２７０に接続されたサーバ等に実装された認証システム等によって認証を受ける。識別番号が許可された番号である場合、開閉制御装置２７０はドアを開く。識別番号が許可された番号ではない場合、開閉制御装置２７０はドアを開かない。
　図３８は、推定装置２５から送信された識別番号に応じて、開閉制御装置２７０によってドアが開かれた様子を示す。計測装置２１が設置された靴２００を履いたユーザは、開かれたドアを通じて、建物等の内部に進入できる。
　例えば、ユーザとは異なる人物Ｂが計測装置２１の設置された靴２００を履いて歩行した場合、その人物Ｂの歩容データから抽出される特徴量に応じて識別番号が推定される。人物Ｂの識別番号が許可された番号の場合、開閉制御装置２７０はドアを開く。人物Ｂの識別番号が許可された番号ではない場合、開閉制御装置２７０はドアを開かない。例えば、計測装置２１が設置された靴２００がユーザ以外の人物に履かれた場合、歩容データに応じて推定される識別番号が許可された番号ではない限り、ドアは開かれない。
　例えば、歩容データに応じて推定された識別番号を用いた認証と、その他の認証とが組み合わされてもよい。例えば、靴２００や計測装置２１の識別番号と、歩容データに応じて推定された識別番号との両方が認証された場合に、開閉制御装置２７０がドアを開くように構成することができる。このように構成すれば、ユーザ以外の人物が靴２００を履いてドアを通過することができなくなるため、セキュリティが向上する。例えば、歩容データに応じた識別番号による認証と、顔認証や指紋認証、掌紋認証、静脈認証などの認証とを組み合わせてもよい。
　また、歩容データに応じて推定される変数を識別番号として用いてもよい。例えば、歩容データに応じて推定される変数が、許可された識別番号から所定範囲内の値であれば、認証されるように構成できる。そのように構成すれば、入場許可されたユーザであっても、歩容データのばらつきに応じて入場を制限できる。例えば、風邪気味のユーザが普段とは異なる歩容を示し、推定される変数が許可された識別番号から所定範囲外になるような状況において、そのユーザの入場を制限できる。例えば、ユーザの歩容に応じて、職場の健康管理センターで受診することを薦めたり、自宅で療養することを薦めたりする表示情報を、ドアの近傍や携帯端末２６０の画面に表示させてもよい。例えば、ゆっくりと歩いて通過しなければならない場所では、走って通過しようとするユーザの入場を制限できる。例えば、ユーザの歩容に応じて、ゆっくりと歩くことを薦めたり、走ったことに対するペナルティを課したりする表示情報を、ドアの近傍や携帯端末２６０の画面に表示させてもよい。
　以上のように、本実施形態の推定システムは、計測装置および推定装置を備える。計測装置は、ユーザの履物に配置される。計測装置は、ユーザの歩行に応じて空間加速度および空間角速度を計測し、計測された空間加速度および空間角速度に基づくセンサデータを生成する。計測装置は、生成されたセンサデータを用いて計測歩容データを生成する。計測装置は、生成された計測歩容データを推定装置に送信する。推定装置は、受信部、記憶部、推定部、および推定結果出力部を有する。受信部は、ユーザの足の動きに関するセンサデータを用いて導出された計測歩容データを受信する。記憶部は、第１の実施形態の学習システムによって生成された推定モデルを記憶する。推定部は、受信された計測歩容データを推定モデルに入力する。推定部は、推定モデルから出力される応答変数に応じてユーザの身体状態を推定する。推定結果出力部は、推定されたユーザの身体状態に関する情報を出力する。
　本実施形態の推定システムは、第１の実施形態の学習システムによって生成された推定モデルを用いて、ユーザの身体状態を推定する。第１の実施形態の学習システムによって生成された推定モデルは、拡張されたデータセットを用いて生成されたため、精度や汎用性が高い。そのため、本実施形態の推定システムによれば、精度や汎用性が高い推定を実行できる。
　本実施形態の一態様において、推定結果出力部は、推定されたユーザの身体状態に関する情報を、ユーザの携帯する携帯端末の画面に表示させる。本態様によれば、ユーザの歩容に応じて推定された推定結果を、そのユーザ自身がリアルタイムで確認できる。
　本実施形態の一態様において、記憶部は、計測歩容データの入力に応じて、識別番号に関する応答変数を出力する推定モデルを記憶する。推定部は、計測歩容データの入力に応じて推定モデルから出力される応答変数に応じてユーザの識別番号を推定する。出力部は、推定された識別番号を、識別番号を用いた認証を行う認証装置に送信する。本態様によれば、歩容に応じた認証を実現できる。
　（第３の実施形態）
　次に、第３の実施形態のデータ生成装置について図面を参照しながら説明する。本実施形態のデータ生成装置は、第１の実施形態のデータ生成装置を簡略化した構成である。
　図３９は、本実施形態に係るデータ生成装置３１の構成の一例を示すブロック図である。データ生成装置３１は、取得部３１１、計測データ処理部３１２、擬似データ生成部３１３、および出力部３１５を備える。
　取得部３１１は、ユーザの足の動きに応じて計測されたセンサデータに関する計測歩容データと、計測歩容データに対応する応答変数とが組み合わせられたペアデータを取得する。計測データ処理部３１２は、計測歩容データから抽出された特徴量を用いて算出された特徴量ベクトルと応答変数とを組み合わせて計測データセットベクトルを生成する。計測データ処理部３１２は、複数のペアデータに関する共分散行列を生成する。擬似データ生成部３１３は、計測歩容データを用いて擬似歩容データを生成する。擬似データ生成部３１３は、擬似歩容データから抽出された擬似特徴量を用いて算出された擬似特徴量ベクトルと、擬似特徴量ベクトルに関する共分散行列とを用いて生成された擬似応答変数とを組み合わせて擬似データセットベクトルを生成する。出力部３１５は、計測データセットベクトルおよび擬似データセットベクトルを含むデータセットを出力する。
　以上のように、本実施形態のデータ生成装置は、擬似歩容データから抽出された擬似特徴量を用いて算出された擬似特徴量ベクトルと、複数のペアデータに関する共分散行列を用いて生成された擬似応答変数とを組み合わせて擬似データセットベクトルを生成する。そのため、本実施形態のデータ生成装置によれば、応答変数が連続的な数値であっても、学習に用いられるデータセットを生成できる。
　（ハードウェア）
　ここで、本開示の各実施形態に係る制御や処理を実行するハードウェア構成について、図４０の情報処理装置９０を一例としてあげて説明する。なお、図４０の情報処理装置９０は、各実施形態の制御や処理を実行するための構成例であって、本開示の範囲を限定するものではない。
　図４０のように、情報処理装置９０は、プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５、および通信インターフェース９６を備える。図４０においては、インターフェースをＩ／Ｆ（Interface）と略記する。プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５、および通信インターフェース９６は、バス９８を介して、互いにデータ通信可能に接続される。また、プロセッサ９１、主記憶装置９２、補助記憶装置９３、および入出力インターフェース９５は、通信インターフェース９６を介して、インターネットやイントラネットなどのネットワークに接続される。
　プロセッサ９１は、補助記憶装置９３等に格納されたプログラムを、主記憶装置９２に展開する。プロセッサ９１は、主記憶装置９２に展開されたプログラムを実行する。本実施形態においては、情報処理装置９０にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ９１は、各実施形態に係る制御や処理を実行する。
　主記憶装置９２は、プログラムが展開される領域を有する。主記憶装置９２には、プロセッサ９１によって、補助記憶装置９３等に格納されたプログラムが展開される。主記憶装置９２は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリによって実現される。また、主記憶装置９２として、ＭＲＡＭ（Magnetoresistive Random Access Memory）などの不揮発性メモリが構成／追加されてもよい。
　補助記憶装置９３は、プログラムなどの種々のデータを記憶する。補助記憶装置９３は、ハードディスクやフラッシュメモリなどのローカルディスクによって実現される。なお、種々のデータを主記憶装置９２に記憶させる構成とし、補助記憶装置９３を省略することも可能である。
　入出力インターフェース９５は、規格や仕様に基づいて、情報処理装置９０と周辺機器とを接続するためのインターフェースである。通信インターフェース９６は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークを通じて、外部のシステムや装置に接続するためのインターフェースである。入出力インターフェース９５および通信インターフェース９６は、外部機器と接続するインターフェースとして共通化してもよい。
　情報処理装置９０には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器が接続されてもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねる構成としてもよい。プロセッサ９１と入力機器との間のデータ通信は、入出力インターフェース９５に仲介させればよい。
　また、情報処理装置９０には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、情報処理装置９０には、表示機器の表示を制御するための表示制御装置（図示しない）が備えられていることが好ましい。表示機器は、入出力インターフェース９５を介して情報処理装置９０に接続すればよい。
　また、情報処理装置９０には、ドライブ装置が備え付けられてもよい。ドライブ装置は、プロセッサ９１と記録媒体（プログラム記録媒体）との間で、記録媒体からのデータやプログラムの読み込み、情報処理装置９０の処理結果の記録媒体への書き込みなどを仲介する。ドライブ装置は、入出力インターフェース９５を介して情報処理装置９０に接続すればよい。
　以上が、本発明の各実施形態に係る制御や処理を可能とするためのハードウェア構成の一例である。なお、図４０のハードウェア構成は、各実施形態に係る制御や処理を実行するためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、各実施形態に係る制御や処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、各実施形態に係るプログラムを記録したプログラム記録媒体も本発明の範囲に含まれる。記録媒体は、例えば、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光学記録媒体で実現できる。記録媒体は、ＵＳＢ（Universal Serial Bus）メモリやＳＤ（Secure Digital）カードなどの半導体記録媒体によって実現されてもよい。また、記録媒体は、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現されてもよい。プロセッサが実行するプログラムが記録媒体に記録されている場合、その記録媒体はプログラム記録媒体に相当する。
　各実施形態の構成要素は、任意に組み合わせてもよい。また、各実施形態の構成要素は、ソフトウェアによって実現されてもよいし、回路によって実現されてもよい。
　以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　ユーザの足の動きに応じて計測されたセンサデータに関する計測歩容データと、前記計測歩容データに対応する応答変数とが組み合わせられたペアデータを取得する取得部と、
　前記計測歩容データから抽出された特徴量を用いて算出された特徴量ベクトルと前記応答変数とを組み合わせて計測データセットベクトルを生成し、複数の前記ペアデータに関する共分散行列を生成する計測データ処理部と、
　前記計測歩容データを用いて擬似歩容データを生成し、前記擬似歩容データから抽出された擬似特徴量を用いて算出された擬似特徴量ベクトルと、前記擬似特徴量ベクトルに関する前記共分散行列とを用いて生成された擬似応答変数とを組み合わせて擬似データセットベクトルを生成する擬似データ生成部と、
　前記計測データセットベクトルおよび前記擬似データセットベクトルを含むデータセットを出力する出力部と、を備えるデータ生成装置。
（付記２）
　前記擬似データ生成部は、
　複数の前記ペアデータに含まれる複数の前記計測歩容データにゆらぎを加えて、複数の前記擬似歩容データを生成する付記１に記載のデータ生成装置。
（付記３）
　前記擬似データ生成部は、
　複数の前記ペアデータに含まれる複数の前記計測歩容データにノイズを加えて、複数の前記擬似歩容データを生成する付記１または２に記載のデータ生成装置。
（付記４）
　前記擬似データ生成部は、
　前記計測歩容データを用いて複数の前記擬似歩容データを生成し、
　生成された前記擬似歩容データから少なくとも一つの前記擬似特徴量を抽出し、
　前記擬似歩容データから抽出された前記擬似特徴量を用いて、前記擬似歩容データごとに前記擬似特徴量ベクトルを生成する付記１乃至３のいずれか一つに記載のデータ生成装置。
（付記５）
　前記計測データ処理部は、
　一歩行周期ごとの前記センサデータを用いて導出された前記計測歩容データから前記特徴量を少なくとも一つ抽出し、
　一歩行周期ごとの前記計測歩容データから抽出された前記特徴量を用いて、前記計測歩容データごとに前記特徴量ベクトルを生成し、
　前記計測歩容データごとに生成された前記特徴量ベクトルの末尾に、前記計測歩容データに対応付けられた前記応答変数を加えて、前記計測歩容データごとの前記計測データセットベクトルを生成する付記１乃至４のいずれか一つに記載のデータ生成装置。
（付記６）
　前記計測データ処理部は、
　複数の前記ペアデータに関して、複数の前記計測歩容データから算出された複数の前記特徴量ベクトルの平均ベクトルを計算し、
　前記計測歩容データごとに生成された複数の前記計測データセットベクトルに関して前記共分散行列を生成し、
　生成された前記共分散行列をコレスキー分解することで、前記共分散行列の上三角行列を導出し、
　複数の前記ペアデータに関して、複数の前記応答変数の平均値を計算し、
　前記擬似データ生成部は、
　複数の前記擬似歩容データの各々から前記特徴量の前記平均ベクトルを引いて、複数の前記擬似歩容データの各々の擬似偏差ベクトルを計算し、
　算出された複数の前記擬似偏差ベクトルの各々の末尾に、０から１までのランダム値を付与して擬似分散ベクトルを生成し、
　生成された複数の前記擬似分散ベクトルの各々に、前記上三角行列の末尾の列を積算して、前記擬似応答変数の偏差を前記擬似歩容データごとに計算し、
　前記擬似歩容データごとに算出された前記擬似応答変数の偏差を、前記応答変数の平均値に足すことで、前記擬似歩容データに対応する前記擬似応答変数を計算する付記１乃至５のいずれか一つに記載のデータ生成装置。
（付記７）
　前記出力部は、
　生成された前記データセットに関する情報を、端末装置の画面に表示させる付記１乃至６のいずれか一つに記載のデータ生成装置。
（付記８）
　付記１乃至７のいずれか一つに記載のデータ生成装置と、
　前記データ生成装置から出力されたデータセットを取得し、取得した前記データセットを用いて、計測歩容データの入力に応じてユーザの身体状態に応じた応答変数を出力する推定モデルを生成する学習装置と、を備える学習システム。
（付記９）
　付記８に記載の学習システムによって生成された推定モデルを記憶する記憶部と、
　ユーザの足の動きに関するセンサデータを用いて導出された計測歩容データを受信する受信部と、
　受信された前記計測歩容データを前記推定モデルに入力し、前記推定モデルから出力される応答変数に応じて前記ユーザの身体状態を推定する推定部と、
　推定された前記ユーザの身体状態に関する情報を出力する推定結果出力部と、を備える推定システム。
（付記１０）
　前記推定結果出力部は、
　推定された前記ユーザの身体状態に関する情報を、前記ユーザの携帯する携帯端末の画面に表示させる付記９に記載の推定システム。
（付記１１）
　前記記憶部は、
　前記計測歩容データの入力に応じて、識別番号に関する前記応答変数を出力する前記推定モデルを記憶し、
　前記推定部は、
　前記計測歩容データの入力に応じて前記推定モデルから出力される前記応答変数に応じて前記ユーザの前記識別番号を推定し、
　前記出力部は、
　推定された前記識別番号を、前記識別番号を用いた認証を行う認証装置に送信する付記９または１０に記載の推定システム。
（付記１２）
　前記ユーザの履物に配置され、前記ユーザの歩行に応じて空間加速度および空間角速度を計測し、計測された前記空間加速度および前記空間角速度に基づく前記センサデータを生成し、生成された前記センサデータを用いて前記計測歩容データを生成し、生成された前記計測歩容データを前記受信部に送信する計測装置を備える付記９乃至１１のいずれか一つに記載の推定システム。
（付記１３）
　コンピュータが、
　ユーザの足の動きに応じて計測されたセンサデータに関する計測歩容データと、前記計測歩容データに対応する応答変数とが組み合わせられたペアデータを取得し、
　前記計測歩容データから抽出された特徴量を用いて算出された特徴量ベクトルと前記応答変数とを組み合わせて計測データセットベクトルを生成し、
　複数の前記ペアデータに関する共分散行列を生成し、
　前記計測歩容データを用いて擬似歩容データを生成し、
　前記擬似歩容データから抽出された擬似特徴量を用いて算出された擬似特徴量ベクトルと、前記擬似特徴量ベクトルに関する前記共分散行列とを用いて生成された擬似応答変数とを組み合わせて擬似データセットベクトルを生成し、
　前記計測データセットベクトルおよび前記擬似データセットベクトルを含むデータセットを出力するデータ生成方法。
（付記１４）
　ユーザの足の動きに応じて計測されたセンサデータに関する計測歩容データと、前記計測歩容データに対応する応答変数とが組み合わせられたペアデータを取得する処理と、
　前記計測歩容データから抽出された特徴量を用いて算出された特徴量ベクトルと前記応答変数とを組み合わせて計測データセットベクトルを生成する処理と、
　複数の前記ペアデータに関する共分散行列を生成する処理と、
　前記計測歩容データを用いて擬似歩容データを生成する処理と、
　前記擬似歩容データから抽出された擬似特徴量を用いて算出された擬似特徴量ベクトルと、前記擬似特徴量ベクトルに関する前記共分散行列とを用いて生成された擬似応答変数とを組み合わせて擬似データセットベクトルを生成する処理と、
　前記計測データセットベクトルおよび前記擬似データセットベクトルを含むデータセットを出力する処理と、をコンピュータに実行させるプログラム。
　１０　　学習システム
　１１、３１　　データ生成装置
　１５　　学習装置
　２０　　推定システム
　２１　　計測装置
　２２　　センサ
　２３　　計測部
　２５　　推定装置
　１１０　　計測装置
　１１１、３１１　　取得部
　１１２、３１２　　計測データ処理部
　１１３、３１３　　擬似データ生成部
　１１５、３１５　　出力部
　１５１　　データセット取得部
　１５３　　学習部
　１５５　　記憶部
　２２１　　加速度センサ
　２２２　　角速度センサ
　２３１　　取得部
　２３３　　記憶部
　２３５　　計算部
　２３７　　送信部
　２５０　　推定モデル
　２５１　　受信部
　２５３　　記憶部
　２５５　　推定部
　２５７　　推定結果出力部

Claims (14)

  1. 　ユーザの足の動きに応じて計測されたセンサデータに関する計測歩容データと、前記計測歩容データに対応する応答変数とが組み合わせられたペアデータを取得する取得手段と、
    　前記計測歩容データから抽出された特徴量を用いて算出された特徴量ベクトルと前記応答変数とを組み合わせて計測データセットベクトルを生成し、複数の前記ペアデータに関する共分散行列を生成する計測データ処理手段と、
    　前記計測歩容データを用いて擬似歩容データを生成し、前記擬似歩容データから抽出された擬似特徴量を用いて算出された擬似特徴量ベクトルと、前記擬似特徴量ベクトルに関する前記共分散行列を用いて生成された擬似応答変数とを組み合わせて擬似データセットベクトルを生成する擬似データ生成手段と、
    　前記計測データセットベクトルおよび前記擬似データセットベクトルを含むデータセットを出力する出力手段と、を備えるデータ生成装置。
  2. 　前記擬似データ生成手段は、
    　複数の前記ペアデータに含まれる複数の前記計測歩容データにゆらぎを加えて、複数の前記擬似歩容データを生成する請求項１に記載のデータ生成装置。
  3. 　前記擬似データ生成手段は、
    　複数の前記ペアデータに含まれる複数の前記計測歩容データにノイズを加えて、複数の前記擬似歩容データを生成する請求項１または２に記載のデータ生成装置。
  4. 　前記擬似データ生成手段は、
    　前記計測歩容データを用いて複数の前記擬似歩容データを生成し、
    　生成された前記擬似歩容データから少なくとも一つの前記擬似特徴量を抽出し、
    　前記擬似歩容データから抽出された前記擬似特徴量を用いて、前記擬似歩容データごとに前記擬似特徴量ベクトルを生成する請求項１乃至３のいずれか一項に記載のデータ生成装置。
  5. 　前記計測データ処理手段は、
    　一歩行周期ごとの前記センサデータを用いて導出された前記計測歩容データから前記特徴量を少なくとも一つ抽出し、
    　一歩行周期ごとの前記計測歩容データから抽出された前記特徴量を用いて、前記計測歩容データごとに前記特徴量ベクトルを生成し、
    　前記計測歩容データごとに生成された前記特徴量ベクトルの末尾に、前記計測歩容データに対応付けられた前記応答変数を加えて、前記計測歩容データごとの前記計測データセットベクトルを生成する請求項１乃至４のいずれか一項に記載のデータ生成装置。
  6. 　前記計測データ処理手段は、
    　複数の前記ペアデータに関して、複数の前記計測歩容データから算出された複数の前記特徴量ベクトルの平均ベクトルを計算し、
    　前記計測歩容データごとに生成された複数の前記計測データセットベクトルに関して前記共分散行列を生成し、
    　生成された前記共分散行列をコレスキー分解することで、前記共分散行列の上三角行列を導出し、
    　複数の前記ペアデータに関して、複数の前記応答変数の平均値を計算し、
    　前記擬似データ生成手段は、
    　複数の前記擬似歩容データの各々から前記特徴量の前記平均ベクトルを引いて、複数の前記擬似歩容データの各々の擬似偏差ベクトルを計算し、
    　算出された複数の前記擬似偏差ベクトルの各々の末尾に、０から１までのランダム値を付与して擬似分散ベクトルを生成し、
    　生成された複数の前記擬似分散ベクトルの各々に、前記上三角行列の末尾の列を積算して、前記擬似応答変数の偏差を前記擬似歩容データごとに計算し、
    　前記擬似歩容データごとに算出された前記擬似応答変数の偏差を、前記応答変数の平均値に足すことで、前記擬似歩容データに対応する前記擬似応答変数を計算する請求項１乃至５のいずれか一項に記載のデータ生成装置。
  7. 　前記出力手段は、
    　生成された前記データセットに関する情報を、端末装置の画面に表示させる請求項１乃至６のいずれか一項に記載のデータ生成装置。
  8. 　請求項１乃至７のいずれか一項に記載のデータ生成装置と、
    　前記データ生成装置から出力されたデータセットを取得し、取得した前記データセットを用いて、計測歩容データの入力に応じてユーザの身体状態に応じた応答変数を出力する推定モデルを生成する学習装置と、を備える学習システム。
  9. 　請求項８に記載の学習システムによって生成された推定モデルを記憶する記憶手段と、
    　ユーザの足の動きに関するセンサデータを用いて導出された計測歩容データを受信する受信手段と、
    　受信された前記計測歩容データを前記推定モデルに入力し、前記推定モデルから出力される応答変数に応じて前記ユーザの身体状態を推定する推定手段と、
    　推定された前記ユーザの身体状態に関する情報を出力する推定結果出力手段と、を備える推定システム。
  10. 　前記推定結果出力手段は、
    　推定された前記ユーザの身体状態に関する情報を、前記ユーザの携帯する携帯端末の画面に表示させる請求項９に記載の推定システム。
  11. 　前記記憶手段は、
    　前記計測歩容データの入力に応じて、識別番号に関する前記応答変数を出力する前記推定モデルを記憶し、
    　前記推定手段は、
    　前記計測歩容データの入力に応じて前記推定モデルから出力される前記応答変数に応じて前記ユーザの前記識別番号を推定し、
    　前記出力手段は、
    　推定された前記識別番号を、前記識別番号を用いた認証を行う認証装置に送信する請求項９または１０に記載の推定システム。
  12. 　前記ユーザの履物に配置され、前記ユーザの歩行に応じて空間加速度および空間角速度を計測し、計測された前記空間加速度および前記空間角速度に基づく前記センサデータを生成し、生成された前記センサデータを用いて前記計測歩容データを生成し、生成された前記計測歩容データを前記受信手段に送信する計測装置を備える請求項９乃至１１のいずれか一項に記載の推定システム。
  13. 　コンピュータが、
    　ユーザの足の動きに応じて計測されたセンサデータに関する計測歩容データと、前記計測歩容データに対応する応答変数とが組み合わせられたペアデータを取得し、
    　前記計測歩容データから抽出された特徴量を用いて算出された特徴量ベクトルと前記応答変数とを組み合わせて計測データセットベクトルを生成し、
    　複数の前記ペアデータに関する共分散行列を生成し、
    　前記計測歩容データを用いて擬似歩容データを生成し、
    　前記擬似歩容データから抽出された擬似特徴量を用いて算出された擬似特徴量ベクトルと、前記擬似特徴量ベクトルに関する前記共分散行列を用いて生成された擬似応答変数とを組み合わせて擬似データセットベクトルを生成し、
    　前記計測データセットベクトルおよび前記擬似データセットベクトルを含むデータセットを出力するデータ生成方法。
  14. 　ユーザの足の動きに応じて計測されたセンサデータに関する計測歩容データと、前記計測歩容データに対応する応答変数とが組み合わせられたペアデータを取得する処理と、
    　前記計測歩容データから抽出された特徴量を用いて算出された特徴量ベクトルと前記応答変数とを組み合わせて計測データセットベクトルを生成する処理と、
    　複数の前記ペアデータに関する共分散行列を生成する処理と、
    　前記計測歩容データを用いて擬似歩容データを生成する処理と、
    　前記擬似歩容データから抽出された擬似特徴量を用いて算出された擬似特徴量ベクトルと、前記擬似特徴量ベクトルに関する前記共分散行列を用いて生成された擬似応答変数とを組み合わせて擬似データセットベクトルを生成する処理と、
    　前記計測データセットベクトルおよび前記擬似データセットベクトルを含むデータセットを出力する処理と、をコンピュータに実行させるプログラムを記録させた非一過性の記録媒体。
PCT/JP2021/038615 2021-10-19 2021-10-19 データ生成装置、学習システム、推定装置、データ生成方法、および記録媒体 WO2023067694A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/038615 WO2023067694A1 (ja) 2021-10-19 2021-10-19 データ生成装置、学習システム、推定装置、データ生成方法、および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/038615 WO2023067694A1 (ja) 2021-10-19 2021-10-19 データ生成装置、学習システム、推定装置、データ生成方法、および記録媒体

Publications (1)

Publication Number Publication Date
WO2023067694A1 true WO2023067694A1 (ja) 2023-04-27

Family

ID=86058941

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/038615 WO2023067694A1 (ja) 2021-10-19 2021-10-19 データ生成装置、学習システム、推定装置、データ生成方法、および記録媒体

Country Status (1)

Country Link
WO (1) WO2023067694A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013160286A1 (en) * 2012-04-23 2013-10-31 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method for estimating the position and orientation using an inertial measurement unit fixed to a moving pedestrian
JP2015066155A (ja) * 2013-09-27 2015-04-13 花王株式会社 歩行特徴の解析方法
WO2018211550A1 (ja) * 2017-05-15 2018-11-22 富士通株式会社 情報処理装置、情報処理システム及び情報処理方法
WO2018230787A1 (ko) * 2017-06-15 2018-12-20 순천향대학교 산학협력단 발목에 착용되는 가속도 센서를 이용한 걸음걸이 분석 장치 및 방법
WO2020217690A1 (ja) * 2019-04-23 2020-10-29 サンコール株式会社 歩行動作補助装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013160286A1 (en) * 2012-04-23 2013-10-31 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method for estimating the position and orientation using an inertial measurement unit fixed to a moving pedestrian
JP2015066155A (ja) * 2013-09-27 2015-04-13 花王株式会社 歩行特徴の解析方法
WO2018211550A1 (ja) * 2017-05-15 2018-11-22 富士通株式会社 情報処理装置、情報処理システム及び情報処理方法
WO2018230787A1 (ko) * 2017-06-15 2018-12-20 순천향대학교 산학협력단 발목에 착용되는 가속도 센서를 이용한 걸음걸이 분석 장치 및 방법
WO2020217690A1 (ja) * 2019-04-23 2020-10-29 サンコール株式会社 歩行動作補助装置

Similar Documents

Publication Publication Date Title
JP7327516B2 (ja) 異常検出装置、判定システム、異常検出方法、およびプログラム
US20220312902A1 (en) Method and system for calculating personalised values of parameters of a sole with a view to designing made-to-measure soles
WO2023067694A1 (ja) データ生成装置、学習システム、推定装置、データ生成方法、および記録媒体
WO2022201338A1 (ja) 特徴量生成装置、歩容計測システム、特徴量生成方法、および記録媒体
US20240172966A1 (en) Harmonic index estimation device, estimation system, harmonic index estimation method, and recording medium
US20240138757A1 (en) Pelvic inclination estimation device, estimation system, pelvic inclination estimation method, and recording medium
US20240138713A1 (en) Harmonic index estimation device, estimation system, harmonic index estimation method, and recording medium
WO2023127007A1 (ja) 筋力指標推定装置、筋力指標推定システム、筋力指標推定方法、および記録媒体
WO2022244222A1 (ja) 推定装置、推定システム、推定方法、および記録媒体
WO2023127014A1 (ja) 易転倒性推定装置、易転倒性推定システム、易転倒性推定方法、および記録媒体
WO2023127008A1 (ja) 動的バランス推定装置、動的バランス推定システム、動的バランス推定方法、および記録媒体
WO2023105740A1 (ja) 特徴量データ生成装置、歩容計測装置、身体状態推定システム、特徴量データ生成方法、および記録媒体
WO2023127015A1 (ja) 筋力評価装置、筋力評価システム、筋力評価方法、および記録媒体
WO2022208838A1 (ja) 生体情報処理装置、情報処理システム、生体情報処理方法、および記録媒体
US20230397839A1 (en) Waist swinging estimation device, estimation system, waist swinging estimation method, and recording medium
WO2023157161A1 (ja) 検出装置、検出システム、歩容計測システム、検出方法、および記録媒体
WO2022070416A1 (ja) 推定装置、推定方法、およびプログラム記録媒体
WO2023127009A1 (ja) 下肢筋力推定装置、下肢筋力推定システム、下肢筋力推定方法、および記録媒体
JP7480852B2 (ja) 計算装置、歩容計測システム、計算方法、およびプログラム
WO2023127013A1 (ja) 静的バランス推定装置、静的バランス推定システム、静的バランス推定方法、および記録媒体
US20230394947A1 (en) Data relay device, measurement system, data relay method, and recording medium
US20230389859A1 (en) Index value estimation device, estimation system, index value estimation method, and recording medium
Tasca A machine learning approach for spatio-temporal gait analysis based on a head-mounted inertial sensor
WO2023047558A1 (ja) 推定装置、情報提示システム、推定方法、および記録媒体
JP7218820B2 (ja) 推定装置、推定システム、推定方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21961347

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023554125

Country of ref document: JP