WO2021210172A1 - データ処理装置、システム、データ処理方法、および記録媒体 - Google Patents

データ処理装置、システム、データ処理方法、および記録媒体 Download PDF

Info

Publication number
WO2021210172A1
WO2021210172A1 PCT/JP2020/016916 JP2020016916W WO2021210172A1 WO 2021210172 A1 WO2021210172 A1 WO 2021210172A1 JP 2020016916 W JP2020016916 W JP 2020016916W WO 2021210172 A1 WO2021210172 A1 WO 2021210172A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
biometric information
information data
user
sensor
Prior art date
Application number
PCT/JP2020/016916
Other languages
English (en)
French (fr)
Inventor
謙一郎 福司
晨暉 黄
シンイ オウ
二瓶　史行
中原　謙太郎
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US17/918,151 priority Critical patent/US20230139218A1/en
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2022515173A priority patent/JP7409486B2/ja
Priority to PCT/JP2020/016916 priority patent/WO2021210172A1/ja
Publication of WO2021210172A1 publication Critical patent/WO2021210172A1/ja
Priority to US18/543,057 priority patent/US20240127964A1/en
Priority to US18/543,082 priority patent/US20240127965A1/en
Priority to US18/542,944 priority patent/US20240127963A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a data processing device or the like that processes data related to a living body.
  • Patent Document 1 discloses a technique for measuring / collecting biomarkers necessary for evaluating a health condition in a timely manner.
  • the user is requested to remeasure the biometric index.
  • the accumulated past data set is used to interpolate the missing part of the data set including the loss.
  • the data set used for interpolation is selected by paying attention to the similarity of the data sets.
  • the defect portion can be interpolated.
  • the method of Patent Document 1 does not include conditions such as the time and place where the data set was acquired when interpolating the data missing portion using the past data set. Therefore, in the method of Patent Document 1, when the conditions such as the time and place where the past data set used for interpolation is acquired are different, the biometric index may be significantly different. Therefore, in the method of Patent Document 1, the accuracy of the interpolated data may be lowered.
  • An object of the present invention is to provide a data processing device or the like capable of interpolating data loss related to a living body with high accuracy.
  • the data processing apparatus of one aspect of the present invention collects at least one piece of biometric information data including a sensor value relating to the user's living body and a measurement time and a measurement position of the sensor value based on the attributes of at least one user. For estimating interpolation data that interpolates the loss of biometric information data by using the classification unit that classifies into groups and the interrelationship between the sensor value included in the biometric information data, the measurement time, and the measurement position for each group. It includes a learning unit that generates a model.
  • At least one piece of biometric information data including a sensor value relating to the user's living body and a measurement time and a measurement position of the sensor value is collected based on the attributes of at least one user.
  • a model for estimating interpolation data that interpolates the loss of biometric information data by classifying into one group and using the interrelationship between the sensor value included in the biometric information data, the measurement time, and the measurement position for each group. Generate.
  • the program of one aspect of the present invention groups at least one biometric data including a sensor value relating to the user's biological body and a measurement time and measurement position of the sensor value into at least one group based on the attributes of at least one user.
  • the present invention it is possible to provide a data processing device or the like capable of interpolating data loss related to a living body with high accuracy.
  • This is an example of an attribute table stored in the storage unit of the data processing device according to the first embodiment.
  • This is another example of the attribute table stored in the storage unit of the data processing device according to the first embodiment.
  • This is an example of a biometric information table generated by the aggregation unit of the data processing device according to the first embodiment.
  • It is a conceptual diagram for demonstrating the estimation of the biological information data by the data processing apparatus which concerns on 1st Embodiment.
  • It is a block diagram which shows an example of the structure of the data processing apparatus which concerns on 4th Embodiment. It is a conceptual diagram for demonstrating the generation of a model by the data processing apparatus which concerns on 4th Embodiment, and the estimation of the evaluation value. It is a conceptual diagram for demonstrating an example of displaying the content based on the evaluation value estimated by the data processing apparatus which concerns on 4th Embodiment on the screen of a terminal apparatus. It is a conceptual diagram for demonstrating another example of displaying the content based on the evaluation value estimated by the data processing apparatus which concerns on 4th Embodiment on the screen of a terminal apparatus.
  • the data processing device of the present embodiment generates a model for estimating interpolated data that interpolates the loss of biometric information data including the sensor data value (also referred to as the sensor value) measured by a wearable device or the like worn by the user. do.
  • the biometric information data is data in which a sensor value, an identifier for identifying a user (also called a user identifier), a measurement time of the sensor value, and a measurement position are at least associated with each other.
  • the data processing apparatus of this embodiment generates a model by machine learning.
  • FIG. 1 is a block diagram showing an example of the configuration of the data processing device 10 according to the present embodiment.
  • the data processing device 10 includes a storage unit 11, a classification unit 13, an aggregation unit 14, a learning unit 15, and an interpolation unit 16.
  • the classification unit 13, the aggregation unit 14, and the learning unit 15 constitute the model generation device 100.
  • the storage unit 11 stores the attribute data of each of the plurality of users and the biometric information data of the plurality of users.
  • the attribute data and the biometric information data are stored in advance in the storage unit 11.
  • the attribute data is acquired from a terminal device or the like (not shown) that is communicably connected via a network such as the Internet or an intranet.
  • the biometric information data is acquired from a terminal device or the like (not shown) communicably connected to the wearable device or the like in the measurement phase.
  • the biometric information data includes the sensor value measured by the wearable device worn by the user, the user identifier, the measurement time and the measurement position of the sensor value.
  • the user identifier is given by either the wearable device or the terminal device.
  • the measurement time and the measurement position may be given when the wearable device or the like measures the sensor data, or may be given by the terminal device that acquires the sensor data measured by the wearable device or the like.
  • the terminal device is a mobile terminal such as a smartphone, a tablet, or a mobile phone
  • the measurement position of the sensor value can be acquired by using the position measurement function (for example, GPS: Global Positioning System) of the mobile terminal.
  • Attribute data is data in which the user identifier given to each user and the attributes of each user are associated with each other.
  • a user's attributes include data such as the user's gender, height, and weight.
  • the attribute data stored in the storage unit 11 may be updated at an arbitrary timing according to the update by the user via the terminal device.
  • FIG. 2 is an example of a table (attribute table 110) in which attribute data is collected. Like the attribute table 110, the attribute data is stored in association with each user identifier (U 1 , U 2 , U 3, ...) Of a plurality of users.
  • FIG. 3 is an example (attribute table 111) of a table summarizing attribute data to which the types of footwear (athletic shoes, high heels, leather shoes, etc.) worn by the user are added.
  • the type of footwear worn by the user is added in addition to the bioattribute of the user associated with each user identifier (U 1 , U 2 , U 3, ...) Of the plurality of users. ..
  • attributes other than the type of footwear may be added to the attribute data as long as it leads to improvement in the accuracy of the missing data interpolated in the biometric information data.
  • the attribute of the object for example, clothes, hat, gloves, mask, etc.
  • the wearable device may be added to the attribute data.
  • biometric information data including the type of footwear is classified, or if the model is generated by machine learning in which the type of footwear is added to the explanatory variables, the accuracy of the interpolated missing data is improved.
  • the classification unit 13 classifies the biometric information data based on the attribute data stored in the storage unit 11. For example, the classification unit 13 classifies the biometric information data of users having similar attributes into the same group based on the attribute data.
  • the classification unit 13 classifies a plurality of users based on at least one of the attributes included in the attribute data. For example, the classification unit 13 classifies a plurality of users based on any of the attributes such as gender, height, and weight included in the attribute data. For example, the classification unit 13 may classify a plurality of users based on any combination of attributes such as gender, height, and weight included in the attribute data. For example, the classification unit 13 may classify a plurality of users by machine learning using an algorithm such as the K-means method.
  • the aggregation unit 14 generates a table (also referred to as a bioinformation table) in which biometric information data corresponding to each of the groups classified by the classification unit 13 is aggregated.
  • FIG. 4 is an example (biological information table 140) of the biological information table generated by the aggregation unit 14.
  • the biometric information data included in the biometric information table 140 includes a user identifier, a measurement time, a measurement position, and a sensor value.
  • the user identifier is U 1
  • the measurement time is 6 o'clock
  • the measurement position is the position (latitude AA, longitude BB)
  • the sensor value is y (1). be. Since the biometric information data is classified based on the attributes at the stage of tabulation by the tabulation unit 14, it is not necessary to include the user identifier in the biometric information table.
  • the biometric information data is sparse data containing many 0s.
  • the measurement time of the sensor data is set for each user.
  • the sensor value at the measurement time when the sensor data was not measured is subjected to machine learning including the sensor value included in the sensor data of another user classified into the same group. Interpolate using the generated model.
  • the loss of biometric information data does not have to be interpolated for all measurement times, but may be interpolated for at least one measurement time.
  • the learning unit 15 uses the interpolation of the sensor value, the measurement time, and the measurement position included in the biometric information data of the users classified into the same group by the classification unit 13 to interpolate the loss of the biometric information data. Generate a model for estimation. For example, the learning unit 15 generates a model for biometric information data by machine learning using the measurement time and the measurement position as explanatory variables and the sensor value as the objective variable. For example, the learning unit 15 estimates for estimating the interpolated data by using the sensor values included in the biometric information data of the users classified into the same group by the classification unit 13 and the interrelationship between the measurement time and the measurement position. Generate an expression.
  • the learning unit 15 inputs the biometric information table aggregated in association with each of the plurality of groups from the aggregation unit 14.
  • the learning unit 15 models the interrelationship between the sensor value included in the biometric information data, the measurement time, and the measurement position for each of the plurality of biometric information tables.
  • the learning unit 15 generates a model for the biometric information data included in the biometric information table by machine learning using the measurement time and the measurement position as explanatory variables and the sensor value as the objective variable.
  • the learning unit 15 generates an estimation formula that models the interrelationship between the sensor value included in the biometric information data, the measurement time, and the measurement position for each of the plurality of biometric information tables.
  • the learning unit 15 uses a model for interpolating the biometric information data by machine learning using the measurement time and the measurement position included in the biometric information data constituting the biometric information table as explanatory variables and the sensor value as the objective variable. Generate. For example, when the measurement timing of the sensor value of a certain user is limited to the morning or the evening, it is possible to accurately grasp the biometric information of the user if there is the sensor data in the daytime time zone.
  • the sensor value of the missing time zone is interpolated by learning using the biometric information data of users having similar attributes. Even if the attributes are similar, it is assumed that the sensor values will be different if the environment in which the sensor data is acquired is different. In the present embodiment, by learning the biometric information data of users having similar attributes, including the measurement position of the sensor value, it is possible to generate a model in consideration of the environment in which the sensor data is acquired.
  • the learning unit 15 generates a model by machine learning using a deep running method.
  • the learning unit 15 generates a model for interpolating biometric information data by optimizing the structure (parameters, connection relationships between nodes, etc.) of a neural network (NN: Neural Network) by machine learning. ..
  • NN Neural Network
  • a convolutional neural network (CNN: Convolutional Neural Network) and a recurrent neural network (RNN: Recurrent Neural Network) can be mentioned.
  • the learning method used by the learning unit 15 is not particularly limited as long as it is a method capable of interpolating the loss of biometric information data.
  • the learning unit 15 generates a model by machine learning using methods such as SVD (Singular Value Decomposition), MF (Matrix Factorization), and FM (Factorization Machines).
  • the learning unit 15 uses the FM method to generate an estimation formula that models the interrelationship between the measurement time and the measurement position included in the biometric information data for each of the plurality of biometric information tables.
  • the learning unit 15 may construct an estimation formula that models the mutual relationship between the measurement time and the measurement position, including the user identifier. If the user identifier is included, the sensor value included in the biometric information data of the same user is preferentially learned, so that the accuracy of the interpolated data is further improved.
  • Equation 1 is an equation showing the sensor value y (x) when the biological information table is regarded as a matrix V (i, j, n are integers showing the relationship of 1 ⁇ i ⁇ j ⁇ n).
  • Equation 1 is a vector including the measurement time and the measurement position.
  • W 0 of the first term on the right side of Equation 1 is a global bias.
  • w i models the intensity of the i-th variable.
  • the third term on the right side of Equation 1 corresponds to the intersection term of the elements of the biometric information data x.
  • the angle bracket in the third term on the right side of Equation 1 represents the inner product of v i and v j.
  • v i represents the vector of the i-th row of the matrix V
  • v j represents the vector of the j-th row of the matrix V.
  • the inner product of v i and v j is expressed by the following equation 2 (f and k are integers).
  • the parameters obtained by machine learning are w 0 , the vector w, and the matrix V shown in Equation 3 below.
  • Dimension n is a hyperparameter.
  • R in Equation 3 represents a real number.
  • n represents the number of rows of the vector w and the matrix V
  • k represents the number of columns of the matrix V.
  • the interpolation unit 16 (also called an estimation unit) estimates the missing value of the biometric information data using the model generated by the learning unit 15.
  • the interpolation unit 16 interpolates the biometric information data including the defect using the estimated missing value.
  • the biometric information data in which the defects are interpolated is stored in the storage unit 11.
  • FIG. 5 is a conceptual diagram for explaining an example in which the data processing device 10 generates a model (models 150-1 to L) (L is a natural number).
  • the classification unit 13 classifies users having similar attributes into the same group based on at least one of the attributes included in the attribute table 110 stored in the storage unit 11.
  • the aggregation unit 14 uses the biometric information data 120 included in each of the groups classified by the classification unit 13 to generate at least one biometric information tables 140-1 to L (L is a natural number).
  • the learning unit 15 uses the sensor values included in the biometric information data and the interrelationship between the measurement time and the position to perform each of the models 150-1 to L. Generate.
  • FIG. 6 is a conceptual diagram showing an example in which defective biometric information data is input to the model 150 generated by the learning unit 15.
  • the biometric information data with a defect is input to the model 150
  • the biometric information data with the defect interpolated is output. For example, if there is a defect in the biometric information data of a user in the daytime time zone, the sensor value of any time in the daytime time zone of the biometric information data classified into the same group is used as the biometric information data of the user. Interpolated. Thereby, the biometric data of the user is interpolated for defects at at least any time.
  • the operation of the data processing device 10 includes a learning phase and an estimation phase.
  • the data processing device 10 will be the main body of operation, and each of the learning phase and the estimation phase will be described individually.
  • FIG. 7 is a flowchart for explaining an example of the learning phase.
  • the data processing device 10 classifies a plurality of users into groups based on the attribute data (step S151).
  • the data processing device 10 aggregates the biometric information data of users having similar attribute data for each of the classified groups to generate a biometric information table (step S152).
  • the data processing device 10 learns the biometric information data included in the biometric information table for each group and generates a model for interpolating the biometric information data for each group (step S153).
  • FIG. 8 is a flowchart for explaining an example of the estimation phase.
  • the data processing device 10 inputs the missing biometric information data into the model (step S161).
  • the data processing device 10 outputs the biometric information data estimated by the model as biometric information data in which the defects are interpolated (step S162).
  • biometric information data a modified example of biometric information data will be described with an example.
  • the following modification is an example of improving the accuracy of aggregation and learning of biometric information data by adding further attributes to the biometric information data.
  • FIG. 9 is an example (biological information table 141) of adding a facility corresponding to the measurement position to the biometric information data based on the latitude and longitude of the measurement position. For example, users who have similar attributes and stay in the same facility are likely to measure similar sensor values. Therefore, if the biometric information data is classified based on the facility corresponding to the measurement position, or if the model is generated by machine learning in which the facility is added to the explanatory variable, the accuracy of the interpolated missing data is improved.
  • FIG. 10 is an example (biological information table 142) of adding actions that can be taken at the facility to the biometric information data in addition to the facility corresponding to the measurement position.
  • a user in a private home has a high probability of doing household chores.
  • users at stations are more likely to be commuting, and users at shopping malls are more likely to be shopping. Therefore, if the biometric information data is classified based on the behaviors that can be taken at the facility, or if the model is generated by machine learning that adds the behaviors that can be taken at the facility to the explanatory variables, the accuracy of the interpolated missing data will be higher. Become.
  • the data processing device of the present embodiment includes a storage unit, a classification unit, an aggregation unit, a learning unit, and an interpolation unit.
  • the storage unit stores the attribute data of each of the plurality of users and the biometric information data of the plurality of users.
  • the classification unit classifies the biometric information data based on the attribute data stored in the storage unit.
  • the aggregation unit generates a biometric information table that aggregates biometric information data corresponding to each of the groups classified by the classification unit.
  • the learning unit estimates the interpolation data that interpolates the loss of the biometric information data by using the interpolation of the sensor value, the measurement time, and the measurement position included in the biometric information data of the users classified into the same group by the classification unit.
  • the learning unit models the interrelationship between the sensor value included in the biometric information data, the measurement time, and the measurement position for each of the plurality of biometric information tables.
  • the interpolation unit (also called an estimation unit) estimates the missing value of the biometric information data using the model generated by the learning unit.
  • the interpolation unit interpolates the biometric information data including the defect using the estimated missing value.
  • a model is generated using the mutual relationship between the sensor value related to the user's living body and the measurement time and measurement position of the sensor value based on the attributes of a plurality of users.
  • the sensor values of users with the same attribute may differ significantly if they are measured at different positions even if the measurement times are the same.
  • the sensor value may show a different tendency depending on the measured scene, such as in the workplace, on the commuting route, on the way to lunch, or on the way to meal after work.
  • a model corresponding to the scene in which the sensor value is measured can be generated, defects that may be included in the biometric information data can be interpolated with high accuracy.
  • the system of this embodiment includes a wearable device, a terminal device, and a data processing device.
  • a gait measuring device mounted on an insole installed on footwear will be given as an example.
  • the wearable device of the present embodiment is not limited to the gait measurement device as long as it can measure data related to the user's living body.
  • FIG. 11 is a block diagram for explaining an example of the configuration of the system 2 of the present embodiment.
  • the system 2 of the present embodiment includes a wearable device 210, a terminal device 230, and a data processing device 20.
  • the terminal device 230 is connected to the data processing device 20 via a network 250 such as the Internet or an intranet.
  • a network 250 such as the Internet or an intranet.
  • the network 250 may be added to the system 2 of the present embodiment.
  • the wearable device 210 includes at least one sensor for measuring a sensor value included in biometric information data.
  • the wearable device 210 is worn by the user.
  • the wearable device 210 measures the sensor value related to the biometric information of the user who wears the wearable device 210.
  • the wearable device 210 transmits sensor data including the measured sensor value to the terminal device 230.
  • the wearable device 210 transmits sensor data to the terminal device 230 via a wireless communication function (not shown) conforming to standards such as Bluetooth (registered trademark) and WiFi (registered trademark).
  • the wearable device 210 may transmit sensor data to the terminal device 230 via a wire such as a communication cable.
  • the method of transmitting sensor data from the wearable device 210 to the terminal device 230 is not particularly limited.
  • the wearable device 210 is realized by a gait measuring device mounted on an insole installed on footwear.
  • a gait measuring device measures angular velocity and acceleration in three axial directions, and sensor data such as a user's stride length, walking speed, foot lift height, ground contact angle, kicking angle, foot angle, varus, and valgus. To generate.
  • FIG. 12 is a conceptual diagram showing an example of installing a wearable device 210 for measuring gait in shoes 220.
  • the wearable device 210 is installed on an insole that is inserted into the shoe 220 and is placed at a position that hits the back of the arch of the foot.
  • the position where the wearable device 210 is arranged may be a position other than the back side of the arch of the foot as long as it is inside or on the surface of the shoe.
  • the wearable device 210 may be installed on footwear or socks other than the shoes 220 as long as the gait can be measured.
  • the wearable device 210 is connected to the terminal device 230.
  • the wearable device 210 includes at least an acceleration sensor and an angular velocity sensor.
  • the wearable device 210 converts the sensor values acquired by the acceleration sensor and the angular velocity sensor into digital data, and adds a measurement time to the converted digital data to generate sensor data.
  • the sensor data may include a user identifier.
  • the wearable device 210 transmits the generated sensor data to the terminal device 230.
  • FIG. 13 is a block diagram showing an example of the configuration of the wearable device 210.
  • the wearable device 210 includes an acceleration sensor 212, an angular velocity sensor 213, a signal processing unit 215, and a data output unit 217.
  • the acceleration sensor 212 and the angular velocity sensor 213 constitute the sensor 211.
  • the sensor 211 is realized by an IMU (Inertial Measurement Unit).
  • the acceleration sensor 212 is a sensor that measures acceleration in three axial directions.
  • the acceleration sensor 212 outputs the measured acceleration to the signal processing unit 215.
  • the angular velocity sensor 213 is a sensor that measures the angular velocity.
  • the angular velocity sensor 213 outputs the measured angular velocity to the signal processing unit 215.
  • the signal processing unit 215 acquires raw data of acceleration and angular velocity from each of the acceleration sensor 212 and the angular velocity sensor 213.
  • the signal processing unit 215 converts the acquired acceleration and angular velocity into digital data, assigns a measurement time to the converted digital data, and generates sensor data.
  • the measurement time is measured by a timer or the like (not shown). When the measurement time is assigned on the side of the terminal device 230, it is not necessary to include the measurement time in the sensor data.
  • the signal processing unit 215 may be configured to perform corrections such as mounting error, temperature correction, and linearity correction on the measured raw data of acceleration and angular velocity, and output the corrected sensor value. .. Further, the signal processing unit 215 may give a user identifier to the sensor data.
  • the signal processing unit 215 outputs the sensor data to the data output unit 217.
  • the data output unit 217 acquires sensor data from the signal processing unit 215.
  • the data output unit 217 transmits the acquired sensor data to the terminal device 230.
  • the data output unit 217 may transmit the sensor data to the terminal device 230 via a wire such as a communication cable, or may transmit the sensor data to the terminal device 230 via wireless communication.
  • the data output unit 217 transmits sensor data to the terminal device 230 via a wireless communication function (not shown) conforming to standards such as Bluetooth (registered trademark) and WiFi (registered trademark).
  • FIG. 14 is a block diagram showing an example of the configuration of the terminal device 230.
  • the terminal device 230 has a transmission / reception unit 231, a control unit 232, a position information acquisition unit 233, and a display unit 235.
  • the transmission / reception unit 231 receives sensor data from the wearable device 210.
  • the transmission / reception unit 231 outputs the received sensor data to the control unit 232.
  • the transmission / reception unit 231 receives biometric information data from the control unit 232.
  • the transmission / reception unit 231 transmits the received biometric information data to the data processing device 20.
  • the timing of transmitting biometric information data from the transmission / reception unit 231 is not particularly limited.
  • the transmission / reception unit 231 requests the data processing device 20 to interpolate the loss of the biometric information data in response to the processing of the application installed in the terminal device 230 (for example, the application for analyzing the biometric information) or the operation of the user. Send.
  • the transmission / reception unit 231 receives the biometric information data transmitted in response to the request.
  • the biometric information data transmitted from the data processing device 20 is used for analysis of biometric information in the application.
  • the control unit 232 acquires sensor data from the transmission / reception unit 231.
  • the control unit 232 acquires the position information from the position information acquisition unit 233 and adds the acquired position information (measurement position) to the sensor data to generate the biometric information data. If the sensor data does not include the measurement time, the time at which the terminal device 230 generates the biometric information data may be added to the biometric information data as the measurement time.
  • the control unit 232 assigns the user identifier to the biometric information data.
  • the position information acquisition unit 233 acquires the position information. For example, the position information acquisition unit 233 acquires position information by a position measurement function using GPS. The position information acquisition unit 233 may correct the position information acquired by using the position measurement function with a sensor value measured by an angular velocity sensor, an angular velocity sensor, or the like (not shown). The position information acquired by the position information acquisition unit 233 is used in the generation of biometric information data in the control unit 232.
  • the display unit 235 displays images related to a user interface that accepts user operations, applications installed on the terminal device 230, and the like. For example, the display unit 235 displays an image of the result of processing the biometric information data received from the data processing device 20 by the application. The user who sees the image displayed on the display unit 235 can view the processing result of the application based on the biometric information data in which the defects are interpolated by the data processing device 20. The display unit 235 displays not only the user interface and the processing result of the application based on the biometric information data, but also an image that can be displayed on the screen of a general smartphone, tablet, mobile terminal, or the like.
  • FIG. 15 is a block diagram showing an example of the configuration of the data processing device 20.
  • the data processing device 20 includes a storage unit 21, a transmission / reception unit 22, a classification unit 23, an aggregation unit 24, a learning unit 25, and an interpolation unit 26.
  • the classification unit 23, the aggregation unit 24, and the learning unit 25 constitute the model generation device 200. Since the storage unit 21, the classification unit 23, the aggregation unit 24, the learning unit 25, and the interpolation unit 26 have the same configuration as the corresponding configuration of the data processing device 10 of the first embodiment, detailed description thereof will be omitted. ..
  • the initial setting phase is a phase in which the attribute data of the user is registered in the data processing device 20.
  • FIG. 16 is a flowchart for explaining the initial setting phase.
  • the terminal device 230 accepts the input of the user's attribute data via the graphical user interface of the application displayed on the display unit 235 of the terminal device 230 (step S211).
  • the display unit 235 of the terminal device 230 displays a graphical user interface that accepts user attributes, and accepts input of attribute data by the user.
  • the terminal device 230 accepts input of attribute data such as height, weight, and gender of the user.
  • the terminal device 230 may accept input of attribute data such as a user's medical history.
  • the terminal device 230 transmits the input attribute data to the data processing device 20 (step S212).
  • the data processing device 20 receives the attribute data transmitted from the terminal device 230 (step S213).
  • the data processing device 20 stores the received attribute data in the storage unit 21 (step S214).
  • the attribute data stored in the storage unit 21 is used for classifying users.
  • the measurement phase is a phase in which biometric information data based on the sensor data measured by the wearable device 210 is stored in the data processing device.
  • FIG. 17 is a flowchart for explaining the measurement phase.
  • the wearable device 210 measures the sensor value related to the living body of the user who wears the wearable device 210 (step S221).
  • the wearable device 210 generates sensor data including the measured sensor value, and transmits the generated sensor data to the terminal device 230 (step S222). For example, the wearable device 210 transmits the sensor data in which the sensor value and the measurement time are associated with each other to the terminal device 230.
  • the terminal device 230 receives the sensor data from the wearable device 210 (step S223).
  • the terminal device 230 acquires the position information (measurement position) of the terminal device 230 in accordance with the reception of the sensor data, and generates biometric information data associated with the user identifier, the sensor value, the measurement time, and the measurement position. (Step S224).
  • the terminal device 230 transmits the generated biometric information data to the data processing device 20 (step S225).
  • the data processing device 20 receives the biometric information data transmitted from the terminal device 230, and stores the received biometric information data in the storage unit 21 (step S226).
  • the biometric information data stored in the storage unit 21 is used to generate a model for interpolating the defects.
  • the data processing phase is a phase in which the loss of the biometric information data is interpolated by using the biometric information data of a plurality of users stored in the storage unit 21.
  • FIG. 18 is a flowchart for explaining the data processing phase. In the description of the data processing phase of FIG. 18, the components of the data processing device 20 will be described as the operating subject (in FIG. 18, the operating subject is omitted).
  • the classification unit 23 classifies a plurality of users based on the attribute data stored in the storage unit 21 (step S231). For example, the classification unit 23 clusters users with similar attributes into the same group.
  • the aggregation unit 24 aggregates the biometric information data for each attribute based on the classification by the classification unit 23 to generate a biometric information table (step S232). For example, the aggregation unit 24 generates a biometric information table corresponding to each of the clustered groups.
  • the learning unit 25 generates a model for interpolating the loss of biometric information data using the biometric information table for each attribute (step S233). For example, the learning unit 25 generates an estimation formula that models the interrelationship between the sensor value, the measurement time, and the measurement position included in the biometric information data in the biometric information table for each attribute.
  • the interpolation unit 26 (also referred to as an estimation unit) inputs the defective biometric information data into the model and generates the biometric information data in which the defects are interpolated (step S234).
  • the biometric information data in which the defects are interpolated is used in an application or the like that uses the biometric information data.
  • the system of this embodiment includes a data processing device, a device (wearable device), and a terminal device.
  • the device measures the sensor value.
  • the terminal device generates biometric information data by adding the measurement time and the measurement position of the sensor value to the sensor value measured by the device.
  • the system of this embodiment includes a plurality of wearable devices, terminal devices, and data processing devices.
  • the system of this embodiment generates a model for estimating interpolated data that interpolates the loss of biometric information data including sensor values measured by a plurality of wearable devices and the like.
  • FIG. 19 is a block diagram for explaining an example of the configuration of the system of the present embodiment.
  • the system of this embodiment includes a plurality of wearable devices 310-1 to N, a terminal device 230, and a data processing device 20 (N is a natural number).
  • the terminal device 330 is connected to the data processing device 30 via a network 350 such as the Internet or an intranet.
  • a network 350 such as the Internet or an intranet.
  • the network 350 may be added to the system of the present embodiment.
  • each of the plurality of wearable devices 310-1 to N is not distinguished, it is referred to as a wearable device 310.
  • the wearable device 310 is realized by a wristband type device (also called an activity meter) worn on a user's wrist or the like.
  • a wristband type device measures sensor data such as a user's activity amount, pulse wave, sweating, and body temperature.
  • the wearable device 310 is realized by an electroencephalograph.
  • an electroencephalograph measures sensor data such as a user's electroencephalogram, emotions, and stress.
  • the wearable device 310 is realized by a suit-type motion sensor (also referred to as a motion sensor).
  • a suit-type motion sensor measures sensor data such as a user's motion, motor function, and rehabilitation recovery degree.
  • the wearable device 310 listed here is an example, and does not limit the wearable device included in the system of the present embodiment.
  • the wearable device 310 transmits sensor data including the measured sensor value to the terminal device 330.
  • the wearable device 310 transmits sensor data to the terminal device 330 via a wireless communication function (not shown) conforming to standards such as Bluetooth (registered trademark) and WiFi (registered trademark).
  • the wearable device 310 may transmit sensor data to the terminal device 330 via a wire such as a communication cable.
  • the method of transmitting sensor data from the wearable device 310 to the terminal device 330 is not particularly limited.
  • the terminal device 330 has the same configuration as the terminal device 230 of the second embodiment.
  • the terminal device 330 receives sensor data from the wearable device 310.
  • the terminal device 330 acquires the position information.
  • the terminal device 330 acquires position information by a position measurement function using GPS.
  • the terminal device 330 generates biometric information data by adding position information (measurement position) to the sensor data.
  • the biometric data includes the identifier of the wearable device 310 from which the sensor value is measured.
  • the terminal device 330 transmits the generated biometric information data to the data processing device 30.
  • the timing of transmitting biometric information data from the terminal device 330 is not particularly limited.
  • the data processing device 30 has the same configuration as the data processing device 20 of the second embodiment.
  • the data processing device 30 receives biometric information data from the terminal device 330.
  • the data processing device 30 stores the received biometric information data.
  • the data processing device 30 receives a request for biometric information data from the terminal device 230, the data processing device 30 transmits the biometric information data according to the request to the terminal device 330.
  • the data processing device 30 classifies biometric information data based on the stored attribute data.
  • the data processing device 30 generates a table (also referred to as a biometric information table) in which biometric information data corresponding to each of the classified groups is aggregated.
  • the biometric information data constituting the biometric information table includes sensor values measured by a plurality of wearable devices 310-1 to N.
  • FIG. 20 is an example of a biological information table (biological information table 340) generated by the data processing device 30.
  • the biometric information data included in the biometric information table 340 includes a user identifier, a measurement time, a measurement position, and a sensor value.
  • the sensor value includes a value measured by a plurality of wearable devices 310-1 to N.
  • the data processing device 30 models the interrelationship between the sensor value included in the biometric information data and the measurement time and measurement position for the biometric information table aggregated in association with each of the plurality of groups. For example, the data processing device 30 uses the measurement time and the measurement position as explanatory variables for the biometric information data included in the biometric information table, and the sensor values measured by the plurality of wearable devices 310-1 to N as the objective variables. Generate a model by machine learning. For example, the data processing device 30 weights the sensor values measured by the plurality of wearable devices 310-1 to N according to the distance. For example, the data processing device 30 increases the weight of the sensor values measured by the plurality of wearable devices 310-1 to N as the distance becomes shorter.
  • the data processing device 30 estimates the missing value of the biometric information data using the generated model.
  • the data processing device 30 uses the estimated missing value to interpolate the biometric information data including the missing value.
  • the measurement timing of the sensor data by the wearable device 310 of one user is morning or evening, and the measurement timing of the sensor data by the wearable device 310 of another user is noon.
  • the measurement timing of the sensor data by the wearable device 310 of another user is noon.
  • the measurement timing of the sensor data by one wearable device 310 of a certain user is in the morning or evening, and the measurement timing of the sensor data by another wearable device 310 of the user is noon.
  • the measurement timing of the sensor data by another wearable device 310 of the user is noon.
  • the system of the present embodiment includes a data processing device, at least one device (wearable device), and a terminal device. At least one device measures the sensor value.
  • the terminal device generates biometric information data by adding the measurement time and the measurement position of the sensor value to the sensor value measured by the device.
  • the accuracy of the data interpolated into the biometric information data can be improved by modeling the interrelationship with the sensor values measured by a plurality of wearable devices in addition to the measurement time and the measurement position. ..
  • a biometric data platform also called a multimodal biosensor platform
  • a biometric data platform in which a plurality of sensors are combined can be constructed. According to the multimodal biosensor platform, even if the performance of individual sensors is not high, it is possible to obtain highly accurate data by combining the sensor values measured by those sensors.
  • the data processing device of the present embodiment is not a model for interpolating defects, but a model for estimating assessment values (also referred to as evaluation values) such as a user's motor function index and health index. It is different from the first to third embodiments.
  • the evaluation value is an index related to the biological characteristics of the user.
  • FIG. 21 is a block diagram showing an example of the configuration of the data processing device 40 of the present embodiment.
  • the data processing device 40 includes a storage unit 41, a transmission / reception unit 42, a classification unit 43, an aggregation unit 44, a learning unit 45, and an estimation unit 46.
  • the classification unit 43, the aggregation unit 44, and the learning unit 45 constitute the model generation device 400.
  • the storage unit 41, the transmission / reception unit 42, the classification unit 43, and the aggregation unit 44 are the same as the corresponding configurations of the data processing device 10 of the first embodiment or the data processing device 20 of the second embodiment. , Detailed description will be omitted.
  • the learning unit 45 generates a model for estimating a specific evaluation value by using the sensor values included in the biometric information data classified into the same group by the classification unit 43 and the interrelationship between the measurement time and the measurement position.
  • the evaluation value is an assessment value such as biometric information data in which defects are interpolated, a motor function index, a health index, and the like.
  • the evaluation value may be a questionnaire-based subjective value such as the user's mood, physical condition, emotion, and the like.
  • the estimation unit 46 estimates the evaluation value such as the user's assessment value using the model generated by the learning unit 45.
  • the evaluation value estimated by the estimation unit 46 is transmitted from the transmission / reception unit 42 to a terminal device (not shown).
  • the evaluation value sent to the terminal device is used by the application installed in the terminal device.
  • a model 450 is generated by machine learning using a plurality of biometric information data as explanatory variables and evaluation values such as assessment values and subjective values as objective variables, and a user identifier in the generated model 450 is input.
  • This is an example of estimating the evaluation value.
  • the evaluation value for that user is output from the model 450.
  • a terminal device not shown
  • it can be configured to present useful contents to the user.
  • FIG. 23 is an example of displaying the content based on the assessment value estimated by the model 450 on the screen 415 of the terminal device 430.
  • content including advice on the user's gait is displayed on the screen 415 of the terminal device 430 based on the assessment value estimated by the model generated by the machine learning including the attributes of the footwear.
  • the user who sees the content displayed on the screen 415 can obtain information that leads to improvement of the motor function index and the health index by exercising or the like according to the content.
  • FIG. 24 is another example of displaying the content based on the assessment value estimated by the model 450 on the screen 415 of the terminal device 430.
  • the content including the footwear recommended to the user is displayed on the screen 415 of the terminal device 430 based on the assessment value estimated by the model generated by the machine learning including the attributes of the footwear.
  • a user who sees the content displayed on the screen 415 can obtain information such as footwear suitable for his / her body by referring to the content.
  • FIG. 25 is yet another example of displaying the content based on the subjective value estimated by the model 450 on the screen 415 of the terminal device 430.
  • FIG. 25 is an example of displaying the content corresponding to the user's mood, physical condition, and emotion on the screen 415 of the terminal device 430 based on the evaluation value estimated by the model. For example, when a subjective value indicating that the user's emotions are unstable is output, it is displayed on the screen 415 of the terminal device 430 including an image of the user's favorite animal or character. If a user who sees the content displayed on the screen 415 refers to the content, unstable emotions may be calmed down.
  • the user identifier for identifying the user is added to the explanatory variable, and the evaluation value of the user is set by machine learning using the evaluation value which is an index related to the biological characteristics of the user as the objective variable. Generate a model to guess. According to the present embodiment, it is possible to estimate assessment values such as a user's motor function index and health index, and evaluation values such as a user's subjective value, and display contents corresponding to the evaluation values on the screen of the terminal device.
  • the model generation device of the present embodiment has a simplified configuration of the model generation device 100 and the like included in the data processing device 10 of the first embodiment. It should be noted that the data processing device can be configured only with the model generation device.
  • FIG. 26 is a block diagram showing an example of the configuration of the model generation device 50 of the present embodiment.
  • the model generation device 50 includes a classification unit 53 and a learning unit 55.
  • the classification unit 53 classifies at least one biological information data including the sensor value related to the user's biological body and the measurement time and measurement position of the sensor value into at least one group based on the attributes of at least one user.
  • the learning unit 55 estimates the biometric information data in which the defects are interpolated by using the mutual relationship between the sensor value included in the biometric information data, the measurement time, and the measurement position for each group classified by the classification unit 53. Generate a model for.
  • the model generation device (data processing device) of the present embodiment includes a classification unit and a learning unit.
  • the classification unit classifies at least one biometric information data including the sensor value related to the user's biological body and the measurement time and measurement position of the sensor value into at least one group based on the attributes of at least one user.
  • the learning unit estimates the biometric information data in which the defects are interpolated by using the mutual relationship between the sensor value included in the biometric information data, the measurement time, and the measurement position for each group classified by the classification unit 53. Generate a model of.
  • the terminal device displays the content including the processing result by the application using the biometric information data in which the defect is stored by the data processing device on the screen.
  • useful information for the user can be provided through the content displayed on the screen of the terminal device.
  • the estimation device of the present embodiment has a simplified configuration of the interpolation unit 16 and the like included in the data processing device 10 of the first embodiment. It should be noted that the data processing device can be configured with only the estimation device.
  • FIG. 27 is a block diagram showing an example of the configuration of the estimation device 60 of the present embodiment.
  • the estimation device 60 includes a model 650 and an estimation unit 66.
  • the model 650 is a model generated by the data processing device of the first to fourth embodiments and the model generation device of the fifth embodiment.
  • the model 650 is a biometric information in which defects are interpolated by using the mutual relationship between the sensor value included in the biometric information data, the measurement time, and the measurement position for each group classified based on the attributes of at least one user. It was generated to estimate the data.
  • the estimation unit 66 inputs the defective biometric information data into the model 650 and estimates the biometric information data in which the defects are interpolated.
  • the estimation device of the present embodiment includes a model and an estimation unit.
  • the model is biometric data in which defects are interpolated using the correlation between the sensor values included in the biometric data, the measurement time, and the measurement position for each group classified based on the attributes of at least one user. It was generated to estimate.
  • the estimation unit inputs the biometric information data having a defect into the model, and estimates the biometric information data in which the defect is interpolated.
  • the information processing device 90 of FIG. 28 is a configuration example for executing the processing of the data processing device of each embodiment, and does not limit the scope of the present invention.
  • the information processing device 90 includes a processor 91, a main storage device 92, an auxiliary storage device 93, an input / output interface 95, and a communication interface 96.
  • the interface is abbreviated as I / F (Interface).
  • the processor 91, the main storage device 92, the auxiliary storage device 93, the input / output interface 95, and the communication interface 96 are connected to each other via the bus 98 so as to be capable of data communication. Further, the processor 91, the main storage device 92, the auxiliary storage device 93, and the input / output interface 95 are connected to a network such as the Internet or an intranet via the communication interface 96.
  • the processor 91 expands the program stored in the auxiliary storage device 93 or the like into the main storage device 92, and executes the expanded program.
  • the software program installed in the information processing apparatus 90 may be used.
  • the processor 91 executes the processing by the data processing apparatus according to the present embodiment.
  • the main storage device 92 has an area in which the program is expanded.
  • the main storage device 92 may be, for example, a volatile memory such as a DRAM (Dynamic Random Access Memory). Further, a non-volatile memory such as MRAM (Magnetoresistive Random Access Memory) may be configured / added as the main storage device 92.
  • a volatile memory such as a DRAM (Dynamic Random Access Memory).
  • a non-volatile memory such as MRAM (Magnetoresistive Random Access Memory) may be configured / added as the main storage device 92.
  • the auxiliary storage device 93 stores various data.
  • the auxiliary storage device 93 is composed of a local disk such as a hard disk or a flash memory. It is also possible to store various data in the main storage device 92 and omit the auxiliary storage device 93.
  • the input / output interface 95 is an interface for connecting the information processing device 90 and peripheral devices.
  • the communication interface 96 is an interface for connecting to an external system or device through a network such as the Internet or an intranet based on a standard or a specification.
  • the input / output interface 95 and the communication interface 96 may be shared as an interface for connecting to an external device.
  • the information processing device 90 may be configured to connect an input device such as a keyboard, a mouse, or a touch panel, if necessary. These input devices are used to input information and settings. When the touch panel is used as an input device, the display screen of the display device may also serve as the interface of the input device. Data communication between the processor 91 and the input device may be mediated by the input / output interface 95.
  • the information processing device 90 may be equipped with a display device for displaying information.
  • a display device it is preferable that the information processing device 90 is provided with a display control device (not shown) for controlling the display of the display device.
  • the display device may be connected to the information processing device 90 via the input / output interface 95.
  • the above is an example of the hardware configuration for enabling the data processing device according to each embodiment of the present invention.
  • the hardware configuration of FIG. 28 is an example of a hardware configuration for executing arithmetic processing of the data processing device according to each embodiment, and does not limit the scope of the present invention.
  • the scope of the present invention also includes a program for causing a computer to execute a process related to the data processing device according to each embodiment.
  • a recording medium on which the program according to each embodiment is recorded is also included in the scope of the present invention.
  • the recording medium can be realized by, for example, an optical recording medium such as a CD (Compact Disc) or a DVD (Digital Versatile Disc). Further, the recording medium may be realized by a semiconductor recording medium such as a USB (Universal Serial Bus) memory or an SD (Secure Digital) card, a magnetic recording medium such as a flexible disk, or another recording medium.
  • an optical recording medium such as a CD (Compact Disc) or a DVD (Digital Versatile Disc).
  • the recording medium may be realized by a semiconductor recording medium such as a USB (Universal Serial Bus) memory or an SD (Secure Digital) card, a magnetic recording medium such as a flexible disk, or another recording medium.
  • USB Universal Serial Bus
  • SD Secure Digital
  • the components of the data processing device of each embodiment can be arbitrarily combined. Further, the components of the data processing device of each embodiment may be realized by software or by a circuit.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

生体に関するセンサデータの欠損を高精度に補間するために、少なくとも一人のユーザの属性に基づいて、ユーザの生体に関するセンサ値と、センサ値の計測時刻および計測位置とを含む少なくとも一つの生体情報データを少なくとも一つのグループに分類する分類部と、グループごとに、生体情報データに含まれるセンサ値と、計測時刻、および計測位置の相互関係を用いて、生体情報データの欠損を補間する補間データを推定するためのモデルを生成する学習部と、を備えるデータ処理装置等とする。

Description

データ処理装置、システム、データ処理方法、および記録媒体
　本発明は、生体に関するデータを処理するデータ処理装置等に関する。
　日常生活において、生体に関するデータを収集する技術が求められている。そのようなデータは、ユーザが装着するウェアラブルデバイス等に実装されたセンサ等によって計測される。ウェアラブルデバイスを用いた場合、バッテリー容量の制限や、体動ノイズの影響、ユーザの生活習慣や装着し忘れ等によって、データの計測頻度が低下することがあった。データの計測頻度が低下すると、生体情報のモニタに必要なデータが欠損する可能性がある。
　特許文献１には、健康状態の評価に必要な生体指標を適時に計測／収集する技術について開示されている。特許文献１の手法では、生体指標の測定データが取得できなかった場合、利用者に対して生体指標の再計測を要求する。また、特許文献１の手法では、測定データの欠損が発生した場合、蓄積された過去のデータセットを用いて、欠損を含むデータセットの欠損箇所を補間する。例えば、特許文献１の手法では、データセットの類似度に着目して、補間に用いるデータセットを選択する。
特開２０１０－１４２２７３号公報
　特許文献１の手法では、測定データに欠損が生じた場合であっても、欠損箇所を補間することができる。特許文献１の手法では、過去のデータセットを用いてデータ欠損箇所を補間する際に、そのデータセットが取得された時刻や場所等の条件が含まれない。そのため、特許文献１の手法では、補間に用いられる過去のデータセットが取得された時刻や場所等の条件が異なる場合、生体指標が大きく異なることがある。そのため、特許文献１の手法では、補間されたデータの精度が低下することがあった。
　本発明の目的は、生体に関するデータの欠損を高精度に補間できるデータ処理装置等を提供することにある。
　本発明の一態様のデータ処理装置は、少なくとも一人のユーザの属性に基づいて、ユーザの生体に関するセンサ値と、センサ値の計測時刻および計測位置とを含む少なくとも一つの生体情報データを少なくとも一つのグループに分類する分類部と、グループごとに、生体情報データに含まれるセンサ値と、計測時刻、および計測位置の相互関係を用いて、生体情報データの欠損を補間する補間データを推定するためのモデルを生成する学習部と、を備える。
　本発明の一態様のデータ処理方法においては、少なくとも一人のユーザの属性に基づいて、ユーザの生体に関するセンサ値と、センサ値の計測時刻および計測位置とを含む少なくとも一つの生体情報データを少なくとも一つのグループに分類し、グループごとに、生体情報データに含まれるセンサ値と、計測時刻、および計測位置の相互関係を用いて、生体情報データの欠損を補間する補間データを推定するためのモデルを生成する。
　本発明の一態様のプログラムは、少なくとも一人のユーザの属性に基づいて、ユーザの生体に関するセンサ値と、センサ値の計測時刻および計測位置とを含む少なくとも一つの生体情報データを少なくとも一つのグループに分類する処理と、グループごとに、生体情報データに含まれるセンサ値と、計測時刻、および計測位置の相互関係を用いて、生体情報データの欠損を補間する補間データを推定するためのモデルを生成する処理とをコンピュータに実行させる。
　本発明によれば、生体に関するデータの欠損を高精度に補間できるデータ処理装置等を提供することが可能になる。
第１の実施形態に係るデータ処理装置の構成の一例を示すブロック図である。 第１の実施形態に係るデータ処理装置の記憶部に記憶される属性テーブルの一例である。 第１の実施形態に係るデータ処理装置の記憶部に記憶される属性テーブルの別の一例である。 第１の実施形態に係るデータ処理装置の集計部によって生成される生体情報テーブルの一例である。 第１の実施形態に係るデータ処理装置によるモデルの生成について説明するための概念図である。 第１の実施形態に係るデータ処理装置による生体情報データの推定について説明するための概念図である。 第１の実施形態に係るデータ処理装置によるモデルの生成に関するフローチャートである。 第１の実施形態に係るデータ処理装置による生体情報データの推定に関するフローチャートである。 第１の実施形態に係るデータ処理装置の集計部によって生成される生体情報テーブルの別の一例である。 第１の実施形態に係るデータ処理装置の集計部によって生成される生体情報テーブルのさらに別の一例である。 第２の実施形態のシステムの構成の一例を示すブロック図である。 第２の実施形態のシステムに含まれるウェアラブルデバイスの配置について説明するための概念図である。 第２の実施形態のシステムに含まれるウェアラブルデバイスの構成の一例を示すブロック図である。 第２の実施形態のシステムに含まれる端末装置の構成の一例を示すブロック図である。 第２の実施形態のシステムに含まれるデータ処理装置の構成の一例を示すブロック図である。 第２の実施形態のシステムにおける初期設定フェーズについて説明するためのフローチャートである。 第２の実施形態のシステムにおける計測フェーズについて説明するためのフローチャートである。 第２の実施形態のシステムにおけるデータ処理フェーズについて説明するためのフローチャートである。 第３の実施形態のシステムの構成の一例を示すブロック図である。 第３の実施形態に係るデータ処理装置によって生成される生体情報テーブルの一例である。 第４の実施形態に係るデータ処理装置の構成の一例を示すブロック図である。 第４の実施形態に係るデータ処理装置によるモデルの生成、および評価値の推定について説明するための概念図である。 第４の実施形態に係るデータ処理装置によって推定された評価値に基づいたコンテンツを端末装置の画面に表示させる一例について説明するための概念図である。 第４の実施形態に係るデータ処理装置によって推定された評価値に基づいたコンテンツを端末装置の画面に表示させる別の一例について説明するための概念図である。 第４の実施形態に係るデータ処理装置によって推定された評価値に基づいたコンテンツを端末装置の画面に表示させるさらに別の一例について説明するための概念図である。 第５の実施形態に係るモデル生成装置の構成の一例を示すブロック図である。 第６の実施形態に係る推定装置の構成の一例を示すブロック図である。 各実施形態に係るデータ処理装置を実現するハードウェアの一例を示すブロック図である。
　以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。また、図面中の矢印の向きは、一例を示すものであり、ブロック間のデータや信号等の向きを限定するものではない。
　（第１の実施形態）
　まず、本発明の第１の実施形態に係るデータ処理装置の構成について、図面を参照しながら説明する。本実施形態のデータ処理装置は、ユーザが装着するウェアラブルデバイス等によって計測されたセンサデータの値（センサ値とも呼ぶ）を含む生体情報データの欠損を補間する補間データを推定するためのモデルを生成する。生体情報データは、センサ値、ユーザを識別するための識別子（ユーザ識別子ともよぶ）、センサ値の計測時刻および計測位置が少なくとも紐付けられたデータである。例えば、本実施形態のデータ処理装置は、機械学習によってモデルを生成する。
　（構成）
　図１は、本実施形態に係るデータ処理装置１０の構成の一例を示すブロック図である。データ処理装置１０は、記憶部１１、分類部１３、集計部１４、学習部１５、および補間部１６を備える。分類部１３、集計部１４、および学習部１５は、モデル生成装置１００を構成する。
　記憶部１１は、複数のユーザの各々の属性データと、複数のユーザの生体情報データとを記憶する。属性データおよび生体情報データは、記憶部１１に予め記憶される。属性データは、初期設定フェーズにおいて、インターネットやイントラネット等のネットワークを介して通信可能に接続された端末装置等（図示しない）から取得される。生体情報データは、計測フェーズにおいて、ウェアラブルデバイス等と通信可能に接続された端末装置等（図示しない）から取得される。
　生体情報データは、ユーザが装着するウェアラブルデバイス等によって計測されたセンサ値と、ユーザ識別子、センサ値の計測時刻および計測位置を含む。ユーザ識別子は、ウェアラブルデバイスおよび端末装置のいずれかで付与される。計測時刻および計測位置は、ウェアラブルデバイス等がセンサデータを計測した際に付与されてもよいし、ウェアラブルデバイス等が計測したセンサデータを取得する端末装置によって付与されてもよい。例えば、端末装置がスマートフォンやタブレット、携帯電話等の携帯端末である場合、携帯端末の位置計測機能（例えば、ＧＰＳ：Global Positioning System）を用いれば、センサ値の計測位置を取得できる。
　属性データは、それぞれのユーザに対して付与されたユーザ識別子と、それぞれのユーザの属性とが対応付けられたデータである。例えば、ユーザの属性は、そのユーザの性別や身長、体重などのデータを含む。なお、記憶部１１に記憶された属性データは、端末装置を介したユーザによる更新に応じて、任意のタイミングで更新されてもよい。
　図２は、属性データをまとめたテーブルの一例（属性テーブル１１０）である。属性テーブル１１０のように、属性データは、複数のユーザの各々のユーザ識別子（Ｕ1、Ｕ2、Ｕ3、・・・）に対応付けて格納される。
　図３は、ユーザが履く履物の種類（運動靴、ハイヒール、革靴等）が追加された属性データをまとめたテーブルの一例（属性テーブル１１１）である。属性テーブル１１１は、複数のユーザの各々のユーザ識別子（Ｕ1、Ｕ2、Ｕ3、・・・）に対応付けられたユーザの生体属性に加えて、ユーザが履く履物の種類が追加される。なお、属性データには、生体情報データに補間される欠損データの精度の向上につながりさえすれば、履物の種類以外の属性を追加してもよい。例えば、属性データには、ウェアラブルデバイスが設置される対象物（例えば、服や帽子、手袋、マスクなど）の属性が追加されてもよい。例えば、属性が類似しており、かつ同じ種類の履物を履いているユーザからは、同様のセンサ値が計測される確度が高い。そのため、履物の種類を含めて生体情報データを分類したり、履物の種類を説明変数に加えた機械学習でモデルを生成したりすれば、補間される欠損データの精度が高くなる。
　分類部１３は、記憶部１１に記憶された属性データに基づいて、生体情報データを分類する。例えば、分類部１３は、属性データに基づいて、属性が類似するユーザの生体情報データを同じグループに分類する。
　例えば、分類部１３は、属性データに含まれる少なくともいずれかの属性に基づいて、複数のユーザを分類する。例えば、分類部１３は、属性データに含まれる性別、身長、および体重等の属性のうちいずれかに基づいて、複数のユーザを分類する。例えば、分類部１３は、属性データに含まれる性別、身長、および体重等の属性の組み合わせのうちいずれかの組み合わせに基づいて、複数のユーザを分類してもよい。例えば、分類部１３は、Ｋ平均法などのアルゴリズムを用いた機械学習によって複数のユーザを分類してもよい。
　集計部１４は、分類部１３によって分類されたグループの各々に対応する生体情報データを集計したテーブル（生体情報テーブルとも呼ぶ）を生成する。
　図４は、集計部１４が生成する生体情報テーブルの一例（生体情報テーブル１４０）である。生体情報テーブル１４０に含まれる生体情報データは、ユーザ識別子、計測時刻、計測位置、およびセンサ値を含む。例えば、生体情報データｘ（１）は、ユーザ識別子がＵ1であり、計測時刻が６時であり、計測位置が（緯度ＡＡ、経度ＢＢ）の位置であり、センサ値がｙ（１）である。なお、集計部１４が集計する段階では、生体情報データが属性に基づいて分類されているため、生体情報テーブルにユーザ識別子を含めなくてもよい。
　生体情報データは、０が多く含まれる疎なデータである。センサデータの計測時刻は、ユーザごとに設定される。本実施形態では、あるユーザの生体情報データに関して、センサデータが計測されなかった計測時刻のセンサ値を、同じグループに分類された他のユーザのセンサデータに含まれるセンサ値を含めた機械学習によって生成されたモデルを用いて補間する。生体情報データの欠損は、全ての計測時刻に関して補間する必要はなく、少なくとも一つの計測時刻に関して補間されればよい。
　学習部１５は、分類部１３によって同じグループに分類されたユーザの生体情報データに含まれるセンサ値、計測時刻、および計測位置の相互関係を用いて、生体情報データの欠損を補間する補間データを推定するためのモデルを生成する。例えば、学習部１５は、生体情報データに対して、計測時刻および計測位置を説明変数とし、センサ値を目的変数とする機械学習によってモデルを生成する。例えば、学習部１５は、分類部１３によって同じグループに分類されたユーザの生体情報データに含まれるセンサ値と、計測時刻および計測位置の相互関係とを用いて、補間データを推定するための推定式を生成する。
　また、学習部１５は、複数のグループの各々に対応付けて集計された生体情報テーブルを集計部１４から入力する。学習部１５は、複数の生体情報テーブルの各々に対して、生体情報データに含まれるセンサ値と、計測時刻および計測位置との相互関係をモデル化する。例えば、学習部１５は、生体情報テーブルに含まれる生体情報データに対して、計測時刻および計測位置を説明変数とし、センサ値を目的変数とする機械学習によってモデルを生成する。例えば、学習部１５は、複数の生体情報テーブルの各々に対して、生体情報データに含まれるセンサ値と、計測時刻および計測位置との相互関係をモデル化した推定式を生成する。
　例えば、学習部１５は、生体情報テーブルを構成する生体情報データに含まれる計測時刻および計測位置を説明変数とし、センサ値を目的変数とする機械学習によって、生体情報データを補間するためのモデルを生成する。例えば、あるユーザのセンサ値の計測タイミングが朝や夕方に限られている場合、昼の時間帯のセンサデータがあった方が、そのユーザの生体情報を正確に把握できる。本実施形態では、属性が類似するユーザの生体情報データを用いた学習によって、欠損している時間帯のセンサ値を補間する。また、属性が類似していても、センサデータが取得された環境が異なれば、センサ値は異なるものと想定される。本実施形態では、センサ値の計測位置を含めて、属性が類似するユーザの生体情報データを学習することによって、センサデータが取得された環境を考慮に入れたモデルを生成できる。
　例えば、学習部１５は、ディープランニングの手法を用いた機械学習によって、モデルを生成する。例えば、学習部１５は、ニューラルネットワーク（ＮＮ：Neural Network）の構造（パラメータや、ノード間の接続関係等）を機械学習によって最適化することで、生体情報データを補間するためのモデルを生成する。例えば、ＮＮの一例としては、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）や、回帰型ニューラルネットワーク(ＲＮＮ：Recurrent Neural Network)が挙げられる。ただし、学習部１５が用いる学習の手法は、特に制限されず、生体情報データの欠損を補間可能な手法であればよい。
　例えば、学習部１５は、ＳＶＤ（Singular Value Decomposition）、ＭＦ（Matrix Factorization）、ＦＭ（Factorization Machines）等の手法を用いた機械学習によって、モデルを生成する。例えば、学習部１５は、ＦＭの手法を用いて、複数の生体情報テーブルの各々に対して、生体情報データに含まれる計測時刻および計測位置の相互関係をモデル化した推定式を生成する。なお、学習部１５は、ユーザ識別子を含めて、計測時刻および計測位置の相互関係をモデル化した推定式を構築してもよい。ユーザ識別子を含めれば、同じユーザの生体情報データに含まれるセンサ値が優先的に学習されるので、補間データの精度がより向上する。
　以下の式１は、生体情報テーブルを行列Ｖと見立てた場合のセンサ値ｙ（ｘ）を示す式である（ｉ、ｊ、ｎは、１≦ｉ＜ｊ≦ｎの関係を示す整数）。
Figure JPOXMLDOC01-appb-I000001
式１のｘは、計測時刻および計測位置を含むベクトルである。式１の右辺第１項のｗ0は、グローバルバイアスである。ｗiはｉ番目の変数の強度をモデル化する。
　式１の右辺の第３項は、生体情報データｘの要素の交差項に相当する。式１の右辺の第３項の山括弧は、ｖiとｖjの内積を表す。ｖiは行列Ｖのｉ行目のベクトルを表し、ｖjは行列Ｖのｊ行目のベクトルを表す。ｖiとｖjの内積は、以下の式２で表される（ｆ、ｋは整数）。
Figure JPOXMLDOC01-appb-I000002
機械学習によって求められるパラメータは、下記の式３に示すｗ0、ベクトルｗ、行列Ｖである。次元ｎはハイパーパラメータである。
Figure JPOXMLDOC01-appb-I000003
式３のＲは実数を表す。ｎはベクトルｗおよび行列Ｖの行数、ｋは行列Ｖの列数を表す。
　補間部１６（推定部とも呼ぶ）は、学習部１５によって生成されたモデルを用いて、生体情報データの欠損値を推定する。補間部１６は、推定された欠損値を用いて、欠損を含む生体情報データを補間する。例えば、欠損が補間された生体情報データは、記憶部１１に記憶される。
　図５は、データ処理装置１０がモデル（モデル１５０－１～Ｌ）を生成する一例について説明するための概念図である（Ｌは自然数）。分類部１３は、記憶部１１に記憶された属性テーブル１１０に含まれる少なくともいずれかの属性に基づいて、属性が類似するユーザを同じグループに分類する。集計部１４は、分類部１３によって分類されたグループの各々に含まれる生体情報データ１２０を用いて、少なくとも一つの生体情報テーブル１４０－１～Ｌを生成する（Ｌは自然数）。学習部１５は、少なくとも一つの生体情報テーブル１４０－１～Ｌの各々について、生体情報データに含まれるセンサ値と、計測時刻及び位置の相互関係を用いて、モデル１５０－１～Ｌの各々を生成する。
　図６は、学習部１５によって生成されたモデル１５０に、欠損のある生体情報データが入力される一例を示す概念図である。欠損のある生体情報データがモデル１５０に入力されると、欠損が補間された生体情報データが出力される。例えば、あるユーザの生体情報データにおいて昼の時間帯に欠損がある場合、同じグループに分類された生体情報データのうち昼の時間帯のいずれかの時刻のセンサ値がそのユーザの生体情報データに補間される。それによって、そのユーザの生体情報データは、少なくともいずれかの時刻における欠損が補間される。
　（動作）
　次に、本実施形態のデータ処理装置１０の動作の一例について図面を参照しながら説明する。データ処理装置１０の動作には、学習フェーズと推定フェーズが含まれる。以下においては、データ処理装置１０を動作の主体とし、学習フェーズと推定フェーズの各々について個別に説明する。
　〔学習フェーズ〕
　図７は、学習フェーズの一例について説明するためのフローチャートである。図７において、まず、データ処理装置１０は、属性データに基づいて、複数のユーザをグループに分類する（ステップＳ１５１）。
　次に、データ処理装置１０は、分類されたグループの各々について、属性データが類似するユーザの生体情報データを集計して生体情報テーブルを生成する（ステップＳ１５２）。
　次に、データ処理装置１０は、グループごとの生体情報テーブルに含まれる生体情報データを学習し、生体情報データを補間するためのモデルをグループごとに生成する（ステップＳ１５３）。
　〔推定フェーズ〕
　図８は、推定フェーズの一例について説明するためのフローチャートである。図８において、まず、データ処理装置１０は、欠損のある生体情報データをモデルに入力する（ステップＳ１６１）。
　次に、データ処理装置１０は、モデルによって推定された生体情報データを、欠損が補間された生体情報データとして出力する（ステップＳ１６２）。
　ここで、生体情報データの変形例について、一例を挙げて説明する。以下の変形例は、生体情報データにさらなる属性を追加することによって、生体情報データの集計や学習の精度を高める例である。
　図９は、計測位置の緯度と経度に基づいて、その計測位置に対応する施設を生体情報データに追加する例（生体情報テーブル１４１）である。例えば、属性が類似しており、かつ同一の施設に滞在するユーザからは、同様のセンサ値が計測される確度が高い。そのため、計測位置に対応する施設に基づいて生体情報データを分類したり、施設を説明変数に加えた機械学習でモデルを生成したりすれば、補間される欠損データの精度が高くなる。
　図１０は、計測位置に対応する施設に加えて、その施設において取りうる行動を生体情報データに追加する例（生体情報テーブル１４２）である。例えば、個人宅にいるユーザは、家事をしている確率が高い。また、駅にいるユーザは通勤中である確率が高く、ショッピングモールにいるユーザは買い物をしている確率が高い。そのため、施設において取りうる行動に基づいて生体情報データを分類したり、施設において取りうる行動を説明変数に加えた機械学習でモデルを生成したりすれば、補間される欠損データの精度がより高くなる。
　以上のように、本実施形態のデータ処理装置は、記憶部、分類部、集計部、学習部、および補間部を備える。記憶部は、複数のユーザの各々の属性データと、複数のユーザの生体情報データとを記憶する。分類部は、記憶部に記憶された属性データに基づいて、生体情報データを分類する。集計部は、分類部によって分類されたグループの各々に対応する生体情報データを集計した生体情報テーブルを生成する。学習部は、分類部によって同じグループに分類されたユーザの生体情報データに含まれるセンサ値、計測時刻、および計測位置の相互関係を用いて、生体情報データの欠損を補間する補間データを推定するためのモデルを生成する。また、学習部は、複数の生体情報テーブルの各々に対して、生体情報データに含まれるセンサ値と、計測時刻および計測位置との相互関係をモデル化する。補間部（推定部とも呼ぶ）は、学習部によって生成されたモデルを用いて、生体情報データの欠損値を推定する。補間部は、推定された欠損値を用いて、欠損を含む生体情報データを補間する。
　本実施形態によれば、少なくとも一人のユーザに関して計測されたセンサ値を互いに補間し合うことによって、生体に関するデータの欠損を高精度に補間できるモデルを生成できる。
　本実施形態においては、複数のユーザの属性に基づいて、ユーザの生体に関するセンサ値と、センサ値の計測時刻および計測位置との相互関係を用いてモデルを生成する。例えば、同じ属性のユーザのセンサ値は、計測時刻が同じであっても、異なる位置で計測されていれば大きく異なることがある。例えば、センサ値は、職場の中や、通勤経路、昼食に出かける途中、業務終了後に食事に向かう途中など、計測されるシーンに応じて異なる傾向を示しうる。本実施形態では、センサ値が計測されるシーンに応じたモデルを生成できるので、生体情報データに含まれうる欠損を高精度に補間できる。
　（第２の実施形態）
　次に、第２の実施形態に係るシステムについて図面を参照しながら説明する。本実施形態のシステムは、ウェアラブルデバイス、端末装置、およびデータ処理装置を含む。以下においては、履物に設置されるインソールに搭載される歩容計測デバイスを一例として挙げる。なお、本実施形態のウェアラブルデバイスは、ユーザの生体に関するデータを計測できさえすれば、歩容計測デバイスに限定されない。
　図１１は、本実施形態のシステム２の構成の一例について説明するためのブロック図である。本実施形態のシステム２は、ウェアラブルデバイス２１０、端末装置２３０、およびデータ処理装置２０を含む。端末装置２３０は、インターネットやイントラネット等のネットワーク２５０を介して、データ処理装置２０に接続される。例えば、ネットワーク２５０がイントラネットの場合、本実施形態のシステム２にネットワーク２５０を加えてもよい。
　ウェアラブルデバイス２１０は、生体情報データに含まれるセンサ値を計測するための少なくとも一つのセンサを含む。ウェアラブルデバイス２１０は、ユーザによって装着される。ウェアラブルデバイス２１０は、ウェアラブルデバイス２１０を装着したユーザの生体情報に関連するセンサ値を計測する。
　ウェアラブルデバイス２１０は、計測されたセンサ値を含むセンサデータを端末装置２３０に送信する。例えば、ウェアラブルデバイス２１０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）などの規格に即した無線通信機能（図示しない）を介して、センサデータを端末装置２３０に送信する。例えば、ウェアラブルデバイス２１０は、通信ケーブルなどの有線を介して、センサデータを端末装置２３０に送信してもよい。ウェアラブルデバイス２１０から端末装置２３０にセンサデータを送信する手法には、特に限定を加えない。
　例えば、ウェアラブルデバイス２１０は、履物に設置されるインソールに搭載される歩容計測デバイスによって実現される。例えば、歩容計測デバイスは、３軸方向の角速度および加速度を計測し、ユーザの歩幅や歩行速度、足上げ高さ、接地角度、蹴り出し角度、足角、内反、外反等のセンサデータを生成する。
　図１２は、歩容を計測するウェアラブルデバイス２１０を靴２２０の中に設置する一例を示す概念図である。例えば、ウェアラブルデバイス２１０は、靴２２０の中に挿入されるインソールに設置され、足の土踏まずの裏側に当たる位置に配置される。なお、ウェアラブルデバイス２１０が配置される位置は、靴の中や表面であれば、足の土踏まずの裏側ではない位置であってもよい。ウェアラブルデバイス２１０は、歩容を計測できさえすれば、靴２２０以外の履物や靴下などに設置されてもよい。
　ウェアラブルデバイス２１０は、端末装置２３０に接続される。ウェアラブルデバイス２１０は、加速度センサと角速度センサを少なくとも含む。ウェアラブルデバイス２１０は、加速度センサおよび角速度センサによって取得されたセンサ値をデジタルデータに変換し、変換後のデジタルデータに計測時刻を付与することによってセンサデータを生成する。なお、センサデータには、ユーザ識別子が含まれてもよい。ウェアラブルデバイス２１０は、生成されたセンサデータを端末装置２３０に送信する。
　図１３は、ウェアラブルデバイス２１０の構成の一例を示すブロック図である。ウェアラブルデバイス２１０は、加速度センサ２１２、角速度センサ２１３、信号処理部２１５、およびデータ出力部２１７を有する。加速度センサ２１２および角速度センサ２１３は、センサ２１１を構成する。例えば、センサ２１１はＩＭＵ（Inertial Measurement Unit）によって実現される。
　加速度センサ２１２は、３軸方向の加速度を計測するセンサである。加速度センサ２１２は、計測した加速度を信号処理部２１５に出力する。
　角速度センサ２１３は、角速度を計測するセンサである。角速度センサ２１３は、計測した角速度を信号処理部２１５に出力する。
　信号処理部２１５は、加速度センサ２１２および角速度センサ２１３のそれぞれから、加速度および角速度の各々の生データを取得する。信号処理部２１５は、取得された加速度および角速度をデジタルデータに変換し、変換後のデジタルデータに計測時刻を付与してセンサデータを生成する。計測時刻は、図示しないタイマ等によって計測される。なお、端末装置２３０の側で計測時刻を付与する場合は、センサデータに計測時刻を含めなくてもよい。また、信号処理部２１５は、計測した加速度や角速度の生データに対して、実装誤差や温度補正、直線性補正などの補正を行い、補正後のセンサ値を出力するように構成してもよい。また、信号処理部２１５は、センサデータにユーザ識別子を付与してもよい。信号処理部２１５は、センサデータをデータ出力部２１７に出力する。
　データ出力部２１７は、信号処理部２１５からセンサデータを取得する。データ出力部２１７は、取得したセンサデータを端末装置２３０に送信する。データ出力部２１７は、通信ケーブルなどの有線を介してセンサデータを端末装置２３０に送信してもよいし、無線通信を介してセンサデータを端末装置２３０に送信してもよい。例えば、データ出力部２１７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）などの規格に即した無線通信機能（図示しない）を介して、センサデータを端末装置２３０に送信する。
　図１４は、端末装置２３０の構成の一例を示すブロック図である。端末装置２３０は、送受信部２３１、制御部２３２、位置情報取得部２３３、および表示部２３５を有する。
　送受信部２３１は、ウェアラブルデバイス２１０からセンサデータを受信する。送受信部２３１は、受信されたセンサデータを制御部２３２に出力する。また、送受信部２３１は、制御部２３２から生体情報データを受信する。送受信部２３１は、受信された生体情報データをデータ処理装置２０に送信する。送受信部２３１から生体情報データを送信するタイミングには、特に限定を加えない。
　例えば、送受信部２３１は、端末装置２３０にインストールされたアプリケーション（例えば、生体情報を解析するアプリケーション）の処理やユーザの操作に応じて、生体情報データの欠損を補間する要求をデータ処理装置２０に送信する。送受信部２３１は、要求に応じて送信されてきた生体情報データを受信する。例えば、データ処理装置２０から送信されてきた生体情報データは、アプリケーションにおける生体情報の解析に利用される。
　制御部２３２は、送受信部２３１からセンサデータを取得する。制御部２３２は、センサデータを取得すると、位置情報取得部２３３から位置情報を取得し、取得された位置情報（計測位置）をセンサデータに付与することによって生体情報データを生成する。なお、センサデータに計測時刻が含まれない場合、その端末装置２３０において生体情報データを生成するタイミングの時刻を計測時刻として生体情報データに付与してもよい。また、ウェアラブルデバイス２１０がセンサデータにユーザ識別子を付与しない場合、制御部２３２が生体情報データにユーザ識別子を付与する。
　位置情報取得部２３３は、位置情報を取得する。例えば、位置情報取得部２３３は、ＧＰＳを用いた位置計測機能によって位置情報を取得する。なお、位置情報取得部２３３は、位置計測機能を用いて取得された位置情報を、図示しない角速度センサや角速度センサ等によって計測されるセンサ値で補正してもよい。位置情報取得部２３３によって取得された位置情報は、制御部２３２における生体情報データの生成に用いられる。
　表示部２３５には、ユーザの操作を受け付けるユーザインタフェースや、端末装置２３０にインストールされたアプリケーション等に関する画像が表示される。例えば、表示部２３５には、データ処理装置２０から受信される生体情報データをアプリケーションが処理した結果の画像が表示される。表示部２３５に表示される画像を見たユーザは、データ処理装置２０によって欠損が補間された生体情報データに基づくアプリケーションの処理結果を閲覧できる。なお、表示部２３５には、ユーザインタフェースや、生体情報データに基づくアプリケーションの処理結果に限らず、一般的なスマートフォンやタブレット、携帯端末等の画面に表示可能な画像が表示される。
　図１５は、データ処理装置２０の構成の一例を示すブロック図である。データ処理装置２０は、記憶部２１、送受信部２２、分類部２３、集計部２４、学習部２５、および補間部２６を備える。分類部２３、集計部２４、および学習部２５は、モデル生成装置２００を構成する。なお、記憶部２１、分類部２３、集計部２４、学習部２５、および補間部２６は、第１の実施形態のデータ処理装置１０の対応する構成と同様であるので、詳細な説明は省略する。
　（動作）
　次に、本実施形態のシステム２の動作について図面を参照しながら説明する。本実施形態のシステム２の動作は、初期設定フェーズ、計測フェーズ、およびデータ処理フェーズに大別される。以下においては、初期設定フェーズ、計測フェーズ、およびデータ処理フェーズの各々について個別に説明する。
　〔初期設定フェーズ〕
　初期設定フェーズは、ユーザの属性データをデータ処理装置２０に登録するフェーズである。図１６は、初期設定フェーズについて説明するためのフローチャートである。
　図１６において、まず、端末装置２３０が、端末装置２３０の表示部２３５に表示されたアプリケーションのグラフィカルユーザインタフェースを介して、ユーザの属性データの入力を受け付ける（ステップＳ２１１）。例えば、端末装置２３０の表示部２３５には、ユーザの属性を受け付けるグラフィカルユーザインタフェースが表示され、ユーザによる属性データの入力を受け付ける。例えば、端末装置２３０は、ユーザの身長や体重、性別などの属性データの入力を受け付ける。例えば、端末装置２３０には、ユーザの既往歴などの属性データの入力を受け付けてもよい。
　次に、端末装置２３０が、入力された属性データをデータ処理装置２０に送信する（ステップＳ２１２）。
　次に、データ処理装置２０が、端末装置２３０から送信された属性データを受信する（ステップＳ２１３）。
　次に、データ処理装置２０が、受信された属性データを記憶部２１に格納する（ステップＳ２１４）。記憶部２１に格納された属性データは、ユーザの分類に用いられる。
　〔計測フェーズ〕
　計測フェーズは、ウェアラブルデバイス２１０によって計測されたセンサデータに基づく生体情報データをデータ処理装置に格納するフェーズである。図１７は、計測フェーズについて説明するためのフローチャートである。
　図１７において、まず、ウェアラブルデバイス２１０が、そのウェアラブルデバイス２１０を装着するユーザの生体に関するセンサ値を計測する（ステップＳ２２１）。
　次に、ウェアラブルデバイス２１０が、計測されたセンサ値を含むセンサデータを生成し、生成されたセンサデータを端末装置２３０に送信する（ステップＳ２２２）。例えば、ウェアラブルデバイス２１０は、センサ値と計測時刻とが対応付けられたセンサデータを端末装置２３０に送信する。
　次に、端末装置２３０が、ウェアラブルデバイス２１０からセンサデータを受信する（ステップＳ２２３）。
　次に、端末装置２３０が、センサデータの受信に合わせて端末装置２３０の位置情報（計測位置）を取得し、ユーザ識別子、センサ値、計測時刻、および計測位置を対応付けた生体情報データを生成する（ステップＳ２２４）。
　次に、端末装置２３０が、生成された生体情報データをデータ処理装置２０に送信する（ステップＳ２２５）。
　次に、データ処理装置２０が、端末装置２３０から送信された生体情報データを受信し、受信された生体情報データを記憶部２１に格納する（ステップＳ２２６）。記憶部２１に格納された生体情報データは、欠損を補間するためのモデルの生成に用いられる。
　〔データ処理フェーズ〕
　データ処理フェーズは、記憶部２１に格納された複数のユーザの生体情報データを用いて、生体情報データの欠損を補間するフェーズである。図１８は、データ処理フェーズについて説明するためのフローチャートである。図１８のデータ処理フェーズに関する説明においては、データ処理装置２０の構成要素を動作主体として説明する（図１８においては、動作の主体は省略）。
　図１８において、まず、分類部２３が、記憶部２１に格納された属性データに基づいて、複数のユーザを分類する（ステップＳ２３１）。例えば、分類部２３は、類似する属性のユーザを同じグループにクラスタリングする。
　次に、集計部２４が、分類部２３による分類に基づいて、属性ごとの生体情報データを集計して生体情報テーブルを生成する（ステップＳ２３２）。例えば、集計部２４は、クラスタリングされたグループの各々に対応する生体情報テーブルを生成する。
　次に、学習部２５が、属性ごとの生体情報テーブルを用いて、生体情報データの欠損を補間するためのモデルを生成する（ステップＳ２３３）。例えば、学習部２５は、属性ごとの生体情報テーブルにおいて、生体情報データに含まれるセンサ値、計測時刻、計測位置との相互関係をモデル化した推定式を生成する。
　次に、補間部２６（推定部とも呼ぶ）が、欠損のある生体情報データをモデルに入力し、欠損が補間された生体情報データを生成する（ステップＳ２３４）。欠損が補間された生体情報データは、生体情報データを用いるアプリケーション等で使用される。
　以上のように、本実施形態のシステムは、データ処理装置と、デバイス(ウェアラブルデバイス)と、端末装置とを備える。デバイスは、センサ値を計測する。端末装置は、デバイスによって計測されたセンサ値に、センサ値の計測時刻および計測位置を付与することによって生体情報データを生成する。
　本実施形態によれば、ユーザの生体に関するセンサ値を計測し、計測されたセンサ値に計測時刻および計測位置が付与された生体情報データを生成できる。
　（第３の実施形態）
　次に、第３の実施形態に係るシステムについて図面を参照しながら説明する。本実施形態のシステムは、複数のウェアラブルデバイス、端末装置、およびデータ処理装置を含む。本実施形態のシステムは、複数のウェアラブルデバイス等によって計測されたセンサ値を含む生体情報データの欠損を補間する補間データを推定するためのモデルを生成する。
　図１９は、本実施形態のシステムの構成の一例について説明するためのブロック図である。本実施形態のシステムは、複数のウェアラブルデバイス３１０－１～Ｎ、端末装置２３０、およびデータ処理装置２０を含む（Ｎは自然数）。端末装置３３０は、インターネットやイントラネット等のネットワーク３５０を介して、データ処理装置３０に接続される。例えば、ネットワーク３５０がイントラネットの場合、本実施形態のシステムにネットワーク３５０を加えてもよい。以下においては、複数のウェアラブルデバイス３１０－１～Ｎの各々を区別しない場合は、ウェアラブルデバイス３１０と表記する。
　例えば、ウェアラブルデバイス３１０は、ユーザの手首等に装着されるリストバンド型デバイス（活動量計とも呼ぶ）によって実現される。例えば、リストバンド型デバイスは、ユーザの活動量や脈波、発汗、体温等のセンサデータを計測する。例えば、ウェアラブルデバイス３１０は、脳波計によって実現される。例えば、脳波計は、ユーザの脳波や感情、ストレス等のセンサデータを計測する。例えば、ウェアラブルデバイス３１０は、スーツ型モーションセンサ（モーションセンサとも呼ぶ）によって実現される。例えば、スーツ型モーションセンサは、ユーザのモーションや運動機能、リハビリ回復度等のセンサデータを計測する。なお、ここで列挙したウェアラブルデバイス３１０は一例であって、本実施形態のシステムに含まれるウェアラブルデバイスを限定するものではない。
　ウェアラブルデバイス３１０は、計測されたセンサ値を含むセンサデータを端末装置３３０に送信する。例えば、ウェアラブルデバイス３１０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）などの規格に即した無線通信機能（図示しない）を介して、センサデータを端末装置３３０に送信する。例えば、ウェアラブルデバイス３１０は、通信ケーブルなどの有線を介して、センサデータを端末装置３３０に送信してもよい。ウェアラブルデバイス３１０から端末装置３３０にセンサデータを送信する手法には、特に限定を加えない。
　端末装置３３０は、第２の実施形態の端末装置２３０と同様の構成である。端末装置３３０は、ウェアラブルデバイス３１０からセンサデータを受信する。端末装置３３０は、センサデータを受信すると位置情報を取得する。例えば、端末装置３３０は、ＧＰＳを用いた位置計測機能によって位置情報を取得する。端末装置３３０は、位置情報（計測位置）をセンサデータに付与することによって生体情報データを生成する。生体情報データには、センサ値の計測元のウェアラブルデバイス３１０の識別子を含める。端末装置３３０は、生成された生体情報データをデータ処理装置３０に送信する。端末装置３３０から生体情報データを送信するタイミングには、特に限定を加えない。
　データ処理装置３０は、第２の実施形態のデータ処理装置２０と同様の構成である。データ処理装置３０は、端末装置３３０から生体情報データを受信する。データ処理装置３０は、受信される生体情報データを記憶する。また、データ処理装置３０は、端末装置２３０から生体情報データの要求を受信すると、要求に応じた生体情報データを端末装置３３０に送信する。
　データ処理装置３０は、記憶された属性データに基づいて、生体情報データを分類する。データ処理装置３０は、分類されたグループの各々に対応する生体情報データを集計したテーブル（生体情報テーブルとも呼ぶ）を生成する。生体情報テーブルを構成する生体情報データは、複数のウェアラブルデバイス３１０－１～Ｎによって計測されたセンサ値を含む。
　図２０は、データ処理装置３０が生成する生体情報テーブルの一例（生体情報テーブル３４０）である。生体情報テーブル３４０に含まれる生体情報データは、ユーザ識別子、計測時刻、計測位置、およびセンサ値を含む。センサ値は、複数のウェアラブルデバイス３１０－１～Ｎによって計測された値を含む。
　データ処理装置３０は、複数のグループの各々に対応付けて集計された生体情報テーブルに対して、生体情報データに含まれるセンサ値と、計測時刻および計測位置との相互関係をモデル化する。例えば、データ処理装置３０は、生体情報テーブルに含まれる生体情報データに対して、計測時刻および計測位置を説明変数とし、複数のウェアラブルデバイス３１０－１～Ｎによって計測されたセンサ値を目的変数とする機械学習によってモデルを生成する。例えば、データ処理装置３０は、複数のウェアラブルデバイス３１０－１～Ｎによって計測されたセンサ値に関して、距離に応じた重みづけをする。例えば、データ処理装置３０は、複数のウェアラブルデバイス３１０－１～Ｎによって計測されたセンサ値に関して、距離が近いほど重みを大きくする。
　データ処理装置３０は、生成されたモデルを用いて、生体情報データの欠損値を推定する。データ処理装置３０は、推定された欠損値を用いて、欠損を含む生体情報データを補間する。
　例えば、あるユーザのウェアラブルデバイス３１０によるセンサデータの計測タイミングが朝や夕方であり、別のユーザのウェアラブルデバイス３１０によるセンサデータの計測タイミングが昼であるとする。このような場合、それらのウェアラブルデバイス３１０によって計測されるセンサ値を補間し合うことによって、それらのユーザの生体に関するデータを充実させることができる。
　例えば、あるユーザのあるウェアラブルデバイス３１０によるセンサデータの計測タイミングが朝や夕方であり、そのユーザの別のウェアラブルデバイス３１０によるセンサデータの計測タイミングが昼であるとする。このような場合、それらのウェアラブルデバイス３１０によって計測されるセンサ値を補間し合うことによって、そのユーザの生体に関するデータを充実させることができる。
　以上のように、本実施形態のシステムは、データ処理装置と、少なくとも一つのデバイス(ウェアラブルデバイス)と、端末装置とを備える。少なくとも一つのデバイスは、センサ値を計測する。端末装置は、デバイスによって計測されたセンサ値に、センサ値の計測時刻および計測位置を付与することによって生体情報データを生成する。
　本実施形態によれば、計測時刻および計測位置に加えて、複数のウェアラブルデバイスによって計測されたセンサ値との相互関係をモデル化することで、生体情報データに補間されるデータの精度を向上できる。
　一般的なウェアラブルデバイスには、日常的に人体に装着される都合上、電源や計測精度等の性能に限界がある。そのため、単一のセンサによって計測されるセンサ値の精度等には限界がある。本実施形態では、複数のセンサを組み合わせた生体データプラットフォーム（マルチモーダル生体センサプラットフォームともよぶ）を構築できる。マルチモーダル生体センサプラットフォームによれば、個々のセンサの性能が高くなくても、それらのセンサによって計測されるセンサ値を組み合わせて高精度なデータを得ることができる。
　（第４の実施形態）
　次に、第４の実施形態に係るデータ処理装置について図面を参照しながら説明する。本実施形態のデータ処理装置は、欠損を補間するためのモデルではなく、ユーザの運動機能指標や健康指標などのアセスメント値等（評価値とも呼ぶ）を推定するためのモデルを生成する点において、第１～第３の実施形態とは異なる。評価値は、ユーザの生体特性に関する指標である。
　図２１は、本実施形態のデータ処理装置４０の構成の一例を示すブロック図である。データ処理装置４０は、記憶部４１、送受信部４２、分類部４３、集計部４４、学習部４５、および推定部４６を備える。分類部４３、集計部４４、および学習部４５は、モデル生成装置４００を構成する。なお、記憶部４１、送受信部４２、分類部４３、および集計部４４は、第１の実施形態のデータ処理装置１０または第２の実施形態のデータ処理装置２０の対応する構成と同様であるので、詳細な説明は省略する。
　学習部４５は、分類部４３によって同じグループに分類された生体情報データに含まれるセンサ値と、計測時刻および計測位置の相互関係とを用いて、特定の評価値を推定するためのモデルを生成する。例えば、評価値は、欠損が補間された生体情報データや、運動機能指標や健康指標等のアセスメント値である。また、評価値は、ユーザの気分や体調、感情等のようにアンケートベースの主観値であってもよい。
　推定部４６は、学習部４５によって生成されたモデルを用いて、ユーザのアセスメント値等の評価値を推定する。推定部４６によって推定された評価値は、送受信部４２から端末装置（図示しない）に送信される。例えば、端末装置に送信された評価値は、端末装置にインストールされたアプリケーションによって用いられる。
　図２２は、複数の生体情報データを説明変数とし、アセスメント値や主観値等の評価値を目的変数とする機械学習によってモデル４５０を生成し、生成されたモデル４５０にあるユーザ識別子を入力して評価値を推定する例である。例えば、属性の類似するユーザの生体情報データを用いて生成されたモデル４５０に、あるユーザのユーザ識別子を入力すると、そのユーザに関する評価値がモデル４５０から出力される。例えば、出力された評価値を端末装置（図示しない）に送信し、端末装置にインストールされたアプリケーションで処理することによって、そのユーザにとって有用なコンテンツをユーザに提示するように構成できる。
　図２３は、モデル４５０によって推定されたアセスメント値に基づいたコンテンツを端末装置４３０の画面４１５に表示させる例である。図２３の例では、履物の属性を含めた機械学習によって生成されたモデルによって推定されたアセスメント値に基づいて、ユーザの歩容に関するアドバイスを含むコンテンツを端末装置４３０の画面４１５に表示させる。画面４１５に表示されたコンテンツを見たユーザは、そのコンテンツに従って運動等を行うことによって、運動機能指標や健康指標の向上につながる情報を得ることができる。
　図２４は、モデル４５０によって推定されたアセスメント値に基づいたコンテンツを端末装置４３０の画面４１５に表示させる別の例である。図２４の例では、履物の属性を含めた機械学習によって生成されたモデルによって推定されたアセスメント値に基づいて、ユーザに薦める履物を含むコンテンツを端末装置４３０の画面４１５に表示させる。画面４１５に表示されたコンテンツを見たユーザは、そのコンテンツを参照することによって、自分の体に合った履物等の情報を得ることができる。
　図２５は、モデル４５０によって推定された主観値に基づいたコンテンツを端末装置４３０の画面４１５に表示させるさらに別の例である。図２５は、モデルによって推定された評価値に基づいて、ユーザの気分や体調、感情に即したコンテンツを端末装置４３０の画面４１５に表示させる例である。例えば、ユーザの感情が不安定であることを示す主観値が出力された場合、そのユーザの好きな動物やキャラクターの画像を含む端末装置４３０の画面４１５に表示させる。画面４１５に表示されたコンテンツを見たユーザがそのコンテンツを参照すれば、不安定な感情が宥められる可能性がある。
　以上のように、本実施形態においては、ユーザを識別するためのユーザ識別子を説明変数に追加し、ユーザの生体特性に関する指標である評価値を目的変数とする機械学習によって、ユーザの評価値を推測するモデルを生成する。本実施形態によれば、ユーザの運動機能指標や健康指標などのアセスメント値や、ユーザの主観値といった評価値を推定し、評価値に応じたコンテンツを端末装置の画面に表示させることができる。
　（第５の実施形態）
　次に、第５の実施形態に係るモデル生成装置について図面を参照しながら説明する。本実施形態のモデル生成装置は、第１の実施形態のデータ処理装置１０に含まれるモデル生成装置１００等を簡略化した構成である。なお、モデル生成装置のみでも、データ処理装置を構成できる。
　図２６は、本実施形態のモデル生成装置５０の構成の一例を示すブロック図である。モデル生成装置５０は、分類部５３および学習部５５を備える。
　分類部５３は、少なくとも一人のユーザの属性に基づいて、ユーザの生体に関するセンサ値と、センサ値の計測時刻および計測位置とを含む少なくとも一つの生体情報データを少なくとも一つのグループに分類する。
　学習部５５は、分類部５３によって分類されたグループごとに、生体情報データに含まれるセンサ値と、計測時刻、および計測位置の相互関係を用いて、欠損が補間された生体情報データを推定するためのモデルを生成する。
　以上のように、本実施形態のモデル生成装置（データ処理装置）は、分類部および学習部を備える。分類部は、少なくとも一人のユーザの属性に基づいて、ユーザの生体に関するセンサ値と、センサ値の計測時刻および計測位置とを含む少なくとも一つの生体情報データを少なくとも一つのグループに分類する。学習部は、分類部５３によって分類されたグループごとに、生体情報データに含まれるセンサ値と、計測時刻、および計測位置の相互関係を用いて、欠損が補間された生体情報データを推定するためのモデルを生成する。
　本実施形態によれば、少なくとも一人のユーザに関して計測されたセンサ値を互いに補間し合うことによって、生体に関するデータの欠損を高精度に補間できるモデルを生成できる。
　本実施形態の一対応において、端末装置は、データ処理装置によって欠損が保管された生体情報データを用いるアプリケーションによる処理結果を含むコンテンツを画面に表示させる。本実施形態によれば、端末装置の画面に表示されたコンテンツを介して、ユーザにとって有用な情報を提供できる。
　（第６の実施形態）
　次に、第６の実施形態に係る推定装置について図面を参照しながら説明する。本実施形態の推定装置は、第１の実施形態のデータ処理装置１０に含まれる補間部１６等を簡略化した構成である。なお、推定装置のみでも、データ処理装置を構成できる。
　図２７は、本実施形態の推定装置６０の構成の一例を示すブロック図である。推定装置６０は、モデル６５０および推定部６６を備える。
　モデル６５０は、第１～第４の実施形態のデータ処理装置や、第５の実施形態のモデル生成装置によって生成されたモデルである。モデル６５０は、少なくとも一人のユーザの属性に基づいて分類されたグループごとに、生体情報データに含まれるセンサ値と、計測時刻、および計測位置の相互関係を用いて、欠損が補間された生体情報データを推定するために生成されたものである。
　推定部６６は、欠損のある生体情報データをモデル６５０に入力し、欠損が補間された生体情報データを推定する。
　以上のように、本実施形態の推定装置は、モデルおよび推定部を備える。モデルは、少なくとも一人のユーザの属性に基づいて分類されたグループごとに、生体情報データに含まれるセンサ値と、計測時刻、および計測位置の相互関係を用いて、欠損が補間された生体情報データを推定するために生成されたものである。推定部は、欠損のある生体情報データをモデルに入力し、欠損が補間された生体情報データを推定する。
　本実施形態によれば、少なくとも一人のユーザに関して計測されたセンサ値を互いに補間し合うことによって、生体に関するデータの欠損を高精度に補間できる。
　（ハードウェア）
　ここで、本発明の各実施形態に係るデータ処理装置の処理を実行するハードウェア構成について、図２８の情報処理装置９０を一例として挙げて説明する。なお、図２８の情報処理装置９０は、各実施形態のデータ処理装置の処理を実行するための構成例であって、本発明の範囲を限定するものではない。
　図２８のように、情報処理装置９０は、プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５、および通信インターフェース９６を備える。図２８においては、インターフェースをＩ／Ｆ（Interface）と略して表記する。プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５、および通信インターフェース９６は、バス９８を介して互いにデータ通信可能に接続される。また、プロセッサ９１、主記憶装置９２、補助記憶装置９３および入出力インターフェース９５は、通信インターフェース９６を介して、インターネットやイントラネットなどのネットワークに接続される。
　プロセッサ９１は、補助記憶装置９３等に格納されたプログラムを主記憶装置９２に展開し、展開されたプログラムを実行する。本実施形態においては、情報処理装置９０にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ９１は、本実施形態に係るデータ処理装置による処理を実行する。
　主記憶装置９２は、プログラムが展開される領域を有する。主記憶装置９２は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリとすればよい。また、ＭＲＡＭ（Magnetoresistive Random Access Memory）などの不揮発性メモリを主記憶装置９２として構成・追加してもよい。
　補助記憶装置９３は、種々のデータを記憶する。補助記憶装置９３は、ハードディスクやフラッシュメモリなどのローカルディスクによって構成される。なお、種々のデータを主記憶装置９２に記憶させる構成とし、補助記憶装置９３を省略することも可能である。
　入出力インターフェース９５は、情報処理装置９０と周辺機器とを接続するためのインターフェースである。通信インターフェース９６は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークを通じて、外部のシステムや装置に接続するためのインターフェースである。入出力インターフェース９５および通信インターフェース９６は、外部機器と接続するインターフェースとして共通化してもよい。
　情報処理装置９０には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器を接続するように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねる構成とすればよい。プロセッサ９１と入力機器との間のデータ通信は、入出力インターフェース９５に仲介させればよい。
　また、情報処理装置９０には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、情報処理装置９０には、表示機器の表示を制御するための表示制御装置（図示しない）が備えられていることが好ましい。表示機器は、入出力インターフェース９５を介して情報処理装置９０に接続すればよい。
　以上が、本発明の各実施形態に係るデータ処理装置を可能とするためのハードウェア構成の一例である。なお、図２８のハードウェア構成は、各実施形態に係るデータ処理装置の演算処理を実行するためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、各実施形態に係るデータ処理装置に関する処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、各実施形態に係るプログラムが記録された記録媒体も本発明の範囲に含まれる。
　記録媒体は、例えば、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光学記録媒体で実現できる。また、記録媒体は、ＵＳＢ（Universal Serial Bus）メモリやＳＤ（Secure Digital）カードなどの半導体記録媒体や、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現してもよい。プロセッサが実行するプログラムが記録媒体に記録されている場合、その記録媒体はプログラム記録媒体に相当する。
　各実施形態のデータ処理装置の構成要素は、任意に組み合わせることができる。また、各実施形態のデータ処理装置の構成要素は、ソフトウェアによって実現してもよいし、回路によって実現してもよい。
　以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１０、２０、３０、４０　　データ処理装置
　１１、２１、４１　　記憶部
　１３、２３、４３、５３　　分類部
　１４、２４、４４　　集計部
　１５、２５、４５、５５　　学習部
　１６、２６　　補間部
　２２、４２　　送受信部
　４６、６６　　推定部
　５０、１００、２００、４００　　モデル生成装置
　６０　　推定装置
　２１０、３１０－１～Ｎ　　ウェアラブルデバイス
　２１１　　センサ
　２１２　　加速度センサ
　２１３　　角速度センサ
　２１５　　信号処理部
　２１７　　データ出力部
　２３０、３３０　　端末装置
　２３１　　送受信部
　２３２　　制御部
　２３３　　位置情報取得部
　２３５　　表示部

Claims (10)

  1. 　少なくとも一人のユーザの属性に基づいて、前記ユーザの生体に関するセンサ値と、前記センサ値の計測時刻および計測位置とを含む少なくとも一つの生体情報データを少なくとも一つのグループに分類する分類手段と、
    　前記グループごとに、前記生体情報データに含まれる前記センサ値と、前記計測時刻、および前記計測位置の相互関係を用いて、欠損が補間された前記生体情報データを推定するためのモデルを生成する学習手段と、を備えるデータ処理装置。
  2. 　欠損のある前記生体情報データを前記モデルに入力し、欠損が補間された前記生体情報データを推定する推定手段を備える請求項１に記載のデータ処理装置。
  3. 　前記分類手段によって分類された前記グループの各々に対応する前記生体情報データを集計し、前記グループごとの前記生体情報データによって構成される生体情報テーブルを生成する集計手段を備え、
    　前記学習手段は、
    　前記生体情報テーブルを構成する前記生体情報データに含まれる前記センサ値と、前記計測時刻、および前記計測位置の相互関係を用いて、前記グループごとに前記モデルを生成する請求項２に記載のデータ処理装置。
  4. 　前記分類手段は、
    　複数のデバイスによって計測された前記センサ値を含む前記生体情報データを少なくとも一つの前記グループに分類し、
    　前記学習手段は、
    　前記グループごとに、前記生体情報データに含まれる前記センサ値と、前記計測時刻、および前記計測位置の相互関係を用いて、欠損が補間された前記生体情報データを推定するためのモデルを生成する請求項２または３に記載のデータ処理装置。
  5. 　前記学習手段は、
    　前記生体情報データに含まれる前記計測時刻および前記計測位置を説明変数とし、前記センサ値を目的変数とする機械学習によって前記モデルを生成する請求項２乃至４のいずれか一項に記載のデータ処理装置。
  6. 　前記属性データは、
    　前記ユーザの履物の種類を含み、
    　前記学習手段は、
    　前記履物の種類を説明変数に含めた機械学習によって前記モデルを生成する請求項５に記載のデータ処理装置。
  7. 　前記学習手段は、
    　前記ユーザを識別するためのユーザ識別子を説明変数に追加し、前記ユーザの生体特性に関する指標である評価値を目的変数とする機械学習によって、前記ユーザの前記評価値を推測する前記モデルを生成し、
    　前記推定手段は、
    　前記ユーザ識別子を前記モデルに入力し、前記ユーザ識別子に対応する前記ユーザに関する前記評価値を推定する請求項５または６に記載のデータ処理装置。
  8. 　請求項１乃至７のいずれか一項に記載のデータ処理装置と、
    　ユーザの生体に関するセンサ値を計測する少なくとも一つのデバイスと、
    　前記デバイスによって計測された前記センサ値に、前記センサ値の計測時刻および計測位置を付与することによって前記生体情報データを生成する端末装置と、を備え、
    　前記端末装置は、
    　前記データ処理装置によって欠損が保管された前記生体情報データを用いるアプリケーションによる処理結果を含むコンテンツを前記端末装置の画面に表示させるシステム。
  9. 　コンピュータが、
    　少なくとも一人のユーザの属性に基づいて、前記ユーザの生体に関するセンサ値と、前記センサ値の計測時刻および計測位置とを含む少なくとも一つの生体情報データを少なくとも一つのグループに分類し、
    　前記グループごとに、前記生体情報データに含まれる前記センサ値と、前記計測時刻、および前記計測位置の相互関係を用いて、前記生体情報データの欠損を補間する補間データを推定するためのモデルを生成するデータ処理方法。
  10. 　少なくとも一人のユーザの属性に基づいて、前記ユーザの生体に関するセンサ値と、前記センサ値の計測時刻および計測位置とを含む少なくとも一つの生体情報データを少なくとも一つのグループに分類する処理と、
    　前記グループごとに、前記生体情報データに含まれる前記センサ値と、前記計測時刻、および前記計測位置の相互関係を用いて、前記生体情報データの欠損を補間する補間データを推定するためのモデルを生成する処理とをコンピュータに実行させるプログラムを記録させた非一過性の記録媒体。
PCT/JP2020/016916 2020-04-17 2020-04-17 データ処理装置、システム、データ処理方法、および記録媒体 WO2021210172A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US17/918,151 US20230139218A1 (en) 2020-04-17 2020-04-16 Data processing device, system, data processing method, and recording medium
JP2022515173A JP7409486B2 (ja) 2020-04-17 2020-04-17 データ処理装置、システム、データ処理方法、およびプログラム
PCT/JP2020/016916 WO2021210172A1 (ja) 2020-04-17 2020-04-17 データ処理装置、システム、データ処理方法、および記録媒体
US18/543,057 US20240127964A1 (en) 2020-04-17 2023-12-18 Data processing device, system, data processing method, and recording medium
US18/543,082 US20240127965A1 (en) 2020-04-17 2023-12-18 Data processing device, system, data processing method, and recording medium
US18/542,944 US20240127963A1 (en) 2020-04-17 2023-12-18 Data processing device, system, data processing method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/016916 WO2021210172A1 (ja) 2020-04-17 2020-04-17 データ処理装置、システム、データ処理方法、および記録媒体

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US17/918,151 A-371-Of-International US20230139218A1 (en) 2020-04-17 2020-04-16 Data processing device, system, data processing method, and recording medium
US18/543,082 Continuation US20240127965A1 (en) 2020-04-17 2023-12-18 Data processing device, system, data processing method, and recording medium
US18/543,057 Continuation US20240127964A1 (en) 2020-04-17 2023-12-18 Data processing device, system, data processing method, and recording medium
US18/542,944 Continuation US20240127963A1 (en) 2020-04-17 2023-12-18 Data processing device, system, data processing method, and recording medium

Publications (1)

Publication Number Publication Date
WO2021210172A1 true WO2021210172A1 (ja) 2021-10-21

Family

ID=78085287

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/016916 WO2021210172A1 (ja) 2020-04-17 2020-04-17 データ処理装置、システム、データ処理方法、および記録媒体

Country Status (3)

Country Link
US (4) US20230139218A1 (ja)
JP (1) JP7409486B2 (ja)
WO (1) WO2021210172A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023119562A1 (ja) * 2021-12-23 2023-06-29 日本電気株式会社 学習装置、ストレス推定装置、学習方法、ストレス推定方法及び記憶媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11715043B2 (en) * 2019-03-01 2023-08-01 Apple Inc. Semantics preservation for machine learning models deployed as dependent on other machine learning models

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006087746A (ja) * 2004-09-24 2006-04-06 Keisuke Kuga 降圧剤の評価方法及びその装置
JP2014164383A (ja) * 2013-02-22 2014-09-08 Nippon Telegr & Teleph Corp <Ntt> センサデータ統合装置、センサデータ統合方法及びプログラム
JP2016024655A (ja) * 2014-07-22 2016-02-08 Kddi株式会社 データ解析装置及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5135197B2 (ja) 2008-12-16 2013-01-30 オムロンヘルスケア株式会社 生体指標管理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006087746A (ja) * 2004-09-24 2006-04-06 Keisuke Kuga 降圧剤の評価方法及びその装置
JP2014164383A (ja) * 2013-02-22 2014-09-08 Nippon Telegr & Teleph Corp <Ntt> センサデータ統合装置、センサデータ統合方法及びプログラム
JP2016024655A (ja) * 2014-07-22 2016-02-08 Kddi株式会社 データ解析装置及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023119562A1 (ja) * 2021-12-23 2023-06-29 日本電気株式会社 学習装置、ストレス推定装置、学習方法、ストレス推定方法及び記憶媒体

Also Published As

Publication number Publication date
US20240127965A1 (en) 2024-04-18
US20230139218A1 (en) 2023-05-04
JPWO2021210172A1 (ja) 2021-10-21
US20240127964A1 (en) 2024-04-18
JP7409486B2 (ja) 2024-01-09
US20240127963A1 (en) 2024-04-18

Similar Documents

Publication Publication Date Title
Kidziński et al. Automatic real-time gait event detection in children using deep neural networks
CN107423549B (zh) 健康跟踪设备
US20240127964A1 (en) Data processing device, system, data processing method, and recording medium
US9176819B2 (en) Detecting sensor malfunctions using compression analysis of binary decision diagrams
US8812943B2 (en) Detecting data corruption in medical binary decision diagrams using hashing techniques
JP6889841B2 (ja) 学習装置、学習結果利用装置、学習方法及び学習プログラム
US8909592B2 (en) Combining medical binary decision diagrams to determine data correlations
US8781995B2 (en) Range queries in binary decision diagrams
US20130080114A1 (en) Partitioning Medical Binary Decision Diagrams for Analysis Optimization
Kashyap et al. Objective assessment of cerebellar ataxia: A comprehensive and refined approach
US20180353090A1 (en) Adaptive Heart Rate Estimation
US8719214B2 (en) Combining medical binary decision diagrams for analysis optimization
Bois et al. A topological data analysis-based method for gait signals with an application to the study of multiple sclerosis
Karmakar et al. Understanding ageing effects using complexity analysis of foot–ground clearance during walking
Zhou et al. Population analysis of mortality risk: Predictive models from passive monitors using motion sensors for 100,000 UK Biobank participants
US8838523B2 (en) Compression threshold analysis of binary decision diagrams
Hassemer et al. Recognition of Similar Habits Using Smartwatches and Supervised Learning
US20200155035A1 (en) System and method for self-learning and reference tuning activity monitor
US9075908B2 (en) Partitioning medical binary decision diagrams for size optimization
WO2022269696A1 (ja) 学習装置、推定システム、学習方法、および記録媒体
US8620854B2 (en) Annotating medical binary decision diagrams with health state information
WO2024071027A1 (ja) 脳情報の分析によるレコメンデーション
Küderle et al. Gaitmap–An Open Ecosystem for IMU-based Human Gait Analysis and Algorithm Benchmarking
WO2023067694A1 (ja) データ生成装置、学習システム、推定装置、データ生成方法、および記録媒体
Mitra et al. Automatic Detection of Situational Context Using AI from Minimal Sensor Modality

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20930748

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022515173

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20930748

Country of ref document: EP

Kind code of ref document: A1