WO2023042868A1 - 情報処理装置、電子機器、情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理装置、電子機器、情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2023042868A1
WO2023042868A1 PCT/JP2022/034480 JP2022034480W WO2023042868A1 WO 2023042868 A1 WO2023042868 A1 WO 2023042868A1 JP 2022034480 W JP2022034480 W JP 2022034480W WO 2023042868 A1 WO2023042868 A1 WO 2023042868A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
reaction force
floor reaction
sensor data
movement
Prior art date
Application number
PCT/JP2022/034480
Other languages
English (en)
French (fr)
Inventor
マルティン クリンキグト
秀行 金原
尚樹 西田
崇 長友
エドワード 村上
貴志 鈴木
雅之 岸
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to JP2023548494A priority Critical patent/JPWO2023042868A1/ja
Publication of WO2023042868A1 publication Critical patent/WO2023042868A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb

Definitions

  • the present disclosure relates to an information processing device, an electronic device, an information processing system, an information processing method, and a program.
  • Patent Literature 1 discloses a floor reaction force meter that measures floor reaction force data indicating changes in floor reaction force during walking.
  • Patent Literature 2 discloses a mobile floor reaction force measuring device attached to a subject's foot.
  • An information processing apparatus includes a control unit that acquires an estimated value of floor reaction force applied to a user based on sensor data indicating movement of a user's body part and a learning model, The learning model is learned to output an estimated value of the floor reaction force when the sensor data is input.
  • An electronic device includes:
  • the information processing apparatus includes a notification unit that notifies the estimated value of the floor reaction force acquired by the information processing apparatus.
  • An information processing system includes: An information processing device that acquires an estimated value of floor reaction force applied to the user based on sensor data indicating movement of the user's body part and the learning model, The learning model is learned to output an estimated value of the floor reaction force when the sensor data is input.
  • An information processing method includes Acquiring an estimated value of the floor reaction force applied to the user from the learning model and sensor data indicating the movement of the user's body parts;
  • the learning model is learned to output an estimated value of the floor reaction force when the sensor data is input.
  • a program is to the computer, Acquiring an estimated value of the floor reaction force applied to the user from the sensor data indicating the movement of the user's body part and the learning model;
  • the learning model is learned to output an estimated value of the floor reaction force when the sensor data is input.
  • FIG. 1 is a diagram showing a schematic configuration of an information processing system according to an embodiment of the present disclosure
  • FIG. FIG. 2 is a diagram for explaining a local coordinate system and a global coordinate system
  • FIG. It is a figure for demonstrating the state of a user's walking.
  • 2 is a functional block diagram showing the configuration of the information processing system shown in FIG. 1
  • FIG. 4 is a graph showing estimated values of normalized floor reaction force
  • 2 is a functional block diagram showing the configuration of a transformer
  • FIG. FIG. 4 is a functional block diagram showing the configuration of "Multi-Head Attention"
  • It is a functional block diagram which shows the structure of "Scaled Dot-Product Attention".
  • It is a figure which shows an example of the combination of sensor data. It is a graph of evaluation results.
  • FIG. 10 shows a subject; 4 is a graph of an example of measured values and estimated values of a subject's floor reaction force; 4 is a graph of an example of measured values and estimated values of a subject's floor reaction force; 4 is a graph of an example of measured values and estimated values of a subject's floor reaction force; 4 is a graph of an example of measured values and estimated values of a subject's floor reaction force; 4 is a graph of an example of measured values and estimated values of a subject's floor reaction force; 4 is a graph of an example of measured values and estimated values of a subject's floor reaction force; 4 is a graph of an example of measured values and estimated values of a subject's floor reaction force; 4 is a graph of an example of measured values and estimated values of a subject's floor reaction force; 4 is a graph of an example of measured values and estimated values of a subject's floor reaction force; 4 is a graph of an example of measured values and estimated values of a subject's floor reaction force; 4 is a graph of
  • FIG. 10 is a graph showing an example of measured values and estimated values of floor reaction force of subjects with high center-of-gravity movement evaluations;
  • FIG. 10 is a graph showing an example of measured values and estimated values of floor reaction force of subjects with high center-of-gravity movement evaluations;
  • FIG. 10 is a graph showing an example of measured values and estimated values of floor reaction force of subjects with high center-of-gravity movement evaluations;
  • FIG. 10 is a graph showing an example of measured values and estimated values of floor reaction force of subjects with high center-of-gravity movement evaluations;
  • FIG. 10 is a graph showing an example of measured values and estimated values of floor reaction force of a subject with a low center-of-gravity movement evaluation;
  • FIG. 10 is a graph showing an example of measured values and estimated values of floor reaction force of a subject with a low center-of-gravity movement evaluation
  • FIG. 10 is a graph showing an example of measured values and estimated values of floor reaction force of a subject with a low center-of-gravity movement evaluation
  • FIG. 10 is a graph showing an example of measured values and estimated values of floor reaction force of a subject with a low center-of-gravity movement evaluation
  • FIG. 5 is a graph of an example of estimated values of floor reaction force when using different sensor data
  • 29 is a graph showing the difference between the measured value and the estimated value of the floor reaction force shown in FIG.
  • 5 is a graph of an example of estimated values of floor reaction force when using different sensor data
  • 31 is a graph showing the difference between the measured value and the estimated value of the floor reaction force shown in FIG. 30
  • 5 is a graph of an example of estimated values of floor reaction force when using different sensor data
  • 33 is a graph showing the difference between the measured value and the estimated value of the floor reaction force shown in FIG. 32
  • 5 is a graph of an example of estimated values of floor reaction force when using different sensor data
  • 35 is a graph showing the difference between the measured value and the estimated value of the floor reaction force shown in FIG. 34
  • 5 is a graph of an example of estimated values of floor reaction force when using different sensor data
  • 37 is a graph showing the difference between the measured value and the estimated value of the floor reaction force shown in FIG.
  • An information processing system 1 as shown in FIG. 1 can estimate a floor reaction force applied to a walking user.
  • a user may walk anywhere.
  • the surface on which the user walks is also referred to as the "walking surface".
  • the walking surface is, for example, the ground, road surface, floor surface, or the like.
  • the information processing system 1 includes a sensor device 10A, a sensor device 10B, a sensor device 10C, sensor devices 10D-1 and 10D-2, sensor devices 10E-1 and 10E-2, and sensor devices 10F-1 and 10F. - 2 and the electronic device 20 . However, the information processing system 1 does not have to include all of the sensor devices 10A, 10B, 10C, 10D-1, 10D-2, 10E-1, 10E-2, 10F-1 and 10F-1. The information processing system 1 may include at least one of the sensor devices 10A, 10B, 10C, 10D-1, 10D-2, 10E-1, 10E-2, 10F-1 and 10F-1.
  • the sensor devices 10D-1 and 10D-2 are not particularly distinguished from each other, they are also collectively referred to as the "sensor device 10D.”
  • the sensor devices 10E-1 and 10E-2 are not particularly distinguished from each other, they are also collectively described as the “sensor device 10E.”
  • the sensor devices 10F-1 and 10F-2 are not particularly distinguished from each other, they are also collectively described as the “sensor device 10F.”
  • the sensor devices 10A to 10D are not particularly distinguished from each other, they are also collectively described as the “sensor device 10”.
  • the sensor device 10 and the electronic device 20 can communicate via a communication line.
  • the communication line includes at least one of wired and wireless.
  • the local coordinate system is a coordinate system based on the position of the sensor device 10, as shown in FIG. In FIG. 2, as an example of the position of the sensor device 10, the position of the sensor device 10A is indicated by a dashed line.
  • the local coordinate system is composed of, for example, x-, y-, and z-axes.
  • the x-axis, y-axis, and z-axis are orthogonal to each other.
  • the x-axis is parallel to the front-rear direction as seen from the sensor device 10 .
  • the y-axis is parallel to the horizontal direction as seen from the sensor device 10 .
  • the z-axis is parallel to the vertical direction as seen from the sensor device 10 .
  • the positive and negative directions of the x-axis, y-axis, and z-axis may be set according to the configuration of the information processing system 1 and the like.
  • the global coordinate system is a coordinate system based on the position in the space where the user walks, as shown in FIG.
  • the global coordinate system is composed of, for example, X, Y and Z axes.
  • the X-axis, Y-axis, and Z-axis are orthogonal to each other.
  • the X-axis is parallel to the front-rear direction as viewed by the user.
  • the Y-axis is parallel to the vertical direction viewed from the user.
  • the Z-axis is parallel to the left-right direction viewed from the user.
  • the positive and negative directions of the X-axis, Y-axis, and Z-axis may be set according to the configuration of the information processing system 1 or the like.
  • the sagittal plane is a plane that symmetrically divides the user's body or a plane parallel to the plane that symmetrically divides the user's body.
  • the frontal plane is the plane that divides the user's body into ventral and dorsal sides or is parallel to the plane that divides the user's body into ventral and dorsal sides.
  • a horizontal plane is a plane that divides the user's body into upper and lower parts or a plane that is parallel to a plane that divides the user's body into upper and lower parts.
  • the sagittal, frontal and horizontal planes are perpendicular to each other.
  • the sensor device 10 is attached to the user's body part.
  • the sensor device 10 detects sensor data indicating the movement of the body part on which the sensor device 10 is worn among the user's body parts.
  • the sensor data are data in the local coordinate system.
  • the sensor device 10A is worn on the user's head.
  • the sensor device 10A is worn on the user's ear.
  • the sensor device 10A may be a wearable device.
  • the sensor device 10A may be an earphone or may be included in an earphone.
  • the sensor device 10A may be a device that can be retrofitted to existing glasses, earphones, or the like.
  • the sensor device 10A may be worn on the user's head by any method.
  • the sensor device 10A may be attached to the user's head by being attached to a hair accessory such as a hair band, a hairpin, an earring, a helmet, a hat, a hearing aid, false teeth, an implant, or the like.
  • the x-axis of the local coordinate system based on the position of the sensor device 10A is parallel to the front-rear direction of the head viewed from the user, and the y-axis of the local coordinate system is aligned with the head viewed from the user. It may be mounted on the user's head so that it is parallel to the horizontal direction and the z-axis of the local coordinate system is parallel to the vertical direction of the head as seen from the user.
  • the x-axis, y-axis, and z-axis of the local coordinate system based on the position of the sensor device 10A do not necessarily correspond to the front-rear direction, left-right direction, and up-down direction of the head as seen from the user.
  • the orientation of the sensor device 10A relative to the user's head may be initialized or known as appropriate.
  • the relative orientation is initialized or known using information on the shape of a jig for attaching the sensor device 10A to the user's head or image information generated by imaging the user's head on which the sensor device 10A is mounted. It may be done by
  • the sensor device 10A detects sensor data indicating the movement of the user's head.
  • the sensor data detected by the sensor device 10A includes, for example, the velocity of the user's head, the acceleration of the user's head, the angle of the user's head, the angular velocity of the user's head, the temperature of the user's head, and the user's head including at least one data of the geomagnetic field at the location of the part.
  • the sensor device 10B is worn on the user's forearm.
  • the sensor device 10B is worn on the user's wrist.
  • the sensor device 10B may be worn on the user's left forearm or may be worn on the user's right forearm.
  • the sensor device 10B may be a wristwatch-type wearable device.
  • the sensor device 10B may be worn on the user's forearm by any method.
  • the sensor device 10B may be worn on the user's forearm by being attached to a band, bracelet, misanga, glove, ring, false nail, artificial hand, or the like.
  • the bracelet may be worn by the user as a decoration, or may be worn with a locker key or the like on the wrist.
  • the x-axis of the local coordinate system based on the position of the sensor device 10B is parallel to the front-rear direction of the wrist as seen from the user, and the y-axis of the local coordinate system is the left-right direction of the wrist as seen from the user. and the z-axis of the local coordinate system is parallel to the direction of rotation of the wrist as seen by the user.
  • the rotation direction of the wrist is, for example, the direction in which the wrist twists and rotates.
  • the sensor device 10B detects sensor data indicating the movement of the user's forearm. For example, the sensor device 10B detects sensor data indicating wrist movement.
  • the sensor data detected by the sensor device 10B includes, for example, the velocity of the user's forearm, the acceleration of the user's forearm, the angle of the user's forearm, the angular velocity of the user's forearm, the temperature of the user's forearm, and the user's forearm. including at least one data of the geomagnetic field at the location of the part.
  • the sensor device 10C is worn on the waist of the user.
  • the sensor device 10C may be a wearable device.
  • the sensor device 10C may be attached to the waist of the user with a belt, clip, or the like.
  • the x-axis of the local coordinate system based on the position of the sensor device 10C matches the front-rear direction of the waist as seen from the user, and the y-axis of the local coordinate system runs in the left-right direction of the waist as seen from the user. It may be worn on the user's waist such that it matches and the z-axis of the local coordinate system matches the direction of rotation of the waist as seen by the user.
  • the rotation direction of the waist is, for example, the direction in which the waist twists and rotates.
  • the sensor device 10C detects sensor data indicating the movement of the user's lower back.
  • the sensor data detected by the sensor device 10C includes, for example, the velocity of the user's waist, the acceleration of the user's waist, the angle of the user's waist, the angular velocity of the user's waist, the temperature of the user's waist, and the geomagnetism at the position of the user's waist. Contains at least some data.
  • the sensor device 10D-1 is worn on the user's left thigh.
  • the sensor device 10D-2 is worn on the user's right thigh.
  • Sensor device 10D may be a wearable device.
  • Sensor device 10D may be worn on the user's thigh by any method.
  • the sensor device 10D may be attached to the user's thigh by a belt, clip, or the like.
  • the sensor device 10D may be worn on the thigh by being placed in a pocket of pants worn by the user near the thigh.
  • the sensor device 10D may be worn on the user's thigh by being installed on pants, underwear, shorts, a supporter, an artificial leg, an implant, or the like.
  • the x-axis of the local coordinate system based on the position of the sensor device 10D is parallel to the front-rear direction of the thigh viewed from the user, and the y-axis of the local coordinate system is aligned with the thigh viewed from the user. It may be worn on the user's thigh so that it is parallel to the left-right direction of the body and the z-axis of the local coordinate system is parallel to the rotation direction of the thigh viewed from the user.
  • the rotation direction of the thigh is, for example, the direction in which the thigh is twisted and rotated.
  • the sensor device 10D-1 detects sensor data indicating the movement of the user's left thigh.
  • Sensor device 10D-2 detects sensor data indicative of movement of the user's right thigh.
  • the sensor data detected by the sensor device 10D includes, for example, the velocity of the user's thigh, the acceleration of the user's thigh, the angle of the user's thigh, the angular velocity of the user's thigh, and the Includes temperature and/or geomagnetism data at the user's thigh.
  • the sensor device 10E-1 is worn on the user's left ankle.
  • the sensor device 10E-2 is worn on the user's right ankle.
  • the sensor device 10E may be a wearable device.
  • Sensor device 10E may be worn on the user's ankle by any method.
  • the sensor device 10E may be attached to the user's ankle by a belt, clip, or the like.
  • the sensor device 10E may be worn on the user's ankle by being placed on an anklet, band, misanga, tattoo sticker, supporter, cast, sock, artificial leg or implant, or the like.
  • the x-axis of the local coordinate system based on the position of the sensor device 10E coincides with the front-rear direction of the ankle as seen from the user, and the y-axis of the local coordinate system runs with the left-right direction of the ankle as seen from the user. It may be worn on the user's ankle such that it coincides and the z-axis of the local coordinate system coincides with the direction of rotation of the ankle as seen by the user.
  • the rotation direction of the ankle is, for example, the direction in which the ankle twists and rotates.
  • the sensor device 10E-1 detects sensor data indicating movement of the user's left ankle.
  • the sensor device 10E-2 detects sensor data indicative of movement of the user's right ankle.
  • the sensor data detected by the sensor device 10E includes, for example, the velocity of the user's ankle, the acceleration of the user's ankle, the angle of the user's ankle, the angular velocity of the user's ankle, the temperature of the user's ankle, and the geomagnetism at the position of the user's ankle. Contains at least some data.
  • the sensor device 10F-1 is worn on the user's left foot.
  • the sensor device 10F-2 is worn on the user's right foot.
  • the foot is the portion from the user's ankle to the toe.
  • the sensor device 10F may be a shoe last wearable device.
  • the sensor device 10F may be provided on the shoe.
  • the sensor device 10F may be worn on the user's foot by any method.
  • the sensor device 10F may be attached to the user's foot by being attached to an anklet, band, misanga, false nail, tattoo sticker, supporter, cast, sock, insole, artificial leg, ring, implant, or the like.
  • the x-axis of the local coordinate system based on the position of the sensor device 10F is parallel to the front-rear direction of the foot viewed from the user, and the y-axis of the local coordinate system is aligned with the foot viewed from the user. It may be worn on the foot of the user so that it is parallel to the left-right direction and the z-axis of the local coordinate system is parallel to the up-down direction of the foot viewed from the user.
  • the sensor device 10F-1 detects sensor data indicating the movement of the user's left foot.
  • the sensor device 10F-2 detects sensor data indicative of movement of the user's right ankle.
  • the sensor data detected by the sensor device 10F includes, for example, the velocity of the user's foot, the acceleration of the user's foot, the angle of the user's foot, the angular velocity of the user's foot, the temperature of the user's foot, and the user's foot. including at least one data of the geomagnetic field at the location of the part.
  • the electronic device 20 is carried by, for example, a walking user.
  • the electronic device 20 is, for example, a mobile device such as a mobile phone, a smart phone, or a tablet.
  • the electronic device 20 functions as an information processing device, and acquires an estimated value of the floor reaction force applied to the user based on the sensor data detected by the sensor device 10.
  • the floor reaction force will be described together with how the user walks, with reference to FIG. 3 .
  • FIG. 3 shows how the user walks, from when the right foot lands on the walking surface to when it lands again.
  • the user's right foot is marked with the letter "R”.
  • the left leg of the user is marked with the letter "L”.
  • the floor reaction force is, for example, the reaction force generated from the contact portion between the user's foot and the walking surface.
  • the arrows indicate the ground reaction force applied to the user's right foot.
  • first foot one of the user's two feet
  • second foot The other foot of the user's two feet
  • the gait cycle and the like will be described below, focusing on the first leg.
  • the first foot is the right foot.
  • the gait cycle is the period from when the first foot lands on the walking surface to when it lands on the walking surface again.
  • the starting point and ending point of the walking cycle are the landing timing of the first foot.
  • the landing timing is the timing at which the foot lands on the walking surface.
  • the gait cycle is the period from when the user's right foot lands on the walking surface to when it lands again.
  • a gait cycle includes a stance phase and a swing phase.
  • the stance phase is the period from when the first foot touches the ground to when it leaves the walking surface.
  • the starting point of the stance phase is the landing timing of the first foot.
  • the end point of the stance phase is the timing at which the first foot kicks off the walking surface.
  • the stance phase is a period during which the first foot is in contact with the walking surface.
  • the ground reaction force is applied to the first foot because the first foot is in contact with the walking surface.
  • the stance phase is the time from when the user's right foot touches the ground to when it leaves the ground.
  • the stance phase includes loading response, midstance, terminal stance, and pre-swing. During these periods, the floor reaction force changes variously due to changes in the contact portion between the first foot and the walking surface. If the floor reaction force can be estimated from various changes in the floor reaction force, these periods can be identified by the estimated floor reaction force.
  • the load response period is the period during which the heel of the first foot is stepped on the walking surface. In the load response period, stepping on the walking surface from the heel of the first foot increases the floor reaction force.
  • the middle stage of stance the user's body moves upward on the walking plane.
  • the user's center of gravity moves most upward on the walking plane in the middle stage of stance.
  • the late stance phase the user's body moves forward.
  • the swing period is the period from when the first foot separates from the walking surface until it lands on the walking surface. In FIG. 3, it is the period from when the user's right foot part leaves the walking surface until it lands on the walking surface. In the swing phase, since the first foot is away from the walking surface, no floor reaction force is applied to the first foot.
  • the sensor device 10 includes a sensor section 12. As shown in FIG. 4, the sensor device 10 may further include a communication section 11 , a notification section 13 , a storage section 15 and a control section 16 . The sensor devices 10C-10F do not have to include the notification unit 13. FIG.
  • the communication unit 11 includes at least one communication module capable of communicating with the electronic device 20 via a communication line.
  • the communication module is a communication module conforming to the communication line standard.
  • the communication line standard is, for example, a short-range wireless communication standard including Bluetooth (registered trademark), infrared rays, and NFC (Near Field Communication).
  • the sensor unit 12 is configured including arbitrary sensors corresponding to sensor data to be detected by the sensor device 10 .
  • the sensor unit 12 includes, for example, a 3-axis motion sensor, a 3-axis acceleration sensor, a 3-axis velocity sensor, a 3-axis gyro sensor, a 3-axis geomagnetic sensor, a temperature sensor, and an inertial measurement unit (IMU). and at least one of a camera and the like.
  • the sensor unit 12 includes a camera, the movement of the user's body part can be detected by analyzing the image generated by the camera.
  • the data detected by each of the acceleration sensor and the geomagnetic sensor may be used to calculate the initial angle of the body part detected by the sensor device 10. Further, data detected by each of the acceleration sensor and the geomagnetic sensor may be used to correct angle data detected by the sensor device 10 .
  • the angle of the body part detected by the sensor device 10 may be calculated by time-integrating the angular velocity detected by the gyro sensor.
  • the notification unit 13 notifies information.
  • the notification unit 13 includes an output unit 14 .
  • the notification unit 13 is not limited to the output unit 14 .
  • the notification unit 13 may include any component capable of outputting information.
  • the output unit 14 can output data.
  • the output unit 14 includes at least one output interface capable of outputting data.
  • the output interface is, for example, a display or speaker.
  • the display is, for example, an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display.
  • the output unit 14 may include a speaker when included in the sensor device 10A. Moreover, the output unit 14 may include a display when included in the sensor device 10B.
  • the storage unit 15 includes at least one semiconductor memory, at least one magnetic memory, at least one optical memory, or a combination of at least two of them.
  • the semiconductor memory is, for example, RAM (Random Access Memory) or ROM (Read Only Memory).
  • the RAM is, for example, SRAM (Static Random Access Memory) or DRAM (Dynamic Random Access Memory).
  • the ROM is, for example, EEPROM (Electrically Erasable Programmable Read Only Memory) or the like.
  • the storage unit 15 may function as a main storage device, an auxiliary storage device, or a cache memory.
  • the storage unit 15 stores data used for the operation of the sensor device 10 and data obtained by the operation of the sensor device 10 .
  • the storage unit 15 stores system programs, application programs, embedded software, and the like.
  • the control unit 16 includes at least one processor, at least one dedicated circuit, or a combination thereof.
  • the processor is a general-purpose processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), or a dedicated processor specialized for specific processing.
  • the dedicated circuit is, for example, FPGA (Field-Programmable Gate Array) or ASIC (Application Specific Integrated Circuit).
  • the control unit 16 executes processing related to the operation of the sensor device 10 while controlling each unit of the sensor device 10 .
  • the control unit 16 receives a signal instructing the start of data detection from the electronic device 20 by the communication unit 11 . Upon receiving this signal, the control section 16 starts data detection. For example, the control unit 16 acquires data detected by the sensor unit 12 from the sensor unit 12 . The control unit 16 transmits the acquired data as sensor data to the electronic device 20 through the communication unit 11 . A signal instructing the start of data detection is transmitted from the electronic device 20 to the plurality of sensor devices 10 as a broadcast signal. By transmitting a signal instructing the start of data detection as a broadcast signal to the plurality of sensor devices 10, the plurality of sensor devices 10 can simultaneously start data detection.
  • the control unit 16 acquires data from the sensor unit 12 at preset time intervals, and transmits the acquired data as sensor data through the communication unit 11 .
  • This time interval may be set based on a typical user's walking speed or the like. This time interval may be the same for each of the plurality of sensor devices 10 . Since the time intervals are the same for the plurality of sensor devices 10, the timings at which the plurality of sensor devices 10 detect data can be synchronized.
  • the electronic device 20 includes a communication section 21, an input section 22, a notification section 23, a storage section 26, and a control section 27.
  • the communication unit 21 includes at least one communication module capable of communicating with the sensor device 10 via a communication line.
  • the communication module is at least one communication module compatible with the communication line standard.
  • the communication line standard is, for example, a short-range wireless communication standard including Bluetooth (registered trademark), infrared rays, NFC, and the like.
  • the communication unit 21 may further include at least one communication module connectable to the network 2 as shown in FIG. 45 which will be described later.
  • the communication module is, for example, a communication module compatible with mobile communication standards such as LTE (Long Term Evolution), 4G (4th Generation), or 5G (5th Generation).
  • the input unit 22 can accept input from the user.
  • the input unit 22 includes at least one input interface capable of accepting input from the user.
  • the input interface is, for example, a physical key, a capacitive key, a pointing device, a touch screen provided integrally with the display, or a microphone.
  • the notification unit 23 notifies information.
  • the notification unit 23 includes an output unit 24 and a vibration unit 25 .
  • the notification unit 23 is not limited to the output unit 24 and the vibration unit 25 .
  • the notification unit 23 may include any component capable of outputting information.
  • the output unit 24 and the vibration unit 25 may be mounted on the electronic device 20, or may be arranged near any one of the sensor devices 10B to 10F.
  • the output unit 24 can output data.
  • the output unit 24 includes at least one output interface capable of outputting data.
  • the output interface is, for example, a display or speaker.
  • the display is, for example, an LCD or an organic EL display.
  • the vibrating section 25 can vibrate the electronic device 20 .
  • the vibrating section 25 is configured including a vibrating element.
  • the vibrating element is, for example, a piezoelectric element or the like.
  • the storage unit 26 includes at least one semiconductor memory, at least one magnetic memory, at least one optical memory, or a combination of at least two of them.
  • a semiconductor memory is, for example, a RAM or a ROM.
  • RAM is, for example, SRAM or DRAM.
  • ROM is, for example, EEPROM or the like.
  • the storage unit 26 may function as a main storage device, an auxiliary storage device, or a cache memory.
  • the storage unit 26 stores data used for the operation of the electronic device 20 and data obtained by the operation of the electronic device 20 .
  • the storage unit 26 stores system programs, application programs, embedded software, and the like.
  • the storage unit 26 stores data of the transformer 30 and data used in the transformer 30 as shown in FIG. 6 which will be described later.
  • the control unit 27 includes at least one processor, at least one dedicated circuit, or a combination thereof.
  • a processor may be a general-purpose processor such as a CPU or GPU, or a dedicated processor specialized for a particular process.
  • the dedicated circuit is, for example, FPGA or ASIC.
  • the control unit 27 executes processing related to the operation of the electronic device 20 while controlling each unit of the electronic device 20 .
  • the control unit 27 may execute processing executed by the transformer 30 as shown in FIG. 6 which will be described later.
  • the control unit 27 receives an input instructing execution of the floor reaction force estimation process through the input unit 22 .
  • This input is an input that causes the electronic device 20 to execute the floor reaction force estimation process.
  • This input is input from the input unit 22 by a user wearing the sensor device 10, for example.
  • the user inputs this input from the input unit 22, for example, before starting walking.
  • the control unit 27 may receive, through the input unit 22, at least one of an input indicating the user's weight and an input indicating the user's height, along with an input instructing execution of the floor reaction force estimation process.
  • the control unit 27 causes the storage unit 26 to store the received weight information and height information of the user. good.
  • the control unit 27 transmits a signal instructing the start of data detection as a broadcast signal to the plurality of sensor devices 10 by the communication unit 21 . . After the signal instructing the start of data detection is transmitted to the plurality of sensor devices 10 , sensor data is transmitted from at least one sensor device 10 to the electronic device 20 .
  • the control unit 27 receives sensor data from at least one sensor device 10 via the communication unit 21 .
  • the control unit 27 acquires sensor data from the sensor device 10 by receiving the sensor data from the sensor device 10 .
  • the control unit 27 acquires the estimated value of the floor reaction force acting on the user from the sensor data and the learning model.
  • the control unit 27 may acquire the sensor data in the global coordinate system by executing coordinate transformation on the sensor data in the local coordinate system acquired from the sensor device 10 .
  • the learning model is machine-learned so that, for example, when sensor data is input, an estimated value of the floor reaction force is output.
  • the control unit 27 uses the transformer ( Transformer). Transformers can process time series data. However, learning models are not limited to transformers. The control unit 27 may use a learning model generated by machine learning based on any machine learning algorithm. The configuration of the transformer will be described later.
  • the control unit 27 acquires an estimated value of the normalized floor reaction force as shown in FIG. 5, for example, from the sensor data and the transformer.
  • the normalized floor reaction force is the normalized floor reaction force applied to the user.
  • the normalized ground reaction force is normalized by dividing the ground reaction force exerted on the user by the user's weight.
  • the normalized floor reaction force is obtained by adding the gravitational acceleration of 9.80 [m/s 2 ] and the motion acceleration of the user.
  • the transformer can be trained to output a normalized ground reaction force estimate when sensor data is input.
  • FIG. 5 shows a graph of the estimated value of the normalized floor reaction force.
  • the horizontal axis in FIG. 5 indicates time [s].
  • the vertical axis in FIG. 5 indicates the normalized floor reaction force [N/kg].
  • FIG. 5 also shows the gravitational acceleration along with the estimated normalized ground reaction force.
  • the normalized floor reaction force LY is the normalized floor reaction force along the Y-axis of the global coordinate system among the normalized floor reaction forces of the user's left foot.
  • the normalized floor reaction force RY is the normalized floor reaction force along the Y-axis of the global coordinate system among the normalized floor reaction forces of the user's right foot.
  • the normalized floor reaction force SY is obtained by adding the normalized floor reaction force LY and the normalized floor reaction force RY.
  • the positive direction of the normalized floor reaction force along the Y-axis is from top to bottom as seen from the user.
  • the control unit 27 may calculate the calculated value of the floor reaction force by multiplying the estimated value of the normalized floor reaction force by the weight of the user.
  • the estimated value of the normalized floor reaction force and the calculated value of the floor reaction force calculated from the estimated value of the normalized floor reaction force are not particularly distinguished, they are collectively referred to as "floor reaction It is also described as "force estimate”.
  • the control unit 27 may cause the notification unit 23 to notify the estimated value of the floor reaction force.
  • the control unit 27 may cause the display of the output unit 24 to display information indicating the estimated value of the floor reaction force as shown in FIG.
  • the control unit 27 may cause the speaker of the output unit 24 to output the information indicating the estimated value of the floor reaction force as voice.
  • the control unit 27 may cause the sensor device 10 to notify the estimated value of the floor reaction force.
  • the control unit 27 may acquire arbitrary information regarding the walking of the user based on the estimated value of the floor reaction force, and may determine an evaluation of the walking of the user.
  • Transformer 30 shown in FIG. 6 outputs time-series data of estimated values of normalized floor reaction force acting on the user's right or left foot when a plurality of time-series sensor data are input. You can learn to do it.
  • the transformer 30 may learn to output time-series data of normalized ground reaction force estimates for all of the X, Y, and Z axes, Learning may be performed so as to output time-series data of estimated values of one or more normalized floor reaction forces.
  • the time range and time interval of the sensor data along the time series input to the transformer 30 may be set according to desired estimation accuracy and the like.
  • the transformer 30 includes an encoder 40 and a decoder 50.
  • the encoder 40 includes a functional section 41 , a functional section 42 and N stages of layers 43 .
  • Layer 43 includes functional section 44 , functional section 45 , functional section 46 , and functional section 47 .
  • the decoder 50 includes a functional section 51 , a functional section 52 , N stages of layers 53 , a functional section 60 , and a functional section 61 .
  • Layer 53 includes functional portion 54 , functional portion 55 , functional portion 56 , functional portion 57 , functional portion 58 , and functional portion 59 .
  • the number of stages of the layers 43 included in the encoder 40 and the number of stages of the layers 53 included in the decoder 50 are also N stages.
  • the functional unit 41 is also described as "Input Embedding".
  • the functional unit 41 receives a plurality of time-series arrays of sensor data. For example, if the sensor data at time ti (0 ⁇ i ⁇ n) is described as “D ti ”, the array of sensor data input to the function unit 41 is expressed as (D t0 , D t1 , . . . , D tn ). be done. An array in which multiple types of sensor data are combined may be input to the function unit 41 .
  • the array of sensor data input to the function unit 41 is (Da t0 , Da t1 , . . . , Da tn , Db t0 , Db t1 , .
  • the functional unit 41 converts each element of the array of input sensor data into a multidimensional vector to generate a distributed vector.
  • the number of dimensions of the multidimensional vector may be preset.
  • the functional unit 42 is also described as "Positional Encoding".
  • the functional unit 42 gives position information to the distributed vector.
  • the functional unit 42 calculates and adds the position information to each element of the distributed vector.
  • the position information indicates the position of each element of the distributed vector in the array of sensor data input to the function unit 41 and the position in the element array of the distributed vector.
  • the functional unit 42 calculates the position information PE of the (2 ⁇ i)-th element in the array of elements of the vector expressed in a distributed manner, using Equation (1).
  • the functional unit 42 calculates the position information PE of the (2 ⁇ i+1)-th element in the array of the elements of the vector represented by the distributed representation, using Equation (2).
  • pos is the position of the element of the distributed vector in the sensor data array input to the function unit 41 .
  • d model is the number of dimensions of the distributed vector.
  • the first-stage layer 43 receives from the functional unit 42 a vector to which position information is added and which is expressed in a distributed manner.
  • a vector from the preceding layer 43 is input to the second and subsequent layers 43 .
  • the functional unit 44 is also described as "Multi-Head Attention".
  • a Q (Query) vector, a K (Key) vector, and a V (Value) vector are input to the functional unit 44 .
  • the Q vector is the vector input to layer 43 multiplied by the weight matrix WQ .
  • the K vector is the vector input to layer 43 multiplied by the weight matrix WK .
  • the V vector is the vector input to layer 43 multiplied by the weight matrix WV .
  • the transformer 30 learns the weight matrix W Q , the weight matrix W K and the weight matrix W V .
  • the function unit 44 includes h function units 70 and "Linear" and “Contact” function units.
  • the functional unit 70 is also described as "Scaled Dot-Product Attention".
  • the functional unit 70 receives the Q vector, the K vector, and the V vector divided into h pieces.
  • the function section 70 includes the function sections "MatMul”, “Scale”, “Mask (opt.)” and “Softmax” as shown in FIG.
  • the functional unit 70 calculates Scaled Dot-Product Attention using the Q vector, the K vector, the V vector, and Equation (3).
  • d k is the dimensionality of the Q and K vectors.
  • Equation (4) d k is the dimensionality of the Q and K vectors.
  • dv is the dimensionality of the V vector.
  • the multi-head attention calculated by the functional unit 44 is input to the functional unit 45 as shown in FIG.
  • the functional unit 45 is also described as "Add & Norm".
  • the functional unit 45 normalizes the vector input to the layer 43 by adding the multi-head attention calculated by the functional unit 44 .
  • the functional unit 45 inputs the normalized vector to the functional unit 46 .
  • the functional unit 46 is also described as "Position-wise Feed-Forward Networks".
  • the functional unit 46 generates an output using an activation function such as ReLU (Rectified Linear Unit) and a vector input from the functional unit 45 .
  • the function unit 46 generates different FFNs (Feed-Forward Networks) for each position of the element array of the sensor data along the time series before vectorization, that is, the sensor data along the time series input to the function unit 41. use. Denoting the vector input from the functional unit 45 to the functional unit 46 as "x”, the functional unit 46 generates the output FFN(x) according to equation (5).
  • W1 and W2 are coefficients.
  • b 1 and b 2 are biases. W 1 and W 2 and b 1 and b 2 may differ for each position of the sensor data element array along the time series before vectorization.
  • the functional unit 47 is also described as "Add & Norm".
  • the functional unit 47 normalizes the vector output by the functional unit 45 by adding the output generated by the functional unit 46 to the vector.
  • the function unit 51 is also described as "Input Embedding".
  • the functional unit 51 receives the time-series data of the normalized floor reaction force estimated values output by the decoder 50 in the previous process.
  • preset data such as dummy data may be input to the functional unit 51 .
  • the functional unit 51 generates a distributed vector by converting each element of the input time-series data into a multidimensional vector in the same or similar manner as the functional unit 41 .
  • the number of dimensions of the multidimensional vector may be preset in the same or similar manner as the functional unit 41 .
  • the functional unit 52 is also described as "Positional Encoding".
  • the functional unit 52 in the same or similar manner as the functional unit 42 , gives position information to the vector expressed in a distributed manner. In other words, the functional unit 52 calculates and adds the position information to each element of the distributed vector.
  • the position information indicates the position of each element of the distributed representation of the vector in the array of the time-series data input to the function unit 51 and the position of the distributed representation of the vector in the element array.
  • the first-stage layer 53 is supplied with a vector to which position information is added and which is expressed in a distributed manner from the functional unit 52 .
  • a vector from the preceding layer 53 is input to the second and subsequent layers 53 .
  • the function unit 54 is also described as "Masked Multi-Head Attention".
  • the Q vector, the K vector, and the V vector are input to the functional unit 54 in the same or similar manner as the functional unit 44 .
  • the Q vector, K vector and V vector are the vectors input to layer 53 multiplied by the same or different weight matrices, respectively.
  • Transformer 30 learns these weight matrices during training.
  • Functional unit 54 identical or similar to functional unit 44, calculates multi-head attention from the input Q vector, K vector and V vector.
  • time-series data of the normalized floor reaction force which is the correct answer, is input to the function unit 54 at once during learning of the transformer 30 .
  • the functional unit 54 masks the time data after the time data to be estimated by the decoder 50 in the time-series data of the normalized floor reaction force.
  • the functional unit 55 is also described as "Add & Norm".
  • the functional unit 55 normalizes the vector input to the layer 53 by adding the multi-head attention calculated by the functional unit 54 .
  • the functional unit 56 is also described as "Multi-Head Attention".
  • a Q vector, a K vector and a V vector are input to the functional unit 56 .
  • the Q vector is a normalized vector that the functional unit 55 inputs to the functional unit 56 .
  • the K vector and the V vector are obtained by multiplying the vectors output from the final stage layer 43 of the encoder 40 by the same or different weight matrices.
  • Functional unit 56 identical or similar to functional unit 44 , calculates multi-head attention from the input Q vector, K vector and V vector.
  • the functional unit 57 is also described as "Add & Norm".
  • the functional unit 57 normalizes the vector output by the functional unit 55 by adding the multi-head attention calculated by the functional unit 56 .
  • the functional unit 58 is also described as "Position-wise Feed-Forward Networks".
  • Functional unit 58 identical or similar to functional unit 46 , generates an output using an activation function such as ReLU and a vector input from functional unit 57 .
  • the functional unit 59 is also described as "Add & Norm".
  • the functional unit 59 normalizes the vector output by the functional unit 57 by adding the output generated by the functional unit 58 to the vector.
  • the functional unit 60 is also described as "Linear”.
  • the functional unit 61 is also described as “SoftMax”.
  • the output of the final layer 53 is normalized by the functional units 60 and 61, and then output from the decoder 50 as floor reaction force estimated value data.
  • the control unit 27 may use a transformer that has learned one type of sensor data, or may use a transformer that has learned a combination of multiple types of sensor data. Combinations of multiple types of sensor data are, for example, cases C1, C2, C3, C4, C5, C6, C7, C8, C9, C10, C11, C12, and C13 as shown in FIG.
  • Fig. 9 shows an example of a combination of sensor data.
  • Cases C1 to C13 are examples of combinations of sensor data.
  • the control unit 27 may select one of the cases C1 to C13 according to the type of the sensor device 10 that has transmitted the sensor data to the electronic device 20.
  • the data of the transformer 30 used in each of the cases C1 to C13 may be stored in the storage unit 26 in association with each of the cases C1 to C13.
  • the control unit 27 acquires an estimated value of the normalized floor reaction force by inputting the sensor data of any one of the selected cases C1 to C13 to the transformer 30 corresponding to one of the selected cases C1 to C13. .
  • the control unit 27 may select case C1.
  • sensor data indicating the movement of the user's head is used.
  • sensor data D10AG and sensor data D10AL are used.
  • the sensor data D10AG is sensor data indicating the movement of the user's head in the global coordinate system.
  • the sensor data D10AG is the velocity data and acceleration data of the user's head on the X-axis, the velocity data and acceleration data of the user's head on the Y-axis, and the velocity data of the user's head on the Z-axis of the global coordinate system. and acceleration data.
  • the control unit 27 acquires sensor data D10AG by executing coordinate transformation on the sensor data in the local coordinate system acquired from the sensor device 10A.
  • the sensor data D10AL is sensor data indicating the movement of the user's head in the local coordinate system based on the position of the sensor device 10A.
  • the sensor data D10AL is the velocity data and acceleration data of the user's head on the x-axis, the velocity data and acceleration data of the user's head on the y-axis, and the velocity of the user's head on the z-axis of the local coordinate system. data and acceleration data.
  • the control unit 27 acquires the sensor data D10AL from the sensor device 10A.
  • the control unit 27 may select case C2.
  • sensor data indicating movement of the user's head and sensor data indicating movement of one of the user's two ankles are used.
  • sensor data D10AG, sensor data D10AL, and sensor data D10EL-1 or sensor data D10EL-2 are used.
  • the sensor data D10EL-1 is sensor data indicating the movement of the user's left ankle in the local coordinate system based on the position of the sensor device 10E-1.
  • the sensor data D10EL-1 is the velocity data and acceleration data of the user's left ankle on the x-axis, the velocity data and acceleration data of the user's left ankle on the y-axis, and the user's left ankle on the z-axis of the local coordinate system. Includes velocity and acceleration data for the left ankle.
  • the control unit 27 acquires the sensor data D10EL-1 from the sensor device 10E-1.
  • the sensor data D10EL-2 is sensor data indicating the movement of the user's right ankle in the local coordinate system based on the position of the sensor device 10E-2.
  • the sensor data D10EL-2 is the velocity data and acceleration data of the user's right ankle on the x-axis, the velocity data and acceleration data of the user's right ankle on the y-axis, and the user's right ankle on the z-axis of the local coordinate system. Includes velocity and acceleration data for the right ankle.
  • the control unit 27 acquires the sensor data D10EL-2 from the sensor device 10E-2.
  • the control unit 27 may select case C3.
  • sensor data indicating movement of the user's head and sensor data indicating movement of one of the user's two feet are used.
  • sensor data D10AG, sensor data D10AL, and sensor data D10FL-1 or sensor data D10FL-2 are used.
  • the sensor data D10FL-1 is sensor data indicating the movement of the user's left foot in the local coordinate system based on the position of the sensor device 10F-1.
  • the sensor data D10FL-1 is the velocity data and acceleration data of the user's left foot on the x-axis, the velocity data and acceleration data of the user's left foot on the y-axis, and the z-axis on the local coordinate system. Includes velocity and acceleration data for the user's left foot.
  • the control unit 27 acquires the sensor data D10FL-1 from the sensor device 10F-1.
  • the sensor data D10FL-2 is sensor data indicating the movement of the user's right foot in the local coordinate system based on the position of the sensor device 10F-2.
  • the sensor data D10FL-2 is the velocity data and acceleration data of the user's right foot on the x-axis, the velocity data and acceleration data of the user's right foot on the y-axis, and the z-axis on the local coordinate system. Includes velocity and acceleration data for the user's right foot.
  • the control unit 27 acquires the sensor data D10FL-2 from the sensor device 10F-2.
  • the control unit 27 may select case C4.
  • sensor data indicating movement of the user's head and sensor data indicating movement of one of the user's two thighs are used.
  • sensor data D10AG, sensor data D10AL, and sensor data D10DL-1 or sensor data D10DL-2 are used.
  • the sensor data D10DL-1 is sensor data indicating the movement of the user's left thigh in the local coordinate system based on the position of the sensor device 10D-1.
  • the sensor data D10DL-1 is the velocity data and acceleration data of the user's left thigh on the x-axis, the velocity data and acceleration data of the user's left thigh on the y-axis, and z Includes velocity and acceleration data for the user's left thigh on axis.
  • the control unit 27 acquires sensor data D10DL-1 from the sensor device 10D-1.
  • the sensor data D10DL-2 is sensor data indicating the movement of the user's right thigh in the local coordinate system based on the position of the sensor device 10D-2.
  • the sensor data D10DL-2 is the velocity data and acceleration data of the user's right thigh on the x-axis, the velocity data and acceleration data of the user's right thigh on the y-axis, and z Includes velocity and acceleration data for the user's right thigh on axis.
  • the control unit 27 acquires the sensor data D10DL-2 from the sensor device 10D-2.
  • the control unit 27 may select case C5.
  • sensor data indicating the movement of the user's head and sensor data indicating the movement of one of the user's two wrists are used.
  • sensor data D10AG, sensor data D10AL, and sensor data D10BL are used.
  • the sensor data D10BL is sensor data indicating the movement of the user's wrist in the local coordinate system based on the position of the sensor device 10B.
  • the sensor data D10BL is the velocity data and acceleration data of the user's wrist on the x-axis, the velocity data and acceleration data of the user's wrist on the y-axis, and the velocity data and acceleration of the user's wrist on the z-axis of the local coordinate system. including data and
  • the control unit 27 acquires the sensor data D10BL from the sensor device 10B.
  • the control unit 27 may select case C6.
  • sensor data indicating movement of the user's head sensor data indicating movement of one of the user's two wrists, and one of the user's two ankles. sensor data indicating the movement of the
  • sensor data D10AG, sensor data D10AL, sensor data D10BL, and sensor data D10EL-1 or sensor data D10EL-2 are used.
  • the control unit 27 may select case C7.
  • sensor data indicating movement of the user's head sensor data indicating movement of one of the two wrists of the user, and sensor data indicating movement of one of the two wrists of the user.
  • Sensor data indicative of foot movement is used.
  • sensor data D10AG, sensor data D10AL, sensor data D10BL, and sensor data D10FL-1 or sensor data D10FL-2 are used.
  • the control unit 27 may select case C8.
  • the sensor data indicating the movement of the user's head the sensor data indicating the movement of one of the user's two wrists, and the movement of each of the user's two feet. is used.
  • sensor data D10AG, sensor data D10AL, sensor data D10BL, sensor data D10FL-1, and sensor data D10FL-2 are used.
  • the control unit 27 may select case C9.
  • sensor data indicating the movement of each of the user's two feet is used.
  • sensor data D10FL-1 and sensor data D10FL-2 are used.
  • the control unit 27 may select case C10.
  • sensor data indicating the movement of each of the user's two thighs is used.
  • sensor data D10DL-1 and sensor data D10DL-2 are used.
  • the sensor data D10DL-1 is sensor data indicating the movement of the user's left thigh in the local coordinate system based on the position of the sensor device 10D-1.
  • the sensor data D10DL-1 is the velocity data and acceleration data of the user's left thigh on the x-axis, the velocity data and acceleration data of the user's left thigh on the y-axis, and z Includes velocity and acceleration data for the user's left thigh on axis.
  • the control unit 27 acquires sensor data D10DL-1 from the sensor device 10D-1.
  • the sensor data D10DL-2 is sensor data indicating the movement of the user's right thigh in the local coordinate system based on the position of the sensor device 10D-2.
  • the sensor data D10DL-2 is the velocity data and acceleration data of the user's right thigh on the x-axis, the velocity data and acceleration data of the user's right thigh on the y-axis, and z Includes velocity and acceleration data for the user's right thigh on axis.
  • the control unit 27 acquires the sensor data D10DL-2 from the sensor device 10D-2.
  • the control unit 27 may select case C11.
  • sensor data indicating the movement of the user's lower back is used.
  • sensor data D10CG and sensor data D10CL are used.
  • the sensor data D10CG is sensor data indicating the movement of the user's lower back in the global coordinate system.
  • the sensor data D10CG is the user's waist velocity data and acceleration data on the X-axis, the user's waist velocity data and acceleration data on the Y-axis, and the user's waist velocity data and acceleration data on the Z-axis of the global coordinate system.
  • the control unit 27 may acquire the sensor data D10CG by executing coordinate transformation on the sensor data in the local coordinate system acquired from the sensor device 10C.
  • the sensor data D10CL is sensor data indicating the movement of the user's lower back in the local coordinate system based on the position of the sensor device 10C.
  • the sensor data D10CL includes velocity data and acceleration data of the user's waist on the x-axis, velocity data and acceleration data of the user's waist on the y-axis, and velocity data and acceleration of the user's waist on the z-axis of the local coordinate system. including data and
  • the control unit 27 acquires the sensor data D10CL from the sensor device 10C.
  • the control unit 27 may select case C12.
  • sensor data indicating movement of one of the user's two wrists and sensor data indicating movement of the user's lower back are used.
  • sensor data D10BL, sensor data D10CG, and sensor data D10CL are used.
  • the control unit 27 may select case C13.
  • sensor data indicating movement of one of the user's two wrists sensor data indicating movement of each of the user's two legs, and sensor data indicating movement of the user's lower back. and are used.
  • sensor data D10BL, sensor data D10FL-1, sensor data D10FL-2, sensor data D10CG, and sensor data D10CL are used.
  • the walking data of the subject includes data indicating the movement of the subject during walking and data of the floor reaction force applied to the subject during walking.
  • Data representing the subject's motion while walking was detected by a motion capture system.
  • the data of the floor reaction force applied to the subject while walking was detected by a floor reaction force meter.
  • the transformer generated a data set containing ground reaction force data of multiple subjects detected by the ground reaction force meter and data indicating the subject's movement during walking detected by the motion capture system as training data. .
  • the normalized ground reaction force was obtained by dividing the ground reaction force detected by the ground reaction force meter by the subject's weight in generating the data set.
  • Data representing subject movement detected by the motion capture system was used to obtain data corresponding to the sensor data.
  • a data set was generated by associating the normalized ground reaction force with data corresponding to the sensor data.
  • Data sets corresponding to cases C1-C13 described above with reference to FIG. 9 were generated.
  • Transformer training was performed with the generated dataset. In training the transformer, noise of about 10% was added to the dataset to prevent overfitting.
  • the inventors evaluated the trained transformer using a data set that was not used for transformer training.
  • the inventors obtained evaluation results for cases C1 to C13 described above with reference to FIG.
  • FIG. 10 shows a graph of evaluation results.
  • FIG. 10 shows a bar graph of the mean squared error (MSE) of the normalized floor reaction force in each of cases C1 to C13 as evaluation results.
  • the mean squared error data shown in FIG. 10 are data obtained from subjects shown in FIG. 11 described later.
  • the mean squared error was calculated from the estimated normalized ground reaction force from the transformer and the measured normalized ground reaction force from the dataset.
  • the evaluation results of the normalized floor reaction force of the foot on the left side are hatched.
  • the evaluation result of the normalized floor reaction force of the right foot is shown in white.
  • the numerical values attached to the bar graphs are the mean square error of the normalized floor reaction force of the left foot.
  • Equation (6) The mean squared error was calculated by Equation (6) below.
  • j corresponds to the X, Y and Z axes of the Grohl coordinate system.
  • d is 3, the number of dimensions of the global coordinate system.
  • a i,j is the actual measured value of the normalized ground reaction force of the data set.
  • b i,j is the estimated value of the normalized floor reaction force.
  • n is the number of normalized floor reaction force samples.
  • case C1 the mean square error of the normalized floor reaction force of the left foot was about 0.12 [(m/s 2 ) 2 ].
  • case C1 only the sensor data indicating the movement of the user's head, which is farthest from the user's feet, among the user's body parts is used. From the results of case C1, it can be seen that the floor reaction force can be estimated with a certain degree of accuracy using only sensor data indicating the movement of the user's head. The reason for this is presumed to be that the movement of the user's head while walking is reflected in the movement of the user's head.
  • the mean square errors of cases C2 to C8 are smaller than the mean square error of case C1. That is, in cases C2 to C8, the accuracy of estimating the floor reaction force was improved as compared to case C1.
  • cases C2 to C8 in addition to sensor data indicating movement of the user's head, sensor data indicating movement of at least one of the user's wrists, ankles, feet, and thighs is used. .
  • cases C2 to C8 in addition to the sensor data indicating the movement of the trunk including the user's head, the movement of the user's limbs including at least one of the wrist, ankle, foot and thigh. The sensor data shown is used.
  • the sensor data indicating the movement of the user's limbs and the sensor data indicating the movement of the user's trunk have significantly different patterns in one walking cycle. For example, due to the left-right symmetry of the user's body, sensor data indicating the movement of the user's limbs has one pattern in one walking cycle. On the other hand, sensor data indicating the movement of the trunk of the user has two patterns in one walking cycle. In cases C2 to C8, it is presumed that the accuracy of estimating the floor reaction force is improved over case C1 by using sensor data having different patterns in one walking cycle.
  • the mean square error of the normalized floor reaction force of the left foot was about 0.112 [(m/s 2 ) 2 ].
  • the mean square error of the normalized floor reaction force of the left foot was about 0.066 [(m/s 2 ) 2 ].
  • sensor data indicating movement of the user's leg and sensor data indicating movement of the user's thigh are used, respectively.
  • the user's feet and the user's thighs are body parts that are close to the walking surface.
  • the floor reaction force could be estimated with a certain degree of accuracy because the sensor data indicating the movement of the body part close to the walking surface is used.
  • case C11 the mean square error of the normalized floor reaction force of the left foot was about 0.068 (m/s 2 ) 2 ].
  • case C11 only sensor data indicating the movement of the waist is used. From the results of case C11, it can be seen that the floor reaction force can be estimated with a certain degree of accuracy using only sensor data indicating the movement of the user's lower back. The reason for this is presumed to be that the vertical movement of the user while walking is reflected in the movement of the trunk including the waist.
  • the mean square errors of cases C12 and C13 are smaller than the mean square error of case C11. That is, in cases C12 and C13, the estimation accuracy of the floor reaction force is improved as compared with case C11.
  • sensor data indicating movement of the user's lower back in addition to sensor data indicating movement of the user's lower back, sensor data indicating movement of at least one of the user's wrist and/or ankle is used. That is, in cases C12 and C13, in addition to the sensor data indicating the movement of the user's trunk including the waist, the sensor data indicating the movement of the user's limbs including at least one of the wrist and ankle are used.
  • the sensor data indicating the movement of the user's limbs and the sensor data indicating the movement of the trunk of the user have significantly different patterns in one walking cycle.
  • cases C12 and C13 it is presumed that the estimation accuracy of the floor reaction force is improved more than in case C11 by using sensor data having different patterns in one walking cycle.
  • the mean square error of the normalized floor reaction force of the left foot in case C6 and the mean square error of the normalized floor reaction force of the left foot in case C13 are 0.04 [ (m/s 2 ) 2 ].
  • the mean squared error for cases C6 and C13 was the smallest among cases C1-C13. In other words, the estimation accuracy of the floor reaction force in cases C6 and C13 was the highest among cases C1 to C13.
  • Fig. 11 shows an example of a subject. Subjects have a wide variety of physical characteristics.
  • Subject SU1 is male, 33 years old, 171 cm tall, and weighs 100 kg.
  • a physical characteristic of subject SU1 was that he was a heavy male.
  • Subject SU2 is female, age 70, height 151 [cm], and weight 39 [kg]. Subject SU2's physical characteristics were that she was a light weight female.
  • Subject SU3 is female, 38 years old, 155 cm tall, and weighs 41 kg. The physical characteristics of subject SU3 were that she was light in weight and young in age.
  • Test subject SU4 is female, age 65, height 149 [cm], and weight 70 [kg]. The physical characteristics of subject SU4 were that she was a heavy female.
  • Test subject SU5 is male, 22 years old, 163 cm tall, and weighs 65 kg. The physical characteristics of subject SU5 were that he was a man of average height and weight.
  • Subject SU6 is female, age 66, height 149 [cm], and weight 47 [kg].
  • a physical characteristic of subject SU6 was that she was a short woman.
  • Test subject SU7 is female, age 65, height 148 [cm], and weight 47 [kg].
  • a physical characteristic of subject SU7 was that she was a short woman.
  • Subject SU8 is male, 57 years old, 178 cm tall, and weighs 81 kg. The physical characteristics of subject SU8 were that he was a tall man.
  • ⁇ Comparison result 1> 12 to 19 show graphs of examples of measured values and estimated values of the floor reaction force of the subject. 12-19, the transformer generated by the sensor data of case C6 was used.
  • the horizontal and vertical axes in FIGS. 12 to 19 are the same as the horizontal and vertical axes in FIG. 5, respectively.
  • FIG. 12 to 15, 18 and 19 show graphs of measured values and estimated values of the floor reaction force on the right foot.
  • FIG. 12 is a graph for subject SU1.
  • FIG. 13 is a graph for subject SU2.
  • FIG. 14 is a graph for subject SU3.
  • FIG. 15 is a graph for subject SU4.
  • FIG. 18 is a graph for subject SU7.
  • FIG. 19 is a graph for subject SU8.
  • FIG. 16 is a graph for subject SU5.
  • FIG. 17 is a graph for subject SU6.
  • the normalized floor reaction forces RXr, RYr, and RZr are the measured values of the floor reaction force applied to the right foot of the subject.
  • the normalized ground reaction forces RXe, RYe, and RZe are estimated values of the ground reaction forces acting on the right foot of the subject.
  • the normalized floor reaction forces RXr and RXe are the normalized floor reaction forces along the X-axis of the global coordinate system among the normalized floor reaction forces applied to the right foot of the subject.
  • the normalized floor reaction forces RXr and RXe assume that the direction from the front to the back of the user is the positive direction.
  • the normalized floor reaction forces RYr and RYe are the normalized floor reaction forces along the Y-axis of the global coordinate system among the normalized floor reaction forces applied to the right foot of the subject.
  • the positive direction of the normalized floor reaction forces RYr and RYe is the direction from the bottom to the top of the user.
  • the normalized floor reaction forces RZr and RZe are the normalized floor reaction forces along the Z-axis of the global coordinate system among the normalized floor reaction forces applied to the right foot of the subject.
  • the positive direction of the normalized floor reaction forces RZr and RZe is the direction from left to right of the user.
  • the normalized floor reaction forces LXr, LYr, and LZr are the measured values of the floor reaction force applied to the left foot of the subject.
  • the normalized floor reaction forces LXe, LYe, and LZe are estimated values of floor reaction forces acting on the left foot of the subject.
  • the normalized floor reaction forces LXr and LXe are the normalized floor reaction forces along the X-axis of the global coordinate system among the normalized floor reaction forces acting on the left foot of the subject.
  • the normalized floor reaction forces LXr and LXe assume that the direction from the front to the back of the user is the positive direction.
  • the normalized floor reaction forces LYr and LYe are the normalized floor reaction forces along the Y-axis of the global coordinate system among the normalized floor reaction forces acting on the left foot of the subject.
  • the positive direction of the normalized floor reaction forces LYr and LYe is the direction from the bottom to the top of the user.
  • the normalized floor reaction forces LZr and LZe are the normalized floor reaction forces along the Z-axis of the global coordinate system among the normalized floor reaction forces acting on the left foot of the subject.
  • the positive direction of the normalized floor reaction forces LZr and LZe is the direction from left to right of the user.
  • FIG. 20 is a graph of the ground reaction force applied to the right foot of subject SU7.
  • FIG. 21 is a graph of the floor reaction force applied to the right foot of subject SU1.
  • FIG. 22 is a graph of the ground reaction force applied to the right foot of subject SU3.
  • FIG. 23 is a graph of the ground reaction force applied to the left foot of subject SU6.
  • FIG. 24 is a graph of the ground reaction force applied to the left foot of subject SU5.
  • FIG. 25 is a graph of the ground reaction force applied to the right foot of subject SU2.
  • FIG. 26 is a graph of the ground reaction force applied to the left foot of subject SU4.
  • FIG. 27 is a graph of the ground reaction force applied to the left foot of subject SU8.
  • FIGS. 20 to 23 the transformer generated by the sensor data of case C1 was used.
  • the horizontal and vertical axes in FIGS. 20 to 23 are the same as the horizontal and vertical axes in FIG. 5, respectively.
  • a subject with a high center-of-gravity movement evaluation means a subject whose center-of-gravity movement is large in the vertical direction.
  • the normalized floor reaction forces RYr, RYe, LYr, and LYe along the Y axis each have two maximum values and a minimum value located between the two maximum values. occur.
  • the minimum value is caused by the user's center of gravity moving upward on the walking plane in the middle stage of stance.
  • the larger the movement of the center of gravity of the user in the vertical direction the more the normalized floor reaction forces RYr, RYe, LYr, and LYe along the Y axis have two maximum values and two maximum values. The difference between the minimum value located between becomes large.
  • a subject with a low center-of-gravity movement evaluation means a subject whose center-of-gravity movement is small in the vertical direction. As shown in FIGS. 24 to 27 , the larger the movement of the center of gravity in the vertical direction, the greater the normalized floor reaction forces RYr, RYe, LYr, and LYe along the Y axis, each of which has two maximum values and two maximum values. The difference between the minimum value located between is small.
  • the estimated values of the normalized floor reaction force of the subjects with high evaluations of the movement of the center of gravity were in relatively good agreement with the measured values of the normalized floor reaction force.
  • case C1 only sensor data indicating movement of the user's head is used.
  • a subject with a high center-of-gravity movement evaluation has a large center-of-gravity movement in the vertical direction, and also has a large movement in the vertical direction.
  • a subject with a high center-of-gravity shift evaluation has a large vertical movement of the subject, so that the characteristics of the movement of the subject during walking can be reflected in the movement of the user's head. Therefore, it is presumed that the estimated values of the normalized floor reaction force and the measured values of the normalized floor reaction force were in relatively good agreement with the subjects who evaluated the movement of the center of gravity high.
  • the estimated normalized ground reaction force did not compare well with the measured normalized ground reaction force, as shown in FIGS. did not match.
  • a subject with a low center-of-gravity movement evaluation has a small vertical center-of-gravity movement and a small vertical movement of the subject.
  • Subjects with low center-of-gravity shift evaluations move less in the vertical direction, so compared to subjects with high center-of-gravity shift evaluations, the characteristics of the subject's movement during walking are less likely to be reflected in the movement of the user's head. . Therefore, it is presumed that the estimated values of the normalized floor reaction force did not match the actual measured values of the normalized floor reaction force very well when compared with FIGS.
  • the accuracy of estimating the floor reaction force using the sensor data of case C1 is lower than for subjects with high center-of-gravity movement evaluations.
  • the floor reaction force can be estimated with relatively high accuracy even when the sensor data of case C1 is used.
  • FIG. 28 is a graph of estimated values of floor reaction force when using sensor data for cases C1, C2, and C3. 29 is a graph showing the difference between the measured value and the estimated value of the floor reaction force shown in FIG. 28.
  • FIG. The horizontal and vertical axes in FIG. 28 are the same as the horizontal and vertical axes in FIG. 5, respectively.
  • the horizontal axis in FIG. 29 indicates time [s].
  • the vertical axis in FIG. 29 indicates the difference [m/s 2 ].
  • FIG. 30 is a graph of estimated values of floor reaction force when using sensor data for cases C4, C5, and C6.
  • 31 is a graph showing the difference between the measured value and the estimated value of the floor reaction force shown in FIG. 30.
  • FIG. The horizontal and vertical axes in FIG. 30 are the same as the horizontal and vertical axes in FIG. 5, respectively.
  • the horizontal and vertical axes in FIG. 31 are the same as the horizontal and vertical axes in FIG. 29, respectively.
  • FIG. 32 is a graph of estimated values of floor reaction force when using sensor data for cases C6, C7, C8, and C10.
  • 33 is a graph showing the difference between the measured value and the estimated value of the floor reaction force shown in FIG. 32.
  • FIG. The horizontal and vertical axes in FIG. 32 are the same as the horizontal and vertical axes in FIG. 5, respectively.
  • the horizontal and vertical axes in FIG. 33 are the same as the horizontal and vertical axes in FIG. 29, respectively.
  • FIG. 34 is a graph of estimated values of floor reaction force when using sensor data for cases C9, C11, C12, and C13.
  • 35 is a graph showing the difference between the measured value and the estimated value of the floor reaction force shown in FIG. 34.
  • FIG. The horizontal and vertical axes in FIG. 34 are the same as the horizontal and vertical axes in FIG. 5, respectively.
  • the horizontal and vertical axes in FIG. 35 are the same as the horizontal and vertical axes in FIG. 29, respectively.
  • normalized floor reaction forces RYe_C1 to RYe_C13 are normalized floor reaction forces RYe when sensor data of cases C1 to C13 are used, respectively.
  • Differences RD_C1 to RD_C13 are differences between normalized floor reaction forces RYe_C1 to RYe_C13 and normalized floor reaction force RYr, respectively.
  • Subject SU2 the difference between the measured value and the estimated value of the floor reaction force was the smallest among cases C1 to C13 when the sensor data of cases C6 and C13 were used.
  • Subject SU2 is a subject with a low evaluation of center of gravity movement. It can be seen that the floor reaction force can be accurately estimated by using the sensor data of cases C6 and C13 even for subjects with low evaluations of center-of-gravity movement.
  • Figures 36 to 43 show graphs of the floor reaction force applied to the left foot of subject SU8.
  • FIG. 36 is a graph of estimated values of floor reaction force when using sensor data for cases C1, C2, and C3.
  • 37 is a graph showing the difference between the measured values and the estimated values of the floor reaction force shown in FIG. 36.
  • FIG. The horizontal and vertical axes in FIG. 36 are the same as the horizontal and vertical axes in FIG. 5, respectively.
  • the horizontal and vertical axes in FIG. 37 are the same as the horizontal and vertical axes in FIG. 29, respectively.
  • FIG. 38 is a graph of estimated values of floor reaction force when sensor data of cases C4, C5, and C6 are used. 39 is a graph showing the difference between the measured value and the estimated value of the floor reaction force shown in FIG. 38.
  • FIG. The horizontal and vertical axes in FIG. 38 are the same as the horizontal and vertical axes in FIG. 5, respectively.
  • the horizontal and vertical axes in FIG. 39 are the same as the horizontal and vertical axes in FIG. 29, respectively.
  • FIG. 40 is a graph of estimated floor reaction force when using sensor data for cases C6, C7, C8, and C10.
  • 41 is a graph showing the difference between the measured value and the estimated value of the floor reaction force shown in FIG. 40.
  • FIG. The horizontal and vertical axes in FIG. 40 are the same as the horizontal and vertical axes in FIG. 5, respectively.
  • the horizontal and vertical axes in FIG. 41 are the same as the horizontal and vertical axes in FIG. 29, respectively.
  • FIG. 42 is a graph of floor reaction force estimated values when using sensor data for cases C9, C11, C12, and C13.
  • 43 is a graph showing the difference between the measured value and the estimated value of the floor reaction force shown in FIG. 42.
  • FIG. The horizontal and vertical axes in FIG. 42 are the same as the horizontal and vertical axes in FIG. 5, respectively.
  • the horizontal and vertical axes in FIG. 43 are the same as the horizontal and vertical axes in FIG. 29, respectively.
  • normalized floor reaction forces LYe_C1 to LYe_C13 are normalized floor reaction forces LYe when sensor data of cases C1 to C13 are used, respectively.
  • Differences LD_C1 to LD_C13 are differences between normalized floor reaction forces LYe_C1 to LYe_C13 and normalized floor reaction force LYr, respectively.
  • Subject SU8 the difference between the measured value and the estimated value of the floor reaction force was the smallest among cases C1 to C13 when the sensor data of cases C6 and C13 were used.
  • Subject SU8 is a subject with a low evaluation of center-of-gravity movement. It can be seen that the floor reaction force can be accurately estimated by using the sensor data of cases C6 and C13 even for subjects with low evaluations of center-of-gravity movement.
  • the control unit 27 may acquire arbitrary information regarding the walking of the user based on the estimated value of the floor reaction force.
  • the user's walking information may be the user's landing timing and walking cycle.
  • the control unit 27 may acquire at least one of the user's landing timing and walking cycle based on the estimated value of the floor reaction force. For example, in FIG. 5, the timing at which the normalized floor reaction force LY rises indicated by an arrow corresponds to the timing at which the user's left foot lands on the ground. Also, the timing at which the normalized floor reaction force RY rises, indicated by the arrow, corresponds to the landing timing of the user's right foot.
  • the control unit 27 acquires the landing timing of the user by specifying the timing at which the estimated value of the floor reaction force rises. In addition, the control unit 27 specifies and acquires the walking cycle of the user based on the acquired landing timing of the user.
  • the information on the user's walking may be information on the user's stride length.
  • the control unit 27 may acquire information on the stride length of the user based on the estimated value of the floor reaction force. For example, the control unit 27 acquires the landing timing of the user's left foot and the landing timing of the user's right foot based on the estimated value of the floor reaction force as described above.
  • the control unit 27 calculates and acquires the user's stride from the landing timing of the user's left foot, the landing timing of the user's right foot, and the user's speed on the X-axis of the global coordinate system.
  • the control unit 27 may acquire information on the user's speed on the X-axis of the global coordinate system from the sensor device 10 .
  • the information about the user's walking may be at least one of load information on the user's joints and load on the user's muscles during walking.
  • the control unit 27 performs inverse dynamics analysis on the estimated value of the floor reaction force to obtain information on at least one of the load on the joints of the user during walking and the information on the load on the muscles of the user. You can get
  • the control unit 27 may cause the notification unit 23 to notify the acquired information regarding the walking of the user.
  • the control unit 27 may cause the display of the output unit 24 to display the information regarding the walking of the user, or may output the information regarding the walking of the user as sound from the speaker of the output unit 24 .
  • the control unit 27 may determine the evaluation of the user's walking based on the estimated value of the floor reaction force.
  • the evaluation of the user's walking may be an evaluation of whether or not the user's depression during the load response period described above with reference to FIG. 3 is sufficient.
  • the control unit 27 may determine whether or not the user's depression during the load response period is sufficient based on the estimated value of the floor reaction force.
  • the normalized floor reaction force LY has two maxima as indicated by arrows. The first of the two maximum values corresponds to the floor reaction force during the load response period. Since the load response period is a period in which the foot is stepped on from the heel, it is possible to evaluate whether or not the user's stepping down is sufficient during the load response period based on the first maximum value.
  • the control unit 27 analyzes the first of the two maximum values of the normalized floor reaction force or the floor reaction force along the Y-axis to determine whether the user's stepping force is sufficient during the load response period. determine whether or not to evaluate
  • the evaluation of the user's walking may be an evaluation of whether or not the user's kicking motion described above with reference to FIG. 3 is sufficient.
  • the control unit 27 may determine whether or not the user's kick is sufficient based on the estimated value of the floor reaction force. For example, in FIG. 5, of the two maximum values of the normalized floor reaction force LY indicated by arrows, the second maximum value corresponds to the floor reaction force at the timing when the user starts kicking.
  • the control unit 27 analyzes the second maximum value of the two maximum values of the normalized floor reaction force or the floor reaction force along the Y-axis to determine whether or not the user's kicking is sufficient. determine the rating.
  • the evaluation of the user's walking may be the evaluation of the vertical movement of the center of gravity of the user.
  • the control unit 27 may determine the evaluation of the movement of the center of gravity of the user in the vertical direction based on the estimated value of the floor reaction force.
  • the normalized floor reaction force LY has two maximum values and one minimum value located between the two maximum values, as indicated by arrows. As described above, the difference between the two maximum values and the minimum value located between the two maximum values increases as the user moves the center of gravity in the vertical direction more.
  • the control unit 27 controls the vertical direction of the user based on the normalized floor reaction force along the Y-axis or the difference between the two maximum values and the minimum value positioned between the two maximum values in the floor reaction force. It may be determined whether the center of gravity movement evaluation in is high.
  • control unit 27 may determine whether the evaluation of the user's vertical center of gravity movement is low as an evaluation of the user's vertical center of gravity movement. For example, as described above, since the foot is away from the walking surface during the swing phase, no floor reaction force is applied to the foot. However, in subjects with low center-of-gravity movement evaluations, when the sensor data of case C1 is used to estimate the ground reaction force, for example, as shown by the arrows in FIGS. There are cases where the floor reaction forces LYe and RYe do not become zero. Therefore, the control unit 27 may estimate the normalized floor reaction force or the floor reaction force along the Y-axis using the sensor data of case C1.
  • the control unit 27 determines that the evaluation of the movement of the center of gravity of the user is lower than when the normalized floor reaction force becomes zero during the swing period. You can Even if the sensor devices 10 that have transmitted the sensor data to the electronic device 20 include a sensor device other than the sensor device 10A, the control unit 27 uses the sensor data of the case C1 to determine the evaluation of the movement of the center of gravity of the user. A normalized ground reaction force or ground reaction force along the Y-axis may be estimated.
  • the evaluation of the user's walking may be an evaluation of whether the user's feet are functioning as brakes and accelerators.
  • the control unit 27 may determine whether or not the user's feet are functioning as brakes and accelerators based on the estimated value of the floor reaction force. For example, in FIG. 12, the normalized floor reaction force RXe has a negative peak value and a positive peak value as indicated by arrows. Negative peaks are caused by the user's feet landing on the walking surface and acting as brakes. A positive peak value is caused by the user's foot kicking off the walking surface and acting as an accelerator.
  • the control unit 27 analyzes the normalized floor reaction force along the X-axis or the positive peak value and the negative peak value of the floor reaction force to determine whether the user's feet are functioning as brakes and accelerators. determine the rating.
  • the evaluation of the user's walking may be an evaluation of whether or not the user's stride is appropriate for the height.
  • the control unit 27 acquires information on the stride length of the user based on the estimated value of the floor reaction force.
  • the control unit 27 acquires the height information of the user from the storage unit 26 and compares the height of the user with the length of stride, thereby determining whether or not the length of stride of the user is appropriate for the height.
  • the control unit 27 may notify the user of the determined evaluation by the notification unit 23 .
  • the control unit 27 may cause the determined evaluation information to be displayed on the display of the output unit 24, or may output the determined evaluation information to the speaker of the output unit 24 as voice.
  • the control unit 27 may vibrate the vibration unit 25 in a vibration pattern according to the determined evaluation.
  • the control unit 27 may generate a measurement signal indicating at least one of the estimated value of the floor reaction force, the acquired information on walking, and the determined evaluation.
  • the control unit 27 may transmit the generated measurement signal to the communication unit 21 to any external device.
  • the control unit 27 may transmit the measurement signal through the communication unit 21 to any sensor device 10 having the notification unit 13 as an external device.
  • the control section 16 receives the measurement signal through the communication section 11 .
  • the control unit 16 causes the notification unit 13 to notify the information indicated by the measurement signal.
  • the control unit 16 causes the output unit 14 to output information indicated by the measurement signal.
  • the user can grasp, for example, the floor reaction force.
  • the control unit 27 may transmit the measurement signal to the earphone as an external device through the communication unit 21.
  • the control section 16 receives the measurement signal through the communication section 11 .
  • the control unit 16 causes the notification unit 13 to notify the information indicated by the measurement signal.
  • the control unit 16 causes the speaker of the output unit 14 to output information indicated by the measurement signal as sound.
  • FIG. 44 is a flowchart showing the operation of the floor reaction force estimation process executed by the electronic device 20 shown in FIG. This operation corresponds to an example of the information processing method according to this embodiment.
  • the control unit 27 starts the process of step S1.
  • the control unit 27 receives an input instructing execution of the floor reaction force estimation process through the input unit 22 (step S1). This input is input from the input unit 22 by the user wearing the sensor device 10 .
  • the control unit 27 transmits a signal instructing the start of data detection as a broadcast signal to the plurality of sensor devices 10 through the communication unit 21 (step S2). After the process of step S ⁇ b>2 is executed, sensor data is transmitted from at least one sensor device 10 to the electronic device 20 .
  • the control unit 27 receives sensor data from at least one sensor device 10 through the communication unit 21 (step S3).
  • the control unit 27 selects one of the cases C1 to C13 according to the type of the sensor device 10 that has transmitted the sensor data to the electronic device 20 (step S4).
  • the control unit 27 acquires the data of the transformer 30 used in the cases C1 to C13 selected in the process of step S4 from the storage unit 26 (step S5).
  • the control unit 27 inputs the sensor data of cases C1 to C13 selected in the process of step S4 to the transformer from which the data was acquired in the process of step S5, and acquires the estimated value of the floor reaction force from the transformer (step S6). .
  • the control unit 27 uses the notification unit 23 to notify the estimated value of the floor reaction force acquired in the process of step S6 (step S7).
  • the control unit 27 After executing the process of step S7, the control unit 27 terminates the estimation process. After finishing the estimation process, the control unit 27 may execute the estimation process again when the user walks the set number of steps. The set number of steps may be input in advance from the input unit 22 by the user. In the estimation process to be executed again, the control unit 27 may start from the process of step S3. The control unit 27 may repeatedly execute the estimation process each time the user walks the set number of steps until an input instructing to end the estimation process is received from the input unit 22 . An input instructing to end the estimation process is input from the input unit 22 by the user, for example. For example, when the user finishes walking, the user inputs an instruction to finish the estimation process from the input unit 22 .
  • the control unit 27 may transmit a signal instructing the end of data detection as a broadcast signal to the plurality of sensor devices 10 by the communication unit 21 .
  • the control unit 16 may terminate data detection when the communication unit 11 receives a signal instructing termination of data detection.
  • the control unit 27 acquires an estimated value of the floor reaction force acting on the user based on the sensor data and the learning model.
  • the learning model it is possible to obtain an estimated value of the floor reaction force applied to the user without using a large-scale device such as a floor reaction force meter.
  • a large-scale device such as a floor reaction force meter.
  • the present embodiment it is possible to acquire the estimated value of the floor reaction force applied to the user with a simpler configuration. Therefore, according to this embodiment, an improved technique for measuring (estimating) the floor reaction force is provided.
  • control unit 27 may acquire sensor data from at least one sensor device 10 worn on the user's body part. Advantages of using data detected by the sensor device 10 as sensor data will be described below in comparison with Comparative Examples 1 and 2. FIG.
  • Comparative Example 1 consider the case of measuring the floor reaction force using a floor reaction force meter. In this case, the floor reaction force cannot be measured unless the user walks through the place where the floor reaction force meter is installed. In many cases, the floor reaction force meter is installed in a room such as a dedicated laboratory. Therefore, in Comparative Example 1, the user has to walk in a dedicated laboratory or the like where the floor reaction force meter is installed, and cannot relax and walk normally. If the user cannot walk normally, the floor reaction force cannot be measured correctly. Further, since the size of the floor reaction force meter is finite, the floor reaction force meter can only measure the floor reaction force for a limited number of steps. Therefore, in Comparative Example 1, it is difficult to measure the floor reaction force when the user walks outdoors for a long time.
  • the floor reaction force can be reduced as long as the user wears the sensor device 10 wherever the user walks. Estimates can be obtained. Further, even if the user walks for a long time, the estimated value of the floor reaction force can be acquired if the user wears the sensor device 10 .
  • the information processing system 1 can be used for any purpose including rehabilitation.
  • the sensor data detected by the sensor device 10 can be detected by an inertial measurement unit or the like without using a load sensor. Therefore, in this embodiment, it is possible to acquire the estimated value of the user's floor reaction force at a lower cost than when using the load sensor. Further, when sensor data detected by the sensor device 10F is used, for example, if the sensor device 10F is retrofitted to the user's shoes, there is no need to prepare shoes that match the user's foot size.
  • the transformer may have learned to output the estimated value of the floor reaction force when the sensor data of case C1 is input.
  • the sensor data of case C1 is detected by the sensor device 10A.
  • the user since the user only has to wear the sensor device 10A, the user's convenience can be improved.
  • the sensor device 10A is or is included in an earphone, the user can easily wear the sensor device 10A on the head. User convenience can be further improved by allowing the user to easily wear the sensor device 10A on the head.
  • the estimated value of the floor reaction force can be obtained more easily.
  • the transformer may have learned to output the estimated value of the floor reaction force when sensor data of any one of cases C2 to C5 is input.
  • the sensor data of case C2 is detected by the sensor device 10A and the sensor device 10E-1 or sensor device 10E-2, that is, by the two sensor devices 10.
  • FIG. The sensor data of case C3 is detected by the sensor device 10A and the sensor device 10F-1 or sensor device 10F-2, that is, by the two sensor devices 10.
  • the sensor data of case C4 is detected by the sensor device 10A and the sensor device 10D-1 or sensor device 10D-2, that is, by the two sensor devices 10.
  • the sensor data of case C5 is detected by the sensor device 10A and the sensor device 10B, that is, by the two sensor devices 10.
  • cases C2 to C5 the sensor data is detected by the two sensor devices 10 as described above, so the user only has to wear the two sensor devices 10. FIG. Therefore, user convenience can be improved.
  • cases C2 to C5 the estimation accuracy of the floor reaction force was improved as compared to case C1. Therefore, by using the sensor data of cases C2 to C5, it is possible to accurately estimate the floor reaction force.
  • the transformer may have learned to output the estimated value of the floor reaction force when the sensor data of either case C6 or C7 is input.
  • the sensor data of case C6 is detected by the sensor device 10A, the sensor device 10B, and the sensor device 10E-1 or the sensor device 10E-2, that is, by the three sensor devices 10.
  • the sensor data of case C7 is detected by the sensor device 10A, the sensor device 10B, and the sensor device 10F-1 or sensor device 10F-2, that is, by three sensor devices 10.
  • the sensor data is detected by the three sensor devices 10, so the user only has to wear the three sensor devices 10. FIG. Therefore, user convenience can be improved. Further, as described above with reference to FIG.
  • FIG. 45 is a functional block diagram showing the configuration of an information processing system 101 according to another embodiment of the present disclosure.
  • the information processing system 101 includes a sensor device 10, an electronic device 20, and a server 80.
  • the server 80 functions as an information processing device and acquires the estimated value of the floor reaction force applied to the user.
  • the electronic device 20 and the server 80 can communicate via the network 2.
  • the network 2 may be any network including mobile communication networks, the Internet, and the like.
  • the control unit 27 of the electronic device 20 receives sensor data from the sensor device 10 via the communication unit 21 in the same or similar manner as the information processing system 1 .
  • the control unit 27 transmits sensor data to the server 80 via the network 2 using the communication unit 21 .
  • the server 80 is, for example, a server belonging to a cloud computing system or other computing system.
  • the server 80 includes a communication section 81 , a storage section 82 and a control section 83 .
  • the communication unit 81 includes at least one communication module connectable to the network 2.
  • the communication module is, for example, a communication module conforming to a standard such as wired LAN (Local Area Network) or wireless LAN.
  • the communication unit 81 is connected to the network 2 via a wired LAN or wireless LAN by a communication module.
  • the storage unit 82 includes at least one semiconductor memory, at least one magnetic memory, at least one optical memory, or a combination of at least two of them.
  • a semiconductor memory is, for example, a RAM or a ROM.
  • RAM is, for example, SRAM or DRAM.
  • ROM is, for example, EEPROM or the like.
  • the storage unit 82 may function as a main storage device, an auxiliary storage device, or a cache memory.
  • the storage unit 82 stores data used for the operation of the server 80 and data obtained by the operation of the server 80 .
  • the storage unit 82 stores system programs, application programs, embedded software, and the like.
  • the storage unit 82 stores data of the transformer 30 and data used in the transformer 30 as shown in FIG.
  • the control unit 83 includes at least one processor, at least one dedicated circuit, or a combination thereof.
  • a processor may be a general-purpose processor such as a CPU or GPU, or a dedicated processor specialized for a particular process.
  • the dedicated circuit is, for example, FPGA or ASIC.
  • the control unit 83 executes processing related to the operation of the server 80 while controlling each unit of the server 80 .
  • the control unit 83 may execute the processing executed by the transformer 30 as shown in FIG.
  • the control unit 83 receives sensor data from the electronic device 20 via the network 2 using the communication unit 81 .
  • the control unit 83 acquires the estimated value of the floor reaction force applied to the user based on the sensor data by executing the same or similar processing as the processing by the control unit 27 of the electronic device 20 described above.
  • FIG. 46 is a sequence diagram showing operations of estimation processing executed by the information processing system shown in FIG. 45.
  • FIG. This operation corresponds to an example of the information processing method according to this embodiment.
  • the electronic device 20 receives an input instructing execution of the floor reaction force estimation process
  • the information processing system 101 starts the estimation process from step S11.
  • control unit 27 receives an input instructing execution of the floor reaction force estimation process through the input unit 22 (step S11).
  • the control unit 27 transmits a signal instructing the start of data detection as a broadcast signal to the plurality of sensor devices 10 through the communication unit 21 (step S12).
  • control unit 16 receives the signal instructing the start of data detection from the electronic device 20 by the communication unit 11 (step S13). Upon receiving this signal, the control section 16 starts data detection. The control unit 16 acquires data detected by the sensor unit 12 from the sensor unit 12, and transmits the acquired data as sensor data to the electronic device 20 through the communication unit 11 (step S14).
  • control unit 27 receives the sensor data from the sensor device 10 through the communication unit 21 (step S15).
  • the control unit 27 transmits the sensor data to the server 80 via the network 2 using the communication unit 21 (step S16).
  • the control unit 83 receives the sensor data from the electronic device 20 via the network 2 by the communication unit 81 (step S17).
  • the control unit 83 selects one of the cases C1 to C13 according to the type of the sensor device 10 that has transmitted the sensor data to the server 80 via the electronic device 20 (step S18).
  • the control unit 83 acquires the data of the transformer 30 used in the cases C1 to C13 selected in the process of step S18 from the storage unit 82 (step S19).
  • the control unit 83 inputs the sensor data of cases C1 to C13 selected in the process of step S18 to the transformer from which the data was acquired in the process of step S19, and acquires the estimated value of the floor reaction force from the transformer (step S20). .
  • the control unit 83 generates a measurement signal indicating the estimated value of the floor reaction force (step S21).
  • the control unit 83 transmits the generated measurement signal to the electronic device 20 via the network 2 by the communication unit 81 (step S22).
  • control section 27 receives the measurement signal from the server 80 via the network 2 by the communication section 21 (step S23).
  • the control unit 27 causes the notification unit 23 to notify the information indicated by the measurement signal (step S24).
  • the control unit 27 may transmit the measurement signal to the sensor device 10 through the communication unit 21, and cause the sensor device 10 to notify the information indicated by the measurement signal.
  • the information processing system 101 After executing the process of step S24, the information processing system 101 terminates the estimation process. After completing the estimation process, the information processing system 101 may execute the estimation process again when the user walks the set number of steps. In the estimation process to be executed again, the information processing system 101 may start from the process of step S14. The information processing system 101 may repeatedly execute the evaluation process each time the user walks the set number of steps until the electronic device 20 receives an input instructing to end the estimation process from the input unit 22 . As described above, when the electronic device 20 receives an input instructing to end the estimation process, the electronic device 20 may transmit a signal instructing to end data detection to the plurality of sensor devices 10 as a broadcast signal. As described above, the sensor device 10 may terminate data detection upon receiving a signal instructing it to terminate data detection.
  • the control unit 83 of the server 80 may acquire information regarding the user's walking or determine an evaluation regarding the user's walking based on the estimated value of the floor reaction force. In this case, in the process of step S21, the control unit 83 may generate a measurement signal indicating at least one of the estimated value of the floor reaction force, the user's walking evaluation, and the user's walking information.
  • the information processing system 101 can achieve the same or similar effects as the information processing system 1.
  • each functional unit, each means or each step may be added to another embodiment so as not to be logically inconsistent, or each functional unit, each means or each step of another embodiment may be added to another embodiment.
  • each functional unit, each means or each step of another embodiment may be added to another embodiment.
  • the above-described embodiments of the present disclosure are not limited to faithful implementation of the respective described embodiments, and may be implemented by combining features or omitting some of them as appropriate. can also
  • the communication unit 11 of the sensor device 10 may further include at least one communication module connectable to the network 2 as shown in FIG.
  • the communication module is, for example, a communication module compatible with mobile communication standards such as LTE, 4G, or 5G.
  • the control unit 16 of the sensor device 10 may transmit data detected by the sensor device 10 to the server 80 via the network 2 using the communication unit 11 .
  • cases C5 to C8, C12, and C13 are described as including sensor data indicating movement of the user's wrist.
  • sensor data indicating the movement of the user's wrist instead of sensor data indicating the movement of the user's wrist, sensor data indicating the movement of the user's forearm other than the wrist may be used.
  • the sensor device 10 has been described as including the communication unit 11 as shown in FIGS. 4 and 45 .
  • the sensor device 10 does not have to include the communication unit 11 .
  • the sensor data detected by the sensor device 10 may be transferred to a device such as the electronic device 20 or the server 80 that estimates the floor reaction force via a storage medium such as an SD (Secure Digital) memory card.
  • the SD memory card is also called "SD card”.
  • the sensor device 10 may be configured such that a storage medium such as an SD memory card can be inserted.
  • the electronic device 20 or the server 80 acquires the estimated value of the floor reaction force applied to the user based on the sensor data detected by the sensor device 10 and the learning model.
  • the sensor data is not limited to sensor data detected by the sensor device 10 attached to the user's body part, as long as the data indicates the movement of the user's body part.
  • Sensor data may be detected by any method.
  • the electronic device 20 or the server 80 may acquire an estimated floor reaction force applied to the user based on sensor data detected by optical, image, or magnetic motion capture, and a learning model. .
  • a general-purpose computer functions as the electronic device 20 according to this embodiment.
  • a program describing processing details for realizing each function of the electronic device 20 according to this embodiment is stored in the memory of a general-purpose computer, and the program is read and executed by the processor. Therefore, the configuration according to this embodiment can also be implemented as a program executable by a processor or a non-transitory computer-readable medium that stores the program.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

情報処理装置は、制御部を備える。制御部は、ユーザの身体部位の動きを示すセンサデータと学習モデルとによって、ユーザに加わる床反力の推定値を取得する。学習モデルは、センサデータが入力されると床反力の推定値を出力するように学習したものである。

Description

情報処理装置、電子機器、情報処理システム、情報処理方法及びプログラム 関連出願へのクロスリファレンス
　本出願は、２０２１年９月１４日に日本国に特許出願された特願２０２１－１４９７３３の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示は、情報処理装置、電子機器、情報処理システム、情報処理方法及びプログラムに関する。
　従来、床反力を測定する技術が知られている。例えば、特許文献１には、歩行動作における床反力の変化を示す床反力データを計測する床反力計が開示されている。例えば、特許文献２には、被験者の足に取り付けられる移動型床反力計測装置が開示されている。
特開２０１３－１３８７８３号公報 特開２０１０－１２７９２１号公報
　本開示の一実施形態に係る情報処理装置は、ユーザの身体部位の動きを示すセンサデータと学習モデルとによって、ユーザに加わる床反力の推定値を取得する制御部を備え、
　前記学習モデルは、前記センサデータが入力されると前記床反力の推定値を出力するように学習したものである。
　本開示の一実施形態に係る電子機器は、
　上述した情報処理装置が取得した前記床反力の推定値を報知する報知部を備える。
　本開示の一実施形態に係る情報処理システムは、
　ユーザの身体部位の動きを示すセンサデータと学習モデルとによって、ユーザに加わる床反力の推定値を取得する情報処理装置を含み、
　前記学習モデルは、前記センサデータが入力されると前記床反力の推定値を出力するように学習したものである。
　本開示の一実施形態に係る情報処理方法は、
　ユーザの身体部位の動きを示すセンサデータと学習モデルとによって、ユーザに加わる床反力の推定値を取得することを含み、
　前記学習モデルは、前記センサデータが入力されると前記床反力の推定値を出力するように学習したものである。
　本開示の一実施形態に係るプログラムは、
　コンピュータに、
　ユーザの身体部位の動きを示すセンサデータと学習モデルとによって、ユーザに加わる床反力の推定値を取得することを実行させ、
　前記学習モデルは、前記センサデータが入力されると前記床反力の推定値を出力するように学習したものである。
本開示の一実施形態に係る情報処理システムの概略構成を示す図である。 ローカル座標系及びグローバル座標系を説明するための図である。 ユーザの歩行の様子を説明するための図である。 図１に示す情報処理システムの構成を示す機能ブロック図である。 正規化床反力の推定値を示すグラフである。 トランスフォーマ（Transformer）の構成を示す機能ブロック図である。 「Multi-Head Attention」の構成を示す機能ブロック図である。 「Scaled Dot-Product Attention」の構成を示す機能ブロック図である。 センサデータの組み合わせの一例を示す図である。 評価結果のグラフである。 被験者を示す図である。 被験者の床反力の実測値及び推定値の一例のグラフである。 被験者の床反力の実測値及び推定値の一例のグラフである。 被験者の床反力の実測値及び推定値の一例のグラフである。 被験者の床反力の実測値及び推定値の一例のグラフである。 被験者の床反力の実測値及び推定値の一例のグラフである。 被験者の床反力の実測値及び推定値の一例のグラフである。 被験者の床反力の実測値及び推定値の一例のグラフである。 被験者の床反力の実測値及び推定値の一例のグラフである。 重心移動の評価が高い被験者の床反力の実測値及び推定値の一例のグラフである。 重心移動の評価が高い被験者の床反力の実測値及び推定値の一例のグラフである。 重心移動の評価が高い被験者の床反力の実測値及び推定値の一例のグラフである。 重心移動の評価が高い被験者の床反力の実測値及び推定値の一例のグラフである。 重心移動の評価が低い被験者の床反力の実測値及び推定値の一例のグラフである。 重心移動の評価が低い被験者の床反力の実測値及び推定値の一例のグラフである。 重心移動の評価が低い被験者の床反力の実測値及び推定値の一例のグラフである。 重心移動の評価が低い被験者の床反力の実測値及び推定値の一例のグラフである。 異なるセンサデータを用いた場合の床反力の推定値の一例のグラフである。 図２８に示す床反力の実測値と推定値との間の差分を示すグラフである。 異なるセンサデータを用いた場合の床反力の推定値の一例のグラフである。 図３０に示す床反力の実測値と推定値との間の差分を示すグラフである。 異なるセンサデータを用いた場合の床反力の推定値の一例のグラフである。 図３２に示す床反力の実測値と推定値との間の差分を示すグラフである。 異なるセンサデータを用いた場合の床反力の推定値の一例のグラフである。 図３４に示す床反力の実測値と推定値との間の差分を示すグラフである。 異なるセンサデータを用いた場合の床反力の推定値の一例のグラフである。 図３６に示す床反力の実測値と推定値との間の差分を示すグラフである。 異なるセンサデータを用いた場合の床反力の推定値の一例のグラフである。 図３８に示す床反力の実測値と推定値との間の差分を示すグラフである。 異なるセンサデータを用いた場合の床反力の推定値の一例のグラフである。 図４０に示す床反力の実測値と推定値との間の差分を示すグラフである。 異なるセンサデータを用いた場合の床反力の推定値の一例のグラフである。 図４２に示す床反力の実測値と推定値との間の差分を示すグラフである。 図１に示す電子機器が実行する床反力の推定処理の動作を示すフローチャートである。 本開示の他の実施形態に係る情報処理システムの構成を示す機能ブロック図である。 図４５に示す情報処理システムが実行する推定処理の動作を示すシーケンス図である。
　従来の床反力を測定する技術には、改善の余地がある。本開示によれば、改善された床反力を測定する技術を提供することができる。
　以下、本開示の実施形態について、図面を参照して説明する。以下の図面に示す構成要素において、同じ構成要素には、同じ符号を付す。
　（システムの構成）
　図１に示すような情報処理システム１は、歩行中のユーザに加わる床反力を推定することができる。ユーザは、任意の場所を歩行してよい。以下、ユーザが歩行する面は、「歩行面」とも記載される。歩行面は、例えば、地面、路面又は床面等である。
　情報処理システム１は、センサ機器１０Ａと、センサ機器１０Ｂと、センサ機器１０Ｃと、センサ機器１０Ｄ－１，１０Ｄ－２と、センサ機器１０Ｅ－１，１０Ｅ－２と、センサ機器１０Ｆ－１，１０Ｆ－２と、電子機器２０とを含む。ただし、情報処理システム１は、センサ機器１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ－１，１０Ｄ－２，１０Ｅ－１，１０Ｅ－２，１０Ｆ－１，１０Ｆ－１の全てを含まなくてよい。情報処理システム１は、センサ機器１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ－１，１０Ｄ－２，１０Ｅ－１，１０Ｅ－２，１０Ｆ－１，１０Ｆ－１のうちの少なくとも１個を含めばよい。
　以下、センサ機器１０Ｄ－１，１０Ｄ－２のそれぞれを特に区別しない場合、これらは、まとめて「センサ機器１０Ｄ」とも記載される。また、センサ機器１０Ｅ－１，１０Ｅ－２のそれぞれを特に区別しない場合、これらは、まとめて「センサ機器１０Ｅ」とも記載される。また、センサ機器１０Ｆ－１，１０Ｆ－２のそれぞれを特に区別しない場合、これらは、まとめて「センサ機器１０Ｆ」とも記載される。また、センサ機器１０Ａ～１０Ｄのそれぞれを特に区別しない場合、これらは、まとめて「センサ機器１０」とも記載される。
　センサ機器１０と電子機器２０とは、通信線を介して通信可能である。通信線は、有線及び無線の少なくとも何れかを含んで構成される。
　ローカル座標系は、図２に示すように、センサ機器１０の位置を基準とする座標系である。図２には、センサ機器１０の位置の例示として、センサ機器１０Ａの位置を破線で示す。ローカル座標系は、例えば、ｘ軸、ｙ軸及びｚ軸で構成される。ｘ軸と、ｙ軸と、ｚ軸とは、互いに直交する。ｘ軸は、センサ機器１０から見た前後方向に平行である。ｙ軸は、センサ機器１０から見た左右方向に平行である。ｚ軸は、センサ機器１０から見た上下方向に平行である。ｘ軸、ｙ軸及びｚ軸の正負の方向は、情報処理システム１の構成等に応じて、設定されてよい。
　グローバル座標系は、図２に示すように、ユーザが歩行する空間における位置を基準とする座標系である。グローバル座標系は、例えば、Ｘ軸、Ｙ軸及びＺ軸で構成される。Ｘ軸と、Ｙ軸と、Ｚ軸とは、互いに直交する。Ｘ軸は、ユーザから見た前後方向に平行である。Ｙ軸は、ユーザから見た上下方向に平行である。Ｚ軸は、ユーザから見た左右方向に平行である。Ｘ軸、Ｙ軸及びＺ軸の正負の方向は、情報処理システム１の構成等に応じて、設定されてよい。
　矢状面は、図２に示すように、ユーザの身体を左右対称に分ける面又はユーザの身体を左右対称に分ける面と平行な面である。前額面は、ユーザの身体を腹側と背側とに分ける面又はユーザの身体を腹側と背側とに分ける面に平行な面である。水平面は、ユーザの身体を上下に分ける面又はユーザの身体を上下に分ける面に平行な面である。矢状面と、前額面と、水平面とは、互いに垂直である。
　図１に示すように、センサ機器１０は、ユーザの身体部位に装着される。センサ機器１０は、ユーザの身体部位のうち、センサ機器１０が装着された身体部位の動きを示すセンサデータを検出する。センサデータは、ローカル座標系のデータとなる。
　センサ機器１０Ａは、ユーザの頭部に装着される。例えば、センサ機器１０Ａは、ユーザの耳に装着される。センサ機器１０Ａは、ウェアラブル機器であってよい。センサ機器１０Ａは、イヤホンであってもよいし、イヤホンに含まれてもよい。又は、センサ機器１０Ａは、既存のメガネ又はイヤホン等に後付け可能な装置であってもよい。センサ機器１０Ａは、任意の方法によって、ユーザの頭部に装着されてよい。センサ機器１０Ａは、ヘアバンド、かんざし等のヘアアクセサリ、イヤリング、ヘルメット、帽子、補聴器、入れ歯又はインプラント等に設置されることにより、ユーザの頭部に装着されてよい。
　センサ機器１０Ａは、センサ機器１０Ａの位置を基準とするローカル座標系のｘ軸がユーザから見た頭部の前後方向に平行になり、当該ローカル座標系のｙ軸がユーザから見た頭部の左右方向に平行になり、且つ当該ローカル座標系のｚ軸がユーザから見た頭部の上下方向に平行になるように、ユーザの頭部に装着されてよい。ただし、センサ機器１０Ａの位置を基準とするローカル座標系のｘ軸、ｙ軸及びｚ軸のそれぞれは、必ずしも、ユーザから見た頭部の前後方向、左右方向及び上下方向のそれぞれに一致しなくてよい。この場合、ユーザの頭部に対するセンサ機器１０Ａの相対姿勢は、適宜、初期化又は既知化されてよい。当該相対姿勢の初期化又は既知化は、センサ機器１０Ａをユーザの頭部に取り付ける治具の形状の情報又はセンサ機器１０Ａが装着されたユーザの頭部を撮像して生成された画像情報を利用することにより、行われてよい。
　センサ機器１０Ａは、ユーザの頭部の動きを示すセンサデータを検出する。センサ機器１０Ａが検出するセンサデータは、例えば、ユーザの頭部の速度、ユーザの頭部の加速度、ユーザの頭部の角度、ユーザの頭部の角速度、ユーザの頭部の温度及びユーザの頭部の位置における地磁気の少なくとも何れかのデータを含む。
　センサ機器１０Ｂは、ユーザの前腕部に装着される。例えば、センサ機器１０Ｂは、ユーザの手首に装着される。センサ機器１０Ｂは、ユーザの左側の前腕部に装着されてもよいし、ユーザの右側の前腕部に装着されてもよい。センサ機器１０Ｂは、腕時計型のウェアラブル機器であってよい。センサ機器１０Ｂは、任意の方法によって、ユーザの前腕部に装着されてよい。センサ機器１０Ｂは、バンド、ブレスレット、ミサンガ、グローブ、指輪、つけ爪又は義手等に設置されることにより、ユーザの前腕部に装着されてよい。当該ブレスレットは、装飾としてユーザが身に着けるものであってもよいし、ロッカー等の鍵を手首に装着するものであってもよい。
　センサ機器１０Ｂは、センサ機器１０Ｂの位置を基準とするローカル座標系のｘ軸がユーザから見た手首の前後方向に平行になり、当該ローカル座標系のｙ軸がユーザから見た手首の左右方向に平行になり、且つ当該ローカル座標系のｚ軸がユーザから見た手首の回旋方向に平行になるように、ユーザの前腕部に装着されてよい。手首の回旋方向は、例えば、手首がねじれて回旋する方向である。
　センサ機器１０Ｂは、ユーザの前腕部の動きを示すセンサデータを検出する。例えば、センサ機器１０Ｂは、手首の動きを示すセンサデータを検出する。センサ機器１０Ｂが検出するセンサデータは、例えば、ユーザの前腕部の速度、ユーザの前腕部の加速度、ユーザの前腕部の角度、ユーザの前腕部の角速度、ユーザの前腕部の温度及びユーザの前腕部の位置における地磁気の少なくとも何れかのデータを含む。
　センサ機器１０Ｃは、ユーザの腰部に装着される。センサ機器１０Ｃは、ウェアラブル機器であってよい。センサ機器１０Ｃは、ベルト又はクリップ等によってユーザの腰部に装着されてよい。
　センサ機器１０Ｃは、センサ機器１０Ｃの位置を基準とするローカル座標系のｘ軸がユーザから見た腰部の前後方向に一致し、当該ローカル座標系のｙ軸がユーザから見た腰部の左右方向に一致し、且つ当該ローカル座標系のｚ軸がユーザから見た腰部の回旋方向に一致するように、ユーザの腰部に装着されてよい。腰部の回旋方向は、例えば、腰部がねじれて回旋する方向である。
　センサ機器１０Ｃは、ユーザの腰部の動きを示すセンサデータを検出する。センサ機器１０Ｃが検出するセンサデータは、例えば、ユーザの腰部の速度、ユーザの腰部の加速度、ユーザの腰部の角度、ユーザの腰部の角速度、ユーザの腰部の温度及びユーザの腰部の位置における地磁気の少なくとも何れかのデータを含む。
　センサ機器１０Ｄ－１は、ユーザの左側の大腿部に装着される。センサ機器１０Ｄ－２は、ユーザの右側の大腿部に装着される。センサ機器１０Ｄは、ウェアラブル機器であってよい。センサ機器１０Ｄは、任意の方法によって、ユーザの大腿部に装着されてよい。センサ機器１０Ｄは、ベルト又はクリップ等によってユーザの大腿部に装着されてよい。センサ機器１０Ｄは、ユーザが着用するズボンの大腿部付近のポケットに入れられることにより、大腿部に装着されてよい。センサ機器１０Ｄは、ズボン、下着、ショーツ、サポータ、義足又はインプラント等に設置されることにより、ユーザの大腿部に装着されてよい。
　センサ機器１０Ｄは、センサ機器１０Ｄの位置を基準とするローカル座標系のｘ軸がユーザから見た大腿部の前後方向に平行になり、当該ローカル座標系のｙ軸がユーザから見た大腿部の左右方向に平行になり、且つ当該ローカル座標系のｚ軸がユーザから見た大腿部の回旋方向に平行になるように、ユーザの大腿部に装着されてよい。大腿部の回旋方向は、例えば、大腿部がねじれて回旋する方向である。
　センサ機器１０Ｄ－１は、ユーザの左側の大腿部の動きを示すセンサデータを検出する。センサ機器１０Ｄ－２は、ユーザの右側の大腿部の動きを示すセンサデータを検出する。センサ機器１０Ｄが検出するセンサデータは、例えば、ユーザの大腿部の速度、ユーザの大腿部の加速度、ユーザの大腿部の角度、ユーザの大腿部の角速度、ユーザの大腿部の温度及びユーザの大腿部の位置における地磁気の少なくとも何れかのデータを含む。
　センサ機器１０Ｅ－１は、ユーザの左側の足首に装着される。センサ機器１０Ｅ－２は、ユーザの右側の足首に装着される。センサ機器１０Ｅは、ウェアラブル機器であってよい。センサ機器１０Ｅは、任意の方法によって、ユーザの足首に装着されてよい。センサ機器１０Ｅは、ベルト又はクリップ等によってユーザの足首に装着されてよい。センサ機器１０Ｅは、アンクレット、バンド、ミサンガ、タトゥーのシール、サポータ、ギプス、ソックス、義足又はインプラント等に設置されることにより、ユーザの足首に装着されてよい。
　センサ機器１０Ｅは、センサ機器１０Ｅの位置を基準とするローカル座標系のｘ軸がユーザから見た足首の前後方向に一致し、当該ローカル座標系のｙ軸がユーザから見た足首の左右方向に一致し、且つ当該ローカル座標系のｚ軸がユーザから見た足首の回旋方向に一致するように、ユーザの足首に装着されてよい。足首の回旋方向は、例えば、足首がねじれて回旋する方向である。
　センサ機器１０Ｅ－１は、ユーザの左側の足首の動きを示すセンサデータを検出する。センサ機器１０Ｅ－２は、ユーザの右側の足首の動きを示すセンサデータを検出する。センサ機器１０Ｅが検出するセンサデータは、例えば、ユーザの足首の速度、ユーザの足首の加速度、ユーザの足首の角度、ユーザの足首の角速度、ユーザの足首の温度及びユーザの足首の位置における地磁気の少なくとも何れかのデータを含む。
　センサ機器１０Ｆ－１は、ユーザの左側の足部に装着される。センサ機器１０Ｆ－２は、ユーザの右側の足部に装着される。本実施形態では、足部は、ユーザのくるぶしからつま先までの部分である。センサ機器１０Ｆは、靴型のウェアラブル機器であってよい。センサ機器１０Ｆは、靴に設けられていてよい。センサ機器１０Ｆは、任意の方法によって、ユーザの足部に装着されてよい。センサ機器１０Ｆは、アンクレット、バンド、ミサンガ、つけ爪、タトゥーのシール、サポータ、ギプス、ソックス、インソール、義足、指輪又はインプラント等に設置されることにより、ユーザの足部に装着されてよい。
　センサ機器１０Ｆは、センサ機器１０Ｆの位置を基準とするローカル座標系のｘ軸がユーザから見た足部の前後方向に平行になり、当該ローカル座標系のｙ軸がユーザから見た足部の左右方向に平行になり、且つ当該ローカル座標系のｚ軸がユーザから見た足部の上下方向に平行になるように、ユーザの足部に装着されてよい。
　センサ機器１０Ｆ－１は、ユーザの左側の足部の動きを示すセンサデータを検出する。センサ機器１０Ｆ－２は、ユーザの右側の足首の動きを示すセンサデータを検出する。センサ機器１０Ｆが検出するセンサデータは、例えば、ユーザの足部の速度、ユーザの足部の加速度、ユーザの足部の角度、ユーザの足部の角速度、ユーザの足部の温度及びユーザの足部の位置における地磁気の少なくとも何れかのデータを含む。
　電子機器２０は、例えば、歩行中のユーザによって携帯される。電子機器２０は、例えば、携帯電話機、スマートフォン又はタブレット等のモバイル機器である。
　電子機器２０は、情報処理装置として機能し、センサ機器１０が検出したセンサデータに基づいて、ユーザに加わる床反力の推定値を取得する。以下、図３を参照し、ユーザの歩行の様子とともに床反力について説明する。
　図３には、ユーザが歩行する様子として、右側の足部が歩行面に着地してから再び着地するまでの様子を示す。図３では、ユーザの右側の足には、「Ｒ」の文字を付す。また、ユーザの左側の足には、「Ｌ」の文字を付す。
　床反力は、例えば、ユーザの足部と歩行面との接触部分から生じる反力である。図３では、ユーザの右側の足部に加わる床反力を矢印として示す。
　以下、ユーザの２つの足部のうちの一方の足部は、「第１足部」とも記載される。また、ユーザの２つの足部のうちの他方の足部は、「第２足部」とも記載される。以下、第１足部に着目して歩行周期等について説明する。図３では、第１足部は、右側の足部となる。
　歩行周期は、第１足部が歩行面に着地してから再び歩行面に着地するまでの期間である。歩行周期の起点及び終点は、第１足部の着地タイミングとなる。着地タイミングは、足部が歩行面に着地するタイミングである。図３では、歩行周期は、ユーザの右側の足部が歩行面に着地してから再び着地するまでの期間である。歩行周期は、立脚期と、遊脚期とを含む。
　立脚期は、第１足部が歩行面に着地してから離れるまでの期間である。立脚期の起点は、第１足部の着地タイミングとなる。立脚期の終点は、第１足部が歩行面を蹴り出すタイミングとなる。立脚期は、第１足部が歩行面に接地している期間となる。立脚期では、第１足部が歩行面に接地していることにより、第１足部に床反力が加わる。図３では、立脚期は、ユーザの右側の足部が地面に着地してから離れるまでの時間である。
　立脚期は、荷重応答期（loading response）と、立脚中期（midstance）と、立脚後期（terminal stance）と、前遊脚期（pre-swing）とを含む。これらの期間では、床反力は、第１足部と歩行面とが接触する部分が変わること等により、多様に変化する。床反力が多様に変化することにより、床反力が推定できれば、これらの期間を、推定した床反力によって特定することができる。
　荷重応答期は、第１足部の踵から歩行面を踏み込む期間である。荷重応答期では、第１足部の踵から歩行面を踏み込むことで、床反力が大きくなる。立脚中期では、ユーザの身体が歩行面の上方向に移動する。ユーザの身体が歩行面の上方向に移動することにより、立脚中期では、ユーザの重心が最も歩行面の上方向に移動する。立脚後期では、ユーザの身体が前方に移動する。
　遊脚期は、第１足部が歩行面から離れてから歩行面に着地するまでの期間である。図３では、ユーザの右側の足部が歩行面から離れてから歩行面に着地するまでの期間である。遊脚期では、第１足部が歩行面から離れていることにより、第１足部には床反力が加わらない。
　図４に示すように、センサ機器１０は、センサ部１２を含んで構成される。センサ機器１０は、通信部１１と、報知部１３と、記憶部１５と、制御部１６とをさらに含んで構成されてよい。センサ機器１０Ｃ～１０Ｆは、報知部１３を含まなくてよい。
　通信部１１は、通信線を介して電子機器２０と通信可能な少なくとも１つの通信モジュールを含んで構成される。通信モジュールは、通信線の規格に対応した通信モジュールである。通信線の規格は、例えば、Bluetooth（登録商標）、赤外線及びＮＦＣ（Near Field Communication）等を含む近距離無線通信規格である。
　センサ部１２は、センサ機器１０によって検出しようとするセンサデータに応じた、任意のセンサを含んで構成される。センサ部１２は、例えば、３軸のモーションセンサ、３軸の加速度センサ、３軸の速度センサ、３軸のジャイロセンサ、３軸の地磁気センサ、温度センサ、慣性計測ユニット（ＩＭＵ：Inertial Measurement Unit）及びカメラ等の少なくとも何れかを含んで構成される。センサ部１２がカメラを含んで構成される場合、カメラがユーザの身体部位を撮像して生成した画像を解析することにより、当該身体部位の動きを検出できる。
　センサ部１２が加速度センサ及び地磁気センサを含んで構成される場合、加速度センサ及び地磁気センサのそれぞれが検出したデータは、センサ機器１０によって検出する身体部位の初期の角度の算出に用いられてよい。また、加速度センサ及び地磁気センサのそれぞれが検出したデータは、センサ機器１０によって検出される角度のデータの補正に用いられてよい。
　センサ部１２がジャイロセンサを含んで構成される場合、ジャイロセンサが検出した角速度を時間積分することにより、センサ機器１０によって検出する身体部位の角度が算出されてよい。
　報知部１３は、情報を報知する。本実施形態では、報知部１３は、出力部１４を含む。ただし、報知部１３は、出力部１４に限定されない。報知部１３は、情報を出力可能な任意の構成要素を含んでよい。
　出力部１４は、データを出力可能である。出力部１４は、データを出力可能な少なくとも１つの出力用インタフェースを含んで構成される。出力用インタフェースは、例えば、ディスプレイ又はスピーカ等である。ディスプレイは、例えば、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electro Luminescence）ディスプレイ等である。
　出力部１４は、センサ機器１０Ａに含まれる場合、スピーカを含んで構成されてよい。また、出力部１４は、センサ機器１０Ｂに含まれる場合、ディスプレイを含んで構成されてよい。
　記憶部１５は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ又はこれらのうちの少なくとも２種類の組み合わせを含んで構成される。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）等である。ＲＡＭは、例えば、ＳＲＡＭ（Static Random Access Memory）又はＤＲＡＭ（Dynamic Random Access Memory）等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)等である。記憶部１５は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部１５は、センサ機器１０の動作に用いられるデータと、センサ機器１０の動作によって得られたデータとを記憶する。例えば、記憶部１５は、システムプログラム、アプリケーションプログラム及び組み込みソフトウェア等を記憶する。
　制御部１６は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ（Central Processing Unit）若しくはＧＰＵ（Graphics Processing Unit）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）等である。制御部１６は、センサ機器１０の各部を制御しながら、センサ機器１０の動作に関わる処理を実行する。
　制御部１６は、データ検出の開始を指示する信号を、電子機器２０から通信部１１によって受信する。制御部１６は、この信号を受信すると、データ検出を開始する。例えば、制御部１６は、センサ部１２から、センサ部１２が検出したデータを取得する。制御部１６は、取得したデータをセンサデータとして電子機器２０に通信部１１によって送信する。データ検出の開始を指示する信号は、ブロードキャスト信号として、電子機器２０から複数のセンサ機器１０に送信される。データ検出の開始を指示する信号がブロードキャスト信号として複数のセンサ機器１０に送信されることにより、複数のセンサ機器１０は、データ検出を同時に開始することができる。
　制御部１６は、予め設定された時間間隔で、センサ部１２からデータを取得し、取得したデータをセンサデータとして通信部１１によって送信する。この時間間隔は、一般的なユーザの歩行速度等に基づいて、設定されてよい。この時間間隔は、複数のセンサ機器１０のそれぞれにおいて、同じであってよい。この時間間隔が複数のセンサ機器１０で同じであることにより、複数のセンサ機器１０のそれぞれがデータを検出するタイミングを同期させることができる。
　図４に示すように、電子機器２０は、通信部２１と、入力部２２と、報知部２３と、記憶部２６と、制御部２７とを含んで構成される。
　通信部２１は、通信線を介してセンサ機器１０と通信可能な少なくとも１つの通信モジュールを含んで構成される。通信モジュールは、通信線の規格に対応した少なくとも１つの通信モジュールである。通信線の規格は、例えば、Bluetooth（登録商標）、赤外線及びＮＦＣ等を含む近距離無線通信規格である。
　通信部２１は、後述の図４５に示すようなネットワーク２に接続可能な少なくとも１つの通信モジュールをさらに含んで構成されてよい。通信モジュールは、例えば、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）又は５Ｇ（5th Generation）等の移動体通信規格に対応した通信モジュールである。
　入力部２２は、ユーザからの入力を受付可能である。入力部２２は、ユーザからの入力を受付可能な少なくとも１つの入力用インタフェースを含んで構成される。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン又はマイク等である。
　報知部２３は、情報を報知する。本実施形態では、報知部２３は、出力部２４及び振動部２５を含む。ただし、報知部２３は、出力部２４及び振動部２５に限定されない。報知部２３は、情報を出力可能な任意の構成要素を含んでよい。出力部２４及び振動部２５は、電子機器２０に搭載されてもよいし、センサ機器１０Ｂ～１０Ｆの何れかの近傍に配置されてもよい。
　出力部２４は、データを出力可能である。出力部２４は、データを出力可能な少なくとも１つの出力用インタフェースを含んで構成される。出力用インタフェースは、例えば、ディスプレイ又はスピーカ等である。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイ等である。
　振動部２５は、電子機器２０を振動可能である。振動部２５は、振動素子を含んで構成される。振動素子は、例えば、圧電素子等である。
　記憶部２６は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ又はこれらのうちの少なくとも２種類の組み合わせを含んで構成される。半導体メモリは、例えば、ＲＡＭ又はＲＯＭ等である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭ等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ等である。記憶部２６は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部２６には、電子機器２０の動作に用いられるデータと、電子機器２０の動作によって得られたデータとが記憶される。例えば、記憶部２６は、システムプログラム、アプリケーションプログラム及び組み込みソフトウェア等を記憶する。例えば、記憶部２６は、後述の図６に示すようなトランスフォーマ３０のデータ及びトランスフォーマ３０に用いられるデータ等を記憶する。
　制御部２７は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ若しくはＧＰＵ等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ又はＡＳＩＣ等である。制御部２７は、電子機器２０の各部を制御しながら、電子機器２０の動作に関わる処理を実行する。制御部２７は、後述の図６に示すようなトランスフォーマ３０が実行する処理を実行してよい。
　制御部２７は、床反力の推定処理の実行を指示する入力を、入力部２２によって受け付ける。この入力は、電子機器２０に、床反力の推定処理を実行させる入力である。この入力は、例えば、センサ機器１０を装着したユーザによって入力部２２から入力される。ユーザは、例えば、歩行を開始する前に、この入力を入力部２２から入力する。制御部２７は、この床反力の推定処理の実行を指示する入力とともに、ユーザの体重を示す入力及びユーザの身長を示す入力の少なくとも何れかを、入力部２２によって受け付けてもよい。制御部２７は、ユーザの体重を示す入力及びユーザの身長を示す入力の少なくとも何れかを入力部２２によって受け付けた場合、受け付けたユーザの体重の情報及び身長の情報を記憶部２６に記憶させてよい。
　制御部２７は、床反力の推定処理の実行を指示する入力を入力部２２によって受け付けると、データ検出の開始を指示する信号をブロードキャスト信号として、複数のセンサ機器１０に通信部２１によって送信する。データ検出の開始を指示する信号が複数のセンサ機器１０に送信された後、少なくとも１個のセンサ機器１０から電子機器２０へ、センサデータが送信される。
　制御部２７は、少なくとも１個のセンサ機器１０から、センサデータを通信部２１によって受信する。制御部２７は、センサ機器１０からセンサデータを受信することにより、センサ機器１０からセンサデータを取得する。
　制御部２７は、センサデータと、学習モデルとによって、ユーザに加わる床反力の推定値を取得する。制御部２７は、グローバル座標系のセンサデータを用いる場合、センサ機器１０から取得したローカル座標系のセンサデータに対して座標変換を実行することにより、グローバル座標系のセンサデータを取得してよい。
　学習モデルは、例えば、センサデータが入力されると床反力の推定値を出力するように機械学習したものである。本実施形態では、制御部２７は、学習モデルとして、「Ashish Vaswaniら著、“Attention Is All You Need”、２０１７年６月１２日、arXiv:1706.03762v5 [cs.CL]」に記載のトランスフォーマ（Transformer）を用いる。トランスフォーマは、時系列データを処理することができる。ただし、学習モデルは、トランスフォーマに限定されない。制御部２７は、任意の機械学習アルゴリズムに基づく機械学習によって生成された学習モデルを用いてよい。トランスフォーマの構成については、後述する。
　制御部２７は、センサデータとトランスフォーマとによって、例えば、図５に示すような正規化床反力の推定値を取得する。正規化床反力は、ユーザに加わる床反力を正規化したものである。本実施形態では、正規化床反力は、ユーザに加わる床反力をユーザの体重で除算することにより、正規化される。正規化床反力は、重力加速度９．８０［ｍ／ｓ２］とユーザの運動加速度とを加算したものとなる。後述するように、トランスフォーマは、センサデータが入力されると正規化床反力の推定値を出力するように学習することができる。
　図５に、正規化床反力の推定値のグラフを示す。図５における横軸は、時間［ｓ］を示す。図５における縦軸は、正規化床反力［Ｎ／ｋｇ］を示す。図５には、正規化床反力の推定値と合わせて重力加速度も示す。正規化床反力ＬＹは、ユーザの左側の足部の正規化床反力のうち、グローバル座標系のＹ軸に沿う正規化床反力である。正規化床反力ＲＹは、ユーザの右側の足部の正規化床反力のうち、グローバル座標系のＹ軸に沿う正規化床反力である。正規化床反力ＳＹは、正規化床反力ＬＹと正規化床反力ＲＹとを加算したものである。Ｙ軸に沿う正規化床反力は、ユーザから見た上から下に向かう方向を正方向とする。
　制御部２７は、ユーザの体重を示す入力を入力部２２によって受け付けた場合、正規化床反力の推定値にユーザの体重を乗算することにより、床反力の算出値を算出してよい。ここで、本明細書では、正規化床反力の推定値と、正規化床反力の推定値から算出した床反力の算出値とを特に区別しない場合、これらは、まとめて「床反力の推定値」とも記載される。
　制御部２７は、床反力の推定値を、報知部２３に報知させてよい。例えば、制御部２７は、図５に示すような床反力の推定値を示す情報を、出力部２４のディスプレイに表示させてもよい。又は、制御部２７は、床反力の推定値を示す情報を、音声として出力部２４のスピーカに出力させてもよい。後述するように、制御部２７は、センサ機器１０に、床反力の推定値を報知させてもよい。後述するように、制御部２７は、床反力の推定値に基づいて、ユーザの歩行に関する任意の情報を取得してもよいし、ユーザの歩行に対する評価を決定してもよい。
　[トランスフォーマの構成]
　以下、図６を参照し、トランスフォーマについて説明する。図６に示すようなトランスフォーマ３０は、複数個の時系列に沿ったセンサデータが入力されると、ユーザの右側又は左側の足部に加わる正規化床反力の推定値の時系列データを出力するように、学習することができる。トランスフォーマ３０は、Ｘ軸、Ｙ軸及びＺ軸の全ての正規化床反力の推定値の時系列データを出力するように学習してもよいし、Ｘ軸、Ｙ軸及びＺ軸のうちの何れか１つ以上の正規化床反力の推定値の時系列データを出力するように学習してもよい。トランスフォーマ３０に入力される時系列に沿ったセンサデータの時間範囲及び時間間隔は、所望の推定精度等に応じて設定されてよい。
　図６に示すように、トランスフォーマ３０は、エンコーダ４０と、デコーダ５０とを含む。エンコーダ４０は、機能部４１と、機能部４２と、Ｎ段のレイヤ４３とを含む。レイヤ４３は、機能部４４と、機能部４５と、機能部４６と、機能部４７とを含む。デコーダ５０は、機能部５１と、機能部５２と、Ｎ段のレイヤ５３と、機能部６０と、機能部６１とを含む。レイヤ５３は、機能部５４と、機能部５５と、機能部５６と、機能部５７と、機能部５８と、機能部５９とを含む。エンコーダ４０が含むレイヤ４３の段数と、デコーダ５０が含むレイヤ５３の段数は、同じくＮ段である。
　機能部４１は、「Input Embedding」とも記載される。機能部４１には、複数個の時系列に沿ったセンサデータの配列が入力される。例えば、時刻ｔｉ（０≦ｉ≦ｎ）のセンサデータを「Ｄｔｉ」と記載すると、機能部４１に入力されるセンサデータの配列は、（Ｄｔ０，Ｄｔ１，…，Ｄｔｎ）と表される。機能部４１には、複数種類のセンサデータを組み合わせた配列が入力されてもよい。例えば、時刻ｔｉ（０≦ｉ≦ｎ）の異なる２つのセンサデータのそれぞれを「Ｄａｔｉ」及び「Ｄｂｔｉ」と記載すると、機能部４１に入力されるセンサデータの配列は、（Ｄａｔ０，Ｄａｔ１，…，Ｄａｔｎ，Ｄｂｔ０，Ｄｂｔ１，…，Ｄｂｔｎ）と表される。
　機能部４１は、入力されたセンサデータの配列の各要素を多次元ベクトルに変換することにより、分散表現されたベクトルを生成する。多次元ベクトルの次元数は、予め設定されてよい。
　機能部４２は、「Positional Encoding」とも記載される。機能部４２は、分散表現されたベクトルに位置情報を付与する。
　機能部４２は、分散表現されたベクトルの各要素に対して位置情報を算出して加算する。位置情報は、分散表現されたベクトルの各要素の、機能部４１に入力されるセンサデータの配列における位置及び分散表現されたベクトルの要素配列における位置を示す。機能部４２は、分散表現されたベクトルの要素の配列において、（２×ｉ）番目の要素の位置情報ＰＥを、式（１）によって算出する。機能部４２は、分散表現されたベクトルの要素の配列において、（２×ｉ＋１）番目の要素の位置情報ＰＥを、式（２）によって算出する。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 　式（１）及び式（２）において、posは、分散表現されたベクトルの要素の、機能部４１に入力されるセンサデータの配列における位置である。ｄmodelは、分散表現されたベクトルの次元数である。
　Ｎ段のレイヤ４３において、１段目のレイヤ４３には、機能部４２から、位置情報が付与され、且つ分散表現されたベクトルが入力される。２段目以降のレイヤ４３には、前段のレイヤ４３からのベクトルが入力される。
　機能部４４は、「Multi-Head Attention」とも記載される。機能部４４には、Ｑ（Query）ベクトル、Ｋ（Key）ベクトル及びＶ（Value）ベクトルが入力される。Ｑベクトルは、レイヤ４３に入力されるベクトルに、重み行列ＷＱを乗じたものである。Ｋベクトルは、レイヤ４３に入力されるベクトルに、重み行列ＷＫを乗じたものである。Ｖベクトルは、レイヤ４３に入力されるベクトルに、重み行列ＷＶを乗じたものである。トランスフォーマ３０は、学習時、重み行列ＷＱ、重み行列ＷＫ及び重み行列ＷＶを学習する。
　機能部４４は、図７に示すように、ｈ個の機能部７０と、機能部の「Linear」及び「Contact」とを含む。機能部７０は、「Scaled Dot-Product Attention」とも記載される。機能部７０には、ｈ個に分割された、Ｑベクトル、Ｋベクトル及びＶベクトルが入力される。
　機能部７０は、図８に示すような、機能部の「MatMul」、「Scale」、「Mask(opt.)」及び「Softmax」を含む。機能部７０は、Ｑベクトル、Ｋベクトル及びＶベクトルと、式（３）とによって、スケール内積アテンション（Scaled Dot-Product Attention）を算出する。
Figure JPOXMLDOC01-appb-M000003
 　式（３）において、ｄｋは、Ｑベクトル及びＫベクトルの次元数である。
　機能部４４は、図７に示すようなｈ個の機能部７０によってスケール内積アテンションを算出すると、マルチヘッドアテンション（Multi-Head Attention）を算出する。機能部４４は、式（４）によってマルチヘッドアテンションを算出する。
Figure JPOXMLDOC01-appb-M000004
 　式（４）において、ｄｋは、Ｑベクトル及びＫベクトルの次元数である。ｄｖは、Ｖベクトルの次元数である。
　機能部４４が算出したマルチヘッドアテンションは、図６に示すような機能部４５に入力される。
　機能部４５は、「Add & Norm」とも記載される。機能部４５は、レイヤ４３に入力されるベクトルに、機能部４４が算出したマルチヘッドアテンションを加算して正規化する。機能部４５は、正規化後のベクトルを、機能部４６に入力する。
　機能部４６は、「Position-wise Feed-Forward Networks」とも記載される。機能部４６は、ＲｅＬＵ（Rectified Linear Unit）のような活性化関数と、機能部４５から入力されるベクトルとによって、出力を生成する。機能部４６は、ベクトル化される前の時系列に沿ったセンサデータすなわち機能部４１に入力される時系列に沿ったセンサデータの要素配列の位置毎に、異なるＦＦＮ（Feed-Forward Networks）を用いる。機能部４５から機能部４６に入力されるベクトルを「ｘ」と記載すると、機能部４６は、式（５）によって出力ＦＦＮ（ｘ）を生成する。
Figure JPOXMLDOC01-appb-M000005
 　式（５）において、Ｗ１及びＷ２は、係数である。ｂ１及びｂ２は、バイアスである。Ｗ１及びＷ２並びにｂ１及びｂ２は、ベクトル化される前の時系列に沿ったセンサデータの要素配列の位置毎に、異なってよい。
　機能部４７は、「Add & Norm」とも記載される。機能部４７は、機能部４５が出力したベクトルに、機能部４６が生成した出力を加算して正規化する。
　機能部５１は、「Input Embedding」とも記載される。機能部５１には、デコーダ５０が１つ前までの処理で出力した正規化床反力の推定値の時系列データが入力される。デコーダ５０が最初の時刻の床反力のデータを推定する場合、機能部５１には、ダミーデータ等の予め設定されたデータが入力されてよい。機能部５１は、機能部４１と同一又は類似に、入力された時系列データの各要素を多次元ベクトルに変換することにより、分散表現されたベクトルを生成する。機能部４１と同一又は類似に、多次元ベクトルの次元数は、予め設定されてよい。
　機能部５２は、「Positional Encoding」とも記載される。機能部５２は、機能部４２と同一又は類似に、分散表現されたベクトルに位置情報を付与する。つまり、機能部５２は、分散表現されたベクトルの各要素に対して位置情報を算出して加算する。位置情報は、分散表現されたベクトルの各要素の、機能部５１に入力される時系列データの配列における位置及び分散表現されたベクトルの要素配列における位置を示す。
　Ｎ段のレイヤ５３において、１段目のレイヤ５３には、機能部５２から、位置情報が付与され、且つ分散表現されたベクトルが入力される。２段目以降のレイヤ５３には、前段のレイヤ５３からのベクトルが入力される。
　機能部５４は、「Masked Multi-Head Attention」とも記載される。機能部５４には、機能部４４と同一又は類似に、Ｑベクトル、Ｋベクトル及びＶベクトルが入力される。Ｑベクトル、Ｋベクトル及びＶベクトルは、レイヤ５３に入力されるベクトルに、それぞれ、同一又は異なる重み行列を乗じたものである。トランスフォーマ３０は、学習時、これらの重み行列を学習する。機能部５４は、機能部４４と同一又は類似に、入力されるＱベクトル、Ｋベクトル及びＶベクトルによって、マルチヘッドアテンションを算出する。
　ここで、機能部５４には、トランスフォーマ３０の学習時、正解である正規化床反力の時系列データが一度に入力される。トランスフォーマ３０の学習時、機能部５４は、正規化床反力の時系列データにおいて、デコーダ５０が推定すべき時刻のデータ以降の時刻のデータに、マスクをする。
　機能部５５は、「Add & Norm」とも記載される。機能部５５は、レイヤ５３に入力されるベクトルに、機能部５４が算出したマルチヘッドアテンションを加算して正規化する。
　機能部５６は、「Multi-Head Attention」とも記載される。機能部５６には、Ｑベクトル、Ｋベクトル及びＶベクトルが入力される。Ｑベクトルは、機能部５５が機能部５６に入力した正規化後のベクトルである。Ｋベクトル及びＶベクトルは、エンコーダ４０の最終段のレイヤ４３が出力したベクトルに、それぞれ、同一又は異なる重み行列を乗じたものである。機能部５６は、機能部４４と同一又は類似に、入力されるＱベクトル、Ｋベクトル及びＶベクトルによって、マルチヘッドアテンションを算出する。
　機能部５７は、「Add & Norm」とも記載される。機能部５７は、機能部５５が出力したベクトルに、機能部５６が算出したマルチヘッドアテンションを加算して正規化する。
　機能部５８は、「Position-wise Feed-Forward Networks」とも記載される。機能部５８は、機能部４６と同一又は類似に、ＲｅＬＵのような活性化関数と、機能部５７から入力されるベクトルとによって、出力を生成する。
　機能部５９は、「Add & Norm」とも記載される。機能部５９は、機能部５７が出力したベクトルに、機能部５８が生成した出力を加算して正規化する。
　機能部６０は、「Linear」とも記載される。機能部６１は、「SoftMax」とも記載される。最終段のレイヤ５３の出力は、機能部６０及び機能部６１によって正規化等された後、床反力の推定値のデータとしてデコーダ５０から出力される。
　［センサデータの組み合わせ］
　制御部２７は、１種類のセンサデータを学習したトランスフォーマを用いてもよいし、複数種類のセンサデータの組み合わせを学習したトランスフォーマを用いてもよい。複数種類のセンサデータの組み合わせは、例えば、図９に示すようなケースＣ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６，Ｃ７，Ｃ８，Ｃ９，Ｃ１０，Ｃ１１，Ｃ１２，Ｃ１３である。
　図９に、センサデータの組み合わせの一例を示す。ケースＣ１～Ｃ１３は、センサデータの組み合わせの一例である。制御部２７は、センサデータを電子機器２０に送信したセンサ機器１０の種類に応じて、ケースＣ１～Ｃ１３の何れかを選択してよい。ケースＣ１～Ｃ１３のそれぞれにおいて用いられるトランスフォーマ３０のデータは、ケースＣ１～Ｃ１３とそれぞれ対応付けられて記憶部２６に記憶されてよい。制御部２７は、選択したケースＣ１～Ｃ１３の何れかのセンサデータを、選択したケースＣ１～Ｃ１３の何れかに対応するトランスフォーマ３０に入力することにより、正規化床反力の推定値を取得する。
　＜ケースＣ１＞
　制御部２７は、センサデータを電子機器２０に送信したセンサ機器１０がセンサ機器１０Ａを含む場合、ケースＣ１を選択してよい。
　ケースＣ１では、ユーザの頭部の動きを示すセンサデータが用いられる。ケースＣ１では、センサデータＤ１０ＡＧと、センサデータＤ１０ＡＬとが用いられる。
　センサデータＤ１０ＡＧは、グローバル座標系の、ユーザの頭部の動きを示すセンサデータである。センサデータＤ１０ＡＧは、グローバル座標系の、Ｘ軸におけるユーザの頭部の速度データ及び加速度データと、Ｙ軸におけるユーザの頭部の速度データ及び加速度データと、Ｚ軸におけるユーザの頭部の速度データ及び加速度データとを含む。制御部２７は、センサ機器１０Ａから取得したローカル座標系のセンサデータに対して座標変換を実行することにより、センサデータＤ１０ＡＧを取得する。
　センサデータＤ１０ＡＬは、センサ機器１０Ａの位置を基準とするローカル座標系の、ユーザの頭部の動きを示すセンサデータである。センサデータＤ１０ＡＬは、当該ローカル座標系の、ｘ軸におけるユーザの頭部の速度データ及び加速度データと、ｙ軸におけるユーザの頭部の速度データ及び加速度データと、ｚ軸におけるユーザの頭部の速度データ及び加速度データとを含む。制御部２７は、センサ機器１０Ａから、センサデータＤ１０ＡＬを取得する。
　＜ケースＣ２＞
　制御部２７は、センサデータを電子機器２０に送信したセンサ機器１０がセンサ機器１０Ａとセンサ機器１０Ｅ－１又はセンサ機器１０Ｅ－２とを含む場合、ケースＣ２を選択してよい。
　ケースＣ２では、ユーザの頭部の動きを示すセンサデータと、ユーザの２つの足首のうちの何れか一方の足首の動きを示すセンサデータが用いられる。ケースＣ２では、センサデータＤ１０ＡＧと、センサデータＤ１０ＡＬと、センサデータＤ１０ＥＬ－１又はセンサデータＤ１０ＥＬ－２とが用いられる。
　センサデータＤ１０ＥＬ－１は、センサ機器１０Ｅ－１の位置を基準とするローカル座標系の、ユーザの左側の足首の動きを示すセンサデータである。センサデータＤ１０ＥＬ－１は、当該ローカル座標系の、ｘ軸におけるユーザの左側の足首の速度データ及び加速度データと、ｙ軸におけるユーザの左側の足首の速度データ及び加速度データと、ｚ軸におけるユーザの左側の足首の速度データ及び加速度データとを含む。制御部２７は、センサ機器１０Ｅ－１から、センサデータＤ１０ＥＬ－１を取得する。
　センサデータＤ１０ＥＬ－２は、センサ機器１０Ｅ－２の位置を基準とするローカル座標系の、ユーザの右側の足首の動きを示すセンサデータである。センサデータＤ１０ＥＬ－２は、当該ローカル座標系の、ｘ軸におけるユーザの右側の足首の速度データ及び加速度データと、ｙ軸におけるユーザの右側の足首の速度データ及び加速度データと、ｚ軸におけるユーザの右側の足首の速度データ及び加速度データとを含む。制御部２７は、センサ機器１０Ｅ－２から、センサデータＤ１０ＥＬ－２を取得する。
　＜ケースＣ３＞
　制御部２７は、センサデータを電子機器２０に送信したセンサ機器１０がセンサ機器１０Ａとセンサ機器１０Ｆ－１又はセンサ機器１０Ｆ－２とを含む場合、ケースＣ３を選択してよい。
　ケースＣ３では、ユーザの頭部の動きを示すセンサデータと、ユーザの２つの足部のうちの何れか一方の足部の動きを示すセンサデータが用いられる。ケースＣ３では、センサデータＤ１０ＡＧと、センサデータＤ１０ＡＬと、センサデータＤ１０ＦＬ－１又はセンサデータＤ１０ＦＬ－２とが用いられる。
　センサデータＤ１０ＦＬ－１は、センサ機器１０Ｆ－１の位置を基準とするローカル座標系の、ユーザの左側の足部の動きを示すセンサデータである。センサデータＤ１０ＦＬ－１は、当該ローカル座標系の、ｘ軸におけるユーザの左側の足部の速度データ及び加速度データと、ｙ軸におけるユーザの左側の足部の速度データ及び加速度データと、ｚ軸におけるユーザの左側の足部の速度データ及び加速度データとを含む。制御部２７は、センサ機器１０Ｆ－１から、センサデータＤ１０ＦＬ－１を取得する。
　センサデータＤ１０ＦＬ－２は、センサ機器１０Ｆ－２の位置を基準とするローカル座標系の、ユーザの右側の足部の動きを示すセンサデータである。センサデータＤ１０ＦＬ－２は、当該ローカル座標系の、ｘ軸におけるユーザの右側の足部の速度データ及び加速度データと、ｙ軸におけるユーザの右側の足部の速度データ及び加速度データと、ｚ軸におけるユーザの右側の足部の速度データ及び加速度データとを含む。制御部２７は、センサ機器１０Ｆ－２から、センサデータＤ１０ＦＬ－２を取得する。
　＜ケースＣ４＞
　制御部２７は、センサデータを電子機器２０に送信したセンサ機器１０がセンサ機器１０Ａとセンサ機器１０Ｄ－１又はセンサ機器１０Ｄ－２とを含む場合、ケースＣ４を選択してよい。
　ケースＣ４では、ユーザの頭部の動きを示すセンサデータと、ユーザの２つの大腿部のうちの何れか一方の大腿部の動きを示すセンサデータが用いられる。ケースＣ４では、センサデータＤ１０ＡＧと、センサデータＤ１０ＡＬと、センサデータＤ１０ＤＬ－１又はセンサデータＤ１０ＤＬ－２とが用いられる。
　センサデータＤ１０ＤＬ－１は、センサ機器１０Ｄ－１の位置を基準とするローカル座標系の、ユーザの左側の大腿部の動きを示すセンサデータである。センサデータＤ１０ＤＬ－１は、当該ローカル座標系の、ｘ軸におけるユーザの左側の大腿部の速度データ及び加速度データと、ｙ軸におけるユーザの左側の大腿部の速度データ及び加速度データと、ｚ軸におけるユーザの左側の大腿部の速度データ及び加速度データとを含む。制御部２７は、センサ機器１０Ｄ－１から、センサデータＤ１０ＤＬ－１を取得する。
　センサデータＤ１０ＤＬ－２は、センサ機器１０Ｄ－２の位置を基準とするローカル座標系の、ユーザの右側の大腿部の動きを示すセンサデータである。センサデータＤ１０ＤＬ－２は、当該ローカル座標系の、ｘ軸におけるユーザの右側の大腿部の速度データ及び加速度データと、ｙ軸におけるユーザの右側の大腿部の速度データ及び加速度データと、ｚ軸におけるユーザの右側の大腿部の速度データ及び加速度データとを含む。制御部２７は、センサ機器１０Ｄ－２から、センサデータＤ１０ＤＬ－２を取得する。
　＜ケースＣ５＞
　制御部２７は、センサデータを電子機器２０に送信したセンサ機器１０がセンサ機器１０Ａ及びセンサ機器１０Ｂを含む場合、ケースＣ５を選択してよい。
　ケースＣ５では、ユーザの頭部の動きを示すセンサデータと、ユーザの２つの手首のうちの何れか一方の手首の動きを示すセンサデータとが用いられる。ケースＣ５では、センサデータＤ１０ＡＧと、センサデータＤ１０ＡＬと、センサデータＤ１０ＢＬとが用いられる。
　センサデータＤ１０ＢＬは、センサ機器１０Ｂの位置を基準とするローカル座標系の、ユーザの手首の動きを示すセンサデータである。センサデータＤ１０ＢＬは、当該ローカル座標系の、ｘ軸におけるユーザの手首の速度データ及び加速度データと、ｙ軸におけるユーザの手首の速度データ及び加速度データと、ｚ軸におけるユーザの手首の速度データ及び加速度データとを含む。制御部２７は、センサ機器１０Ｂから、センサデータＤ１０ＢＬを取得する。
　＜ケースＣ６＞
　制御部２７は、センサデータを電子機器２０に送信したセンサ機器１０がセンサ機器１０Ａ，１０Ｂとセンサ機器１０Ｅ－１又はセンサ機器１０Ｅ－２とを含む場合、ケースＣ６を選択してよい。
　ケースＣ６では、ユーザの頭部の動きを示すセンサデータと、ユーザの２つの手首のうちの何れか一方の手首の動きを示すセンサデータと、ユーザの２つの足首のうちの何れか一方の足首の動きを示すセンサデータが用いられる。ケースＣ６では、センサデータＤ１０ＡＧと、センサデータＤ１０ＡＬと、センサデータＤ１０ＢＬと、センサデータＤ１０ＥＬ－１又はセンサデータＤ１０ＥＬ－２とが用いられる。
　＜ケースＣ７＞
　制御部２７は、センサデータを電子機器２０に送信したセンサ機器１０がセンサ機器１０Ａ，１０Ｂとセンサ機器１０Ｆ－１又はセンサ機器１０Ｆ－２とを含む場合、ケースＣ７を選択してよい。
　ケースＣ７では、ユーザの頭部の動きを示すセンサデータと、ユーザの２つの手首のうちの何れか一方の手首の動きを示すセンサデータと、ユーザの２つの足部のうちの何れか一方の足部の動きを示すセンサデータとが用いられる。ケースＣ７では、センサデータＤ１０ＡＧと、センサデータＤ１０ＡＬと、センサデータＤ１０ＢＬと、センサデータＤ１０ＦＬ－１又はセンサデータＤ１０ＦＬ－２とが用いられる。
　＜ケースＣ８＞
　制御部２７は、センサデータを電子機器２０に送信したセンサ機器１０がセンサ機器１０Ａ，１０Ｂ，１０Ｆ－１，１０Ｆ－２を含む場合、ケースＣ８を選択してよい。
　ケースＣ８では、ユーザの頭部の動きを示すセンサデータと、ユーザの２つの手首のうちの何れか一方の手首の動きを示すセンサデータと、ユーザの２つの足部のぞれぞれの動きを示すセンサデータとが用いられる。ケースＣ８では、センサデータＤ１０ＡＧと、センサデータＤ１０ＡＬと、センサデータＤ１０ＢＬと、センサデータＤ１０ＦＬ－１と、センサデータＤ１０ＦＬ－２とが用いられる。
　＜ケースＣ９＞
　制御部２７は、センサデータを電子機器２０に送信したセンサ機器１０がセンサ機器１０Ｆ－１及びセンサ機器１０Ｆ－２を含む場合、ケースＣ９を選択してよい。
　ケースＣ９では、ユーザの２つの足部のぞれぞれの動きを示すセンサデータが用いられる。ケースＣ９では、センサデータＤ１０ＦＬ－１と、センサデータＤ１０ＦＬ－２とが用いられる。
　＜ケースＣ１０＞
　制御部２７は、センサデータを電子機器２０に送信したセンサ機器１０がセンサ機器１０Ｄ－１，１０Ｄ－２を含む場合、ケースＣ１０を選択してよい。
　ケースＣ１０では、ユーザの２つの大腿部のぞれぞれの動きを示すセンサデータが用いられる。ケースＣ１０では、センサデータＤ１０ＤＬ－１と、センサデータＤ１０ＤＬ－２とが用いられる。
　センサデータＤ１０ＤＬ－１は、センサ機器１０Ｄ－１の位置を基準とするローカル座標系の、ユーザの左側の大腿部の動きを示すセンサデータである。センサデータＤ１０ＤＬ－１は、当該ローカル座標系の、ｘ軸におけるユーザの左側の大腿部の速度データ及び加速度データと、ｙ軸におけるユーザの左側の大腿部の速度データ及び加速度データと、ｚ軸におけるユーザの左側の大腿部の速度データ及び加速度データとを含む。制御部２７は、センサ機器１０Ｄ－１から、センサデータＤ１０ＤＬ－１を取得する。
　センサデータＤ１０ＤＬ－２は、センサ機器１０Ｄ－２の位置を基準とするローカル座標系の、ユーザの右側の大腿部の動きを示すセンサデータである。センサデータＤ１０ＤＬ－２は、当該ローカル座標系の、ｘ軸におけるユーザの右側の大腿部の速度データ及び加速度データと、ｙ軸におけるユーザの右側の大腿部の速度データ及び加速度データと、ｚ軸におけるユーザの右側の大腿部の速度データ及び加速度データとを含む。制御部２７は、センサ機器１０Ｄ－２から、センサデータＤ１０ＤＬ－２を取得する。
　＜ケースＣ１１＞
　制御部２７は、センサデータを電子機器２０に送信したセンサ機器１０がセンサ機器１０Ｃを含む場合、ケースＣ１１を選択してよい。
　ケースＣ１１では、ユーザの腰部の動きを示すセンサデータが用いられる。ケースＣ１１では、センサデータＤ１０ＣＧと、センサデータＤ１０ＣＬとが用いられる。
　センサデータＤ１０ＣＧは、グローバル座標系の、ユーザの腰部の動きを示すセンサデータである。センサデータＤ１０ＣＧは、グローバル座標系の、Ｘ軸におけるユーザの腰部の速度データ及び加速度データと、Ｙ軸におけるユーザの腰部の速度データ及び加速度データと、Ｚ軸におけるユーザの腰部の速度データ及び加速度データとを含む。制御部２７は、センサ機器１０Ｃから取得したローカル座標系のセンサデータに対して座標変換を実行することにより、センサデータＤ１０ＣＧを取得してよい。
　センサデータＤ１０ＣＬは、センサ機器１０Ｃの位置を基準とするローカル座標系の、ユーザの腰部の動きを示すセンサデータである。センサデータＤ１０ＣＬは、当該ローカル座標系の、ｘ軸におけるユーザの腰部の速度データ及び加速度データと、ｙ軸におけるユーザの腰部の速度データ及び加速度データと、ｚ軸におけるユーザの腰部の速度データ及び加速度データとを含む。制御部２７は、センサ機器１０Ｃから、センサデータＤ１０ＣＬを取得する。
　＜ケースＣ１２＞
　制御部２７は、センサデータを電子機器２０に送信したセンサ機器１０がセンサ機器１０Ｂ及びセンサ機器１０Ｃを含む場合、ケースＣ１２を選択してよい。
　ケースＣ１２では、ユーザの２つの手首のうちの何れか一方の手首の動きを示すセンサデータと、ユーザの腰部の動きを示すセンサデータとが用いられる。ケースＣ１２では、センサデータＤ１０ＢＬと、センサデータＤ１０ＣＧと、センサデータＤ１０ＣＬとが用いられる。
　＜ケースＣ１３＞
　制御部２７は、センサデータを電子機器２０に送信したセンサ機器１０がセンサ機器１０Ｂ，１０Ｆ－１，１０Ｆ－２，１０Ｃを含む場合、ケースＣ１３を選択してよい。
　ケースＣ１３では、ユーザの２つの手首のうちの何れか一方の手首の動きを示すセンサデータと、ユーザの２つの足部のそれぞれの動きを示すセンサデータと、ユーザの腰部の動きを示すセンサデータとが用いられる。ケースＣ１３では、センサデータＤ１０ＢＬと、センサデータＤ１０ＦＬ－１と、センサデータＤ１０ＦＬ－２と、センサデータＤ１０ＣＧと、センサデータＤ１０ＣＬとが用いられる。
　［トランスフォーマの生成及び評価］
　以下、トランスフォーマの生成及び評価について説明する。トランスフォーマの生成では、被験者の歩行データベースが用いられた。被験者の歩行データベースとして、「小林吉之、肥田直人、中嶋香奈子、藤本雅大、持丸正明、“2019：AIST歩行データベース2019”、［Online］、［令和３年８月２０日検索］、インターネット＜https://unit.aist.go.jp/harc/ExPART/GDB2019_e.html＞」において提供されるデータが用いられた。この歩行データベースには、複数の被験者の歩行データが登録されている。被験者の歩行データには、歩行中の被験者の動きを示すデータと、歩行中の被験者に加わる床反力のデータとが含まれる。歩行中の被験者の動きを示すデータは、モーションキャプチャシステムによって検出されたものである。歩行中の被験者に加わる床反力のデータは、床反力計によって検出されたものである。
　トランスフォーマは、床反力計によって検出された複数の被験者の床反力のデータと、モーションキャプチャシステムによって検出された歩行中の被験者の動きを示すデータとを含むデータセットを学習データとして生成された。
　本実施形態では、データセットの生成において、床反力計によって検出された床反力を被験者の体重で除算することにより、正規化床反力が取得された。モーションキャプチャシステムによって検出された被験者の動きを示すデータから、センサデータに対応するデータが取得された。正規化床反力と、センサデータに対応するデータとを対応付けることにより、データセットが生成された。図９を参照して上述したケースＣ１～Ｃ１３に対応するデータセットが生成された。生成したデータセットによってトランスフォーマの学習が実行された。トランスフォーマの学習では、過学習への対策のために、データセットに１０％程度のノイズが付与された。
　発明者らは、トランスフォーマの学習に用いられなかったデータセットによって、学習済みのトランスフォーマを評価した。発明者らは、図９を参照して上述したケースＣ１～Ｃ１３についての評価結果を得た。
　図１０に、評価結果のグラフを示す。図１０には、評価結果として、ケースＣ１～Ｃ１３のそれぞれにおける正規化床反力の平均二乗誤差（ＭＳＥ:Mean Squared Error）の棒グラフを示す。図１０に示す平均二乗誤差のデータは、後述の図１１に示す被験者から得られたデータである。平均二乗誤差は、トランスフォーマによる正規化床反力の推定値と、データセットの正規化床反力の実測値とによって算出された。棒グラフのうち、左側の足部の正規化床反力の評価結果には、ハッチングを付す。棒グラフのうち、右側の足部の正規化床反力の評価結果は、白抜きで示される。図１０において、棒グラフに付された数値は、左側の足部の正規化床反力の平均二乗誤差である。平均二乗誤差は、以下の式（６）によって算出された。
Figure JPOXMLDOC01-appb-M000006
 　式（６）において、ｊは、グロール座標系のＸ軸、Ｙ軸及びＺ軸に対応する。ｄは、グローバル座標系の次元数の３である。ａｉ，ｊは、データセットの正規化床反力の実測値である。ｂｉ，ｊは、正規化床反力の推定値である。ｎは、正規化床反力のサンプル数である。
　図１０に示すように、ケースＣ１～Ｃ１３において、左側の足部の正規化床反力の評価結果と、右側の足部の正規化床反力の評価結果とでは、類似の推定精度の傾向が見られた。左側の足部の正規化床反力の評価結果と右側の足部の正規化床反力の評価結果とでにおいて類似の推定精度の傾向が見られることにより、以下では、左側の足部の正規化床反力の平均二乗誤差に主に着目する。
　図１０に示すように、ケースＣ１では、左側の足部の正規化床反力の平均二乗誤差は、０．１２［（ｍ／ｓ２）２］程度であった。ケースＣ１では、ユーザの身体部位の中でも、ユーザの足部から最も離れているユーザの頭部の動きを示すセンサデータのみが用いられる。ケースＣ１の結果から、ユーザの頭部の動きを示すセンサデータのみであっても、床反力をある程度の精度で推定できることが分かる。この理由は、歩行中のユーザの上下方向の動きが頭部の動きに反映されるためと推認される。
　図１０に示すように、ケースＣ２～Ｃ８の平均二乗誤差は、ケースＣ１の平均二乗誤差よりも、小さくなった。つまり、ケースＣ２～Ｃ８では、ケースＣ１よりも、床反力の推定精度が向上した。ケースＣ２～Ｃ８では、上述したように、ユーザの頭部の動きを示すセンサデータに加えて、ユーザの手首、足首、足部及び大腿部の少なくとも何れかの動きを示すセンサデータが用いられる。つまり、ケースＣ２～Ｃ８では、ユーザの頭部を含む体幹部の動きを示すセンサデータに加えて、ユーザの手首、足首、足部及び大腿部の少なくとも何れかを含む体肢部の動きを示すセンサデータが用いられる。ユーザの体肢部の動きを示すセンサデータと、ユーザの体幹部の動きを示すセンサデータとでは、１つの歩行周期において有するパターンが大きく異なる。例えば、ユーザの身体の左右対称性により、ユーザの体肢部の動きを示すセンサデータは、１つの歩行周期において１つのパターンを有する。これに対し、ユーザの体幹部の動きを示すセンサデータは、１つの歩行周期において２つのパターンを有する。ケースＣ２～Ｃ８では、１つの歩行周期において異なるパターンを有するセンサデータが用いられることにより、ケースＣ１よりも、床反力の推定精度が向上したと推認される。
　図１０に示すように、ケースＣ９では、左側の足部の正規化床反力の平均二乗誤差は、０．１１２［（ｍ／ｓ２）２］程度であった。また、ケースＣ１０では、左側の足部の正規化床反力の平均二乗誤差は、０．０６６［（ｍ／ｓ２）２］程度であった。ケースＣ９及びケースＣ１０では、それぞれ、ユーザの足部の動きを示すセンサデータ及びユーザの大腿部の動きを示すセンサデータが用いられる。ユーザの足部及びユーザの大腿部は、ユーザの身体部位の中でも、歩行面に近い身体部位である。ケースＣ９及びケースＣ１０では、歩行面に近い身体部位の動きを示すセンサデータが用いられるため、床反力をある程度の精度で推定できたと推認される。
　図１０に示すように、ケースＣ１１では、左側の足部の正規化床反力の平均二乗誤差は、０．０６８（ｍ／ｓ２）２］程度であった。ケースＣ１１では、腰部の動きを示すセンサデータのみが用いられる。ケースＣ１１の結果から、ユーザの腰部の動きを示すセンサデータのみであっても、床反力をある程度の精度で推定できることが分かる。この理由は、歩行中のユーザの上下方向の動きが腰部を含む体幹部の動きに反映されるためと推認される。
　図１０に示すように、ケースＣ１２，Ｃ１３の平均二乗誤差は、ケースＣ１１の平均二乗誤差よりも、小さくなった。つまり、ケースＣ１２，Ｃ１３では、ケースＣ１１よりも、床反力の推定精度が向上した。ケースＣ１２，Ｃ１３では、上述したように、ユーザの腰部の動きを示すセンサデータに加えて、ユーザの手首及び足首の少なくとも何れかの動きを示すセンサデータが用いられる。つまり、ケースＣ１２，Ｃ１３では、ユーザの腰部を含む体幹部の動きを示すセンサデータに加えて、ユーザの手首及び足首の少なくとも何れかを含む体肢部の動きを示すセンサデータが用いられる。上述したように、ユーザの体肢部の動きを示すセンサデータと、ユーザの体幹部の動きを示すセンサデータとでは、１つの歩行周期において有するパターンが大きく異なる。ケースＣ１２，Ｃ１３では、１つの歩行周期において異なるパターンを有するセンサデータが用いられることにより、ケースＣ１１よりも、床反力の推定精度が向上したと推認される。
　図１０に示すように、ケースＣ６の左側の足部の正規化床反力の平均二乗誤差及びケースＣ１３の左側の足部の正規化床反力の平均二乗誤差は、それぞれ、０．０４［（ｍ／ｓ２）２］程度であった。ケースＣ６及びケースＣ１３の平均二乗誤差は、ケースＣ１～Ｃ１３のうちで最も小さかった。つまり、ケースＣ６及びケースＣ１３の床反力の推定精度は、ケースＣ１～Ｃ１３のうちで最も高かった。
　次に、被験者の床反力の実測値と推定値との比較結果について説明する。まず、比較結果に用いた被験者について、図１１を参照して説明する。
　図１１に、被験者の一例を示す。被験者は、多様な身体的特徴を有する。
　被験者ＳＵ１は、性別が男性であり、年齢が３３才であり、身長が１７１［ｃｍ］であり、体重が１００［ｋｇ］である。被験者ＳＵ１の身体的特徴は、体重が重い男性であることである。
　被験者ＳＵ２は、性別が女性であり、年齢が７０才であり、身長が１５１［ｃｍ］であり、体重が３９［ｋｇ］である。被験者ＳＵ２の身体的特徴は、体重が軽い女性であることである。
　被験者ＳＵ３は、性別が女性であり、年齢が３８才であり、身長が１５５［ｃｍ］であり、体重が４１［ｋｇ］である。被験者ＳＵ３の身体的特徴は、体重が軽く、且つ年齢が若い女性であることである。
　被験者ＳＵ４は、性別が女性であり、年齢が６５才であり、身長が１４９［ｃｍ］であり、体重が７０［ｋｇ］である。被験者ＳＵ４の身体的特徴は、体重が重い女性であるということである。
　被験者ＳＵ５は、性別が男性であり、年齢が２２才であり、身長が１６３［ｃｍ］であり、体重が６５［ｋｇ］である。被験者ＳＵ５の身体的特徴は、身長及び体重が平均的な男性ということである。
　被験者ＳＵ６は、性別が女性であり、年齢が６６才であり、身長が１４９［ｃｍ］であり、体重が４７［ｋｇ］である。被験者ＳＵ６の身体的特徴は、身長が低い女性であることである。
　被験者ＳＵ７は、性別が女性であり、年齢が６５才であり、身長が１４８［ｃｍ］であり、体重が４７［ｋｇ］である。被験者ＳＵ７の身体的特徴は、身長が低い女性であることである。
　被験者ＳＵ８は、性別が男性であり、年齢が５７才であり、身長が１７８［ｃｍ］であり、体重が８１［ｋｇ］である。被験者ＳＵ８の身体的特徴は、身長が高い男性であることである。
　＜比較結果１＞
　図１２から図１９に、被験者の床反力の実測値及び推定値の一例のグラフを示す。図１２から図１９では、ケースＣ６のセンサデータによって生成したトランスフォーマが用いられた。図１２から図１９における横軸及び縦軸は、それぞれ、図５における横軸及び縦軸と同じである。
　図１２から図１５、図１８及び図１９には、右側の足部における床反力の実測値及び推定値のグラフを示す。図１２は、被験者ＳＵ１のグラフである。図１３は、被験者ＳＵ２のグラフである。図１４は、被験者ＳＵ３のグラフである。図１５は、被験者ＳＵ４のグラフである。図１８は、被験者ＳＵ７のグラフである。図１９は、被験者ＳＵ８のグラフである。
　図１６及び図１７には、左側の足部における床反力の実測値及び推定値のグラフを示す。図１６は、被験者ＳＵ５のグラフである。図１７は、被験者ＳＵ６のグラフである。
　以下の図面において、正規化床反力ＲＸｒ，ＲＹｒ，ＲＺｒは、被験者の右側の足部に加わる床反力の実測値である。正規化床反力ＲＸｅ，ＲＹｅ，ＲＺｅは、被験者の右側の足部に加わる床反力の推定値である。
　正規化床反力ＲＸｒ，ＲＸｅは、被験者の右側の足部に加わる正規化床反力のうち、グローバル座標系のＸ軸に沿う正規化床反力である。正規化床反力ＲＸｒ，ＲＸｅは、ユーザの前から後ろに向かう方向を正方向とする。
　正規化床反力ＲＹｒ，ＲＹｅは、被験者の右側の足部に加わる正規化床反力のうち、グローバル座標系のＹ軸に沿う正規化床反力である。正規化床反力ＲＹｒ，ＲＹｅは、ユーザの下から上に向かう方向を正方向とする。
　正規化床反力ＲＺｒ，ＲＺｅは、被験者の右側の足部に加わる正規化床反力のうち、グローバル座標系のＺ軸に沿う正規化床反力である。正規化床反力ＲＺｒ，ＲＺｅは、ユーザの左から右に向かう方向を正方向とする。
　正規化床反力ＬＸｒ，ＬＹｒ，ＬＺｒは、被験者の左側の足部に加わる床反力の実測値である。正規化床反力ＬＸｅ，ＬＹｅ，ＬＺｅは、被験者の左側の足部に加わる床反力の推定値である。
　正規化床反力ＬＸｒ，ＬＸｅは、被験者の左側の足部に加わる正規化床反力のうち、グローバル座標系のＸ軸に沿う正規化床反力である。正規化床反力ＬＸｒ，ＬＸｅは、ユーザの前から後ろに向かう方向を正方向とする。
　正規化床反力ＬＹｒ，ＬＹｅは、被験者の左側の足部に加わる正規化床反力のうち、グローバル座標系のＹ軸に沿う正規化床反力である。正規化床反力ＬＹｒ，ＬＹｅは、ユーザの下から上に向かう方向を正方向とする。
　正規化床反力ＬＺｒ，ＬＺｅは、被験者の左側の足部に加わる正規化床反力のうち、グローバル座標系のＺ軸に沿う正規化床反力である。正規化床反力ＬＺｒ，ＬＺｅは、ユーザの左から右に向かう方向を正方向とする。
　図１２から図１９に示すように、正規化床反力の推定値は、正規化床反力の実測値と比較的よく一致した。被験者ＳＵ１～ＳＵ８は、図１１を参照して上述したように、多様な身体的特徴を有する。これらの結果から、ケースＣ６のセンサデータによってトランスフォーマを生成すれば、身体的特徴に関わらず、床反力を精度良く推定できることが分かる。
　＜比較結果２＞
　図２０から図２３に、重心移動の評価が高い被験者の床反力の実測値及び推定値の一例のグラフを示す。図２０は、被験者ＳＵ７の右側の足部に加わる床反力のグラフである。図２１は、被験者ＳＵ１の右側の足部に加わる床反力のグラフである。図２２は、被験者ＳＵ３の右側の足部に加わる床反力のグラフである。図２３は、被験者ＳＵ６の左側の足部に加わる床反力のグラフである。
　図２４から図２７に、重心移動の評価が低い被験者の床反力の実測値及び推定値の一例のグラフを示す。図２４は、被験者ＳＵ５の左側の足部に加わる床反力のグラフである。図２５は、被験者ＳＵ２の右側の足部に加わる床反力のグラフである。図２６は、被験者ＳＵ４の左側の足部に加わる床反力のグラフである。図２７は、被験者ＳＵ８の左側の足部に加わる床反力のグラフである。
　図２０から図２７では、ケースＣ１のセンサデータによって生成されたトランスフォーマが用いられた。図２０から図２３における横軸及び縦軸は、それぞれ、図５における横軸及び縦軸と同じである。
　重心移動の評価が高い被験者とは、被験者の上下方向における重心移動が大きい被験者を意味する。図２０から図２３に示すように、Ｙ軸に沿う正規化床反力ＲＹｒ，ＲＹｅ，ＬＹｒ，ＬＹｅには、それぞれ、２つの極大値と、２つの極大値の間に位置する極小値とが生じる。当該極小値は、立脚中期においてユーザの重心が歩行面の上方向に移動することにより、生じる。上下方向における重心移動が大きいユーザほど、図２０から図２３に示すように、Ｙ軸に沿う正規化床反力ＲＹｒ，ＲＹｅ，ＬＹｒ，ＬＹｅのそれぞれにおいて、２つの極大値と、２つの極大値の間に位置する極小値との間の差分が大きくなる。
　重心移動の評価が低い被験者とは、被験者の上下方向における重心移動が小さい被験者を意味する。図２４から図２７に示すように、上下方向における重心移動が大きい被験者ほど、Ｙ軸に沿う正規化床反力ＲＹｒ，ＲＹｅ，ＬＹｒ，ＬＹｅのそれぞれにおいて、２つの極大値と、２つの極大値の間に位置する極小値との間の差分が小さくなる。
　重心移動の評価が高い被験者では、図２０から図２３に示すように、正規化床反力の推定値は、正規化床反力の実測値と比較的よく一致した。ケースＣ１では、ユーザの頭部の動きを示すセンサデータのみが用いられる。重心移動の評価が高い被験者は、被験者の上下方向における重心移動が大きく、被験者の上下方向における動きも大きい。重心移動の評価が高い被験者では、被験者の上下方向における動きが大きいことにより、歩行中の被験者の動きの特徴がユーザの頭部の動きに反映され得る。そのため、重心移動の評価が高い被験者では、正規化床反力の推定値は、正規化床反力の実測値と比較的よく一致したと推認される。
　重心移動の評価が低い被験者では、図２４から図２７に示すように、図２０から図２３と比較すると、正規化床反力の推定値は、正規化床反力の実測値とはあまりよく一致しなかった。重心移動の評価が低い被験者は、被験者の上下方向における重心移動が小さく、被験者の上下方向における動きも小さい。重心移動の評価が低い被験者では、被験者の上下方向における動きが小さいことにより、重心移動の評価が高い被験者と比較すると、歩行中の被験者の動きの特徴がユーザの頭部の動きに反映されにくい。そのため、重心移動の評価が低い被験者では、正規化床反力の推定値は、図２０から図２３と比較すると、正規化床反力の実測値とはあまりよく一致しなかったと推認される。
　このように重心移動の評価が低い被験者では、ケースＣ１のセンサデータを用いた場合の床反力の推定精度は、重心移動の評価が高い被験者と比較すると、低くなる。これに対し、重心移動の評価が高い被験者データでは、ケースＣ１のセンサデータを用いた場合であっても、床反力を比較的精度よく推定することができる。
　＜比較結果３＞
　同じ被験者に対して異なるセンサデータを組み合わせた場合の床反力の推定値について説明する。
　図２８から図３５に、被験者ＳＵ２の右側の足部に加わる床反力のグラフを示す。
　図２８は、ケースＣ１，Ｃ２，Ｃ３のセンサデータを用いた場合の床反力の推定値のグラフである。図２９は、図２８に示す床反力の実測値と推定値との間の差分を示すグラフである。図２８における横軸及び縦軸は、それぞれ、図５における横軸及び縦軸と同じである。図２９における横軸は、時間［ｓ］を示す。図２９における縦軸は、差分［ｍ／ｓ２］を示す。
　図３０は、ケースＣ４，Ｃ５，Ｃ６のセンサデータを用いた場合の床反力の推定値のグラフである。図３１は、図３０に示す床反力の実測値と推定値との間の差分を示すグラフである。図３０における横軸及び縦軸は、それぞれ、図５における横軸及び縦軸と同じである。図３１における横軸及び縦軸は、それぞれ、図２９における横軸及び縦軸と同じである。
　図３２は、ケースＣ６，Ｃ７，Ｃ８，Ｃ１０のセンサデータを用いた場合の床反力の推定値のグラフである。図３３は、図３２に示す床反力の実測値と推定値との間の差分を示すグラフである。図３２における横軸及び縦軸は、それぞれ、図５における横軸及び縦軸と同じである。図３３における横軸及び縦軸は、それぞれ、図２９における横軸及び縦軸と同じである。
　図３４は、ケースＣ９，Ｃ１１，Ｃ１２，Ｃ１３のセンサデータを用いた場合の床反力の推定値のグラフである。図３５は、図３４に示す床反力の実測値と推定値との間の差分を示すグラフである。図３４における横軸及び縦軸は、それぞれ、図５における横軸及び縦軸と同じである。図３５における横軸及び縦軸は、それぞれ、図２９における横軸及び縦軸と同じである。
　図３２から図３５において、正規化床反力ＲＹｅ＿Ｃ１～ＲＹｅ＿Ｃ１３は、それぞれ、ケースＣ１～Ｃ１３のセンサデータを用いた場合の正規化床反力ＲＹｅである。差分ＲＤ＿Ｃ１～ＲＤ＿Ｃ１３は、それぞれ、正規化床反力ＲＹｅ＿Ｃ１～ＲＹｅ＿Ｃ１３と正規化床反力ＲＹｒとの間の差分である。
　被験者ＳＵ２では、床反力の実測値と推定値との間の差分は、ケースＣ１～Ｃ１３の中でケースＣ６及びケースＣ１３のセンサデータを用いた場合に最も小さくなった。被験者ＳＵ２は、重心移動の評価が低い被験者である。重心移動の評価が低い被験者であっても、ケースＣ６及びケースＣ１３のセンサデータを用いれば、床反力を精度良く推定できることが分かる。
　図３６から図４３に、被験者ＳＵ８の左側の足部に加わる床反力のグラフを示す。
　図３６は、ケースＣ１，Ｃ２，Ｃ３のセンサデータを用いた場合の床反力の推定値のグラフである。図３７は、図３６に示す床反力の実測値と推定値との間の差分を示すグラフである。図３６における横軸及び縦軸は、それぞれ、図５における横軸及び縦軸と同じである。図３７における横軸及び縦軸は、それぞれ、図２９における横軸及び縦軸と同じである。
　図３８は、ケースＣ４，Ｃ５，Ｃ６のセンサデータを用いた場合の床反力の推定値のグラフである。図３９は、図３８に示す床反力の実測値と推定値との間の差分を示すグラフである。図３８における横軸及び縦軸は、それぞれ、図５における横軸及び縦軸と同じである。図３９における横軸及び縦軸は、それぞれ、図２９における横軸及び縦軸と同じである。
　図４０は、ケースＣ６，Ｃ７，Ｃ８，Ｃ１０のセンサデータを用いた場合の床反力の推定値のグラフである。図４１は、図４０に示す床反力の実測値と推定値との間の差分を示すグラフである。図４０における横軸及び縦軸は、それぞれ、図５における横軸及び縦軸と同じである。図４１における横軸及び縦軸は、それぞれ、図２９における横軸及び縦軸と同じである。
　図４２は、ケースＣ９，Ｃ１１，Ｃ１２，Ｃ１３のセンサデータを用いた場合の床反力の推定値のグラフである。図４３は、図４２に示す床反力の実測値と推定値との間の差分を示すグラフである。図４２における横軸及び縦軸は、それぞれ、図５における横軸及び縦軸と同じである。図４３における横軸及び縦軸は、それぞれ、図２９における横軸及び縦軸と同じである。
　図３６から図４３において、正規化床反力ＬＹｅ＿Ｃ１～ＬＹｅ＿Ｃ１３は、それぞれ、ケースＣ１～Ｃ１３のセンサデータを用いた場合の正規化床反力ＬＹｅである。差分ＬＤ＿Ｃ１～ＬＤ＿Ｃ１３は、それぞれ、正規化床反力ＬＹｅ＿Ｃ１～ＬＹｅ＿Ｃ１３と正規化床反力ＬＹｒとの間の差分である。
　被験者ＳＵ８では、床反力の実測値と推定値との間の差分は、ケースＣ１～Ｃ１３の中で、ケースＣ６及びケースＣ１３のセンサデータを用いた場合に最も小さくなった。被験者ＳＵ８は、重心移動の評価が低い被験者である。重心移動の評価が低い被験者であっても、ケースＣ６及びケースＣ１３のセンサデータを用いれば、床反力を精度良く推定できることが分かる。
　［歩行に関する情報の取得処理］
　制御部２７は、床反力の推定値に基づいて、ユーザの歩行に関する任意の情報を取得してもよい。
　一例として、ユーザの歩行に関する情報は、ユーザの着地タイミング及び歩行周期であってよい。制御部２７は、床反力の推定値に基づいて、ユーザの着地タイミング及び歩行周期の少なくとも何れかを取得してよい。例えば、図５において、矢印で示す正規化床反力ＬＹが立ち上がるタイミングは、ユーザの左側の足部の着地タイミングに対応する。また、矢印で示す正規化床反力ＲＹが立ち上がるタイミングは、ユーザの右側の足部の着地タイミングに対応する。制御部２７は、床反力の推定値が立ち上がるタイミングを特定することにより、ユーザの着地タイミングを取得する。また、制御部２７は、取得したユーザの着地タイミングによって、ユーザの歩行周期を特定して取得する。
　他の例として、ユーザの歩行に関する情報は、ユーザの歩幅の情報であってよい。制御部２７は、床反力の推定値に基づいて、ユーザの歩幅の情報を取得してよい。例えば、制御部２７は、上述したように床反力の推定値によって、ユーザの左側の足部の着地タイミングと、ユーザの右側の足部の着地タイミングとを取得する。制御部２７は、ユーザの左側の足部の着地タイミングと、ユーザの右側の足部の着地タイミングと、グローバル座標系のＸ軸におけるユーザの速度とによって、ユーザの歩幅を算出して取得する。制御部２７は、センサ機器１０から、グローバル座標系のＸ軸におけるユーザの速度の情報を取得してよい。
　さらに他の例として、ユーザの歩行に関する情報は、歩行中のユーザの関節にかかる負荷の情報及びユーザの筋肉にかかる負荷の情報の少なくとも何れかであってよい。この場合、制御部２７は、床反力の推定値に対して逆動力学解析を実行することにより、歩行中のユーザの関節にかかる負荷の情報及びユーザの筋肉にかかる負荷の情報の少なくとも何れかを取得してよい。
　制御部２７は、取得したユーザの歩行に関する情報を、報知部２３に報知させてよい。例えば、制御部２７は、ユーザの歩行に関する情報を出力部２４のディスプレイに表示させてもよいし、ユーザの歩行に関する情報を音声として出力部２４のスピーカに出力させてもよい。
　［評価の決定処理］
　制御部２７は、床反力の推定値に基づいて、ユーザの歩行に対する評価を決定してよい。
　一例として、ユーザの歩行に対する評価は、図３を参照して上述した荷重応答期におけるユーザの踏み込みが十分であるか否かの評価であってよい。制御部２７は、床反力の推定値に基づいて、荷重応答期におけるユーザの踏み込みが十分であるか否かの評価を決定してよい。例えば、図５において、正規化床反力ＬＹは、矢印で示すように、２つの極大値を有する。２つの極大値のうち、１つ目の極大値は、荷重応答期における床反力に対応する。荷重応答期が足部の踵からの踏み込みが見られる期間であることにより、１つ目の極大値によって、荷重応答期におけるユーザの踏み込みが十分であるか否かを評価することができる。制御部２７は、Ｙ軸に沿う正規化床反力又は床反力の２つの極大値のうちの１つ目の極大値を解析することにより、荷重応答期におけるユーザの踏み込みが十分であるか否かの評価を決定する。
　他の例として、ユーザの歩行に対する評価は、図３を参照して上述したユーザの蹴り出しが十分であるか否かの評価であってよい。制御部２７は、床反力の推定値に基づいて、ユーザの蹴り出しが十分であるか否かの評価を決定してよい。例えば、図５において、矢印で示す正規化床反力ＬＹの２つの極大値のうち、２つ目の極大値は、ユーザの蹴り出すタイミングにおける床反力に対応する。制御部２７は、Ｙ軸に沿う正規化床反力又は床反力の２つの極大値のうちの２つ目の極大値を解析することにより、ユーザの蹴り出しが十分であるか否かの評価を決定する。
　さらに他の例として、ユーザの歩行に対する評価は、ユーザの上下方向における重心移動の評価であってよい。制御部２７は、床反力の推定値に基づいて、ユーザの上下方向における重心移動の評価を決定してよい。例えば、図５において、正規化床反力ＬＹには、矢印で示すように、２つの極大値と、２つの極大値の間に位置する１つの極小値とが生じる。上述したように、上下方向における重心移動が大きいユーザほど、２つの極大値と、２つの極大値の間に位置する極小値との間の差分が大きくなる。制御部２７は、Ｙ軸に沿う正規化床反力又は床反力における、２つの極大値と、２つの極大値の間に位置する極小値との間の差分に基づいて、ユーザの上下方向における重心移動の評価が高いか否かを決定してよい。
　また、制御部２７は、ユーザの上下方向における重心移動の評価として、ユーザの上下方向における重心移動の評価が低いか否かを決定してよい。例えば、上述したように、遊脚期では、足部が歩行面から離れているため、足部には床反力が加わらない。しかしながら、重心移動の評価が低い被験者において、ケースＣ１のセンサデータを用いて床反力を推定した場合、例えば、図２４、図２５及び図２６に矢印で示すように、遊脚期において、正規化床反力ＬＹｅ，ＲＹｅがゼロにならない場合がある。そこで、制御部２７は、ケースＣ１のセンサデータを用いてＹ軸に沿う正規化床反力又は床反力を推定してよい。さらに、制御部２７は、推定した当該正規化床反力又は床反力が遊脚期においてゼロにならない場合、遊脚期においてゼロになる場合よりも、ユーザの重心移動の評価が低いと決定してよい。制御部２７は、センサデータを電子機器２０に送信したセンサ機器１０がセンサ機器１０Ａ以外を含む場合であっても、ユーザの重心移動の評価を決定するために、ケースＣ１のセンサデータを用いてＹ軸に沿う正規化床反力又は床反力を推定してよい。
　さらに他の例として、ユーザの歩行に対する評価は、ユーザの足部がブレーキ及びアクセルとして機能しているか否かの評価であってよい。制御部２７は、床反力の推定値に基づいて、ユーザの足部がブレーキ及びアクセルとして機能しているか否かの評価を決定してよい。例えば、図１２において、正規化床反力ＲＸｅは、矢印で示すように、負のピーク値と正のピーク値とを有する。負のピーク値は、ユーザの足部が歩行面に着地してブレーキとして機能することにより、生じる。正のピーク値は、ユーザの足部が歩行面を蹴り出してアクセルとして機能することにより、生じる。制御部２７は、Ｘ軸に沿う正規化床反力又は床反力における正のピーク値及び負のピーク値を解析することにより、ユーザの足部がブレーキ及びアクセルとして機能しているか否かの評価を決定する。
　さらに他の例として、ユーザの歩行に対する評価は、ユーザの歩幅が身長に対して妥当であるか否かの評価であってよい。例えば、制御部２７は、上述したように、床反力の推定値に基づいて、ユーザの歩幅の情報を取得する。制御部２７は、記憶部２６からユーザの身長の情報を取得し、ユーザの身長と歩幅とを比較することにより、ユーザの歩幅が身長に対して妥当であるか否かの評価を決定する。
　制御部２７は、決定した評価を報知部２３によってユーザに報知してよい。例えば、制御部２７は、決定した評価の情報を出力部２４のディスプレイに表示させてもよいし、決定した評価の情報を音声として出力部２４のスピーカに出力させてもよい。又は、制御部２７は、決定した評価に応じた振動パターンで、振動部２５を振動させてもよい。
　［外部機器への送信処理］
　制御部２７は、床反力の推定値、取得した歩行に関する情報及び決定した評価の少なくとも何れかを示す測定信号を生成してよい。制御部２７は、生成した測定信号を、任意の外部機器に通信部２１に送信してよい。
　制御部２７は、外部機器として報知部１３を有する任意のセンサ機器１０に、測定信号を通信部２１によって送信してよい。この場合、センサ機器１０では、制御部１６は、測定信号を通信部１１によって受信する。制御部１６は、測定信号が示す情報を、報知部１３に報知させる。例えば、制御部１６は、測定信号が示す情報を出力部１４に出力させる。このような構成により、ユーザは、例えば床反力等を把握することができる。
　制御部２７は、例えばセンサ機器１０Ａがイヤホンであるか、又はイヤホンに含まれる場合、外部機器としてイヤホンに、測定信号を通信部２１によって送信してよい。この場合、センサ機器１０Ａでは、制御部１６は、測定信号を通信部１１によって受信する。センサ機器１０Ａでは、制御部１６は、測定信号が示す情報を、報知部１３に報知させる。例えば、センサ機器１０Ａでは、制御部１６は、測定信号が示す情報を音声として出力部１４のスピーカに出力させる。このような構成により、床反力等の情報を、音声によってユーザに報知することができる。音声によってユーザに報知することにより、ユーザの歩行を妨げる可能性が低減する。
　（システムの動作）
　図４４は、図１に示す電子機器２０が実行する床反力の推定処理の動作を示すフローチャートである。この動作は、本実施形態に係る情報処理方法の一例に相当する。制御部２７は、例えば、床反力の推定処理の実行を指示する入力を入力部２２によって受け付けると、ステップＳ１の処理を開始する。
　制御部２７は、床反力の推定処理の実行を指示する入力を入力部２２によって受け付ける（ステップＳ１）。この入力は、センサ機器１０を装着したユーザによって入力部２２から入力される。
　制御部２７は、データ検出の開始を指示する信号をブロードキャスト信号として、複数のセンサ機器１０に通信部２１によって送信する（ステップＳ２）。ステップＳ２の処理が実行された後、少なくとも１個のセンサ機器１０から電子機器２０へ、センサデータが送信される。
　制御部２７は、少なくとも１個のセンサ機器１０から、センサデータを通信部２１によって受信する（ステップＳ３）。
　制御部２７は、センサデータを電子機器２０に送信したセンサ機器１０の種類に応じて、ケースＣ１～Ｃ１３の何れかを選択する（ステップＳ４）。制御部２７は、ステップＳ４の処理で選択したケースＣ１～Ｃ１３において用いられるトランスフォーマ３０のデータを、記憶部２６から取得する（ステップＳ５）。
　制御部２７は、ステップＳ４の処理で選択したケースＣ１～Ｃ１３のセンサデータを、ステップＳ５の処理でデータを取得したトランスフォーマに入力し、トランスフォーマから床反力の推定値を取得する（ステップＳ６）。
　制御部２７は、ステップＳ６の処理で取得した床反力の推定値を報知部２３によって報知する（ステップＳ７）。
　ステップＳ７の処理を実行した後、制御部２７は、推定処理を終了する。制御部２７は、推定処理を終了した後、ユーザが設定歩数歩くと、推定処理を再び実行してよい。この設定歩数は、ユーザによって入力部２２から予め入力されてよい。再び実行する推定処理では、制御部２７は、ステップＳ３の処理から開始してよい。制御部２７は、推定処理の終了を指示する入力を入力部２２から受け付けるまで、ユーザが設定歩数歩く毎に推定処理を繰り返し実行してよい。推定処理の終了を指示する入力は、例えば、ユーザによって入力部２２から入力される。ユーザは、例えば、歩行を終了すると、推定処理の終了を指示する入力を入力部２２から入力する。制御部２７は、推定処理の終了を指示する入力を受け付けると、データ検出の終了を指示する信号をブロードキャスト信号として、複数のセンサ機器１０に通信部２１によって送信してよい。センサ機器１０では、制御部１６は、データ検出の終了を指示する信号を通信部１１によって受信すると、データ検出を終了してよい。
　このように情報処理装置としての電子機器２０では、制御部２７は、センサデータと、学習モデルとによって、ユーザに加わる床反力の推定値を取得する。本実施形態では、学習モデルを用いることにより、床反力計等の大掛かりな装置を用いることなく、ユーザに加わる床反力の推定値を取得することができる。このような構成により、本実施形態では、より簡素な構成で、ユーザに加わる床反力の推定値を取得することができる。よって、本実施形態によれば、改善された、床反力を測定（推定）する技術が提供される。
　さらに、本実施形態では、制御部２７は、ユーザの身体部位に装着される少なくとも１個のセンサ機器１０から、センサデータを取得してよい。以下、センサデータとしてセンサ機器１０が検出したデータを用いる場合の利点を比較例１及び比較例２と対比して説明する。
　比較例１として、床反力計を用いて床反力を測定する場合を考える。この場合、床反力計が設置される場所をユーザが歩行しなければ、床反力を測定することができない。多くの場合、床反力計は、専用の実験室等の室内に設置される。したがって、比較例１では、ユーザは、床反力計が設置される専用の実験室等を歩行しなければならないため、リラックスして普段通りに歩行することができない。ユーザが普段通りに歩行することができないと、床反力を正しく測定することができない。また、床反力計の大きさが有限であることにより、床反力計では、限られた歩数分の床反力しか測定することができない。したがって、比較例１では、ユーザが屋外を長時間歩行する場合の床反力を測定することが困難である。
　このような比較例１に対し、センサデータとしてセンサ機器１０が検出したデータを用いる場合、ユーザが歩行する場所がどこであっても、ユーザにセンサ機器１０が装着されていれば、床反力の推定値を取得することができる。また、ユーザが長時間歩行する場合であっても、ユーザにセンサ機器１０が装着されていれば、床反力の推定値を取得することができる。このようにセンサデータとしてセンサ機器１０が検出したデータを用いる場合、ユーザが歩行する場所及びユーザが歩行する時間にかかわらず、床反力の推定値を取得することができる。このような構成により、情報処理システム１は、リハビリを含む任意の用途に使用可能である。
　比較例２として、靴底に荷重センサを内蔵した靴によって、ユーザに加わる床反力を測定する場合を考える。このような荷重センサを内蔵した靴を用いる場合、ユーザが当該靴を装着していれば、ユーザが歩行する場所がどこであっても、床反力を測定することができる。また、ユーザが長時間歩行する場合であっても、ユーザが当該靴を装着していれば、床反力を測定することができる。しかしながら、このような荷重センサは、一般的に高額であることが多い。また、荷重センサを内蔵した靴を用いる場合、ユーザの足部のサイズに合わせた靴を準備する必要がある。
　このような比較例２に対し、センサ機器１０が検出するセンサデータは、荷重センサを用いなくても、慣性計測ユニット等によって、検出可能である。したがって、本実施形態では、荷重センサを用いる場合よりも、より安価に、ユーザの床反力の推定値を取得することができる。また、センサ機器１０Ｆが検出したセンサデータを用いる場合、例えばセンサ機器１０Ｆをユーザの靴に後付けすれば、ユーザの足部のサイズに合わせた靴を準備しなくてよい。
　ここで、本実施形態では、トランスフォーマは、ケースＣ１のセンサデータが入力されると床反力の推定値を出力するように学習したものであってよい。ケースＣ１のセンサデータは、センサ機器１０Ａによって検出される。このような構成により、ユーザがセンサ機器１０Ａのみを装着する場合であっても、ユーザに加わる床反力の推定値を取得することができる。また、ユーザがセンサ機器１０Ａのみを装着すればよいため、ユーザの利便性を向上させることができる。さらに、センサ機器１０Ａがイヤホンであるか、又はイヤホンに含まれる場合、ユーザは、センサ機器１０Ａを容易に頭部に装着することができる。ユーザがセンサ機器１０Ａを容易に頭部に装着することができることにより、ユーザの利便性をさらに向上させることができる。また、センサ機器１０Ａが検出したセンサデータのみを用いることにより、複数のセンサ機器１０のそれぞれがデータを検出するタイミングを同期させなくてよくなる。複数のセンサ機器１０のそれぞれがデータを検出するタイミングを同期させなくてよいことにより、より簡便に、床反力の推定値を取得することができる。
　また、本実施形態では、トランスフォーマは、ケースＣ２～Ｃ５の何れかのセンサデータが入力されると床反力の推定値を出力するように学習したものであってよい。ケースＣ２のセンサデータは、センサ機器１０Ａと、センサ機器１０Ｅ－１又はセンサ機器１０Ｅ－２とによって、すなわち、２個のセンサ機器１０によって、検出される。ケースＣ３のセンサデータは、センサ機器１０Ａと、センサ機器１０Ｆ－１又はセンサ機器１０Ｆ－２とによって、すなわち、２個のセンサ機器１０によって、検出される。ケースＣ４のセンサデータは、センサ機器１０Ａと、センサ機器１０Ｄ－１又はセンサ機器１０Ｄ－２とによって、すなわち、２個のセンサ機器１０によって、検出される。ケースＣ５のセンサデータは、センサ機器１０Ａと、センサ機器１０Ｂとによって、すなわち、２個のセンサ機器１０によって、検出される。このようにケースＣ２～Ｃ５では、２個のセンサ機器１０によってセンサデータが検出されるため、ユーザは、２個のセンサ機器１０を装着すればよい。したがって、ユーザの利便性を向上させることができる。また、図１０を参照して上述したように、ケースＣ２～Ｃ５では、ケースＣ１よりも、床反力の推定精度が向上した。したがって、ケースＣ２～Ｃ５のセンサデータを用いることにより、床反力を精度良く推定することができる。
　また、本実施形態では、トランスフォーマは、ケースＣ６，Ｃ７の何れかのセンサデータが入力されると床反力の推定値を出力するように学習したものであってよい。ケースＣ６のセンサデータは、センサ機器１０Ａと、センサ機器１０Ｂと、センサ機器１０Ｅ－１又はセンサ機器１０Ｅ－２とによって、すなわち、３個のセンサ機器１０によって、検出される。ケースＣ７のセンサデータは、センサ機器１０Ａと、センサ機器１０Ｂと、センサ機器１０Ｆ－１又はセンサ機器１０Ｆ－２とによって、すなわち、３個のセンサ機器１０によって、検出される。このようにケースＣ６，Ｃ７では、３個のセンサ機器１０によってセンサデータが検出されるため、ユーザは、３個のセンサ機器１０を装着すればよい。したがって、ユーザの利便性を向上させることができる。また、図１０を参照して上述したように、ケースＣ６，Ｃ７では、ケースＣ１よりも、床反力の推定精度が向上した。また、図１０を参照して上述したように、ケースＣ６の床反力の推定精度は、ケースＣ１～Ｃ１３のうちで最も高かった。したがって、ケースＣ６，Ｃ７のセンサデータを用いることにより、床反力を精度良く推定することができる。
　（他のシステム構成）
　図４５は、本開示の他の実施形態に係る情報処理システム１０１の構成を示す機能ブロック図である。
　情報処理システム１０１は、センサ機器１０と、電子機器２０と、サーバ８０とを含む。情報処理システム１０１では、サーバ８０が、情報処理装置として機能し、ユーザに加わる床反力の推定値を取得する。
　電子機器２０と、サーバ８０とは、ネットワーク２を介して通信可能である。ネットワーク２は、移動体通信網及びインターネット等を含む任意のネットワークであってよい。
　電子機器２０の制御部２７は、情報処理システム１と同じ又は類似に、センサ機器１０からセンサデータを通信部２１によって受信する。情報処理システム１０１では、制御部２７は、センサデータを、ネットワーク２を介してサーバ８０に、通信部２１によって送信する。
　サーバ８０は、例えば、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属するサーバである。サーバ８０は、通信部８１と、記憶部８２と、制御部８３とを含んで構成される。
　通信部８１は、ネットワーク２に接続可能な少なくとも１つの通信モジュールを含んで構成される。通信モジュールは、例えば、有線ＬＡＮ（Local Area Network）又は無線ＬＡＮ等の規格に対応した通信モジュールである。通信部８１は、通信モジュールによって有線ＬＡＮ又は無線ＬＡＮを介して、ネットワーク２に接続される。
　記憶部８２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ又はこれらのうちの少なくとも２種類の組み合わせを含んで構成される。半導体メモリは、例えば、ＲＡＭ又はＲＯＭ等である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭ等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ等である。記憶部８２は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部８２には、サーバ８０の動作に用いられるデータと、サーバ８０の動作によって得られたデータとが記憶される。例えば、記憶部８２は、システムプログラム、アプリケーションプログラム及び組み込みソフトウェア等を記憶する。例えば、記憶部８２は、図６に示すようなトランスフォーマ３０のデータ及びトランスフォーマ３０に用いられるデータ等を記憶する。
　制御部８３は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ若しくはＧＰＵ等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ又はＡＳＩＣ等である。制御部８３は、サーバ８０の各部を制御しながら、サーバ８０の動作に関わる処理を実行する。制御部８３は、図６に示すようなトランスフォーマ３０が実行する処理を実行してよい。
　制御部８３は、ネットワーク２を介して電子機器２０から、センサデータを通信部８１によって受信する。制御部８３は、上述した電子機器２０の制御部２７による処理と同じ又は類似の処理を実行することにより、センサデータに基づいて、ユーザに加わる床反力の推定値を取得する。
　（他のシステムの動作）
　図４６は、図４５に示す情報処理システムが実行する推定処理の動作を示すシーケンス図である。この動作は、本実施形態に係る情報処理方法の一例に相当する。電子機器２０が床反力の推定処理の実行を指示する入力を受け付けると、情報処理システム１０１は、ステップＳ１１の処理から推定処理を開始する。
　電子機器２０では、制御部２７は、床反力の推定処理の実行を指示する入力を入力部２２によって受け付ける（ステップＳ１１）。制御部２７は、データ検出の開始を指示する信号をブロードキャスト信号として、複数のセンサ機器１０に通信部２１によって送信する（ステップＳ１２）。
　センサ機器１０では、制御部１６は、データ検出の開始を指示する信号を、電子機器２０から通信部１１によって受信する（ステップＳ１３）。制御部１６は、この信号を受信すると、データ検出を開始する。制御部１６は、センサ部１２からセンサ部１２が検出したデータを取得し、取得したデータをセンサデータとして、電子機器２０に通信部１１によって送信する（ステップＳ１４）。
　電子機器２０では、制御部２７は、センサ機器１０からセンサデータを通信部２１によって受信する（ステップＳ１５）。制御部２７は、センサデータを、ネットワーク２を介してサーバ８０に、通信部２１によって送信する（ステップＳ１６）。
　サーバ８０では、制御部８３は、ネットワーク２を介して電子機器２０から、センサデータを通信部８１によって受信する（ステップＳ１７）。制御部８３は、センサデータを電子機器２０を介してサーバ８０に送信したセンサ機器１０の種類に応じて、ケースＣ１～Ｃ１３の何れかを選択する（ステップＳ１８）。制御部８３は、ステップＳ１８の処理で選択したケースＣ１～Ｃ１３において用いられるトランスフォーマ３０のデータを、記憶部８２から取得する（ステップＳ１９）。制御部８３は、ステップＳ１８の処理で選択したケースＣ１～Ｃ１３のセンサデータを、ステップＳ１９の処理でデータを取得したトランスフォーマに入力し、トランスフォーマから床反力の推定値を取得する（ステップＳ２０）。制御部８３は、床反力の推定値を示す測定信号を生成する（ステップＳ２１）。制御部８３は、生成した測定信号を、ネットワーク２を介して電子機器２０に、通信部８１によって送信する（ステップＳ２２）。
　電子機器２０では、制御部２７は、ネットワーク２を介してサーバ８０から、測定信号を通信部２１によって受信する（ステップＳ２３）。制御部２７は、測定信号が示す情報を、報知部２３に報知させる（ステップＳ２４）。ステップＳ２４の処理において、制御部２７は、測定信号をセンサ機器１０に通信部２１によって送信し、センサ機器１０に測定信号が示す情報を報知させてもよい。
　ステップＳ２４の処理を実行した後、情報処理システム１０１は、推定処理を終了する。情報処理システム１０１は、推定処理を終了した後、ユーザが上記設定歩数歩くと、推定処理を再び実行してよい。再び実行する推定処理では、情報処理システム１０１は、ステップＳ１４の処理から開始してよい。情報処理システム１０１は、電子機器２０が推定処理の終了を指示する入力を入力部２２から受け付けるまで、ユーザが上記設定歩数歩く毎に評価処理を繰り返し実行してよい。上述したように、電子機器２０は、推定処理の終了を指示する入力を受け付けると、データ検出の終了を指示する信号をブロードキャスト信号として、複数のセンサ機器１０に送信してよい。上述したように、センサ機器１０は、データ検出の終了を指示する信号を受信すると、データ検出を終了してよい。
　ステップＳ２０の処理において、サーバ８０の制御部８３は、床反力の推定値に基づいて、ユーザの歩行に関する情報を取得してもよいし、ユーザの歩行に関する評価を決定してもよい。この場合、ステップＳ２１の処理において、制御部８３は、床反力の推定値、ユーザの歩行に関する評価及びユーザの歩行に関する情報の少なくとも何れかを示す測定信号を生成してよい。
　情報処理システム１０１は、情報処理システム１と同じ又は類似の効果を奏することができる。
　本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。したがって、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各機能部に含まれる機能等は論理的に矛盾しないように再配置可能である。複数の機能部等は、１つに組み合わせられたり、分割されたりしてよい。上述した本開示に係る各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施され得る。つまり、本開示の内容は、当業者であれば本開示に基づき種々の変形及び修正を行うことができる。したがって、これらの変形及び修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段又は各ステップ等は論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段又は各ステップ等と置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段又は各ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。
　例えば、センサ機器１０の通信部１１は、図４５に示すようなネットワーク２に接続可能な少なくとも１つの通信モジュールをさらに含んで構成されてよい。通信モジュールは、例えば、ＬＴＥ、４Ｇ又は５Ｇ等の移動体通信規格に対応した通信モジュールである。この場合、図４５に示すような情報処理システム１０１では、センサ機器１０の制御部１６は、ネットワーク２を介してサーバ８０に、センサ機器１０が検出したデータを通信部１１によって送信してよい。
　例えば、上述した実施形態では、ケースＣ５～Ｃ８，Ｃ１２，Ｃ１３は、ユーザの手首の動きを示すセンサデータを含むものとして説明した。ただし、ケースＣ５～Ｃ８，Ｃ１２，Ｃ１３では、ユーザの手首の動きを示すセンサデータの代わりに、ユーザの前腕部の手首以外の部分の動きを示すセンサデータが用いられてもよい。
　例えば、上述した実施形態では、センサ機器１０は、図４及び図４５に示すような通信部１１を含んで構成されるものとして説明した。ただし、センサ機器１０は、通信部１１を含んで構成されなくてもよい。この場合、センサ機器１０が検出したセンサデータは、ＳＤ（Secure Digital）メモリカード等の記憶媒体を介して、床反力を推定する電子機器２０又はサーバ８０等の装置に転送されてよい。ＳＤメモリカードは、「ＳＤカード」とも呼ばれる。センサ機器１０は、ＳＤメモリカード等の記憶媒体を挿入可能に構成されてよい。
　例えば、上述した実施形態では、電子機器２０又はサーバ８０は、センサ機器１０が検出したセンサデータと、学習モデルとによって、ユーザに加わる床反力の推定値を取得するものとして説明した。ただし、センサデータは、ユーザの身体部位の動きを示すデータであれば、ユーザの身体部位に装着されるセンサ機器１０が検出したセンサデータに限定されない。センサデータは、任意の方法によって検出されてよい。一例として、電子機器２０又はサーバ８０は、光学式、画像式又は磁気式等のモーションキャプチャによって検出されたセンサデータと、学習モデルとによって、ユーザに加わる床反力の推定値を取得してよい。
　例えば、汎用のコンピュータを、本実施形態に係る電子機器２０として機能させる実施形態も可能である。具体的には、本実施形態に係る電子機器２０の各機能を実現する処理内容を記述したプログラムを、汎用のコンピュータのメモリに格納し、プロセッサによって当該プログラムを読み出して実行させる。したがって、本実施形態に係る構成は、プロセッサが実行可能なプログラム又は当該プログラムを記憶する非一時的なコンピュータ可読媒体としても実現可能である。
　１，１０１　情報処理システム
　２　ネットワーク
　１０，１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ，１０Ｄ－１，１０Ｄ－２，１０Ｅ，１０Ｅ－１，１０Ｅ－２，１０Ｆ，１０Ｆ－１，１０Ｆ－２　センサ機器
　１１　通信部
　１２　センサ部
　１３　報知部
　１４　出力部
　１５　記憶部
　１６　制御部
　２０　電子機器
　２１　通信部
　２２　入力部
　２３　報知部
　２４　出力部
　２５　振動部
　２６　記憶部
　２７　制御部
　３０　トランスフォーマ
　４０　エンコーダ
　４１，４２，４４，４５，４６，４７　機能部
　４３　レイヤ
　５０　デコーダ
　５１，５２，５４，５５，５６，５７，５８，５９，６０，６１，７０　機能部
　５３　レイヤ
　８０　サーバ
　８１　通信部
　８２　記憶部
　８３　制御部
　Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６，Ｃ７，Ｃ８，Ｃ９，Ｃ１０，Ｃ１１，Ｃ１２，Ｃ１３　ケース
　Ｄ１０ＡＧ，Ｄ１０ＡＬ，Ｄ１０ＢＬ，Ｄ１０ＣＧ，Ｄ１０ＣＬ，Ｄ１０ＤＬ－１，Ｄ１０ＤＬ－２，Ｄ１０ＥＬ－１，Ｄ１０ＥＬ－２，Ｄ１０ＦＬ－１，Ｄ１０ＦＬ－２　センサデータ

Claims (20)

  1. 　ユーザの身体部位の動きを示すセンサデータと学習モデルとによって、ユーザに加わる床反力の推定値を取得する制御部を備え、
    　前記学習モデルは、前記センサデータが入力されると前記床反力の推定値を出力するように学習したものである、情報処理装置。
  2. 　前記制御部は、前記ユーザの身体部位に装着される少なくとも１個のセンサ機器から、前記センサデータを取得する、請求項１に記載の情報処理装置。
  3. 　前記学習モデルは、前記ユーザの頭部の動きを示す前記センサデータが入力されると前記床反力の推定値を出力するように学習したものである、請求項１又は２に記載の情報処理装置。
  4. 　前記学習モデルは、前記ユーザの頭部の動きを示す前記センサデータと、前記ユーザの２つの足首のうちの何れか一方の足首の動きを示す前記センサデータとが入力されると、前記床反力の推定値を出力するように、学習したものである、請求項１又は２に記載の情報処理装置。
  5. 　前記学習モデルは、前記ユーザの頭部の動きを示す前記センサデータと、前記ユーザの２つの足部のうちの何れか一方の足部の動きを示す前記センサデータとが入力されると、前記床反力の推定値を出力するように、学習したものである、請求項１又は２に記載の情報処理装置。
  6. 　前記学習モデルは、前記ユーザの頭部の動きを示す前記センサデータと、前記ユーザの２つの大腿部のうちの何れか一方の大腿部の動きを示す前記センサデータとが入力されると、前記床反力の推定値を出力するように、学習したものである、請求項１又は２に記載の情報処理装置。
  7. 　前記学習モデルは、前記ユーザの頭部の動きを示す前記センサデータと、前記ユーザの２つの前腕部のうちの何れか一方の前腕部の動きを示す前記センサデータとが入力されると、前記床反力の推定値を出力するように、学習したものである、請求項１又は２に記載の情報処理装置。
  8. 　前記学習モデルは、前記ユーザの頭部の動きを示す前記センサデータと、前記ユーザの２つの前腕部のうちの何れか一方の前腕部の動きを示す前記センサデータと、前記ユーザの２つの足首のうちの何れか一方の足首の動きを示す前記センサデータとが入力されると、前記床反力の推定値を出力するように、学習したものである、請求項１又は２に記載の情報処理装置。
  9. 　前記学習モデルは、前記ユーザの頭部の動きを示す前記センサデータと、前記ユーザの２つの前腕部のうちの何れか一方の前腕部の動きを示す前記センサデータと、前記ユーザの２つの足部のうちの何れか一方の足部の動きを示す前記センサデータとが入力されると、前記床反力の推定値を出力するように、学習したものである、請求項１又は２に記載の情報処理装置。
  10. 　前記学習モデルは、床反力を正規化した正規化床反力の推定値を出力し、
    　前記制御部は、前記正規化床反力の推定値に前記ユーザの体重を乗算することにより、前記床反力の算出値を算出する、請求項１から９までの何れか一項に記載の情報処理装置。
  11. 　前記学習モデルは、トランスフォーマ（Transformer）である、請求項１から１０までの何れか一項に記載の情報処理装置。
  12. 　前記制御部は、前記床反力の推定値に基づいて、前記ユーザの歩行に対する評価を決定する、請求項１から１１までの何れか一項に記載の情報処理装置。
  13. 　前記制御部は、前記床反力の推定値に基づいて、前記ユーザの歩行に関する情報を取得する、請求項１から１２までの何れか一項に記載の情報処理装置。
  14. 　通信部をさらに備え、
    　前記制御部は、前記床反力の推定値、前記ユーザの歩行に関する評価及び前記ユーザの歩行に関する情報の少なくとも何れかを示す測定信号を生成し、前記測定信号を外部機器に前記通信部によって送信する、請求項１から１３までの何れか一項に記載の情報処理装置。
  15. 　前記外部機器は、イヤホンである、請求項１４に記載の情報処理装置。
  16. 　前記学習モデルは、床反力計によって検出された複数の被験者の床反力のデータと、モーションキャプチャシステムによって検出された被験者の動きを示すデータとを含むデータセットを学習データとして生成されたものである、請求項１から１５までの何れか一項に記載の情報処理装置。
  17. 　請求項１から１５までの何れか一項に記載の情報処理装置が取得した前記床反力の推定値を報知する報知部を備える電子機器。
  18. 　ユーザの身体部位の動きを示すセンサデータと学習モデルとによって、ユーザに加わる床反力の推定値を取得する情報処理装置を含み、
    　前記学習モデルは、前記センサデータが入力されると前記床反力の推定値を出力するように学習したものである、情報処理システム。
  19. 　ユーザの身体部位の動きを示すセンサデータと学習モデルとによって、ユーザに加わる床反力の推定値を取得することを含み、
    　前記学習モデルは、前記センサデータが入力されると前記床反力の推定値を出力するように学習したものである、情報処理方法。
  20. 　コンピュータに、
    　ユーザの身体部位の動きを示すセンサデータと学習モデルとによって、ユーザに加わる床反力の推定値を取得することを実行させ、
    　前記学習モデルは、前記センサデータが入力されると前記床反力の推定値を出力するように学習したものである、プログラム。
PCT/JP2022/034480 2021-09-14 2022-09-14 情報処理装置、電子機器、情報処理システム、情報処理方法及びプログラム WO2023042868A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023548494A JPWO2023042868A1 (ja) 2021-09-14 2022-09-14

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-149733 2021-09-14
JP2021149733 2021-09-14

Publications (1)

Publication Number Publication Date
WO2023042868A1 true WO2023042868A1 (ja) 2023-03-23

Family

ID=85602953

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/034480 WO2023042868A1 (ja) 2021-09-14 2022-09-14 情報処理装置、電子機器、情報処理システム、情報処理方法及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2023042868A1 (ja)
WO (1) WO2023042868A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011041752A (ja) * 2009-08-24 2011-03-03 Feel Fine Kk 支援システム及び支援方法
JP2015528316A (ja) * 2012-08-07 2015-09-28 ドーサヴィ ピーティーワイ． エルティーディー． 反力の測定方法および測定装置
WO2018101071A1 (ja) * 2016-11-29 2018-06-07 日本電気株式会社 歩行状態計測装置、歩行状態計測システム、歩行状態計測方法および歩行状態計測プログラムを記憶する記憶媒体
JP2019195633A (ja) * 2018-05-10 2019-11-14 ビフレクス インコーポレイテッド Ｉｖｌｒ予測方法およびそれを用いた走行時のケガ危険性定量化装置
US20200355721A1 (en) * 2019-05-08 2020-11-12 Beflex Inc. Method and apparatus for detecting walking factor with portion acceleration sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011041752A (ja) * 2009-08-24 2011-03-03 Feel Fine Kk 支援システム及び支援方法
JP2015528316A (ja) * 2012-08-07 2015-09-28 ドーサヴィ ピーティーワイ． エルティーディー． 反力の測定方法および測定装置
WO2018101071A1 (ja) * 2016-11-29 2018-06-07 日本電気株式会社 歩行状態計測装置、歩行状態計測システム、歩行状態計測方法および歩行状態計測プログラムを記憶する記憶媒体
JP2019195633A (ja) * 2018-05-10 2019-11-14 ビフレクス インコーポレイテッド Ｉｖｌｒ予測方法およびそれを用いた走行時のケガ危険性定量化装置
US20200355721A1 (en) * 2019-05-08 2020-11-12 Beflex Inc. Method and apparatus for detecting walking factor with portion acceleration sensor

Also Published As

Publication number Publication date
JPWO2023042868A1 (ja) 2023-03-23

Similar Documents

Publication Publication Date Title
US11679300B2 (en) Systems and methods for real-time data quantification, acquisition, analysis, and feedback
TWI614514B (zh) 供一行動裝置中使用之方法及設備、行動裝置及非暫時性電腦可讀媒體
US11504580B2 (en) Posture coaching system and method for weight training by motion pattern
CN111228752B (zh) 用于自动配置传感器的方法、电子设备和记录介质
JP2016112108A (ja) 運動情報表示システム及び運動情報表示方法、運動情報表示プログラム
Hindle et al. Inertial‐Based Human Motion Capture: A Technical Summary of Current Processing Methodologies for Spatiotemporal and Kinematic Measures
US10892055B2 (en) Motor function estimation information generation apparatus, motor function estimation system, motor function estimation information generation method, motor function estimation method and storage medium
Salehi et al. Body-IMU autocalibration for inertial hip and knee joint tracking
US20150185042A1 (en) Dynamic computation of distance of travel on wearable devices
CN107389052A (zh) 一种踝泵运动监测系统及终端设备
US20150185045A1 (en) Dynamic calibration of relationships of motion units
WO2021094775A1 (en) Method performed by an electronics arrangement for a wearable article
JP2009125229A (ja) 動き測定装置
KR20230166319A (ko) 대상자의 3차원 전신 자세를 식별하기 위한 장치, 방법 및 프로그램 기록 매체
WO2023042868A1 (ja) 情報処理装置、電子機器、情報処理システム、情報処理方法及びプログラム
WO2022250098A1 (ja) 情報処理装置、電子機器、情報処理システム、情報処理方法及びプログラム
WO2023106382A1 (ja) 情報処理装置、電子機器、情報処理システム、情報処理方法及びプログラム
WO2022250099A1 (ja) 情報処理装置、電子機器、情報処理システム、情報処理方法及びプログラム
US20200001159A1 (en) Information processing apparatus, information processing method, and program
CN114053679A (zh) 运动训练方法及其系统
WO2021094777A1 (en) Method and electronics arrangement for a wearable article
CN115530807B (zh) 一种展腹动作分析方法、系统及设备
KR20210040671A (ko) 동적으로 변화하는 인체 무게 중심 궤적 추정 장치 및 그 방법
US20240321075A1 (en) Method for detecting fall of user and electronic device supporting the same
CN114377373B (zh) 一种起跳特征分析方法、系统及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22870015

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18690641

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023548494

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22870015

Country of ref document: EP

Kind code of ref document: A1