WO2021140658A1 - 異常検出装置、判定システム、異常検出方法、およびプログラム記録媒体 - Google Patents

異常検出装置、判定システム、異常検出方法、およびプログラム記録媒体 Download PDF

Info

Publication number
WO2021140658A1
WO2021140658A1 PCT/JP2020/000698 JP2020000698W WO2021140658A1 WO 2021140658 A1 WO2021140658 A1 WO 2021140658A1 JP 2020000698 W JP2020000698 W JP 2020000698W WO 2021140658 A1 WO2021140658 A1 WO 2021140658A1
Authority
WO
WIPO (PCT)
Prior art keywords
walking
feature amount
data
footwear
pedestrian
Prior art date
Application number
PCT/JP2020/000698
Other languages
English (en)
French (fr)
Inventor
晨暉 黄
謙一郎 福司
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2021569700A priority Critical patent/JP7327516B2/ja
Priority to US17/790,228 priority patent/US20230034341A1/en
Priority to PCT/JP2020/000698 priority patent/WO2021140658A1/ja
Publication of WO2021140658A1 publication Critical patent/WO2021140658A1/ja
Priority to US18/538,109 priority patent/US20240108245A1/en
Priority to US18/539,352 priority patent/US20240108246A1/en
Priority to US18/541,036 priority patent/US20240115160A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6804Garments; Clothes
    • A61B5/6807Footwear
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Definitions

  • the present invention relates to an abnormality detection device or the like that detects an abnormality in a pedestrian's foot.
  • Hallux valgus Due to growing interest in health care that manages physical condition, a service that measures gaits including gait characteristics of pedestrians and provides information according to the gaits to users is drawing attention. For example, one of the foot abnormalities caused by the characteristics of walking is hallux valgus. Hallux valgus progresses gradually and may not heal when noticed. Hallux valgus is mainly due to the compatibility of footwear and feet, and is also characterized by walking. Therefore, if the risk of hallux valgus can be detected based on the characteristics of walking, it may be possible to suppress the progression of hallux valgus.
  • Patent Document 1 discloses a foot analysis device that analyzes the shapes of feet and toes.
  • the device of Patent Document 1 includes a sensor that measures a force acting on a predetermined position of a member that the sole of the foot comes into contact with, and a sensor that measures whether or not the scaphoid bone has moved.
  • the device of Patent Document 1 determines whether or not pronation has occurred based on the output from the sensor, and determines whether or not there is an abnormality in the foot.
  • an abnormality of the foot can be detected by measuring the pressure applied by the portion corresponding to the scaphoid bone of the sole of the foot.
  • the pressure measurement has a problem that it is vulnerable to body motion noise.
  • the installation of the sensor for measuring the foot pressure is fixed, there is a problem that it cannot be applied to various foot shapes.
  • An object of the present invention is to provide an abnormality detecting device or the like capable of detecting an abnormality of a foot based on the walking characteristics of a pedestrian.
  • the abnormality detection device of one aspect of the present invention is an extraction unit that acquires sensor data from a sensor installed on the foot and uses the sensor data to extract a characteristic walking feature amount in walking of a pedestrian wearing the foot. And a detection unit that detects an abnormality in the foot of a pedestrian walking in footwear based on the walking feature amount extracted by the extraction unit.
  • a computer acquires sensor data from a sensor installed on the foot and uses the sensor data to obtain a characteristic walking feature amount in walking of a pedestrian wearing the foot. It is extracted, and based on the extracted gait feature amount, an abnormality in the foot of a pedestrian walking with footwear is detected.
  • the program of one aspect of the present invention includes a process of acquiring sensor data from a sensor installed on the foot and a process of extracting a characteristic walking feature amount in walking of a pedestrian wearing the foot using the sensor data. Based on the extracted gait feature amount, the computer is made to perform a process of detecting an abnormality in the foot of a pedestrian who walks in footwear.
  • an abnormality detection device or the like that can detect an abnormality of a foot based on the walking characteristics of a pedestrian.
  • the feature portion extracted from the walking waveform data of the angular velocity (roll angular velocity) around the X axis obtained by walking the subject wearing the footwear on which the data acquisition device of the determination system according to the first embodiment is arranged will be described.
  • the distance between the component having a walking cycle of 73% and the regression line is set with respect to the walking speed. It is a graph plotted.
  • the feature portion extracted from the walking waveform data of the acceleration in the gravity direction (acceleration in the Z direction) obtained by walking the subject wearing the footwear on which the data acquisition device of the determination system according to the first embodiment is arranged will be described.
  • the walking speed is the distance between the return straight line and the component whose walking cycle is 73% of the Z-direction acceleration obtained by walking the subject wearing the footwear on which the data acquisition device of the determination system according to the first embodiment is arranged. It is a graph plotted against this. The variation in the distance between the component and the regression line when the walking cycle is 73% of the Z-direction acceleration obtained by walking the subject wearing the footwear on which the data acquisition device of the determination system according to the first embodiment is arranged is shown.
  • the feature portion extracted from the walking waveform data of the acceleration in the traveling direction (acceleration in the Y direction) obtained by walking the subject wearing the footwear on which the data acquisition device of the determination system according to the first embodiment is arranged will be described.
  • the walking speed is the distance between the return straight line and the component whose walking cycle is 43% of the Y-direction acceleration obtained by walking the subject wearing the footwear on which the data acquisition device of the determination system according to the first embodiment is arranged.
  • the variation in the distance between the component and the regression line when the walking cycle is 43% of the Y-direction acceleration obtained by walking the subject wearing the footwear on which the data acquisition device of the determination system according to the first embodiment is arranged is shown.
  • a graph in which the component of the Y-direction acceleration obtained by walking of a subject wearing footwear in which the data acquisition device of the determination system according to the first embodiment is arranged and the walking cycle is 73% is plotted against the walking speed. is there.
  • the walking speed is the distance between the return straight line and the component whose walking cycle is 73% of the Y-direction acceleration obtained by walking the subject wearing the footwear on which the data acquisition device of the determination system according to the first embodiment is arranged.
  • the determination system of the present embodiment determines the presence or absence of an abnormality in the foot of the pedestrian by using the sensor data acquired by the sensor installed on the footwear.
  • the determination system of the present embodiment uses sensor data acquired by an inertial measurement unit installed on the back side of the arch of the pedestrian to determine whether the pedestrian's foot is at risk of hallux valgus.
  • FIG. 1 is a block diagram showing an example of the configuration of the determination system 1 of the present embodiment.
  • the determination system 1 includes a data acquisition device 11 and an abnormality detection device 12.
  • the data acquisition device 11 and the abnormality detection device 12 may be connected by wire or wirelessly. Further, the data acquisition device 11 and the abnormality detection device 12 may be configured by a single device. Further, the determination system 1 may be configured only by the abnormality detection device 12 by removing the data acquisition device 11 from the configuration of the determination system 1.
  • the data acquisition device 11 includes a sensor installed on the footwear.
  • the data acquisition device 11 converts the physical quantity acquired by the sensor into digital data (also referred to as sensor data), and transmits the converted sensor data to the abnormality detection device 12.
  • the abnormality detection device 12 includes an extraction unit 121 and a detection unit 123.
  • the extraction unit 121 acquires sensor data from a sensor installed on the footwear.
  • the abnormality detection device 12 uses the acquired sensor data to extract a characteristic amount of walking features in walking of a pedestrian wearing footwear.
  • the detection unit 123 detects an abnormality in the foot of a pedestrian walking with footwear based on the walking feature amount extracted by the extraction unit 121.
  • the abnormality detection device 12 can detect an abnormality in the foot based on the walking characteristics of a pedestrian.
  • the determination system 1 of the present embodiment can be applied to the determination of the progress state of the hallux valgus.
  • an example of the configuration of the determination system 1 capable of determining the progress state of the hallux valgus will be described in detail.
  • the sensor used in the data acquisition device 11 has at least an acceleration sensor and an angular velocity sensor.
  • the data acquisition device 11 is installed on an insole that is inserted into the footwear.
  • the data acquisition device 11 is preferably installed at a position below the arch of the foot.
  • the data acquisition device 11 converts physical quantities such as acceleration and angular velocity acquired by the acceleration sensor and the angular velocity sensor into digital data (also referred to as sensor data), and transmits the converted sensor data to the abnormality detection device 12.
  • the data acquisition device 11 is realized by, for example, an inertial measurement unit including an acceleration sensor and an angular velocity sensor.
  • An IMU Inertial Measurement Unit
  • the IMU includes a 3-axis accelerometer and a 3-axis angular velocity sensor.
  • examples of the inertial measurement unit include VG (Vertical Gyro), AHRS (Attitude Heading), and GPS / INS (Global Positioning System / Inertial Navigation System).
  • Sensor data such as acceleration and angular velocity acquired by the data acquisition device 11 is also called a walking parameter.
  • the walking parameters also include the speed and angle calculated by integrating the acceleration and angular velocity.
  • the lateral direction of the pedestrian is the X direction (the right side is positive)
  • the traveling direction of the pedestrian is the Y direction (the front is positive)
  • the gravity direction is the Z direction (the upper side is positive).
  • the rotation around the X axis is defined as the roll
  • the rotation around the Y axis is defined as the pitch
  • the rotation around the Z axis is defined as yaw.
  • FIG. 2 is a conceptual diagram showing an example in which the data acquisition device 11 is installed in the shoe 100.
  • the data acquisition device 11 is installed at a position corresponding to the back side of the arch of the foot.
  • the data acquisition device 11 is installed on an insole inserted into the shoe 100.
  • the data acquisition device 11 may be installed at a position other than the back side of the arch as long as it can detect the risk of progressing to the hallux valgus.
  • FIG. 3 shows the local coordinate system (x-axis, y-axis, z-axis) set in the data acquisition device 11 and the world set with respect to the ground when the data acquisition device 11 is installed on the back side of the foot arch.
  • It is a conceptual diagram for demonstrating the coordinate system (X-axis, Y-axis, Z-axis).
  • the coordinate system X-axis, Y-axis, Z-axis.
  • the pedestrian's lateral direction is the X-axis direction (rightward is positive)
  • the pedestrian's front direction traveling direction
  • the axial direction (forward direction is positive) and the gravity direction are set to the Z-axis direction (vertical upward direction is positive).
  • the local coordinate system (x-axis, y-axis, z-axis) and the world coordinate system (X-axis, Y-axis, Z-axis) match.
  • the spatial posture of the data acquisition device 11 changes, so that the local coordinate system (x-axis, y-axis, z-axis) and the world coordinate system (X-axis, Y-axis, Z-axis) are inconsistent. Therefore, the abnormality detection device 12 transfers the sensor data acquired by the data acquisition device 11 from the local coordinate system (x-axis, y-axis, z-axis) of the data acquisition device 11 to the world coordinate system (X-axis, Y-axis, Z-axis). Axis).
  • the abnormality detection device 12 calculates the sole angle.
  • FIG. 4 is a conceptual diagram for explaining the sole angle calculated by the abnormality detection device 12.
  • the sole angle is the angle of the sole with respect to the ground (XY plane).
  • the sole angle is defined as minus when the toes are facing up (dorsiflexion) and plus when the toes are facing down (bottom flexion).
  • the abnormality detection device 12 calculates the sole angle using the magnitude of acceleration in each of the X-axis and Y-axis directions. Further, for example, the abnormality detecting device 12 can calculate the sole angle around those axes by integrating the values of the angular velocities with each of the X-axis, the Y-axis, and the Z-axis as the central axis. Acceleration data and angular velocity data contain high-frequency and low-frequency noise that changes in various directions. Therefore, if the acceleration data and the angular velocity data are subjected to a low-pass filter and a high-pass filter to remove the high-frequency component and the low-frequency component, the accuracy of the sensor data from the foot where noise is likely to ride can be improved. Further, the accuracy of the sensor data can be improved by applying a complementary filter to each of the acceleration data and the angular velocity data and taking a weighted average.
  • FIG. 5 is a conceptual diagram for explaining the hallux valgus.
  • the first metatarsal bone 101 and the first proximal phalanx 103 are shown by dotted lines.
  • Hallux valgus is a symptomatology of the big toe valgus, accompanied by varus of the first metatarsal bone 101. If you continue walking with footwear that does not fit your feet, the force is applied to the first metatarsal bone 101 in the direction of varus, increasing the risk of bunion progression.
  • Progress of hallux valgus is determined by the angle between the center line L 2 of the center line L 1 and the first base phalange 103 of the first metatarsal 101 (HV angle ⁇ HV) (HV: Hallux valgus ).
  • Hallux valgus is affected not only by the compatibility of footwear and feet, but also by the characteristics of walking. The characteristics of walking of a person with hallux valgus will be described later.
  • the abnormality detection device 12 acquires sensor data in the local coordinate system from the data acquisition device 11.
  • the anomaly detection device 12 converts the acquired sensor data in the local coordinate system into the world coordinate system to generate time series data.
  • the abnormality detection device 12 extracts walking waveform data for one walking cycle from the generated time-series data.
  • the abnormality detection device 12 extracts a characteristic portion related to a foot abnormality from the walking waveform data for one walking cycle extracted.
  • the anomaly detection device 12 extracts a characteristic portion related to hallux valgus from the extracted walking waveform data for one walking cycle.
  • FIG. 6 is a conceptual diagram for explaining a general walking cycle.
  • FIG. 6 shows one walking cycle of the right foot.
  • the horizontal axis of FIG. 6 is the normalized time (100%) with one walking cycle of the right foot starting from the time when the heel of the right foot lands on the ground and then ending at the time when the heel of the right foot lands on the ground. Also called normalization time).
  • one walking cycle of one foot is roughly divided into a stance phase in which at least a part of the sole of the foot is in contact with the ground and a swing phase in which the sole of the foot is away from the ground.
  • the stance phase is subdivided into an initial stance T1, a middle stance T2, a final stance T3, and an early swing T4.
  • the swing phase is further subdivided into an early swing T5, a middle swing T6, and a final swing T7.
  • (a) represents a situation in which the heel of the right foot touches the ground (heel touchdown).
  • (A) is the starting point of one walking cycle.
  • (B) represents a situation in which the toe of the left foot is separated from the ground while the entire sole of the right foot is in contact with the ground (opposite toe takeoff).
  • (C) represents a situation in which the heel of the right foot is lifted while the entire sole of the right foot is in contact with the ground (heel lift).
  • (D) is a situation in which the heel of the left foot touches the ground (opposite heel touches the ground).
  • (E) represents a situation in which the toe of the right foot is separated from the ground while the entire sole of the left foot is in contact with the ground (toe takeoff).
  • (F) represents a situation in which the left foot and the right foot intersect with each other while the entire sole of the left foot is in contact with the ground (foot intersection).
  • (G) represents a situation in which the heel of the right foot touches the ground (heel touching).
  • (G) is the end point of one walking cycle and the starting point of the next walking cycle.
  • FIG. 7 is a conceptual diagram for explaining the relationship between the walking cycle and the time-series data of the sole angle in one actually measured walking cycle.
  • the upper row represents a walking cycle starting from the time t m in the middle of the stance phase and ending at the time t m + 1 in the middle of the next stance phase.
  • the graph in the middle is the time series data for one walk of the sole angle.
  • the horizontal axis of the graph in the middle row is the time when the sensor data for calculating the sole angle was actually measured, which is different from the walking cycle in the upper row.
  • the horizontal axis of the time-series data of the sole angle is corrected in order to match the walking cycle.
  • the abnormality detection device 12 From the time-series data of the sole angle, the abnormality detection device 12 has a dorsiflexion peak time t d at which the sole angle is the minimum (dorsiflexion peak), and the sole angle is the maximum (plantar flexion) next to the dorsiflexion peak.
  • the plantar flexion peak time t b which is the peak), is detected. Further, the anomaly detection device 12 detects the dorsiflexion peak time t d + 1 of the dorsiflexion peak next to the plantar flexion peak and the plantar flexion peak time t b + 1 next to the dorsiflexion peak.
  • the abnormality detection device 12 starts from a time t m between the dorsiflexion peak time t d and the plantar flexion peak time t b , and is a time intermediate between the dorsiflexion peak time t d + 1 and the plantar flexion peak time t b + 1.
  • the walking waveform data for one walking cycle ending at t m + 1 is cut out.
  • a maximum (plantar flexion peak) appears at the plantar flexion peak time t b and a minimum at the dorsiflexion peak time t d + 1. (Dorsiflexion peak) appears.
  • the section from time t m to time t b is 30% of the walking cycle
  • the section from time t b to time t d + 1 is 40% of the walking cycle
  • time t d + 1 to. Normalize the section up to time t m + 1 so that it is 30% of the walking cycle.
  • the lower graph is the walking waveform data of the sole angle after correction.
  • the walking waveform data of the sole angle shows the change of the sole angle with the walking cycle.
  • the time-series data of spatial acceleration and spatial angular velocity also show walking waveform data whose horizontal axis is corrected to the walking cycle, similar to the sole angle.
  • 30% of the walking cycle corresponds to the timing of toe takeoff in FIG. 6 (e).
  • 70% of the walking cycle corresponds to the timing of heel contact in FIGS. 6 (a) and 6 (g).
  • the abnormality detection device 12 uses teacher data in which the progress state of the abnormality of the foot is used as a label, and the feature amount of the feature portion of the walking waveform data obtained when the pedestrian with the abnormality walks is used as input data. Estimate pedestrian foot abnormalities using a machine-learned trained model. Specifically, the abnormality detection device 12 uses the progress state of the valgus valgus as a label, and uses the teacher data as input data for the feature amount of the feature portion of the walking waveform data obtained when the pedestrian in the progress state walks. Using the trained model trained using the machine, the progress of the valgus valgus of the pedestrian is estimated.
  • the abnormality detection device 12 inputs the feature amount of the feature portion of the walking waveform data into the trained model, and estimates the HV angle of the foot of the pedestrian.
  • the abnormality detection device 12 outputs the estimated progress state of the hallux valgus.
  • the trained model used by the anomaly detection device 12 to estimate the progress of the hallux valgus will be described later.
  • FIG. 8 is a block diagram showing an example of the configuration of the data acquisition device 11.
  • the data acquisition device 11 includes an acceleration sensor 111, an angular velocity sensor 112, a signal processing unit 113, and a data transmission unit 115.
  • the acceleration sensor 111 is a sensor that measures acceleration in three axial directions.
  • the acceleration sensor 111 outputs the measured acceleration to the signal processing unit 113.
  • the angular velocity sensor 112 is a sensor that measures the angular velocity in the three axial directions.
  • the angular velocity sensor 112 outputs the measured angular velocity to the signal processing unit 113.
  • the signal processing unit 113 acquires each of the acceleration and the angular velocity from each of the acceleration sensor 111 and the angular velocity sensor 112.
  • the signal processing unit 113 converts the acquired acceleration and angular velocity into digital data, and outputs the converted digital data (also referred to as sensor data) to the data transmission unit 115.
  • the sensor data includes acceleration data obtained by converting the acceleration of analog data into digital data (including an acceleration vector in the three-axis direction) and angular velocity data obtained by converting the angular velocity of analog data into digital data (including an angular velocity vector in the three-axis direction). ) And at least are included.
  • the acceleration data and the angular velocity data are associated with the acquisition time of those data.
  • the signal processing unit 113 may be configured to output sensor data obtained by adding corrections such as mounting error, temperature correction, and linearity correction to the acquired acceleration data and angular velocity data.
  • the data transmission unit 115 acquires sensor data from the signal processing unit 113.
  • the data transmission unit 115 transmits the acquired sensor data to the abnormality detection device 12.
  • the data transmission unit 115 may transmit the sensor data to the abnormality detection device 12 via a cable or the like, or may transmit the sensor data to the abnormality detection device 12 via wireless communication.
  • the data transmission unit 115 can be configured to transmit sensor data to the abnormality detection device 12 via a wireless communication function (not shown) conforming to a standard such as Bluetooth (registered trademark) or WiFi (registered trademark). ..
  • the communication function of the data transmission unit 115 may conform to a standard other than Bluetooth (registered trademark) or WiFi (registered trademark).
  • FIG. 9 is a block diagram showing an example of the configuration of the abnormality detection device 12.
  • the abnormality detection device 12 has an extraction unit 121 and a detection unit 123.
  • the extraction unit 121 acquires sensor data from the data acquisition device 11 (sensor) installed on the footwear.
  • the extraction unit 121 uses the sensor data to extract a walking feature amount characteristic of walking of a pedestrian wearing footwear.
  • the extraction unit 121 acquires three-dimensional acceleration data and angular velocity data in the local coordinate system of the data acquisition device 11.
  • the extraction unit 121 converts the acquired sensor data into a world coordinate system to generate time series data.
  • the extraction unit 121 generates time-series data of three-dimensional acceleration data and time-series data of three-dimensional angular velocity data converted into a world coordinate system.
  • the extraction unit 121 generates time-series data such as spatial acceleration and spatial angular velocity. Further, the extraction unit 121 integrates the spatial acceleration and the spatial angular velocity, and generates time-series data of the spatial velocity and the spatial angle (sole angle).
  • the extraction unit 121 generates time-series data at a predetermined timing or time interval set according to a general walking cycle or a walking cycle peculiar to the user. The timing at which the extraction unit 121 generates time-series data can be arbitrarily set. For example, the extraction unit 121 continues to generate time-series data for the period during which the user's walking is continued. Further, the extraction unit 121 may be configured to generate time series data at a specific time.
  • the extraction unit 121 extracts time-series data for one walking cycle from the generated time-series data.
  • the extraction unit 121 generates waveform data for one walking cycle (hereinafter, referred to as walking waveform data) in which time-series data for one walking cycle is associated with the walking cycle.
  • the walking waveform data generated by the extraction unit 121 will be described in detail later.
  • the extraction unit 121 extracts the feature amount (walking feature amount) of the feature portion from the walking waveform data. For example, the extraction unit 121 extracts the walking feature amount from the time series data of the angular velocity around the X axis (roll angular velocity), the acceleration in the gravity direction (Z direction acceleration), and the acceleration in the traveling direction (Y direction acceleration).
  • the detection unit 123 detects an abnormality in the foot of a pedestrian walking with footwear based on the walking feature amount extracted by the extraction unit 121. For example, the detection unit 123 uses teacher data in which the progress state of the abnormality of the foot is used as a label and the walking feature amount of the walking waveform data obtained when the pedestrian with the abnormality walks is used as input data. Save the machine-learned trained model. In that case, the detection unit 123 inputs the walking feature amount extracted by the extraction unit 121 into the trained model, estimates the progress state of the pedestrian's foot abnormality, and determines the estimated progress state of the foot abnormality. Is output. For example, the detection unit 123 outputs the determination result regarding the progress state of the abnormality of the foot to a system that distributes the content according to the determination result, or an output device such as a display device or a printing device (not shown).
  • the detection unit 123 uses a learning model that outputs a determination result indicating whether or not the hallux valgus is a hallux valgus, and the range and value of the HV angle.
  • the detection unit 123 outputs the progress state of the hallux valgus of the pedestrian by inputting the walking feature amount extracted from the walking waveform data of the pedestrian into the trained model.
  • the detection unit 123 outputs a determination result indicating whether or not the hallux valgus is present, and a range and value of the HV angle as the progress state of the hallux valgus.
  • the detection unit 123 uses a trained model that outputs information on the progress state of hallux valgus when a gait feature amount extracted from gait waveform data related to gait parameters is input.
  • the detection unit 123 stores in advance a learned model that has been machine-learned by a learning device using teacher data that uses a walking feature amount labeled with identification information regarding the progress state of the valgus valgus as input data.
  • trained models can be generated using supervised learning techniques such as neural networks, support vector machines, decision trees, and regression.
  • the trained model can be generated using unsupervised learning such as clustering.
  • the trained model may be generated by the determination system 1 or may be generated outside the determination system 1.
  • the detection unit 123 is machine-learned using teacher data using the HV angle as a label and the feature amount of the feature portion of the walking waveform data obtained when a pedestrian with the HV angle walks as input data. Save the trained model.
  • the detection unit 123 inputs the walking feature amount extracted by the extraction unit 121 into the trained model, and estimates the HV angle of the pedestrian's foot.
  • FIG. 10 is machine learning using teacher data in which the progress state of the valgus toe of the pedestrian's foot is used as a label and the walking feature amount of the walking waveform data obtained when the pedestrian in the progressing state walks is used as input data. It is a conceptual diagram which shows the example which input the walking characteristic amount of the walking waveform data into the first model 120A made
  • the progress state of the hallux valgus corresponding to the walking feature amount is output.
  • FIG. 10 shows an example in which one walking feature amount is used, a plurality of walking feature amounts may be used.
  • the first model 120A By using the first model 120A, for example, it is possible to realize a service of transmitting an HV angle to a distribution system that distributes content related to gait, and transmitting content according to the progress of hallux valgus from the distribution system to a pedestrian terminal.
  • the content according to the progress of the hallux valgus may be stored in the terminal of the pedestrian or may be received via the network.
  • the detection unit 123 determines that it is a hallux valgus. For example, the detection unit 123 determines that there is a tendency for hallux valgus when the HV angle exceeds a predetermined threshold value of less than 20 degrees. For example, the detection unit 123 accumulates the estimated HV angle and determines the tendency of hallux valgus according to the change in the accumulated HV angle. For example, if the change in HV angle tends to be large, it is determined that there is a risk of progressing to hallux valgus. The detection unit 123 outputs a determination result regarding the progress state of the hallux valgus.
  • the arch formed on the sole of the foot includes a vertical arch in the direction along the center line of the foot and a horizontal arch in the direction perpendicular to the center line of the foot.
  • FIG. 11 machine learning is performed using teacher data in which the HV angle of the foot of a pedestrian is used as a label and the walking feature amount of the walking waveform data obtained when the pedestrian with the HV angle walks is used as input data.
  • the HV angle corresponding to the walking feature amount is output.
  • FIG. 11 shows an example in which one walking feature amount is used, a plurality of walking feature amounts may be used.
  • the second model 120B By using the second model 120B, for example, it is possible to realize a service in which the HV angle is transmitted to the distribution system that distributes the content related to the gait, and the content corresponding to the HV angle is transmitted from the distribution system to the pedestrian terminal.
  • the content corresponding to the HV angle may be stored in a pedestrian terminal or may be received via a network.
  • the mobile terminal 110 includes the abnormality detection device 12.
  • FIG. 12 is an example of displaying a moving image including an ideal gait according to the estimated progress state of the hallux valgus and the HV angle on the pedestrian's mobile terminal 110.
  • the pedestrian's mobile terminal 110 may display advice on the walking state and posture according to the progress state of the valgus valgus and the HV angle.
  • FIG. 13 is an example of displaying information according to the estimated progress state of hallux valgus and HV angle on the pedestrian's mobile terminal 110.
  • information recommending that a pedestrian should be examined at a hospital is displayed on the screen of the mobile terminal 110 according to the progress state of the hallux valgus and the HV angle.
  • information on hospitals that can be examined is displayed on the screen of the mobile terminal 110 according to the progress of the hallux valgus and the HV angle.
  • a link destination or a telephone number to a hospital site where a patient can be examined may be displayed on the screen of the mobile terminal 110 according to the progress state of the hallux valgus and the HV angle.
  • 14 and 15 are conceptual diagrams for explaining the conditions for measuring the HV angle of the subject.
  • FIG. 14 is a conceptual diagram for explaining the imaging conditions of the camera 120 used when measuring the HV angle of the subject.
  • the camera 120 was installed at a position 1 meter (m) from the instep so that the shooting direction was tilted 15 degrees from the direction (Z direction) perpendicular to the ground (XY plane).
  • FIG. 15 shows the positions of the first metatarsal bone 101 and the first proximal phalanx 103 (dotted line) extracted from the image taken by the camera 120, and the center line L 1 and the first proximal phalanx of the first metatarsal bone 101.
  • ⁇ HV which is the angle formed with the center line L 2 of the bone 103.
  • two protruding parts of the instep caused by each of the first metatarsal bone 101 and the first proximal phalanx 103 were extracted.
  • the acute angle formed by the intersection of the straight line passing through the two points extracted from the first metatarsal bone 101 and the straight line passing through the two points extracted from the first proximal phalanx 103 is the acute angle ⁇ HV. And said.
  • the data acquisition device 11 was placed at a position below the arch of the foot. Then, the walking waveform data for one walking cycle was extracted using the sensor data obtained when the subject wearing the footwear on which the data acquisition device 11 was placed walked. The gait waveform data obtained based on the gait of the subjects was averaged for each subject. In addition, the walking waveform data of each of the first group and the second group was averaged for all the subjects. In the following, an example of comparing the averaged all walking waveform data of the first set with the averaged all walking waveform data of the second set will be described. In the following, the averaged walking waveform data of the first set is referred to as the walking waveform data of the first set, and the averaged walking waveform data of the second set is the walking of the second set. Notated as waveform data.
  • FIG. 16 is walking waveform data of the angular velocity (roll angular velocity) around the X axis obtained by walking the subject wearing the footwear on which the data acquisition device 11 is arranged (vertical axis on the left side).
  • the walking waveform data of the group of subjects whose HV angle exceeds 20 degrees (first group) is shown by a solid line.
  • the walking waveform data of the group of subjects whose HV angle is less than 20 degrees (second group) is shown by a broken line.
  • FIG. 16 shows the test result 1 tested by t-test to see if there is a difference in the feature amount of the feature site extracted from the walking waveform data of the first set and the second set in addition to the walking waveform data.
  • the test result 1 is 1 when the significance probability that there is no difference in the feature amount of the feature site extracted from the walking waveform data of the 1st set and the 2nd set is less than the significance level of 0.05, and 1 in other cases. It is 0. That is, when the test result 1 is 1, it is significant that there is a difference in the feature amount of the feature portion extracted from the walking waveform data of the first set and the second set.
  • FIG. 16 shows the test result 2 tested by the t-test to see if there is a correlation between the walking speed (Y direction speed) and the roll angular velocity (dotted line).
  • the purpose of verifying the correlation between the walking speed and the roll angular velocity is to verify whether or not the feature amount of the feature portion extracted from the walking waveform data of the first set is affected by the walking speed.
  • the significance probability that there is no correlation between the walking speed and the roll angular velocity is 1 when the significance level is less than 0.05, and 0 in other cases. That is, when the test result 2 is 1, it is significant that there is a correlation between the walking speed and the roll angular velocity.
  • the walking speed was calculated by dividing the value obtained by integrating the acceleration in the traveling direction (acceleration in the Y direction) in one walking cycle by the time in one walking cycle.
  • the section SAV1 from the point where the walking cycle exceeds 40% to the point where the walking cycle exceeds 50% includes the timing of the middle swing leg.
  • the test result 1 is 1 and the test result 2 is 0. That is, the feature amount of the feature portion of the section SAV1 is not affected by the walking speed. Therefore, the walking feature amount of the feature portion extracted from the section SAV1 can be used as it is. For example, a walking feature amount extracted from the walking waveform data of the roll angular velocity when the walking cycle is 50% can be used.
  • the section SAV2 around which the walking cycle exceeds 70% includes the timing of the initial stage of stance.
  • the test result 1 is 1, and the test result 2 is also 1. That is, the feature amount of the feature portion of the section SAV2 may be affected by the walking speed. Therefore, as shown in FIGS. 17 to 19, after removing the influence of the walking speed from the walking feature amount of the feature portion extracted from the section SAV2, it is extracted from the walking waveform data of the first set and the second set. Whether there is a difference in the feature amount of the featured part was tested by t-test.
  • FIG. 17 is a graph in which the roll angular velocity when the walking cycle included in the section SA V2 is 73% is plotted against the walking velocity.
  • the graph of FIG. 7 shows a regression line (broken line) when the relationship between the walking speed when the walking cycle is 73% and the roll angular velocity at that time is linearly regressed for all the subjects.
  • FIG. 18 is a graph in which the distance between the roll angular velocity and the regression line when the walking cycle is 73% is plotted against the walking speed when the walking cycle is 73%.
  • the sign of the distance of the plot above the regression line is positive, and the sign of the distance of the plot below the regression line is negative.
  • FIG. 19 is a box-and-whisker plot relating to the distance between the roll angular velocity and the regression line when the walking cycle is 73%.
  • the interquartile range (variation) was smaller and the median value was larger in the group of subjects having an HV angle of more than 20 degrees (first group).
  • the roll angular velocity when the walking cycle is 73% if the influence of the walking velocity is removed, there is a significant probability that there is no difference in the feature amount of the feature portion extracted from the walking waveform data of the first set and the second set.
  • the significance level was less than 0.05.
  • the feature amount extracted from the roll angular velocity when the walking cycle is 73% can be used as a walking feature amount for extracting a group (first group) of subjects whose HV angle exceeds 20 degrees.
  • interval HV angle as gait feature quantity for extracting a set (first set) of the subject of more than 20 degrees includes a section S AV1 contained swing metaphase in stance initial S AV2
  • the feature amount of the feature site extracted from each of the above can be used. It is better to remove the influence of walking speed from the feature amount of the feature part extracted from the section SAV2 included in the initial stage of stance.
  • the roll angular velocity is used as the walking parameter, for example, a group of subjects (first group) having an HV angle of more than 20 degrees is extracted from the feature amount extracted from a feature site in the vicinity of a walking cycle of 50% or 73%. It can be used as a walking feature amount for the purpose.
  • FIG. 20 is walking waveform data of Z-direction acceleration obtained by walking of a subject wearing footwear on which the data acquisition device 11 is arranged (vertical axis on the left side).
  • the walking waveform data of the group of subjects whose HV angle exceeds 20 degrees (first group) is shown by a solid line.
  • the walking waveform data of the group of subjects whose HV angle is less than 20 degrees (second group) is shown by a broken line.
  • FIG. 20 shows the test result 1 tested by t-test to see if there is a difference in the feature amount of the feature site extracted from the walking waveform data of the first set and the second set in addition to the walking waveform data.
  • the test result 1 is 1 when the significance probability that there is no difference in the feature amount of the feature site extracted from the walking waveform data of the 1st set and the 2nd set is less than the significance level of 0.05, and 1 in other cases. It is 0. That is, when the test result 1 is 1, it is significant that there is a difference in the feature amount of the feature portion extracted from the walking waveform data of the first set and the second set.
  • FIG. 20 shows the test result 2 tested by the t-test to see if there is a correlation between the walking speed (Y direction speed) and the Z direction acceleration (dotted line).
  • the purpose of verifying the correlation between the walking speed and the Z-direction acceleration is to verify whether or not the feature amount of the feature portion extracted from the walking waveform data of the first set is affected by the walking speed. ..
  • the significance probability that there is no correlation between the walking speed and the Z-direction acceleration is 1 when the significance level is less than 0.05, and 0 in other cases. That is, when the test result 2 is 1, it is significant that there is a correlation between the walking speed and the Z-direction acceleration.
  • the walking speed was calculated by dividing the value obtained by integrating the acceleration in the traveling direction (acceleration in the Y direction) in one walking cycle by the time in one walking cycle.
  • the difference in the feature amount of the characteristic part extracted from the walking waveform data of the first group and the second group is significant, and the walking feature. characteristic site associated with is extracted two (interval S ZA1, section S ZA2).
  • the section S ZA1 around which the walking cycle exceeds 50% includes the timing of the middle swing leg.
  • the test result 1 is 1 and the test result 2 is 0. Therefore, the walking feature amount of the feature portion extracted from the section S ZA1 can be used as it is.
  • the walking feature amount extracted from the walking waveform data of the Z-direction acceleration when the section S ZA1 is 52% can be used.
  • the section S ZA2 with a walking cycle between 70% and 80% includes the timing of the heel rocker included in the early stage of stance.
  • the test result 1 is 1, and the test result 2 is also 1. That is, the feature amount of the feature portion of the section S ZA2 may be affected by the walking speed. Therefore, as shown in FIGS. 21 to 23, after removing the influence of the walking speed from the walking feature amount of the feature portion extracted from the section S ZA2, it is extracted from the walking waveform data of the first set and the second set. Whether there is a difference in the feature amount of the featured part was tested by t-test.
  • FIG. 21 is a graph in which the Z-direction acceleration when the walking cycle included in the section S ZA2 is 73% is plotted against the walking speed.
  • the graph of FIG. 21 shows a regression line (broken line) when the relationship between the walking speed when the walking cycle is 73% and the acceleration in the Z direction at that time is linearly regressed for all the subjects.
  • FIG. 22 is a graph in which the distance between the Z-direction acceleration and the regression line when the walking cycle is 73% is plotted against the walking speed when the walking cycle is 73%.
  • the sign of the distance of the plot above the regression line is positive, and the sign of the distance of the plot below the regression line is negative.
  • FIG. 23 is a box-and-whisker plot relating to the distance between the Z-direction acceleration and the regression line when the walking cycle is 73%.
  • the interquartile range (variation) was smaller and the median value was larger in the group of subjects having an HV angle of more than 20 degrees (first group).
  • the Z-direction acceleration when the walking cycle is 73% if the influence of the walking speed is removed, there is a significant probability that there is no difference in the feature amount of the feature portion extracted from the walking waveform data of the first set and the second set. , The significance level was less than 0.05.
  • the feature amount extracted from the Z-direction acceleration when the walking cycle is 73% can be used as a walking feature amount for extracting a group of subjects (first group) having an HV angle of more than 20 degrees.
  • the section S ZA1 included in the middle stage of swinging and the section S included in the initial stage of stance are used as walking features for extracting a group (first group) of subjects whose HV angle exceeds 20 degrees.
  • the feature amount of the feature site extracted from each of ZA2 can be used. It is better to remove the influence of walking speed from the feature amount of the feature part extracted from the section S ZA2 included in the initial stage of stance.
  • Z-direction acceleration is used as the walking parameter, for example, a group of subjects (first group) having an HV angle of more than 20 degrees is extracted from the feature amount extracted from a feature site in the vicinity of a walking cycle of 50% or 73%. It can be used as a walking feature amount.
  • FIG. 24 is walking waveform data of Y-direction acceleration obtained by walking of a subject wearing footwear on which the data acquisition device 11 is arranged (vertical axis on the left side).
  • the walking waveform data of the group of subjects whose HV angle exceeds 20 degrees (first group) is shown by a solid line.
  • the walking waveform data of the group of subjects whose HV angle is less than 20 degrees (second group) is shown by a broken line.
  • FIG. 24 shows the test result 1 tested by t-test to see if there is a difference in the feature amount of the feature site extracted from the walking waveform data of the first set and the second set in addition to the walking waveform data.
  • the test result 1 is 1 when the significance probability that there is no difference in the feature amount of the feature site extracted from the walking waveform data of the 1st set and the 2nd set is less than the significance level of 0.05, and 1 in other cases. It is 0. That is, when the test result 1 is 1, it is significant that there is a difference in the feature amount of the feature portion extracted from the walking waveform data of the first set and the second set.
  • FIG. 24 shows the test result 2 tested by the t-test to see if there is a correlation between the walking speed (Y direction speed) and the Y direction acceleration (dotted line).
  • the purpose of verifying the correlation between the walking speed and the acceleration in the Y direction is to verify whether or not the feature amount of the feature portion extracted from the walking waveform data of the first set is affected by the walking speed. ..
  • the significance probability that there is no correlation between the walking speed and the acceleration in the Y direction is 1 when the significance level is less than 0.05, and 0 in other cases. That is, when the test result 2 is 1, it is significant that there is a correlation between the walking speed and the acceleration in the Y direction.
  • the walking speed was calculated by dividing the value obtained by integrating the acceleration in the traveling direction (acceleration in the Y direction) in one walking cycle by the time in one walking cycle.
  • the section S YA1 in which the walking cycle is about 40% includes the timing at the initial stage of the swing leg.
  • the section S YA2 around which the walking cycle exceeds 70% includes the timing at the initial stage of stance.
  • the test result 1 is 1, and the test result 2 is also 1. That is, the feature amount of the feature portion of the section S YA1 and the section S YA2 may be influenced by the walking speed. Therefore, as shown in FIGS.
  • the first set and Whether there was a difference in the feature amount of the feature part extracted from the walking waveform data of the second set was tested by t-test.
  • FIG. 25 is a graph in which the acceleration in the Y direction when the walking cycle included in the section S YA1 is 43% is plotted against the walking speed.
  • the graph of FIG. 25 shows a regression line (broken line) when the relationship between the Y-direction acceleration when the walking cycle is 43% and the walking speed at that time is linearly regressed for all the subjects.
  • FIG. 26 is a graph in which the distance between the Y-direction acceleration and the regression line when the walking cycle is 43% is plotted against the walking speed when the walking cycle is 43%.
  • the sign of the distance of the plot above the regression line is positive, and the sign of the distance of the plot below the regression line is negative.
  • FIG. 27 is a box-and-whisker plot relating to the distance between the Y-direction acceleration and the regression line when the walking cycle is 43%.
  • the acceleration in the Y direction when the walking cycle was 43% the interquartile range (variation) was smaller and the median value was larger in the group of subjects having an HV angle of more than 20 degrees (first group).
  • the Y-direction acceleration when the walking cycle is 43% if the influence of the walking speed is removed, there is a significant probability that there is no difference in the feature amount of the feature portion extracted from the walking waveform data of the first set and the second set. , The significance level was less than 0.05.
  • the feature amount extracted from the acceleration in the Y direction when the walking cycle is 43% can be used as a walking feature amount for extracting a group of subjects (first group) having an HV angle of more than 20 degrees.
  • FIG. 28 is a graph in which the acceleration in the Y direction when the walking cycle included in the section S YA2 is 73% is plotted against the walking speed.
  • the graph of FIG. 28 shows a regression line (broken line) when the relationship between the Y-direction acceleration at a walking cycle of 73% and the walking speed at that time is linearly regressed for all the subjects.
  • FIG. 29 is a graph in which the distance between the Y-direction acceleration and the regression line when the walking cycle is 73% is plotted against the walking speed when the walking cycle is 73%.
  • the sign of the distance of the plot above the regression line is positive, and the sign of the distance of the plot below the regression line is negative.
  • FIG. 30 is a box-and-whisker plot relating to the distance between the Y-direction acceleration and the regression line when the walking cycle is 73%.
  • the acceleration in the Y direction when the walking cycle was 73% the interquartile range (variation) was smaller and the median value was larger in the group of subjects having an HV angle of more than 20 degrees (first group).
  • the Y-direction acceleration when the walking cycle is 73% if the influence of the walking speed is removed, there is a significant probability that there is no difference in the feature amount of the feature portion extracted from the walking waveform data of the first set and the second set. , The significance level was less than 0.05.
  • the feature amount extracted from the acceleration in the Y direction when the walking cycle is 73% can be used as a walking feature amount for extracting a group of subjects (first group) having an HV angle of more than 20 degrees.
  • the section S YA1 included in the initial stage of swinging and the section S included in the initial stage of stance are used as walking features for extracting a group (first group) of subjects whose HV angle exceeds 20 degrees.
  • the feature amount of the feature part extracted from each of YA2 can be used. From the characteristic quantity of the characteristic part is extracted from each segment S YA2 that the section S YA1 included in the free leg early contained in stance initial, it is better to remove the effect of walking speed.
  • the Y-direction acceleration is used as the walking parameter, for example, the feature amount extracted from the feature site in the vicinity of the walking cycle of 43% or 73% is extracted, and the group of subjects whose HV angle exceeds 20 degrees (first group) is extracted. It can be used as a walking feature amount.
  • the above is the explanation of extracting from which feature part of the walking waveform data when extracting the walking feature amount from the walking waveform data related to the walking parameters such as the roll angular velocity, the Z direction acceleration, and the Y direction acceleration.
  • the walking parameters used by the abnormality detection device 12 are not limited to the roll angular velocity, the Z-direction acceleration, and the Y-direction acceleration.
  • any walking parameter can be used as long as it can detect an abnormality of the foot such as the progress state of the hallux valgus.
  • the extraction unit 121 and the detection unit 123 of the determination system 1 are the main actors of the operation.
  • the subject of the operation shown below may be the determination system 1.
  • FIG. 31 is a flowchart for explaining an example of the operation of the extraction unit 121.
  • the extraction unit 121 acquires sensor data regarding the movement of the foot of a pedestrian walking wearing the footwear on which the data acquisition device 11 is installed from the data acquisition device 11 (step S11).
  • the extraction unit 121 acquires the sensor data of the local coordinate system of the data acquisition device 11. For example, the extraction unit 121 acquires a three-dimensional spatial acceleration and a three-dimensional spatial angular velocity from the data acquisition device 11 as sensor data related to the movement of the foot.
  • the extraction unit 121 converts the coordinate system of the acquired sensor data from the local coordinate system to the world coordinate system, and generates time-series data of the sensor data (step S12).
  • the extraction unit 121 calculates the spatial angle using at least one of the spatial acceleration and the spatial angular velocity, and generates time-series data of the spatial angle (step S13).
  • the extraction unit 121 generates time-series data of the space velocity and the space trajectory as needed.
  • Step S13 may be performed at a stage prior to step S12.
  • the extraction unit 121 from the time-series data of the spatial angle, detects the time in the middle of each of the stance phase continuous (time t m, the time t m + 1) (step S14).
  • the extraction unit 121 extracts the waveform of the time zone between the time t m and the time t m + 1 from the time series data of the spatial acceleration and the spatial angular velocity of the object to be extracted of the walking feature amount as the walking waveform for one walking cycle. (Step S15).
  • the extraction unit 121 normalizes the walking waveform for one walking cycle extracted from the time-series data of the spatial acceleration and the spatial angular velocity, and generates the walking waveform data (step S16).
  • the normalization here means that the section from time t m to time t b is 30% of the walking cycle, and the section from time t b to time t d + 1 is 40% of the walking cycle.
  • the walking waveform is corrected so that the section from the minute and time t d + 1 to the time t m + 1 is 30% of the walking cycle.
  • the extraction unit 121 extracts the feature amount (walking feature amount) of the feature portion from the generated walking waveform data (step S17).
  • FIG. 32 is a flowchart for explaining an example of the operation of the detection unit 123.
  • the detection unit 123 inputs the walking feature amount extracted by the extraction unit 121 into the trained model (step S21).
  • the detection unit 123 outputs information regarding the progress state of the hallux valgus based on the output from the trained model (step S22).
  • FIGS. 31 and 32 are examples, and do not limit the operation of the determination system 1.
  • FIG. 33 and 34 are flowcharts for explaining an example of a method of selecting a walking feature amount.
  • the processing of the determination system 1 does not include the selection of the walking feature amount.
  • the determination system 1 may be configured to select the walking feature amount.
  • a selection unit for selecting the walking feature amount may be added to the determination system 1.
  • the determination system 1 will be described as selecting the walking feature amount.
  • the determination system 1 acquires the normalized walking waveform data (step S311).
  • the determination system 1 extracts the feature amount of the feature portion from the acquired walking waveform data (step S312). After step S312, the determination system 1 performs two processes (step S313, step S314) in parallel.
  • the processes of step S313 and step S314 may be performed in order.
  • the order in which the processes of steps S313 and S314 are executed is arbitrary.
  • step S312 the determination system 1 calculates the average of the walking waveform data when divided into two groups (first group and second group) with or without hallux valgus as the first process, and sets the average of the walking waveform data. The differences between the two groups are compared (step S313). After step S313, the process proceeds to step S315.
  • step S312 the determination system 1 calculates the correlation between the feature amount and the walking speed as the second process (step S314). After step S314, the process proceeds to step S315.
  • the determination system 1 determines the significance probability p 1 of the difference between the two groups and the significance probability p of whether or not there is a correlation between the feature amount and the walking speed with respect to the feature amount of the feature portion extracted from the walking waveform data. 2 and are calculated (step S315).
  • step S316 When the significance level p 1 of the difference between the two groups is 0.05 or more (No in step S316), there is no significant difference between the two groups. Is not set to (step S317). On the other hand, when the significance probability p 1 of the difference between the two groups is less than the significance level of 0.05 (Yes in step S316), the difference between the two groups is significantly different, and the process proceeds to step S318.
  • step S318 When the significance probability p 2 of the presence or absence of the correlation between the feature amount and the walking speed is less than the significance level of 0.05 (Yes in step S318), the feature amount is not affected by the walking speed.
  • the feature amount is set as the walking feature amount (step S319). on the other hand.
  • the significance probability p 2 of the presence or absence of the correlation between the feature amount and the walking speed is the significance level of 0.05 or more (No in step S318), the feature amount is affected by the walking speed, so the process proceeds to A in FIG. ..
  • the determination system 1 obtains a regression line of the feature amount and the walking speed (step S320).
  • the determination system 1 obtains the distance between the regression line of the walking speed and the feature amount (step S321).
  • the determination system 1 divides the distance between the regression line of walking speed and the feature amount into two groups (first group and second group) with and without hallux valgus, and the significance probability p 3 of the difference between them. Is calculated (step S322).
  • step S323 If all means of significance probability p 3 differences in the distance between the regression line and the feature amount of walking speeds below the significance level 0.05 (Yes in step S323), since is significant difference, the determination system 1, its features The amount is set to the walking feature amount (step S324). on the other hand. Because when the regression line and the feature quantity of the walking speed and the pros and cons of significance probability p 3 differences in the distance of more than 0.05 significance level (at step S323 No), no significant differences, the determination system 1, the The feature amount is not set to the walking feature amount (step S325).
  • the above is the explanation of how to select the walking feature amount.
  • the processing according to the flowcharts of FIGS. 33 and 34 may be performed by machine learning.
  • the determination system 1 may be provided with a machine learning function, and the feature amount of the feature portion extracted from the walking waveform data may be selected by machine learning.
  • the determination system of the present embodiment includes a data acquisition device and an abnormality detection device.
  • the data acquisition device is installed on the footwear, measures the space acceleration and the space angular velocity, generates sensor data based on the measured space acceleration and the space angular velocity, and transmits the generated sensor data to the abnormality detection device.
  • the abnormality detection device includes an extraction unit and a detection unit.
  • the extraction unit acquires sensor data from a sensor installed on the footwear, and uses the sensor data to extract a characteristic walking feature amount in walking of a pedestrian wearing the footwear.
  • the detection unit detects an abnormality in the foot of a pedestrian walking in footwear based on the walking feature amount extracted by the extraction unit.
  • sensor data is acquired from a sensor installed on the footwear, and the sensor data is used to extract a characteristic walking feature amount in walking with the footwear, and based on the extracted walking feature amount. Can detect abnormalities in the legs.
  • the detection unit determines the progress state of the hallux valgus of the foot of a pedestrian wearing footwear based on the walking feature amount extracted by the extraction unit. According to this aspect, the progress state of the hallux valgus of the pedestrian's foot can be determined based on the extracted gait feature amount.
  • the detection unit uses a model in which the progress state of the hallux valgus is used as a label and machine learning is performed using teacher data using the characteristic walking feature amount as input data in walking with footwear, and the walking extracted by the extraction unit.
  • the progress of hallux valgus is estimated using features. According to this example, if the walking features are input to the model generated by machine learning, the progress state of the hallux valgus can be estimated according to the walking features.
  • the detection unit is the center line of the first metatarsal bone and the center of the first proximal phalanx of the foot of a pedestrian wearing footwear, based on the gait feature amount extracted by the extraction unit. Estimate the angle between the line. According to this aspect, the angle formed by the center line of the first metatarsal bone of the pedestrian's foot and the center line of the first proximal phalanx can be estimated based on the extracted gait feature amount.
  • the detection unit uses the HV angle formed by the center line of the first metatarsal bone and the center line of the first proximal phalanx as a label, and the walking feature amount characteristic of walking in footwear as input data.
  • the HV angle is estimated using the machine-learned model using the data and the walking features extracted by the extraction unit. According to this example, if the walking feature amount is input to the model generated by machine learning, the HV angle corresponding to the walking feature amount can be estimated.
  • the extraction unit extracts the walking feature amount included in the walking waveform data obtained from the time series data of the sensor data acquired by the walking of a pedestrian walking in footwear. For example, the extraction unit determines the walking feature amount included in at least one of the mid-swing and early stance waveforms among the walking waveform data obtained from the time-series data of the angular velocity around the lateral axis of the pedestrian. Extract. For example, the extraction unit extracts the gait feature amount included in at least one of the waveforms of the middle swing leg and the early stance phase among the gait waveform data obtained from the time-series data of the acceleration in the gravity direction.
  • the extraction unit extracts the walking feature amount included in at least one of the waveforms of the initial swing leg and the initial stage of stance among the walking waveform data obtained from the time series data of the acceleration in the traveling direction of the pedestrian.
  • the walking feature amount included in the walking waveform data is extracted. Therefore, according to this aspect, the foot abnormality can be estimated more accurately by using the characteristic gait feature amount extracted from the gait waveform data.
  • the acceleration in the gravity direction (Z direction) is changed to the traveling direction (Y direction) by rotation along the outer circumference of the touched heel. Includes the conversion period. Therefore, it is presumed that the acceleration in the gravity direction (Z direction) (FIG. 20) decreases sharply, and the acceleration in the traveling direction (Y direction) (FIG. 24) reaches the maximum. People who are prone to hallux valgus tend to walk petapeta due to insufficient arch formation in the arch of the foot, and tend to have a high angular velocity in the heel rocker. Therefore, it is presumed that if the person wears footwear smaller than the size of the foot and continues walking, the force is continuously applied in the direction in which the thumb valgus, and the symptom of hallux valgus tends to progress.
  • the detection unit outputs distribution information according to the progress state of the abnormality of the foot of a pedestrian walking with footwear.
  • the pedestrian can acquire the distribution information according to the progress state of the abnormal foot in real time.
  • the abnormality detection device of the present embodiment corresponds to the abnormality detection device 12 included in the determination system 1 of the first embodiment.
  • the abnormality detection device of the present embodiment determines the presence or absence of an abnormality in the foot of the pedestrian by using the sensor data acquired by the sensor installed on the footwear.
  • FIG. 35 is a block diagram showing an example of the configuration of the abnormality detection device 22 of the present embodiment.
  • the abnormality detection device 22 includes an extraction unit 221 and a detection unit 223.
  • the extraction unit 221 acquires sensor data from a sensor installed on the footwear.
  • the extraction unit 221 uses the sensor data to extract a characteristic amount of walking features in walking of a pedestrian wearing footwear.
  • the detection unit 223 detects an abnormality in the foot of a pedestrian walking with footwear based on the walking feature amount extracted by the extraction unit 221.
  • foot abnormalities can be detected based on the walking characteristics of pedestrians.
  • the information processing device 90 of FIG. 36 is a configuration example for executing the processing of the abnormality detection device of each embodiment, and does not limit the scope of the present invention.
  • the information processing device 90 includes a processor 91, a main storage device 92, an auxiliary storage device 93, an input / output interface 95, and a communication interface 96.
  • the interface is abbreviated as I / F (Interface).
  • the processor 91, the main storage device 92, the auxiliary storage device 93, the input / output interface 95, and the communication interface 96 are connected to each other via a bus 98 so as to be capable of data communication. Further, the processor 91, the main storage device 92, the auxiliary storage device 93, and the input / output interface 95 are connected to a network such as the Internet or an intranet via the communication interface 96.
  • the processor 91 expands the program stored in the auxiliary storage device 93 or the like into the main storage device 92, and executes the expanded program.
  • the software program installed in the information processing apparatus 90 may be used.
  • the processor 91 executes the process by the abnormality detection device according to the present embodiment.
  • the main storage device 92 has an area in which the program is expanded.
  • the main storage device 92 may be, for example, a volatile memory such as a DRAM (Dynamic Random Access Memory). Further, a non-volatile memory such as MRAM (Magnetoresistive Random Access Memory) may be configured / added as the main storage device 92.
  • a volatile memory such as a DRAM (Dynamic Random Access Memory).
  • a non-volatile memory such as MRAM (Magnetoresistive Random Access Memory) may be configured / added as the main storage device 92.
  • the auxiliary storage device 93 stores various data.
  • the auxiliary storage device 93 is composed of a local disk such as a hard disk or a flash memory. It is also possible to store various data in the main storage device 92 and omit the auxiliary storage device 93.
  • the input / output interface 95 is an interface for connecting the information processing device 90 and peripheral devices.
  • the communication interface 96 is an interface for connecting to an external system or device through a network such as the Internet or an intranet based on a standard or a specification.
  • the input / output interface 95 and the communication interface 96 may be shared as an interface for connecting to an external device.
  • the information processing device 90 may be configured to connect an input device such as a keyboard, a mouse, or a touch panel, if necessary. These input devices are used to input information and settings. When the touch panel is used as an input device, the display screen of the display device may also serve as the interface of the input device. Data communication between the processor 91 and the input device may be mediated by the input / output interface 95.
  • the information processing device 90 may be equipped with a display device for displaying information.
  • a display device it is preferable that the information processing device 90 is provided with a display control device (not shown) for controlling the display of the display device.
  • the display device may be connected to the information processing device 90 via the input / output interface 95.
  • the above is an example of the hardware configuration for enabling the abnormality detection device according to each embodiment of the present invention.
  • the hardware configuration of FIG. 36 is an example of the hardware configuration for executing the arithmetic processing of the abnormality detection device according to each embodiment, and does not limit the scope of the present invention. Further, the scope of the present invention also includes a program for causing a computer to execute a process related to the abnormality detection device according to each embodiment.
  • a non-transient recording medium (also referred to as a program recording medium) on which the program according to each embodiment is recorded is also included in the scope of the present invention.
  • the recording medium can be realized by, for example, an optical recording medium such as a CD (Compact Disc) or a DVD (Digital Versatile Disc).
  • the recording medium may be realized by a semiconductor recording medium such as a USB (Universal Serial Bus) memory or an SD (Secure Digital) card, a magnetic recording medium such as a flexible disk, or another recording medium.
  • the components of the abnormality detection device of each embodiment can be arbitrarily combined. Further, the components of the abnormality detection device of each embodiment may be realized by software or by a circuit.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

歩行者の歩行の特徴に基づいて足の異常を検出するために、履物に設置されたセンサからセンサデータを取得し、センサデータを用いて、履物を履いた歩行者の歩行において特徴的な歩行特徴量を抽出する抽出部と、抽出部によって抽出された歩行特徴量に基づいて、履物を履いて歩行する歩行者の足の異常を検出する検出部と、を備える異常検出装置等とする。

Description

異常検出装置、判定システム、異常検出方法、およびプログラム記録媒体
 本発明は、歩行者の足の異常を検出する異常検出装置等に関する。
 体調管理を行うヘルスケアへの関心の高まりから、歩行者の歩行の特徴を含む歩容を計測し、その歩容に応じた情報をユーザに提供するサービスが注目されている。例えば、歩行の特徴に起因する足の異常の一つとして外反母趾があげられる。外反母趾は、徐々に進行するため、気付いたときには治らない状態になっていることがある。外反母趾は、主に履物と足との相性に起因し、歩行にも特徴が表れる。そのため、歩行の特徴に基づいて、外反母趾になるリスクを検出できれば、外反母趾の進行を抑制できる可能性がある。
 特許文献1には、足や足指の形状の解析を行う足部解析装置について開示されている。特許文献1の装置は、足の裏が接触する部材の所定位置に作用する力を計測するセンサと、舟状骨が移動したか否かを計測するセンサとを備える。特許文献1の装置は、センサからの出力に基づいて、回内が生じているか否かを判断して足の異常の有無を判定する。
特開2019-150229号公報
 特許文献1の装置を用いれば、足裏の舟状骨に対応する部位によって印加される圧力を計測することによって、足の異常を検出できる。しかしながら、圧力の計測は、体動ノイズに弱いという問題点があった。また、足圧を計測するセンサの設置は固定されているため、様々な足の形状に適用できないという問題点があった。
 本発明の目的は、歩行者の歩行の特徴に基づいて足の異常を検出できる異常検出装置等を提供することにある。
 本発明の一態様の異常検出装置は、履物に設置されたセンサからセンサデータを取得し、センサデータを用いて、履物を履いた歩行者の歩行において特徴的な歩行特徴量を抽出する抽出部と、抽出部によって抽出された歩行特徴量に基づいて、履物を履いて歩行する歩行者の足の異常を検出する検出部と、を備える。
 本発明の一態様の異常検出方法においては、コンピュータが、履物に設置されたセンサからセンサデータを取得し、センサデータを用いて、履物を履いた歩行者の歩行において特徴的な歩行特徴量を抽出し、抽出された歩行特徴量に基づいて、履物を履いて歩行する歩行者の足の異常を検出する。
 本発明の一態様のプログラムは、履物に設置されたセンサからセンサデータを取得する処理と、センサデータを用いて、履物を履いた歩行者の歩行において特徴的な歩行特徴量を抽出する処理と、抽出された歩行特徴量に基づいて、履物を履いて歩行する歩行者の足の異常を検出する処理と、をコンピュータに実行させる。
 本発明によれば、歩行者の歩行の特徴に基づいて足の異常を検出できる異常検出装置等を提供することが可能になる。
第1の実施形態に係る判定システムの構成の一例を示すブロック図である。 第1の実施形態に係る判定システムのデータ取得装置を履物の中に設置する一例を示す概念図である。 第1の実施形態に係る判定システムのデータ取得装置のローカル座標系と世界座標系との関係について説明するための概念図である。 第1の実施形態に係る判定システムの異常検出装置が算出する足底角について説明するための概念図である。 外反母趾について説明するための概念図である。 一般的な歩行周期について説明するための概念図である。 第1の実施形態に係る判定システムの検出部が抽出する歩行波形データについて説明するための概念図である。 第1の実施形態に係る判定システムのデータ取得装置の構成の一例を示すブロック図である。 第1の実施形態に係る判定システムの異常検出装置の構成の一例を示すブロック図である。 第1の実施形態に係る判定システムの異常検出装置が第1モデルを用いて外反母趾の進行状態を推定する一例について説明するための概念図である。 第1の実施形態に係る判定システムの異常検出装置が第2モデルを用いてHV角を推定する一例について説明するための概念図である(HV:Hallux valgus)。 第1の実施形態に係る判定システムの異常検出装置が外反母趾の進行状態に応じたコンテンツを配信する一例について説明するための概念図である。 第1の実施形態に係る判定システムの異常検出装置が外反母趾の進行状態に応じたコンテンツを配信する別の一例について説明するための概念図である。 被験者のHV角を計測する際のカメラの撮影条件について説明するための概念図である。 被験者のHV角を計測する際に撮影された画像から第一中足骨と第一基節骨の位置を抽出する例について説明するための概念図である。 第1の実施形態に係る判定システムのデータ取得装置が配置された履物を履いた被験者の歩行によって得られたX軸回りの角速度(ロール角速度)の歩行波形データから抽出される特徴部位について説明するための概念図である。 第1の実施形態に係る判定システムのデータ取得装置が配置された履物を履いた被験者の歩行によって得られたロール角速度のうち歩行周期が73%の成分を歩行速度に対してプロットしたグラフである。 第1の実施形態に係る判定システムのデータ取得装置が配置された履物を履いた被験者の歩行によって得られたロール角速度のうち歩行周期が73%の成分と回帰直線との距離を歩行速度に対してプロットしたグラフである。 第1の実施形態に係る判定システムのデータ取得装置が配置された履物を履いた被験者の歩行によって得られたロール角速度のうち歩行周期が73%における成分と回帰直線との距離のばらつきを示す箱ひげ図である。 第1の実施形態に係る判定システムのデータ取得装置が配置された履物を履いた被験者の歩行によって得られた重力方向の加速度(Z方向加速度)の歩行波形データから抽出される特徴部位について説明するための概念図である。 第1の実施形態に係る判定システムのデータ取得装置が配置された履物を履いた被験者の歩行によって得られたZ方向加速度のうち歩行周期が73%における成分を歩行速度に対してプロットしたグラフである。 第1の実施形態に係る判定システムのデータ取得装置が配置された履物を履いた被験者の歩行によって得られたZ方向加速度のうち歩行周期が73%の成分と回帰直線との距離を歩行速度に対してプロットしたグラフである。 第1の実施形態に係る判定システムのデータ取得装置が配置された履物を履いた被験者の歩行によって得られたZ方向加速度のうち歩行周期が73%における成分と回帰直線との距離のばらつきを示す箱ひげ図である。 第1の実施形態に係る判定システムのデータ取得装置が配置された履物を履いた被験者の歩行によって得られた進行方向の加速度(Y方向加速度)の歩行波形データから抽出される特徴部位について説明するための概念図である。 第1の実施形態に係る判定システムのデータ取得装置が配置された履物を履いた被験者の歩行によって得られたY方向加速度のうち歩行周期が43%における成分を歩行速度に対してプロットしたグラフである。 第1の実施形態に係る判定システムのデータ取得装置が配置された履物を履いた被験者の歩行によって得られたY方向加速度のうち歩行周期が43%の成分と回帰直線との距離を歩行速度に対してプロットしたグラフである。 第1の実施形態に係る判定システムのデータ取得装置が配置された履物を履いた被験者の歩行によって得られたY方向加速度のうち歩行周期が43%における成分と回帰直線との距離のばらつきを示す箱ひげ図である。 第1の実施形態に係る判定システムのデータ取得装置が配置された履物を履いた被験者の歩行によって得られたY方向加速度のうち歩行周期が73%における成分を歩行速度に対してプロットしたグラフである。 第1の実施形態に係る判定システムのデータ取得装置が配置された履物を履いた被験者の歩行によって得られたY方向加速度のうち歩行周期が73%の成分と回帰直線との距離を歩行速度に対してプロットしたグラフである。 第1の実施形態に係る判定システムのデータ取得装置が配置された履物を履いた被験者の歩行によって得られたY方向加速度のうち歩行周期が73%における成分と回帰直線との距離のばらつきを示す箱ひげ図である。 第1の実施形態に係る判定システムの異常検出装置の抽出部の動作の一例について説明するためのフローチャートである。 第1の実施形態に係る判定システムの異常検出装置の検出部の動作の一例について説明するためのフローチャートである。 第1の実施形態に係る判定システムの異常検出装置の抽出部が抽出する歩行特徴量の選定方法の一例について説明するためのフローチャートである。 第1の実施形態に係る判定システムの異常検出装置の抽出部が抽出する歩行特徴量の選定方法の一例について説明するためのフローチャートである。 第2の実施形態に係る異常検出装置の構成の一例を示すブロック図である。 各実施形態に係る異常検出装置を実現するハードウェア構成の一例について説明するためのブロック図である。
 以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。
 (第1の実施形態)
 まず、第1の実施形態に係る判定システムについて図面を参照しながら説明する。本実施形態の判定システムは、履物に設置されたセンサによって取得されたセンサデータを用いて、その歩行者の足の異常の有無を判定する。特に、本実施形態の判定システムは、歩行者の足弓の裏側に設置された慣性計測装置によって取得されたセンサデータを用いて、その歩行者の足に外反母趾のリスクがあるか判定する。
 (構成)
 図1は、本実施形態の判定システム1の構成の一例を示すブロック図である。図1のように、判定システム1は、データ取得装置11および異常検出装置12を備える。データ取得装置11と異常検出装置12は、有線で接続されてもよいし、無線で接続されてもよい。また、データ取得装置11と異常検出装置12は、単一の装置で構成してもよい。また、判定システム1の構成からデータ取得装置11を除き、異常検出装置12だけで判定システム1を構成してもよい。
 データ取得装置11は、履物に設置されたセンサを含む。データ取得装置11は、センサによって取得された物理量をデジタルデータ(センサデータとも呼ぶ)に変換し、変換後のセンサデータを異常検出装置12に送信する。
 異常検出装置12は、図9に示すように、抽出部121と検出部123と備える。抽出部121は、履物に設置されたセンサからセンサデータを取得する。異常検出装置12は、取得したセンサデータを用いて、履物を履いた歩行者の歩行において特徴的な歩行特徴量を抽出する。検出部123は、抽出部121によって抽出された歩行特徴量に基づいて、履物を履いて歩行する歩行者の足の異常を検出する。異常検出装置12によって、歩行者の歩行の特徴に基づいて足の異常を検出することができる。
 本実施形態の判定システム1は、外反母趾の進行状態の判定に適用することができる。次に外反母趾の進行状態を判定できる判定システム1の構成の一例を詳細に説明する。
 データ取得装置11に用いられるセンサは、加速度センサおよび角速度センサを少なくとも有する。例えば、データ取得装置11は、履物の中に挿入されるインソールに設置される。外反母趾の進行状態を判定する場合、データ取得装置11は、足弓の下側の位置に設置されることが好ましい。データ取得装置11は、加速度センサおよび角速度センサによって取得された加速度や角速度などの物理量をデジタルデータ(センサデータとも呼ぶ)に変換し、変換後のセンサデータを異常検出装置12に送信する。
 データ取得装置11は、例えば、加速度センサと角速度センサを含む慣性計測装置によって実現される。慣性計測装置の一例として、IMU(Inertial Measurement Unit)が挙げられる。IMUは、3軸の加速度センサと、3軸の角速度センサを含む。また、慣性計測装置の一例として、VG(Vertical Gyro)や、AHRS(Attitude Heading)、GPS/INS(Global Positioning System/Inertial Navigation System)が挙げられる。
 データ取得装置11によって取得される加速度や角速度などのセンサデータを歩行パラメータとも呼ぶ。また、加速度や角速度を積分することによって計算される速度や角度も歩行パラメータに含まれる。本実施形態においては、歩行者の横方向をX方向(右方が正)とし、歩行者の進行方向をY方向(前方が正)とし、重力方向をZ方向(上方が正)とする。また、本実施形態においては、X軸回りの回転をロール、Y軸回りの回転をピッチ、Z軸回りの回転をヨーとする。
 図2は、データ取得装置11を靴100の中に設置する一例を示す概念図である。図2の例では、データ取得装置11は、足弓の裏側に当たる位置に設置される。例えば、データ取得装置11は、靴100の中に挿入されるインソールに設置される。なお、データ取得装置11は、外反母趾に進行するリスクを検出できさえすれば、足弓の裏側ではない位置に設置されてもよい。
 図3は、データ取得装置11を足弓の裏側に設置する場合に、データ取得装置11に設定されるローカル座標系(x軸、y軸、z軸)と、地面に対して設定される世界座標系(X軸、Y軸、Z軸)について説明するための概念図である。世界座標系(X軸、Y軸、Z軸)では、歩行者が直立した状態で、歩行者の横方向がX軸方向(右向きが正)、歩行者の正面の方向(進行方向)がY軸方向(前向きが正)、重力方向がZ軸方向(鉛直上向きが正)に設定される。歩行者が直立した状態では、ローカル座標系(x軸、y軸、z軸)と世界座標系(X軸、Y軸、Z軸)は一致する。歩行者が歩行すると、データ取得装置11の空間的な姿勢が変化するため、ローカル座標系(x軸、y軸、z軸)と世界座標系(X軸、Y軸、Z軸)が食い違う。そのため、異常検出装置12は、データ取得装置11によって取得されたセンサデータを、データ取得装置11のローカル座標系(x軸、y軸、z軸)から世界座標系(X軸、Y軸、Z軸)に変換する。
 例えば、異常検出装置12は、足底角を算出する。図4は、異常検出装置12が算出する足底角について説明するための概念図である。足底角は、地面(XY平面)に対する足底の角度である。足底角は、爪先が上を向いた状態(背屈)をマイナス、爪先が下を向いた状態(底屈)をプラスと定義する。
 例えば、異常検出装置12は、X軸とY軸の各々の軸方向の加速度の大きさを用いて足底角を計算する。また、例えば、異常検出装置12は、X軸、Y軸、およびZ軸の各々を中心軸とする角速度の値を積分することによって、それらの軸回りの足底角を計算できる。加速度データおよび角速度データには、色々な方向に変化する高周波および低周波のノイズが入る。そのため、加速度データおよび角速度データにローパスフィルタおよびハイパスフィルタをかけて高周波成分および低周波成分を除去すれば、ノイズが乗りやすい足部からのセンサデータの精度を向上できる。また、加速度データおよび角速度データの各々に相補フィルタをかけて重み付き平均を取れば、センサデータの精度を向上できる。
 図5は、外反母趾について説明するための概念図である。図5には、第一中足骨101と第一基節骨103を点線で示す。外反母趾は、足の拇指が外反する症状であり、第一中足骨101の内反を伴う。足に合わない履物を履いて歩行し続けると、第一中足骨101が内反する方向に力がかかり、外反母趾が進行するリスクが高まる。外反母趾の進行状態は、第一中足骨101の中心線L1と第一基節骨103の中心線L2とのなす角(HV角θHV)によって判定される(HV:Hallux valgus)。HV角θHVが20度を超えた状態が、外反母趾である。外反母趾は、履物と足の相性だけではなく、歩行の特徴にも影響を受ける。外反母趾の人の歩行の特徴については後述する。
 異常検出装置12は、ローカル座標系のセンサデータをデータ取得装置11から取得する。異常検出装置12は、取得したローカル座標系のセンサデータを世界座標系に変換して時系列データを生成する。異常検出装置12は、生成した時系列データから一歩行周期分の歩行波形データを抽出する。異常検出装置12は、抽出した一歩行周期分の歩行波形データから、足の異常に関する特徴部位を抽出する。特に、異常検出装置12は、抽出した一歩行周期分の歩行波形データから、外反母趾に関する特徴部位を抽出する。
 図6は、一般的な歩行周期について説明するための概念図である。図6は、右足の一歩行周期である。図6の横軸は、右足の踵が地面に着地した時点を起点とし、次に右足の踵が地面に着地した時点を終点とする右足の一歩行周期を100%として正規化された時間(正規化時間とも呼ぶ)である。一般に、片足の一歩行周期は、足の裏側の少なくとも一部が地面に接している立脚相と、足の裏側が地面から離れている遊脚相とに大別される。立脚相は、立脚初期T1、立脚中期T2、立脚終期T3、遊脚前期T4に細分される。遊脚相は、さらに、遊脚初期T5、遊脚中期T6、遊脚終期T7に細分される。
 図6において、(a)は、右足の踵が接地する状況を表す(踵接地)。(a)は、一歩行周期の起点である。(b)は、右足の足裏の全面が接地した状態で、左足の爪先が地面から離れる状況を表す(反対足爪先離地)。(c)は、右足の足裏の全面が接地した状態で、右足の踵が持ち上がる状況を表す(踵持ち上がり)。(d)は、左足の踵が接地した状況である(反対足踵接地)。(e)は、左足の足裏の全面が接地した状態で、右足の爪先が地面から離れる状況を表す(爪先離地)。(f)は、左足の足裏の全面が接地した状態で、左足と右足が交差する状況を表す(足交差)。(g)は、右足の踵が接地する状況を表す(踵接地)。(g)は、一歩行周期の終点であり、次の歩行周期の起点である。
 図7は、歩行周期と、実際に計測された一歩行周期における足底角の時系列データとの関係について説明するための概念図である。上段は、立脚相の真ん中の時刻tmを起点とし、次の立脚相の真ん中の時刻tm+1を終点とする一歩行周期を表す。中段のグラフは、足底角の一歩行分の時系列データである。中段のグラフの横軸は、足底角を計算するためのセンサデータが実測された時間であり、上段の歩行周期とずれている。本実施形態では、歩行周期に合わせるために、足底角の時系列データの横軸を補正する。
 異常検出装置12は、足底角の時系列データから、足底角が極小(背屈ピーク)となる背屈ピーク時刻tdと、その背屈ピークの次に足底角が極大(底屈ピーク)となる底屈ピーク時刻tbとを検出する。さらに、異常検出装置12は、その底屈ピークの次の背屈ピークの背屈ピーク時刻td+1と、その背屈ピークの次の底屈ピーク時刻tb+1とを検出する。異常検出装置12は、背屈ピーク時刻tdと底屈ピーク時刻tbの中間の時刻tmを起点とし、背屈ピーク時刻td+1と底屈ピーク時刻tb+1の中間の時刻tm+1を終点とする一歩行周期分の歩行波形データを切り出す。図7のように、異常検出装置12が切り出した一歩行周期分の歩行波形データにおいては、底屈ピーク時刻tbに極大(底屈ピーク)が現れ、背屈ピーク時刻td+1に極小(背屈ピーク)が現れる。
 異常検出装置12は、時刻tm~時刻tbまでの区間が歩行周期の30%分、時刻tb~時刻td+1までの区間が歩行周期の40%分、時刻td+1~時刻tm+1までの区間が歩行周期の30%分になるように正規化する。下段のグラフが、補正後の足底角の歩行波形データである。足底角の歩行波形データは、歩行周期に伴う足底角の変化を示す。
 これ以降、空間加速度や空間角速度の時系列データについても、足底角と同様に、横軸が歩行周期に補正された歩行波形データを示す。歩行周期の30%は、図6の(e)の爪先離地のタイミングに相当する。歩行周期の70%は、図6の(a)や(g)の踵接地のタイミングに相当する。
 異常検出装置12は、足の異常の進行状態をラベルとし、その異常が足にある歩行者が歩行した際に得られた歩行波形データの特徴部位の特徴量を入力データとする教師データを用いて機械学習させた学習済みモデルを用いて、歩行者の足の異常を推定する。具体的には、異常検出装置12は、外反母趾の進行状態をラベルとし、その進行状態の歩行者が歩行した際に得られた歩行波形データの特徴部位の特徴量を入力データとする教師データを用いて機械学習させた学習済みモデルを用いて、歩行者の外反母趾の進行状態を推定する。例えば、異常検出装置12は、歩行波形データの特徴部位の特徴量を学習済みモデルに入力し、歩行者の足のHV角を推定する。異常検出装置12は、推定した外反母趾の進行状態を出力する。異常検出装置12が外反母趾の進行状態を推定するために用いる学習済みモデルについては後述する。
 〔データ取得装置〕
 次に、判定システム1が備えるデータ取得装置11の詳細について図面を参照しながら説明する。図8は、データ取得装置11の構成の一例を示すブロック図である。データ取得装置11は、加速度センサ111、角速度センサ112、信号処理部113、およびデータ送信部115を有する。
 加速度センサ111は、3軸方向の加速度を計測するセンサである。加速度センサ111は、計測した加速度を信号処理部113に出力する。
 角速度センサ112は、3軸方向の角速度を計測するセンサである。角速度センサ112は、計測した角速度を信号処理部113に出力する。
 信号処理部113は、加速度センサ111および角速度センサ112の各々から、加速度および角速度の各々を取得する。信号処理部113は、取得した加速度および角速度をデジタルデータに変換し、変換後のデジタルデータ(センサデータとも呼ぶ)をデータ送信部115に出力する。センサデータには、アナログデータの加速度をデジタルデータに変換した加速度データ(3軸方向の加速度ベクトルを含む)と、アナログデータの角速度をデジタルデータに変換した角速度データ(3軸方向の角速度ベクトルを含む)とが少なくとも含まれる。なお、加速度データおよび角速度データには、それらのデータの取得時間が紐付けられる。また、信号処理部113は、取得した加速度データおよび角速度データに対して、実装誤差や温度補正、直線性補正などの補正を加えたセンサデータを出力するように構成してもよい。
 データ送信部115は、信号処理部113からセンサデータを取得する。データ送信部115は、取得したセンサデータを異常検出装置12に送信する。データ送信部115は、ケーブルなどの有線を介してセンサデータを異常検出装置12に送信してもよいし、無線通信を介してセンサデータを異常検出装置12に送信してもよい。例えば、データ送信部115は、Bluetooth(登録商標)やWiFi(登録商標)などの規格に則した無線通信機能(図示しない)を介して、センサデータを異常検出装置12に送信するように構成できる。なお、データ送信部115の通信機能は、Bluetooth(登録商標)やWiFi(登録商標)以外の規格に則していてもよい。
 〔異常検出装置〕
 次に、判定システム1が備える異常検出装置12の詳細について図面を参照しながら説明する。図9は、異常検出装置12の構成の一例を示すブロック図である。異常検出装置12は、抽出部121および検出部123を有する。
 抽出部121は、履物に設置されたデータ取得装置11(センサ)からセンサデータを取得する。抽出部121は、抽出部121は、センサデータを用いて、履物を履いた歩行者の歩行において特徴的な歩行特徴量を抽出する。
 例えば、抽出部121は、データ取得装置11のローカル座標系における3次元の加速度データや角速度データを取得する。抽出部121は、取得したセンサデータを世界座標系に変換して時系列データを生成する。例えば、抽出部121は、世界座標系に変換された、3次元の加速度データの時系列データや、3次元の角速度データの時系列データを生成する。
 例えば、抽出部121は、空間加速度や空間角速度などの時系列データを生成する。また、抽出部121は、空間加速度や空間角速度を積分し、空間速度や空間角度(足底角)の時系列データを生成する。抽出部121は、一般的な歩行周期や、ユーザに固有の歩行周期に合わせて設定された所定のタイミングや時間間隔で時系列データを生成する。抽出部121が時系列データを生成するタイミングは任意に設定できる。例えば、抽出部121は、ユーザの歩行が継続されている期間、時系列データを生成し続ける。また、抽出部121は、特定の時刻において、時系列データを生成するように構成してもよい。
 例えば、抽出部121は、生成した時系列データから一歩行周期分の時系列データを抽出する。抽出部121は、一歩行周期分の時系列データを歩行周期に対応させた一歩行周期分の波形データ(以下、歩行波形データと呼ぶ)を生成する。抽出部121が生成する歩行波形データについては、後ほど詳細に説明する。
 例えば、抽出部121は、歩行波形データから特徴部位の特徴量(歩行特徴量)を抽出する。例えば、抽出部121は、X軸回りの角速度(ロール角速度)、重力方向の加速度(Z方向加速度)、進行方向の加速度(Y方向加速度)の時系列データから歩行特徴量を抽出する。
 検出部123は、抽出部121によって抽出された歩行特徴量に基づいて、履物を履いて歩行する歩行者の足の異常を検出する。例えば、検出部123は、足の異常の進行状態をラベルとし、その異常が足にある歩行者が歩行した際に得られた歩行波形データの歩行特徴量を入力データとする教師データを用いて機械学習させた学習済みモデルを保存する。その場合、検出部123は、抽出部121によって抽出された歩行特徴量を学習済みモデルに入力し、歩行者の足の異常の進行状態を推定し、推定した足の異常の進行状態に関する判定結果を出力する。例えば、検出部123は、足の異常の進行状態に関する判定結果を、判定結果に応じたコンテンツを配信するシステムや、図示しない表示装置や印刷装置などの出力装置に出力する。
 例えば、検出部123は、外反母趾であるか否かを示す判定結果や、HV角の範囲や値を出力する学習済みモデルを用いる。検出部123は、歩行者の歩行波形データから抽出された歩行特徴量を学習済みモデルに入力することよって、その歩行者の外反母趾の進行状態を出力する。検出部123は、外反母趾であるか否かを示す判定結果や、HV角の範囲や値を、外反母趾の進行状態として出力する。
 例えば、検出部123は、歩行パラメータに関する歩行波形データから抽出される歩行特徴量を入力すると、外反母趾の進行状態に関する情報を出力する学習済みモデルを用いる。例えば、検出部123は、外反母趾の進行状態に関する識別情報がラベルされた歩行特徴量を入力データとする教師データを用いて、学習装置に機械学習させた学習済みモデルを予め保存しておく。例えば、学習済みモデルは、ニューラルネットワークやサポートベクターマシン、決定木、回帰などの教師あり学習の手法を用いて生成できる。また、学習済みモデルは、クラスタリングなどの教師なし学習を用いて生成できる。学習済みモデルは、判定システム1で生成してもよいし、判定システム1の外部で生成されたものを用いてもよい。
 例えば、検出部123は、HV角をラベルとし、そのHV角の歩行者が歩行した際に得られた歩行波形データの特徴部位の特徴量を入力データとする教師データを用いて機械学習させた学習済みモデルを保存する。検出部123は、抽出部121によって抽出された歩行特徴量を学習済みモデルに入力し、歩行者の足のHV角を推定する。
 図10は、歩行者の足の外反母趾の進行状態をラベルとし、その進行状態の歩行者が歩行した際に得られた歩行波形データの歩行特徴量を入力データとする教師データを用いて機械学習させた第1モデル120Aに、歩行波形データの歩行特徴量を入力する例を示す概念図である。図10の例では、第1モデル120Aに歩行特徴量を入力すると、その歩行特徴量に応じた外反母趾の進行状態が出力される。図10には、歩行特徴量を一つ用いる例を図示しているが、複数の歩行特徴量を用いてもよい。第1モデル120Aを用いれば、例えば、歩容に関するコンテンツを配信する配信システムにHV角を送信し、外反母趾の進行状態に応じたコンテンツを配信システムから歩行者の端末に送信するサービスを実現できる。外反母趾の進行状態に応じたコンテンツは、歩行者の端末に保存されていてもよいし、ネットワーク経由で受信されるものであってもよい。
 例えば、検出部123は、HV角が20度を超えた場合、外反母趾であると判定する。例えば、検出部123は、HV角が20度未満の所定の閾値を超えた場合、外反母趾の傾向があると判定する。例えば、検出部123は、推測されたHV角を蓄積しておき、蓄積されたHV角の変化に応じて外反母趾の傾向を判定する。例えば、HV角の変化が大きくなる傾向があった場合、外反母趾に進行するリスクがあると判定する。検出部123は、外反母趾の進行状態に関する判定結果を出力する。
 足弓の形成が不十分な人は、歩行時に足裏にかかる衝撃が強い傾向がある。足弓の形成が不十分な人は、例えば、外反母趾になりにくい歩行者と比べて、X軸回りの角速度や、Z方向の加速度、Y方向の加速度などが大きい傾向がある。そのため、足弓の形成が不十分な人は、足に合わない窮屈な履物を履いて歩行すると、拇指に衝撃が加わりやすくなり、外反母趾になりやすい。足裏に形成されるアーチは、足の中心線に沿った方向の縦のアーチと、足の中心線に対して垂直な方向の横のアーチとを含む。特に、歩行時において、横のアーチにかかる衝撃が強い傾向があると、HV角が大きくなる方向の力が拇指にかかりやすいため、外反母趾になりやすい傾向があると推察される。
 図11は、歩行者の足のHV角をラベルとし、そのHV角の歩行者が歩行した際に得られた歩行波形データの歩行特徴量を入力データとする教師データを用いて機械学習させた第2モデル120Bに、歩行波形データの歩行特徴量を入力する例を示す概念図である。図11の例では、第2モデル120Bに歩行特徴量を入力すると、その歩行特徴量に応じたHV角が出力される。図11には、歩行特徴量を一つ用いる例を図示しているが、複数の歩行特徴量を用いてもよい。第2モデル120Bを用いれば、例えば、歩容に関するコンテンツを配信する配信システムにHV角を送信し、HV角に応じたコンテンツを配信システムから歩行者の端末に送信するサービスを実現できる。HV角に応じたコンテンツは、歩行者の端末に保存されていてもよいし、ネットワーク経由で受信されるものであってもよい。
 図12および図13は、データ取得装置11が設置された靴100を履いた歩行者の携帯端末110の画面に、外反母趾の進行状態やHV角に応じたコンテンツを表示させる例である。ただし、携帯端末110は、異常検出装置12を含むものとする。
 図12は、推定された外反母趾の進行状態やHV角に応じた理想的な歩容を含む動画を歩行者の携帯端末110に表示させる例である。例えば、歩行者の歩行波形データを用いて歩行者の歩容を計測できれば、外反母趾の進行状態やHV角に応じた歩き方や姿勢に関するアドバイスを歩行者の携帯端末110に表示させてもよい。
 図13は、推定された外反母趾の進行状態やHV角に応じた情報を歩行者の携帯端末110に表示させる例である。例えば、外反母趾の進行状態やHV角に応じて、歩行者が病院で診察を受けることを勧める情報を携帯端末110の画面に表示させる。例えば、外反母趾の進行状態やHV角に応じて、受診可能な病院の情報を携帯端末110の画面に表示させる。例えば、外反母趾の進行状態やHV角に応じて、受診可能な病院のサイトへのリンク先や電話番号を携帯端末110の画面に表示させてもよい。
 〔歩行特徴量〕
 次に、歩行波形データから歩行特徴量を抽出する際に、歩行波形データのどの特徴部位から抽出するかについて説明する。以下においては、51名の被験者を募り、外反母趾の有無やHV角に応じた歩行特徴量の違いを検証した結果を示す。本検証では、HV角が20度を超える被験者の組(第1組)と、HV角が20度未満の被験者の組(第2組)とに組分けした。
 図14および図15は、被験者のHV角を計測する条件について説明するための概念図である。
 図14は、被験者のHV角を計測する際に用いるカメラ120の撮影条件について説明するための概念図である。カメラ120は、足の甲から1メートル(m)の位置に、地面(XY平面)に対して垂直な方向(Z方向)から15度傾けた向きが撮影方向になるように設置した。
 図15は、カメラ120によって撮影された画像から第一中足骨101と第一基節骨103(点線)の位置を抽出し、第一中足骨101の中心線L1と第一基節骨103の中心線L2とのなす角であるHV角θHVを計測する例を示す概念図である。本実施形態では、第一中足骨101と第一基節骨103の各々に起因する足の甲の突出部位を2か所抽出した。そして、第一中足骨101から抽出された2点を通過する直線と、第一基節骨103から抽出された2点を通過する直線とが交わることによって形成される鋭角をHV角θHVとした。
 被験者が履く履物の内側には、足弓の下方の位置にデータ取得装置11を配置した。そして、データ取得装置11が配置された履物を履いた被験者が歩行した際に得られたセンサデータを用いて、一歩行周期分の歩行波形データを抽出した。被験者の歩行に基づいて得られた歩行波形データは、被験者ごとに平均化した。また、全ての被験者に関して、第1組および第2組の各々の歩行波形データを平均化した。以下においては、第1組の全ての歩行波形データを平均化したものと、第2組の全ての歩行波形データを平均化したものとを比較する例について説明する。以下においては、第1組の全ての歩行波形データを平均化したものを第1組の歩行波形データと表記し、第2組の全ての歩行波形データを平均化したものを第2組の歩行波形データと表記する。
 また、第1組と第2組の歩行波形データから抽出される特徴部位の特徴量に差異があるか否かを検定した。本検定においては、第1組と第2組の歩行波形データから抽出される特徴部位の特徴量に差異がないという帰無仮説を立てた。第1組の歩行波形データから抽出される特徴部位の特徴量のうち、第2組の歩行波形データから抽出される特徴部位の特徴量との差異が有意である特徴部位の特徴量を歩行特徴量とした。
 <ロール角速度>
 図16は、データ取得装置11が配置された履物を履いた被験者の歩行によって得られたX軸回りの角速度(ロール角速度)の歩行波形データである(左側の縦軸)。HV角が20度を超える被験者の組(第1組)の歩行波形データは実線で示す。HV角が20度未満の被験者の組(第2組)の歩行波形データは破線で示す。
 また、図16には、歩行波形データに加えて、第1組および第2組の歩行波形データから抽出される特徴部位の特徴量の差異があるか、t検定によって検定した検定結果1を示す(一点鎖線)。検定結果1は、第1組と第2組の歩行波形データから抽出される特徴部位の特徴量に差異がないという有意確率が、有意水準0.05未満の場合は1、それ以外の場合は0である。すなわち、検定結果1が1の場合、第1組および第2組の歩行波形データから抽出される特徴部位の特徴量に差異がある、ということが有意である。
 さらに、図16には、歩行速度(Y方向速度)とロール角速度との間に相関があるか、t検定によって検定した検定結果2を示す(点線)。歩行速度とロール角速度との間の相関を検証するのは、第1組の歩行波形データから抽出される特徴部位の特徴量が歩行速度の影響を受けているか否かを検証するためである。検定結果2は、歩行速度とロール角速度との間の相関がないという有意確率が、有意水準0.05未満の場合は1、それ以外の場合は0である。すなわち、検定結果2が1の場合、歩行速度とロール角速度との間の相関がある、ということが有意である。具体的には、歩行速度とロール角速度のピアソンの積率相関係数(以下、相関係数とも呼ぶ)の差異を検証した。なお、歩行速度は、一歩行周期における進行方向の加速度(Y方向加速度)を積分した値を、一歩行周期の時間で割ることによって算出した。
 第1組と第2組のロール角速度の歩行波形データを比較すると、第1組および第2組の歩行波形データから抽出される特徴部位の特徴量の差異が有意であり、かつ歩行の特徴に関連付けられる特徴部位が2か所抽出された(区間SAV1、区間SAV2)。
 歩行周期が40%を超えたあたりから50%を超えたあたりまでの区間SAV1は、遊脚中期のタイミングを含む。区間SAV1においては、検定結果1は1であり、検定結果2は0である。すなわち、区間SAV1の特徴部位の特徴量は、歩行速度の影響を受けていない。そのため、区間SAV1から抽出される特徴部位の歩行特徴量は、そのまま使うことができる。例えば、歩行周期が50%のときのロール角速度の歩行波形データから抽出される歩行特徴量を用いることができる。
 歩行周期が70%を超えたあたりの区間SAV2は、立脚初期のタイミングを含む。区間SAV2においては、検定結果1は1であり、検定結果2も1である。すなわち、区間SAV2の特徴部位の特徴量は、歩行速度の影響を受けている可能性がある。そのため、図17から図19に示すように、区間SAV2から抽出される特徴部位の歩行特徴量から歩行速度の影響を除去してから、第1組および第2組の歩行波形データから抽出される特徴部位の特徴量に差異があるか、t検定によって検定を行った。
 図17は、区間SAV2に含まれる歩行周期が73%のときのロール角速度を、歩行速度に対してプロットしたグラフである。図7のグラフには、全ての被験者に関して、歩行周期が73%のときの歩行速度と、そのときのロール角速度との関係を線形回帰した際の回帰直線(破線)を示す。
 図18は、歩行周期が73%のときのロール角速度と回帰直線との距離を、歩行周期が73%のときの歩行速度に対してプロットしたグラフである。図19においては、回帰直線よりも上のプロットの距離の符号をプラスとし、回帰直線よりも下のプロットの距離の符号をマイナスとした。
 図19は、歩行周期が73%のときのロール角速度と回帰直線との距離に関する箱ひげ図である。歩行周期が73%のときのロール角速度に関しては、HV角が20度を超える被験者の組(第1組)の方が、四分位範囲(ばらつき)が小さく、中央値が大きかった。また、歩行周期が73%のときのロール角速度に関しては、歩行速度の影響を除去すると、第1組と第2組の歩行波形データから抽出される特徴部位の特徴量に差異がないという有意確率が、有意水準0.05未満であった。すなわち、歩行周期が73%のときのロール角速度に関しては、第1組および第2組の歩行波形データから抽出される特徴部位の特徴量に差異がある、ということが有意である。そのため、歩行周期が73%におけるロール角速度から抽出された特徴量は、HV角が20度を超える被験者の組(第1組)を抽出するための歩行特徴量として用いることができる。
 すなわち、ロール角速度に関しては、HV角が20度を超える被験者の組(第1組)を抽出するための歩行特徴量として、遊脚中期に含まれる区間SAV1と立脚初期に含まれる区間SAV2の各々から抽出される特徴部位の特徴量を用いることができる。立脚初期に含まれる区間SAV2から抽出される特徴部位の特徴量からは、歩行速度の影響を除去した方がよい。歩行パラメータとしてロール角速度を用いる場合、例えば、歩行周期が50%や73%の近傍の特徴部位から抽出される特徴量を、HV角が20度を超える被験者の組(第1組)を抽出するための歩行特徴量として用いることができる。
 <Z方向加速度>
 図20は、データ取得装置11が配置された履物を履いた被験者の歩行によって得られたZ方向加速度の歩行波形データである(左側の縦軸)。HV角が20度を超える被験者の組(第1組)の歩行波形データは実線で示す。HV角が20度未満の被験者の組(第2組)の歩行波形データは破線で示す。
 また、図20には、歩行波形データに加えて、第1組および第2組の歩行波形データから抽出される特徴部位の特徴量の差異があるか、t検定によって検定した検定結果1を示す(一点鎖線)。検定結果1は、第1組と第2組の歩行波形データから抽出される特徴部位の特徴量に差異がないという有意確率が、有意水準0.05未満の場合は1、それ以外の場合は0である。すなわち、検定結果1が1の場合、第1組および第2組の歩行波形データから抽出される特徴部位の特徴量に差異がある、ということが有意である。
 さらに、図20には、歩行速度(Y方向速度)とZ方向加速度との間に相関があるか、t検定によって検定した検定結果2を示す(点線)。歩行速度とZ方向加速度との間の相関を検証するのは、第1組の歩行波形データから抽出される特徴部位の特徴量が歩行速度の影響を受けているか否かを検証するためである。検定結果2は、歩行速度とZ方向加速度との間の相関がないという有意確率が、有意水準0.05未満の場合は1、それ以外の場合は0である。すなわち、検定結果2が1の場合、歩行速度とZ方向加速度との間の相関がある、ということが有意である。具体的には、歩行速度とZ方向加速度のピアソンの積率相関係数(以下、相関係数とも呼ぶ)の差異を検証した。なお、歩行速度は、一歩行周期における進行方向の加速度(Y方向加速度)を積分した値を、一歩行周期の時間で割ることによって算出した。
 第1組と第2組のZ方向加速度の歩行波形データを比較すると、第1組および第2組の歩行波形データから抽出される特徴部位の特徴量の差異が有意であり、かつ歩行の特徴に関連付けられる特徴部位が2か所抽出された(区間SZA1、区間SZA2)。
 歩行周期が50%を超えたあたりの区間SZA1は、遊脚中期のタイミングを含む。区間SZA1においては、検定結果1は1であり、検定結果2は0である。そのため、区間SZA1から抽出される特徴部位の歩行特徴量は、そのまま使うことができる。例えば、区間SZA1が52%のときのZ方向加速度の歩行波形データから抽出される歩行特徴量を用いることができる。
 歩行周期が70%と80%の間の区間SZA2は、立脚初期に含まれるヒールロッカーのタイミングを含む。区間SZA2においては、検定結果1は1であり、検定結果2も1である。すなわち、区間SZA2の特徴部位の特徴量は、歩行速度の影響を受けている可能性がある。そのため、図21から図23に示すように、区間SZA2から抽出される特徴部位の歩行特徴量から歩行速度の影響を除去してから、第1組および第2組の歩行波形データから抽出される特徴部位の特徴量に差異があるか、t検定によって検定を行った。
 図21は、区間SZA2に含まれる歩行周期が73%のときのZ方向加速度を、歩行速度に対してプロットしたグラフである。図21のグラフには、全ての被験者に関して、歩行周期が73%のときの歩行速度と、そのときのZ方向加速度との関係を線形回帰した際の回帰直線(破線)を示す。
 図22は、歩行周期が73%のときのZ方向加速度と回帰直線との距離を、歩行周期が73%のときの歩行速度に対してプロットしたグラフである。図22においては、回帰直線よりも上のプロットの距離の符号をプラスとし、回帰直線よりも下のプロットの距離の符号をマイナスとした。
 図23は、歩行周期が73%のときのZ方向加速度と回帰直線との距離に関する箱ひげ図である。歩行周期が73%のときのZ方向加速度に関しては、HV角が20度を超える被験者の組(第1組)の方が、四分位範囲(ばらつき)が小さく、中央値が大きかった。また、歩行周期が73%におけるZ方向加速度に関しては、歩行速度の影響を除去すると、第1組と第2組の歩行波形データから抽出される特徴部位の特徴量に差異がないという有意確率が、有意水準0.05未満であった。すなわち、歩行周期が73%のときのZ方向加速度に関しては、第1組および第2組の歩行波形データから抽出される特徴部位の特徴量に差異がある、ということが有意である。そのため、歩行周期が73%のときのZ方向加速度から抽出された特徴量は、HV角が20度を超える被験者の組(第1組)を抽出するための歩行特徴量として用いることができる。
 すなわち、Z方向加速度に関しては、HV角が20度を超える被験者の組(第1組)を抽出するための歩行特徴量として、遊脚中期に含まれる区間SZA1と立脚初期に含まれる区間SZA2の各々から抽出される特徴部位の特徴量を用いることができる。立脚初期に含まれる区間SZA2から抽出される特徴部位の特徴量からは、歩行速度の影響を除去した方がよい。歩行パラメータとしてZ方向加速度を用いる場合、例えば、歩行周期が50%や73%の近傍の特徴部位から抽出される特徴量を、HV角が20度を超える被験者の組(第1組)を抽出するための歩行特徴量として用いることができる。
 <Y方向加速度>
 図24は、データ取得装置11が配置された履物を履いた被験者の歩行によって得られたY方向加速度の歩行波形データである(左側の縦軸)。HV角が20度を超える被験者の組(第1組)の歩行波形データは実線で示す。HV角が20度未満の被験者の組(第2組)の歩行波形データは破線で示す。
 また、図24には、歩行波形データに加えて、第1組および第2組の歩行波形データから抽出される特徴部位の特徴量の差異があるか、t検定によって検定した検定結果1を示す(一点鎖線)。検定結果1は、第1組と第2組の歩行波形データから抽出される特徴部位の特徴量に差異がないという有意確率が、有意水準0.05未満の場合は1、それ以外の場合は0である。すなわち、検定結果1が1の場合、第1組および第2組の歩行波形データから抽出される特徴部位の特徴量に差異がある、ということが有意である。
 さらに、図24には、歩行速度(Y方向速度)とY方向加速度との間に相関があるか、t検定によって検定した検定結果2を示す(点線)。歩行速度とY方向加速度との間の相関を検証するのは、第1組の歩行波形データから抽出される特徴部位の特徴量が歩行速度の影響を受けているか否かを検証するためである。検定結果2は、歩行速度とY方向加速度との間の相関がないという有意確率が、有意水準0.05未満の場合は1、それ以外の場合は0である。すなわち、検定結果2が1の場合、歩行速度とY方向加速度との間の相関がある、ということが有意である。具体的には、歩行速度とY方向加速度のピアソンの積率相関係数(以下、相関係数とも呼ぶ)の差異を検証した。なお、歩行速度は、一歩行周期における進行方向の加速度(Y方向加速度)を積分した値を、一歩行周期の時間で割ることによって算出した。
 第1組と第2組のY方向加速度の歩行波形データを比較すると、第1組および第2組の歩行波形データから抽出される特徴部位の特徴量の差異が有意であり、かつ歩行の特徴に関連付けられる特徴部位が2か所抽出された(区間SYA1、区間SYA2)。
 歩行周期が40%あたりの区間SYA1は、遊脚初期のタイミングを含む。また、歩行周期が70%を超えたあたりの区間SYA2は、立脚初期のタイミングを含む。区間SYA1および区間SYA2においては、検定結果1は1であり、検定結果2も1である。すなわち、区間SYA1および区間SYA2の特徴部位の特徴量は、歩行速度の影響を受けている可能性がある。そのため、図25から図27と図28から図30に示すように、区間SYA1および区間SYA2から抽出される特徴部位の歩行特徴量から歩行速度の影響を除去してから、第1組および第2組の歩行波形データから抽出される特徴部位の特徴量に差異があるか、t検定によって検定を行った。
 図25は、区間SYA1に含まれる歩行周期が43%のときのY方向加速度を、歩行速度に対してプロットしたグラフである。図25のグラフには、全ての被験者に関して、歩行周期が43%のときのY方向加速度と、そのときの歩行速度との関係を線形回帰した際の回帰直線(破線)を示す。
 図26は、歩行周期が43%のときのY方向加速度と回帰直線との距離を、歩行周期が43%のときの歩行速度に対してプロットしたグラフである。図26においては、回帰直線よりも上のプロットの距離の符号をプラスとし、回帰直線よりも下のプロットの距離の符号をマイナスとした。
 図27は、歩行周期が43%のときのY方向加速度と回帰直線との距離に関する箱ひげ図である。歩行周期が43%のときのY方向加速度に関しては、HV角が20度を超える被験者の組(第1組)の方が、四分位範囲(ばらつき)が小さく、中央値が大きかった。また、歩行周期が43%におけるY方向加速度に関しては、歩行速度の影響を除去すると、第1組と第2組の歩行波形データから抽出される特徴部位の特徴量に差異がないという有意確率が、有意水準0.05未満であった。すなわち、歩行周期が43%のときのY方向加速度に関しては、第1組および第2組の歩行波形データから抽出される特徴部位の特徴量に差異がある、ということが有意である。そのため、歩行周期が43%のときのY方向加速度から抽出された特徴量は、HV角が20度を超える被験者の組(第1組)を抽出するための歩行特徴量として用いることができる。
 図28は、区間SYA2に含まれる歩行周期が73%のときのY方向加速度を、歩行速度に対してプロットしたグラフである。図28のグラフには、全ての被験者に関して、歩行周期が73%におけるY方向加速度と、そのときの歩行速度との関係を線形回帰した際の回帰直線(破線)を示す。
 図29は、歩行周期が73%のときのY方向加速度と回帰直線との距離を、歩行周期が73%のときの歩行速度に対してプロットしたグラフである。図29においては、回帰直線よりも上のプロットの距離の符号をプラスとし、回帰直線よりも下のプwロットの距離の符号をマイナスとした。
 図30は、歩行周期が73%のときのY方向加速度と回帰直線との距離に関する箱ひげ図である。歩行周期が73%におけるY方向加速度に関しては、HV角が20度を超える被験者の組(第1組)の方が、四分位範囲(ばらつき)が小さく、中央値が大きかった。また、歩行周期が73%におけるY方向加速度に関しては、歩行速度の影響を除去すると、第1組と第2組の歩行波形データから抽出される特徴部位の特徴量に差異がないという有意確率が、有意水準0.05未満であった。すなわち、歩行周期が73%のときのY方向加速度に関しては、第1組および第2組の歩行波形データから抽出される特徴部位の特徴量に差異がある、ということが有意である。そのため、歩行周期が73%のときのY方向加速度から抽出された特徴量は、HV角が20度を超える被験者の組(第1組)を抽出するための歩行特徴量として用いることができる。
 すなわち、Y方向加速度に関しては、HV角が20度を超える被験者の組(第1組)を抽出するための歩行特徴量として、遊脚初期に含まれる区間SYA1と立脚初期に含まれる区間SYA2の各々から抽出される特徴部位の特徴量を用いることができる。遊脚初期に含まれる区間SYA1と立脚初期に含まれる区間SYA2の各々から抽出される特徴部位の特徴量からは、歩行速度の影響を除去した方がよい。歩行パラメータとしてY方向加速度を用いる場合、例えば、歩行周期が43%や73%の近傍の特徴部位から抽出される特徴量を、HV角が20度を超える被験者の組(第1組)を抽出するための歩行特徴量として用いることができる。
 以上が、ロール角速度やZ方向加速度、Y方向加速度などの歩行パラメータに関する歩行波形データから歩行特徴量を抽出する際に、歩行波形データのどの特徴部位から抽出するについての説明である。なお、異常検出装置12が用いる歩行パラメータは、ロール角速度やZ方向加速度、Y方向加速度に限定されない。異常検出装置12が用いる歩行パラメータは、外反母趾の進行状態などの足の異常を検出できさえすれば、任意の歩行パラメータを用いることができる。
 (動作)
 次に、本実施形態の判定システム1の動作について図面を参照しながら説明する。以下においては、判定システム1の抽出部121と検出部123を動作の主体とする。なお、以下に示す動作の主体は、判定システム1であってもよい。
 〔抽出部〕
 まず、判定システム1の抽出部121の動作について図面を参照しながら説明する。図31は、抽出部121の動作の一例について説明するためのフローチャートである。
 図31において、まず、抽出部121は、データ取得装置11が設置された履物を履いて歩行する歩行者の足の動きに関するセンサデータをデータ取得装置11から取得する(ステップS11)。抽出部121は、データ取得装置11のローカル座標系のセンサデータを取得する。例えば、抽出部121は、足の動きに関するセンサデータとして、3次元の空間加速度や3次元の空間角速度をデータ取得装置11から取得する。
 次に、抽出部121は、取得したセンサデータの座標系をローカル座標系から世界座標系に変換し、センサデータの時系列データを生成する(ステップS12)。
 次に、抽出部121は、空間加速度および空間角速度のうち少なくともいずれかを用いて空間角度を計算し、空間角度の時系列データを生成する(ステップS13)。抽出部121は、必要に応じて、空間速度や空間軌跡の時系列データを生成する。ステップS13は、ステップS12よりも前の段階で行われてもよい。
 次に、抽出部121は、空間角度の時系列データから、連続する立脚相の各々の真ん中の時刻(時刻tm、時刻tm+1)を検出する(ステップS14)。
 次に、抽出部121は、歩行特徴量の抽出対象の空間加速度および空間角速度の時系列データから、時刻tmと時刻tm+1の間の時間帯の波形を一歩行周期分の歩行波形として抽出する(ステップS15)。
 次に、抽出部121は、空間加速度および空間角速度の時系列データから抽出された一歩行周期分の歩行波形を正規化し、歩行波形データを生成する(ステップS16)。ここでいう正規化とは、図7のように、時刻tm~時刻tbまでの区間が歩行周期の30%分、時刻tb~時刻td+1までの区間が歩行周期の40%分、時刻td+1~時刻tm+1までの区間が歩行周期の30%分になるように歩行波形を補正することである。
 そして、抽出部121は、生成した歩行波形データから特徴部位の特徴量(歩行特徴量)を抽出する(ステップS17)。
 〔検出部〕
 次に、判定システム1の検出部123の動作について図面を参照しながら説明する。図32は、検出部123の動作の一例について説明するためのフローチャートである。
 図32において、まず、検出部123は、抽出部121によって抽出された歩行特徴量を学習済みモデルに入力する(ステップS21)。
 そして、検出部123は、学習済みモデルからの出力に基づいた外反母趾の進行状態に関する情報を出力する(ステップS22)。
 以上が、判定システム1の動作についての説明である。なお、図31および図32は一例であって、判定システム1の動作を限定するものではない。
 <歩行特徴量の選定方法>
 次に、歩行特徴量の選定方法について図面を参照しながら説明する。図33および図34は、歩行特徴量の選定方法の一例について説明するためのフローチャートである。通常、判定システム1の処理に歩行特徴量の選定は含まれない。しかし、判定システム1が歩行特徴量を選定するように構成してもよい。その場合、歩行特徴量を選定する選定部を判定システム1に追加すればよい。以下においては、判定システム1が歩行特徴量を選定するものとして説明する。
 図33において、判定システム1は、正規化された歩行波形データを取得する(ステップS311)。
 次に、判定システム1は、取得した歩行波形データから特徴部位の特徴量を抽出する(ステップS312)。ステップS312の後、判定システム1は、二つの処理(ステップS313、ステップS314)を並行して行う。なお、ステップS313とステップS314の処理は、順番に行われてもよい。ステップS313とステップS314の処理を順番に行う場合、ステップS313とステップS314の処理を実行する順番は任意である。
 ステップS312の後、判定システム1は、第1処理として、外反母趾の有無の二群(第1組と第2組)に分けた際の歩行波形データの平均を計算し、歩行波形データの平均における二群の差異を比較する(ステップS313)。ステップS313の後は、ステップS315に進む。
 ステップS312の後、判定システム1は、第2処理として、特徴量と歩行速度との相関性を計算する(ステップS314)。ステップS314の後は、ステップS315に進む。
 次に、判定システム1は、歩行波形データから抽出された特徴部位の特徴量について、二群の差異の是非の有意確率p1と、特徴量と歩行速度との相関性の有無の有意確率p2とを計算する(ステップS315)。
 二群の差異の是非の有意確率p1が有意水準0.05以上の場合(ステップS316でNo)、二群の差異に有意差がないため、判定システム1は、その特徴量を歩行特徴量に設定しない(ステップS317)。一方、二群の差異の是非の有意確率p1が有意水準0.05未満の場合(ステップS316でYes)、二群の差異に有意差があるため、ステップS318に進む。
 特徴量と歩行速度との相関性の有無の有意確率p2が有意水準0.05未満の場合(ステップS318でYes)、その特徴量は歩行速度の影響を受けないので、判定システム1は、その特徴量を歩行特徴量に設定する(ステップS319)。一方。特徴量と歩行速度との相関性の有無の有意確率p2が有意水準0.05以上の場合(ステップS318でNo)、その特徴量は歩行速度の影響を受けるので、図34のAに進む。
 図33のステップS318でYesの場合、図34において、判定システム1は、特徴量と歩行速度の回帰直線を求める(ステップS320)。
 次に、判定システム1は、歩行速度の回帰直線と特徴量との距離を求める(ステップS321)。
 次に、判定システム1は、歩行速度の回帰直線と特徴量との距離を、外反母趾の有無の二群(第1組と第2組)に分けて、それらの差異の是非の有意確率p3を計算する(ステップS322)。
 歩行速度の回帰直線と特徴量との距離の差異の是非の有意確率p3が有意水準0.05未満の場合(ステップS323でYes)、有意差がみられるため、判定システム1は、その特徴量を歩行特徴量に設定する(ステップS324)。一方。歩行速度の回帰直線と特徴量との距離の差異の是非の有意確率p3が有意水準0.05以上の場合(ステップS323でNo)、有意差がみられないため、判定システム1は、その特徴量を歩行特徴量に設定しない(ステップS325)。
 以上が、歩行特徴量の選定方法についての説明である。なお、図33および図34のフローチャートに沿った処理は、機械学習によって行われてもよい。例えば、判定システム1に機械学習機能を設け、歩行波形データから抽出される特徴部位の特徴量を機械学習によって選定すればよい。
 以上のように、本実施形態の判定システムは、データ取得装置と異常検出装置を備える。データ取得装置は、履物に設置され、空間加速度および空間角速度を計測し、計測した空間加速度および空間角速度に基づいてセンサデータを生成し、生成したセンサデータを異常検出装置に送信する。異常検出装置は、抽出部と検出部を備える。抽出部は、履物に設置されたセンサからセンサデータを取得し、センサデータを用いて、履物を履いた歩行者の歩行において特徴的な歩行特徴量を抽出する。検出部は、抽出部によって抽出された歩行特徴量に基づいて、履物を履いて歩行する歩行者の足の異常を検出する。
 本実施形態によれば、履物に設置されたセンサからセンサデータを取得し、センサデータを用いて、履物を履いた歩行において特徴的な歩行特徴量を抽出し、抽出された歩行特徴量に基づいて足の異常を検出できる。
 本実施形態の一態様において、検出部は、抽出部によって抽出された歩行特徴量に基づいて、履物を履いた歩行者の足の外反母趾の進行状態を判定する。本態様によれば、抽出された歩行特徴量に基づいて、歩行者の足の外反母趾の進行状態を判定できる。
 例えば、検出部は、外反母趾の進行状態をラベルとし、履物を履いた歩行において特徴的な歩行特徴量を入力データとする教師データを用いて機械学習させたモデルと、抽出部によって抽出された歩行特徴量とを用いて、外反母趾の進行状態を推定する。この例によれば、機械学習によって生成されたモデルに歩行特徴量を入力すれば、その歩行特徴量に応じた外反母趾の進行状態を推定できる。
 本実施形態の一態様において、検出部は、抽出部によって抽出された歩行特徴量に基づいて、履物を履いた歩行者の足の第一中足骨の中心線と第一基節骨の中心線との成す角度を推定する。本態様によれば、抽出された歩行特徴量に基づいて、歩行者の足の第一中足骨の中心線と第一基節骨の中心線との成す角度を推定できる。
 例えば、検出部は、第一中足骨の中心線と第一基節骨の中心線との成すHV角度をラベルとし、履物を履いた歩行において特徴的な歩行特徴量を入力データとする教師データを用いて機械学習させたモデルと、抽出部によって抽出された歩行特徴量とを用いて、HV角度を推定する。この例によれば、機械学習によって生成されたモデルに歩行特徴量を入力すれば、その歩行特徴量に応じたHV角度を推定できる。
 本実施形態の一態様において、抽出部は、履物を履いて歩行する歩行者の歩行によって取得されるセンサデータの時系列データから得られた歩行波形データに含まれる歩行特徴量を抽出する。例えば、抽出部は、歩行者の横方向の軸回りの角速度の時系列データから得られた歩行波形データのうち、遊脚中期および立脚初期のうち少なくともいずれかの波形に含まれる歩行特徴量を抽出する。例えば、抽出部は、重力方向の加速度の時系列データから得られた歩行波形データのうち、遊脚中期および立脚初期のうち少なくともいずれかの波形に含まれる歩行特徴量を抽出する。例えば、抽出部は、歩行者の進行方向の加速度の時系列データから得られた歩行波形データのうち、遊脚初期および立脚初期のうち少なくともいずれかの波形に含まれる歩行特徴量を抽出する。本態様においては、歩行波形データに含まれる歩行特徴量を抽出する。そのため、本態様によれば、歩行波形データから抽出される特徴的な歩行特徴量を用いて、足の異常をより正確に推定できる。
 立脚初期に含まれる歩行周期が約73%のヒールロッカーのタイミングにおいては、踵接地後に、接地した踵の外周に沿った回転によって、重力方向(Z方向)の加速度を進行方向(Y方向)に変換する期間を含む。そのため、重力方向(Z方向)の加速度(図20)が急減し、進行方向(Y方向)の加速度(図24)が極大を示すと推測される。外反母趾になりやすい人は、足弓部のアーチ形成が不十分な傾向があるためにペタペタ歩きになりやすく、ヒールロッカーにおける角速度が速い傾向がある。そのため、足の大きさに対して小さめの履物を履いて歩行を継続すると、拇指が外反する方向に力がかかり続けることによって、外反母趾の症状が進行しやすいものと推察される。
 本実施形態の一態様において、検出部は、履物を履いて歩行する歩行者の足の異常の進行状態に応じた配信情報を出力する。本態様によれば、歩行者は、足の異常の進行状態に応じた配信情報をリアルタイムで取得できる。
 (第2の実施形態)
 次に、第2の実施形態に係る異常検出装置について図面を参照しながら説明する。本実施形態の異常検出装置は、第1の実施形態の判定システム1に含まれる異常検出装置12に相当する。本実施形態の異常検出装置は、履物に設置されたセンサによって取得されたセンサデータを用いて、その歩行者の足の異常の有無を判定する。
 図35は、本実施形態の異常検出装置22の構成の一例を示すブロック図である。異常検出装置22は、抽出部221と検出部223を備える。
 抽出部221は、履物に設置されたセンサからセンサデータを取得する。抽出部221は、センサデータを用いて、履物を履いた歩行者の歩行において特徴的な歩行特徴量を抽出する。
 検出部223は、抽出部221によって抽出された歩行特徴量に基づいて、履物を履いて歩行する歩行者の足の異常を検出する。
 本実施形態によれば、歩行者の歩行の特徴に基づいて足の異常を検出できる。
 (ハードウェア)
 ここで、各実施形態に係る異常検出装置の処理を実行するハードウェア構成について、図36の情報処理装置90を一例として挙げて説明する。なお、図36の情報処理装置90は、各実施形態の異常検出装置の処理を実行するための構成例であって、本発明の範囲を限定するものではない。
 図36のように、情報処理装置90は、プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95、および通信インターフェース96を備える。図36においては、インターフェースをI/F(Interface)と略して表記する。プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95、および通信インターフェース96は、バス98を介して互いにデータ通信可能に接続される。また、プロセッサ91、主記憶装置92、補助記憶装置93および入出力インターフェース95は、通信インターフェース96を介して、インターネットやイントラネットなどのネットワークに接続される。
 プロセッサ91は、補助記憶装置93等に格納されたプログラムを主記憶装置92に展開し、展開されたプログラムを実行する。本実施形態においては、情報処理装置90にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ91は、本実施形態に係る異常検出装置による処理を実行する。
 主記憶装置92は、プログラムが展開される領域を有する。主記憶装置92は、例えばDRAM(Dynamic Random Access Memory)などの揮発性メモリとすればよい。また、MRAM(Magnetoresistive Random Access Memory)などの不揮発性メモリを主記憶装置92として構成・追加してもよい。
 補助記憶装置93は、種々のデータを記憶する。補助記憶装置93は、ハードディスクやフラッシュメモリなどのローカルディスクによって構成される。なお、種々のデータを主記憶装置92に記憶させる構成とし、補助記憶装置93を省略することも可能である。
 入出力インターフェース95は、情報処理装置90と周辺機器とを接続するためのインターフェースである。通信インターフェース96は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークを通じて、外部のシステムや装置に接続するためのインターフェースである。入出力インターフェース95および通信インターフェース96は、外部機器と接続するインターフェースとして共通化してもよい。
 情報処理装置90には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器を接続するように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねる構成とすればよい。プロセッサ91と入力機器との間のデータ通信は、入出力インターフェース95に仲介させればよい。
 また、情報処理装置90には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、情報処理装置90には、表示機器の表示を制御するための表示制御装置(図示しない)が備えられていることが好ましい。表示機器は、入出力インターフェース95を介して情報処理装置90に接続すればよい。
 以上が、本発明の各実施形態に係る異常検出装置を可能とするためのハードウェア構成の一例である。なお、図36のハードウェア構成は、各実施形態に係る異常検出装置の演算処理を実行するためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、各実施形態に係る異常検出装置に関する処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。
 さらに、各実施形態に係るプログラムを記録した非一過性の記録媒体(プログラム記録媒体とも呼ぶ)も本発明の範囲に含まれる。例えば、記録媒体は、例えば、CD(Compact Disc)やDVD(Digital Versatile Disc)などの光学記録媒体で実現できる。また、記録媒体は、USB(Universal Serial Bus)メモリやSD(Secure Digital)カードなどの半導体記録媒体や、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現してもよい。
 各実施形態の異常検出装置の構成要素は、任意に組み合わせることができる。また、各実施形態の異常検出装置の構成要素は、ソフトウェアによって実現してもよいし、回路によって実現してもよい。
 以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 1  判定システム
 11  データ取得装置
 12、22  異常検出装置
 111  加速度センサ
 112  角速度センサ
 113  信号処理部
 115  データ送信部
 120A  第1モデル
 120B  第2モデル
 121、221  抽出部
 123、223  検出部

Claims (10)

  1.  履物に設置されたセンサからセンサデータを取得し、前記センサデータを用いて、前記履物を履いた歩行者の歩行において特徴的な歩行特徴量を抽出する抽出手段と、
     前記抽出手段によって抽出された前記歩行特徴量に基づいて、前記履物を履いて歩行する歩行者の足の異常を検出する検出手段と、を備える異常検出装置。
  2.  前記検出手段は、
     前記抽出手段によって抽出された前記歩行特徴量に基づいて、前記履物を履いた歩行者の足の外反母趾の進行状態を判定する、請求項1に記載の異常検出装置。
  3.  前記検出手段は、
     前記外反母趾の進行状態をラベルとし、前記履物を履いた歩行において特徴的な前記歩行特徴量を入力データとする教師データを用いて機械学習させたモデルと、前記抽出手段によって抽出された前記歩行特徴量とを用いて、前記外反母趾の進行状態を推定する、請求項2に記載の異常検出装置。
  4.  前記検出手段は、
     前記抽出手段によって抽出された前記歩行特徴量に基づいて、前記履物を履いた歩行者の足の第一中足骨の中心線と第一基節骨の中心線との成す角度を推定する、請求項1または2に記載の異常検出装置。
  5.  前記検出手段は、
     前記第一中足骨の中心線と前記第一基節骨の中心線との成す角度をラベルとし、前記履物を履いた歩行において特徴的な前記歩行特徴量を入力データとする教師データを用いて機械学習させたモデルと、前記抽出手段によって抽出された前記歩行特徴量とを用いて、前記第一中足骨の中心線と前記第一基節骨の中心線との成す角度を推定する、請求項4に記載の異常検出装置。
  6.  前記抽出手段は、
     前記履物を履いて歩行する前記歩行者の横方向の軸回りの角速度の時系列データから得られた歩行波形データのうち、遊脚中期および立脚初期のうち少なくともいずれかの波形に含まれる前記歩行特徴量、
     重力方向の加速度の時系列データから得られた前記歩行波形データのうち、前記遊脚中期および前記立脚初期のうち少なくともいずれかの波形に含まれる前記歩行特徴量、および、
     前記歩行者の進行方向の加速度の時系列データから得られた前記歩行波形データのうち、遊脚初期および前記立脚初期のうち少なくともいずれかの波形に含まれる前記歩行特徴量を抽出する、請求項1乃至5のいずれか一項に記載の異常検出装置。
  7.  前記検出手段は、
     前記履物を履いて歩行する歩行者の足の異常の進行状態に応じた配信情報を出力する、請求項1乃至6のいずれか一項に記載の異常検出装置。
  8.  請求項1乃至7のいずれか一項に記載の異常検出装置と、
     前記履物に設置され、空間加速度および空間角速度を計測し、計測した前記空間加速度および前記空間角速度に基づいて前記センサデータを生成し、生成した前記センサデータを前記異常検出装置に送信するデータ取得装置と、を備える判定システム。
  9.  コンピュータが、
     履物に設置されたセンサからセンサデータを取得し、
     前記センサデータを用いて、前記履物を履いた歩行者の歩行において特徴的な歩行特徴量を抽出し、
     抽出された前記歩行特徴量に基づいて、前記履物を履いて歩行する歩行者の足の異常を検出する、推定方法。
  10.  履物に設置されたセンサからセンサデータを取得する処理と、
     前記センサデータを用いて、前記履物を履いた歩行者の歩行において特徴的な歩行特徴量を抽出する処理と、
     抽出された前記歩行特徴量に基づいて、前記履物を履いて歩行する歩行者の足の異常を検出する処理と、をコンピュータに実行させるプログラムを記録させた非一過性のプログラム記録媒体。
PCT/JP2020/000698 2020-01-10 2020-01-10 異常検出装置、判定システム、異常検出方法、およびプログラム記録媒体 WO2021140658A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2021569700A JP7327516B2 (ja) 2020-01-10 2020-01-10 異常検出装置、判定システム、異常検出方法、およびプログラム
US17/790,228 US20230034341A1 (en) 2020-01-10 2020-01-10 Anomaly detection device, determination system, anomaly detection method, and program recording medium
PCT/JP2020/000698 WO2021140658A1 (ja) 2020-01-10 2020-01-10 異常検出装置、判定システム、異常検出方法、およびプログラム記録媒体
US18/538,109 US20240108245A1 (en) 2020-01-10 2023-12-13 Anomaly detection device, determination system, anomaly detection method, and program recording medium
US18/539,352 US20240108246A1 (en) 2020-01-10 2023-12-14 Anomaly detection device, determination system, anomaly detection method, and program recording medium
US18/541,036 US20240115160A1 (en) 2020-01-10 2023-12-15 Anomaly detection device, determination system, anomaly detection method, and program recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/000698 WO2021140658A1 (ja) 2020-01-10 2020-01-10 異常検出装置、判定システム、異常検出方法、およびプログラム記録媒体

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US17/790,228 A-371-Of-International US20230034341A1 (en) 2020-01-10 2020-01-10 Anomaly detection device, determination system, anomaly detection method, and program recording medium
US18/538,109 Continuation US20240108245A1 (en) 2020-01-10 2023-12-13 Anomaly detection device, determination system, anomaly detection method, and program recording medium
US18/539,352 Continuation US20240108246A1 (en) 2020-01-10 2023-12-14 Anomaly detection device, determination system, anomaly detection method, and program recording medium
US18/541,036 Continuation US20240115160A1 (en) 2020-01-10 2023-12-15 Anomaly detection device, determination system, anomaly detection method, and program recording medium

Publications (1)

Publication Number Publication Date
WO2021140658A1 true WO2021140658A1 (ja) 2021-07-15

Family

ID=76787801

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/000698 WO2021140658A1 (ja) 2020-01-10 2020-01-10 異常検出装置、判定システム、異常検出方法、およびプログラム記録媒体

Country Status (3)

Country Link
US (4) US20230034341A1 (ja)
JP (1) JP7327516B2 (ja)
WO (1) WO2021140658A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023047558A1 (ja) * 2021-09-27 2023-03-30 日本電気株式会社 推定装置、情報提示システム、推定方法、および記録媒体
WO2023062666A1 (ja) * 2021-10-11 2023-04-20 日本電気株式会社 歩容計測装置、歩容計測システム、歩容計測方法、および記録媒体
WO2023105740A1 (ja) * 2021-12-10 2023-06-15 日本電気株式会社 特徴量データ生成装置、歩容計測装置、身体状態推定システム、特徴量データ生成方法、および記録媒体
WO2023127009A1 (ja) * 2021-12-27 2023-07-06 日本電気株式会社 下肢筋力推定装置、下肢筋力推定システム、下肢筋力推定方法、および記録媒体
WO2023127015A1 (ja) * 2021-12-27 2023-07-06 日本電気株式会社 筋力評価装置、筋力評価システム、筋力評価方法、および記録媒体
WO2023127007A1 (ja) * 2021-12-27 2023-07-06 日本電気株式会社 筋力指標推定装置、筋力指標推定システム、筋力指標推定方法、および記録媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021252621A1 (en) * 2020-06-10 2021-12-16 Pmotion, Inc. Enhanced goniometer

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009254811A (ja) * 2008-03-25 2009-11-05 Comfort Lab Inc 靴またはインソールのフィッティング・ナビゲーション・システム
JP2013183809A (ja) * 2012-03-06 2013-09-19 Terumo Corp 足底圧計測装置及びその処理方法
US20150100105A1 (en) * 2013-10-03 2015-04-09 Farsad Kiani Sensor unit for a functional electrical stimulation (fes) orthotic system
WO2018164157A1 (ja) * 2017-03-08 2018-09-13 国立大学法人お茶の水女子大学 歩行・足部評価方法、歩行・足部評価プログラムおよび歩行・足部評価装置
JP2019150229A (ja) * 2018-03-01 2019-09-12 Macrobiosis株式会社 足部解析装置及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009254811A (ja) * 2008-03-25 2009-11-05 Comfort Lab Inc 靴またはインソールのフィッティング・ナビゲーション・システム
JP2013183809A (ja) * 2012-03-06 2013-09-19 Terumo Corp 足底圧計測装置及びその処理方法
US20150100105A1 (en) * 2013-10-03 2015-04-09 Farsad Kiani Sensor unit for a functional electrical stimulation (fes) orthotic system
WO2018164157A1 (ja) * 2017-03-08 2018-09-13 国立大学法人お茶の水女子大学 歩行・足部評価方法、歩行・足部評価プログラムおよび歩行・足部評価装置
JP2019150229A (ja) * 2018-03-01 2019-09-12 Macrobiosis株式会社 足部解析装置及び方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023047558A1 (ja) * 2021-09-27 2023-03-30 日本電気株式会社 推定装置、情報提示システム、推定方法、および記録媒体
WO2023062666A1 (ja) * 2021-10-11 2023-04-20 日本電気株式会社 歩容計測装置、歩容計測システム、歩容計測方法、および記録媒体
WO2023105740A1 (ja) * 2021-12-10 2023-06-15 日本電気株式会社 特徴量データ生成装置、歩容計測装置、身体状態推定システム、特徴量データ生成方法、および記録媒体
WO2023127009A1 (ja) * 2021-12-27 2023-07-06 日本電気株式会社 下肢筋力推定装置、下肢筋力推定システム、下肢筋力推定方法、および記録媒体
WO2023127015A1 (ja) * 2021-12-27 2023-07-06 日本電気株式会社 筋力評価装置、筋力評価システム、筋力評価方法、および記録媒体
WO2023127007A1 (ja) * 2021-12-27 2023-07-06 日本電気株式会社 筋力指標推定装置、筋力指標推定システム、筋力指標推定方法、および記録媒体

Also Published As

Publication number Publication date
US20240108245A1 (en) 2024-04-04
JPWO2021140658A1 (ja) 2021-07-15
US20240108246A1 (en) 2024-04-04
JP7327516B2 (ja) 2023-08-16
US20240115160A1 (en) 2024-04-11
US20230034341A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
WO2021140658A1 (ja) 異常検出装置、判定システム、異常検出方法、およびプログラム記録媒体
WO2021084614A1 (ja) 歩容計測システム、歩容計測方法、およびプログラム記録媒体
JP7405153B2 (ja) 検出装置、検出システム、検出方法、およびプログラム
US20240148276A1 (en) Estimation device, estimation method, and program recording medium
US20240138757A1 (en) Pelvic inclination estimation device, estimation system, pelvic inclination estimation method, and recording medium
WO2023105740A1 (ja) 特徴量データ生成装置、歩容計測装置、身体状態推定システム、特徴量データ生成方法、および記録媒体
US20240115163A1 (en) Calculation device, calculation method, and program recording medium
US20240138713A1 (en) Harmonic index estimation device, estimation system, harmonic index estimation method, and recording medium
JP7459965B2 (ja) 判別装置、判別システム、判別方法、およびプログラム
JP7218820B2 (ja) 推定装置、推定システム、推定方法、およびプログラム
US20230397840A1 (en) Detection device, detection system, detection method, and program recording medium
WO2022038663A1 (ja) 検出装置、検出システム、検出方法、およびプログラム記録媒体
WO2022201338A1 (ja) 特徴量生成装置、歩容計測システム、特徴量生成方法、および記録媒体
US20230397839A1 (en) Waist swinging estimation device, estimation system, waist swinging estimation method, and recording medium
US20240188851A1 (en) Waist swinging estimation device, estimation system, waist swinging estimation method, and recording medium
WO2023170948A1 (ja) 歩容計測装置、計測装置、歩容計測システム、歩容計測方法、および記録媒体
WO2023157161A1 (ja) 検出装置、検出システム、歩容計測システム、検出方法、および記録媒体
US20240161921A1 (en) Biometric information processing device, information processing system, biometric information processing method, and recording medium
WO2022244222A1 (ja) 推定装置、推定システム、推定方法、および記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20911920

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021569700

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20911920

Country of ref document: EP

Kind code of ref document: A1