WO2022018837A1 - 識別装置、識別システム、識別方法、およびプログラム記録媒体 - Google Patents

識別装置、識別システム、識別方法、およびプログラム記録媒体 Download PDF

Info

Publication number
WO2022018837A1
WO2022018837A1 PCT/JP2020/028346 JP2020028346W WO2022018837A1 WO 2022018837 A1 WO2022018837 A1 WO 2022018837A1 JP 2020028346 W JP2020028346 W JP 2020028346W WO 2022018837 A1 WO2022018837 A1 WO 2022018837A1
Authority
WO
WIPO (PCT)
Prior art keywords
waveform
walking
normalized
identification
time
Prior art date
Application number
PCT/JP2020/028346
Other languages
English (en)
French (fr)
Inventor
晨暉 黄
謙一郎 福司
シンイ オウ
史行 二瓶
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US18/015,876 priority Critical patent/US20230259595A1/en
Priority to JP2022538537A priority patent/JPWO2022018837A5/ja
Priority to PCT/JP2020/028346 priority patent/WO2022018837A1/ja
Publication of WO2022018837A1 publication Critical patent/WO2022018837A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6804—Garments; Clothes
    • A61B5/6807—Footwear
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7242—Details of waveform analysis using integration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Definitions

  • This disclosure relates to an identification device, etc. that identifies an individual based on gait.
  • a device has been developed that analyzes the user's gait by mounting a load measuring device and an inertial measuring device on footwear such as shoes. If an individual can be identified based on gait, personal authentication can be performed without using hardware such as fingerprint authentication.
  • Patent Document 1 discloses a personal authentication system that determines whether a person to be authenticated is a specific person based on the load on the sole of the person's foot.
  • the system of Patent Document 1 generates load information indicating the temporal transition of the load applied to the sole of the foot by walking from the load of the sole of the person.
  • the system of Patent Document 1 determines whether the authentication target person is a specific person based on the load information of the authentication target person and the determination information stored in advance.
  • the purpose of this disclosure is to provide an identification device or the like that can identify an individual based on gait regardless of the type of footwear.
  • the identification device of one aspect of the present disclosure includes a detection unit that detects a walking event from a user's walking waveform, a waveform processing unit that normalizes the walking waveform based on the detected walking event, and generates a normalized waveform. It is provided with an identification unit that identifies a user based on a waveform.
  • a computer detects a walking event from the walking waveform of the user, normalizes the walking waveform based on the detected walking event, generates a normalized waveform, and obtains the normalized waveform. Identify the user based on.
  • the program of the present disclosure detects a walking event from the walking waveform of the user, normalizes the walking waveform based on the detected walking event to generate a normalized waveform, and uses the normalized waveform to generate a normalized waveform. Have the computer perform the identification process.
  • an identification device or the like that can identify an individual based on gait regardless of the type of footwear.
  • EER EqualErrorRate
  • the identification system of the present embodiment measures a feature (also referred to as a gait) included in a user's walking pattern, and analyzes the measured gait to perform individual identification.
  • a feature also referred to as a gait
  • the “user” means a person to be identified by the identification system of the present embodiment.
  • FIG. 1 is a conceptual diagram for explaining the overall configuration of the identification system of the present embodiment.
  • the identification system of the present embodiment includes a data acquisition device 11, a mobile terminal 12, and an identification device 13.
  • the data acquisition device 11 is installed on footwear such as shoes 100.
  • the data acquisition device 11 includes an acceleration sensor and an angular velocity sensor.
  • the data acquisition device 11 measures physical quantities such as acceleration and angular velocity acquired by the acceleration sensor and the angular velocity sensor as physical quantities related to the movement of the user's foot wearing shoes such as shoes 100.
  • the physical quantity related to the movement of the foot measured by the data acquisition device 11 includes not only the acceleration and the angular velocity but also the velocity and the angle calculated by integrating the acceleration and the angular velocity.
  • the data acquisition device 11 converts the measured physical quantity into digital data (also referred to as sensor data).
  • the data acquisition device 11 transmits the converted sensor data to the mobile terminal 12.
  • the data acquisition device 11 transmits sensor data to the identification device 13 via the mobile terminal 12.
  • the data acquisition device 11 is realized by, for example, an inertial measurement unit including an acceleration sensor and an angular velocity sensor.
  • An IMU Inertial Measurement Unit
  • the IMU includes a 3-axis accelerometer and a 3-axis angular velocity sensor.
  • examples of the inertial measurement unit include VG (Vertical Gyro), AHRS (Attitude Heading), and GPS / INS (Global Positioning System / Inertial Navigation System).
  • FIG. 2 is a conceptual diagram showing an example of installing the data acquisition device 11 in the shoe 100.
  • the data acquisition device 11 is installed at a position corresponding to the back side of the arch of the foot.
  • the data acquisition device 11 is installed in an insole inserted into the shoe 100.
  • the data acquisition device 11 is installed on the bottom surface of the shoe 100.
  • the data acquisition device 11 is embedded in the main body of the shoe 100.
  • the data acquisition device 11 may or may not be detachable from the shoe 100.
  • the data acquisition device 11 may be installed at a position other than the back side of the arch as long as it can acquire sensor data related to the movement of the foot.
  • the data acquisition device 11 may be installed on socks worn by the user or decorative items such as anklets worn by the user. Further, the data acquisition device 11 may be directly attached to the foot or embedded in the foot. In FIG. 2, an example in which the data acquisition device 11 is installed on the shoe 100 on the right foot side is shown, but the data acquisition device 11 may be installed on the shoes 100 for both feet. If the data acquisition device 11 is installed on the shoes 100 for both feet, the user can be identified based on the movements of the feet for both feet.
  • FIG. 3 shows the local coordinate system (x-axis, y-axis, z-axis) set in the data acquisition device 11 and the world set with respect to the ground when the data acquisition device 11 is installed on the back side of the foot arch.
  • It is a conceptual diagram for demonstrating a coordinate system (X-axis, Y-axis, Z-axis).
  • the world coordinate system X-axis, Y-axis, Z-axis
  • the user's lateral direction is the X-axis direction (rightward is positive)
  • the user's front direction (traveling direction) is the Y-axis direction (traveling direction).
  • the forward direction is set to positive
  • the gravity direction is set to the Z-axis direction (vertically upward is positive).
  • a local coordinate system including the x-direction, the y-direction, and the z-direction with respect to the data acquisition device 11 is set.
  • rotation with the x-axis as the rotation axis is defined as pitch
  • rotation with the y-axis as the rotation axis is defined as roll
  • rotation with the z-axis as the rotation axis is defined as yaw.
  • the mobile terminal 12 is a communication device that can be carried by the user.
  • the mobile terminal 12 is a portable communication device having a communication function such as a smartphone, a smart watch, or a mobile phone.
  • the mobile terminal 12 receives sensor data regarding the movement of the user's foot from the data acquisition device 11.
  • the mobile terminal 12 transmits the received sensor data to a server or the like on which the identification device 13 is mounted.
  • the function of the identification device 13 may be realized by a program or the like installed in the mobile terminal 12. In that case, the mobile terminal 12 processes the received sensor data by a program or the like installed in the mobile terminal 12.
  • the identification device 13 is mounted on a server or the like (not shown).
  • the identification device 13 may be realized by an application server.
  • the identification device 13 may be realized by a program or the like installed in the mobile terminal 12.
  • the identification device 13 receives sensor data regarding the movement of the user's foot from the mobile terminal 12.
  • the identification device 13 detects a predetermined walking event from a waveform (also referred to as a walking waveform) based on the time-series data of the received sensor data.
  • the identification device 13 normalizes the walking waveform based on the walking event detected from the walking waveform. For example, the identification device 13 cuts out a walking waveform for one walking cycle based on the detected walking event. The identification device 13 divides the cut out walking waveform based on the walking event. The identification device 13 normalizes each divided walking waveform (also referred to as a divided waveform). The identification device 13 integrates the normalized divided waveforms to generate a walking waveform (also referred to as a normalized waveform) having a normalized one walking cycle.
  • the identification device 13 identifies the user based on the normalized waveform. For example, the identification device 13 identifies a user by using a trained model in which a feature amount extracted from a normalized waveform for each user is trained. The identification device 13 uses a trained model in which the features extracted from the normalized waveform are trained. The trained model may be generated at the time of factory shipment of the product, at the time of calibration before the user uses the identification device 13, and the like.
  • FIG. 4 is a block diagram showing an example of the detailed configuration of the data acquisition device 11.
  • the data acquisition device 11 includes an acceleration sensor 111, an angular velocity sensor 112, a control unit 113, and a data transmission unit 115. Further, the data acquisition device 11 includes a power supply (not shown).
  • the acceleration sensor 111, the angular velocity sensor 112, the control unit 113, and the data transmission unit 115 will be described as the operating subject, but the data acquisition device 11 may be regarded as the operating subject.
  • the acceleration sensor 111 is a sensor that measures acceleration in the three axial directions.
  • the acceleration sensor 111 outputs the measured acceleration to the control unit 113.
  • a piezoelectric type sensor, a piezo resistance type sensor, a capacitance type sensor, or the like can be used as the acceleration sensor 111.
  • the sensor used for the acceleration sensor 111 is not limited to the measurement method as long as it can measure the acceleration.
  • the angular velocity sensor 112 is a sensor that measures the angular velocity in the three axial directions.
  • the angular velocity sensor 112 outputs the measured angular velocity to the control unit 113.
  • a vibration type sensor, a capacitance type sensor, or the like can be used as the angular velocity sensor 112.
  • the sensor used for the angular velocity sensor 112 is not limited to the measurement method as long as it can measure the angular velocity.
  • the control unit 113 acquires each of the acceleration and the angular velocity in the triaxial direction from each of the acceleration sensor 111 and the angular velocity sensor 112.
  • the control unit 113 converts the acquired acceleration and angular velocity into digital data, and outputs the converted digital data (also referred to as sensor data) to the data transmission unit 115.
  • the sensor data includes acceleration data obtained by converting the acceleration of analog data into digital data (including an acceleration vector in the three-axis direction) and angular velocity data obtained by converting the angular velocity of analog data into digital data (including an angular velocity vector in the three-axis direction). ) And at least are included.
  • the acceleration data and the angular velocity data are associated with the acquisition time of those data.
  • control unit 113 may be configured to output sensor data obtained by adding corrections such as mounting error, temperature correction, and linearity correction to the acquired acceleration data and angular velocity data. Further, the control unit 113 may generate the angle data in the triaxial direction by using the acquired acceleration data and the angular velocity data.
  • control unit 113 is a microcomputer or a microcontroller that performs overall control and data processing of the data acquisition device 11.
  • the control unit 113 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, and the like.
  • the control unit 113 controls the acceleration sensor 111 and the angular velocity sensor 112 to measure the angular velocity and the acceleration.
  • the control unit 113 AD-converts (Analog-to-Digital Conversion) physical quantities (analog data) such as measured angular velocity and acceleration, and stores the converted digital data in a flash memory.
  • the physical quantity (analog data) measured by the acceleration sensor 111 and the angular velocity sensor 112 may be converted into digital data by each of the acceleration sensor 111 and the angular velocity sensor 112.
  • the digital data stored in the flash memory is output to the data transmission unit 115 at a predetermined timing.
  • the data transmission unit 115 acquires sensor data from the control unit 113.
  • the data transmission unit 115 transmits the acquired sensor data to the mobile terminal 12.
  • the data transmission unit 115 may transmit the sensor data to the mobile terminal 12 via a wire such as a cable, or may transmit the sensor data to the mobile terminal 12 via wireless communication.
  • the data transmission unit 115 transmits sensor data to the mobile terminal 12 via a wireless communication function (not shown) conforming to standards such as Bluetooth (registered trademark) and WiFi (registered trademark).
  • the communication function of the data transmission unit 115 may conform to a standard other than Bluetooth (registered trademark) or WiFi (registered trademark).
  • FIG. 5 is a block diagram showing an example of the detailed configuration of the identification device 13.
  • the identification device 13 includes a detection unit 131, a waveform processing unit 132, and an identification unit 133.
  • the detection unit 131 acquires the sensor data acquired by the data acquisition device 11 from the mobile terminal 12.
  • the detection unit 131 converts the coordinate system of the acquired sensor data from the local coordinate system to the world coordinate system.
  • the local coordinate system (x-axis, y-axis, z-axis) and the world coordinate system (X-axis, Y-axis, Z-axis) match. Since the spatial posture of the data acquisition device 11 changes while the user is walking, the local coordinate system (x-axis, y-axis, z-axis) and the world coordinate system (X-axis, Y-axis, Z-axis) are changed. It does not match.
  • the detection unit 131 transfers the sensor data acquired by the data acquisition device 11 from the local coordinate system (x-axis, y-axis, z-axis) of the data acquisition device 11 to the world coordinate system (X-axis, Y-axis, Z-axis). ).
  • the detection unit 131 generates a walking waveform using the sensor data converted into the world coordinate system. For example, the detection unit 131 generates a walking waveform with respect to acceleration, angular velocity, and angle in the triaxial direction. For example, the detection unit 131 uses acceleration and angular velocity to generate a walking waveform of the angle of the sole of the foot (also referred to as the sole angle) with respect to the ground.
  • FIG. 6 is a conceptual diagram for explaining the sole angle calculated by the detection unit 131.
  • the sole angle is the angle of the sole with respect to the ground (XY plane), and is also called a posture angle.
  • the positive / negative of the sole angle is defined as negative when the toe is located above the heel (dorsiflexion) and positive when the toe is below the heel (plantar flexion). ..
  • the detection unit 131 calculates the sole angle using the magnitude of acceleration in each of the X-axis and Y-axis directions. Further, for example, the detection unit 131 may calculate the angle around the axes by integrating the values of the angular velocities with each of the X-axis, the Y-axis, and the Z-axis as the central axis. Acceleration data and angular velocity data contain high-frequency and low-frequency noise that changes in various directions. Therefore, the detection unit 131 may apply a low-pass filter and a high-pass filter to the acceleration data and the angular velocity data to remove the high frequency component and the low frequency component.
  • the detection unit 131 may apply a complementary filter to each of the acceleration data and the angular velocity data to obtain a weighted average.
  • the accuracy of the sensor data can be improved by applying a complementary filter and taking a weighted average.
  • FIG. 7 is a conceptual diagram for explaining a general walking cycle.
  • FIG. 7 corresponds to one walking cycle of the right foot.
  • the horizontal axis of FIG. 7 is the normalized time (100%) with one walking cycle of the right foot starting from the time when the heel of the right foot lands on the ground and then ending at the time when the heel of the right foot lands on the ground. Also called normalization time).
  • one walking cycle of one foot is roughly divided into a stance phase in which at least a part of the sole of the foot is in contact with the ground and a swing phase in which the sole of the foot is away from the ground.
  • the stance phase is further subdivided into an initial stance T1, a middle stance T2, a final stance T3, and an early swing T4.
  • the swing phase is further subdivided into an early swing T5, a middle swing T6, and a final swing T7.
  • (a) represents a situation in which the heel of the right foot touches the ground (heel touching).
  • (B) represents a situation in which the toe of the left foot is separated from the ground while the entire sole of the right foot is in contact with the ground (opposite toe separation).
  • (C) represents a situation in which the heel of the right foot is lifted while the entire sole of the right foot is in contact with the ground (heel lift).
  • (D) is a situation where the heel of the left foot touches the ground (opposite heel touches the ground).
  • (E) represents a situation in which the toe of the right foot is separated from the ground while the entire sole of the left foot is in contact with the ground (toe separation).
  • (F) represents a situation in which the left foot and the right foot intersect with each other while the entire sole of the left foot is in contact with the ground (foot crossing).
  • (G) represents a situation in which the heel of the right foot touches the ground (heel touching).
  • FIG. 8 is a graph for explaining a walking waveform (sole angle) for one walking cycle.
  • the time t d at which the walking waveform becomes the minimum corresponds to the timing of the start of the stance phase.
  • the time t b at which the walking waveform becomes maximum corresponds to the timing of the start of the swing phase.
  • the time at the midpoint between the stance phase start time t d and the swing phase start time t b corresponds to the central timing of the stance phase.
  • the time of the timing at the center of the stance phase is set to the time of the starting point of one walking cycle (also referred to as the starting point time t m).
  • the time at the center of the stance phase next to the timing at the start time t m is set to the time at the end point of one walking cycle (also referred to as end point time t m + 1).
  • FIG. 9 is a conceptual diagram for explaining the relationship between the general walking cycle and the walking waveform of the sole angle in one actually measured walking cycle.
  • the upper schematic diagram shows one walking cycle starting from the start time t m of the timing at the center of the stance phase and ending at the end time t m + 1 of the timing at the center of the next stance phase.
  • the graph in the middle row is the walking waveform for one walking cycle of the measured sole angle.
  • the horizontal axis of the middle graph corresponds to the time when the sensor data for calculating the sole angle was actually measured.
  • the timing at which the extreme value indicating the walking event appears is different from the walking cycle in the upper row.
  • the lower graph is a walking waveform (also called a normalized waveform) for one walking cycle of the sole angle after normalizing the timing at which the extreme value indicating the walking event appears.
  • the timing at which the extreme value indicating the walking event appears coincides with the walking cycle in the upper row.
  • the detection unit 131 has a time t d that becomes the minimum (first dorsiflexion peak) and a maximum (first plantar flexion peak) next to the first dorsiflexion peak from the walking waveform of the sole angle for one walking cycle. ), And the time t b is detected. Further, the detection unit 131 sets the time t d + 1 at which the maximum (second dorsiflexion peak) is reached next to the first plantar flexion peak from the walking waveform of the sole angle for the next walking cycle, and the second. The time t b + 1 , which is the maximum (second plantar flexion peak) next to the dorsiflexion peak, is detected.
  • Detector 131 the time of the midpoint of the time t d and the time t b, sets the start time t m one gait cycle. Further, the detection unit 131 sets the time at the midpoint between the time t d + 1 and the time t b + 1 to the end point time t m + 1 of one walking cycle.
  • the waveform processing unit 132 cuts out walking waveforms for one walking cycle from the start time t m to the end time t m + 1.
  • the waveform processing unit 132 normalizes the walking waveform of the sole angle in order to convert the time of the actually measured walking waveform into the walking cycle.
  • the waveform processing unit 132 normalizes the acceleration in the triaxial direction, the angular velocity, and the walking waveform of the angle in the same manner as the sole angle.
  • the waveform processing unit 132 starts from the time t m at the midpoint between the time t d of the first dorsiflexion peak and the time t b of the first plantar flexion peak, and sets the time t d + 1 of the second dorsiflexion peak.
  • the walking waveform data for one walking cycle ending at the midpoint time t m + 1 at the time t b + 1 of the second plantar flexion peak is cut out.
  • the waveform processing unit 132 uses the cut out walking waveform for one walking cycle as a section from the starting point time t m to the time t b , a section from the time t b to the time t d + 1 , and the time t d + 1.
  • the waveform in the section from the start time t m to the time t b is the first divided waveform
  • the waveform in the section from the time t b to the time t d + 1 is the second divided waveform
  • the waveform in the section up to 1 is called the third divided waveform.
  • the section from the starting point time t m to the time t b is 30% of the one walking cycle
  • the section from the time t b to the time t d + 1 is 40% of the one walking cycle, the time t d.
  • Each divided waveform is normalized so that the section from +1 to the end point time t m + 1 is 30% of one walking cycle.
  • the waveform processing unit 132 integrates the normalized divided waveforms and generates a walking waveform (also referred to as a normalized waveform) for one normalized walking cycle.
  • 30% of one walking cycle corresponds to the timing of toe takeoff in (e)
  • 70% of one walking cycle corresponds to the timing of heel contact in (a) and (g).
  • the identification unit 133 identifies the user based on the normalized waveform. For example, the identification unit 133 identifies the user based on at least one of the three-axis acceleration, the angular velocity, and the normalized waveform of the angle. For example, the identification unit 133 compares the normalized waveform measured in advance with the normalized waveform of the user, and identifies the user based on the degree of matching between them. For example, the identification unit 133 compares the feature amount extracted from the pre-measured normalized waveform with the feature amount extracted from the user's normalized waveform, and identifies the user based on the degree of matching between them. ..
  • the identification unit 133 inputs the feature amount extracted from the walking-based normalized waveform of the user to be identified into the trained model trained by the feature amount extracted from the normalized waveform for each user, and the feature amount thereof is input to the trained model. Identify the user according to the estimation result.
  • the identification unit 133 uses a trained model in which the features extracted from the normalized gait waveform are trained.
  • the trained model is a model trained by using the feature quantities extracted from the normalized waveforms of some physical quantities among the plurality of physical quantities acquired by the data acquisition device 11 for the user to be identified. ..
  • the trained model trains a predictor vector that combines feature quantities (also called predictors) extracted from a normalized waveform of physical quantities measured by a data acquisition device 11 installed in the footwear of the user to be identified. It is a model that was made to.
  • the trained model is a prediction that combines features (predictors) extracted from at least one of the normalized waveforms of acceleration in the triaxial direction, angular velocity in the triaxial direction, and sole angle in the triaxial direction. This is a model that trains child vectors.
  • FIG. 10 is a conceptual diagram showing an example in which the learning device 15 learns the predictor vector and the personal identification label.
  • the personal identification label is a label that identifies an individual such as a user ID, a name, and a nickname.
  • FIG. 11 is a conceptual diagram showing an example in which feature quantities 1 to n extracted from normalized waveforms of a plurality of physical quantities are input to a trained model 150 trained by the learning device 15 and a personal identification label is output. There is (n is a natural number).
  • the learning device 15 performs learning using a predictor vector that combines feature quantities (predictors) extracted from normalized waveforms based on a plurality of physical quantities and a personal identification label for personal identification as training data.
  • the learning device 15 generates a trained model 150 that outputs a personal identification label when inputting a feature amount extracted from a normalized waveform based on a measured walking waveform by learning.
  • the learning device 15 uses a feature quantity extracted from the lateral acceleration, the adduction / abduction angle, and the vertical acceleration in the swing phase as an explanatory variable and a user's personal identification label as a response variable among a plurality of physical quantities.
  • the trained model 150 is generated by supervised learning.
  • the feature quantities extracted from the lateral acceleration, adduction / abduction angle, and vertical acceleration in the swing phase are the maximum values of those physical quantities in the swing phase.
  • the learning device 15 is not limited to the combination of physical quantities mentioned here, and may learn a predictor vector that combines physical quantities that can be easily identified by an individual based on gait.
  • FIG. 12 is a flowchart for explaining the identification process of the identification device 13.
  • the identification device 13 will be described as the operating subject.
  • the identification device 13 acquires sensor data regarding the movement of the user's foot (step S111).
  • the sensor data relating to the movement of the foot relates to physical quantities such as acceleration, angular velocity, and angle in the three axial directions.
  • the identification device 13 converts the coordinate system of the sensor data from the local coordinate system of the data acquisition device 11 to the world coordinate system (step S112).
  • the identification device 13 generates time-series data (walking waveform) of the sensor data converted into the world coordinate system (step S113).
  • the identification device 13 executes a normalization process on the generated walking waveform (step S114). The details of the normalization process will be described later.
  • the identification device 13 extracts a feature amount (predictor) from the normalized waveform (step S115).
  • the identification device 13 inputs the extracted feature amount (predictor) into the trained model and identifies the user (step S116).
  • FIG. 13 is a flowchart for explaining the normalization process.
  • the normalization process of FIG. 13 is a detail of the normalization process of step S114 of the flowchart of FIG.
  • the identification device 13 will be described as the operating subject.
  • the identification device 13 first, the identification device 13 generates time-series data (walking waveform) of the sole angle based on the walking waveform (step S121).
  • the identification device 13 has a minimum time (time t d , time t d + 1 ) and a maximum time (time t b , time t b +) in the walking waveform of the sole angle for two walking cycles. 1 ) is detected (step S122).
  • the identification unit 13 calculates the time t m at the midpoint of the time t d and the time t b, the time t m + 1 at time t d + 1 and time t b + 1 of the midpoint (step S123 ).
  • the identification device 13 cuts out the waveform from the time t m to the time t m + 1 as a walking waveform for one walking cycle (step S124).
  • the identification device 13 has a section from time t m to time t b, a section from time t b to time t d + 1, and a section from time t d + 1 to time t m + 1 for one walking cycle.
  • the walking waveform is divided (step S125).
  • the identification device 13 normalizes each divided waveform (step S126).
  • the identification device 13 integrates the normalized divided waveforms and generates a normalized waveform of the sole angle (step S127).
  • the identification device 13 normalizes the walking waveforms related to other physical quantities according to the normalized waveform of the sole angle (step S128).
  • Other walking waveforms are walking waveforms such as acceleration, angular velocity, and angle in the triaxial direction.
  • a trained model was generated using the feature quantities extracted from the walking waveforms acquired when 76 subjects walked with shoes A as training data. Further, in this verification example, the feature amount extracted from the walking waveform acquired when 51 of these subjects walked while wearing shoes B was used as verification data. In the example using the normalized waveform, the feature amount extracted from the normalized waveform based on the walking waveform when the subject walks with shoes A is used as learning data, and when the subject walks with shoes B on. The feature amount extracted from the normalized waveform based on the walking waveform was used as the verification data.
  • the feature amount extracted from the walking waveform (non-normalized waveform) when the subject walked in shoes A was used as learning data, and the subject walked in shoes B.
  • the feature amount extracted from the walking waveform (non-normalized waveform) was used as the verification data.
  • FIG. 14 is a graph for explaining the equivalent error rate (EER: EqualErrorRate) used in this verification example.
  • EER is a measure of identification accuracy. The smaller the EER value, the higher the identification accuracy.
  • the solid line curve in FIG. 14 is a ROC (Receiver Operating Characteristic) curve.
  • the false positive rate on the horizontal axis is x
  • the true positive rate on the vertical axis is y.
  • FIG. 15 is an example of a confusion matrix for explaining the overall accuracy (OA) used in this verification example.
  • OA corresponds to the value obtained by dividing the number of correct answers in identification by the number of data. The larger the OA value, the higher the identification accuracy.
  • the average accuracy (AA: Average Accuracy) obtained by adding the accuracy of each category and dividing by the number of categories may be used.
  • the confusion matrix of FIG. 15 is an example of classifying subjects into 1 to 10 classes.
  • the "predicted class” is a class of subjects determined by the identification system of the present embodiment.
  • a "true class” is the actual class of the subject.
  • the numbers in each cell are omitted.
  • the confusion matrix of FIG. 15 the hatched cells are correct answers, and the other cells are incorrect answers.
  • the value obtained by dividing the total number of hatched cells (the number of correct answers) by the number of data corresponds to OA.
  • the variable (feature amount) of the predictor of the predictor vector is the value of the intensity of the walking waveform regarding the acceleration, the angular velocity, and the foot angle in the triaxial direction.
  • the dimension of the predictor vector corresponds to the number of predictor vectors obtained by decomposing the gait waveform.
  • a 100-dimensional predictor vector can be obtained from one walking waveform, so that walking related to acceleration, angular velocity, and sole angle in three axes can be obtained.
  • 900 predictors can be obtained from the waveform.
  • a 100-dimensional predictor vector can be obtained from one walking waveform, so that walking related to acceleration, angular velocity, and sole angle in three axes can be obtained.
  • 450 predictors can be obtained from the waveform.
  • FIG. 16 shows a trained model learned using the feature amount extracted from the walking waveform of the subject walking wearing shoes A, and the feature amount extracted from the walking waveform of the subject walking wearing shoes B. It is a graph which shows the result of having verified about EER at the time of input.
  • the EER in the verification result using the feature amount extracted from the normalized waveform is shown by a solid line
  • the EER in the verification result using the feature amount extracted from the non-normalized waveform is shown by a broken line.
  • the EER was smaller when the normalized waveform was used than when the non-normalized waveform was used. That is, regarding EER, better results were obtained by using the normalized waveform as in the present embodiment.
  • FIG. 17 shows a trained model learned using the feature amount extracted from the walking waveform of the subject walking wearing shoes A, and the feature amount extracted from the walking waveform of the subject walking wearing shoes B. It is a graph which shows the result of having verified about OA at the time of input.
  • the OA in the verification result using the feature amount extracted from the normalized waveform is shown by a solid line
  • the OA in the verification result using the feature amount extracted from the non-normalized waveform is shown by a broken line.
  • the OA was larger when the normalized waveform was used than when the non-normalized waveform was used. That is, regarding OA, better results were obtained by using the normalized waveform as in the present embodiment.
  • a predictor extracted from a walking waveform based on walking wearing shoes B is input to a trained model trained to learn a walking waveform based on walking wearing shoes A to identify a user. explained.
  • the EER decreased and the OA increased when the normalized waveform was used rather than when the non-normalized waveform was used. That is, according to the present embodiment, even if the shoes are different, it becomes easy to identify the individual based on the gait.
  • the identification system of the present embodiment includes a data acquisition device, a mobile terminal, and an identification device.
  • the identification device has a detection unit, a waveform processing unit, and an identification unit.
  • the detection unit detects a walking event from the walking waveform of the user.
  • the waveform processing unit normalizes the walking waveform based on the detected walking event and generates a normalized waveform.
  • the identification unit identifies the user based on the normalized waveform.
  • the waveform processing unit normalizes the walking waveform of the sole angle to generate a normalized waveform.
  • the waveform processing unit normalizes the walking waveforms of the acceleration in the triaxial direction, the angular velocity in the triaxial direction, and the angle in the triaxial direction according to the normalized waveform of the sole angle generated in the triaxial direction. Acceleration, 3-axis angular velocity, and 3-axis angle normalized waveforms are generated.
  • the detection unit obtains the first dorsiflexion peak, the first plantar flexion peak, the second dorsiflexion peak, and the second plantar flexion peak from the walking waveforms for two walking cycles of the sole angle. Detect as a walking event.
  • the waveform processing unit starts from the starting point time of the midpoint between the first time of the first dorsiflexion peak and the second time of the first plantar flexion peak, and the third time of the second dorsiflexion peak and the second time of the second plantar flexion peak.
  • the walking waveform for one walking cycle up to the end time of the midpoint with 4 time is cut out.
  • the waveform processing unit uses the cut out walking waveform for one walking cycle as the first divided waveform from the starting time to the second time, the second divided waveform from the second time to the third time, and the third divided waveform. It is divided into the third divided waveform up to the end point time.
  • the waveform processing unit normalizes each of the first divided waveform, the second divided waveform, and the third divided waveform.
  • the waveform processing unit generates a normalized waveform of the sole angle by integrating the normalized first divided waveform, the second divided waveform, and the third divided waveform. For example, in the waveform processing unit, the first divided waveform has a fraction of 30%, the second divided waveform has a fraction of 40%, and the third divided waveform has a fraction of 30% in one walking cycle. Therefore, each of the first divided waveform, the second divided waveform, and the third divided waveform is normalized.
  • the identification unit is a feature amount extracted from a normalized waveform of at least one of the acceleration in the triaxial direction, the angular velocity in the triaxial direction, and the angle in the triaxial direction of the user to be identified. Is entered in the trained model to identify the user to be identified.
  • the identification unit teaches a predictor vector consisting of a feature quantity extracted from a normalized waveform of at least one of acceleration, angular velocity, and angle in the triaxial direction of the user to be registered, and an identifier of the user to be registered. Use the trained model trained as data.
  • the individual can be identified based on the gait regardless of the type of footwear.
  • the identification system also referred to as an authentication system
  • This embodiment is different from the first embodiment in that authentication is performed using the identification result of the identification device and control is performed according to the authentication result.
  • the recognition system of the present embodiment measures a feature (also referred to as a gait) included in the walking pattern of the user, and analyzes the measured gait to perform individual identification. Then, the identified user is authenticated, and the controlled device is controlled according to the authentication result.
  • the “user” means a person to be authenticated by the authentication system of the present embodiment.
  • FIG. 18 is a conceptual diagram for explaining the overall configuration of the authentication system of the present embodiment.
  • the authentication system of this embodiment includes a data acquisition device 21 installed on footwear such as shoes 200, a mobile terminal 22 carried by a user, and an identification device 23.
  • FIG. 18 illustrates the database 24 and the controlled device 25 in addition to the authentication system of the present embodiment.
  • the identification device 23 is connected to the database 24 and the controlled device 25.
  • the authentication information of the user to be authenticated is registered in the database 24.
  • the control target device 25 is a device that receives control according to the authentication result.
  • the recognition system of the present embodiment may include the database 24 and the controlled device 25.
  • the data acquisition device 21 acquires sensor data related to the movement of the user's foot.
  • the data acquisition device 21 transmits the acquired sensor data to the identification device 23 via the mobile terminal 22.
  • the identification device 23 identifies the user based on the received sensor data.
  • the user identified by the identification device 23 is collated with the authentication information stored in the database 24, and receives some kind of authentication according to the collation result.
  • the identification device 23 controls the control target device 25 according to the authentication result.
  • Each of the data acquisition device 21 and the mobile terminal 22 has the same configuration as each of the data acquisition device 11 and the mobile terminal 12 of the identification system of the first embodiment. Therefore, in the following, the description of the data acquisition device 21 and the mobile terminal 22 will be omitted, and the identification device 23 will be described.
  • FIG. 19 is a block diagram showing an example of the detailed configuration of the identification device 23.
  • the identification device 23 includes a detection unit 231, a waveform processing unit 232, an identification unit 233, an authentication unit 234, and a control unit 235.
  • the detection unit 231 acquires sensor data from the data acquisition device 21.
  • the detection unit 231 converts the coordinate system of the acquired sensor data from the local coordinate system to the world coordinate system.
  • the detection unit 231 generates a walking waveform using the sensor data converted into the world coordinate system.
  • the detection unit 231 generates a walking waveform regarding acceleration, angular velocity, and angle in the three axial directions.
  • the detection unit 231 generates a walking waveform of the sole angle using time-series data of acceleration and angular velocity.
  • the detection unit 231 sets the time t d at which the sole angle becomes the minimum (dorsiflexion peak) and the time at which the sole angle becomes the maximum (plantar flexion peak) next to the dorsiflexion peak. Detects t b. Further, the detection unit 231 detects the time t d + 1 of the dorsiflexion peak next to the plantar flexion peak and the time t b + 1 of the plantar flexion peak next to the dorsiflexion peak. The detection unit 231 sets the time at the midpoint between the time t d and the time t b as the starting time t m of one walking cycle. Further, the detection unit 231 sets the time at the midpoint between the time t d + 1 and the time t b + 1 to the end point time t m + 1 of one walking cycle.
  • the waveform processing unit 232 cuts out walking waveforms for one walking cycle starting from the time t m at the center of the stance phase. That is, the waveform processing unit 232 cuts out a walking waveform for one walking waveform starting from the time t m at the center of the stance phase and ending at the time t m + 1 at the center of the next stance phase.
  • the waveform processing unit 232 normalizes the walking waveform of the sole angle in order to convert the time of the actually measured walking waveform into the walking cycle.
  • the waveform processing unit 232 normalizes the acceleration in the triaxial direction, the angular velocity, and the walking waveform of the angle in the same manner as the sole angle.
  • the identification unit 233 identifies the user based on the normalized walking waveform (also referred to as the normalized waveform). For example, the identification unit 233 identifies the user based on at least one of the three-axis acceleration, the angular velocity, and the normalized waveform of the angle. For example, the identification unit 233 compares the normalized waveform measured in advance with the normalized waveform of the user, and identifies the user based on the degree of matching between them. For example, the identification unit 233 compares the feature amount extracted from the pre-measured normalized waveform with the feature amount extracted from the user's normalized waveform, and identifies the user based on the degree of matching between them. .. For example, the identification unit 233 inputs the feature amount extracted from the user's normalized waveform into the trained model trained by the feature amount extracted from the normalized waveform for each user, and the user according to the estimation result. To identify.
  • the normalized walking waveform also referred to as the normalized waveform.
  • the authentication unit 234 authenticates the user according to the identification result of the identification unit 233.
  • the authentication unit 234 verifies whether the user identified by the identification unit 233 is registered in the authentication information stored in the database 24.
  • the authentication unit 234 outputs a control instruction of the controlled target device 25 to the control unit 235.
  • the authentication unit 234 does not output the control instruction of the control target device 25 to the control unit 235.
  • the control unit 235 controls the controlled target device 25 in response to a control instruction from the authentication unit 234. When only authentication is performed, the control unit 235 may be omitted.
  • the control unit 235 unlocks the door auto-lock in response to the control instruction from the authentication unit 234.
  • the control unit 235 makes the computer accessible in response to a control instruction from the authentication unit 234.
  • the control unit 235 unlocks the door of the automobile or starts the engine of the automobile in response to a control instruction from the authentication unit 234. If the user identified by the identification unit 233 is not authenticated, the control unit 235 locks the door auto-lock, makes the computer inaccessible, and controls the automobile engine so that it does not start. May be good.
  • the control example of the controlled object device 25 given here is an example, and does not limit the control in the present embodiment.
  • FIG. 20 is a flowchart for explaining the authentication process.
  • the authentication process of FIG. 20 is a process following step S116 of FIG.
  • the identification device 23 will be described as the operating subject.
  • the identification device 23 connects to the database 24 and collates the identified users (step S211).
  • the identification device 23 executes control of the controlled target device 25 according to the authentication result (step S213).
  • the identification device 23 does not control the control target device 25.
  • the identification device 23 may perform control to be executed when the authentication result is NG to the controlled target device 25.
  • FIG. 21 is a conceptual diagram for explaining Application Example 1 in which the authentication system of the present embodiment is applied to the auto lock of the automatic door 211.
  • FIG. 21 shows a state in which a user who carries a mobile terminal 22 and walks wearing shoes 200 on which a data acquisition device 21 is mounted approaches an automatic door 211.
  • the mobile terminal 22 does not need to be held by the user, and may be carried by the user.
  • a receiving device (not shown) for receiving sensor data transmitted from the data acquisition device 21 may be installed in the vicinity of the automatic door 211 without allowing the user to carry the mobile terminal 22.
  • FIG. 21 illustrates a camera 26 that photographs the vicinity of the automatic door 211.
  • the camera 26 has sensitivity in the visible region and the infrared region, and transmits the captured image to the identification device 23 and the like.
  • the automatic door 211 is equipped with a controlled object device 25 (not shown) that controls unlocking / locking of the automatic door 211. Further, it is assumed that the automatic door 211 is provided with an opening / closing mechanism (not shown) that controls opening / closing of the automatic door 211 in response to detection of a pedestrian when the automatic door 211 is unlocked.
  • the opening / closing mechanism of the automatic door 211 may be controlled by the controlled object device 25.
  • a range for user authentication (authentication area 221) is set in the vicinity of the automatic door 211.
  • the authentication area 221 may be set according to the positional relationship between the automatic door 211 and the mobile terminal 22 based on the position information obtained by GPS (Global Positioning System) or the like. Further, the authentication area 221 may be set based on an image taken by a camera 26 provided in the vicinity of the automatic door 211.
  • the identification device 23 When the user enters the authentication area 221, the identification device 23 generates a normalized waveform from the walking waveform of the sensor data received via the mobile terminal 22. The identification device 23 identifies the user using the generated normalized waveform. The identification device 23 connects to a database 24 (not shown) and collates the identified users. For example, when the user is authenticated, the identification device 23 controls the control target device 25. The control target device 25 unlocks the automatic door 211 according to the control of the identification device 23. For example, if the user is not authenticated, the identification device 23 may control the controlled device 25 and lock the automatic door 211.
  • This application example is suitable for situations where the number of users who can enter is restricted, such as housing such as condominiums and apartments, dedicated facilities such as hospitals and factories, public facilities such as schools, and important facilities.
  • this application example is suitable for a usage scene in which the user's footwear is frequently replaced because the user can be authenticated regardless of the type of footwear.
  • medical sites, factories, etc. it is common to change to various shoes and move over a wide area, so this application example is suitable.
  • this application example is introduced in a food processing factory, there is no need to enter a passcode or authenticate fingerprints or palm prints by touching the food, so sufficient security is obtained. , It becomes easier for workers to move.
  • this application example is introduced in the medical field, it will be easier for medical staff to move safely with sufficient security.
  • user authentication may be performed by combining authentication based on a user's face image included in an image taken by a camera 26 installed near the automatic door 211 and gait authentication by an identification device 23.
  • the shooting range by the camera 26 may be set to extend farther than the authentication area 221, and when the face authentication based on the face image is cleared, the gait authentication by the identification device 23 may be set. ..
  • the shooting range by the camera 26 may be set within the range of the authentication area 221, and when the gait authentication by the identification device 23 is cleared, the face authentication based on the face image may be set.
  • the automatic door 211 may be set to be unlocked when both the gait authentication by the identification device 23 and the face authentication based on the face image are cleared. If the gait authentication by the identification device 23 and the face authentication based on the face image taken by the camera 26 are combined, the security can be further improved.
  • FIG. 22 is a conceptual diagram for explaining Application Example 2 in which the authentication system of the present embodiment is applied to the key of the automobile 212.
  • FIG. 22 shows a state in which a user who carries a mobile terminal 22 and walks wearing shoes 200 on which a data acquisition device 21 is mounted approaches an automobile 212.
  • the mobile terminal 22 does not have to be held by the user, and may be carried by the user.
  • a receiving device (not shown) for receiving sensor data transmitted from the data acquisition device 21 may be installed in the automobile 212 without having the user carry the mobile terminal 22.
  • the automobile 212 is equipped with a controlled object device 25 (not shown) that controls unlocking / locking of the door of the automobile 212.
  • a range for user authentication (authentication area 222) is set around the automobile 212.
  • the authentication area 222 may be set according to the positional relationship between the automobile 212 and the mobile terminal 22 based on the position information obtained by GPS or the like. Further, the authentication area 222 may be set based on an image taken by a camera (not shown) provided in the automobile 212.
  • the identification device 23 When the user enters the authentication area 222, the identification device 23 generates a normalized waveform from the walking waveform of the sensor data received via the mobile terminal 22. The identification device 23 identifies the user using the generated normalized waveform. The identification device 23 connects to a database 24 (not shown) and collates the identified users. For example, when the user is authenticated, the identification device 23 controls the control target device 25. The controlled object device 25 unlocks the door of the automobile 212 according to the control of the identification device 23. For example, if the user is not authorized, the identification device 23 may control the controlled device 25 and lock the door of the automobile 212.
  • the road surface of the parking place of the automobile 212 is different.
  • the road surface of a parking place varies widely, such as asphalt, soil, and gravel.
  • the walking waveform of a person changes according to the road surface condition, but if the walking waveform is normalized, it is possible to cope with the change of the road surface condition to some extent.
  • the security can be further improved. For example, if only a gait-authenticated user can use the key to open and close the door and start the engine, the car 212 will be stolen or a person who does not have a driver's license will drive the car 212. Can be prevented. For example, it is assumed that the road surface condition of the place where the automobile 212 is parked is bad, the user cannot approach the automobile 212 in a normal walking state, and the gait authentication cannot be performed. In preparation for such a case, by inputting a predetermined passcode or the like into the mobile terminal 22, it is set so that the door of the automobile 212 can be opened and closed with only the key without gait authentication. May be good.
  • the identification system of the present embodiment includes a data acquisition device, a mobile terminal, and an identification device.
  • the identification device includes a detection unit, a waveform processing unit, an identification unit, an authentication unit, and a control unit.
  • the detection unit detects a walking event from the walking waveform of the user.
  • the waveform processing unit normalizes the walking waveform based on the detected walking event and generates a normalized waveform.
  • the identification unit identifies the user based on the normalized waveform.
  • the authentication unit accesses the database in which the authentication information is stored and authenticates the user identified by the identification device.
  • the control unit controls the controlled target device according to the authentication result by the authentication unit.
  • the influence of the footwear on the walking waveform can be reduced.
  • an individual can be identified based on gait regardless of the type of footwear.
  • the identified individual can be authenticated.
  • the identification device of the present embodiment has a simplified configuration of the identification device of the first to second embodiments.
  • FIG. 23 is a block diagram showing an example of the configuration of the identification device 33 of the present embodiment.
  • the identification device 33 includes a detection unit 331, a waveform processing unit 332, and an identification unit 333.
  • the detection unit 331 detects a walking event from the walking waveform of the user.
  • the waveform processing unit 332 normalizes the walking waveform based on the detected walking event and generates a normalized waveform.
  • the identification unit 333 identifies the user based on the normalized waveform.
  • an individual can be identified based on the gait regardless of the type of footwear.
  • the information processing device 90 in FIG. 24 is a configuration example for realizing the identification device of each embodiment, and does not limit the scope of the present invention.
  • the information processing device 90 includes a processor 91, a main storage device 92, an auxiliary storage device 93, an input / output interface 95, and a communication interface 96.
  • the interface is abbreviated as I / F (Interface).
  • the processor 91, the main storage device 92, the auxiliary storage device 93, the input / output interface 95, and the communication interface 96 are connected to each other via the bus 98 so as to be capable of data communication. Further, the processor 91, the main storage device 92, the auxiliary storage device 93, and the input / output interface 95 are connected to a network such as the Internet or an intranet via the communication interface 96.
  • the processor 91 expands the program stored in the auxiliary storage device 93 or the like to the main storage device 92, and executes the expanded program.
  • the software program installed in the information processing apparatus 90 may be used.
  • the processor 91 executes the process by the identification device according to the present embodiment.
  • the main storage device 92 has an area in which the program is expanded.
  • the main storage device 92 may be a volatile memory such as a DRAM (Dynamic Random Access Memory). Further, a non-volatile memory such as MRAM (Magnetoresistive Random Access Memory) may be configured / added as the main storage device 92.
  • DRAM Dynamic Random Access Memory
  • MRAM Magnetic Random Access Memory
  • the auxiliary storage device 93 stores various data.
  • the auxiliary storage device 93 is composed of a local disk such as a hard disk or a flash memory. It is also possible to store various data in the main storage device 92 and omit the auxiliary storage device 93.
  • the input / output interface 95 is an interface for connecting the information processing device 90 and peripheral devices.
  • the communication interface 96 is an interface for connecting to an external system or device through a network such as the Internet or an intranet based on a standard or a specification.
  • the input / output interface 95 and the communication interface 96 may be shared as an interface for connecting to an external device.
  • the information processing device 90 may be configured to connect an input device such as a keyboard, a mouse, or a touch panel, if necessary. These input devices are used to input information and settings. When the touch panel is used as an input device, the display screen of the display device may also serve as the interface of the input device. Data communication between the processor 91 and the input device may be mediated by the input / output interface 95.
  • the information processing apparatus 90 may be equipped with a display device for displaying information.
  • a display device it is preferable that the information processing device 90 is provided with a display control device (not shown) for controlling the display of the display device.
  • the display device may be connected to the information processing device 90 via the input / output interface 95.
  • the above is an example of the hardware configuration for enabling the identification device according to each embodiment of the present invention.
  • the hardware configuration of FIG. 24 is an example of the hardware configuration for executing the arithmetic processing of the identification device according to each embodiment, and does not limit the scope of the present invention.
  • a program for causing a computer to execute a process related to the identification device according to each embodiment is also included in the scope of the present invention.
  • a program recording medium in which the program according to each embodiment is recorded is also included in the scope of the present invention.
  • the recording medium can be realized by, for example, an optical recording medium such as a CD (Compact Disc) or a DVD (Digital Versatile Disc).
  • the recording medium may be realized by a semiconductor recording medium such as a USB (Universal Serial Bus) memory or an SD (Secure Digital) card, a magnetic recording medium such as a flexible disk, or another recording medium.
  • a semiconductor recording medium such as a USB (Universal Serial Bus) memory or an SD (Secure Digital) card
  • a magnetic recording medium such as a flexible disk, or another recording medium.
  • the components of the identification device of each embodiment can be arbitrarily combined. Further, the components of the identification device of each embodiment may be realized by software or by a circuit.
  • Control unit 11 21, 21 Data acquisition device 12, 22 Mobile terminal 13, 23 Identification device 24 Database 25
  • Control target device 111 Accelerometer 112 Angle speed sensor 113
  • Control unit 115 Data transmission unit 131, 231, 331 Detection unit 132, 232, 332 Waveform processing unit 133, 233, 333 Identification unit 234 Authentication unit 235 Control unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Dentistry (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

履物の種類によらず、歩容に基づいて個人を識別するために、ユーザの歩行波形から歩行イベントを検出する検出部と、検出された歩行イベントに基づいて歩行波形を正規化して正規化波形を生成する波形処理部と、正規化波形に基づいてユーザを識別する識別部と、を備える識別装置とする。

Description

識別装置、識別システム、識別方法、およびプログラム記録媒体
　本開示は、歩容に基づいて個人を識別する識別装置等に関する。
　靴等の履物に荷重計測装置や慣性計測装置を実装し、ユーザの歩容を解析する装置が開発されている。歩容に基づいて個人を識別できれば、指紋認証等のハードウェアを用いなくても、個人認証を行うことができる。
　特許文献１には、人物の足裏の荷重から、認証対象人物が特定人物であるか判定する、個人認証システムについて開示されている。特許文献１のシステムは、人物の足裏の荷重から、歩行によって足裏に加わる荷重の時間的推移を示す荷重情報を生成する。特許文献１のシステムは、認証対象人物の荷重情報と、予め記憶された判定情報とに基づいて、認証対象人物が特定人物であるか判定する。
特開２００８－２５０９９６号公報
　特許文献１の手法では、歩行中の人物の足裏の荷重を計測する必要があった。足裏に加わる荷重の時間的推移を用いる場合、ユーザの履いている履物の種類に応じて波形に違いが生じるため、十分な精度で個人を識別することは難しかった。
　本開示の目的は、履物の種類によらず、歩容に基づいて個人を識別できる識別装置等を提供することにある。
　本開示の一態様の識別装置は、ユーザの歩行波形から歩行イベントを検出する検出部と、検出された歩行イベントに基づいて歩行波形を正規化して正規化波形を生成する波形処理部と、正規化波形に基づいてユーザを識別する識別部と、を備える。
　本開示の一態様の識別方法においては、コンピュータが、ユーザの歩行波形から歩行イベントを検出し、検出された歩行イベントに基づいて歩行波形を正規化して正規化波形を生成し、正規化波形に基づいてユーザを識別する。
　本開示のプログラムは、ユーザの歩行波形から歩行イベントを検出する処理と、検出された歩行イベントに基づいて歩行波形を正規化して正規化波形を生成する処理と、正規化波形に基づいてユーザを識別する処理と、をコンピュータに実行させる。
　本開示によれば、履物の種類によらず、歩容に基づいて個人を識別できる識別装置等を提供することが可能になる。
第１の実施形態に係る識別システムの構成の一例を示す概念図である。 第１の実施形態に係る識別システムのデータ取得装置を履物の中に配置する一例を示す概念図である。 第１の実施形態に係る識別システムのデータ取得装置のローカル座標系と世界座標系について説明するための概念図である。 第１の実施形態に係る識別システムのデータ取得装置の構成の一例を示すブロック図である。 第１の実施形態に係る識別システムの識別装置の構成の一例を示すブロック図である。 第１の実施形態に係る識別システムのデータ取得装置が生成する足底角について説明するための概念図である。 一般的な歩行について説明するための概念図である。 第１の実施形態に係る識別システムの識別装置が生成する足底角の歩行波形について説明するためのグラフである。 第１の実施形態に係る識別システムの識別装置による正規化について説明するための概念図である。 第１の実施形態に係る識別システムの識別装置が用いる学習済みモデルを機械学習によって生成する一例を示す概念図である。 第１の実施形態に係る識別システムの識別装置が学習済みモデルに特徴量を入力することによって、ユーザの個人ＩＤ（IDentifier）が出力される一例を示す概念図である。 第１の実施形態に係る識別システムの識別装置の識別処理について説明するためのフローチャートである。 第１の実施形態に係る識別システムの識別装置の正規化処理について説明するためのフローチャートである。 第１の実施形態に係る識別システムの識別装置による識別結果を検証するための等価エラー率（ＥＥＲ：Equal Error Rate）について説明するためのグラフである。 第１の実施形態に係る識別システムの識別装置による識別結果を検証するための全体精度（ＯＡ：Overall Accuracy）について説明するための混同行列の一例である。 第１の実施形態に係る識別システムの識別装置による識別結果をＥＥＲによって検証した一例を示すグラフである。 第１の実施形態に係る識別システムの識別装置による識別結果をＯＡによって検証した一例を示すグラフである。 第２の実施形態に係る認証システムの構成の一例を示す概念図である。 第２の実施形態に係る識別装置の構成の一例を示すブロック図である。 第２の実施形態に係る識別装置の認証処理について説明するためのフローチャートである。 第２の実施形態の認証システムの適用例１について説明するための概念図である。 第２の実施形態の認証システムの適用例２について説明するための概念図である。 第３の実施形態の構成の一例を示すブロック図である。 各実施形態の識別装置を実現するハードウェア構成の一例を示すブロック図である。
　以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成／動作に関しては繰り返しの説明を省略する場合がある。
　（第１の実施形態）
　まず、本実施形態に係る識別システムについて図面を参照しながら説明する。本実施形態の識別システムは、ユーザの歩行パターンに含まれる特徴（歩容とも呼ぶ）を計測し、計測された歩容を解析することによって、個人識別を行う。以下において、「ユーザ」とは、本実施形態の識別システムの識別対象人物を意味する。
　図１は、本実施形態の識別システムの全体構成について説明するための概念図である。本実施形態の識別システムは、データ取得装置１１、携帯端末１２、および識別装置１３を備える。
　データ取得装置１１は、靴１００等の履物に設置される。データ取得装置１１は、加速度センサおよび角速度センサを含む。データ取得装置１１は、靴１００等の履物を履くユーザの足の動きに関する物理量として、加速度センサおよび角速度センサによって取得された加速度や角速度などの物理量を計測する。データ取得装置１１が計測する足の動きに関する物理量には、加速度や角速度に加えて、加速度や角速度を積分することによって計算される速度や角度も含まれる。データ取得装置１１は、計測された物理量をデジタルデータ（センサデータとも呼ぶ）に変換する。データ取得装置１１は、変換後のセンサデータを携帯端末１２に送信する。データ取得装置１１は、携帯端末１２を介して、識別装置１３にセンサデータを送信する。
　データ取得装置１１は、例えば、加速度センサと角速度センサを含む慣性計測装置によって実現される。慣性計測装置の一例として、ＩＭＵ（Inertial Measurement Unit）が挙げられる。ＩＭＵは、３軸の加速度センサと、３軸の角速度センサを含む。また、慣性計測装置の一例として、ＶＧ（Vertical Gyro）や、ＡＨＲＳ（Attitude Heading）、ＧＰＳ／ＩＮＳ（Global Positioning System/Inertial Navigation System）が挙げられる。
　図２は、データ取得装置１１を靴１００の中に設置する一例を示す概念図である。図２の例では、データ取得装置１１は、足弓の裏側に当たる位置に設置される。例えば、データ取得装置１１は、靴１００の中に挿入されるインソールに設置される。例えば、データ取得装置１１は、靴１００の底面に設置される。例えば、データ取得装置１１は、靴１００の本体に埋設される。データ取得装置１１は、靴１００から着脱できてもよいし、靴１００から着脱できなくてもよい。なお、データ取得装置１１は、足の動きに関するセンサデータを取得できさえすれば、足弓の裏側ではない位置に設置されてもよい。また、データ取得装置１１は、ユーザが履いている靴下や、ユーザが装着しているアンクレット等の装飾品に設置されてもよい。また、データ取得装置１１は、足に直に貼り付けられたり、足に埋め込まれたりしてもよい。図２においては、右足側の靴１００にデータ取得装置１１を設置する例を示すが、両足分の靴１００にデータ取得装置１１を設置してもよい。両足分の靴１００にデータ取得装置１１を設置すれば、両足分の足の動きに基づいてユーザを識別できる。
　図３は、データ取得装置１１を足弓の裏側に設置する場合に、データ取得装置１１に設定されるローカル座標系（ｘ軸、ｙ軸、ｚ軸）と、地面に対して設定される世界座標系（Ｘ軸、Ｙ軸、Ｚ軸）について説明するための概念図である。世界座標系（Ｘ軸、Ｙ軸、Ｚ軸）では、ユーザが直立した状態で、ユーザの横方向がＸ軸方向（右向きが正）、ユーザの正面の方向（進行方向）がＹ軸方向（前向きが正）、重力方向がＺ軸方向（鉛直上向きが正）に設定される。また、本実施形態においては、データ取得装置１１を基準とするｘ方向、ｙ方向、およびｚ方向からなるローカル座標系を設定する。また、本実施形態においては、ｘ軸を回転軸とする回転をピッチ、ｙ軸を回転軸とする回転をロール、ｚ軸を回転軸とする回転をヨー、と定義する。
　携帯端末１２は、ユーザによって携帯可能な通信機器である。例えば、携帯端末１２は、スマートフォンや、スマートウォッチ、携帯電話等の通信機能を有する携帯型の通信機器である。携帯端末１２は、ユーザの足の動きに関するセンサデータをデータ取得装置１１から受信する。携帯端末１２は、受信されたセンサデータを、識別装置１３が実装されたサーバ等に送信する。なお、識別装置１３の機能は、携帯端末１２にインストールされたプログラム等によって実現されていてもよい。その場合、携帯端末１２は、受信されたセンサデータを、自身にインストールされたプログラム等によって処理する。
　識別装置１３は、図示しないサーバ等に実装される。例えば、識別装置１３は、アプリケーションサーバによって実現されてもよい。例えば、識別装置１３は、携帯端末１２にインストールされたプログラム等によって実現されてもよい。識別装置１３は、ユーザの足の動きに関するセンサデータを携帯端末１２から受信する。識別装置１３は、受信されたセンサデータの時系列データに基づく波形（歩行波形とも呼ぶ）から、所定の歩行イベントを検出する。
　識別装置１３は、歩行波形から検出された歩行イベントに基づいて、その歩行波形を正規化する。例えば、識別装置１３は、検出された歩行イベントに基づいて、一歩行周期分の歩行波形を切り出す。識別装置１３は、歩行イベントに基づいて、切り出された歩行波形を分割する。識別装置１３は、分割された歩行波形（分割波形とも呼ぶ）ごとに正規化する。識別装置１３は、正規化された分割波形を統合して、正規化された一歩行周期の歩行波形（正規化波形とも呼ぶ）を生成する。
　識別装置１３は、正規化波形に基づいて、ユーザを識別する。例えば、識別装置１３は、ユーザごとの正規化波形から抽出された特徴量を学習させた学習済みモデルを用いて、ユーザを識別する。識別装置１３は、正規化波形から抽出された特徴量を学習させた学習済みモデルを用いる。学習済みモデルは、製品の工場出荷時や、ユーザが識別装置１３を使用する前のキャリブレーション時等のタイミングで生成しておけばよい。
　〔データ取得装置〕
　次に、データ取得装置１１の詳細について図面を参照しながら説明する。図４は、データ取得装置１１の詳細構成の一例を示すブロック図である。データ取得装置１１は、加速度センサ１１１、角速度センサ１１２、制御部１１３、およびデータ送信部１１５を有する。また、データ取得装置１１は、図示しない電源を含む。以下においては、加速度センサ１１１、角速度センサ１１２、制御部１１３、およびデータ送信部１１５の各々を動作主体として説明するが、データ取得装置１１を動作主体とみなしてもよい。
　加速度センサ１１１は、３軸方向の加速度を計測するセンサである。加速度センサ１１１は、計測した加速度を制御部１１３に出力する。例えば、加速度センサ１１１には、圧電型や、ピエゾ抵抗型、静電容量型等の方式のセンサを用いることができる。なお、加速度センサ１１１に用いられるセンサは、加速度を計測できれば、その計測方式に限定を加えない。
　角速度センサ１１２は、３軸方向の角速度を計測するセンサである。角速度センサ１１２は、計測した角速度を制御部１１３に出力する。例えば、角速度センサ１１２には、振動型や静電容量型等の方式のセンサを用いることができる。なお、角速度センサ１１２に用いられるセンサは、角速度を計測できれば、その計測方式に限定を加えない。
　制御部１１３は、加速度センサ１１１および角速度センサ１１２の各々から、３軸方向の加速度および角速度の各々を取得する。制御部１１３は、取得した加速度および角速度をデジタルデータに変換し、変換後のデジタルデータ（センサデータとも呼ぶ）をデータ送信部１１５に出力する。センサデータには、アナログデータの加速度をデジタルデータに変換した加速度データ（３軸方向の加速度ベクトルを含む）と、アナログデータの角速度をデジタルデータに変換した角速度データ（３軸方向の角速度ベクトルを含む）とが少なくとも含まれる。なお、加速度データおよび角速度データには、それらのデータの取得時間が紐付けられる。また、制御部１１３は、取得した加速度データおよび角速度データに対して、実装誤差や温度補正、直線性補正などの補正を加えたセンサデータを出力するように構成してもよい。また、制御部１１３は、取得した加速度データおよび角速度データを用いて、３軸方向の角度データを生成してもよい。
　例えば、制御部１１３は、データ取得装置１１の全体制御やデータ処理を行うマイクロコンピュータまたはマイクロコントローラである。例えば、制御部１１３は、ＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等を有する。制御部１１３は、加速度センサ１１１および角速度センサ１１２を制御して角速度や加速度を計測する。例えば、制御部１１３は、計測された角速度および加速度等の物理量（アナログデータ）をＡＤ変換（Analog-to-Digital Conversion）し、変換後のデジタルデータをフラッシュメモリに記憶させる。なお、加速度センサ１１１および角速度センサ１１２によって計測された物理量（アナログデータ）は、加速度センサ１１１および角速度センサ１１２の各々においてデジタルデータに変換されてもよい。フラッシュメモリに記憶されたデジタルデータは、所定のタイミングでデータ送信部１１５に出力される。
　データ送信部１１５は、制御部１１３からセンサデータを取得する。データ送信部１１５は、取得したセンサデータを携帯端末１２に送信する。データ送信部１１５は、ケーブルなどの有線を介してセンサデータを携帯端末１２に送信してもよいし、無線通信を介してセンサデータを携帯端末１２に送信してもよい。例えば、データ送信部１１５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）などの規格に則した無線通信機能（図示しない）を介して、センサデータを携帯端末１２に送信する。なお、データ送信部１１５の通信機能は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）以外の規格に則していてもよい。
　〔識別装置〕
　次に、識別装置１３の詳細について図面を参照しながら説明する。図５は、識別装置１３の詳細構成の一例を示すブロック図である。識別装置１３は、検出部１３１、波形処理部１３２、および識別部１３３を有する。
　検出部１３１は、データ取得装置１１が取得したセンサデータを携帯端末１２から取得する。検出部１３１は、取得されたセンサデータの座標系を、ローカル座標系から世界座標系に変換する。ユーザが直立した状態では、ローカル座標系（ｘ軸、ｙ軸、ｚ軸）と世界座標系（Ｘ軸、Ｙ軸、Ｚ軸）は一致する。ユーザが歩行している間、データ取得装置１１の空間的な姿勢が変化するため、ローカル座標系（ｘ軸、ｙ軸、ｚ軸）と世界座標系（Ｘ軸、Ｙ軸、Ｚ軸）は一致しない。そのため、検出部１３１は、データ取得装置１１によって取得されたセンサデータを、データ取得装置１１のローカル座標系（ｘ軸、ｙ軸、ｚ軸）から世界座標系（Ｘ軸、Ｙ軸、Ｚ軸）に変換する。
　検出部１３１は、世界座標系に変換されたセンサデータを用いて、歩行波形を生成する。例えば、検出部１３１は、３軸方向の加速度、角速度、および角度に関する歩行波形を生成する。例えば、検出部１３１は、加速度および角速度を用いて、地面に対する足底の角度（足底角とも呼ぶ）の歩行波形を生成する。図６は、検出部１３１が計算する足底角について説明するための概念図である。足底角は、地面（ＸＹ平面）に対する足底の角度であり、姿勢角とも呼ばれる。本実施形態において、足底角の正負は、爪先が踵よりも上に位置する状態（背屈）が負、爪先が踵よりも下に位置する状態（底屈）を正、と定義される。
　例えば、検出部１３１は、Ｘ軸とＹ軸の各々の軸方向の加速度の大きさを用いて足底角を計算する。また、例えば、検出部１３１は、Ｘ軸、Ｙ軸、およびＺ軸の各々を中心軸とする角速度の値を積分することによって、それらの軸回りの角度を計算してもよい。加速度データおよび角速度データには、色々な方向に変化する高周波および低周波のノイズが入る。そのため、検出部１３１は、加速度データおよび角速度データにローパスフィルタおよびハイパスフィルタをかけて高周波成分および低周波成分を除去してもよい。高周波成分および低周波成分が除去されれば、ノイズが乗りやすいセンサデータの精度を向上できる。また、検出部１３１は、加速度データおよび角速度データの各々に相補フィルタをかけて重み付き平均を取ってもよい。相補フィルタをかけて重み付き平均を取れば、センサデータの精度を向上できる。
　図７は、一般的な歩行周期について説明するための概念図である。図７は、右足の一歩行周期に対応する。図７の横軸は、右足の踵が地面に着地した時点を起点とし、次に右足の踵が地面に着地した時点を終点とする右足の一歩行周期を１００％として正規化された時間（正規化時間とも呼ぶ）である。一般に、片足の一歩行周期は、足の裏側の少なくとも一部が地面に接している立脚相と、足の裏側が地面から離れている遊脚相とに大別される。立脚相は、さらに、立脚初期Ｔ１、立脚中期Ｔ２、立脚終期Ｔ３、遊脚前期Ｔ４に細分される。遊脚相は、さらに、遊脚初期Ｔ５、遊脚中期Ｔ６、遊脚終期Ｔ７に細分される。
　図７において、（ａ）は、右足の踵が接地する状況を表す（踵接地）。（ｂ）は、右足の足裏の全面が接地した状態で、左足の爪先が地面から離れる状況を表す（反対足爪先離地）。（ｃ）は、右足の足裏の全面が接地した状態で、右足の踵が持ち上がる状況を表す（踵持ち上がり）。（ｄ）は、左足の踵が接地した状況である（反対足踵接地）。（ｅ）は、左足の足裏の全面が接地した状態で、右足の爪先が地面から離れる状況を表す（爪先離地）。（ｆ）は、左足の足裏の全面が接地した状態で、左足と右足が交差する状況を表す（足交差）。（ｇ）は、右足の踵が接地する状況を表す（踵接地）。
　図８は、一歩行周期分の歩行波形（足底角）について説明するためのグラフである。歩行波形が極小となる時刻ｔdは、立脚相開始のタイミングに相当する。歩行波形が極大となる時刻ｔbは、遊脚相開始のタイミングに相当する。立脚相開始の時刻ｔdと遊脚相開始の時刻ｔbとの中点の時刻が、立脚相の中央のタイミングに相当する。本実施形態においては、立脚相の中央のタイミングの時刻を、一歩行周期の起点の時刻（起点時刻ｔmとも呼ぶ）に設定する。また、本実施形態においては、起点時刻ｔmのタイミングの次の立脚相の中央のタイミングの時刻を、一歩行周期の終点の時刻（終点時刻ｔm＋1とも呼ぶ）に設定する。
　図９は、一般的な歩行周期と、実測された一歩行周期における足底角の歩行波形との関係について説明するための概念図である。上段の模式図は、立脚相の中央のタイミングの起点時刻ｔmを起点とし、次の立脚相の中央のタイミングの終点時刻ｔm+1を終点とする一歩行周期を表す。中段のグラフは、実測された足底角の一歩行周期分の歩行波形である。中段のグラフの横軸は、足底角を計算するためのセンサデータが実測された時間に相当する。中段のグラフにおいては、歩行イベントを示す極値が現れるタイミングが上段の歩行周期とずれている。下段のグラフは、歩行イベントを示す極値が現れるタイミングを正規化した後の足底角の一歩行周期分の歩行波形（正規化波形とも呼ぶ）である。下段のグラフでは、歩行イベントを示す極値が現れるタイミングが、上段の歩行周期と一致する。
　例えば、検出部１３１は、一歩行周期分の足底角の歩行波形から、極小（第１背屈ピーク）となる時刻ｔdと、第１背屈ピークの次に極大（第１底屈ピーク）となる時刻ｔbとを検出する。さらに、検出部１３１は、その次の一歩行周期分の足底角の歩行波形から、第１底屈ピークの次に極大（第２背屈ピーク）となる時刻ｔd+1と、第２背屈ピークの次に極大（第２底屈ピーク）となる時刻ｔb+1とを検出する。検出部１３１は、時刻ｔdと時刻ｔbの中点の時刻を、一歩行周期の起点時刻ｔmに設定する。また、検出部１３１は、時刻ｔd+1と時刻ｔb+1の中点の時刻を、一歩行周期の終点時刻ｔm+1に設定する。
　波形処理部１３２は、起点時刻ｔmから終点時刻ｔm+1までの一歩行周期分の歩行波形を切り出す。波形処理部１３２は、実測された歩行波形の時間を歩行周期に変換するために、足底角の歩行波形を正規化する。波形処理部１３２は、３軸方向の加速度、角速度、および角度の歩行波形についても、足底角と同様に正規化する。
　例えば、波形処理部１３２は、第１背屈ピークの時刻ｔdと第１底屈ピークの時刻ｔbの中点の時刻ｔmを起点とし、第２背屈ピークの時刻ｔd+1と第２底屈ピークの時刻ｔb+1の中点の時刻ｔm+1を終点とする一歩行周期分の歩行波形データを切り出す。波形処理部１３２は、切り出された一歩行周期分の歩行波形を、起点時刻ｔmから時刻ｔbまでの区間と、時刻ｔbから時刻ｔd+1までの区間と、時刻ｔd+1から終点時刻ｔm+1までの区間とに分割する。起点時刻ｔmから時刻ｔbまでの区間の波形を第１分割波形、時刻ｔbから時刻ｔd+1までの区間の波形を第２分割波形、時刻ｔd+1から終点時刻ｔm+1までの区間の波形を第３分割波形、と呼ぶ。波形処理部１３２は、起点時刻ｔmから時刻ｔbまでの区間が一歩行周期の３０％分、時刻ｔbから時刻ｔd+1までの区間が一歩行周期の４０％分、時刻ｔd+1から終点時刻ｔm+1までの区間が一歩行周期の３０％分になるように、各分割波形を正規化する。波形処理部１３２は、正規化後の分割波形を統合し、正規化された一歩行周期分の歩行波形（正規化波形とも呼ぶ）を生成する。図７に対応させると、一歩行周期の３０％は（ｅ）の爪先離地のタイミングに相当し、一歩行周期の７０％は（ａ）や（ｇ）の踵接地のタイミングに相当する。
　識別部１３３は、正規化波形に基づいて、ユーザを識別する。例えば、識別部１３３は、３軸方向の加速度、角速度、および角度のうち少なくともいずれかの正規化波形に基づいて、ユーザの識別を行う。例えば、識別部１３３は、予め計測された正規化波形と、ユーザの正規化波形とを比較して、それらの一致度に基づいてユーザを識別する。例えば、識別部１３３は、予め計測された正規化波形から抽出された特徴量と、ユーザの正規化波形から抽出された特徴量とを比較して、それらの一致度に基づいてユーザを識別する。
　例えば、識別部１３３は、ユーザごとの正規化波形から抽出された特徴量を学習させた学習済みモデルに、識別対象のユーザの歩行に基づく正規化波形から抽出される特徴量を入力し、その推定結果に応じてユーザを識別する。識別部１３３は、正規化された歩行波形から抽出された特徴量を学習させた学習済みモデルを用いる。例えば、学習済みモデルは、識別対象のユーザに関して、データ取得装置１１によって取得された複数の物理量のうち、いくつかの物理量の正規化波形から抽出された特徴量を用いて学習されたモデルである。例えば、学習済みモデルは、識別対象のユーザの履物に設置されたデータ取得装置１１によって計測された物理量の正規化波形から抽出された特徴量（予測子とも呼ぶ）を組み合わせた予測子ベクトルを学習させたモデルである。例えば、学習済みモデルは、３軸方向の加速度、３軸方向の角速度、および３軸方向の足底角のうち少なくともいずれかの正規化波形から抽出された特徴量（予測子）を組み合わせた予測子ベクトルを学習させたモデルである。
　図１０は、学習装置１５が、予測子ベクトルと個人識別ラベルを学習する一例を示す概念図である。例えば、個人識別ラベルは、ユーザＩＤや、氏名、ニックネーム等の個人を識別するラベルである。図１１は、学習装置１５に学習させた学習済みモデル１５０に、複数の物理量の正規化波形から抽出された特徴量１～ｎを入力し、個人識別ラベルが出力される一例を示す概念図である（ｎは自然数）。
　学習装置１５は、複数の物理量に基づく正規化波形から抽出された特徴量（予測子）を組み合わせた予測子ベクトルと、個人識別のための個人識別ラベルとを訓練データとした学習を行う。学習装置１５は、学習によって、実測された歩行波形に基づく正規化波形から抽出された特徴量を入力した際に、個人識別ラベルを出力する学習済みモデル１５０を生成する。例えば、学習装置１５は、複数の物理量のうち、遊脚相における横方向加速度や、内外転角度、垂直方向加速度から抽出される特徴量を説明変数とし、ユーザの個人識別ラベルを応答変数とする教師あり学習によって、学習済みモデル１５０を生成する。例えば、遊脚相における横方向加速度や、内外転角度、垂直方向加速度から抽出される特徴量は、遊脚相におけるそれらの物理量の最大値である。なお、学習装置１５には、ここで挙げた物理量の組み合わせに限定されず、歩容に基づいて個人識別しやすい物理量を組み合わせた予測子ベクトルを学習されればよい。
　（動作）
　次に、本実施形態の識別システムが備える識別装置１３の動作について図面を参照しながら説明する。以下においては、識別装置１３がユーザを識別する識別処理と、識別処理に含まれる正規化処理とに分けて説明する。
　〔識別処理〕
　図１２は、識別装置１３の識別処理について説明するためのフローチャートである。図１２のフローチャートに沿った説明においては、識別装置１３を動作主体として説明する。
　図１２において、まず、識別装置１３は、ユーザの足の動きに関するセンサデータを取得する（ステップＳ１１１）。例えば、足の動きに関するセンサデータは、３軸方向の加速度や角速度、角度等の物理量に関する。
　次に、識別装置１３は、センサデータの座標系を、データ取得装置１１のローカル座標系から世界座標系に変換する（ステップＳ１１２）。
　次に、識別装置１３は、世界座標系に変換後のセンサデータの時系列データ（歩行波形）を生成する（ステップＳ１１３）。
　次に、識別装置１３は、生成された歩行波形に正規化処理を実行する（ステップＳ１１４）。正規化処理の詳細については後述する。
　次に、識別装置１３は、正規化波形から特徴量（予測子）を抽出する（ステップＳ１１５）。
　次に、識別装置１３は、抽出された特徴量（予測子）を学習済みモデルに入力し、ユーザを識別する（ステップＳ１１６）。
　〔正規化処理〕
　図１３は、正規化処理について説明するためのフローチャートである。図１３の正規化処理は、図１２のフローチャートのステップＳ１１４の正規化処理の詳細である。図１３のフローチャートに沿った説明においては、識別装置１３を動作主体として説明する。
　図１３において、まず、識別装置１３は、歩行波形に基づいて、足底角の時系列データ（歩行波形）を生成する（ステップＳ１２１）。
　次に、識別装置１３は、二歩行周期分の足底角の歩行波形において、極小となる時刻（時刻ｔd、時刻ｔd+1）と極大になる時刻（時刻ｔb、時刻ｔb+1）を検出する（ステップＳ１２２）。
　次に、識別装置１３は、時刻tdと時刻tbの中点の時刻ｔmと、時刻td+1と時刻tb+1の中点の時刻ｔm+1を計算する（ステップＳ１２３）。
　次に、識別装置１３は、時刻ｔmから時刻ｔm+1までの波形を、一歩行周期分の歩行波形として切り出す（ステップＳ１２４）。
　次に、識別装置１３は、時刻ｔm～時刻ｔbの区間、時刻ｔb～時刻ｔd+1の区間、時刻ｔd+1～時刻ｔm+1の区間で、一歩行周期分の歩行波形を分割する（ステップＳ１２５）。
　次に、識別装置１３は、分割波形ごとに正規化する（ステップＳ１２６）。
　次に、識別装置１３は、正規化された分割波形を統合し、足底角の正規化波形を生成する（ステップＳ１２７）。
　次に、識別装置１３は、足底角の正規化波形に合わせて、他の物理量に関する歩行波形を正規化する（ステップＳ１２８）。他の歩行波形とは、３軸方向の加速度、角速度、および角度等の歩行波形である。
　〔検証例〕
　次に、本実施形態の検証例について一例を挙げて説明する。本検証例では、７６人の被験者に対して歩行時の足の動きに関する物理量（加速度や角速度）を計測し、それらの被験者の歩行波形を取得した。本検証例では、正規化された歩行波形（以下、正規化波形と呼ぶ）を用いた例と、正規化されていない歩行波形（以下、非正規化波形と呼ぶ）を用いた例とを比較する。
　本検証例では、７６人の被験者が靴Ａを履いて歩行した際に取得された歩行波形から抽出された特徴量を学習用データとして用いて、学習済みモデルを生成した。また、本検証例では、それらの被験者のうち５１人が靴Ｂを履いて歩行した際に取得された歩行波形から抽出された特徴量を検証用データとして用いた。正規化波形を用いた例では、被験者が靴Ａを履いて歩行した際の歩行波形に基づく正規化波形から抽出された特徴量を学習用データとし、被験者が靴Ｂを履いて歩行した際の歩行波形に基づく正規化波形から抽出された特徴量を検証用データとした。非正規化波形を用いた例では、被験者が靴Ａを履いて歩行した際の歩行波形（非正規化波形）から抽出された特徴量を学習用データとし、被験者が靴Ｂを履いて歩行した際の歩行波形（非正規化波形）から抽出された特徴量を検証用データとした。
　図１４は、本検証例において用いる等価エラー率（ＥＥＲ：Equal Error Rate）について説明するためのグラフである。ＥＥＲは、識別精度の目安である。ＥＥＲの値が小さいほど、識別精度が高い。図１４の実線の曲線は、ＲＯＣ（Receiver Operating Characteristic）曲線である。図１４のグラフにおいて、横軸の偽陽性率をｘ、縦軸の真陽性率をｙとする。本検証例では、点（１、０）と点（０、１）を結ぶ直線（破線：ｙ＝－ｘ＋１）とＲＯＣ曲線との交点のｘ座標（偽陽性率）がＥＥＲに相当する。
　図１５は、本検証例において用いる全体精度（ＯＡ：Overall Accuracy）について説明するための混同行列の一例である。ＯＡは、識別における正解数をデータ数で割った値に相当する。ＯＡの値が大きいほど、識別精度が高い。なお、ＯＡの替わりに、カテゴリごとの精度を足し合わせてカテゴリ数で割った平均精度（ＡＡ：Average Accuracy）を用いてもよい。図１５の混同行列は、被験者を１～１０のクラスに分類する例である。「予測されたクラス」は、本実施形態の識別システムにより判定される被験者のクラスである。「真のクラス」は、被験者の実際のクラスである。なお、図１５の混同行列においては、各マスの数字を省略する。図１５の混同行列において、ハッチングをかけたマスが正解であり、その他のマスが不正解である。本検証例では、ハッチングをかけたマスの数字の総和（正解数）をデータ数で割った値がＯＡに相当する。
　本検証例において、予測子ベクトルの予測子の変量（特徴量）は、３軸方向の加速度、角速度、および足角に関する歩行波形の強度の値である。予測子ベクトルの次元は、歩行波形を分解することで得られる予測子ベクトルの数に相当する。３軸方向の加速度、角速度、および足角に関する歩行波形を用いる場合、９通りの歩行波形があるので、歩行波形を０％と５０％の２点で分解すると、予測子ベクトルの次元は最小（２×９＝１８）になる。例えば、１歩行周期（１００％）の歩行波形を１％刻みで分解すると、一つの歩行波形から１００次元の予測子ベクトルが得られるため、３軸方向の加速度、角速度、および足底角に関する歩行波形から９００個の予測子が得られる。例えば、１歩行周期（１００％）の歩行波形を２％刻みで分解すると、一つの歩行波形から１００次元の予測子ベクトルが得られるため、３軸方向の加速度、角速度、および足底角に関する歩行波形から４５０個の予測子が得られる。
　図１６は、靴Ａを履いて歩行する被験者の歩行波形から抽出された特徴量を用いて学習された学習済みモデルに、靴Ｂを履いて歩行する被験者の歩行波形から抽出された特徴量を入力した場合のＥＥＲについて検証した結果を示すグラフである。図１６において、正規化波形から抽出された特徴量を用いた検証結果におけるＥＥＲは実線で示し、非正規化波形から抽出された特徴量を用いた検証結果におけるＥＥＲは破線で示す。図１６のように、正規化波形を用いた方が、非正規化波形を用いた場合よりもＥＥＲが小さかった。すなわち、ＥＥＲに関しては、本実施形態のように正規化波形を用いた方が良好な結果が得られた。
　図１７は、靴Ａを履いて歩行する被験者の歩行波形から抽出された特徴量を用いて学習された学習済みモデルに、靴Ｂを履いて歩行する被験者の歩行波形から抽出された特徴量を入力した場合のＯＡについて検証した結果を示すグラフである。図１７において、正規化波形から抽出された特徴量を用いた検証結果におけるＯＡは実線で示し、非正規化波形から抽出された特徴量を用いた検証結果におけるＯＡは破線で示す。図１７のように、正規化波形を用いた方が、非正規化波形を用いた場合よりもＯＡが大きかった。すなわち、ＯＡに関しても、本実施形態のように正規化波形を用いた方が良好な結果が得られた。
　本検証例では、靴Ａを履いた歩行に基づく歩行波形を学習させた学習済みモデルに、靴Ｂを履いた歩行に基づく歩行波形から抽出された予測子を入力してユーザを識別する例について説明した。上述のように、靴が異なる場合であっても、非正規化波形を用いるよりも、正規化波形を用いた方が、ＥＥＲが低下し、ＯＡが増加した。すなわち、本実施形態によれば、靴が異なる場合であっても、歩容に基づいて個人を識別しやすくなる。
　以上のように、本実施形態の識別システムは、データ取得装置、携帯端末、および識別装置を備える。識別装置は、検出部、波形処理部、および識別部を有する。検出部は、ユーザの歩行波形から歩行イベントを検出する。波形処理部は、検出された歩行イベントに基づいて歩行波形を正規化して正規化波形を生成する。識別部は、正規化波形に基づいてユーザを識別する。
　本実施形態の一態様において、波形処理部は、足底角の歩行波形を正規化して正規化波形を生成する。波形処理部は、生成された足底角の正規化波形に合わせて、３軸方向の加速度、３軸方向の角速度、および３軸方向の角度の各々の歩行波形を正規化して、３軸方向の加速度、３軸方向の角速度、および３軸方向の角度の各々の正規化波形を生成する。
　本実施形態の一態様において、検出部は、足底角の二歩行周期分の歩行波形から、第１背屈ピーク、第１底屈ピーク、第２背屈ピーク、および第２底屈ピークを歩行イベントとして検出する。波形処理部は、第１背屈ピークの第１時刻と第１底屈ピークの第２時刻との中点の起点時刻から、第２背屈ピークの第３時刻と第２底屈ピークの第４時刻との中点の終点時刻までの一歩行周期分の歩行波形を切り出す。波形処理部は、切り出された一歩行周期分の歩行波形を、起点時刻から第２時刻までの第１分割波形と、第２時刻から第３時刻までの第２分割波形と、第３時刻から終点時刻までの第３分割波形とに分割する。波形処理部は、第１分割波形、第２分割波形、および第３分割波形の各々を正規化する。波形処理部は、正規化された第１分割波形、第２分割波形、および第３分割波形を統合することによって足底角の正規化波形を生成する。例えば、波形処理部は、一歩行周期のうち、第１分割波形が３０％の分率になり、第２分割波形が４０％の分率になり、第３分割波形が３０％の分率になるように、第１分割波形、第２分割波形、および第３分割波形の各々を正規化する。
　本実施形態の一態様において、識別部は、識別対象のユーザの３軸方向の加速度、３軸方向の角速度、および３軸方向の角度のうち少なくともいずれかの正規化波形から抽出された特徴量を学習済みモデルに入力し、識別対象のユーザを識別する。識別部は、登録対象のユーザの３軸方向の加速度、角速度、および角度のうち少なくともいずれかの正規化波形から抽出された特徴量からなる予測子ベクトルと、登録対象のユーザの識別子とを教師データとして学習させた学習済みモデルを用いる。
　本実施形態によれば、歩行イベントに基づいて歩行波形を正規化することによって、歩行波形に及ぶ履物の影響を低減できる。その結果、本実施形態によれば、履物の種類によらず、歩容に基づいて個人を識別できる。
　（第２の実施形態）
　次に、第２の実施形態に係る識別システム（認証システムとも呼ぶ）について図面を用いて説明する。本実施形態は、識別装置の識別結果を用いて認証を行い、認証結果に応じた制御を行う点で、第１の実施形態とは異なる。本実施形態の認識システムは、ユーザの歩行パターンに含まれる特徴（歩容とも呼ぶ）を計測し、計測された歩容を解析することによって、個人識別を行う。そして、識別されたユーザを認証し、認証結果に応じて制御対象装置を制御する。以下において、「ユーザ」とは、本実施形態の認証システムの認証対象人物を意味する。
　（構成）
　図１８は、本実施形態の認証システムの全体構成について説明するための概念図である。本実施形態の認証システムは、靴２００等の履物に設置されたデータ取得装置２１、ユーザが携帯する携帯端末２２、および識別装置２３を備える。図１８には、本実施形態の認証システムに加えて、データベース２４および制御対象装置２５を図示する。識別装置２３は、データベース２４および制御対象装置２５に接続される。データベース２４には、認証対象のユーザの認証情報が登録される。制御対象装置２５は、認証結果に応じた制御を受ける装置である。なお、本実施形態の認識システムに、データベース２４や制御対象装置２５を含めてもよい。
　データ取得装置２１は、ユーザの足の動きに関するセンサデータを取得する。データ取得装置２１は、取得されたセンサデータを、携帯端末２２を介して識別装置２３に送信する。識別装置２３は、受信されたセンサデータに基づいてユーザを識別する。識別装置２３によって識別されたユーザは、データベース２４に保存された認証情報と照合され、照合結果に応じて何らかの認証を受ける。識別装置２３は、ユーザが認証されると、認証結果に応じて制御対象装置２５を制御する。なお、データ取得装置２１および携帯端末２２の各々は、第１の実施形態の識別システムのデータ取得装置１１および携帯端末１２の各々と同様の構成である。そのため、以下においては、データ取得装置２１および携帯端末２２については説明を省略し、識別装置２３について説明する。
　〔識別装置〕
　図１９は、識別装置２３の詳細構成の一例を示すブロック図である。識別装置２３は、検出部２３１、波形処理部２３２、識別部２３３、認証部２３４、および制御部２３５を有する。
　検出部２３１は、データ取得装置２１からセンサデータを取得する。検出部２３１は、取得されたセンサデータの座標系を、ローカル座標系から世界座標系に変換する。検出部２３１は、世界座標系に変換されたセンサデータを用いて、歩行波形を生成する。検出部２３１は、３軸方向の加速度、角速度、および角度に関する歩行波形を生成する。検出部２３１は、加速度および角速度の時系列データを用いて、足底角の歩行波形を生成する。
　検出部２３１は、足底角の歩行波形から、足底角が極小（背屈ピーク）となる時刻ｔdと、その背屈ピークの次に足底角が極大（底屈ピーク）となる時刻ｔbとを検出する。さらに、検出部２３１は、その底屈ピークの次の背屈ピークの時刻ｔd+1と、その背屈ピークの次の底屈ピークの時刻ｔb+1とを検出する。検出部２３１は、時刻ｔdと時刻ｔbの中点の時刻を、一歩行周期の起点時刻ｔmに設定する。また、検出部２３１は、時刻ｔd+1と時刻ｔb+1の中点の時刻を、一歩行周期の終点時刻ｔm+1に設定する。
　波形処理部２３２は、立脚相の中央の時刻ｔmを起点とする一歩行周期分の歩行波形を切り出す。すなわち、波形処理部２３２は、立脚相の中央の時刻ｔmを起点とし、次の立脚相の中央の時刻ｔm＋1を終点とする一歩行波形分の歩行波形を切り出す。波形処理部２３２は、実測された歩行波形の時間を歩行周期に変換するために、足底角の歩行波形を正規化する。波形処理部２３２は、３軸方向の加速度、角速度、および角度の歩行波形についても、足底角と同様に正規化する。
　識別部２３３は、正規化された歩行波形（正規化波形とも呼ぶ）に基づいて、ユーザを識別する。例えば、識別部２３３は、３軸方向の加速度、角速度、および角度のうち少なくともいずれかの正規化波形に基づいて、ユーザの識別を行う。例えば、識別部２３３は、予め計測された正規化波形と、ユーザの正規化波形とを比較して、それらの一致度に基づいてユーザを識別する。例えば、識別部２３３は、予め計測された正規化波形から抽出された特徴量と、ユーザの正規化波形から抽出された特徴量とを比較して、それらの一致度に基づいてユーザを識別する。例えば、識別部２３３は、ユーザごとの正規化波形から抽出された特徴量を学習させた学習済みモデルに、ユーザの正規化波形から抽出される特徴量を入力し、その推定結果に応じてユーザを識別する。
　認証部２３４は、識別部２３３の識別結果に応じてユーザの認証を行う。認証部２３４は、識別部２３３によって識別されたユーザが、データベース２４に格納された認証情報に登録されているか照合する。識別部２３３によって識別されたユーザが認証された場合、認証部２３４は、制御対象装置２５の制御指示を制御部２３５に出力する。一方、識別部２３３によって識別されたユーザが認証されなかった場合、認証部２３４は、制御対象装置２５の制御指示を制御部２３５に出力しない。
　制御部２３５は、認証部２３４からの制御指示に応じて、制御対象装置２５を制御する。なお、認証のみを行う場合、制御部２３５を省略してもよい。
　例えば、制御対象装置２５がドアのオートロックの場合、制御部２３５は、認証部２３４からの制御指示に応じて、ドアのオートロックを解錠する。例えば、制御対象装置２５がコンピュータの場合、制御部２３５は、認証部２３４からの制御指示に応じて、コンピュータに対してアクセス可能にする。例えば、制御対象装置２５が自動車の場合、制御部２３５は、認証部２３４からの制御指示に応じて、自動車のドアを解錠させたり、自動車のエンジンをかけたりする。なお、識別部２３３によって識別されたユーザが認証されなかった場合、制御部２３５は、ドアのオートロックを施錠したり、コンピュータに対してアクセス不可にしたり、自動車のエンジンがかからないように制御してもよい。ここで挙げた制御対象装置２５の制御例は一例であって、本実施形態における制御を限定するものではない。
　（動作）
　次に、本実施形態の認識システムが備える識別装置２３の動作について図面を参照しながら説明する。以下においては、識別装置２３によって識別されたユーザを認証する認証処理について説明する。識別装置２３がユーザを識別する識別処理と、識別処理に含まれる正規化処理とについては、第１の実施形態と同様であるので、説明を省略する。
　〔認証処理〕
　図２０は、認証処理について説明するためのフローチャートである。図２０の認証処理は、図１２のステップＳ１１６に続く処理である。図２０のフローチャートに沿った説明においては、識別装置２３を動作主体として説明する。
　図２０において、まず、識別装置２３は、データベース２４に接続し、識別されたユーザを照合する（ステップＳ２１１）。
　ここで、認証結果がＯＫの場合（ステップＳ２１２でＹｅｓ）、識別装置２３は、認証結果に応じて制御対象装置２５の制御を実行する（ステップＳ２１３）。一方、認証結果がＮＧの場合（ステップＳ２１２でＮｏ）、識別装置２３は、制御対象装置２５を制御しない。なお、認証結果がＮＧの場合（ステップＳ２１２でＮｏ）、識別装置２３は、認証結果がＮＧの場合に実行する制御を、制御対象装置２５に対して行ってもよい。
　（適用例）
　次に、本実施形態の認証システムの適用例について図面を参照しながら説明する。本適用例においては、自動ドアや自動車のオートロックを一例に挙げて説明する。本適用例においては、制御対象装置２５が実装された自動ドアや自動車の近傍に認証領域を設定し、その認証領域に進入したユーザを認証する例について説明する。
　〔適用例１〕
　図２１は、本実施形態の認証システムを自動ドア２１１のオートロックに適用する適用例１について説明するための概念図である。図２１は、携帯端末２２を携帯し、データ取得装置２１が実装された靴２００を履いて歩行するユーザが、自動ドア２１１に接近してくる様子を示す。携帯端末２２は、ユーザが手で保持している必要はなく、ユーザが携帯していればよい。携帯端末２２をユーザに携帯させずに、データ取得装置２１から送信されたセンサデータを受信する受信装置（図示しない）を自動ドア２１１の近傍に設置してもよい。図２１には、自動ドア２１１の近傍を撮影するカメラ２６を図示する。例えば、カメラ２６は、可視領域や赤外領域に感度があり、撮影された画像を識別装置２３等に送信する。
　自動ドア２１１には、自動ドア２１１の解錠／施錠を制御する制御対象装置２５（図示しない）が実装されているものとする。また、自動ドア２１１には、自動ドア２１１が解錠されている場合に、歩行者の検出に応じて自動ドア２１１の開閉制御をする開閉機構（図示しない）が設けられているものとする。自動ドア２１１の開閉機構は、制御対象装置２５によって制御されてもよい。自動ドア２１１の近傍には、ユーザ認証を行う範囲（認証領域２２１）が設定されている。例えば、認証領域２２１は、ＧＰＳ（Global Positioning System）等によって得られた位置情報に基づいて、自動ドア２１１と携帯端末２２の位置関係に応じて設定されればよい。また、認証領域２２１は、自動ドア２１１の近傍に設けられたカメラ２６によって撮影された画像に基づいて設定されてもよい。
　ユーザが認証領域２２１に進入すると、識別装置２３は、携帯端末２２を介して受信されたセンサデータの歩行波形から正規化波形を生成する。識別装置２３は、生成された正規化波形を用いてユーザを識別する。識別装置２３は、図示しないデータベース２４に接続し、識別されたユーザを照合する。例えば、ユーザが認証されると、識別装置２３は、制御対象装置２５を制御する。制御対象装置２５は、識別装置２３の制御に応じて、自動ドア２１１を解錠する。例えば、ユーザが認証されなかった場合、識別装置２３は、制御対象装置２５を制御し、自動ドア２１１を施錠させてもよい。
　本適用例は、マンションやアパートなどの住宅、病院や工場などの専用施設、学校などの公共施設、重要施設等のように、入場できるユーザが制限される場面に好適である。特に、本適用例は、履物の種類によらずにユーザ認証できるため、ユーザの履物が頻繁に入れ替わる利用シーンに好適である。例えば、介護福祉施設や、医療現場、工場等では、色々な靴に履き替えて広範囲を移動することが多いため、本適用例が好適である。例えば、食品加工工場などに本適用例を導入すれば、食品に触れた手でパスコードを入力したり、指紋や掌紋を認証したりする必要がなくなるため、十分なセキュリティが得られた状態で、作業者が移動しやすくなる。例えば、医療現場に本適用例を導入すれば、十分なセキュリティが得られた状態で、医療スタッフが安全に移動しやすくなる。
　例えば、自動ドア２１１の近傍に設置されたカメラ２６によって撮影された画像に含まれるユーザの顔画像に基づく認証と、識別装置２３による歩容認証とを組み合わせて、ユーザ認証を行ってもよい。例えば、カメラ２６による撮影範囲を認証領域２２１よりも遠方に及ぶように設定し、顔画像に基づく顔認証がクリアされた場合において、識別装置２３による歩容認証を行うように設定してもよい。例えば、カメラ２６による撮影範囲を認証領域２２１の範囲内に設定し、識別装置２３による歩容認証がクリアされた場合において、顔画像に基づく顔認証を行うように設定してもよい。例えば、識別装置２３による歩容認証と、顔画像に基づく顔認証とが両方クリアされた場合に、自動ドア２１１を解錠するように設定してもよい。識別装置２３による歩容認証と、カメラ２６によって撮影された顔画像に基づく顔認証とを組み合わせれば、セキュリティをより向上できる。
　〔適用例２〕
　図２２は、本実施形態の認証システムを自動車２１２の鍵に適用する適用例２について説明するための概念図である。図２２は、携帯端末２２を携帯し、データ取得装置２１が実装された靴２００を履いて歩行するユーザが、自動車２１２に接近してくる様子を示す。携帯端末２２は、ユーザが手で保持している必要はなく、ユーザが携帯していればよい。携帯端末２２をユーザに携帯させずに、データ取得装置２１から送信されたセンサデータを受信する受信装置（図示しない）を自動車２１２に設置してもよい。
　自動車２１２には、自動車２１２のドアの解錠／施錠を制御する制御対象装置２５（図示しない）が実装されているものとする。自動車２１２の周囲には、ユーザ認証を行う範囲（認証領域２２２）が設定されている。例えば、認証領域２２２は、ＧＰＳ等によって得られた位置情報に基づいて、自動車２１２と携帯端末２２の位置関係に応じて設定されればよい。また、認証領域２２２は、自動車２１２に設けられたカメラ（図示しない）によって撮影された画像に基づいて設定されてもよい。
　ユーザが認証領域２２２に進入すると、識別装置２３は、携帯端末２２を介して受信されたセンサデータの歩行波形から正規化波形を生成する。識別装置２３は、生成された正規化波形を用いてユーザを識別する。識別装置２３は、図示しないデータベース２４に接続し、識別されたユーザを照合する。例えば、ユーザが認証されると、識別装置２３は、制御対象装置２５を制御する。制御対象装置２５は、識別装置２３の制御に応じて、自動車２１２のドアを解錠する。例えば、ユーザが認可されなかった場合、識別装置２３は、制御対象装置２５を制御し、自動車２１２のドアを施錠させてもよい。
　本適用例によれば、自動車２１２の駐車場所の路面が異なる場合であっても、ユーザ認証を行うことが可能になる。例えば、駐車場所の路面は、アスファルトや、土、砂利など千差万別である。人の歩行波形は、路面の状況に応じて変化するが、歩行波形を正規化すれば、ある程度の路面状況の変化にも対応できる。
　例えば、識別装置２３による歩容認証と、鍵とを組み合わせれば、セキュリティをより向上できる。例えば、歩容認証されたユーザのみが、鍵を用いてドアの開閉やエンジンの始動をできるように設定すれば、自動車２１２の盗難や、運転免許証を保持していない人物が自動車２１２を運転することを防止できる。例えば、自動車２１２が駐車された場所の路面状態が悪く、ユーザが自動車２１２まで通常の歩行状態で接近できずに、歩容認証を行うことができない場合も想定される。そのような場合に備えて、所定のパスコード等を携帯端末２２に入力することによって、歩容認証をせずに、鍵のみで自動車２１２のドアの開閉を行うことができるように設定してもよい。
　以上のように、本実施形態の識別システムは、データ取得装置、携帯端末、および識別装置を備える。識別装置は、検出部、波形処理部、識別部、認証部、および制御部を有する。検出部は、ユーザの歩行波形から歩行イベントを検出する。波形処理部は、検出された歩行イベントに基づいて歩行波形を正規化して正規化波形を生成する。識別部は、正規化波形に基づいてユーザを識別する。認証部は、認証情報が格納されたデータベースにアクセスして、識別装置によって識別されたユーザの認証を行う。制御部は、認証部による認証結果に応じて制御対象装置を制御する。
　本実施形態によれば、歩行イベントに基づいて歩行波形を正規化することによって、歩行波形に及ぶ履物の影響を低減できる。その結果、本実施形態によれば、履物の種類によらず、歩容に基づいて個人を識別でき。さらに識別された個人を認証できる。
　（第３の実施形態）
　次に、第３の実施形態に係る識別装置について図面を参照しながら説明する。本実施形態の識別装置は、第１～第２の実施形態の識別装置を簡略化した構成である。図２３は、本実施形態の識別装置３３の構成の一例を示すブロック図である。識別装置３３は、検出部３３１、波形処理部３３２、および識別部３３３を備える。
　検出部３３１は、ユーザの歩行波形から歩行イベントを検出する。波形処理部３３２は、検出された歩行イベントに基づいて歩行波形を正規化して正規化波形を生成する。識別部３３３は、正規化波形に基づいてユーザを識別する。
　本実施形態によれば、歩行波形を正規化することによって、履物の種類によらず、歩容に基づいて個人を識別できる。
　（ハードウェア）
　ここで、本発明の各実施形態に係る識別装置を実現するハードウェア構成について、図２４の情報処理装置９０を一例として挙げて説明する。なお、図２４の情報処理装置９０は、各実施形態の識別装置を実現するための構成例であって、本発明の範囲を限定するものではない。
　図２４のように、情報処理装置９０は、プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５、および通信インターフェース９６を備える。図２４においては、インターフェースをＩ／Ｆ（Interface）と略して表記する。プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５、および通信インターフェース９６は、バス９８を介して互いにデータ通信可能に接続される。また、プロセッサ９１、主記憶装置９２、補助記憶装置９３および入出力インターフェース９５は、通信インターフェース９６を介して、インターネットやイントラネットなどのネットワークに接続される。
　プロセッサ９１は、補助記憶装置９３等に格納されたプログラムを主記憶装置９２に展開し、展開されたプログラムを実行する。本実施形態においては、情報処理装置９０にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ９１は、本実施形態に係る識別装置による処理を実行する。
　主記憶装置９２は、プログラムが展開される領域を有する。主記憶装置９２は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリとすればよい。また、ＭＲＡＭ（Magnetoresistive Random Access Memory）などの不揮発性メモリを主記憶装置９２として構成・追加してもよい。
　補助記憶装置９３は、種々のデータを記憶する。補助記憶装置９３は、ハードディスクやフラッシュメモリなどのローカルディスクによって構成される。なお、種々のデータを主記憶装置９２に記憶させる構成とし、補助記憶装置９３を省略することも可能である。
　入出力インターフェース９５は、情報処理装置９０と周辺機器とを接続するためのインターフェースである。通信インターフェース９６は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークを通じて、外部のシステムや装置に接続するためのインターフェースである。入出力インターフェース９５および通信インターフェース９６は、外部機器と接続するインターフェースとして共通化してもよい。
　情報処理装置９０には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器を接続するように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねる構成とすればよい。プロセッサ９１と入力機器との間のデータ通信は、入出力インターフェース９５に仲介させればよい。
　また、情報処理装置９０には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、情報処理装置９０には、表示機器の表示を制御するための表示制御装置（図示しない）が備えられていることが好ましい。表示機器は、入出力インターフェース９５を介して情報処理装置９０に接続すればよい。
　以上が、本発明の各実施形態に係る識別装置を可能とするためのハードウェア構成の一例である。なお、図２４のハードウェア構成は、各実施形態に係る識別装置の演算処理を実行するためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、各実施形態に係る識別装置に関する処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、各実施形態に係るプログラムが記録されたプログラム記録媒体も本発明の範囲に含まれる。記録媒体は、例えば、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光学記録媒体で実現できる。また、記録媒体は、ＵＳＢ（Universal Serial Bus）メモリやＳＤ（Secure Digital）カードなどの半導体記録媒体や、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現されてもよい。プロセッサが実行するプログラムが記録媒体に記録されている場合、その記録媒体はプログラム記録媒体に相当する。
　各実施形態の識別装置の構成要素は、任意に組み合わせることができる。また、各実施形態の識別装置の構成要素は、ソフトウェアによって実現してもよいし、回路によって実現してもよい。
　以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１１、２１　　データ取得装置
　１２、２２　　携帯端末
　１３、２３　　識別装置
　２４　　データベース
　２５　　制御対象装置
　１１１　　加速度センサ
　１１２　　角速度センサ
　１１３　　制御部
　１１５　　データ送信部
　１３１、２３１、３３１　　検出部
　１３２、２３２、３３２　　波形処理部
　１３３、２３３、３３３　　識別部
　２３４　　認証部
　２３５　　制御部

Claims (10)

  1. 　ユーザの歩行波形から歩行イベントを検出する検出手段と、
    　検出された前記歩行イベントに基づいて前記歩行波形を正規化して正規化波形を生成する波形処理手段と、
    　前記正規化波形に基づいてユーザを識別する識別手段と、を備える識別装置。
  2. 　前記波形処理手段は、
    　足底角の前記歩行波形を正規化して前記正規化波形を生成し、
    　生成された足底角の前記正規化波形に合わせて、３軸方向の加速度、３軸方向の角速度、および３軸方向の角度の各々の前記歩行波形を正規化して、３軸方向の加速度、３軸方向の角速度、および３軸方向の角度の各々の前記正規化波形を生成する請求項１に記載の識別装置。
  3. 　前記検出手段は、
    　足底角の二歩行周期分の前記歩行波形から、第１背屈ピーク、第１底屈ピーク、第２背屈ピーク、および第２底屈ピークを検出し、
    　前記第１背屈ピークの第１時刻と前記第１底屈ピークの第２時刻との中点の時刻を起点時刻に設定し、
    　前記第２背屈ピークの第３時刻と前記第２底屈ピークの第４時刻との中点の時刻を終点時刻に設定し、
    　前記波形処理手段は、
    　前記起点時刻から前記終点時刻までの一歩行周期分の前記歩行波形を切り出し、
    　切り出された一歩行周期分の前記歩行波形を、前記起点時刻から前記第２時刻までの第１分割波形と、前記第２時刻から前記第３時刻までの第２分割波形と、前記第３時刻から前記終点時刻までの第３分割波形とに分割し、
    　前記第１分割波形、前記第２分割波形、および前記第３分割波形の各々を正規化し、
    　正規化された前記第１分割波形、前記第２分割波形、および前記第３分割波形を統合することによって足底角の前記正規化波形を生成する請求項１または２に記載の識別装置。
  4. 　前記波形処理手段は、
    　一歩行周期のうち、前記第１分割波形が３０パーセントの分率になり、前記第２分割波形が４０パーセントの分率になり、前記第３分割波形が３０パーセントの分率になるように、前記第１分割波形、前記第２分割波形、および前記第３分割波形の各々を正規化する請求項３に記載の識別装置。
  5. 　前記識別手段は、
    　登録対象のユーザの３軸方向の加速度、３軸方向の角速度、および３軸方向の角度のうち少なくともいずれかの前記正規化波形から抽出された特徴量からなる予測子ベクトルと、前記登録対象のユーザの識別子とを教師データとして学習させた学習済みモデルに、識別対象のユーザの３軸方向の加速度、３軸方向の角速度、および３軸方向の角度のうち少なくともいずれかの前記正規化波形から抽出された特徴量を入力し、前記識別対象のユーザを識別する請求項１乃至４のいずれか一項に記載の識別装置。
  6. 　認証情報が格納されたデータベースにアクセスして、前記識別装置によって識別されたユーザの認証を行う認証手段をさらに備える請求項５に記載の識別装置。
  7. 　前記認証手段による認証結果に応じて制御対象装置を制御する制御手段をさらに備える請求項６に記載の識別装置。
  8. 　請求項１乃至７のいずれか一項に記載の識別装置と、
    　３軸方向の加速度および３軸方向の角速度のうち少なくともいずれかを計測するセンサを有するデータ取得装置と、を備える識別システム。
  9. 　コンピュータが、
    　ユーザの歩行波形から歩行イベントを検出し、
    　検出された前記歩行イベントに基づいて前記歩行波形を正規化して正規化波形を生成し、
    　前記正規化波形に基づいてユーザを識別する識別方法。
  10. 　ユーザの歩行波形から歩行イベントを検出する処理と、
    　検出された前記歩行イベントに基づいて前記歩行波形を正規化して正規化波形を生成する処理と、
    　前記正規化波形に基づいてユーザを識別する処理と、をコンピュータに実行させるプログラムが記録された非一過性のプログラム記録媒体。
PCT/JP2020/028346 2020-07-22 2020-07-22 識別装置、識別システム、識別方法、およびプログラム記録媒体 WO2022018837A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/015,876 US20230259595A1 (en) 2020-07-22 2020-07-22 Identification device, identification method, and program recording medium
JP2022538537A JPWO2022018837A5 (ja) 2020-07-22 識別装置、識別システム、識別方法、およびプログラム
PCT/JP2020/028346 WO2022018837A1 (ja) 2020-07-22 2020-07-22 識別装置、識別システム、識別方法、およびプログラム記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/028346 WO2022018837A1 (ja) 2020-07-22 2020-07-22 識別装置、識別システム、識別方法、およびプログラム記録媒体

Publications (1)

Publication Number Publication Date
WO2022018837A1 true WO2022018837A1 (ja) 2022-01-27

Family

ID=79729106

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028346 WO2022018837A1 (ja) 2020-07-22 2020-07-22 識別装置、識別システム、識別方法、およびプログラム記録媒体

Country Status (2)

Country Link
US (1) US20230259595A1 (ja)
WO (1) WO2022018837A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004344418A (ja) * 2003-05-22 2004-12-09 Anima Kk 三次元動作解析装置
JP2005078228A (ja) * 2003-08-28 2005-03-24 Casio Comput Co Ltd 個人認証装置及びプログラム
JP2006087735A (ja) * 2004-09-24 2006-04-06 Aisin Seiki Co Ltd 歩行解析装置
JP2015153143A (ja) * 2014-02-14 2015-08-24 株式会社日立システムズ 入館管理システム
JP2018042745A (ja) * 2016-09-14 2018-03-22 日本電信電話株式会社 認証システム、認証装置および認証方法
US20180089408A1 (en) * 2016-09-27 2018-03-29 Hong Kong Baptist University Biometric authentication based on gait pattern or writing motion with an inertial measurement unit

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004344418A (ja) * 2003-05-22 2004-12-09 Anima Kk 三次元動作解析装置
JP2005078228A (ja) * 2003-08-28 2005-03-24 Casio Comput Co Ltd 個人認証装置及びプログラム
JP2006087735A (ja) * 2004-09-24 2006-04-06 Aisin Seiki Co Ltd 歩行解析装置
JP2015153143A (ja) * 2014-02-14 2015-08-24 株式会社日立システムズ 入館管理システム
JP2018042745A (ja) * 2016-09-14 2018-03-22 日本電信電話株式会社 認証システム、認証装置および認証方法
US20180089408A1 (en) * 2016-09-27 2018-03-29 Hong Kong Baptist University Biometric authentication based on gait pattern or writing motion with an inertial measurement unit

Also Published As

Publication number Publication date
US20230259595A1 (en) 2023-08-17
JPWO2022018837A1 (ja) 2022-01-27

Similar Documents

Publication Publication Date Title
US10860091B2 (en) Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
Milosevic et al. Kinect and wearable inertial sensors for motor rehabilitation programs at home: State of the art and an experimental comparison
US11474593B2 (en) Tracking user movements to control a skeleton model in a computer system
US20120232430A1 (en) Universal actigraphic device and method of use therefor
US20150288687A1 (en) Systems and methods for sensor based authentication in wearable devices
WO2021140658A1 (ja) 異常検出装置、判定システム、異常検出方法、およびプログラム記録媒体
US11175729B2 (en) Orientation determination based on both images and inertial measurement units
US11079860B2 (en) Kinematic chain motion predictions using results from multiple approaches combined via an artificial neural network
CN106062681A (zh) 通过关联触摸输入的加速度来对触笔进行歧义消除
CN110221683A (zh) 动作检测系统、动作检测方法及其计算机可读记录介质
WO2020009715A2 (en) Tracking user movements to control a skeleton model in a computer system
WO2020240751A1 (ja) 情報処理装置、個人識別装置、個人識別システム、情報処理方法及び記憶媒体
WO2022018837A1 (ja) 識別装置、識別システム、識別方法、およびプログラム記録媒体
WO2021140587A1 (ja) 検出装置、検出システム、検出方法、およびプログラム記録媒体
JP7480852B2 (ja) 計算装置、歩容計測システム、計算方法、およびプログラム
WO2022091319A1 (ja) 判別装置、判別システム、判別方法、およびプログラム記録媒体
WO2023067694A1 (ja) データ生成装置、学習システム、推定装置、データ生成方法、および記録媒体
WO2022118379A1 (ja) 歩行指標計算装置、歩行指標計算システム、歩行指標計算方法、およびプログラム記録媒体
KR102022678B1 (ko) 웨어러블 디바이스 기반의 시그니처 정보를 인식하여 휴대용 전자기기를 활성화하는 시스템 및 방법
KR102399672B1 (ko) 보행 시간-주파수 분석에 기초한 개인 식별 방법 및 시스템
Wang et al. Wearable motion sensing devices and algorithms for precise healthcare diagnostics and guidance
CN116869490B (zh) 基于人工智能的前庭康复训练动态评估系统
WO2022201338A1 (ja) 特徴量生成装置、歩容計測システム、特徴量生成方法、および記録媒体
Chang Robust and Large-scale Human Motion Estimation with Low-cost Sensors
Chang et al. Opportunistic calibration of sensor orientation using the kinect and inertial measurement unit sensor fusion

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20945840

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022538537

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20945840

Country of ref document: EP

Kind code of ref document: A1