WO2024121917A1 - 内部状態推定装置及び内部状態推定方法 - Google Patents

内部状態推定装置及び内部状態推定方法 Download PDF

Info

Publication number
WO2024121917A1
WO2024121917A1 PCT/JP2022/044804 JP2022044804W WO2024121917A1 WO 2024121917 A1 WO2024121917 A1 WO 2024121917A1 JP 2022044804 W JP2022044804 W JP 2022044804W WO 2024121917 A1 WO2024121917 A1 WO 2024121917A1
Authority
WO
WIPO (PCT)
Prior art keywords
internal state
timing
information
unit
environmental information
Prior art date
Application number
PCT/JP2022/044804
Other languages
English (en)
French (fr)
Inventor
仁 加藤
雄大 中村
篤 松本
遼平 村地
優哉 大萩
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2022/044804 priority Critical patent/WO2024121917A1/ja
Publication of WO2024121917A1 publication Critical patent/WO2024121917A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators

Definitions

  • This disclosure relates to an internal state estimation device and an internal state estimation method.
  • Patent Document 1 discloses a technology that measures two types of biofluctuations, heart rate fluctuations and chaotic fluctuations, from the driver's pulse waves, and estimates four states that impair the driver's driving, namely, "depressed state of reduced adaptability,” “drowsiness and fatigue,” “tension and elation state,” and “stress state,” based on these two types of biofluctuations.
  • Patent Document 1 The technology described in Patent Document 1 (hereinafter also referred to simply as “conventional technology”) estimates the driver's internal state, such as emotions, by using pulse waves as biometric information of the driver.
  • biometric information such as pulse waves does not necessarily change in association with changes in the driver's internal state, and may change due to actions that do not involve changes in the driver's internal state, such as breathing and talking.
  • the above-mentioned conventional technology may erroneously estimate the driver's internal state.
  • the present disclosure has been made to solve the problems described above, and aims to provide an internal state estimation device that can reduce erroneous estimation of the internal state of a vehicle occupant.
  • the internal state estimation device includes a first extraction unit that extracts a first timing, which is the timing at which a characteristic change occurs in biometric information acquired from a vehicle occupant in a time series, based on the biometric information; a second extraction unit that extracts a second timing, which is the timing at which a change occurs in environmental information, which is information acquired in a time series, and is information whose change affects the internal state of the occupant; a determination unit that determines whether the first timing extracted by the first extraction unit occurs before the second timing extracted by the second extraction unit; and an estimation unit that estimates the internal state of the occupant based on at least one of the biometric information and the environmental information, and the estimation unit is characterized in that it determines whether the internal state can be estimated depending on the determination result by the determination unit.
  • the above configuration makes it possible to reduce erroneous estimation of the internal state of the vehicle occupant.
  • FIG. 1 is a diagram illustrating an example of a configuration of an internal state estimating device according to a first embodiment.
  • 4 is a flowchart showing an example of operation of the internal state estimating device according to the first embodiment;
  • 5A to 5C are diagrams showing specific examples of bioinformation (heart rate) and environmental information (gear position) in embodiment 1.
  • FIG. 4A is a diagram showing an example of the configuration of a first database in embodiment 1
  • FIG. 4B is a diagram showing an example of the configuration of a second database in embodiment 1
  • FIG. 4C is a diagram showing an example of the configuration of a third database in embodiment 1.
  • 5A to 5C are diagrams illustrating effects of the internal state estimating device according to the first embodiment.
  • FIG. 6A and 6B are diagrams illustrating an example of a hardware configuration of the internal state estimating device according to the first embodiment.
  • FIG. 11 is a diagram illustrating an example of a configuration of an internal state estimating device according to a second embodiment.
  • FIG. 13 is a diagram illustrating an example of movement of the estimation target section in embodiment 2.
  • 13A to 13C are diagrams showing specific examples of bioinformation (heart rate) and environmental information (gear position) in embodiment 2.
  • FIG. 13 is a diagram illustrating an example of the configuration of an internal state estimating device according to a third embodiment.
  • FIG. 11A is a diagram showing an example of the order of the first timing and the second timing in embodiment 1
  • FIG. 11B is a diagram showing an example of the order of the first timing and the second timing in embodiment 3.
  • Embodiment 1. 1 is a diagram showing an example of a configuration of an internal state estimating device 10 according to embodiment 1.
  • the internal state estimating device 10 estimates the internal state of a vehicle occupant. Note that the vehicle occupant may be the driver of the vehicle or a passenger.
  • the internal state estimation device 10 includes a biometric information acquisition unit 11, an environmental information acquisition unit 12, a feature change extraction unit (first extraction unit) 13, an environmental information change extraction unit (second extraction unit) 14, a timing determination unit (determination unit) 15, and an internal state estimation unit (estimation unit) 16.
  • the biometric information acquisition unit 11 is connected to a biometric information detection unit (not shown) that detects biometric information P(k) from a vehicle occupant.
  • the biometric information acquisition unit 11 acquires the biometric information P(k) detected in time series by the biometric information detection unit from the biometric information detection unit.
  • the biometric information acquisition unit 11 outputs the acquired biometric information P(k) to the feature change extraction unit 13.
  • the biometric information P(k) is, for example, at least one of information indicating the occupant's heart rate, information indicating a pulse wave, a pulse, and information indicating a facial image.
  • the biometric information detection unit that detects the biometric information P(k) is composed of, for example, a heart rate sensor, a pulse wave sensor, a pulse sensor, a camera, etc.
  • the environmental information acquisition unit 12 is connected to an environmental information detection unit (not shown) that detects environmental information E(i).
  • the environmental information acquisition unit 12 acquires the environmental information E(i) detected in time series by the environmental information detection unit from the environmental information detection unit.
  • the environmental information acquisition unit 12 outputs the acquired environmental information E(i) to the environmental information change extraction unit 14.
  • environmental information E(i) is information that affects the internal state of the occupant when it changes, or more specifically, information that causes a change in the internal state of the occupant when it changes, and is mainly information about external factors other than the occupant.
  • the environmental information E(i) may, for example, be internal information about the vehicle (in-vehicle information), external information about the vehicle (external information), and vehicle control information.
  • vehicle control information may include, for example, information about the gear position, navigation information, information about steering operation, and information about pedal operation such as the accelerator pedal and brake pedal.
  • the environmental information detection unit that detects the environmental information E(i) may be configured, for example, with a control device, navigation system, sensor, and camera mounted on the vehicle.
  • the internal state of the occupant may, for example, include the occupant's emotions as well as the occupant's state of stress, fatigue, or depression.
  • k in biometric information P(k) is an input number assigned to the biometric information
  • i in environmental information E(i) is an input number assigned to the environmental information, both being integers equal to or greater than 1.
  • the values of k and i are not necessarily the same. For example, one second after the internal state estimation device 10 starts the internal state estimation process, k may be "30" and i may be "15". This corresponds to the internal state estimation device 10 acquiring 30 pieces of biometric information P(k) and 15 pieces of environmental information E(i) one second after the internal state estimation device 10 starts the internal state estimation process.
  • the characteristic change extraction unit 13 acquires biometric information P(k) from the biometric information acquisition unit 11. Based on the biometric information P(k) acquired from the biometric information acquisition unit 11, the characteristic change extraction unit 13 extracts a first timing kF, which is the timing at which a characteristic change occurs in the biometric information P(k).
  • a specific time change in the biometric information P(k) refers to a change in the biometric information P(k) that has occurred mainly due to a change in the internal state of the occupant, or a change in the biometric information P(k) that may have occurred due to a change in the internal state of the occupant.
  • the biometric information P(k) is a heart rate
  • a specific time change in the heart rate refers to the heart rate acquired in a time series exceeding a specific upper threshold or the heart rate falling below a specific lower threshold.
  • the feature change extraction unit 13 outputs the extracted first timing kF to the timing determination unit 15. In addition, the feature change extraction unit 13 regards the biometric information P(k) used to extract the first timing kF as the feature change extraction result F(kF), and outputs the feature change extraction result F(kF) to the internal state estimation unit 16.
  • the environmental information change extraction unit 14 acquires environmental information E(i) from the environmental information acquisition unit 12. Based on the environmental information E(i) acquired from the environmental information acquisition unit 12, the environmental information change extraction unit 14 extracts a second timing iZ, which is the timing at which a change occurs in the environmental information E(i).
  • the environmental information change extraction unit 14 determines that a change has occurred in the environmental information E(i) acquired from the environmental information acquisition unit 12 when a specific time change occurs in the environmental information E(i).
  • a specific time change in the environmental information E(i) means, for example, if the environmental information E(i) is a gear position, that the gear position has changed from drive gear to reverse gear, or, if the environmental information E(i) is navigation information, that the vehicle's driving scene has changed (for example, the vehicle has entered an expressway from an ordinary road), etc.
  • the environmental information change extraction unit 14 outputs the extracted second timing iZ to the timing determination unit 15. In addition, the environmental information change extraction unit 14 sets the environmental information E(i) used to extract the second timing iZ as the environmental information change extraction result Z(iZ), and outputs the environmental information change extraction result Z(iZ) to the internal state estimation unit 16.
  • the timing determination unit 15 acquires the first timing kF output from the feature change extraction unit 13 and the second timing iZ output from the environmental information change extraction unit 14. The timing determination unit 15 then determines which of the acquired first timing kF and second timing iZ occurs first, and outputs the determination result RT(kF, iZ) to the internal state estimation unit 16.
  • the internal state estimation unit 16 acquires the feature change extraction result F(kF) output from the feature change extraction unit 13 and the environmental information change extraction result Z(iZ) output from the environmental information change extraction unit 14. The internal state estimation unit 16 also acquires the judgment result RT(kF, iZ) output from the timing judgment unit 15.
  • the internal state estimation unit 16 estimates the internal state of the occupant based on at least one of the feature change extraction result F(kF) (i.e., biometric information P(k)) obtained from the feature change extraction unit 13 and the environmental information change extraction result Z(iZ) (i.e., environmental information E(i)) obtained from the environmental information change extraction unit 14. At this time, the internal state estimation unit 16 determines whether or not to estimate the internal state of the occupant depending on the judgment result RT(kF, iZ) obtained from the timing judgment unit 15.
  • F(kF) i.e., biometric information P(k)
  • Z(iZ) environmental information change extraction result
  • the internal state estimation unit 16 is permitted to execute internal state estimation when the timing determination unit 15 determines that the first timing kF precedes the second timing iZ, or when the first timing kF and the second timing iZ are simultaneous. That is, in either of the above cases, the internal state estimation unit 16 estimates the internal state of the occupant based on at least one of the feature change extraction result F(kF) (i.e., bioinformation P(k)) obtained from the feature change extraction unit 13 and the environmental information change extraction result Z(iZ) (i.e., environmental information E(i)) obtained from the environmental information change extraction unit 14. Then, the internal state estimation unit 16 outputs the estimation result R(t).
  • F(kF) i.e., bioinformation P(k)
  • Z(iZ) environmental information change extraction result
  • E(i) environmental information E(i)
  • the internal state estimation unit 16 does not perform estimation of the internal state. In other words, if the timing determination unit 15 determines that the first timing kF is later than the second timing iZ, the internal state estimation unit 16 does not estimate the internal state of the vehicle occupant.
  • the biometric information acquisition unit 11 acquires biometric information P(k) detected in time series by a biometric information detection unit (not shown) from the biometric information detection unit (step ST1).
  • the biometric information acquisition unit 11 outputs the acquired biometric information P(k) to the feature change extraction unit 13.
  • the characteristic change extraction unit 13 extracts a first timing kF, which is the timing at which a characteristic change occurs in the biometric information P(k) based on the biometric information P(k) acquired from the biometric information acquisition unit 11 (step ST2).
  • the characteristic change extraction unit 13 also outputs the extracted first timing kF to the timing determination unit 15, and outputs the biometric information P(k) used to extract the first timing kF to the internal state estimation unit 16 as a characteristic change extraction result F(kF).
  • the environmental information acquisition unit 12 acquires environmental information E(i) detected in time series by an environmental information detection unit (not shown) from the environmental information detection unit (step ST3).
  • the environmental information acquisition unit 12 outputs the acquired environmental information E(i) to the environmental information change extraction unit 14.
  • the environmental information change extraction unit 14 extracts a second timing iZ, which is the timing at which a change occurs in the environmental information E(i), based on the environmental information E(i) acquired from the environmental information acquisition unit 12 (step ST4).
  • the environmental information change extraction unit 14 also outputs the extracted second timing iZ to the timing determination unit 15, and outputs the environmental information E(i) used to extract the second timing iZ to the internal state estimation unit 16 as the environmental information change extraction result Z(iZ).
  • steps ST1 and ST2 and steps ST3 and ST4 described above may be performed in parallel.
  • the timing determination unit 15 determines which of the first timing kF and the second timing iZ occurs first (step ST5).
  • the timing determination unit 15 also outputs the determination result RT(kF, iZ) to the internal state estimation unit 16.
  • the timing determination unit 15 determines that the first timing kF is earlier than the second timing iZ, or that the first timing kF and the second timing iZ are simultaneous, the timing determination unit 15 sets the determination result RT(kF, iZ) to "1.” On the other hand, if the timing determination unit 15 determines that the first timing kF is later than the second timing iZ, the timing determination unit 15 sets the determination result RT(kF, iZ) to "0.”
  • the internal state estimation unit 16 checks whether the judgment result RT(kF, iZ) obtained from the timing judgment unit 15 is "1", that is, whether it has been judged that the first timing kF precedes the second timing iZ, or that the first timing kF and the second timing iZ are simultaneous (step ST6). As a result, if the judgment result RT(kF, iZ) is not "1" (step ST6; NO), the internal state estimation unit 16 rejects the execution of internal state estimation and ends the process. On the other hand, if the judgment result RT(kF, iZ) is "1" (step ST6; YES), the process transitions to step ST7.
  • the internal state estimation unit 16 enables internal state estimation and estimates the internal state of the vehicle occupant based on at least one of the feature change extraction result F(kF) (i.e., the biometric information P(k)) obtained from the feature change extraction unit 13 and the environmental information change extraction result Z(iZ) (i.e., the environmental information E(i)) obtained from the environmental information change extraction unit 14 (step ST7). Then, the internal state estimation unit 16 outputs the estimation result R(t).
  • F(kF) i.e., the biometric information P(k)
  • Z(iZ) i.e., the environmental information E(i)
  • the biometric information P(k) is the occupant's heart rate and the environmental information E(i) is the vehicle's gear position.
  • the biometric information acquisition unit 11 acquires one heart rate of the occupant per second, for a total of 15 pieces
  • the environmental information acquisition unit 12 acquires one gear position of the vehicle per second, for a total of 15 pieces. Specific examples of heart rates and gear positions in the above case are shown in FIG. 3.
  • the specific change in heart rate over time that is the criterion for determining that a characteristic change has occurred in the heart rate is when the heart rate exceeds the upper threshold value of "1.3.”
  • the internal state estimation unit 16 checks whether the judgment result RT(kF, iZ) obtained from the timing judgment unit 15 is "1" or not (corresponding to step ST6 described above). As a result, since the judgment result RT(kF, iZ) is "1", the internal state estimation unit 16 allows the execution of internal state estimation and estimates the internal state of the occupant based on at least one of the 15 heart rates and the 15 gear positions (corresponding to step ST7 described above).
  • the internal state estimation unit 16 estimates the internal state of the occupant, for example, by using a database for internal state estimation that has been generated in advance. Note that this database is recorded in advance in a recording unit (not shown) provided in the internal state estimation device 10.
  • this database (hereinafter also referred to as the "first database”) is configured by associating information (hereinafter also referred to as the "first change information”) that specifies the manner of change (progression) of the 15 pieces of bioinformation P(k) derived from the feature change extraction result F(kF) with information that indicates the internal state of the occupant (hereinafter also referred to as the "internal state information").
  • first change information information that specifies the manner of change (progression) of the 15 pieces of bioinformation P(k) derived from the feature change extraction result F(kF) with information that indicates the internal state of the occupant.
  • the first change information is set to "heart rate has risen to 1.5 (exceeding the upper threshold of 1.3)", and "tension” is set as the internal state information associated with this first change information.
  • the first change information is set to "heart rate has risen to 1.7 (exceeding the upper threshold of 1.3)", and "nervous” is set as the internal state information associated with this first change information.
  • the change in bioinformation P(k) indicated in the first change information also includes the characteristic change (exceeding the upper threshold of 1.3) that occurred at the first timing kF described above.
  • the first change information is set to "heart rate has risen to 1.9 (exceeding the upper threshold of 1.3)," and "pressure” is set as the internal state information associated with this first change information.
  • the first change information is set to "heart rate has risen to 2.1 (exceeding the upper threshold of 1.3),” and "anxiety” is set as the internal state information associated with this first change information.
  • the internal state estimation unit 16 searches the first database using the fact that the heart rate has risen to 1.9 (i.e., the manner in which the heart rate has changed) as a key, and identifies "pressure" as the internal state information that corresponds to that key.
  • the internal state estimation unit 16 then outputs the estimation result of the occupant's internal state as "pressure" based on the identified internal state information.
  • the first change information is set to "the heart rate has fallen to 0.6 (below the lower threshold of 0.7)," and "fatigue,” for example, is set as the internal state information associated with this first change information.
  • this database (hereinafter also referred to as the "second database”) is configured by associating information (hereinafter also referred to as the "second change information”) that specifies the manner of change (transition) of environmental information E(i) derived from the environmental information change extraction result Z(iZ) with information that indicates the internal state of the occupant (internal state information).
  • the change in environmental information E(i) indicated in the second change information also includes the change in environmental information E(i) that occurred at the second timing iZ described above.
  • the second change information is set to "the gear position has changed from drive gear to reverse gear", and the internal state information associated with this second change information is set to "nervous”.
  • the second change information is set to "the gear position has changed from drive gear to parking gear (P)", and the internal state information associated with this second change information is set to "calm”.
  • the second change information is set to "the gear position has changed from drive gear to neutral gear (N)", and the internal state information associated with this second change information is set to "caution".
  • the internal state estimation unit 16 searches the second database using the fact that the gear position has been changed from drive gear to reverse gear (i.e., the manner in which the gear position has changed) as a key, and identifies "tension", which is the internal state information that corresponds to that key. Then, the internal state estimation unit 16 outputs the estimation result of the occupant's internal state as "tension” based on the identified internal state information.
  • the environmental information E(i) is the gear position
  • the environmental information E(i) is brake pedal operation information
  • the second change information may be set to, for example, "the number of times the brake pedal is depressed in a given period of time has increased to 8 (exceeding the upper threshold value of 5)," and the internal state information associated with this second change information may be set to, for example, "impatience.”
  • this database (hereinafter also referred to as the "third database”) is formally configured as a combination of the first and second databases described above. Specifically, this third database is configured by associating a combination of the first change information and second change information described above with internal state information.
  • a combination of change information is set to "the gear position has been changed from drive gear to reverse gear, and the heart rate has increased to 1.5 (exceeding the upper threshold of 1.3)," and “tension” is set as the internal state information associated with that combination.
  • a combination of change information is set to "the gear position has been changed from drive gear to reverse gear, and the heart rate has increased to 1.7 (exceeding the upper threshold of 1.3),” and "nervous” is set as the internal state information associated with that combination.
  • the combination of change information is set to "the gear position has been changed from drive gear to reverse gear, and the heart rate has risen to 1.9 (exceeding the upper threshold of 1.3)," and "pressure” is set as the internal state information associated with that combination.
  • the combination of change information is set to "the gear position has been changed from drive gear to reverse gear, and the heart rate has risen to 2.1 (exceeding the upper threshold of 1.3),” and "anxiety” is set as the internal state information associated with that combination.
  • the internal state estimation unit 16 searches the third database using the fact that the gear position has been changed from drive gear to reverse gear and that the heart rate has risen to 1.9 (i.e., the manner of change in both the gear position and the heart rate) as a key, and identifies "heavy pressure", which is the internal state information that corresponds to the key. Then, the internal state estimation unit 16 outputs the estimation result of the internal state of the vehicle occupant as "heavy pressure" based on the identified internal state information.
  • the internal state estimation unit 16 can estimate the internal state of the occupant with high accuracy by estimating the internal state of the occupant using, for example, any one of the first to third databases. Note that if the internal state estimation unit 16 estimates the internal state of the occupant using the third database, it can estimate the internal state of the occupant based on the relationship between the heart rate, which is the biometric information P(k), and the gear position, which is the environmental information E(i), and therefore the estimation accuracy can be improved compared to estimating the internal state of the occupant using the first or second database.
  • an emotion model defined in, for example, Russell's emotion circumplex model can be used to construct each of the databases.
  • Russell's Circumplex Model of Emotions is a model that shows that all emotions are arranged in a circular pattern on a plane that is expressed in two dimensions: "pleasant-unpleasant” and "arousal-unarousal.” Many different emotion models have been proposed, but Russell's Circumplex Model of Emotions is expressed in a simple structure and can be comprehensively applied to all emotions, making it ideal for use in constructing the above databases.
  • the administrator of the internal state estimation device 10 can construct each of the above databases by, for example, using each of the above emotions as an internal state. Note that at least one of the first change information and the second change information must be associated with each internal state, as shown in Figures 4A to 4C.
  • the contents of the first change information, second change information, and internal state information in each database described above are merely examples, and contents other than those described above may be set.
  • the occupant's emotions tension, etc.
  • the internal state information is not limited to this, and for example, the occupant's stressed state, fatigued state, or depressed state may be used.
  • the name of the occupant's emotions such as "tension”
  • the internal state information in each database is not limited to this, and for example, information that quantifies the occupant's emotions may be set.
  • each database described above may be set with different information for each occupant, for example.
  • the occupant may appropriately select the emotion (e.g., impatience, tension, energy, etc.) that they wish to estimate as their own internal state and the type of environmental information E(i) (e.g., gear position, navigation information, etc.), and may generate each of the above databases in advance based on the selected emotion and type of environmental information E(i).
  • the occupant can use a database customized for estimating their own internal state, improving convenience.
  • the internal state estimation unit 16 uses the judgment result RT(kF, iZ) between the first timing kF and the second timing iZ obtained from the timing judgment unit 15 when deciding whether to perform the internal state estimation process, but the internal state estimation unit 16 is not limited to this, and may use, for example, the judgment result RT(kF, iZ) obtained from the timing judgment unit 15 as it is to estimate the internal state of the occupant.
  • the internal state estimation unit 16 may output an estimation result R(t) indicating that the internal state of the occupant is "tension”.
  • the timing determination unit 15 may set the determination result RT(kF, iZ) to "1" if there is at least one case in which the first timing kF precedes the second timing iZ or the first timing kF and the second timing iZ are simultaneous in the extracted timing group.
  • the internal state estimation unit 16 may estimate the internal state of the occupant using, for example, a machine learning model generated for internal state estimation.
  • the machine learning model may be, for example, any one of the following: (1) a model trained to output internal state information corresponding to an input of first change information derived from the feature change extraction result F(kF), (2) a model trained to output internal state information corresponding to an input of second change information derived from the environmental information change extraction result Z(iZ), and (3) a model trained to output internal state information corresponding to a combination of the first change information and the second change information, when a combination of the first change information and the second change information is input.
  • the internal state estimation unit 16 may also estimate the internal state of the occupant in a manner similar to that of the conventional technology described above. For example, the internal state estimation unit 16 may measure two types of biological fluctuations, heart rate fluctuations and chaotic fluctuations, from the occupant's pulse wave acquired as biological information P(k), and estimate the occupant's internal state based on these two types of biological fluctuations.
  • the internal state estimation unit 16 may also output the estimation result of the occupant's internal state in two stages, such as “anxious” or “anxious,” or in multiple stages (e.g., 0-100 stages), such as “anxiety on a 90/100 scale.”
  • the internal state estimation unit 16 determines whether or not to estimate the internal state of the occupant, depending on the result of the determination by the timing determination unit 15. Specifically, the internal state estimation unit 16 allows the estimation of the internal state when the timing determination unit 15 determines that the first timing kF is earlier than the second timing iZ, or when the first timing kF and the second timing iZ are simultaneous. On the other hand, the internal state estimation unit 16 denies the estimation of the internal state when the timing determination unit 15 determines that the first timing kF is later than the second timing iZ.
  • the internal state estimation device 10 can prevent erroneous estimation of the internal state of an occupant based on a change in biometric information that is not accompanied by a change in the internal state of the occupant.
  • the conventional technology described above estimates the driver's internal state, such as emotions, by using the pulse wave as biometric information of the driver.
  • biometric information such as the pulse wave
  • W2 in FIG. 5 the driver's internal state
  • W1 in FIG. 5 the conventional technology described above may capture the change in W1 and erroneously estimate the driver's internal state as "tension,” for example.
  • the internal state estimation device 10 according to embodiment 1 prevents such problems from occurring.
  • the functions of the bioinformation acquisition unit 11, the environmental information acquisition unit 12, the feature change extraction unit 13, the environmental information change extraction unit 14, the timing determination unit 15, and the internal state estimation unit 16 in the internal state estimation device 10 are realized by processing circuits.
  • the processing circuit may be dedicated hardware as shown in FIG. 6A, or may be a CPU (also called a Central Processing Unit, central processing unit, processing unit, arithmetic unit, microprocessor, microcomputer, processor, or DSP (Digital Signal Processor)) 22 that executes a program stored in memory 23 as shown in FIG. 6B.
  • CPU also called a Central Processing Unit, central processing unit, processing unit, arithmetic unit, microprocessor, microcomputer, processor, or DSP (Digital Signal Processor)
  • the processing circuit 21 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or a combination of these.
  • the functions of each of the bioinformation acquisition unit 11, the environmental information acquisition unit 12, the feature change extraction unit 13, the environmental information change extraction unit 14, the timing determination unit 15, and the internal state estimation unit 16 may be realized by the processing circuit 21 individually, or the functions of each unit may be realized collectively by the processing circuit 21.
  • the processing circuit When the processing circuit is a CPU 22, the functions of the biometric information acquisition unit 11, environmental information acquisition unit 12, feature change extraction unit 13, environmental information change extraction unit 14, timing determination unit 15, and internal state estimation unit 16 are realized by software, firmware, or a combination of software and firmware.
  • the software and firmware are written as programs and stored in memory 23.
  • the processing circuit realizes the functions of each unit by reading and executing the programs stored in memory 23.
  • the internal state estimation device 10 has a memory for storing a program that, when executed by the processing circuit, results in the execution of each step shown in FIG. 2, for example.
  • Examples of memory 23 include non-volatile or volatile semiconductor memory such as RAM (RAM access memory), ROM (read only memory), flash memory, EPROM (erasable programmable ROM), EEPROM (electrically EPROM), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (digital versatile disk), etc.
  • biometric information acquisition unit 11 environmental information acquisition unit 12, feature change extraction unit 13, environmental information change extraction unit 14, timing determination unit 15, and internal state estimation unit 16 may be partially realized by dedicated hardware and partially realized by software or firmware.
  • the function of the biometric information acquisition unit 11 may be realized by a processing circuit as dedicated hardware, and the functions of the environmental information acquisition unit 12, feature change extraction unit 13, environmental information change extraction unit 14, timing determination unit 15, and internal state estimation unit 16 may be realized by the processing circuit reading and executing a program stored in memory 23.
  • the processing circuitry can realize each of the above-mentioned functions through hardware, software, firmware, or a combination of these.
  • the internal state estimation device 10 includes a characteristic change extraction unit 13 that extracts a first timing kF, which is a timing at which a characteristic change occurs in biometric information P(k) acquired from a vehicle occupant in a time series, based on the biometric information P(k), an environmental information change extraction unit 14 that extracts a second timing iZ, which is a timing at which a change occurs in the environmental information, based on environmental information E(i), which is information acquired in a time series and whose change affects the internal state of the occupant, a timing determination unit 15 that determines whether the first timing kF extracted by the characteristic change extraction unit 13 occurs before or after the second timing iZ extracted by the environmental information change extraction unit 14, and an internal state estimation unit 16 that estimates the internal state of the occupant based on at least one of the biometric information P(k) and the environmental information E(i), and the internal state estimation unit 16 determines whether or not to estimate the internal state depending on the determination result by the timing determination unit 15.
  • a characteristic change extraction unit 13
  • the internal state estimation unit 16 allows estimation of the internal state when the timing determination unit 15 determines that the first timing kF precedes the second timing iZ, or when the first timing kF and the second timing iZ are simultaneous. This makes it possible for the internal state estimation device 10 according to embodiment 1 to accurately suppress erroneous estimation of the internal state of the occupant.
  • the internal state estimation unit 16 also estimates the internal state of the occupant using a database in which at least one of the first change information, which is information defining the manner of change in the bioinformation P(k) including a characteristic change at a first timing kF, and the second change information, which is information defining the manner of change in the environmental information E(i) including a change at a second timing iZ, is associated with information indicating the internal state of the occupant.
  • the first change information which is information defining the manner of change in the bioinformation P(k) including a characteristic change at a first timing kF
  • the second change information which is information defining the manner of change in the environmental information E(i) including a change at a second timing iZ
  • the biometric information P(k) is at least one of information indicating the occupant's heart rate, information indicating the occupant's pulse, and information indicating an image of the occupant's face.
  • the internal state estimation device 10 according to embodiment 1 can suppress erroneous estimation of the occupant's internal state by using information that can be easily obtained from the occupant.
  • the environmental information E(i) is at least one of the vehicle's internal information, the vehicle's external information, and the vehicle's control information.
  • the internal state estimation device 10 according to the first embodiment can suppress erroneous estimation of the internal state of the occupant by using information that can be easily acquired from the vehicle.
  • Embodiment 2 In the first embodiment, an internal state estimation device is described that determines whether or not an occupant's internal state can be estimated depending on the result of determining whether the first timing kF and the second timing iZ occur before or after the second timing iZ. In the second embodiment, an internal state estimation device is described that sets an estimation target section having a predetermined time range on a time series in which the bioinformation P(k) and the environmental information E(i) are acquired, and determines whether or not the internal state can be estimated for each estimation target section.
  • FIG. 7 is a diagram showing an example configuration of an internal state estimation device 10b according to embodiment 2.
  • a target section setting unit 17 is added to the internal state estimation device 10 according to embodiment 1 shown in FIG. 1.
  • the other configuration of the internal state estimation device 10b according to embodiment 2 is the same as that of the internal state estimation device 10 according to embodiment 1 shown in FIG. 1, so the same reference numerals are used and the description thereof is omitted.
  • the target section setting unit 17 sets an estimation target section L having a predetermined time range on the time series in which the bioinformation P(k) and environmental information E(i) are acquired.
  • the estimation target section L determines the section on the time series in which the bioinformation P(k) and environmental information E(i) are acquired that is the target for estimating the internal state of the occupant by the internal state estimation device 10b.
  • the target interval setting unit 17 can also move the estimation target interval L in the time direction (the direction in which time advances) each time a predetermined condition is satisfied, for example as shown in FIG. 8.
  • the predetermined condition is, for example, that the biometric information acquisition unit 11 acquires st pieces of biometric information P(k) (st is an integer equal to or greater than 1).
  • the target interval setting unit 17 moves the estimation target interval L in the time direction each time the biometric information acquisition unit 11 acquires st pieces of biometric information P(k).
  • the feature change extraction unit 13 extracts the first timing kF
  • the environmental information change extraction unit 14 extracts the second timing iZ
  • the timing determination unit 15 determines whether it is before or after
  • the internal state estimation unit 16 estimates the internal state.
  • the estimation target section L is moved by the target section setting unit 17, the above-mentioned processes are performed for each estimation target section L after the move.
  • the feature change extraction unit 13 extracts a first timing kF based on Tp pieces of biometric information P(k-Tp+1) to P(k) included in the estimation target section L set by the target section setting unit 17, out of the biometric information P(k) acquired from the occupant in chronological order.
  • the feature change extraction unit 13 also outputs the extracted first timing kF to the timing determination unit 15, and outputs the Tp pieces of biometric information P(k-Tp+1) to P(k) used to extract the first timing kF as the feature change extraction result F(kF) to the internal state estimation unit 16.
  • Tp is, for example, an integer equal to or greater than 2.
  • the environmental information change extraction unit 14 also extracts the second timing iZ based on Tp pieces of environmental information E(i-Tp+1) to E(i) included in the estimation target section L set by the target section setting unit 17, out of the environmental information E(i) acquired in chronological order from the vehicle and its surroundings.
  • the environmental information change extraction unit 14 also outputs the extracted second timing iZ to the timing determination unit 15, and outputs the Tp pieces of environmental information E(i-Tp+1) to E(i) used to extract the second timing iZ to the internal state estimation unit 16 as the environmental information change extraction result Z(iZ).
  • the timing determination unit 15 also determines which of the first timing kF extracted by the feature change extraction unit 13 based on Tp pieces of biometric information P(k-Tp+1) to P(k) included in the estimation target section L occurs first, and which of the second timing iZ extracted by the environmental information change extraction unit 14 based on Tp pieces of environmental information E(i-Tp+1) to E(i) included in the estimation target section L occurs first.
  • the internal state estimation unit 16 allows the execution of internal state estimation, and estimates the internal state of the vehicle occupant based on at least one of the feature change extraction result F(kF) (i.e., Tp pieces of bioinformation P(k-Tp+1) to P(k)) acquired from the feature change extraction unit 13 and the environmental information change extraction result Z(iZ) (i.e., Tp pieces of environmental information E(i-Tp+1) to E(i)) acquired from the environmental information change extraction unit 14.
  • the timing determination unit 15 determines that the first timing kF is later than the second timing iZ, the internal state estimation unit 16 does not estimate the internal state in the estimation target section L.
  • the biometric information P(k) is the occupant's heart rate
  • the environmental information E(i) is the vehicle's gear position
  • the biometric information acquisition unit 11 acquires the occupant's heart rate at one per second, for a total of 15
  • the environmental information acquisition unit 12 acquires the vehicle's gear position at one per second, for a total of 15.
  • the specific time change in the heart rate which is the criterion for determining that a characteristic change has occurred in the heart rate, is the heart rate exceeding the upper threshold value of "1.3".
  • FIG. 9 A specific example of the heart rate and gear position in the above case is shown in FIG. 9.
  • the target interval setting unit 17 sets an estimated target interval L having a predetermined time range on the time series in which the biometric information P(k) and the environmental information E(i) are acquired.
  • the predetermined time range is "10 seconds”
  • the internal state estimation unit 16 checks whether the judgment result RT(kF, iZ) obtained from the timing judgment unit 15 is "1". As a result, since the judgment result RT(kF, iZ) is "1", the internal state estimation unit 16 determines that it is possible to execute internal state estimation, and estimates the internal state of the occupant in the first estimation target section L1 based on at least one of the above 10 heart rates and the above 10 gear positions.
  • the method of estimating the internal state by the internal state estimation unit 16 is the same as the method described in embodiment 1.
  • the target section setting unit 17 can move the estimated target section L in the time direction each time a predetermined condition is satisfied, and the predetermined condition is, for example, that two pieces of biometric information P(k) are acquired by the biometric information acquisition unit 11.
  • the feature change extraction unit 13, the environmental information change extraction unit 14, the timing determination unit 15, and the internal state estimation unit 16 perform the above-mentioned processes based on the 10 pieces of bioinformation and environmental information included in the estimation target section L2. At this time, the internal state of the occupant estimated by the internal state estimation unit 16 becomes the internal state of the occupant in the estimation target section L2.
  • the target interval setting unit 17 moves the estimated target interval L2 in the time direction and sets the next estimated target interval L3.
  • the feature change extraction unit 13, the environmental information change extraction unit 14, the timing determination unit 15, and the internal state estimation unit 16 perform the above-mentioned processes based on the 10 pieces of bioinformation and environmental information included in the estimation target section L3. At this time, the internal state of the occupant estimated by the internal state estimation unit 16 becomes the internal state of the occupant in the estimation target section L3.
  • the target section setting unit 17 moves the estimation target section L in the time direction, and estimates the internal state of the occupant for each shifted estimation target section L in the same manner.
  • the internal state estimation device 10b according to embodiment 2 is equipped with a target section setting unit 17, and is therefore able to obtain an estimation result of the internal state of the occupant for a desired section on the time series. Furthermore, the internal state estimation device 10b according to embodiment 2 is able to estimate the internal state of the occupant in more detail and continuously by moving the estimation target section L in the time direction.
  • the internal state estimation device 10b includes a target section setting unit 17 that sets an estimation target section L having a predetermined time range on the time series in which the biometric information P(k) and the environmental information E(i) are acquired, and the characteristic change extraction unit 13 extracts a first timing kF based on the biometric information included in the estimation target section L set by the target section setting unit 17 from the biometric information acquired in time series from the occupant, and the environmental information change extraction unit 14 extracts an environmental information included in the estimation target section L set by the target section setting unit 17 from the environmental information acquired in time series.
  • the timing determination unit 15 determines whether the first timing kF extracted by the feature change extraction unit 13 based on the bioinformation included in the estimation target section L and the second timing iZ extracted by the environmental information change extraction unit 14 based on the environmental information included in the estimation target section L precedes or follows the second timing iZ extracted by the environmental information change extraction unit 14 based on the environmental information included in the estimation target section L, and the internal state estimation unit 16 estimates the internal state of the occupant based on at least one of the bioinformation and the environmental information included in the estimation target section L, and determines whether or not to estimate the internal state depending on the determination result by the timing determination unit 15.
  • the internal state estimation device 10b according to the second embodiment can obtain an estimation result of the internal state of the occupant for a desired section on the time series.
  • the target section setting unit 17 moves the estimation target section L in the time direction each time a predetermined condition is satisfied. This allows the internal state estimation device 10b according to embodiment 2 to estimate the internal state of the occupant in more detail and continuously.
  • the predetermined condition is that st pieces of biometric information P(k) (st is an integer equal to or greater than 1) are acquired. This makes it possible for the internal state estimation device 10b according to embodiment 2 to move the estimation target section L according to the number of pieces of acquired biometric information.
  • Embodiment 3 In the first embodiment, an internal state estimating device is described that determines whether or not to execute a process for estimating the internal state of an occupant depending on a result of determining whether the first timing occurs before or after the second timing. In the third embodiment, an internal state estimating device is described that can more precisely determine whether the first timing occurs before or after the second timing.
  • FIG. 10 is a diagram showing an example configuration of an internal state estimation device 10c according to embodiment 3.
  • the feature change extraction unit 13 of the internal state estimation device 10 according to embodiment 1 shown in FIG. 1 is changed to a feature change extraction unit 13b.
  • the other configuration of the internal state estimation device 10c according to embodiment 3 is the same as that of the internal state estimation device 10 according to embodiment 1 shown in FIG. 1, so the same reference numerals are used and the description thereof is omitted.
  • the characteristic change extraction unit 13b acquires biometric information P(k) from the biometric information acquisition unit 11. Based on the biometric information P(k) acquired from the biometric information acquisition unit 11, the characteristic change extraction unit 13b extracts the timing at which a characteristic change in the biometric information P(k) begins as a first timing kF.
  • the characteristic change extraction unit 13b first extracts the timing at which a characteristic change occurs in the biometric information P(k) in the same manner as the characteristic change extraction unit 13 in embodiment 1. Next, the characteristic change extraction unit 13b uses the extracted timing as a starting point and searches back in time from that timing to search for the timing at which the characteristic change began in the biometric information P(k).
  • the characteristic change extraction unit 13b starts from the timing when the heart rate exceeds the upper threshold and goes back in time from that timing to sequentially calculate the derivative value at each point of the function representing the biometric information P(k). Then, the characteristic change extraction unit 13b determines the timing at which the characteristic change started when the derivative value is 0. Alternatively, the characteristic change extraction unit 13b may determine the timing at which the characteristic change started by going back a predetermined amount of time (e.g., 2 seconds) from the extracted timing. Then, the characteristic change extraction unit 13b extracts the timing at which the characteristic change started as the first timing kF.
  • a predetermined amount of time e.g. 2 seconds
  • the feature change extraction unit 13b outputs the extracted first timing kF to the timing determination unit 15.
  • the feature change extraction unit 13b regards the biometric information P(k) used to extract the first timing kF as the feature change extraction result F(kF), and outputs the feature change extraction result F(kF) to the internal state estimation unit 16.
  • the characteristic change extraction unit 13 extracts the timing at which a characteristic change occurs in the bioinformation P(k) acquired from the bioinformation acquisition unit 11 as the first timing kF (e.g., the timing at which the heart rate exceeds an upper threshold).
  • the first timing kF may occur after the second timing iZ even though a characteristic change has begun to occur in the bioinformation P(k).
  • the timing determination unit 15 may determine that the first timing kF is later than the second timing iZ, and the internal state estimation unit 16 may reject the estimation of the occupant's internal state, and the estimation process of the occupant's internal state may not be executed.
  • the timing determination unit 15 may determine that the first timing kF is later than the second timing iZ, and the internal state estimation unit 16 may reject the estimation of the occupant's internal state, and the estimation process of the occupant's internal state may not be executed.
  • the characteristic change extraction unit 13b extracts the timing at which a characteristic change begins in the biometric information P(k) as the first timing kF, instead of the timing at which a characteristic change occurs in the biometric information P(k).
  • the internal state estimation device 10c according to the third embodiment to more precisely determine which of the first timing kF and the second timing iZ occurs first, thereby making it possible to avoid a problem in which the internal state of the occupant is not estimated even though a characteristic change in the biometric information P(k) begins to occur before a change in the environmental information E(i).
  • the internal state estimation device 10c is configured by applying the feature change extraction unit 13b to the internal state estimation device 10 according to embodiment 1
  • the internal state estimation device 10c is not limited to this, and may also be configured by applying the feature change extraction unit 13b to the internal state estimation device 10b according to embodiment 2.
  • the characteristic change extraction unit 13b extracts the timing at which a characteristic change in the biometric information P(k) starts as the first timing kF, instead of the timing at which a characteristic change occurs in the biometric information P(k).
  • the internal state estimation device 10c according to the third embodiment can more precisely determine which timing occurs before the first timing kF and the second timing iZ.
  • the internal state estimation device 10c according to the third embodiment can avoid a problem in which an estimation of the internal state of an occupant is not performed even though a characteristic change in the biometric information P(k) begins to occur before a change in the environmental information E(i).
  • this disclosure allows for free combinations of each embodiment, modifications to any of the components of each embodiment, or the omission of any of the components of each embodiment.
  • This disclosure makes it possible to reduce erroneous estimation of the internal state of a vehicle occupant, and is suitable for use in an internal state estimation device.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Hospice & Palliative Care (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Educational Technology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

内部状態推定装置（１０）は、車両の乗員から時系列的に取得された生体情報に基づき、当該生体情報に特徴的な変化が生じたタイミングである第１のタイミングを抽出する特徴変化抽出部（１３）と、時系列的に取得された情報であって、当該情報の変化が前記乗員の内部状態に影響を与える情報である環境情報に基づき、当該環境情報に変化が生じたタイミングである第２のタイミングを抽出する環境情報変化抽出部（１４）と、特徴変化抽出部により抽出された第１のタイミングと、環境情報変化抽出部により抽出された第２のタイミングとの先後を判定するタイミング判定部（１５）と、生体情報及び環境情報のうちの少なくとも一方に基づいて、乗員の内部状態を推定する内部状態推定部（１６）と、を備え、内部状態推定部は、タイミング判定部による判定結果に応じて、内部状態の推定可否を決定する。

Description

内部状態推定装置及び内部状態推定方法
　本開示は、内部状態推定装置及び内部状態推定方法に関する。
　従来、車両の乗員の生体情報を利用して、当該乗員の感情などの内部状態を推定する技術が知られている。例えば、特許文献１には、ドライバーの脈波から心拍ゆらぎ、及びカオスゆらぎの２種類の生体ゆらぎを計測し、この２種類の生体ゆらぎに基づいて、ドライバーの運転に支障を及ぼす「適応力低下・落込み状態」、「眠気・疲労状態」、「緊張・気分高揚状態」、及び「ストレス状態」の４つの状態を推定する技術が開示されている。
特開２０２０－７４８０５号公報
　特許文献１に記載の技術（以下、単に「従来技術」ともいう。）では、ドライバーの生体情報として脈波を使用することにより、ドライバーの感情などの内部状態を推定している。しかしながら、脈波をはじめとする生体情報は、必ずしもドライバーの内部状態の変化と関連して変化するものではなく、例えば呼吸及び会話などの、ドライバーの内部状態の変化が伴わない動作によっても変化してしまう場合がある。その場合、上記従来技術では、ドライバーの内部状態を誤推定してしまうおそれがあった。
　本開示は、上記のような課題を解決するためになされたもので、車両の乗員の内部状態の誤推定を抑制可能な内部状態推定装置を提供することを目的としている。
　本開示に係る内部状態推定装置は、車両の乗員から時系列的に取得された生体情報に基づき、当該生体情報に特徴的な変化が生じたタイミングである第１のタイミングを抽出する第１抽出部と、時系列的に取得された情報であって、当該情報の変化が前記乗員の内部状態に影響を与える情報である環境情報に基づき、当該環境情報に変化が生じたタイミングである第２のタイミングを抽出する第２抽出部と、第１抽出部により抽出された第１のタイミングと、第２抽出部により抽出された第２のタイミングとの先後を判定する判定部と、生体情報及び環境情報のうちの少なくとも一方に基づいて、乗員の内部状態を推定する推定部と、を備え、推定部は、判定部による判定結果に応じて、内部状態の推定可否を決定することを特徴とする。
　本開示によれば、上記のように構成したので、車両の乗員の内部状態の誤推定を抑制可能となる。
実施の形態１に係る内部状態推定装置の構成例を示す図である。 実施の形態１に係る内部状態推定装置の動作例を示すフローチャートである。 実施の形態１における生体情報（心拍数）及び環境情報（ギアポジション）の具体例を示す図である。 図４Ａは、実施の形態１における第１のデータベースの構成例を示す図であり、図４Ｂは、実施の形態１における第２のデータベースの構成例を示す図であり、図４Ｃは、実施の形態１における第３のデータベースの構成例を示す図である。 実施の形態１に係る内部状態推定装置の効果を説明する図である。 図６Ａ、図６Ｂは、実施の形態１に係る内部状態推定装置のハードウェア構成例を示す図である。 実施の形態２に係る内部状態推定装置の構成例を示す図である。 実施の形態２における推定対象区間の移動例を説明する図である。 実施の形態２における生体情報（心拍数）及び環境情報（ギアポジション）の具体例を示す図である。 実施の形態３に係る内部状態推定装置の構成例を示す図である。 図１１Ａは、実施の形態１における第１のタイミングと第２のタイミングとの先後の一例を示す図であり、図１１Ｂは、実施の形態３における第１のタイミングと第２のタイミングとの先後の一例を示す図である。
　以下、実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
　図１は、実施の形態１に係る内部状態推定装置１０の構成例を示す図である。内部状態推定装置１０は、車両の乗員の内部状態を推定する。なお、車両の乗員は、車両のドライバーであってもよいし、同乗者であってもよい。
　内部状態推定装置１０は、例えば図１に示すように、生体情報取得部１１、環境情報取得部１２、特徴変化抽出部（第１抽出部）１３、環境情報変化抽出部（第２抽出部）１４、タイミング判定部（判定部）１５、及び内部状態推定部（推定部）１６を含んで構成される。
　生体情報取得部１１は、車両の乗員から生体情報Ｐ（ｋ）を検出する生体情報検出部（不図示）と接続されている。生体情報取得部１１は、当該生体情報検出部により時系列的に検出された生体情報Ｐ（ｋ）を、当該生体情報検出部から取得する。生体情報取得部１１は、当該取得した生体情報Ｐ（ｋ）を特徴変化抽出部１３に出力する。
　ここで、生体情報Ｐ（ｋ）は、例えば乗員の心拍を示す情報、脈波を示す情報、脈拍、及び顔部画像を示す情報のうちの少なくとも１つである。また、生体情報Ｐ（ｋ）を検出する生体情報検出部は、例えば心拍センサ、脈波センサ、脈拍センサ、及びカメラ等により構成される。
　環境情報取得部１２は、環境情報Ｅ（ｉ）を検出する環境情報検出部（不図示）と接続されている。環境情報取得部１２は、当該環境情報検出部により時系列的に検出された環境情報Ｅ（ｉ）を、当該環境情報検出部から取得する。環境情報取得部１２は、当該取得した環境情報Ｅ（ｉ）を環境情報変化抽出部１４に出力する。
　ここで、環境情報Ｅ（ｉ）は、当該情報が変化することにより、乗員の内部状態に影響を与える情報、より詳しくは、当該情報が変化することにより、乗員の内部状態に変化を引き起こす情報であり、主に乗員以外の外部因子に関する情報である。
　環境情報Ｅ（ｉ）としては、例えば、車両の内部情報（車内情報）、車両の外部情報（車外情報）、及び車両の制御情報等が挙げられる。また、車両の制御情報には、例えばギアポジションに関する情報、ナビ情報、ハンドル操作に関する情報、アクセルペダル及びブレーキペダルなどのペダル操作に関する情報等が含まれる。また、環境情報Ｅ（ｉ）を検出する上記環境情報検出部は、例えば、車両に搭載された制御装置、ナビゲーションシステム、センサ、及びカメラ等により構成される。また、乗員の内部状態には、例えば当該乗員の感情のほか、当該乗員のストレス状態、疲労状態、又は落ち込み状態等も含まれる。
　なお、生体情報Ｐ（ｋ）における「ｋ」は、生体情報に割り当てられる入力番号であり、環境情報Ｅ（ｉ）における「ｉ」は、環境情報に割り当てられる入力番号であり、ともに１以上の整数である。なお、任意の時刻において、当該入力番号ｋ及びｉを見たとき、当該ｋ及びｉの値は同じ値であるとは限らない。例えば、内部状態推定装置１０が内部状態の推定処理を開始してから１秒後において、ｋは「３０」であり、ｉは「１５」である場合がある。これは、内部状態推定装置１０が内部状態の推定処理を開始してから１秒後の時点で、内部状態推定装置１０により生体情報Ｐ（ｋ）が３０個、環境情報Ｅ（ｉ）が１５個、それぞれ取得されたことに相当する。
　特徴変化抽出部１３は、生体情報取得部１１から生体情報Ｐ（ｋ）を取得する。特徴変化抽出部１３は、生体情報取得部１１から取得した生体情報Ｐ（ｋ）に基づいて、当該生体情報Ｐ（ｋ）に特徴的な変化が生じたタイミングである第１のタイミングｋＦを抽出する。
　例えば、特徴変化抽出部１３は、生体情報取得部１１から取得した生体情報Ｐ（ｋ）に特定の時間変化が生じた場合に、生体情報Ｐ（ｋ）に特徴的な変化が生じたと判断する。生体情報Ｐ（ｋ）の特定の時間変化とは、ここでは、生体情報Ｐ（ｋ）の変化のうち、主に乗員の内部状態が変化することに伴って生じた変化、あるいは、生体情報Ｐ（ｋ）の変化のうち、乗員の内部状態が変化することに伴って生じた可能性のある変化をいう。例えば、生体情報Ｐ（ｋ）が心拍数であれば、心拍数の特定の時間変化とは、時系列的に取得された当該心拍数が特定の上限閾値を超えたこと、又は当該心拍数が特定の下限閾値を割ったこと等をいう。
　特徴変化抽出部１３は、抽出した第１のタイミングｋＦをタイミング判定部１５に出力する。また、特徴変化抽出部１３は、第１のタイミングｋＦの抽出に用いた生体情報Ｐ（ｋ）を、特徴変化抽出結果Ｆ（ｋＦ）とし、当該特徴変化抽出結果Ｆ（ｋＦ）を内部状態推定部１６に出力する。
　環境情報変化抽出部１４は、環境情報取得部１２から環境情報Ｅ（ｉ）を取得する。環境情報変化抽出部１４は、環境情報取得部１２から取得した環境情報Ｅ（ｉ）に基づいて、当該環境情報Ｅ（ｉ）に変化が生じたタイミングである第２のタイミングｉＺを抽出する。
　例えば、環境情報変化抽出部１４は、環境情報取得部１２から取得した環境情報Ｅ（ｉ）に特定の時間変化が生じた場合に、環境情報Ｅ（ｉ）に変化が生じたと判断する。環境情報Ｅ（ｉ）の特定の時間変化とは、例えば環境情報Ｅ（ｉ）がギアポジションであれば、当該ギアポジションがドライブギアからバックギアに変化したこと等であり、環境情報Ｅ（ｉ）がナビ情報であれば、車両の走行シーンが変化したこと（例えば車両が一般道から高速道路に進入したこと）等をいう。
　環境情報変化抽出部１４は、抽出した第２のタイミングｉＺをタイミング判定部１５に出力する。また、環境情報変化抽出部１４は、第２のタイミングｉＺの抽出に用いた環境情報Ｅ（ｉ）を、環境情報変化抽出結果Ｚ（ｉＺ）とし、当該環境情報変化抽出結果Ｚ（ｉＺ）を内部状態推定部１６に出力する。
　タイミング判定部１５は、特徴変化抽出部１３から出力された第１のタイミングｋＦと、環境情報変化抽出部１４から出力された第２のタイミングｉＺとを取得する。そして、タイミング判定部１５は、当該取得した第１のタイミングｋＦと第２のタイミングｉＺとの先後を判定し、当該判定結果ＲＴ（ｋＦ,ｉＺ）を内部状態推定部１６へ出力する。
　内部状態推定部１６は、特徴変化抽出部１３から出力された特徴変化抽出結果Ｆ（ｋＦ）と、環境情報変化抽出部１４から出力された環境情報変化抽出結果Ｚ（ｉＺ）とを取得する。また、内部状態推定部１６は、タイミング判定部１５から出力された判定結果ＲＴ（ｋＦ,ｉＺ）を取得する。
　内部状態推定部１６は、特徴変化抽出部１３から取得した特徴変化抽出結果Ｆ（ｋＦ）（すなわち生体情報Ｐ（ｋ））、及び、環境情報変化抽出部１４から取得した環境情報変化抽出結果Ｚ（ｉＺ）（すなわち環境情報Ｅ（ｉ））のうちの少なくとも一方に基づいて、乗員の内部状態を推定する。このとき、内部状態推定部１６は、タイミング判定部１５から取得した判定結果ＲＴ（ｋＦ,ｉＺ）に応じて、乗員の内部状態の推定の実行可否を決定する。
　具体的には、内部状態推定部１６は、タイミング判定部１５により、第１のタイミングｋＦが第２のタイミングｉＺよりも先であると判定された場合、又は、第１のタイミングｋＦと第２のタイミングｉＺとが同時であると判定された場合に、内部状態の推定の実行を可とする。すなわち、内部状態推定部１６は、上記いずれかの場合に、特徴変化抽出部１３から取得した特徴変化抽出結果Ｆ（ｋＦ）（すなわち生体情報Ｐ（ｋ））、及び、環境情報変化抽出部１４から取得した環境情報変化抽出結果Ｚ（ｉＺ）（すなわち環境情報Ｅ（ｉ））のうちの少なくとも一方に基づいて、乗員の内部状態を推定する。そして、内部状態推定部１６は、当該推定結果Ｒ（ｔ）を出力する。
　一方、内部状態推定部１６は、タイミング判定部１５により、第１のタイミングｋＦが第２のタイミングｉＺよりも後であると判定された場合、内部状態の推定の実行を否とする。すなわち、内部状態推定部１６は、タイミング判定部１５により、第１のタイミングｋＦが第２のタイミングｉＺよりも後であると判定された場合、車両の乗員の内部状態の推定を行わない。
　次に、実施の形態１に係る内部状態推定装置１０の動作例について、図２に示すフローチャートを参照しながら説明する。
　まず、生体情報取得部１１は、生体情報検出部（不図示）により時系列的に検出された生体情報Ｐ（ｋ）を、当該生体情報検出部から取得する（ステップＳＴ１）。生体情報取得部１１は、当該取得した生体情報Ｐ（ｋ）を、特徴変化抽出部１３に出力する。
　次に、特徴変化抽出部１３は、生体情報取得部１１から取得した生体情報Ｐ（ｋ）に基づいて、当該生体情報Ｐ（ｋ）に特徴的な変化が生じたタイミングである第１のタイミングｋＦを抽出する（ステップＳＴ２）。また、特徴変化抽出部１３は、抽出した第１のタイミングｋＦをタイミング判定部１５に出力し、第１のタイミングｋＦの抽出に用いた生体情報Ｐ（ｋ）を特徴変化抽出結果Ｆ（ｋＦ）として、内部状態推定部１６に出力する。
　一方、環境情報取得部１２は、環境情報検出部（不図示）により時系列的に検出された環境情報Ｅ（ｉ）を、当該環境情報検出部から取得する（ステップＳＴ３）。環境情報取得部１２は、当該取得した環境情報Ｅ（ｉ）を、環境情報変化抽出部１４に出力する。
　次に、環境情報変化抽出部１４は、環境情報取得部１２から取得した環境情報Ｅ（ｉ）に基づいて、当該環境情報Ｅ（ｉ）に変化が生じたタイミングである第２のタイミングｉＺを抽出する（ステップＳＴ４）。また、環境情報変化抽出部１４は、抽出した第２のタイミングｉＺをタイミング判定部１５に出力し、第２のタイミングｉＺの抽出に用いた環境情報Ｅ（ｉ）を環境情報変化抽出結果Ｚ（ｉＺ）として、内部状態推定部１６に出力する。
　なお、上述のステップＳＴ１～ＳＴ２と、ステップＳＴ３～ＳＴ４とは、並行して実施されてもよい。
　次に、タイミング判定部１５は、第１のタイミングｋＦと第２のタイミングｉＺとの先後を判定する（ステップＳＴ５）。また、タイミング判定部１５は、当該判定結果ＲＴ（ｋＦ,ｉＺ）を内部状態推定部１６へ出力する。
　例えば、タイミング判定部１５は、判定の結果、第１のタイミングｋＦが第２のタイミングｉＺよりも先であるか、又は、第１のタイミングｋＦと第２のタイミングｉＺとが同時であると判定した場合、判定結果ＲＴ（ｋＦ,ｉＺ）を「１」とする。一方、タイミング判定部１５は、判定の結果、第１のタイミングｋＦが第２のタイミングｉＺよりも後であると判定した場合、判定結果ＲＴ（ｋＦ,ｉＺ）を「０」とする。
　次に、内部状態推定部１６は、タイミング判定部１５から取得した判定結果ＲＴ（ｋＦ,ｉＺ）が「１」であるか、すなわち、第１のタイミングｋＦが第２のタイミングｉＺよりも先であるか、又は、第１のタイミングｋＦと第２のタイミングｉＺとが同時であると判定されたか否かを確認する（ステップＳＴ６）。その結果、判定結果ＲＴ（ｋＦ,ｉＺ）が「１」でなければ（ステップＳＴ６；ＮＯ）、内部状態推定部１６は、内部状態の推定の実行を否とし、処理を終了する。一方、判定結果ＲＴ（ｋＦ,ｉＺ）が「１」であれば（ステップＳＴ６；ＹＥＳ）、処理はステップＳＴ７へ遷移する。
　ステップＳＴ７において、内部状態推定部１６は、内部状態の推定の実行を可とし、特徴変化抽出部１３から取得した特徴変化抽出結果Ｆ（ｋＦ）（すなわち生体情報Ｐ（ｋ））、及び環境情報変化抽出部１４から取得した環境情報変化抽出結果Ｚ（ｉＺ）（すなわち環境情報Ｅ（ｉ））の少なくとも一方に基づいて、車両の乗員の内部状態を推定する（ステップＳＴ７）。そして、内部状態推定部１６は、当該推定結果Ｒ（ｔ）を出力する。
　次に、内部状態推定部１６による内部状態の推定方法を含む、内部状態推定装置１０の動作例について、具体例を挙げながら説明する。
　なお、ここでは、説明を分かり易くするため、生体情報Ｐ（ｋ）が乗員の心拍数であり、環境情報Ｅ（ｉ）が車両のギアポジションであるものとする。また、以下の説明では、内部状態推定装置１０が動作を開始した時刻を起点として、生体情報取得部１１により、乗員の心拍数が１秒間に１個ずつ、合計１５個取得され、環境情報取得部１２により、車両のギアポジションが１秒間に１個ずつ、合計１５個取得されるものとする。また、上記の場合における心拍数及びギアポジションの具体例を図３に示す。
　また、ここでは、心拍数に特徴的な変化が生じたと判断する基準となる、心拍数の特定の時間変化とは、心拍数が上限閾値である「１．３」を超えたことをいうものとする。
　まず、特徴変化抽出部１３は、心拍数が上限閾値である１．３を超えたタイミングである「５秒（ｔ＝５）」を、第１のタイミングｋＦとして抽出し（上述のステップＳＴ２に相当）、当該第１のタイミングｋＦをタイミング判定部１５に出力する。また、特徴変化抽出部１３は、第１のタイミングｋＦの抽出に用いた１５個の心拍数（ｔ＝１における「１．０」からｔ＝１５における「１．４」までの１５個）を、特徴変化抽出結果Ｆ（ｋＦ）として、内部状態推定部１６に出力する。
　一方、環境情報変化抽出部１４は、ギアポジションがドライブギア（図３ではＤで示す）からバックギア（図３ではＲで示す）に変化したタイミングである「９秒（ｔ＝９）」を、第２のタイミングｉＺとして抽出し（上述のステップＳＴ４に相当）、当該第２のタイミングｉＺをタイミング判定部１５に出力する。また、環境情報変化抽出部１４は、第２のタイミングｉＺの抽出に用いた１５個のギアポジション（ｔ＝１における「Ｄ」からｔ＝１５における「Ｒ」までの１５個）を、環境情報変化抽出結果Ｚ（ｉＺ）として、内部状態推定部１６に出力する。
　次に、タイミング判定部１５は、第１のタイミングｋＦである「５秒（ｔ＝５）」と、第２のタイミングｉＺである「９秒（ｔ＝９）」との先後を判定し、第１のタイミングｋＦの方が先であると判定する（上述のステップＳＴ５に相当）。また、タイミング判定部１５は、第１のタイミングｋＦの方が先であると判定したため、判定結果ＲＴ（ｋＦ,ｉＺ）を「１」とし、当該判定結果ＲＴ（ｋＦ,ｉＺ）を内部状態推定部１６へ出力する。
　次に、内部状態推定部１６は、タイミング判定部１５から取得した判定結果ＲＴ（ｋＦ,ｉＺ）が「１」であるか否かを確認する（上述のステップＳＴ６に相当）。その結果、判定結果ＲＴ（ｋＦ,ｉＺ）が「１」であるため、内部状態推定部１６は、内部状態の推定の実行を可とし、上記１５個の心拍数、及び、上記１５個のギアポジションの少なくとも一方に基づいて、乗員の内部状態を推定する（上述のステップＳＴ７に相当）。
　ここで、内部状態推定部１６による内部状態の推定方法の例を説明する。内部状態推定部１６は、例えば、予め生成された内部状態推定用のデータベースを用いて、乗員の内部状態を推定する。なお、このデータベースは、内部状態推定装置１０が備える記録部（不図示）に予め記録されている。
　データベースの例を図４Ａに示す。図４Ａに示すように、このデータベース（以下、「第１のデータベース」ともいう。）は、特徴変化抽出結果Ｆ（ｋＦ）から導出される１５個の生体情報Ｐ（ｋ）の変化（推移）の態様を規定した情報（以下、「第１の変化情報」ともいう。）と、乗員の内部状態を示す情報（以下、「内部状態情報」ともいう。）とが関連付けられて構成されている。
　例えば、図４Ａの例では、第１の変化情報として「心拍数が（上限閾値である１．３を超えて）１．５まで上昇した」旨が設定されており、この第１の変化情報に関連付けられる内部状態情報として「緊張」が設定されている。同様に、図４Ａの例では、第１の変化情報として「心拍数が（上限閾値である１．３を超えて）１．７まで上昇した」旨が設定されており、この第１の変化情報に関連付けられる内部状態情報として「神経質」が設定されている。なお、図４Ａには明記していないが、第１の変化情報に示される生体情報Ｐ（ｋ）の変化には、上述した第１のタイミングｋＦにて生じた特徴的な変化（上限閾値である１．３を超えて）も含まれる。
　同様に、図４Ａの例では、第１の変化情報として「心拍数が（上限閾値である１．３を超えて）１．９まで上昇した」旨が設定されており、この第１の変化情報に関連付けられる内部状態情報として「重圧」が設定されている。また、図４Ａの例では、第１の変化情報として「心拍数が（上限閾値である１．３を超えて）２．１まで上昇した」旨が設定されており、この第１の変化情報に関連付けられる内部状態情報として「不安」が設定されている。
　例えば、図３の例では、特徴変化抽出結果Ｆ（ｋＦ）である１５個の心拍数により、心拍数が上限閾値である１．３を超えて１．９まで上昇していることが分かる。したがって、内部状態推定部１６は、心拍数が１．９まで上昇している旨（すなわち、心拍数の変化の態様）をキーとして上記第１のデータベースを検索し、当該キーに対応する内部状態情報である「重圧」を特定する。そして、内部状態推定部１６は、当該特定した内部状態情報に基づいて、乗員の内部状態の推定結果を「重圧」として出力する。
　なお、ここでは、心拍数が上限閾値である１．３を超えて上昇する場合における動作例を説明したが、心拍数が下限閾値（例えば０．７）を割って低下する場合においても同様である。この場合は、上記第１のデータベースにおいて、第１の変化情報として例えば「心拍数が（下限閾値である０．７を割って）０．６まで低下した」旨を設定し、この第１の変化情報に関連付けられる内部状態情報として、例えば「疲れ」を設定すればよい。
　次に、データベースの他の例を図４Ｂに示す。図４Ｂに示すように、このデータベース（以下、「第２のデータベース」ともいう。）は、環境情報変化抽出結果Ｚ（ｉＺ）から導出される環境情報Ｅ（ｉ）の変化（推移）の態様を規定した情報（以下、「第２の変化情報」ともいう。）と、乗員の内部状態を示す情報（内部状態情報）とが関連付けられて構成されている。なお、第２の変化情報に示される環境情報Ｅ（ｉ）の変化には、上述した第２のタイミングｉＺにて生じた環境情報Ｅ（ｉ）の変化も含まれる。
　例えば、図４Ｂの例では、第２の変化情報として「ギアポジションがドライブギアからバックギアに変更された」旨が設定されており、この第２の変化情報に関連付けられる内部状態情報として、「緊張」が設定されている。また、図４Ｂの例では、第２の変化情報として「ギアポジションがドライブギアからパーキングギア（Ｐ）に変更された」旨が設定されており、この第２の変化情報に関連付けられる内部状態情報として、「落ち着いた」が設定されている。また、図４Ｂの例では、第２の変化情報として「ギアポジションがドライブギアからニュートラルギア（Ｎ）に変更された」旨が設定されており、この第２の変化情報に関連付けられる内部状態情報として、「注意」が設定されている。
　例えば、図３の例では、環境情報変化抽出結果Ｚ（ｉＺ）である１５個のギアポジションにより、ギアポジションがドライブギアからバックギアに変更されていることが分かる。したがって、内部状態推定部１６は、ギアポジションがドライブギアからバックギアに変更されている旨（すなわち、ギアポジションの変化の態様）をキーとして上記第２のデータベースを検索し、当該キーに対応する内部状態情報である「緊張」を特定する。そして、内部状態推定部１６は、当該特定した内部状態情報に基づいて、乗員の内部状態の推定結果を「緊張」として出力する。
　なお、ここでは、環境情報Ｅ（ｉ）がギアポジションである場合における動作例を説明したが、環境情報Ｅ（ｉ）がギアポジション以外の場合でも同様である。例えば、環境情報Ｅ（ｉ）がブレーキペダルの操作情報であれば、上記第２のデータベースにおいて、第２の変化情報として例えば「ブレーキペダルの所定時間における踏み込み回数が（上限閾値である５回を超えて）８回まで上昇した」旨を設定し、この第２の変化情報に関連付けられる内部状態情報として、例えば「焦り」を設定すればよい。
　次に、データベースの他の例を図４Ｃに示す。図４Ｃに示すように、このデータベース（以下、「第３のデータベース」ともいう。）は、形式的には上述した第１のデータベースと第２のデータベースとを組み合わせた構成となっている。具体的には、この第３のデータベースは、上述した第１の変化情報及び第２の変化情報の組み合わせと、内部状態情報とが関連付けられて構成されている。
　例えば、図４Ｃの例では、変化情報の組み合わせとして「ギアポジションがドライブギアからバックギアに変更され、かつ、心拍数が（上限閾値である１．３を超えて）１．５まで上昇した」旨が設定されており、当該組み合わせに関連付けられる内部状態情報として、「緊張」が設定されている。また、例えば、図４Ｃの例では、変化情報の組み合わせとして「ギアポジションがドライブギアからバックギアに変更され、かつ、心拍数が（上限閾値である１．３を超えて）１．７まで上昇した」旨が設定されており、当該組み合わせに関連付けられる内部状態情報として、「神経質」が設定されている。
　同様に、図４Ｃの例では、変化情報の組み合わせとして「ギアポジションがドライブギアからバックギアに変更され、かつ、心拍数が（上限閾値である１．３を超えて）１．９まで上昇した」旨が設定されており、当該組み合わせに関連付けられる内部状態情報として、「重圧」が設定されている。また、図４Ｃの例では、変化情報の組み合わせとして「ギアポジションがドライブギアからバックギアに変更され、かつ、心拍数が（上限閾値である１．３を超えて）２．１まで上昇した」旨が設定されており、当該組み合わせに関連付けられる内部状態情報として、「不安」が設定されている。
　例えば、図３の例では、特徴変化抽出結果Ｆ（ｋＦ）である１５個の心拍数、及び、環境情報変化抽出結果Ｚ（ｉＺ）である１５個のギアポジションにより、心拍数が上限閾値である１．３を超えて１．９まで上昇しており、かつ、ギアポジションがドライブギアからバックギアに変更されていることが分かる。したがって、内部状態推定部１６は、ギアポジションがドライブギアからバックギアに変更され、かつ心拍数が１．９まで上昇している旨（すなわち、ギアポジション及び心拍数の双方の変化の態様）をキーとして上記第３のデータベースを検索し、当該キーに対応する内部状態情報である「重圧」を特定する。そして、内部状態推定部１６は、当該特定した内部状態情報に基づいて、車両の乗員の内部状態の推定結果を「重圧」として出力する。
　内部状態推定部１６は、例えば上記第１のデータベースから第３のデータベースのうちのいずれかを用いて、乗員の内部状態を推定することにより、乗員の内部状態を精度よく推定可能となる。なお、内部状態推定部１６は、第３のデータベースを用いて乗員の内部状態を推定すれば、生体情報Ｐ（ｋ）である心拍数と環境情報Ｅ（ｉ）であるギアポジションとの関係性に基づいて乗員の内部状態を推定することができるため、第１のデータベース又は第２のデータベースを用いて乗員の内部状態を推定する場合に比べて推定精度を向上させることができる。
　なお、上記各データベースに設定される内部状態情報が示す内部状態として、車両の乗員の感情を用いる場合、当該各データベースの構築には、例えばラッセルの感情円環モデルにおいて定義されている感情モデルを用いることができる。
　ラッセルの感情円環モデルは、「快－不快」と、「覚醒－非覚醒」との２次元で表現される平面上にすべての感情が円環状に配置されることを示したモデルである。感情モデルとしてはさまざまなものが提案されているが、ラッセルの感情円環モデルは、シンプルな構造で表現されており、かつすべての感情について網羅的に適用され得るため、上記各データベースの構築に使用すると好適である。
　例えば、ラッセルの感情円環モデルでは、「不快」かつ「覚醒」に分類される感情として、「緊張」、「神経質」、「重圧」、及び「心配」等が定義され、「不快」かつ「非覚醒」に分類される感情として、「悲しみ」、「憂うつ」、「無気力」、及び「疲れ」等が定義されている。また、同モデルでは、「快」かつ「覚醒」に分類される感情として、「注意」、「興奮」、「元気」、及び「幸せ」等が定義され、「快」かつ「非覚醒」に分類される感情として、「満足」、「晴朗」、「くつろぎ」、及び「落ち着いた」等が定義されている。
　内部状態推定装置１０の管理者等は、例えば上記の各感情を内部状態として用いることにより、上記各データベースを構築することができる。なお、当該各内部状態に対しては、図４Ａ～図４Ｃで示したように、第１の変化情報及び第２の変化情報のうちの少なくとも一方が関連付けられる必要がある。
　なお、上記で説明した各データベースにおける第１の変化情報、第２の変化情報、及び内部状態情報の内容はあくまで一例であり、上記以外の内容が設定されていてもよい。例えば、上記では、内部状態情報として乗員の感情（緊張等）を用いる例を説明したが、内部状態情報としてはこれに限らず、例えば乗員のストレス状態、疲労状態、又は落ち込み状態等を用いてもよい。また、上記の例では、各データベースにおける内部状態情報として、乗員の感情の名称（「緊張」等）を設定する例を説明したが、各データベースにおける内部状態情報としてはこれに限らず、例えば乗員の感情を数値化した情報を設定してもよい。
　また、上記で説明した各データベースは、例えば乗員ごとに異なる情報が設定されてもよい。例えば、乗員は、自らの内部状態として推定したい感情（例えば焦り、緊張、元気等）と、環境情報Ｅ（ｉ）の種類（例えばギアポジション、ナビ情報等）とを適宜選択するとともに、当該選択した感情と環境情報Ｅ（ｉ）の種類とに基づいて、予め上記各データベースを生成してもよい。この場合、乗員は、自身の内部状態推定用にカスタマイズされたデータベースを使用することができ、利便性が向上する。
　また、上記の説明では、内部状態推定部１６は、内部状態の推定処理を行うか否かを決定する際に、タイミング判定部１５から取得した、第１のタイミングｋＦと第２のタイミングｉＺとの間の先後の判定結果ＲＴ（ｋＦ,ｉＺ）を用いる例を説明したが、内部状態推定部１６はこれに限らず、例えばタイミング判定部１５から取得した当該判定結果ＲＴ（ｋＦ,ｉＺ）をそのまま乗員の内部状態の推定に用いてもよい。
　例えば、内部状態推定部１６は、タイミング判定部１５から取得した判定結果ＲＴ（ｋＦ,ｉＺ）が「１」であれば、すなわち、第１のタイミングｋＦの方が第２のタイミングｉＺよりも先であるか、又は第１のタイミングｋＦと第２のタイミングｉＺとが同時であれば、乗員の内部状態を「緊張」とする旨の推定結果Ｒ（ｔ）を出力してもよい。
　また、上記の説明では、第１のタイミングｋＦ及び第２のタイミングｉＺがそれぞれ１つずつ抽出された例を説明したが、第１のタイミングｋＦ及び第２のタイミングｉＺのうちの少なくとも一方が複数抽出される場合も想定される。その場合、タイミング判定部１５は、抽出されたタイミング群の中に、第１のタイミングｋＦが第２のタイミングｉＺよりも先になるか、又は第１のタイミングｋＦと第２のタイミングｉＺとが同時になるケースが少なくとも存在すれば、判定結果ＲＴ（ｋＦ,ｉＺ）を「１」としてよい。
　また、内部状態推定部１６は、例えば内部状態推定用に生成された機械学習モデルを用いて、乗員の内部状態を推定してもよい。その場合、この機械学習モデルは、例えば、（１）特徴変化抽出結果Ｆ（ｋＦ）から導出される第１の変化情報の入力に対し、当該第１の変化情報に対応する内部状態情報を出力するように学習されたモデル、（２）環境情報変化抽出結果Ｚ（ｉＺ）から導出される第２の変化情報の入力に対し、当該第２の変化情報に対応する内部状態情報を出力するように学習されたモデル、及び、（３）上記第１の変化情報及び第２の変化情報の組み合わせの入力に対し、当該第１の変化情報及び第２の変化情報の組み合わせに対応する内部状態情報を出力するように学習されたモデル、のうちのいずれかであればよい。
　また、内部状態推定部１６は、上述した従来技術における方法と同様の方法で、乗員の内部状態を推定してもよい。例えば、内部状態推定部１６は、生体情報Ｐ（ｋ）として取得された乗員の脈波から心拍ゆらぎ、及びカオスゆらぎの２種類の生体ゆらぎを計測し、この２種類の生体ゆらぎに基づいて、乗員の内部状態を推定してもよい。
　また、内部状態推定部１６は、乗員の内部状態の推定結果を例えば「不安である」又は「焦っている」等の２段階で出力してもよいし、「不安が９０／１００段階」等のように多段階（例えば０－１００段階）で出力してもよい。
　以上のように、実施の形態１に係る内部状態推定装置１０では、内部状態推定部１６は、タイミング判定部１５による判定結果に応じて、乗員の内部状態の推定の実行可否を決定する。具体的には、内部状態推定部１６は、タイミング判定部１５により、第１のタイミングｋＦが第２のタイミングｉＺよりも先であると判定された場合、又は、第１のタイミングｋＦと第２のタイミングｉＺとが同時であると判定された場合に、内部状態の推定の実行を可とする。一方、内部状態推定部１６は、タイミング判定部１５により、第１のタイミングｋＦが第２のタイミングｉＺよりも後であると判定された場合、内部状態の推定の実行を否とする。これは、乗員の内部状態が変化する（例えば乗員が緊張する）場合は、環境情報が変化する(例えばギアポジションがドライブギアからバックギアに変更される)前から生体情報が変化する(例えば心拍数が大きく上昇する)、という考え方に基づいている。したがって、実施の形態１に係る内部状態推定装置１０では、乗員の内部状態の変化が伴わない生体情報の変化に基づいて、当該乗員の内部状態を誤推定してしまうことを抑制できる。
　この点、上述した従来技術では、ドライバーの生体情報として脈波を使用することにより、ドライバーの感情などの内部状態を推定している。しかしながら、脈波をはじめとする生体情報は、例えば図５のＷ２に示すように、通常運転から駐車動作に切り替わる際のドライバーの内部状態の変化に伴って変化するだけでなく、図５のＷ１に示すように、例えば通常運転時における呼吸及び会話などの、ドライバーの内部状態の変化が伴わない動作によっても変化してしまう場合がある。その場合、上記従来技術では、Ｗ１の変化を捉えて、ドライバーの内部状態を「緊張」などと誤推定してしまうおそれがあった。これに対し、実施の形態１に係る内部状態推定装置１０では、このような不具合の発生が抑制される。
　次に、図６を参照して、実施の形態１に係る内部状態推定装置１０のハードウェア構成例を説明する。内部状態推定装置１０における生体情報取得部１１、環境情報取得部１２、特徴変化抽出部１３、環境情報変化抽出部１４、タイミング判定部１５、及び内部状態推定部１６の各機能は、処理回路により実現される。処理回路は、図６Ａに示すように、専用のハードウェアであってもよいし、図６Ｂに示すように、メモリ２３に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）ともいう）２２であってもよい。
　処理回路が専用のハードウェアである場合、処理回路２１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。生体情報取得部１１、環境情報取得部１２、特徴変化抽出部１３、環境情報変化抽出部１４、タイミング判定部１５、及び内部状態推定部１６の各部の機能それぞれを処理回路２１で実現してもよいし、各部の機能をまとめて処理回路２１で実現してもよい。
　処理回路がＣＰＵ２２の場合、生体情報取得部１１、環境情報取得部１２、特徴変化抽出部１３、環境情報変化抽出部１４、タイミング判定部１５、及び内部状態推定部１６の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア及びファームウェアはプログラムとして記述され、メモリ２３に格納される。処理回路は、メモリ２３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、内部状態推定装置１０は、処理回路により実行されるときに、例えば図２に示した各ステップが結果的に実行されることになるプログラムを格納するためのメモリを備える。また、これらのプログラムは、生体情報取得部１１、環境情報取得部１２、特徴変化抽出部１３、環境情報変化抽出部１４、タイミング判定部１５、及び内部状態推定部１６の手順及び方法をコンピュータに実行させるものであるともいえる。ここで、メモリ２３としては、例えば、ＲＡＭ（ＲＡ００ｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　ＥＰＲＯＭ）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、又はＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、生体情報取得部１１、環境情報取得部１２、特徴変化抽出部１３、環境情報変化抽出部１４、タイミング判定部１５、及び内部状態推定部１６の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、生体情報取得部１１については専用のハードウェアとしての処理回路でその機能を実現し、環境情報取得部１２、特徴変化抽出部１３、環境情報変化抽出部１４、タイミング判定部１５、及び内部状態推定部１６については処理回路がメモリ２３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。
　以上のように、この実施の形態１によれば、内部状態推定装置１０は、車両の乗員から時系列的に取得された生体情報Ｐ（ｋ）に基づき、当該生体情報に特徴的な変化が生じたタイミングである第１のタイミングｋＦを抽出する特徴変化抽出部１３と、時系列的に取得された情報であって、当該情報の変化が前記乗員の内部状態に影響を与える情報である環境情報Ｅ（ｉ）に基づき、当該環境情報に変化が生じたタイミングである第２のタイミングｉＺを抽出する環境情報変化抽出部１４と、特徴変化抽出部１３により抽出された第１のタイミングｋＦと、環境情報変化抽出部１４により抽出された第２のタイミングｉＺとの先後を判定するタイミング判定部１５と、生体情報Ｐ（ｋ）及び環境情報Ｅ（ｉ）のうちの少なくとも一方に基づいて、乗員の内部状態を推定する内部状態推定部１６と、を備え、内部状態推定部１６は、タイミング判定部１５による判定結果に応じて、内部状態の推定可否を決定する。これにより、実施の形態１に係る内部状態推定装置１０では、乗員の内部状態の誤推定を抑制可能となる。
　また、内部状態推定部１６は、タイミング判定部１５により、第１のタイミングｋＦが第２のタイミングｉＺよりも先であると判定された場合、又は、第１のタイミングｋＦと第２のタイミングｉＺとが同時であると判定された場合に、内部状態の推定を可とする。これにより、実施の形態１に係る内部状態推定装置１０では、乗員の内部状態の誤推定を的確に抑制可能となる。
　また、内部状態推定部１６は、第１のタイミングｋＦにおける特徴的な変化を含む生体情報Ｐ（ｋ）の変化の態様を規定した情報である第１の変化情報、及び、第２のタイミングｉＺにおける変化を含む環境情報Ｅ（ｉ）の変化の態様を規定した情報である第２の変化情報のうちの少なくとも一方と、乗員の内部状態を示す情報とが関連付けられたデータベースを用いて、乗員の内部状態を推定する。これにより、実施の形態１に係る内部状態推定装置１０では、乗員の内部状態を精度よく推定可能となる。
　また、生体情報Ｐ（ｋ）は、乗員の心拍を示す情報、乗員の脈拍を示す情報、及び乗員の顔部画像を示す情報のうちの少なくとも１つである。これにより、実施の形態１に係る内部状態推定装置１０では、乗員から簡易に取得できる情報を用いて、乗員の内部状態の誤推定を抑制可能となる。
　また、環境情報Ｅ（ｉ）は、車両の内部情報、車両の外部情報、及び車両の制御情報のうちの少なくとも１つである。これにより、実施の形態１に係る内部状態推定装置１０では、車両から簡易に取得できる情報を用いて、乗員の内部状態の誤推定を抑制可能となる。
実施の形態２．
　実施の形態１では、第１のタイミングｋＦと第２のタイミングｉＺとの先後の判定結果に応じて、乗員の内部状態の推定可否を決定する内部状態推定装置について説明した。実施の形態２では、生体情報Ｐ（ｋ）及び環境情報Ｅ（ｉ）が取得される時系列上に、所定の時間範囲を有する推定対象区間を設定し、当該推定対象区間毎に内部状態の推定可否を決定する内部状態推定装置について説明する。
　図７は、実施の形態２に係る内部状態推定装置１０ｂの構成例を示す図である。実施の形態２に係る内部状態推定装置１０ｂは、図１に示す実施の形態１に係る内部状態推定装置１０に対し、対象区間設定部１７が追加されている。実施の形態２に係る内部状態推定装置１０ｂのその他の構成は、図１に示す実施の形態１に係る内部状態推定装置１０と同一であるため、同一の符号を付してその説明を省略する。
　対象区間設定部１７は、生体情報Ｐ（ｋ）及び環境情報Ｅ（ｉ）が取得される時系列上に、所定の時間範囲を有する推定対象区間Ｌを設定する。推定対象区間Ｌは、生体情報Ｐ（ｋ）及び環境情報Ｅ（ｉ）が取得される時系列上において、内部状態推定装置１０ｂによる乗員の内部状態の推定を行う対象となる区間を定める。
　また、対象区間設定部１７は、例えば図８に示すように、所定の条件を満たす毎に、推定対象区間Ｌを時間方向（時間が進む方向）に移動可能となっている。所定の条件は、例えば生体情報取得部１１により生体情報Ｐ（ｋ）がｓｔ個（ｓｔは１以上の整数）取得されることである。この場合、対象区間設定部１７は、生体情報取得部１１により生体情報Ｐ（ｋ）がｓｔ個取得される毎に、推定対象区間Ｌを時間方向に移動させる。
　実施の形態２に係る内部状態推定装置１０ｂでは、対象区間設定部１７により、推定対象区間Ｌが設定されると、当該設定された推定対象区間Ｌの範囲内で、特徴変化抽出部１３による第１のタイミングｋＦの抽出、環境情報変化抽出部１４による第２のタイミングｉＺの抽出、タイミング判定部１５による先後判定、及び内部状態推定部１６による内部状態の推定が行われる。また、内部状態推定装置１０ｂでは、対象区間設定部１７により、推定対象区間Ｌが移動された場合、移動後の推定対象区間Ｌ毎に、上記各処理が行われる。
　例えば、特徴変化抽出部１３は、乗員から時系列的に取得された生体情報Ｐ（ｋ）のうち、対象区間設定部１７により設定された推定対象区間Ｌに含まれるＴｐ個の生体情報Ｐ（ｋ－Ｔｐ＋１）～Ｐ（ｋ）に基づき、第１のタイミングｋＦを抽出する。また、特徴変化抽出部１３は、抽出した第１のタイミングｋＦをタイミング判定部１５に出力し、第１のタイミングｋＦの抽出に用いたＴｐ個の生体情報Ｐ（ｋ－Ｔｐ＋１）～Ｐ（ｋ）を特徴変化抽出結果Ｆ（ｋＦ）として、内部状態推定部１６に出力する。なお、Ｔｐは、例えば２以上の整数である。
　また、環境情報変化抽出部１４は、車両及び車両の周辺から時系列的に取得された環境情報Ｅ（ｉ）のうち、対象区間設定部１７により設定された推定対象区間Ｌに含まれるＴｐ個の環境情報Ｅ（ｉ－Ｔｐ＋１）～Ｅ（ｉ）に基づき、前記第２のタイミングｉＺを抽出する。また、環境情報変化抽出部１４は、抽出した第２のタイミングｉＺをタイミング判定部１５に出力し、第２のタイミングｉＺの抽出に用いたＴｐ個の環境情報Ｅ（ｉ－Ｔｐ＋１）～Ｅ（ｉ）を環境情報変化抽出結果Ｚ（ｉＺ）として、内部状態推定部１６に出力する。
　また、タイミング判定部１５は、特徴変化抽出部１３により、推定対象区間Ｌに含まれるＴｐ個の生体情報Ｐ（ｋ－Ｔｐ＋１）～Ｐ（ｋ）に基づいて抽出された第１のタイミングｋＦと、環境情報変化抽出部１４により、推定対象区間Ｌに含まれるＴｐ個の環境情報Ｅ（ｉ－Ｔｐ＋１）～Ｅ（ｉ）に基づいて抽出された第２のタイミングｉＺとの先後を判定する。
　また、内部状態推定部１６は、タイミング判定部１５により、第１のタイミングｋＦが第２のタイミングｉＺよりも先であると判定された場合、又は、第１のタイミングｋＦと第２のタイミングｉＺとが同時であると判定された場合に、内部状態の推定の実行を可とし、特徴変化抽出部１３から取得した特徴変化抽出結果Ｆ（ｋＦ）（すなわちＴｐ個の生体情報Ｐ（ｋ－Ｔｐ＋１）～Ｐ（ｋ））、及び、環境情報変化抽出部１４から取得した環境情報変化抽出結果Ｚ（ｉＺ）（すなわちＴｐ個の環境情報Ｅ（ｉ－Ｔｐ＋１）～Ｅ（ｉ））の少なくとも一方に基づいて、車両の乗員の内部状態を推定する。一方、内部状態推定部１６は、タイミング判定部１５により、第１のタイミングｋＦが第２のタイミングｉＺよりも後であると判定された場合、当該推定対象区間Ｌでの内部状態の推定を行わない。
　次に、内部状態推定部１６による内部状態の推定方法を含む、内部状態推定装置１０ｂの動作例について、具体例を挙げながら説明する。
　なお、ここでは、説明を分かり易くするため、実施の形態１と同様の具体例を挙げて説明する。すなわち、生体情報Ｐ（ｋ）が乗員の心拍数であり、環境情報Ｅ（ｉ）が車両のギアポジションであり、生体情報取得部１１により、乗員の心拍数が１秒間に１個ずつ、合計１５個取得され、環境情報取得部１２により、車両のギアポジションが１秒間に１個ずつ、合計１５個取得されるものとする。また、ここでは、心拍数に特徴的な変化が生じたと判断する基準となる、心拍数の特定の時間変化とは、心拍数が上限閾値である「１．３」を超えたことをいうものとする。上記の場合における心拍数及びギアポジションの具体例を図９に示す。
　まず、対象区間設定部１７は、生体情報Ｐ（ｋ）及び環境情報Ｅ（ｉ）が取得される時系列上に、所定の時間範囲を有する推定対象区間Ｌを設定する。ここで、所定の時間範囲を「１０秒」とすると、対象区間設定部１７は、例えば１秒（ｔ＝１）から１０秒（ｔ＝１０）までの区間を最初の推定対象区間Ｌ１に設定する。
　この場合、特徴変化抽出部１３は、推定対象区間Ｌ１に含まれる１０個の生体情報Ｐ（１）～Ｐ（１０）を参照し、この１０個の生体情報において、心拍数が上限閾値である１．３を超えたタイミングである「５秒（ｔ＝５）」を、第１のタイミングｋＦとして抽出し、当該第１のタイミングｋＦをタイミング判定部１５に出力する。また、特徴変化抽出部１３は、第１のタイミングｋＦの抽出に用いた１０個の心拍数（ｔ＝１における「１．０」からｔ＝１０における「１．７」までの１０個）を、特徴変化抽出結果Ｆ（ｋＦ）として、内部状態推定部１６に出力する。
　一方、環境情報変化抽出部１４は、推定対象区間Ｌ１に含まれる１０個の環境情報Ｅ（１）～Ｅ（１０）を参照し、この１０個の環境情報において、ギアポジションがドライブギアからバックギアに変化したタイミングである「９秒（ｔ＝９）」を、第２のタイミングｉＺとして抽出し、当該第２のタイミングｉＺをタイミング判定部１５に出力する。また、環境情報変化抽出部１４は、第２のタイミングｉＺの抽出に用いた１０個のギアポジション（ｔ＝１における「Ｄ」からｔ＝１０における「Ｒ」までの１０個）を、環境情報変化抽出結果Ｚ（ｉＺ）として、内部状態推定部１６に出力する。
　次に、タイミング判定部１５は、第１のタイミングｋＦである「５秒（ｔ＝５）」と、第２のタイミングｉＺである「９秒（ｔ＝９）」との先後を判定し、第１のタイミングｋＦの方が先であると判定する。また、タイミング判定部１５は、第１のタイミングｋＦの方が先であると判定したため、判定結果ＲＴ（ｋＦ,ｉＺ）を「１」とし、当該判定結果ＲＴ（ｋＦ,ｉＺ）を内部状態推定部１６へ出力する。
　次に、内部状態推定部１６は、タイミング判定部１５から取得した判定結果ＲＴ（ｋＦ,ｉＺ）が「１」であるか否かを確認する。その結果、判定結果ＲＴ（ｋＦ,ｉＺ）が「１」であるため、内部状態推定部１６は、内部状態の推定の実行を可とし、上記１０個の心拍数、及び、上記１０個のギアポジションの少なくとも一方に基づいて、最初の推定対象区間Ｌ１における乗員の内部状態を推定する。内部状態推定部１６による内部状態の推定方法は、実施の形態１で説明した方法と同様である。
　ここで、対象区間設定部１７は、所定の条件を満たす毎に、推定対象区間Ｌを時間方向に移動可能であり、所定の条件は、例えば生体情報取得部１１により生体情報Ｐ（ｋ）が２個取得されることであるものとする。この場合、対象区間設定部１７は、生体情報取得部１１により生体情報Ｐ（ｋ）が２個取得されたタイミングである２秒（ｔ＝２）の時点で、推定対象区間Ｌ１を時間方向に移動させ、次の推定対象区間Ｌ２を設定する。次の推定対象区間Ｌ２は、３秒（ｔ＝３）から１２秒（ｔ＝１２）までの１０秒間である。
　次の推定対象区間Ｌ２が設定されると、特徴変化抽出部１３、環境情報変化抽出部１４、タイミング判定部１５、及び内部状態推定部１６は、当該推定対象区間Ｌ２に含まれる１０個の生体情報及び環境情報に基づいて、上述の各処理を行う。このとき、内部状態推定部１６により推定される乗員の内部状態は、推定対象区間Ｌ２における乗員の内部状態となる。
　その後、対象区間設定部１７は、次に生体情報取得部１１により生体情報Ｐ（ｋ）が２個取得されたタイミングである４秒（ｔ＝４）の時点で、推定対象区間Ｌ２を時間方向に移動させ、次の推定対象区間Ｌ３を設定する。次の推定対象区間Ｌ３は、５秒（ｔ＝５）から１４秒（ｔ＝１４）までの１０秒間である。
　次の推定対象区間Ｌ３が設定されると、特徴変化抽出部１３、環境情報変化抽出部１４、タイミング判定部１５、及び内部状態推定部１６は、当該推定対象区間Ｌ３に含まれる１０個の生体情報及び環境情報に基づいて、上述の各処理を行う。このとき、内部状態推定部１６により推定される乗員の内部状態は、推定対象区間Ｌ３における乗員の内部状態となる。
　実施の形態２に係る内部状態推定装置１０ｂでは、以下同様にして、対象区間設定部１７が推定対象区間Ｌを時間方向に移動させながら、移動した推定対象区間Ｌ毎に乗員の内部状態の推定が行われる。
　このように、実施の形態２に係る内部状態推定装置１０ｂは、対象区間設定部１７を備えることにより、時系列上の所望の区間について、乗員の内部状態の推定結果を得ることができる。また、実施の形態２に係る内部状態推定装置１０ｂでは、推定対象区間Ｌを時間方向に移動させることで、乗員の内部状態をより詳細に、かつ連続的に推定することができる。
　以上のように、この実施の形態２によれば、内部状態推定装置１０ｂは、生体情報Ｐ（ｋ）及び環境情報Ｅ（ｉ）が取得される時系列上に、所定の時間範囲を有する推定対象区間Ｌを設定する対象区間設定部１７を備え、特徴変化抽出部１３は、乗員から時系列的に取得された生体情報のうち、対象区間設定部１７により設定された推定対象区間Ｌに含まれる生体情報に基づき、第１のタイミングｋＦを抽出し、環境情報変化抽出部１４は、時系列的に取得された環境情報のうち、対象区間設定部１７により設定された推定対象区間Ｌに含まれる環境情報に基づき、第２のタイミングｉＺを抽出し、タイミング判定部１５は、特徴変化抽出部１３により、推定対象区間Ｌに含まれる生体情報に基づいて抽出された第１のタイミングｋＦと、環境情報変化抽出部１４により、推定対象区間Ｌに含まれる環境情報に基づいて抽出された第２のタイミングｉＺとの先後を判定し、内部状態推定部１６は、推定対象区間Ｌに含まれる生体情報及び環境情報のうちの少なくとも一方に基づいて、乗員の内部状態を推定し、かつ、タイミング判定部１５による判定結果に応じて、内部状態の推定可否を決定する。これにより、実施の形態２に係る内部状態推定装置１０ｂでは、実施の形態１の効果に加え、時系列上の所望の区間について、乗員の内部状態の推定結果を得ることができる。
　また、対象区間設定部１７は、所定の条件を満たす毎に、推定対象区間Ｌを時間方向に移動させる。これにより、実施の形態２に係る内部状態推定装置１０ｂでは、乗員の内部状態をより詳細に、かつ連続的に推定することができる。
　また、所定の条件は、生体情報Ｐ（ｋ）がｓｔ個（ｓｔは１以上の整数）取得されることである。これにより、実施の形態２に係る内部状態推定装置１０ｂでは、生体情報の取得数に応じて推定対象区間Ｌを移動可能となる。
実施の形態３．
　実施の形態１では、第１のタイミングと第２のタイミングとの先後の判定結果に応じて、乗員の内部状態の推定処理の実行可否を決定する内部状態推定装置について説明した。実施の形態３では、第１のタイミングと第２のタイミングとの先後をより精緻に判定可能な内部状態推定装置について説明する。
　図１０は、実施の形態３に係る内部状態推定装置１０ｃの構成例を示す図である。実施の形態３に係る内部状態推定装置１０ｃは、図１に示す実施の形態１に係る内部状態推定装置１０に対し、特徴変化抽出部１３が特徴変化抽出部１３ｂに変更されている。実施の形態３に係る内部状態推定装置１０ｃのその他の構成は、図１に示す実施の形態１に係る内部状態推定装置１０と同一であるため、同一の符号を付してその説明を省略する。
　特徴変化抽出部１３ｂは、生体情報取得部１１から生体情報Ｐ（ｋ）を取得する。特徴変化抽出部１３ｂは、生体情報取得部１１から取得した生体情報Ｐ（ｋ）に基づいて、当該生体情報Ｐ（ｋ）における特徴的な変化が開始したタイミングを第１のタイミングｋＦとして抽出する。
　例えば、特徴変化抽出部１３ｂは、まず、実施の形態１における特徴変化抽出部１３と同様にして、生体情報Ｐ（ｋ）に特徴的な変化が生じたタイミングを抽出する。次に、特徴変化抽出部１３ｂは、当該抽出したタイミングを起点として、当該タイミングを時間方向に遡り、生体情報Ｐ（ｋ）において特徴的な変化が開始したタイミングを探索する。
　例えば、生体情報Ｐ（ｋ）が心拍数である場合、特徴変化抽出部１３ｂは、心拍数が上限閾値を超えたタイミングを起点として、当該タイミングを時間方向に遡りながら、生体情報Ｐ（ｋ）を示す関数の各点における微分値を順次算出する。そして、特徴変化抽出部１３ｂは、当該微分値が０であるタイミングを、特徴的な変化が開始したタイミングとする。または、特徴変化抽出部１３ｂは、上記抽出したタイミングを時間方向に所定時間（例えば２秒）だけ遡ったタイミングを、特徴的な変化が開始したタイミングとしてもよい。そして、特徴変化抽出部１３ｂは、当該特徴的な変化が開始したタイミングを、第１のタイミングｋＦとして抽出する。
　特徴変化抽出部１３ｂは、抽出した第１のタイミングｋＦをタイミング判定部１５に出力する。また、特徴変化抽出部１３ｂは、第１のタイミングｋＦの抽出に用いた生体情報Ｐ（ｋ）を、特徴変化抽出結果Ｆ（ｋＦ）とし、当該特徴変化抽出結果Ｆ（ｋＦ）を内部状態推定部１６に出力する。
　次に、特徴変化抽出部１３ｂによる処理の具体例及び効果を、図１１を参照しながら説明する。
　例えば、実施の形態１に係る内部状態推定装置１０では、図１１Ａに示すように、特徴変化抽出部１３は、生体情報取得部１１から取得した生体情報Ｐ（ｋ）に基づいて、当該生体情報Ｐ（ｋ）に特徴的な変化が生じたタイミング（例えば心拍数が上限閾値を超えたタイミング）を第１のタイミングｋＦとして抽出した。この場合、上限閾値の内容次第では、生体情報Ｐ（ｋ）に特徴的な変化が発生し始めているにも関わらず、第１のタイミングｋＦが第２のタイミングｉＺよりも後になる場合がある。
　その場合、タイミング判定部１５は、第１のタイミングｋＦが第２のタイミングｉＺよりも後であると判定し、内部状態推定部１６が、乗員の内部状態の推定を否とし、乗員の内部状態の推定処理が実行されない場合がある。このようなケースは、上限閾値の内容次第で回避できる可能性はあるものの、そのために上限閾値を逐一設定し直すことは煩雑であり、また運用上の観点からも現実的ではない場合もある。
　この点、実施の形態３に係る内部状態推定装置１０ｃでは、図１１Ｂに示すように、特徴変化抽出部１３ｂは、生体情報Ｐ（ｋ）に特徴的な変化が生じたタイミングに代えて、生体情報Ｐ（ｋ）において特徴的な変化が開始したタイミングを、第１のタイミングｋＦとして抽出する。これにより、実施の形態３に係る内部状態推定装置１０ｃでは、第１のタイミングｋＦと第２のタイミングｉＺとの先後をより精緻に判定することができ、生体情報Ｐ（ｋ）における特徴的な変化が環境情報Ｅ（ｉ）の変化よりも先に発生し始めているにも関わらず、乗員の内部状態の推定が行われないとの不具合を回避することができる。
　なお、ここでは、実施の形態１に係る内部状態推定装置１０に特徴変化抽出部１３ｂを適用して、実施の形態３に係る内部状態推定装置１０ｃを構成する例を説明したが、内部状態推定装置１０ｃはこれに限らず、実施の形態２に係る内部状態推定装置１０ｂに特徴変化抽出部１３ｂを適用して構成されてもよい。
　以上のように、この実施の形態３によれば、特徴変化抽出部１３ｂは、生体情報Ｐ（ｋ）に特徴的な変化が生じたタイミングに代えて、生体情報Ｐ（ｋ）における特徴的な変化が開始したタイミングを第１のタイミングｋＦとして抽出する。これにより、実施の形態３に係る内部状態推定装置１０ｃでは、実施の形態１の効果に加え、第１のタイミングｋＦと第２のタイミングｉＺとの先後をより精緻に判定することができる。また、これにより、実施の形態３に係る内部状態推定装置１０ｃでは、生体情報Ｐ（ｋ）における特徴的な変化が環境情報Ｅ（ｉ）の変化よりも先に発生し始めているにも関わらず、乗員の内部状態の推定が行われない不具合を回避することができる。
　なお、本開示は、各実施の形態の自由な組合わせ、或いは各実施の形態の任意の構成要素の変形、若しくは各実施の形態において任意の構成要素の省略が可能である。
　本開示は、車両の乗員の内部状態の誤推定を抑制可能となり、内部状態推定装置に用いるのに適している。
　１０　内部状態推定装置、１０ｂ　内部状態推定装置、１０ｃ　内部状態推定装置、１１　生体情報取得部、１２　環境情報取得部、１３　特徴変化抽出部（第１抽出部）、１３ｂ　特徴変化抽出部、１４　環境情報変化抽出部（第２抽出部）、１５　タイミング判定部（判定部）、１６　内部状態推定部（推定部）、１７　対象区間設定部、２１　処理回路、２２　ＣＰＵ、２３　メモリ、Ｅ　環境情報、Ｆ　特徴変化抽出結果、ｉ　入力番号、ｉＺ　第２のタイミング、ｋ　入力番号、ｋＦ　第１のタイミング、Ｌ　推定対象区間、Ｌ１　推定対象区間、Ｌ２　推定対象区間、Ｌ３　推定対象区間、Ｐ　生体情報、Ｒ　推定結果、ＲＴ　判定結果、Ｚ　環境情報変化抽出結果。

Claims (10)

  1. 　車両の乗員から時系列的に取得された生体情報に基づき、当該生体情報に特徴的な変化が生じたタイミングである第１のタイミングを抽出する第１抽出部と、
    　時系列的に取得された情報であって、当該情報の変化が前記乗員の内部状態に影響を与える情報である環境情報に基づき、当該環境情報に変化が生じたタイミングである第２のタイミングを抽出する第２抽出部と、
    　前記第１抽出部により抽出された第１のタイミングと、前記第２抽出部により抽出された第２のタイミングとの先後を判定する判定部と、
    　前記生体情報及び前記環境情報のうちの少なくとも一方に基づいて、前記乗員の内部状態を推定する推定部と、を備え、
    　前記推定部は、
    　前記判定部による判定結果に応じて、前記内部状態の推定可否を決定することを特徴とする内部状態推定装置。
  2. 　前記推定部は、
    　前記判定部により、前記第１のタイミングが前記第２のタイミングよりも先であると判定された場合、又は、前記第１のタイミングと前記第２のタイミングとが同時であると判定された場合に、前記内部状態の推定を可とする
    　ことを特徴とする請求項１記載の内部状態推定装置。
  3. 　前記生体情報及び前記環境情報が取得される時系列上に、所定の時間範囲を有する推定対象区間を設定する対象区間設定部を備え、
    　前記第１抽出部は、
    　前記乗員から時系列的に取得された前記生体情報のうち、前記対象区間設定部により設定された推定対象区間に含まれる生体情報に基づき、前記第１のタイミングを抽出し、
    　前記第２抽出部は、
    　時系列的に取得された前記環境情報のうち、前記対象区間設定部により設定された推定対象区間に含まれる環境情報に基づき、前記第２のタイミングを抽出し、
    　前記判定部は、
    　前記第１抽出部により、前記推定対象区間に含まれる生体情報に基づいて抽出された第１のタイミングと、前記第２抽出部により、前記推定対象区間に含まれる環境情報に基づいて抽出された第２のタイミングとの先後を判定し、
    　前記推定部は、
    　前記推定対象区間に含まれる生体情報及び環境情報のうちの少なくとも一方に基づいて、前記乗員の内部状態を推定し、かつ、前記判定部による判定結果に応じて、前記内部状態の推定可否を決定する
    　ことを特徴とする請求項１又は請求項２に記載の内部状態推定装置。
  4. 　前記対象区間設定部は、
    　所定の条件を満たす毎に、前記推定対象区間を時間方向に移動させることを特徴とする請求項３記載の内部状態推定装置。
  5. 　前記所定の条件は、
    　前記生体情報がｓｔ個（ｓｔは１以上の整数）取得されることであることを特徴とする請求項４記載の内部状態推定装置。
  6. 　前記推定部は、
    　前記第１のタイミングにおける特徴的な変化を含む前記生体情報の変化の態様を規定した情報である第１の変化情報、及び、前記第２のタイミングにおける変化を含む前記環境情報の変化の態様を規定した情報である第２の変化情報のうちの少なくとも一方と、前記乗員の内部状態を示す情報とが関連付けられたデータベースを用いて、前記乗員の内部状態を推定する
    　ことを特徴とする請求項１から請求項５のうちのいずれか１項に記載の内部状態推定装置。
  7. 　前記生体情報は、
    　前記乗員の心拍を示す情報、前記乗員の脈拍を示す情報、及び前記乗員の顔部画像を示す情報のうちの少なくとも１つであることを特徴とする請求項１から請求項６のうちのいずれか１項に記載の内部状態推定装置。
  8. 　前記環境情報は、
    　前記車両の内部情報、前記車両の外部情報、及び前記車両の制御情報のうちの少なくとも１つであることを特徴とする請求項１から請求項７のうちのいずれか１項に記載の内部状態推定装置。
  9. 　前記第１抽出部は、
    　前記生体情報に特徴的な変化が生じたタイミングに代えて、前記生体情報における特徴的な変化が開始したタイミングを前記第１のタイミングとして抽出する
    　ことを特徴とする請求項１から請求項８のうちのいずれか１項に記載の内部状態推定装置。
  10. 　内部状態推定装置による内部状態推定方法であって、
    　第１抽出部が、車両の乗員から時系列的に取得された生体情報に基づき、当該生体情報に特徴的な変化が生じたタイミングである第１のタイミングを抽出するステップと、
    　第２抽出部が、前記車両及び前記車両の周辺から時系列的に取得された情報である環境情報に基づき、当該環境情報に変化が生じたタイミングである第２のタイミングを抽出するステップと、
    　判定部が、前記第１抽出部により抽出された第１のタイミングと、前記第２抽出部により抽出された第２のタイミングとの先後を判定するステップと、
    　推定部が、前記生体情報及び前記環境情報のうちの少なくとも一方に基づいて、前記乗員の内部状態を推定するステップと、を有し、
    　前記推定部は、
    　前記判定部による判定結果に応じて、前記内部状態の推定可否を決定することを特徴とする内部状態推定方法。
PCT/JP2022/044804 2022-12-06 2022-12-06 内部状態推定装置及び内部状態推定方法 WO2024121917A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/044804 WO2024121917A1 (ja) 2022-12-06 2022-12-06 内部状態推定装置及び内部状態推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/044804 WO2024121917A1 (ja) 2022-12-06 2022-12-06 内部状態推定装置及び内部状態推定方法

Publications (1)

Publication Number Publication Date
WO2024121917A1 true WO2024121917A1 (ja) 2024-06-13

Family

ID=91378869

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/044804 WO2024121917A1 (ja) 2022-12-06 2022-12-06 内部状態推定装置及び内部状態推定方法

Country Status (1)

Country Link
WO (1) WO2024121917A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018140162A (ja) * 2017-02-28 2018-09-13 パナソニックＩｐマネジメント株式会社 作業適正度判定システム
JP2019068935A (ja) * 2017-10-06 2019-05-09 カルソニックカンセイ株式会社 眠気度予測装置及び眠気度予測方法
JP2020074805A (ja) * 2018-11-05 2020-05-21 株式会社安藤・間 ドライバーの状態推定方法及び装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018140162A (ja) * 2017-02-28 2018-09-13 パナソニックＩｐマネジメント株式会社 作業適正度判定システム
JP2019068935A (ja) * 2017-10-06 2019-05-09 カルソニックカンセイ株式会社 眠気度予測装置及び眠気度予測方法
JP2020074805A (ja) * 2018-11-05 2020-05-21 株式会社安藤・間 ドライバーの状態推定方法及び装置

Similar Documents

Publication Publication Date Title
CN104859652B (zh) 用于自动驾驶的方法和系统
US20130325482A1 (en) Estimating congnitive-load in human-machine interaction
JP2001063400A (ja) ドライバー認証装置
CN105264463B (zh) 用于汽车导航仪的手势输入装置
WO2024121917A1 (ja) 内部状態推定装置及び内部状態推定方法
JP6065842B2 (ja) 辞書学習装置、パターン照合装置、辞書学習方法およびコンピュータプログラム
JP2008021177A (ja) 危険状況判断装置及び危険状況記録装置
JP6687300B2 (ja) 異常検知装置及び異常検知方法
JP2006199159A (ja) 運転行動認識装置
CN114092987A (zh) 基于个体情绪识别提供车辆服务的装置和方法
JP5407554B2 (ja) 車両用走行制御装置
CN111382665B (zh) 信息处理装置以及计算机可读存储介质
CN110023169B (zh) 防止驾驶员在醉酒时驾驶车辆的方法
US11501561B2 (en) Occupant monitoring device, occupant monitoring method, and occupant monitoring program
US20230401898A1 (en) Hand detection device, gesture recognition device, and hand detection method
KR101011133B1 (ko) 차량 제어 방법 및 제어 장치
CN117657170B (zh) 一种新能源汽车智能安全和整车控制方法及系统
JP2006244289A (ja) 画像認識装置及び画像認識方法
JP7325687B2 (ja) 眠気推定装置及び眠気推定システム
US20230102610A1 (en) Image extraction device, vehicle, image extraction system, image extraction method, and storage medium storing image extraction program
JP2018180424A (ja) 音声認識装置および音声認識方法
US11551491B2 (en) Driving evaluation device, driving evaluation system, driving evaluation method, and non-transitory storage medium
CN113221611B (zh) 情绪推断装置、方法、程序以及车辆
JP2023110269A (ja) 車載装置および車載装置の制御方法
JP2023110267A (ja) 車載装置および車載装置の制御方法