WO2020195168A1 - 漫然状態判定装置および漫然状態判定方法 - Google Patents

漫然状態判定装置および漫然状態判定方法 Download PDF

Info

Publication number
WO2020195168A1
WO2020195168A1 PCT/JP2020/003871 JP2020003871W WO2020195168A1 WO 2020195168 A1 WO2020195168 A1 WO 2020195168A1 JP 2020003871 W JP2020003871 W JP 2020003871W WO 2020195168 A1 WO2020195168 A1 WO 2020195168A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
rambling
state
stimulus
drowsiness
Prior art date
Application number
PCT/JP2020/003871
Other languages
English (en)
French (fr)
Inventor
未佳 砂川
式井 愼一
良宏 小島
大介 和久田
高橋 弘毅
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Publication of WO2020195168A1 publication Critical patent/WO2020195168A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • the present disclosure relates to a rambling state determination device for determining whether a person has been in a rambling state, and a rambling state determination method.
  • Patent Document 1 discloses a device that detects a driver's line of sight and determines whether or not the driver is driving indiscriminately.
  • rambling state If the driver is in a rambling state (hereinafter sometimes referred to as "rambling state”), call attention to the driver to return to the normal state, and the driver will not be in a rambling state for the future. It is desirable to advise. Therefore, it is necessary to grasp whether or not a person such as a driver is in a state of rambling.
  • Patent Document 1 it is difficult to accurately determine whether or not a person has been in a vague state simply by detecting the line of sight of a person as in the device disclosed in Patent Document 1.
  • the present disclosure provides a rambling state determination device and the like that can accurately determine whether or not a person has been in a rambling state.
  • the involuntary state determination device includes a stimulus instruction unit that instructs the person to give a stimulus when there is a suspicion that the person is in an involuntary state, and a user who acquires the detection information of the person.
  • An information acquisition unit and a vague determination unit for determining whether or not the person is in a vague state are provided, and the vague determination unit is based on a change in the detection information of the person before and after the instruction to give the stimulus. It is determined whether the person was in a vague state before the instruction to give the stimulus.
  • the involuntary state determination device includes an environmental information acquisition unit that acquires external stimulus information regarding a stimulus given to a person from the outside, a user information acquisition unit that acquires the detection information of the person, and the person.
  • the vague determination unit is provided with a vague determination unit for determining whether or not is in a vague state, and the vague determination unit acquires the external stimulus information based on a change in the detection information of the person before and after the acquisition of the external stimulus information. Determine if the person was previously in a vague state.
  • the drowsiness state determination device includes a user information acquisition unit that acquires detection information of a person and a drowsiness determination unit that determines whether or not the person is in a drowsiness state.
  • a rate of change in the degree of drowsiness and the degree of drowsiness which indicates the degree of drowsiness and the degree of drowsiness, obtained from the detection information of the person is equal to or greater than a predetermined rate of change, it is determined that the person is in a drowsiness state.
  • the rate of change in the degree of drowsiness is smaller than the predetermined rate of change, it is determined that the person is not in a state of drowsiness.
  • the loose state determination method is a loose state determination method for determining whether or not a person has been in a loose state, and when there is a suspicion that the person is in a loose state, the person is referred to. Instructing the application of a stimulus, acquiring the detection information of the person, and based on the change in the detection information of the person before and after the instruction of applying the stimulus, the person in the past before the instruction of applying the stimulus. Determine if you were in a vague state.
  • the loose state determination method is a loose state determination method for determining whether or not a person has been in a loose state, and obtains external stimulus information regarding a stimulus given to the person from the outside, and the above-mentioned
  • the detection information of the person is acquired, and based on the change of the detection information of the person before and after the acquisition of the external stimulus information, it is determined whether or not the person is in a loose state before the acquisition of the external stimulus information.
  • the drowsiness state determination method is a drowsiness state determination method for determining whether or not a person has been in a drowsiness state, and obtains the detection information of the person and obtains the detection information of the person.
  • the rate of change in the degree of drowsiness and drowsiness indicating the degree of drowsiness of the person is equal to or greater than the predetermined rate of change, it is determined that the person is in a drowsiness state, and the rate of change in the degree of drowsiness is the predetermined rate.
  • it is smaller than the rate of change it is determined that the person is not in a drowsy state.
  • FIG. 1A is a schematic view showing an example of a rambling state determination system including the rambling state determination device according to the first embodiment.
  • FIG. 1B is a schematic view showing another example of the rambling state determination system including the rambling state determination device according to the first embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of the rambling state determination device according to the first embodiment.
  • FIG. 3 is a diagram showing an example of determining a rambling state using the rambling state determining device according to the first embodiment.
  • FIG. 4 is a flowchart showing a rambling state determination method according to the first embodiment.
  • FIG. 5A is a diagram showing another example of determining a rambling state using the rambling state determining device according to the first embodiment.
  • FIG. 5B is a diagram showing another example of determining the rambling state using the rambling state determining device according to the first embodiment.
  • FIG. 6A is a schematic view showing an example of a rambling state determination system including the rambling state determination device according to the second embodiment.
  • FIG. 6B is a schematic view showing another example of the rambling state determination system including the rambling state determination device according to the second embodiment.
  • FIG. 7 is a block diagram showing a functional configuration of the rambling state determination device according to the second embodiment.
  • FIG. 8 is a diagram showing an example of determining a rambling state using the rambling state determining device according to the second embodiment.
  • FIG. 9 is a flowchart showing a rambling state determination method according to the second embodiment.
  • FIG. 10 is a block diagram showing a functional configuration of the rambling state determination device according to the third embodiment.
  • FIG. 11 is a block diagram showing a functional configuration of the rambling state determination device according to the fourth embodiment.
  • FIG. 12 is a diagram showing an example in which learning is performed by the rambling state determination device according to the fourth embodiment.
  • FIG. 13 is a block diagram showing a functional configuration of the rambling state determination device according to the fifth embodiment.
  • FIG. 14 is a flowchart showing a rambling state determination method according to the fifth embodiment.
  • a rambling state is a state in which you are not paying attention to what you should pay attention to in the current situation, especially a state where you are thinking about something different from what you should pay attention to.
  • a person becomes rambling for example, he or she may remain vaguely facing forward without moving his or her face, or his or her line of sight may stop.
  • There is a drowsiness occurrence state as a state similar to this drowsiness state.
  • a person becomes drowsy he or she may remain facing forward without moving his or her face, or his or her eyes may stop.
  • the person may remain facing forward without moving his / her face, or his / her line of sight may stop. It is difficult to determine whether or not a person has been in a state of rambling in the past.
  • the rambling state determination device of the present embodiment has the following configuration, so that it can accurately determine whether or not a person has been in a rambling state in the past.
  • the involuntary state determination device acquires a stimulus instruction unit that instructs the person to give a stimulus when there is a suspicion that the person is in an involuntary state, and the detection information of the person. It is provided with a user information acquisition unit for determining whether or not the person is in a vague state, and the vague determination unit is based on a change in the detection information of the person before and after the instruction to give the stimulus. Then, it is determined whether or not the person was in a state of involuntary condition before the instruction to give the stimulus.
  • the stimulation instruction unit may instruct the application of the stimulation when there is a suspicion that the person is in a vague state.
  • the rambling state determination device further includes an object specifying unit of interest that identifies an object of interest to the person, and the stimulus instruction unit gives a stimulus to the person using the object. You may instruct the application of the stimulus as described above.
  • the stimulus can be surely given, and it can be surely determined whether or not the person is in a vague state.
  • the object can be used to stimulate a specific person. As a result, it is possible to give a stimulus to a specific person, and it is possible to reliably determine whether or not the person has been in a state of rambling.
  • the rambling state determination device may further include a learning unit that learns whether the person to whom the stimulus has been given has been able to eliminate the rambling state.
  • the learned stimulus can be used to reliably eliminate the person's rambling state.
  • the learned stimulus can be used to reliably eliminate the person's rambling state.
  • the stimulus instruction unit may instruct the addition of the stimulus based on the learning result of the learning unit.
  • the stimulus instruction unit can instruct to give a stimulus based on the learning result, and can surely eliminate the person's rambling state. As a result, it is possible to accurately determine whether or not a person has been in a rambling state.
  • the involuntary state determination device includes an environmental information acquisition unit that acquires external stimulus information regarding a stimulus given to a person from the outside, a user information acquisition unit that acquires the detection information of the person, and the person.
  • the vague determination unit is provided with a vague determination unit for determining whether or not is in a vague state, and the vague determination unit acquires the external stimulus information based on a change in the detection information of the person before and after the acquisition of the external stimulus information. Determine if the person was previously in a vague state.
  • the detection information of the person includes the degree of drowsiness and the degree of drowsiness indicating the degree of drowsiness, the frequency of eye movement, the pupil diameter, the number of blinks, the frequency of body movement, the respiratory volume, the frequency of work, the accuracy of work, and , It may be at least one of the visual object appropriateness rates.
  • the stimulus may be a stimulus for eliminating the rambling state of the person.
  • the stimulus may be an arousal-inducing stimulus for eliminating the drowsiness of the person.
  • the drowsiness state determination device includes a user information acquisition unit that acquires detection information of a person and a drowsiness determination unit that determines whether or not the person is in a drowsiness state.
  • a rate of change in the degree of drowsiness and the degree of drowsiness which indicates the degree of drowsiness and the degree of drowsiness, obtained from the detection information of the person is equal to or greater than a predetermined rate of change, it is determined that the person is in a drowsiness state.
  • the rate of change in the degree of drowsiness is smaller than the predetermined rate of change, it is determined that the person is not in a state of drowsiness.
  • the loose state determination method is a loose state determination method for determining whether or not a person has been in a loose state, and stimulates the person when there is a suspicion that the person is in a loose state.
  • the person is instructed to give the stimulus, the detection information of the person is acquired, and based on the change in the detection information of the person before and after the instruction to give the stimulus, the person is inadvertently in the past before the instruction to give the stimulus. You may determine whether it was in a state.
  • the loose state determination method is a loose state determination method for determining whether or not a person has been in a loose state, and obtains external stimulus information regarding a stimulus given to the person from the outside, and the above-mentioned
  • the detection information of the person is acquired, and based on the change of the detection information of the person before and after the acquisition of the external stimulus information, it is determined whether or not the person is in a loose state before the acquisition of the external stimulus information.
  • the drowsiness state determination method is a drowsiness state determination method for determining whether or not a person has been in a drowsiness state, and obtains the detection information of the person and obtains the detection information of the person.
  • the rate of change in the degree of drowsiness and drowsiness indicating the degree of drowsiness of the person is equal to or greater than the predetermined rate of change, it is determined that the person is in a drowsiness state, and the rate of change in the degree of drowsiness is the predetermined rate.
  • it is smaller than the rate of change it is determined that the person is not in a drowsy state.
  • FIG. 1A is a schematic view showing an example of a rambling state determination system 1 including the rambling state determination device 20 according to the first embodiment.
  • FIG. 1A shows an example in which the vague state determination system 1 is provided in the vehicle 91.
  • FIG. 1B is a schematic view showing another example of the rambling state determination system 1 including the rambling state determination device 20.
  • FIG. 1B shows an example in which the rambling state determination system 1 is provided in the room 92.
  • the rambling state determination system 1 is provided in a predetermined space such as a vehicle 91 or an interior 92.
  • the rambling state determination system 1 is a system that determines whether or not a person has been in a rambling state by observing the reaction of the person after giving a stimulus to the person.
  • the rambling state determination system 1 includes a rambling state determination device 20, a first input unit 11, a second input unit 12, a notification unit 31, and a stimulus application unit 32.
  • the rambling state determination device 20 is a device that determines whether a person has been in a rambling state in the past.
  • the rambling state determination device 20 is composed of, for example, a microprocessor and a memory.
  • the first input unit 11, the second input unit 12, the notification unit 31, and the stimulus applying unit 32 are connected to the rambling state determination device 20.
  • the rambling state determination device 20 will be described in detail later.
  • the stimulus giving unit 32 is a device that gives a stimulus to a person, and stimulates the human sense of sight, hearing, touch, and the like.
  • the stimulus applying unit 32 is, for example, an image display device, a speaker, or an actuator that generates an external force.
  • the stimulus applying unit 32 may give a stimulus to a person, for example, by vibrating the seat on which the person is sitting.
  • the first input unit 11 is a device for inputting detection information about a person who uses the rambling state determination device 20, that is, the user U, to the rambling state determination device 20.
  • the first input unit 11 is, for example, a camera, a TOF (Time Of Flight), a center of gravity sensor, and a biological sensor, and detects a person's reaction when stimulated by the stimulation applying unit 32.
  • the first input unit 11 uses the user U's line of sight, pupil diameter, eye open state, blinking, head movement, body movement frequency, body temperature, warmth, heartbeat, and breathing as the detection information of the user U. And detect information such as exhaled breath components.
  • driving operation information such as the steering wheel, accelerator, and brake, and information such as the inter-vehicle distance may be input as detection information regarding the user U.
  • information such as a user operation performed on the personal computer may be input as the detection information regarding the user U.
  • the second input unit 12 is a device for inputting information about the environment around the user U into the state determination device 20 indiscriminately.
  • the second input unit 12 is various environmental sensors including a camera and a microphone.
  • the second input unit 12 detects an object in front of the person's line of sight or an object of interest to the person.
  • the second input unit 12 provides information on the environment such as structures arranged around the person, illumination light, illuminance, color, temperature, wind speed, ambient sound, odor, and air components. To detect.
  • the detection information about the user U is input to the first input unit 11, and the information about the environment is input to the second input unit 12, but the present invention is not limited to this.
  • information about the environment may be input using the camera or the like of the first input unit 11, or the detection information of the user U may be input by using the sensor or the like of the second input unit 12.
  • the notification unit 31 is a device that notifies and advises the user U that the user U has been in a vague state, for example, an image display device or a speaker. Further, the notification unit 31 may be an information terminal such as a smartphone or a tablet terminal, or may be an in-vehicle head-up display.
  • FIG. 2 is a block diagram showing a functional configuration of the rambling state determination device 20. Note that FIG. 2 also shows a first input unit 11, a second input unit 12, a notification unit 31, and a stimulus applying unit 32 connected to the rambling state determination device 20.
  • the rambling state determination device 20 includes a user information acquisition unit 21, an environment information acquisition unit 22, a rambling determination unit 25, and a stimulus instruction unit 27.
  • the user information acquisition unit 21 acquires the detection information of the user U input by the first input unit 11.
  • the detection information acquired by the user information acquisition unit 21 is output to the vague determination unit 25.
  • the environment information acquisition unit 22 acquires information related to the environment input by the second input unit 12.
  • the information acquired by the environmental information acquisition unit 22 is output to the vague determination unit 25.
  • the rambling determination unit 25 determines whether the user U is in a rambling state. More specifically, the rambling determination unit 25 determines whether or not the user U is suspected to be rambling, the first rambling determination unit 25a, and whether the user U is in a rambling state. It has a second rambling determination unit 25b for final determination.
  • the first rambling determination unit 25a determines whether there is a suspicion that the user U is rambling based on the detection information obtained by the user information acquisition unit 21. Whether or not it is vague is determined based on, for example, the frequency of movement of the line of sight of the user U. For example, if the frequency of movement of the line of sight of the user U is lower than a predetermined value, it is suspected that the user U is vague.
  • the second rambling determination unit 25b will be described later.
  • the stimulus instruction unit 27 operates the stimulus application unit 32 so as to give a stimulus to the user U.
  • the stimulus instruction unit 27 causes the stimulus application unit 32 to apply a stimulus to eliminate the rambling state of the user U.
  • the stimulation instruction unit 27 stimulates the user U who is suspected of being in a vague state by suddenly changing, for example, music, illuminance, vibration, ventilation, and the like.
  • the reaction of the user U to which the rambling elimination stimulus is given is detected by the first input unit 11 or the second input unit 12, and is output to the user information acquisition unit 21.
  • the user information acquisition unit 21 outputs the obtained detection information to the second rambling determination unit 25b.
  • the second rambling determination unit 25b finally determines whether the user U has been in a rambling state. Specifically, the second rambling determination unit 25b is based on the change in the detection information of the person before and after the application of the stimulus to the person when the stimulus instruction unit 27 gives an instruction to apply the stimulus. Determines whether or not was in a state of rambling.
  • the detection information of the user U includes both the drowsiness degree and the drowsiness degree of the user U. It becomes a value.
  • Examples of the detection information of the user U include the drowsiness degree and the drowsiness degree indicating the drowsiness degree of the person. The degree of drowsiness is expressed, for example, on a 10-point scale, and the higher the degree of drowsiness, the larger the value.
  • the degree of drowsiness is, for example, 1 when the line of sight of a person is moving diligently, 5 when the movement of the line of sight is slow, and 10 when the line of sight is completely stopped.
  • the second rambling determination unit 25b determines whether or not the person has been in a rambling state based on the change in the degree of drowsiness.
  • the second rambling determination unit 25b is, for example, when the frequency of eye movements is decreasing, when the pupil diameter is fluctuating, when the number of blinks is increasing, or when the body movement is decreasing.
  • the amount of breathing is low, or when the work frequency and work accuracy are low, it may be determined that the person is in a state of rambling.
  • the second rambling determination unit 25b uses a camera that captures the driver and a camera that captures the front in combination to visually check whether the object (for example, a traffic signal) that the driver is viewing is appropriate. Based on the change in the target suitability rate, it may be determined whether or not the person has been in a state of rambling.
  • FIG. 3 is a diagram showing an example in which a rambling state determination device 20 is used to determine a rambling state.
  • the horizontal axis of FIG. 3 is the time during which the user U is being monitored, and the left vertical axis is the degree of drowsiness.
  • the degree of drowsiness which is an example of the detection information, is shown by a solid line and a broken line.
  • Whether or not the degree of drowsiness has changed suddenly is determined by, for example, comparing the differential values before and after the change in the degree of drowsiness, and determining that the difference between the differential values is greater than or equal to a predetermined value.
  • a predetermined value it may be determined that the change is small. Thereby, it is possible to determine whether or not the user U has been in a vague state before the time t1.
  • the rambling state determination device 20 of the present embodiment includes a stimulus instruction unit 27 that instructs a person to give a stimulus when there is a suspicion that the person is in a rambling state, and user information that acquires the detection information of the person.
  • the acquisition unit 21 and a rambling determination unit 25 for determining whether or not a person is in a rambling state are provided.
  • the rambling determination unit 25 determines whether or not the person was in a rambling state before the instruction to give the stimulus, based on the change in the detection information of the person before and after the instruction to give the stimulus.
  • the rambling determination unit 25 determines the rambling state based on the change in the detection information of the person before and after the application of the stimulus to the person, thereby distinguishing between the rambling state and the drowsiness occurrence state. Can be done. As a result, it is possible to accurately determine whether or not a person has been in a rambling state.
  • FIG. 4 is a flowchart showing the rambling state determination method of the first embodiment.
  • the user information acquisition unit 21 acquires the detection information of the user U (step S11). This detection information is mainly input by the first input unit 11.
  • the first rambling determination unit 25a determines whether or not the user U is suspected of being rambling (step S12). Whether or not the user U is ambiguous is determined based on, for example, the frequency of movement of the line of sight of the user U.
  • a stimulus is given to the user U (step S13). Specifically, the stimulus instruction unit 27 instructs the stimulus application unit 32 to apply stimuli such as sight, hearing, and touch to the user U. Here, it is important whether or not the user U to which the stimulus is given has changed.
  • the user information acquisition unit 21 acquires the detection information of the user U again (step S14).
  • the second rambling determination unit 25b determines whether or not the user U is in the rambling state (step S15). Specifically, the second rambling determination unit 25b determines whether or not the user U was in a rambling state before the stimulus was applied by the stimulus application unit 32 based on the change in the detection information.
  • the second rambling determination unit 25b determines that the user U is in the rambling state (Y in S15)
  • the second rambling determination unit 25b indicates that the user U is in the rambling state.
  • the notification unit 31 is used to give advice (step S16).
  • the second rambling determination unit 25b determines that the user U is not in the rambling state (N in S15)
  • the output to the notification unit 31 is not performed and the step ends.
  • the person when there is a suspicion that the person is in a rambling state, the person is instructed to give a stimulus, the person's detection information is acquired, and before and after the instruction to give the stimulus. Based on the change in the detection information of the person in the above, it is determined whether or not the person has been in a rambling state in the past before the instruction to give the stimulus.
  • FIG. 5A is a diagram showing another example in which the rambling state determination device 20 is used to determine the rambling state.
  • the horizontal axis of FIG. 5A is the time during which the user U is being monitored, and the left vertical axis is the frequency of eye movement.
  • the line-of-sight movement frequency of the user U which is an example of the detection information, is shown by a solid line and a broken line.
  • the line-of-sight movement frequency is a low value when the user U's consciousness is far away, and a high value when the user U's consciousness is clear and attention is paid to the surroundings. Therefore, for example, when the user U is in a rambling state, the frequency of movement of the line of sight of the user U suddenly increases (recovers) when the stimulus for eliminating the rambling is given to the user U. Therefore, as shown in the curve (a) of FIG. 5A, when the stimulus for eliminating the rambling is given at time t1 and the frequency of gaze movement suddenly increases with respect to the frequency of gaze movement in the past, the state is in a rambling state before time t1. It can be determined that it was. On the other hand, as shown in the curve (b) of FIG. 5A, when the change in the frequency of eye movement is small even though the stimulus for eliminating the rambling is given at the time t1, the state is not rambling before the time t1. It can be determined that the patient was in a drowsiness state
  • Whether or not the line-of-sight movement frequency has changed suddenly is determined by, for example, comparing the differential values before and after the change in the line-of-sight movement frequency, and when the difference between the differential values is greater than or equal to a predetermined value, it is determined that the differential value has changed suddenly. When the difference between the values is smaller than a predetermined value, it may be determined that the change is small. Thereby, it is possible to determine whether or not the user U has been in a vague state before the time t1.
  • the rambling determination unit 25 puts the person in a rambling state before applying the stimulus based on the change in the pupil diameter, the number of blinks, the frequency of body movement, the amount of breathing, the frequency of work, the accuracy of work, or the appropriate rate of the visual object. You may determine if it was.
  • the awakening-inducing stimulus is, for example, a stimulus in which changes in cold temperature, music, illuminance, vibration, ventilation, etc. are gradual, and has continuity of 10 seconds or more.
  • a stimulus in which changes in cold temperature, music, illuminance, vibration, ventilation, etc. are gradual and has continuity of 10 seconds or more.
  • FIG. 5B is a diagram showing another example in which the rambling state determination device 20 is used to determine the rambling state.
  • the horizontal axis of FIG. 5B is the time during which the user U is being monitored, and the left vertical axis is the degree of drowsiness.
  • the degree of drowsiness which is an example of the detection information, is shown by a solid line and a broken line.
  • the drowsiness state and the drowsiness state are in a contradictory relationship, it can be said that the drowsiness state was a drowsiness state. Thereby, it is possible to determine whether or not the user U has been in a vague state before the time t1.
  • FIG. 6A is a schematic view showing an example of the rambling state determination system 1A including the rambling state determination device 20A according to the second embodiment.
  • FIG. 6A shows an example in which the vague state determination system 1A is provided in the vehicle 91.
  • FIG. 6B is a schematic view showing another example of the rambling state determination system 1A including the rambling state determination device 20A.
  • FIG. 6B shows an example in which the rambling state determination system 1A is provided in the room 92.
  • the rambling state determination system 1A is provided in a predetermined space such as the vehicle 91 or the interior 92.
  • the rambling state determination system 1A includes a rambling state determination device 20A, a first input unit 11, a second input unit 12, and a notification unit 31.
  • the external stimulus output unit 35 is also shown in FIGS. 6A and 6B.
  • the rambling state determination device 20A is a device that determines whether a person has been in a rambling state in the past.
  • the first input unit 11, the second input unit 12, and the notification unit 31 are connected to the rambling state determination device 20A.
  • the vague state determination device 20A will be described in detail later.
  • the external stimulus output unit 35 is a device that gives a stimulus to a person, and stimulates the human sense of sight, hearing, touch, and the like.
  • the external stimulus output unit 35 is controlled by a system different from the rambling state determination system 1A.
  • the vague state determination device 20A is provided in the vehicle 91
  • the external stimulus output unit 35 is, for example, a traffic signal, a vehicle traveling ahead, an emergency vehicle, or the like.
  • the rambling state determination device 20A is provided in the room 92
  • the external stimulus output unit 35 is, for example, a speaker, lighting, or the like provided in the room 92.
  • the first input unit 11 is a device for inputting detection information about a person who uses the rambling state determination device 20A, that is, the user U, to the rambling state determination device 20A.
  • the first input unit 11 is, for example, a camera, a TOF, a center of gravity sensor, and a biological sensor, and detects a human reaction when stimulated by an external stimulus output unit 35.
  • the first input unit 11 uses the user U's line of sight, pupil diameter, eye open state, blinking, head movement, body movement frequency, body temperature, warmth, heartbeat, and breathing as the detection information of the user U. And detect information such as exhaled breath components.
  • the second input unit 12 is a device for inputting information about the environment around the user U into the state determination device 20A.
  • the second input unit 12 is various environmental sensors including a camera and a microphone.
  • the second input unit 12 detects external stimulus information regarding a stimulus given to a person from the outside as information regarding the environment.
  • the second input unit 12 detects information such as structures arranged around the person, illumination light, illuminance, color, temperature, wind speed, ambient sound, odor, and air components. For example, information that the color of the signal of the traffic signal has changed, information that the brake lamp of the vehicle traveling ahead is lit, information that the siren of the emergency vehicle sounds, and the like are detected. It also detects information such as chimes and illumination lights in the room 92.
  • the detection information about the user U is input to the first input unit 11, and the information about the environment is input to the second input unit 12, but the present invention is not limited to this.
  • information about the environment including external stimulus information may be input using the camera of the first input unit 11, or the detection information of the user U may be input using the sensor or the like of the second input unit 12. Good.
  • the notification unit 31 is a device that notifies and advises the user U that the user U has been in a vague state, for example, an image display device or a speaker. Further, the notification unit 31 may be an information terminal such as a smartphone or a tablet terminal, or may be an in-vehicle head-up display.
  • FIG. 7 is a block diagram showing a functional configuration of the rambling state determination device 20A. Note that FIG. 7 also shows a first input unit 11, a second input unit 12, and a notification unit 31 connected to the rambling state determination device 20A.
  • the rambling state determination device 20A includes a user information acquisition unit 21, an environment information acquisition unit 22, and a rambling determination unit 25.
  • the user information acquisition unit 21 acquires the detection information regarding the user U input by the first input unit 11.
  • the reaction of the user U to which the stimulus is given by the external stimulus output unit 35 described above is detected by the first input unit 11 or the second input unit 12 and output to the user information acquisition unit 21.
  • the detection information acquired by the user information acquisition unit 21 is output to the vague determination unit 25.
  • the environment information acquisition unit 22 acquires information related to the environment input by the second input unit 12. Specifically, the environmental information acquisition unit 22 acquires external stimulus information regarding a stimulus given to a person from the outside as information regarding the environment. The information acquired by the environmental information acquisition unit 22 is output to the vague determination unit 25.
  • the rambling determination unit 25 determines whether the user U has been in a rambling state. Specifically, when the external stimulus information is input from the environmental information acquisition unit 22, the rambling determination unit 25 puts the person in a rambling state based on the change in the detection information of the person before and after the acquisition of the external stimulus information. Judge whether or not it was.
  • An example of the detection information of the user U is the degree of drowsiness and the degree of drowsiness indicating the degree of drowsiness of a person. Further, as another example of the detection information of the user U, there are a person's line-of-sight movement frequency, pupil diameter, number of blinks, body movement frequency, respiratory volume, work frequency, work accuracy, and visual object appropriateness rate.
  • FIG. 8 is a diagram showing an example of determining a rambling state using the rambling state determining device 20A.
  • the horizontal axis of FIG. 8 is the time during which the user U is being monitored, and the left vertical axis is the degree of drowsiness.
  • the degree of drowsiness which is an example of the detection information, is shown by a solid line and a broken line.
  • the rambling state determination device 20A of the present embodiment includes an environment information acquisition unit 22 that acquires external stimulus information regarding a stimulus given to a person from the outside, a user information acquisition unit 21 that acquires human detection information, and a person. It is provided with a rambling determination unit 25 for determining whether or not it is in a rambling state. The rambling determination unit 25 determines whether or not the person was in a rambling state before the acquisition of the external stimulus information, based on the change in the detection information of the person before and after the acquisition of the external stimulus information.
  • the rambling determination unit 25 determines the rambling state based on the change in the human detection information before and after acquiring the external stimulus information, thereby distinguishing between the rambling state and the drowsiness occurrence state. it can. As a result, it is possible to accurately determine whether or not a person has been in a rambling state.
  • FIG. 9 is a flowchart showing the rambling state determination method of the second embodiment.
  • the environmental information acquisition unit 22 acquires information regarding an external stimulus output from the outside (step S21). Specifically, the environmental information regarding the external stimulus output from the external stimulus output unit 35 is acquired.
  • the user information acquisition unit 21 acquires detection information regarding the user U (step S22).
  • the detection information is mainly input by the first input unit 11.
  • the rambling determination unit 25 determines whether or not the user U is in the rambling state (step S15). Specifically, the drowsiness determination unit 25 obtains the degree of drowsiness based on the detection information of the user U. Then, based on the change in the degree of drowsiness, it is determined whether or not the user U is in a drowsiness state before the stimulation is applied by the external stimulus output unit 35.
  • the rambling determination unit 25 uses the notification unit 31 to notify that the user U is in the rambling state. (Step S16).
  • the rambling determination unit 25 determines that the user U is not in the rambling state (N in S15)
  • the output to the notification unit 31 is not performed and the step ends. Through these steps, it is possible to determine whether or not a person has been in a state of rambling. These steps may be repeated, for example, in the vehicle 91 or the interior 92.
  • the drowsiness state determination method of the second embodiment is a drowsiness state determination method for determining whether or not a person has been in a drowsiness state, and acquires information on a stimulus given to a person from the outside and acquires information on the stimulus. Based on the change in the degree of drowsiness and drowsiness indicating the degree of drowsiness and drowsiness of the person before and after, it is determined whether or not the person was in a drowsiness state before the acquisition of information on the stimulus.
  • FIG. 10 is a block diagram showing a functional configuration of the rambling state determination device 20B.
  • the rambling state determination device 20B includes a user information acquisition unit 21, an environment information acquisition unit 22, an interest target identification unit 26, a rambling determination unit 25, and a stimulus instruction unit 27. ..
  • the user information acquisition unit 21 acquires the detection information regarding the user U input by the first input unit 11.
  • the detection information acquired by the user information acquisition unit 21 is output to the interest target identification unit 26 and the rambling determination unit 25.
  • the environment information acquisition unit 22 acquires information related to the environment input by the second input unit 12.
  • the information acquired by the environmental information acquisition unit 22 is output to the interest target identification unit 26 and the rambling determination unit 25.
  • the object of interest identification unit 26 identifies an object of interest to the user U based on the above information.
  • the object that the user U is interested in is, for example, an image display device that the user U is looking at or an output source (speaker) of the sound that the user U is listening to.
  • the stimulation instruction unit 27 operates the stimulation application unit 32 so as to stimulate the user U using the above object. By identifying an object of interest to the user U and stimulating the user U with the identified object, it is possible to prevent the user U from overlooking or overhearing the stimulus.
  • the interest target identification unit 26 identifies an object located in the line-of-sight direction, and then the stimulus instruction unit 27 visually stimulates the object. May be given. Further, the user U may be stimulated by using the three-dimensional head-up display provided in the vehicle 91. According to this, since the stimulus can be given without changing the line-of-sight direction of the user U, it is possible to suppress the sideways driving and the like. Further, when an object that the user U should be interested in appears from a direction other than the line-of-sight direction of the user U, a visual stimulus may be given by shining a light on the object.
  • the stimulation instruction unit 27 may issue an instruction to the stimulation application unit 32 to give a scalp stimulation or an auditory stimulation. .. Further, even if the object of interest identification unit 26 identifies the object touched by the user U and the stimulus instruction unit 27 gives an instruction to the stimulus application unit 32 to vibrate the object to stimulate the user U. Good.
  • the reaction of the user U to which the stimulus is given is detected by the first input unit 11 or the second input unit 12, and is output to the user information acquisition unit 21.
  • the user information acquisition unit 21 outputs the obtained detection information to the determination unit 25 indiscriminately.
  • the rambling determination unit 25 finally determines whether the user U has been in a rambling state. Specifically, in the rambling determination unit 25, when the stimulus instruction unit 27 gives an instruction to give a stimulus, the person is in a rambling state based on the change in the detection information of the person before and after the stimulus is given to the person. Judge whether or not it was.
  • the rambling determination unit 25 determines the rambling state based on the change in the detection information before and after the application of the stimulus to the person. Thereby, it is possible to distinguish between the drowsiness state and the drowsiness state. As a result, it is possible to accurately determine whether or not a person has been in a rambling state.
  • FIG. 11 is a block diagram showing a functional configuration of the rambling state determination device 20C according to the fourth embodiment.
  • the rambling state determination device 20C includes a user information acquisition unit 21, a rambling determination unit 25, a stimulus instruction unit 27, and a learning unit 29.
  • the user information acquisition unit 21 acquires the detection information regarding the user U input by the first input unit 11.
  • the information acquired by the user information acquisition unit 21 is output to the vague determination unit 25.
  • the rambling determination unit 25 determines whether the user U is in a rambling state. More specifically, the rambling determination unit 25 determines whether or not the user U is suspected to be rambling, the first rambling determination unit 25a, and whether the user U is in a rambling state. It has a second rambling determination unit 25b for final determination.
  • the first rambling determination unit 25a determines whether there is a suspicion that the user U is rambling based on the detection information obtained by the user information acquisition unit 21. Whether or not it is vague is determined based on, for example, the frequency of movement of the line of sight of the user U. For example, if the frequency of movement of the line of sight of the user U is lower than a predetermined value, it is suspected that the user U is vague.
  • the stimulation instruction unit 27 When there is a suspicion of a rambling state, the stimulation instruction unit 27 operates the stimulation application unit 32 so as to stimulate the user U.
  • the stimulus instruction unit 27 causes the stimulus application unit 32 to apply a rambling-eliminating stimulus for eliminating the rambling state of the user U.
  • the stimulation instruction unit 27 gives a stimulus by suddenly changing, for example, music, illuminance, vibration, ventilation, and the like.
  • the content of the stimulus instructed by the stimulus instruction unit 27 is also output to the learning unit 29. Then, the stimulus instruction unit 27 instructs the addition of the stimulus based on the learning result of the learning unit 29.
  • the learning unit 29 learns whether the user U to whom the stimulus has been given has been able to eliminate the vague state.
  • the learning unit 29 receives the output from the rambling determination unit 25 and the stimulus instruction unit 27 to determine the content of an appropriate stimulus as the stimulus to be given to the user U.
  • the learning unit 29 receives the detection information about the user U via the judgment unit 25 indiscriminately, and learns whether to treat this detection information as important or not from the next time.
  • FIG. 12 is a diagram showing an example of learning with the rambling state determination device 20C.
  • the line-of-sight movement frequency and the respiratory volume are shown as the detection information regarding the user U.
  • the user U is more suitable for determining whether or not the respiratory volume is in a rambling state than the line-of-sight movement frequency.
  • the weight of the respiratory volume may be higher than the frequency of movement of the line of sight, and the detection information may be acquired from the next time.
  • the learning unit 29 informs the determination unit 25 of these learning results. In this way, the learning unit 29 may learn the results of being able to appropriately resolve the rambling state and the results that could not be resolved, and use it to eliminate the rambling state.
  • the learning unit 29 may adjust the determination line in the rambling state for a person who tends to be in a rambling state, and is not limited to adjusting the determination line, and drives other devices such as a collision prevention safety device. You may adjust the presence or absence of.
  • the learning unit 29 can be linked with an external service, for example, by reflecting information on the ease of rambling of user U in insurance premiums. Further, the learning unit 29 may reject the call when the call is received from the other party who causes the user U to be in a vague state. Further, when the user U is currently in a rambling state or when there is a strong suspicion that the user U is in a rambling state, the learning unit 29 may terminate this call.
  • the learning unit 29 assumes that it is normal immediately after the rambling state is resolved, and by learning the normal state, the rambling state is subsequently generated, and when the stimulus giving unit 32 applies the rambling stimulus, it is normal. Adjustments may be made such as continuing to increase the stimulation intensity until the state returns.
  • the learning unit 29 may learn a stimulus that makes it difficult for the user U to become a rambling state, and may give the user U a stimulus that makes it difficult to become a rambling state in advance.
  • the automatic seat position adjustment function of the vehicle 91 may be used to slightly change the seat position each time so as not to cause a vague state.
  • the moving points may be displayed on the head-up display to draw the driver's attention so as not to be in a vague state.
  • the user U may be attracted by using a sound stimulus such as a facility guide or a weather forecast on the route.
  • the reaction of the user U to which the stimulus is given is detected by the first input unit 11 or the second input unit 12, and is output to the user information acquisition unit 21.
  • the user information acquisition unit 21 outputs the obtained detection information to the second rambling determination unit 25b.
  • the second rambling determination unit 25b finally determines whether the user U has been in a rambling state. Specifically, the second rambling determination unit 25b is based on the change in the detection information of the person before and after the application of the stimulus to the person when the stimulus instruction unit 27 gives an instruction to apply the stimulus. Determines whether or not was in a state of rambling.
  • the rambling state determination device 20C by instructing the application of the stimulus based on the learning result of the learning unit 29, the stimulus to the person can be appropriately applied. As a result, it is possible to accurately determine whether or not the person is in a rambling state based on the change in the detection information before and after the application of the stimulus to the person.
  • FIG. 13 is a block diagram showing a functional configuration of the rambling state determination device 20D according to the fifth embodiment.
  • the rambling state determination device 20D includes a user information acquisition unit 21 that acquires detection information of a person, and a rambling determination unit 25 that determines whether the person is in a rambling state.
  • the rambling determination unit 25 determines that the person is in a rambling state when the rate of change in the degree of drowsiness of the person (change rate in a predetermined period) obtained from the detection information of the person is equal to or higher than the predetermined rate of change. .
  • the rate of change in the degree of drowsiness is smaller than the predetermined rate of change, it is determined that the person is not in a state of drowsiness.
  • the rambling determination unit 25 determines the rambling state based on the rate of change in the degree of drowsiness of the person, so that the rambling state and the drowsiness occurrence state can be distinguished and determined. As a result, it is possible to accurately determine whether or not a person has been in a rambling state.
  • FIG. 14 is a flowchart showing a rambling state determination method according to the fifth embodiment.
  • the rambling state determination method of the fifth embodiment first acquires human detection information (step S14). Next, it is determined whether or not the person is in a rambling state (step S55). Specifically, it is determined whether or not the rate of change in the degree of drowsiness (change rate in a predetermined period) indicating the degree of drowsiness and the degree of drowsiness of the person obtained from the detection information of the person is equal to or higher than the predetermined rate of change.
  • step S16 when the rate of change in the degree of drowsiness is equal to or greater than the predetermined rate of change (Y in S55), it is determined that the person is in a drowsiness state, and the person is notified that the person was in a drowsiness state (step S16). On the other hand, when the rate of change in the degree of drowsiness is smaller than the predetermined rate of change (N in S55), it is determined that the person is not in a drowsiness state, and the notification unit 31 does not output and ends the step.
  • each degree of drowsiness is evaluated on a 10-point scale
  • the evaluation is not limited to this, and the evaluation may be on a scale of 11 or more, or may be on a scale of 9 or less. Good.
  • the present disclosure is useful as a device for determining whether or not a person has been in a loose state while driving a vehicle or working indoors.
  • Vague state determination system 11 1st input unit 12 2nd input unit 20, 20A, 20B, 20C, 20D Vague state determination device 21 User information acquisition unit 22 Environmental information acquisition unit 25 Vague determination unit 25a 1st vague determination Part 25b Second loose judgment unit 26 Interest target identification unit 27 Stimulation instruction unit 29 Learning unit 31 Notification unit 32 Stimulation application unit 35 External stimulus output unit 91 Vehicle 92 Indoor U user

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Developmental Disabilities (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

漫然状態判定装置(20)は、人が漫然状態になっている疑いがある場合に、人への刺激の付与を指示する刺激指示部(27)と、人の検知情報を取得するユーザ情報取得部(21)と、人が漫然状態になっているかを判定する漫然判定部(25)とを備える。漫然判定部(25)は、刺激の付与の指示の前後における人の検知情報の変化に基づいて、刺激の付与の指示の前に人が漫然状態になっていたかを判定する。

Description

漫然状態判定装置および漫然状態判定方法
 本開示は、人が漫然とした状態になっていたかを判定する漫然状態判定装置、および、漫然状態判定方法に関する。
 特許文献1には、運転者の視線を検出し、運転者が漫然運転を行っているか否かを判定する装置が開示されている。
特開平8-178712号公報
 運転者が漫然とした状態(以下、「漫然状態」という場合がある)になっている場合、運転者に注意を呼びかけて平常状態に戻すこと、また今後のためにも運転者が漫然状態にならないように忠告することが望ましい。そのため、運転者などの人が漫然状態になっていたかを把握することが必要とされる。
 しかしながら、特許文献1に開示された装置のように人の視線を検出するだけでは、人が漫然状態になっていたかを精度よく判定することが困難である。
 そこで、本開示は、人が漫然状態になっていたかを精度よく判定することができる漫然状態判定装置等を提供する。
 本開示の一態様に係る漫然状態判定装置は、人が漫然状態になっている疑いがある場合に前記人への刺激の付与を指示する刺激指示部と、前記人の検知情報を取得するユーザ情報取得部と、前記人が漫然状態になっているかを判定する漫然判定部とを備え、前記漫然判定部は、前記刺激の付与の指示の前後における前記人の検知情報の変化に基づいて、前記刺激の付与の指示の前に前記人が漫然状態になっていたかを判定する。
 本開示の一態様に係る漫然状態判定装置は、外部から人に付与される刺激に関する外部刺激情報を取得する環境情報取得部と、前記人の検知情報を取得するユーザ情報取得部と、前記人が漫然状態になっているかを判定する漫然判定部とを備え、前記漫然判定部は、前記外部刺激情報の取得の前後における前記人の検知情報の変化に基づいて、前記外部刺激情報の取得の前に前記人が漫然状態になっていたかを判定する。
 本開示の一態様に係る漫然状態判定装置は、人の検知情報を取得するユーザ情報取得部と、前記人が漫然状態になっているかを判定する漫然判定部とを備え、前記漫然判定部は、前記人の検知情報から得られた前記人の眠気度合および漫然度合を示す眠気漫然度合の変化率が所定の変化率以上である場合に、前記人が漫然状態になっていたと判定し、前記眠気漫然度合の変化率が前記所定の変化率よりも小さい場合に、前記人が漫然状態になっていなかったと判定する。
 本開示の一態様に係る漫然状態判定方法は、人が漫然状態になっていたかを判定する漫然状態判定方法であって、前記人が漫然状態になっている疑いがある場合に前記人への刺激の付与を指示し、前記人の検知情報を取得し、前記刺激の付与の指示の前後における前記人の検知情報の変化に基づいて、前記刺激の付与の指示の前に前記人が過去に漫然状態になっていたかを判定する。
 本開示の一態様に係る漫然状態判定方法は、人が漫然状態になっていたかを判定する漫然状態判定方法であって、外部から前記人に付与される刺激に関する外部刺激情報を取得し、前記人の検知情報を取得し、前記外部刺激情報の取得の前後における前記人の検知情報の変化に基づいて、前記外部刺激情報の取得の前に前記人が漫然状態になっていたかを判定する。
 本開示の一態様に係る漫然状態判定方法は、人が漫然状態になっていたかを判定する漫然状態判定方法であって、前記人の検知情報を取得し、前記人の検知情報から得られた前記人の眠気度合および漫然度合を示す眠気漫然度合の変化率が所定の変化率以上である場合に、前記人が漫然状態になっていたと判定し、前記眠気漫然度合の変化率が前記所定の変化率よりも小さい場合に、前記人が漫然状態になっていなかったと判定する。
 上記態様によれば、人が漫然状態になっていたかを精度よく判定することができる。
図1Aは、実施の形態1における漫然状態判定装置を備える漫然状態判定システムの一例を示す概略図である。 図1Bは、実施の形態1における漫然状態判定装置を備える漫然状態判定システムの他の一例を示す概略図である。 図2は、実施の形態1における漫然状態判定装置の機能構成を示すブロック図である。 図3は、実施の形態1における漫然状態判定装置を用いて漫然状態の判定を行う例を示す図である。 図4は、実施の形態1における漫然状態判定方法を示すフローチャートである。 図5Aは、実施の形態1における漫然状態判定装置を用いて漫然状態の判定を行う他の例を示す図である。 図5Bは、実施の形態1における漫然状態判定装置を用いて漫然状態の判定を行う他の例を示す図である。 図6Aは、実施の形態2における漫然状態判定装置を備える漫然状態判定システムの一例を示す概略図である。 図6Bは、実施の形態2における漫然状態判定装置を備える漫然状態判定システムの他の一例を示す概略図である。 図7は、実施の形態2における漫然状態判定装置の機能構成を示すブロック図である。 図8は、実施の形態2における漫然状態判定装置を用いて漫然状態の判定を行う例を示す図である。 図9は、実施の形態2における漫然状態判定方法を示すフローチャートである。 図10は、実施の形態3における漫然状態判定装置の機能構成を示すブロック図である。 図11は、実施の形態4における漫然状態判定装置の機能構成を示すブロック図である。 図12は、実施の形態4における漫然状態判定装置にて学習を行う例を示す図である。 図13は、実施の形態5における漫然状態判定装置の機能構成を示すブロック図である。 図14は、実施の形態5における漫然状態判定方法を示すフローチャートである。
 例えば、車両を運転しているとき、または、室内で作業をしているときに、人は漫然状態になることがある。漫然状態とは、現在の状況において注意を払うべきことに注意していない状態、とくに、注意を払うべきこととは別のことを考えている状態をいう。人が漫然状態になると、例えば、顔を動かさずに漠然と前方を向いたままになったり、または、視線が止まったりする。この漫然状態と似た状態として眠気発生状態がある。人が眠気発生状態になると、顔を動かさずに前方を向いたままになったり、または、視線が止まったりする。
 人が漫然状態または眠気発生状態になると、車両の運転または室内での作業が緩慢になったり大雑把になったりする。そのため、人が漫然状態または眠気発生状態になったときは、平常状態に戻すことが望ましく、また、今後のためにも、漫然状態または眠気発生状態にならないように忠告することが望ましい。
 例えば、人が漫然状態であるときは、その人に注意を呼びかけることで、速やかに平常状態に戻すことができる。一方、人が眠気発生状態にあるときは、注意を呼びかけるだけでは眠気を解消できず、その人に冷水をかけるなど強めの刺激を与える必要がある。しかし、漫然状態の人に強めの刺激を与えると、刺激を与えられた人が驚いて異常行動を起こすこともある。このように、平常状態に戻すための手段が漫然状態と眠気発生状態とで異なるため、平常状態に戻す前に、人が漫然状態にあるか眠気発生状態にあるかを区別して検出する必要がある。
 しかしながら、前述したように、漫然状態および眠気発生状態はともに、顔を動かさずに前方を向いたままになったり、または、視線が止まったりするので、人の外観を見ただけでは、その人が過去に漫然状態になっていたか否かを判定することが難しい。
 それに対し本実施の形態の漫然状態判定装置は、以下に示す構成を有することで、人が過去に漫然状態になっていたかを精度よく判定することができる。
 すなわち、本開示の一態様に係る漫然状態判定装置は、人が漫然状態になっている疑いがある場合に前記人への刺激の付与を指示する刺激指示部と、前記人の検知情報を取得するユーザ情報取得部と、前記人が漫然状態になっているかを判定する漫然判定部とを備え、前記漫然判定部は、前記刺激の付与の指示の前後における前記人の検知情報の変化に基づいて、前記刺激の付与の指示の前に前記人が漫然状態になっていたかを判定する。
 このように、人への刺激の付与の前後における人の検知情報の変化に基づいて、漫然状態を判定することで、漫然状態と眠気発生状態とを区別して判定することができる。これにより、人が漫然状態になっていたかを精度よく判定することができる。
 また、前記刺激指示部は、前記人が漫然状態になっている疑いがある場合に、前記刺激の付与を指示してもよい。
 これによれば、漫然状態を判定する必要があるときに、人に対して刺激が与えられるので、人が漫然状態になっていないのに刺激を与えられる煩わしさを抑制することができる。
 また、漫然状態判定装置は、さらに、前記人が関心を示している対象物を特定する関心対象特定部を備え、前記刺激指示部は、前記対象物を用いて前記人に刺激が付与されるように前記刺激の付与を指示してもよい。
 このように、人が関心を示している対象物を用いて人に刺激を与えることで、人が刺激を見逃したり、聞き逃したりすることを抑制することができる。これにより、確実に刺激を与えることができ、人が漫然状態になっていたかを確実に判定することができる。また、例えば複数の人がいる場合に、対象物を用いて特定の人に刺激を与えることができる。これにより、特定の人に刺激を付与することができ、人が漫然状態になっていたかを確実に判定することができる。
 また、漫然状態判定装置は、さらに、前記刺激を付与された前記人が漫然状態を解消できたかを学習する学習部を備えていてもよい。
 このように、人の漫然状態を解消できた刺激を学習することで、例えば学習したその刺激を用いて、人の漫然状態を確実に解消することができる。これにより、人が漫然状態になっていたかを精度よく判定することができる。
 また、前記刺激指示部は、前記学習部の学習結果に基づいて、前記刺激の付与を指示してもよい。
 これによれば、刺激指示部は、学習結果に基づいた刺激を付与するように指示することができ、人の漫然状態を確実に解消することができる。これにより、人が漫然状態になっていたかを精度よく判定することができる。
 本開示の一態様に係る漫然状態判定装置は、外部から人に付与される刺激に関する外部刺激情報を取得する環境情報取得部と、前記人の検知情報を取得するユーザ情報取得部と、前記人が漫然状態になっているかを判定する漫然判定部とを備え、前記漫然判定部は、前記外部刺激情報の取得の前後における前記人の検知情報の変化に基づいて、前記外部刺激情報の取得の前に前記人が漫然状態になっていたかを判定する。
 このように、外部刺激情報を取得する前後における人の検知情報の変化に基づいて、漫然状態を判定することで、漫然状態と眠気発生状態とを区別して判定することができる。これにより、人が漫然状態になっていたかを精度よく判定することができる。
 また、前記人の検知情報は、前記人の眠気度合および漫然度合を示す眠気漫然度合、前記人の視線移動頻度、瞳孔径、瞬き回数、体動頻度、呼吸量、作業頻度、作業精度、および、視認対象適正率の少なくとも1つであってもよい。
 これによれば、人の検知情報を精度よく取得することができる。これにより、人の検知情報の変化に基づいて、漫然状態と眠気発生状態とを区別して判定することができ、人が漫然状態になっていたかを精度よく判定することができる。
 また、前記刺激は、前記人の漫然状態を解消させるための漫然解消刺激であってもよい。
 これによれば、人に対して漫然解消刺激を付与して、漫然状態の解消を確実に行うことができる。これにより、漫然状態と眠気発生状態とを区別して判定することができ、人が漫然状態になっていたかを精度よく判定することができる。
 また、前記刺激は、前記人の眠気を解消させるための覚醒誘導刺激であってもよい。
 これによれば、人に対して覚醒誘導刺激を付与し、眠気発生状態の解消を確実に行うことができる。これにより、漫然状態と眠気発生状態とを区別して判定することができ、人が漫然状態になっていたかを精度よく判定することができる。
 本開示の一態様に係る漫然状態判定装置は、人の検知情報を取得するユーザ情報取得部と、前記人が漫然状態になっているかを判定する漫然判定部とを備え、前記漫然判定部は、前記人の検知情報から得られた前記人の眠気度合および漫然度合を示す眠気漫然度合の変化率が所定の変化率以上である場合に、前記人が漫然状態になっていたと判定し、前記眠気漫然度合の変化率が前記所定の変化率よりも小さい場合に、前記人が漫然状態になっていなかったと判定する。
 このように、眠気漫然度合の変化率に基づいて漫然状態を判定することで、漫然状態と眠気発生状態とを区別して判定することができる。これにより、人が漫然状態になっていたかを精度よく判定することができる。
 本開示の一態様に係る漫然状態判定方法は、人が漫然状態になっていたかを判定する漫然状態判定方法であって、人が漫然状態になっている疑いがある場合に前記人への刺激の付与を指示し、前記人の検知情報を取得し、前記刺激の付与の指示の前後における前記人の検知情報の変化に基づいて、前記刺激の付与の指示の前に前記人が過去に漫然状態になっていたかを判定してもよい。
 このように、人への刺激の付与の前後における人の検知情報の変化に基づいて、漫然状態を判定することで、漫然状態と眠気発生状態とを区別して判定することができる。これにより、人が漫然状態になっていたかを精度よく判定することができる。
 本開示の一態様に係る漫然状態判定方法は、人が漫然状態になっていたかを判定する漫然状態判定方法であって、外部から前記人に付与される刺激に関する外部刺激情報を取得し、前記人の検知情報を取得し、前記外部刺激情報の取得の前後における前記人の検知情報の変化に基づいて、前記外部刺激情報の取得の前に前記人が漫然状態になっていたかを判定する。
 このように、外部刺激情報を取得する前後における人の検知情報の変化に基づいて、漫然状態を判定することで、漫然状態と眠気発生状態とを区別して判定することができる。これにより、人が漫然状態になっていたかを精度よく判定することができる。
 本開示の一態様に係る漫然状態判定方法は、人が漫然状態になっていたかを判定する漫然状態判定方法であって、前記人の検知情報を取得し、前記人の検知情報から得られた前記人の眠気度合および漫然度合を示す眠気漫然度合の変化率が所定の変化率以上である場合に、前記人が漫然状態になっていたと判定し、前記眠気漫然度合の変化率が前記所定の変化率よりも小さい場合に、前記人が漫然状態になっていなかったと判定する。
 このように、眠気漫然度合の変化率に基づいて漫然状態を判定することで、漫然状態と眠気発生状態とを区別して判定することができる。これにより、人が漫然状態になっていたかを精度よく判定することができる。
 なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
 以下、本開示の一態様に係る漫然状態判定装置等について、図面を参照しながら具体的に説明する。
 なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 (実施の形態1)
 [1-1.漫然状態判定システムの構成]
 まず、実施の形態1の漫然状態判定装置20を備える漫然状態判定システム1の構成について、図1Aおよび図1Bを参照しながら説明する。
 図1Aは、実施の形態1における漫然状態判定装置20を備える漫然状態判定システム1の一例を示す概略図である。図1Aには、漫然状態判定システム1が、車両91に設けられている例が示されている。
 図1Bは、漫然状態判定装置20を備える漫然状態判定システム1の他の一例を示す概略図である。図1Bには、漫然状態判定システム1が、室内92に設けられている例が示されている。
 図1Aおよび図1Bに示すように、漫然状態判定システム1は、車両91または室内92などの所定の空間内に設けられる。
 漫然状態判定システム1は、人に対して刺激を与えた後、それに対する人の反応を見て、人が漫然状態になっていたか否かを判定するシステムである。漫然状態判定システム1は、漫然状態判定装置20、第1入力部11、第2入力部12、報知部31および刺激付与部32を備えている。
 漫然状態判定装置20は、人が過去に漫然状態になっていたかを判定する装置である。漫然状態判定装置20は、例えば、マイクロプロセッサおよびメモリなどによって構成される。漫然状態判定装置20には、第1入力部11、第2入力部12、報知部31および刺激付与部32が接続されている。漫然状態判定装置20については、後で詳しく説明する。
 刺激付与部32は、人に対して刺激を付与する装置であり、人の視覚、聴覚、触覚などを刺激する。刺激付与部32は、例えば、画像表示装置、スピーカまたは外力を発生するアクチュエータである。刺激付与部32は、例えば、人が座っているシートを振動させることで、人に刺激を与えてもよい。
 第1入力部11は、漫然状態判定装置20を利用する人、すなわちユーザUに関する検知情報を漫然状態判定装置20に入力するための装置である。第1入力部11は、例えば、カメラ、TOF(Time Of Flight)、重心センサ、生体センサであり、刺激付与部32によって刺激を与えられたときの人の反応を検出する。具体的には、第1入力部11は、ユーザUの検知情報として、ユーザUの視線、瞳孔径、開眼状態、瞬き、頭部の動き、体動頻度、体温、温冷感、心拍、呼吸および呼気成分などの情報を検出する。なお、漫然状態判定装置20が車両91に設けられている場合は、ユーザUに関する検知情報として、ハンドル、アクセル、ブレーキなどの運転操作情報や車間距離などの情報が入力されてもよい。また、漫然状態判定装置20が室内92に設けられている場合は、ユーザUに関する検知情報として、パーソナルコンピュータに対して行ったユーザ操作などの情報が入力されてもよい。
 第2入力部12は、ユーザUの周囲の環境に関する情報を漫然状態判定装置20に入力するための装置である。第2入力部12は、カメラやマイクを含む各種の環境センサである。第2入力部12は、人の視線の先にある対象物や人が関心を示している対象物を検出する。具体的には、第2入力部12は、環境に関する情報として、人の周囲に配置されている構造物、照明光、照度、色、温度、風速、周辺音、匂いおよび空気成分などの情報を検出する。
 なお上記では、第1入力部11にユーザUに関する検知情報が入力され、第2入力部12に環境に関する情報が入力される例を示したが、それに限られない。例えば、第1入力部11のカメラ等を用いて環境に関する情報が入力されてもよいし、第2入力部12のセンサ等を用いてユーザUの検知情報が入力されてもよい。
 報知部31は、ユーザUが漫然状態であったことをユーザUに知らせ、また忠告する装置であり、例えば、画像表示装置またはスピーカである。また、報知部31は、スマートフォンまたはタブレット端末などの情報端末であってもよいし、車載用のヘッドアップディスプレイであってもよい。
 [1-2.漫然状態判定装置の構成]
 次に、漫然状態判定装置20の構成について図2および図3を参照しながら説明する。
 図2は、漫然状態判定装置20の機能構成を示すブロック図である。なお、図2には、漫然状態判定装置20に接続されている第1入力部11、第2入力部12、報知部31および刺激付与部32も示されている。
 図2に示すように、漫然状態判定装置20は、ユーザ情報取得部21と、環境情報取得部22と、漫然判定部25と、刺激指示部27とを備えている。
 ユーザ情報取得部21は、第1入力部11にて入力されたユーザUの検知情報を取得する。ユーザ情報取得部21で取得した当該検知情報は、漫然判定部25に出力される。
 環境情報取得部22は、第2入力部12にて入力された環境に関する情報を取得する。環境情報取得部22で取得した当該情報は、漫然判定部25に出力される。
 漫然判定部25は、ユーザUが漫然状態になっているかを判定する。より具体的には、漫然判定部25は、ユーザUが漫然となっている疑いがあるか否かを一次的に判定する第1の漫然判定部25aと、ユーザUが漫然状態になっていたかを最終的に判定する第2の漫然判定部25bとを有している。
 第1の漫然判定部25aは、ユーザ情報取得部21にて得られた検知情報に基づいて、ユーザUが漫然となっている疑いがあるかを判定する。漫然となっているか否かは、例えば、ユーザUの視線移動頻度に基づいて判定される。例えば、ユーザUの視線移動頻度が、予め決められた値より低ければ、ユーザUは漫然となっている疑いがあるとする。第2の漫然判定部25bについては後述する。
 刺激指示部27は、ユーザUに対して刺激を与えるように、刺激付与部32を作動させる。刺激指示部27は、ユーザUの漫然状態を解消させるための刺激である漫然解消刺激を刺激付与部32に付与させる。刺激指示部27は、例えば、音楽、照度、振動、換気などを急に変化させることで、漫然状態となっている疑いがあるユーザUを刺激する。
 漫然解消刺激を付与されたユーザUの反応は、第1入力部11または第2入力部12によって検出され、ユーザ情報取得部21に出力される。ユーザ情報取得部21は、得られた検知情報を第2の漫然判定部25bに出力する。
 第2の漫然判定部25bは、ユーザUが漫然状態になっていたかを最終的に判定する。具体的には、第2の漫然判定部25bは、刺激指示部27が刺激の付与の指示を行った場合に、人への刺激の付与の前後における人の検知情報の変化に基づいて、人が漫然状態になっていたか否かを判定する。
 前述したように、人の外観を見ただけでは、その人の眠気発生状態および漫然状態を区別することが難しいので、ユーザUの検知情報は、ユーザUの眠気度合および漫然度合の両方を含む値となる。ユーザUの検知情報の例としては、人の眠気度合および漫然度合を示す眠気漫然度合が挙げられる。眠気漫然度合は、例えば10段階評価で表され、眠気漫然度合が高いほど数値が大きくなる。眠気漫然度合は、例えば、人の視線がこまめに動いているときは1であり、視線の動きが鈍っているときは5であり、視線が完全に止まっているときは10である。第2の漫然判定部25bは、この眠気漫然度合の変化に基づいて、人が漫然状態になっていたかを判定する。
 また、ユーザUの検知情報の他の例としては、人の視線移動頻度、瞳孔径、瞬き回数、体動頻度、呼吸量、作業頻度、作業精度、および、視認対象適正率が挙げられる。第2の漫然判定部25bは、例えば、視線移動頻度が低下していたとき、瞳孔径にゆらぎが発生していたとき、瞬き回数が増大していたとき、体動が減少していたとき、呼吸量が低下していたとき、または、作業頻度や作業精度が低下していたときは、人が漫然状態になっていたと判定してもよい。また、第2の漫然判定部25bは、運転者を撮影するカメラと前方を撮影するカメラとを併用し、運転者が視認している対象物(例えば交通信号機)が適正であるかなどの視認対象適正率の変化に基づいて、人の漫然状態になっていたかを判定してもよい。
 ここで、第2の漫然判定部25bによる漫然状態の判定のしかたの一例について、図3を参照しながら説明する。
 図3は、漫然状態判定装置20を用いて漫然状態の判定を行う例を示す図である。図3の横軸はユーザUをモニタリングしている時間であり、左縦軸は眠気漫然度合である。図3には、検知情報の一例である眠気漫然度合が実線および破線で示されている。
 例えばユーザUが漫然状態であった場合、ユーザUに漫然解消刺激が付与されると、ユーザUの漫然状態は急激に解消する。そこで、図3の(a)の曲線に示すように、時間t1に漫然解消刺激が付与され、眠気漫然度合が過去の眠気漫然度合に対して急激に低下した場合は、時間t1以前は漫然状態であったと判定することができる。それ対し、図3の(b)の曲線に示すように、時間t1に漫然解消刺激が付与されたにもかかわらず、眠気漫然度合の変化が小さい場合は、時間t1以前は漫然状態ではなく、眠気発生状態であったと判定することができる。なお、眠気発生状態と漫然状態とは裏腹の関係にあるので、漫然状態でなかった場合は、眠気発生状態であったといえる。
 眠気漫然度合が急に変化したか否かは、例えば、眠気漫然度合の変化の前後における微分値を比較し、微分値の差が所定の値以上であるときに急に変化したと判断し、微分値の差が所定の値よりも小さいときに変化が少なかったと判定すればよい。これにより、時間t1以前にユーザUが漫然状態になっていたか否かを判定することができる。
 本実施の形態の漫然状態判定装置20は、人が漫然状態になっている疑いがある場合に、人への刺激の付与を指示する刺激指示部27と、人の検知情報を取得するユーザ情報取得部21と、人が漫然状態になっているかを判定する漫然判定部25とを備える。漫然判定部25は、刺激の付与の指示の前後における人の検知情報の変化に基づいて、刺激の付与の指示の前に人が漫然状態になっていたかを判定する。
 このように、漫然判定部25が、人への刺激の付与の前後における人の検知情報の変化に基づいて、漫然状態を判定することで、漫然状態と眠気発生状態とを区別して判定することができる。これにより、人が漫然状態になっていたかを精度よく判定することができる。
 [1-3.漫然状態判定方法]
 次に、漫然状態判定装置20を用いた漫然状態の判定方法について、図4を参照しながら説明する。
 図4は、実施の形態1の漫然状態判定方法を示すフローチャートである。
 まず、ユーザ情報取得部21が、ユーザUの検知情報を取得する(ステップS11)。この検知情報は、主に第1入力部11にて入力される。
 次に、第1の漫然判定部25aが、ユーザUに漫然の疑いがあるか否かを判定する(ステップS12)。ユーザUが漫然となっているか否かは、例えば、ユーザUの視線移動頻度に基づいて判定される。
 ユーザUに漫然の疑いがない場合は(S12のN)、引き続き検知情報を取得してユーザUを監視する。ユーザUに漫然の疑いがある場合は(S12のY)、ユーザUに対して刺激を付与する(ステップS13)。具体的には、刺激指示部27が、刺激付与部32に対してユーザUに視覚、聴覚、触覚などの刺激を付与するように指示する。ここで刺激を付与されたユーザUに変化が生じたか否かが重要となる。
 そこで、ユーザ情報取得部21が、再びユーザUの検知情報を取得する(ステップS14)。
 次に、第2の漫然判定部25bが、ユーザUが漫然状態になっていたか否かを判定する(ステップS15)。具体的には、第2の漫然判定部25bが、上記検知情報の変化に基づいて、刺激付与部32による刺激の付与の前にユーザUが漫然状態になっていたか否かを判定する。
 第2の漫然判定部25bにて、ユーザUが漫然状態になっていたと判定された場合(S15にてY)、第2の漫然判定部25bは、ユーザUが漫然状態になっていたことを、報知部31を用いて忠告する(ステップS16)。一方、第2の漫然判定部25bにて、ユーザUが漫然状態でなっていなかったと判定された場合(S15にてN)、報知部31に対する出力は行われずステップを終了する。これらのステップS11~S16によって、人が漫然状態になっていたか否かを判定することができる。これらのステップS11~S16は、例えば、車両91または室内92にて繰り返し実行されてもよい。
 本実施の形態の漫然状態判定方法は、人が漫然状態になっている疑いがある場合に、人への刺激の付与を指示し、人の検知情報を取得し、刺激の付与の指示の前後における人の検知情報の変化に基づいて、刺激の付与の指示の前に人が過去に漫然状態になっていたかを判定する。
 このように、人への刺激の付与の前後における人の検知情報の変化に基づいて、漫然状態を判定することで、漫然状態と眠気発生状態とを区別して判定することができる。これにより、人が漫然状態になっていたかを精度よく判定することができる。
 [1-4.漫然状態の判定を行う他の例]
 次に、漫然状態の判定を行う他の例について説明する。この例では、眠気漫然度合の変化でなく、視線移動頻度の変化に基づいて、人が漫然状態になっていたか否かを判定する例について説明する。
 図5Aは、漫然状態判定装置20を用いて漫然状態の判定を行う他の例を示す図である。図5Aの横軸はユーザUをモニタリングしている時間であり、左縦軸は視線移動頻度である。図5Aには、検知情報の一例であるユーザUの視線移動頻度が実線および破線で示されている。
 視線移動頻度は、ユーザUの意識が遠のいているときは低い値となり、ユーザUの意識がはっきりして周りに注意が行きとどいているときは高い値となる。そのため、例えばユーザUが漫然状態であった場合、ユーザUに漫然解消刺激が付与されると、ユーザUの視線移動頻度は急に高くなる(回復する)。そこで、図5Aの(a)の曲線に示すように、時間t1に漫然解消刺激が付与され、視線移動頻度が過去の視線移動頻度に対して急に上昇した場合は、時間t1以前は漫然状態であったと判定することができる。それに対し、図5Aの(b)の曲線に示すように、時間t1に漫然解消刺激が付与されたにもかかわらず、視線移動頻度の変化が小さい場合は、時間t1以前は漫然状態ではなく、眠気発生状態であったと判定することができる。
 視線移動頻度が急に変化したか否かは、例えば、視線移動頻度の変化の前後における微分値を比較し、微分値の差が所定の値以上のときに急に変化したと判断し、微分値の差が所定の値よりも小さいときに変化が少なかったと判定すればよい。これにより、時間t1以前にユーザUが漫然状態になっていたか否かを判定することができる。
 なお、上記では視線移動頻度の変化に基づいて人が漫然状態になっていたかを判定する例について説明したが、それに限られない。漫然判定部25は、人の瞳孔径、瞬き回数、体動頻度、呼吸量、作業頻度、作業精度、または、視認対象適正率の変化に基づいて、刺激の付与前に人が漫然状態になっていたかを判定してもよい。
 [1-5.漫然状態の判定を行う他の例]
 次に、漫然状態の判定を行う他の例について説明する。この例では、人に漫然解消刺激を付与するのでなく、眠気を解消するための覚醒誘導刺激を付与する例について説明する。
 覚醒誘導刺激とは、例えば、冷温、音楽、照度、振動、換気などの変化が緩やかな刺激であり、10秒以上の連続性を有する。例えば車両91では、運転者が気づかないほどの穏やかな冷温や換気を人に付与するほうが、運転者の注意を運転から背けずに済むので安全である。
 図5Bは、漫然状態判定装置20を用いて漫然状態の判定を行う他の例を示す図である。図5Bの横軸はユーザUをモニタリングしている時間であり、左縦軸は眠気漫然度合である。図5Bには、検知情報の一例である眠気漫然度合が実線および破線で示されている。
 ユーザUに覚醒誘導刺激が付与されると、眠気は時間とともに緩やかに低下する。そこで、図5Bの(a)の曲線に示すように、時間t1から覚醒誘導刺激が継続して付与され、眠気漫然度合が過去の眠気漫然度合に対して緩やかに低下した場合は、時間t1以前は眠気発生状態であったと判定することができる。また、図5Bの(b)の曲線に示すように、時間t1に覚醒誘導刺激が付与されたにもかかわらず、眠気漫然度合の変化が小さい場合は、時間t1以前は眠気発生状態ではなく、漫然状態であったと判定することができる。なお、眠気発生状態と漫然状態とは裏腹の関係にあるので、眠気発生状態でなかった場合は、漫然状態であったといえる。これにより、時間t1以前にユーザUが漫然状態になっていたか否かを判定することができる。
 (実施の形態2)
 [2-1.漫然状態判定システムの構成]
 次に、実施の形態2の漫然状態判定装置20Aを備える漫然状態判定システム1Aの構成について、図6Aおよび図6Bを参照しながら説明する。実施の形態2では、外部から人に刺激が付与された後、それに対する人の反応を見て、人が漫然状態になっていたか否かを判定するシステムについて説明する。
 図6Aは、実施の形態2における漫然状態判定装置20Aを備える漫然状態判定システム1Aの一例を示す概略図である。図6Aには、漫然状態判定システム1Aが、車両91に設けられている例が示されている。
 図6Bは、漫然状態判定装置20Aを備える漫然状態判定システム1Aの他の一例を示す概略図である。図6Bには、漫然状態判定システム1Aが、室内92に設けられている例が示されている。
 図6Aおよび図6Bに示すように、漫然状態判定システム1Aは、車両91または室内92などの所定の空間内に設けられる。
 漫然状態判定システム1Aは、漫然状態判定装置20A、第1入力部11、第2入力部12および報知部31を備えている。なお、図6Aおよび図6Bには、外部刺激出力部35も示されている。
 漫然状態判定装置20Aは、人が過去に漫然状態になっていたかを判定する装置である。漫然状態判定装置20Aには、第1入力部11、第2入力部12および報知部31が接続されている。漫然状態判定装置20Aについては、後で詳しく説明する。
 外部刺激出力部35は、人に対して刺激を付与する装置であり、人の視覚、聴覚、触覚などを刺激する。外部刺激出力部35は、漫然状態判定システム1Aとは異なるシステムにて制御される。漫然状態判定装置20Aが車両91に設けられている場合、外部刺激出力部35は、例えば、交通信号機、前方を走行している車、緊急車両等である。漫然状態判定装置20Aが室内92に設けられている場合、外部刺激出力部35は、例えば、室内92に設けられたスピーカ、照明等である。
 第1入力部11は、漫然状態判定装置20Aを利用する人、すなわちユーザUに関する検知情報を漫然状態判定装置20Aに入力するための装置である。第1入力部11は、例えば、カメラ、TOF、重心センサ、生体センサであり、外部刺激出力部35によって刺激を与えられたときの人の反応を検出する。具体的には、第1入力部11は、ユーザUの検知情報として、ユーザUの視線、瞳孔径、開眼状態、瞬き、頭部の動き、体動頻度、体温、温冷感、心拍、呼吸および呼気成分などの情報を検出する。
 第2入力部12は、ユーザUの周囲の環境に関する情報を漫然状態判定装置20Aに入力するための装置である。第2入力部12は、カメラやマイクを含む各種の環境センサである。第2入力部12は、外部から人に付与される刺激に関する外部刺激情報を、環境に関する情報として検出する。具体的には、第2入力部12は、人の周囲に配置されている構造物、照明光、照度、色、温度、風速、周辺音、匂いおよび空気成分などの情報を検出する。例えば、交通信号機の信号の色が変わった情報、前方を走行している車両のブレーキランプが点灯した情報、または、緊急車両のサイレンが鳴る情報などを検出する。また、室内92のチャイムや照明光などの情報を検出する。
 なお上記では、第1入力部11にユーザUに関する検知情報が入力され、第2入力部12に環境に関する情報が入力される例を示したが、それに限られない。例えば、第1入力部11のカメラ等を用いて外部刺激情報を含む環境に関する情報が入力されてもよいし、第2入力部12のセンサ等を用いてユーザUの検知情報が入力されてもよい。
 報知部31は、ユーザUが漫然状態であったことをユーザUに知らせ、また忠告する装置であり、例えば、画像表示装置またはスピーカである。また、報知部31は、スマートフォンまたはタブレット端末などの情報端末であってもよいし、車載用のヘッドアップディスプレイであってもよい。
 [2-2.漫然状態判定装置の構成]
 次に、漫然状態判定装置20Aの構成について、図7および図8を参照しながら説明する。
 図7は、漫然状態判定装置20Aの機能構成を示すブロック図である。なお、図7には、漫然状態判定装置20Aに接続されている第1入力部11、第2入力部12および報知部31も示されている。
 図7に示すように、漫然状態判定装置20Aは、ユーザ情報取得部21と、環境情報取得部22と、漫然判定部25とを備えている。
 ユーザ情報取得部21は、第1入力部11にて入力されたユーザUに関する検知情報を取得する。前述した外部刺激出力部35によって刺激を付与されたユーザUの反応は、第1入力部11または第2入力部12によって検出され、ユーザ情報取得部21に出力される。ユーザ情報取得部21で取得した当該検知情報は、漫然判定部25に出力される。
 環境情報取得部22は、第2入力部12にて入力された環境に関する情報を取得する。具体的には、環境情報取得部22は、外部から人に付与される刺激に関する外部刺激情報を、環境に関する情報として取得する。環境情報取得部22で取得した当該情報は、漫然判定部25に出力される。
 漫然判定部25は、ユーザUが漫然状態になっていたかを判定する。具体的には、漫然判定部25は、環境情報取得部22から外部刺激情報が入力された場合に、外部刺激情報の取得の前後における人の検知情報の変化に基づいて、人が漫然状態になっていたか否かを判定する。
 なお、ユーザUの検知情報の例としては、人の眠気度合および漫然度合を示す眠気漫然度合が挙げられる。また、ユーザUの検知情報の他の例としては、人の視線移動頻度、瞳孔径、瞬き回数、体動頻度、呼吸量、作業頻度、作業精度、および、視認対象適正率が挙げられる。
 ここで、漫然判定部25による漫然状態の判定のしかたについて、図8を参照しながら説明する。
 図8は、漫然状態判定装置20Aを用いて漫然状態の判定を行う例を示す図である。図8の横軸はユーザUをモニタリングしている時間であり、左縦軸は眠気漫然度合である。図8には、検知情報の一例である眠気漫然度合が実線および破線で示されている。
 例えば、ユーザUが漫然状態であった場合、外部からユーザUに急に刺激が付与されると、ユーザUの漫然状態は急激に解消する。そこで図8の(a)の曲線に示すように、時間t1に刺激が付与され、眠気漫然度合が過去の眠気漫然度合に対して急激に低下した場合は、時間t1以前は漫然状態であったと判定することができる。それ対し、図8の(b)の曲線に示すように、時間t1に刺激が付与されたにもかかわらず、眠気漫然度合の変化が小さい場合は、時間t1以前は漫然状態でなく、眠気発生状態であったと判定することができる。これにより、時間t1以前にユーザUが漫然状態になっていたか否かを判定することができる。
 本実施の形態の漫然状態判定装置20Aは、外部から人に付与される刺激に関する外部刺激情報を取得する環境情報取得部22と、人の検知情報を取得するユーザ情報取得部21と、人が漫然状態になっているかを判定する漫然判定部25とを備える。漫然判定部25は、外部刺激情報の取得の前後における人の検知情報の変化に基づいて、外部刺激情報の取得の前に人が漫然状態になっていたかを判定する。
 このように、漫然判定部25が、外部刺激情報を取得する前後における人の検知情報の変化に基づいて、漫然状態を判定することで、漫然状態と眠気発生状態とを区別して判定することができる。これにより、人が漫然状態になっていたかを精度よく判定することができる。
 [2-3.漫然状態判定方法]
 次に、漫然状態判定装置20Aを用いた漫然状態の判定方法について、図9を参照しながら説明する。
 図9は、実施の形態2の漫然状態判定方法を示すフローチャートである。
 まず、環境情報取得部22が、外部から出力された外部刺激に関する情報を取得する(ステップS21)。具体的には、外部刺激出力部35から出力された外部刺激に関する環境情報を取得する。
 次に、ユーザ情報取得部21が、ユーザUに関する検知情報を取得する(ステップS22)。検知情報は、主に第1入力部11にて入力される。
 次に、漫然判定部25が、ユーザUが漫然状態になっていたか否かを判定する(ステップS15)。具体的には、漫然判定部25が、ユーザUの検知情報に基づいて眠気漫然度合を求める。そして、眠気漫然度合の変化に基づいて、外部刺激出力部35による刺激の付与の前にユーザUが漫然状態になっていたか否かを判定する。
 漫然判定部25にて、ユーザUが漫然状態になっていたと判定された場合(S15にてY)、漫然判定部25は、ユーザUが漫然状態になっていたことを、報知部31を用いて忠告する(ステップS16)。一方、漫然判定部25にて、ユーザUが漫然状態でなっていなかったと判定された場合(S15にてN)、報知部31に対する出力は行われずステップを終了する。これらのステップによって、人が漫然状態になっていたか否かを判定することができる。これらのステップは、例えば、車両91または室内92にて繰り返し実行されてもよい。
 実施の形態2の漫然状態判定方法は、人が漫然状態になっていたかを判定する漫然状態判定方法であって、外部から人に付与される刺激に関する情報を取得し、刺激に関する情報の取得の前後における人の眠気度合および漫然度合を示す眠気漫然度合の変化に基づいて、刺激に関する情報の取得の前に人が漫然状態になっていたかを判定する。
 このように、外部の刺激に関する情報を取得する前後における眠気漫然度合の変化に基づいて、漫然状態を判定することで、漫然状態と眠気発生状態とを区別して判定することができる。これにより、人が漫然状態になっていたかを精度よく判定することができる。
 (実施の形態3)
 次に、実施の形態3における漫然状態判定装置20Bの構成について、図10を参照しながら説明する。実施の形態3では、人が関心を示している対象物から刺激が付与される例について説明する。なお、漫然状態判定システム1は、図1Aおよび図1Bに示す実施の形態1と同様である。
 図10は、漫然状態判定装置20Bの機能構成を示すブロック図である。図10に示すように、漫然状態判定装置20Bは、ユーザ情報取得部21と、環境情報取得部22と、関心対象特定部26と、漫然判定部25と、刺激指示部27とを備えている。
 ユーザ情報取得部21は、第1入力部11にて入力されたユーザUに関する検知情報を取得する。ユーザ情報取得部21で取得した当該検知情報は、関心対象特定部26および漫然判定部25に出力される。
 環境情報取得部22は、第2入力部12にて入力された環境に関する情報を取得する。環境情報取得部22で取得した当該情報は、関心対象特定部26および漫然判定部25に出力される。
 関心対象特定部26は、上記情報に基づいて、ユーザUが関心を示している対象物を特定する。ユーザUが関心を示している対象物とは、例えば、ユーザUが見ている画像表示装置またはユーザUが聞いている音の出力源(スピーカ)である。
 刺激指示部27は、上記対象物を用いてユーザUに対して刺激を与えるように、刺激付与部32を作動させる。ユーザUが関心を示している対象物を特定し、特定した対象物を用いてユーザUに刺激を与えることで、ユーザUが刺激を見逃したり、聞き逃したりすることを抑制することができる。
 例えば、ユーザ情報取得部21がユーザUの視線方向を取得し、関心対象特定部26が、視線方向に位置する対象物を特定した後、刺激指示部27が、この対象物に視覚的な刺激を与えてもよい。また、車両91に設けられている3次元ヘッドアップディスプレイを用いてユーザUに刺激を与えてもよい。これによれば、ユーザUの視線方向を変えずに刺激を与えることができるので、わき見運転等を抑制することができる。また、ユーザUの視線方向以外からユーザUが関心を示すべき対象物が現れたときは、その対象物にライトをあてるなどして、視覚的な刺激を与えてもよい。
 また、関心対象特定部26にて、ユーザUの頭部および耳の位置を特定した後、刺激指示部27が、頭皮刺激または聴覚刺激を与えるように刺激付与部32に指示を出してもよい。また、関心対象特定部26にてユーザUが触れている対象物を特定し、刺激指示部27が対象物を振動するように刺激付与部32に指示を出し、ユーザUに刺激を与えてもよい。
 刺激を付与されたユーザUの反応は、第1入力部11または第2入力部12によって検出され、ユーザ情報取得部21に出力される。ユーザ情報取得部21は、得られた検知情報を漫然判定部25に出力する。
 漫然判定部25は、ユーザUが漫然状態になっていたかを最終的に判定する。具体的には、漫然判定部25は、刺激指示部27が刺激の付与の指示を行った場合に、人への刺激の付与の前後における人の検知情報の変化に基づいて、人が漫然状態になっていたか否かを判定する。
 漫然状態判定装置20Bでは、漫然判定部25が、人への刺激の付与の前後における検知情報の変化に基づいて、漫然状態を判定する。これにより、漫然状態と眠気発生状態とを区別して判定することができる。これにより、人が漫然状態になっていたかを精度よく判定することができる。
 (実施の形態4)
 次に、実施の形態4の漫然状態判定装置20Cの構成について、図11および図12を参照しながら説明する。実施の形態4では、漫然状態判定装置20Cが学習部29を備えている例について説明する。
 図11は、実施の形態4の漫然状態判定装置20Cの機能構成を示すブロック図である。図11に示すように、漫然状態判定装置20Cは、ユーザ情報取得部21と、漫然判定部25と、刺激指示部27と、学習部29とを備えている。
 ユーザ情報取得部21は、第1入力部11にて入力されたユーザUに関する検知情報を取得する。ユーザ情報取得部21で取得した当該情報は、漫然判定部25に出力される。
 漫然判定部25は、ユーザUが漫然状態になっているかを判定する。より具体的には、漫然判定部25は、ユーザUが漫然となっている疑いがあるか否かを一次的に判定する第1の漫然判定部25aと、ユーザUが漫然状態になっていたかを最終的に判定する第2の漫然判定部25bとを有している。
 第1の漫然判定部25aは、ユーザ情報取得部21にて得られた検知情報に基づいて、ユーザUが漫然となっている疑いがあるかを判定する。漫然となっているか否かは、例えば、ユーザUの視線移動頻度に基づいて判定される。例えば、ユーザUの視線移動頻度が、予め決められた値より低ければ、ユーザUは漫然となっている疑いがあるとする。
 漫然状態の疑いがある場合、刺激指示部27は、ユーザUに対して刺激を与えるように、刺激付与部32を作動させる。刺激指示部27は、ユーザUの漫然状態を解消させるための漫然解消刺激を刺激付与部32に付与させる。刺激指示部27は、例えば、音楽、照度、振動、換気などを急に変化させることで、刺激を付与させる。なお、刺激指示部27から指示した刺激の内容は、学習部29にも出力される。そして刺激指示部27は、学習部29の学習結果に基づいて、刺激の付与を指示する。
 学習部29は、刺激を付与されたユーザUが漫然状態を解消できたかを学習する。学習部29は、漫然判定部25および刺激指示部27からの出力を受け付けることで、ユーザUに対して付与する刺激として、適切な刺激の内容を決定する。また、学習部29は、漫然判定部25を介してユーザUに関する検知情報を受け付けることで、次回から、この検知情報を重要として取り扱うべきか、扱わないべきかを学習する。
 図12は、漫然状態判定装置20Cにて学習を行う例を示す図である。図12では、ユーザUに関する検知情報として、視線移動頻度および呼吸量が示されている。図12に示すように、このユーザUについては、視線移動頻度よりも呼吸量のほうが漫然状態となっているか否かを判定するのに適していることがわかる。この場合、視線移動頻度よりも呼吸量の重み付を高くして、次回からの検知情報の取得を行ってもよい。学習部29は、これらの学習結果を漫然判定部25に連絡する。このように、学習部29は、漫然状態を適切に解消できた、および、できなかった結果を学習し、漫然状態の解消に利用してもよい。
 また、学習部29は、漫然状態になりやすい人に対して、漫然状態の判定ラインを調整してもよいし、判定ラインを調整するに限られず、衝突防止安全装置などの他の装置の駆動の有無を調整してもよい。
 また、学習部29は、ユーザUの漫然しやすさに関する情報を、例えば保険料に反映させるなど、外部のサービスと連携させることもできる。また、学習部29は、ユーザUを漫然状態にさせてしまう相手から電話がかかってきたときは、通話を拒否してもよい。また、ユーザUが現在に漫然状態にあるときや、漫然となっている疑いが強いときは、学習部29は、この通話を終了させてもよい。
 また、学習部29は、漫然状態を解消した直後は平常であるとし、平常状態を学習することで、以降、漫然状態が発生し、刺激付与部32が漫然解消刺激を付与する際に、平常状態に戻るまで刺激強度を上げ続けるなどの調整をしてもよい。
 また、学習部29は、ユーザUが漫然状態になりにくい刺激を学習し、予めユーザUに対して、漫然状態になりにくいその刺激を与えてもよい。例えば、車両91の自動シート位置調整機能を用いて、漫然状態となりにくいように毎回シートの位置を微妙に変えてもよい。また、ヘッドアップディスプレイ上にて動く点を表示し、漫然状態になりにくいように運転者の注意を引いてもよい。また、経路上の施設案内や天気予報などの音の刺激を用いてユーザUの注意を引いてもよい。
 刺激を付与されたユーザUの反応は、第1入力部11または第2入力部12によって検出され、ユーザ情報取得部21に出力される。ユーザ情報取得部21は、得られた検知情報を第2の漫然判定部25bに出力する。
 第2の漫然判定部25bは、ユーザUが漫然状態になっていたかを最終的に判定する。具体的には、第2の漫然判定部25bは、刺激指示部27が刺激の付与の指示を行った場合に、人への刺激の付与の前後における人の検知情報の変化に基づいて、人が漫然状態になっていたか否かを判定する。
 漫然状態判定装置20Cでは、学習部29の学習結果に基づいて刺激の付与を指示することで、人への刺激を適切に付与することができる。これにより、人への刺激の付与の前後における検知情報の変化に基づいて、人が漫然状態になっていたかを精度よく判定することができる。
 (実施の形態5)
 次に、実施の形態5の漫然状態判定装置20Dについて、図13および図14を参照しながら説明する。実施の形態5では、ユーザUの眠気漫然度合を監視し、眠気漫然度合が急激に変化した場合に、変化前が漫然であったと判定する例について説明する。
 図13は、実施の形態5における漫然状態判定装置20Dの機能構成を示すブロック図である。
 図13に示すように、漫然状態判定装置20Dは、人の検知情報を取得するユーザ情報取得部21と、人が漫然状態になっているかを判定する漫然判定部25とを備える。漫然判定部25は、人の検知情報から得られた人の眠気漫然度合の変化率(所定期間における変化率)が所定の変化率以上である場合に、人が漫然状態になっていたと判定し、眠気漫然度合の変化率が所定の変化率よりも小さい場合に、人が漫然状態になっていなかったと判定する。
 このように、漫然判定部25が、人の眠気漫然度合の変化率に基づいて漫然状態を判定することで、漫然状態と眠気発生状態とを区別して判定することができる。これにより、人が漫然状態になっていたかを精度よく判定することができる。
 図14は、実施の形態5における漫然状態判定方法を示すフローチャートである。
 図14に示すように、実施の形態5の漫然状態判定方法は、まず、人の検知情報を取得する(ステップS14)。次に、人が漫然状態であるかを判定する(ステップS55)。具体的には、人の検知情報から得られた人の眠気度合および漫然度合を示す眠気漫然度合の変化率(所定期間における変化率)が所定の変化率以上であるか否かを判定する。そして、眠気漫然度合の変化率が所定の変化率以上である場合に(S55にてY)、人が漫然状態になっていたと判定し、漫然状態であったことを報知する(ステップS16)。一方、眠気漫然度合の変化率が所定の変化率よりも小さい場合に(S55にてN)、人が漫然状態になっていなかったと判定し、報知部31による出力は行われずステップを終了する。
 このように、人の眠気漫然度合の変化率に基づいて漫然状態を判定することで、漫然状態と眠気発生状態とを区別して判定することができる。これにより、人が漫然状態になっていたかを精度よく判定することができる。
 (その他の実施の形態)
 以上、本開示の一つまたは複数の態様に係る漫然状態判定装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
 例えば、上記実施の形態では、眠気漫然度合のそれぞれが10段階評価である例を示したが、それに限られず、11段階以上の評価であってもよいし、9段階以下の評価であってもよい。
 本開示は、車両の運転または室内での作業などにおいて、人が漫然とした状態になっていたか否かを判定するための装置として有用である。
1、1A 漫然状態判定システム
11  第1入力部
12  第2入力部
20、20A、20B、20C、20D 漫然状態判定装置
21  ユーザ情報取得部
22  環境情報取得部
25  漫然判定部
25a 第1の漫然判定部
25b 第2の漫然判定部
26  関心対象特定部
27  刺激指示部
29  学習部
31  報知部
32  刺激付与部
35  外部刺激出力部
91  車両
92  室内
U   ユーザ

Claims (12)

  1.  人が漫然状態になっている疑いがある場合に前記人への刺激の付与を指示する刺激指示部と、
     前記人の検知情報を取得するユーザ情報取得部と、
     前記人が漫然状態になっているかを判定する漫然判定部と
     を備え、
     前記漫然判定部は、前記刺激の付与の指示の前後における前記人の検知情報の変化に基づいて、前記刺激の付与の指示の前に前記人が漫然状態になっていたかを判定する
     漫然状態判定装置。
  2.  さらに、前記人が関心を示している対象物を特定する関心対象特定部を備え、
     前記刺激指示部は、前記対象物を用いて前記人に刺激が付与されるように前記刺激の付与を指示する
     請求項1に記載の漫然状態判定装置。
  3.  さらに、前記刺激を付与された前記人が漫然状態を解消できたかを学習する学習部を備える
     請求項1または2に記載の漫然状態判定装置。
  4.  前記刺激指示部は、前記学習部の学習結果に基づいて、前記刺激の付与を指示する
     請求項3に記載の漫然状態判定装置。
  5.  外部から人に付与される刺激に関する外部刺激情報を取得する環境情報取得部と、
     前記人の検知情報を取得するユーザ情報取得部と、
     前記人が漫然状態になっているかを判定する漫然判定部と
     を備え、
     前記漫然判定部は、前記外部刺激情報の取得の前後における前記人の検知情報の変化に基づいて、前記外部刺激情報の取得の前に前記人が漫然状態になっていたかを判定する
     漫然状態判定装置。
  6.  前記人の検知情報は、前記人の眠気度合および漫然度合を示す眠気漫然度合、前記人の視線移動頻度、瞳孔径、瞬き回数、体動頻度、呼吸量、作業頻度、作業精度、および、視認対象適正率の少なくとも1つである
     請求項1~5のいずれか1項に記載の漫然状態判定装置。
  7.  前記刺激は、前記人の漫然状態を解消させるための漫然解消刺激である
     請求項1~6のいずれか1項に記載の漫然状態判定装置。
  8.  前記刺激は、前記人の眠気を解消させるための覚醒誘導刺激である
     請求項1~6のいずれか1項に記載の漫然状態判定装置。
  9.  人の検知情報を取得するユーザ情報取得部と、
     前記人が漫然状態になっているかを判定する漫然判定部と
     を備え、
     前記漫然判定部は、前記人の検知情報から得られた前記人の眠気度合および漫然度合を示す眠気漫然度合の変化率が所定の変化率以上である場合に、前記人が漫然状態になっていたと判定し、前記眠気漫然度合の変化率が前記所定の変化率よりも小さい場合に、前記人が漫然状態になっていなかったと判定する
     漫然状態判定装置。
  10.  人が漫然状態になっていたかを判定する漫然状態判定方法であって、
     前記人が漫然状態になっている疑いがある場合に前記人への刺激の付与を指示し、
     前記人の検知情報を取得し、
     前記刺激の付与の指示の前後における前記人の検知情報の変化に基づいて、前記刺激の付与の指示の前に前記人が過去に漫然状態になっていたかを判定する
     漫然状態判定方法。
  11.  人が漫然状態になっていたかを判定する漫然状態判定方法であって、
     外部から前記人に付与される刺激に関する外部刺激情報を取得し、
     前記人の検知情報を取得し、
     前記外部刺激情報の取得の前後における前記人の検知情報の変化に基づいて、前記外部刺激情報の取得の前に前記人が漫然状態になっていたかを判定する
     漫然状態判定方法。
  12.  人が漫然状態になっていたかを判定する漫然状態判定方法であって、
     前記人の検知情報を取得し、
     前記人の検知情報から得られた前記人の眠気度合および漫然度合を示す眠気漫然度合の変化率が所定の変化率以上である場合に、前記人が漫然状態になっていたと判定し、前記眠気漫然度合の変化率が前記所定の変化率よりも小さい場合に、前記人が漫然状態になっていなかったと判定する
     漫然状態判定方法。
PCT/JP2020/003871 2019-03-28 2020-02-03 漫然状態判定装置および漫然状態判定方法 WO2020195168A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019065140 2019-03-28
JP2019-065140 2019-03-28

Publications (1)

Publication Number Publication Date
WO2020195168A1 true WO2020195168A1 (ja) 2020-10-01

Family

ID=72610178

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003871 WO2020195168A1 (ja) 2019-03-28 2020-02-03 漫然状態判定装置および漫然状態判定方法

Country Status (1)

Country Link
WO (1) WO2020195168A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03276816A (ja) * 1990-03-26 1991-12-09 Nissan Motor Co Ltd 車両用刺激制御装置
JP2008073450A (ja) * 2006-09-25 2008-04-03 Toyota Motor Corp 人の状態推定装置及び人の状態推定方法
JP2008161664A (ja) * 2006-12-04 2008-07-17 Toyota Motor Corp 覚醒度判定装置及び覚醒度判定方法
JP2009018777A (ja) * 2007-07-13 2009-01-29 Toyota Motor Corp 車両運転支援装置
JP2014203345A (ja) * 2013-04-08 2014-10-27 株式会社デンソー 覚醒度改善装置
JP2015162087A (ja) * 2014-02-27 2015-09-07 株式会社デンソー 車載システム、情報処理装置、及びプログラム
JP2017045351A (ja) * 2015-08-28 2017-03-02 トヨタ自動車株式会社 車両運転支援装置、車両運転支援方法、およびプログラム
JP2018136849A (ja) * 2017-02-23 2018-08-30 株式会社デンソー 覚醒維持装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03276816A (ja) * 1990-03-26 1991-12-09 Nissan Motor Co Ltd 車両用刺激制御装置
JP2008073450A (ja) * 2006-09-25 2008-04-03 Toyota Motor Corp 人の状態推定装置及び人の状態推定方法
JP2008161664A (ja) * 2006-12-04 2008-07-17 Toyota Motor Corp 覚醒度判定装置及び覚醒度判定方法
JP2009018777A (ja) * 2007-07-13 2009-01-29 Toyota Motor Corp 車両運転支援装置
JP2014203345A (ja) * 2013-04-08 2014-10-27 株式会社デンソー 覚醒度改善装置
JP2015162087A (ja) * 2014-02-27 2015-09-07 株式会社デンソー 車載システム、情報処理装置、及びプログラム
JP2017045351A (ja) * 2015-08-28 2017-03-02 トヨタ自動車株式会社 車両運転支援装置、車両運転支援方法、およびプログラム
JP2018136849A (ja) * 2017-02-23 2018-08-30 株式会社デンソー 覚醒維持装置

Similar Documents

Publication Publication Date Title
US11787417B2 (en) Assessing driver ability to operate an autonomous vehicle
JP4603264B2 (ja) 運転者注意負荷の監視と管理とを行なうシステムおよび方法
JP6656079B2 (ja) 情報提示装置の制御方法、及び、情報提示装置
US10363945B2 (en) Apparatus and method for controlling a user situation awareness modification of a user of a vehicle, and a user situation awareness modification processing system
JP4841425B2 (ja) 運転者の行動解釈に基づいて自動車のサブシステムを制御する方法および機構
WO2010032491A1 (ja) 注意散漫検出装置、注意散漫検出方法およびコンピュータプログラム
DE102012109624A1 (de) Fahrzeuganlage und Verfahren zum Beurteilen und Mitteilen der Verfassung eines Fahrers
US20200184238A1 (en) Vehicle occupant monitoring system use cases
DE102015201790A1 (de) Vorrichtung und Verfahren zur Erfassung eines Fahrerzustands
JP6627811B2 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP2006244343A (ja) ドライバ活性化誘導装置及びドライバ活性化誘導方法
US11447140B2 (en) Cognitive tunneling mitigation device for driving
CN113491519A (zh) 基于情感-认知负荷的数字助理
JP2019086813A (ja) 漫然運転抑制システム
JP2019086813A5 (ja)
WO2020066757A1 (ja) 危険運転防止装置
CN113316805A (zh) 使用红外线和可见光监视人的方法和系统
JP2018008575A (ja) 車両制御装置
KR20120048981A (ko) 운전자를 위한 다기능 신체착용 컴퓨터
WO2020195168A1 (ja) 漫然状態判定装置および漫然状態判定方法
JP7436277B2 (ja) 乗員感情伝達装置
JP7127500B2 (ja) 居眠防止制御装置、居眠防止システム、居眠防止制御方法およびプログラム
KR102480390B1 (ko) 운전자의 주의 환기 장치 및 그 방법
JP7393739B2 (ja) ドライバ状態推定装置
WO2022258150A1 (en) Computer-implemented method of assisting a driver, computer program product, driving assistance system, and vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20778158

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20778158

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP