WO2022202031A1 - 覚醒システム、覚醒制御装置および覚醒方法 - Google Patents

覚醒システム、覚醒制御装置および覚醒方法 Download PDF

Info

Publication number
WO2022202031A1
WO2022202031A1 PCT/JP2022/006834 JP2022006834W WO2022202031A1 WO 2022202031 A1 WO2022202031 A1 WO 2022202031A1 JP 2022006834 W JP2022006834 W JP 2022006834W WO 2022202031 A1 WO2022202031 A1 WO 2022202031A1
Authority
WO
WIPO (PCT)
Prior art keywords
awakening
stimulus
fellow passenger
output
driver
Prior art date
Application number
PCT/JP2022/006834
Other languages
English (en)
French (fr)
Inventor
彩子 小谷
有華里 伊藤
真紀子 杉浦
政治 河合
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2022202031A1 publication Critical patent/WO2022202031A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • the disclosure in this specification relates to an arousal system, an arousal control device, and an arousal method.
  • Patent Document 1 discloses a vibration control device that vibrates a seat using a vibration unit when a seated person who is a driver is dozing off or driving carelessly.
  • the contents of the prior art documents are incorporated by reference as descriptions of technical elements in this specification.
  • a vibration stimulus is given to the driver by using a case in which a magnetic circuit is housed as a vibration unit.
  • the stimulus given to the driver for the purpose of arousing the driver is not limited to the vibration stimulus, and various types of stimuli can be adopted, and various devices can be adopted as the device that generates the stimulus.
  • the passenger when the stimulus is generated for the purpose of awakening the driver, the passenger may also be unintentionally stimulated.
  • the vibrating unit may generate vibration and generate operating noise, which may stimulate the auditory sense of the passenger.
  • the comfort of the passenger may be compromised.
  • One purpose of the disclosure is to provide an awakening system or the like that can give an awakening stimulus to the driver while considering fellow passengers.
  • the awakening system disclosed herein includes an awakening device capable of outputting an awakening stimulus for awakening the driver, a fellow passenger monitor for detecting fellow passenger information that is information about a fellow passenger; a fellow passenger information acquisition unit that acquires fellow passenger information detected using a fellow passenger monitor; a limit setting unit that limits the output of the awakening device; an arousal execution unit for executing an arousal stimulus output by the arousal device with an output not limited by the limit setting unit;
  • the limit setting unit limits the type or intensity of the awakening stimulus that can be output in the vehicle based on the fellow passenger information.
  • the awakening control device disclosed herein includes a fellow passenger information acquisition unit that acquires fellow passenger information detected using a fellow passenger monitor for detecting fellow passenger information that is information about a fellow passenger; a limit setting unit that limits the output of an awakening device capable of outputting an awakening stimulus for awakening the driver; an arousal execution unit that outputs an arousal stimulus to the arousal device with an output that is not limited by the limit setting unit; The limit setting unit limits the type or intensity of the awakening stimulus that can be output in the vehicle based on the fellow passenger information.
  • the awakening method disclosed herein includes a fellow passenger information acquisition step of acquiring fellow passenger information detected using a fellow passenger monitor for detecting fellow passenger information, which is information about the fellow passenger; a limit setting step for limiting the output of an awakening device capable of outputting an awakening stimulus for awakening the driver; and an arousal execution step of executing an arousal stimulus output by the arousal device with an output not limited by the limit setting step,
  • the limit setting step the type or intensity of the awakening stimulus that can be output into the vehicle is limited based on the fellow passenger information.
  • the type or intensity of the awakening stimulus that can be output in the vehicle is limited based on passenger information. Therefore, compared to the case where a specific awakening stimulus is always output regardless of the fellow passenger, it is easier to prevent the comfort of the fellow passenger from being greatly impaired by the output of the awakening stimulus. Therefore, it is possible to provide an awakening system or the like that can give an awakening stimulus to the driver while giving consideration to fellow passengers.
  • FIG. 1 is a configuration diagram showing a schematic configuration of a vehicle equipped with an alertness system
  • FIG. FIG. 4 is a block diagram relating to wakefulness control of the wakefulness system
  • 4 is a flow chart relating to wakefulness control of the wakefulness system
  • FIG. 10 is a diagram for explaining restrictions when a fellow passenger is in a sleeping state
  • FIG. 11 is a diagram for explaining restrictions when a fellow passenger is eating or drinking
  • FIG. 10 is a diagram for explaining restrictions when a fellow passenger is in a visual work state
  • FIG. 10 is a diagram for explaining restrictions when a fellow passenger is in a hearing work state
  • FIG. 10 is a diagram for explaining restrictions when a fellow passenger is in a conversation state with a driver
  • FIG. 10 is a diagram for explaining restrictions when a fellow passenger is in a massage state;
  • FIG. 10 is a diagram for explaining restrictions when a fellow passenger is in a state of eating and drinking and in a state of auditory work;
  • FIG. 11 is a flowchart relating to awakening control of the awakening system in the second embodiment;
  • FIG. 10 is a diagram for explaining restrictions when a fellow passenger is a child;
  • FIG. 10 is a diagram for explaining restrictions when the fellow passenger is a person with a low degree of intimacy;
  • an awakening system 1 is mounted in a vehicle.
  • the vehicle has multiple seats including a driver's seat 35 and a passenger's seat 45 .
  • the awakening system 1 is a system for refreshing a driver who is driving a vehicle and increasing concentration on driving.
  • the awakening system 1 stimulates the driver in a state in which the degree of awakening has decreased and the concentration on driving has decreased, thereby awakening the driver to a state in which the concentration on driving is high.
  • the alertness system 1 can also be said to be an alertness maintenance system that maintains the driver's high concentration on driving.
  • the awakening system 1 can output various awakening stimuli for awakening the driver.
  • An arousal stimulus is a stimulus that stimulates any of the five senses of the driver.
  • Light that stimulates the driver's vision, for example, can be used as an arousal stimulus.
  • As the awakening stimulus for example, a sound that stimulates the sense of hearing of the driver can be used.
  • As an arousal stimulus for example, an odor that stimulates the driver's sense of smell can be used. Vibrations and temperature changes that stimulate the driver's tactile sensations, for example, can be used as awakening stimuli.
  • the arousal system 1 can combine and output a plurality of arousal stimuli.
  • the awakening system 1 includes an awakening device 10, a driver monitoring device 31, and a fellow passenger monitor 41, which will be described later.
  • the awakening device 10 includes a Center Information Display 12, a Head-Up Display 14, and a decoration light 15.
  • the center information display 12 may be called CID12.
  • the head-up display 14 may be called HUD14.
  • the vehicle is provided with a meter display 11, and the meter display 11, the CID 12, and the HUD 14 constitute a display device for displaying information to the passengers.
  • the meter display 11 is provided on the instrument panel 19.
  • the meter display 11 is arranged in front of the driver's seat 35 in the interior of the vehicle.
  • the meter display 11 has a liquid crystal display that can be viewed by the driver sitting in the driver's seat 35 .
  • a meter display 11 displays an image of a speedometer or the like on a liquid crystal display.
  • the CID 12 is arranged substantially in the center of the instrument panel 19 in the left-right direction.
  • the CID 12 has a liquid crystal display that can be viewed not only by the driver but also by the passenger sitting on the front passenger seat 45 .
  • the CID 12 displays a guidance screen for navigation, an operation screen for air conditioners, an operation screen for audio equipment, and the like on the liquid crystal display.
  • the HUD 14 projects light such as speed display images and warning display images onto a projection area 14a defined on the windshield.
  • the image light reflected by the windshield into the vehicle interior is perceived by the driver seated in the driver's seat 35 .
  • the driver can visually recognize the virtual image of the image projected by the HUD 14 superimposed on the scenery of the external world in front of the own vehicle.
  • the decorative lamp 15 is provided above the meter display 11 and the CID 12 along the longitudinal direction of the instrument panel 19 .
  • the ornamental light 15 is provided continuously from the front of the driver's seat 35 to the front of the passenger's seat 45 on the instrument panel 19 .
  • the decorative lamp 15 includes, for example, a light-emitting element that emits blue-white light.
  • the decorative lamp 15 is a device that improves the design of the vehicle interior space by switching on and off according to the situation. The light of the decorative lamp 15 can be perceived by both the driver and the passenger seated on the front passenger seat 45 .
  • the driver monitoring device 31 is a device that monitors the driver's condition in real time.
  • the driver monitoring device 31 includes a near-infrared light source, a near-infrared camera, and a control unit for controlling them.
  • the driver monitoring device 31 is arranged on the upper surface of the instrument panel 19 with the near-infrared camera facing the driver's seat 35 side.
  • the driver monitoring device 31 uses a near-infrared camera to capture an image of the driver's face irradiated with near-infrared light from a near-infrared light source.
  • An image captured by the near-infrared camera is image-analyzed by the control unit.
  • the control unit extracts, for example, the orientation of the driver's face and the degree of opening of the eyes from the captured image.
  • a captured image captured using the driver monitoring device 31 can also be used for driver face authentication.
  • the driver monitoring device 31 Based on analysis by the control unit, the driver monitoring device 31 outputs information indicating the state of the driver as driver information to the awakening control device 70, which will be described later. More specifically, when the driver monitoring device 31 determines that the driver is concentrating on driving, the driver monitoring device 31 outputs to the awakening control device 70 that the driver is in the concentrating state. When the driver monitoring device 31 determines that the driver is dozing with his/her eyes closed, the driver monitoring device 31 outputs to the awakening control device 70 that the driver is dozing.
  • the dozing state includes not only the state in which the driver is dozing off and his eyes are closed, but also the state in which he is dozing off.
  • the driver monitoring device 31 judges that the driver is in a careless state in which the driver's line of sight does not change much and the driver cannot concentrate on driving, the driver monitoring device 31 outputs to the awakening control device 70 that the driver is in a careless state.
  • the driver monitoring device 31 can classify the degree of arousal of the driver into a plurality of stages. For example, the driver monitoring device 31 can classify a dozing driver into three states: a sleepy state, a dozing state, and a dozing state. Among the three states, the state of being sleepy is the state with the highest degree of wakefulness, and the state of dozing is the state with the lowest degree of wakefulness.
  • the state of the driver detected by the driver monitoring device 31 is not limited to the concentration state, dozing state, and absent-minded state described above.
  • an inattentive state in which the driver is looking aside may be detected.
  • an inappropriate posture state in which the driver is driving in an inappropriate driving posture may be detected.
  • a driver status monitor (registered trademark), for example, can be used as the driver monitoring device 31 .
  • the awakening system 1 includes an awakening device 10, a driver monitoring device 31, a fellow passenger monitor 41, and an awakening control device .
  • the passenger monitor 41 includes a near-infrared light source, a near-infrared camera, and a control unit for controlling them.
  • the fellow passenger monitor 41 is arranged in the passenger compartment with the near-infrared camera facing the seat side other than the driver's seat 35 .
  • a plurality of fellow passenger monitors 41 are provided in the vehicle interior.
  • the fellow passenger monitor 41 is provided with a monitor for detecting information about a fellow passenger sitting on the front passenger seat 45 .
  • the fellow passenger monitor 41 is provided with a monitor for detecting information about fellow passengers sitting in the second or third row seats.
  • the passenger monitor 41 uses a near-infrared camera to image the face of the passenger irradiated with near-infrared light from the near-infrared light source.
  • An image captured by the near-infrared camera is image-analyzed by the control unit.
  • the control unit extracts, for example, the fellow passenger's movement, eye opening degree, mouth movement, and the like from the captured image.
  • the captured image captured using the fellow passenger monitor 41 can also be used for face authentication of the fellow passenger.
  • the fellow passenger monitor 41 detects information indicating the state and position of the fellow passenger based on analysis by the control unit.
  • the fellow passenger monitor 41 outputs information about the detected fellow passenger to the awakening control device 70 as fellow passenger information.
  • the passenger information includes information indicating which seat the passenger is sitting in, information indicating what the passenger is doing in the vehicle, information indicating who the passenger is, etc. . If there is no fellow passenger in the vehicle, the fact that there is no fellow passenger is output to the awakening control device 70 . Also, when there are multiple fellow passengers in the vehicle, information indicating the state and position of each fellow passenger is detected, and the plural fellow passengers information is output to the awakening control device 70 .
  • the states of the fellow passenger that can be detected by the fellow passenger monitor 41 include sleeping state, eating and drinking state, visual work state, auditory work state, conversation state with the driver, and massage state.
  • a sleep state is a state in which the fellow passenger is asleep. However, the sleeping state includes not only the state in which the passenger is completely asleep, but also the state in which the passenger is dozing off.
  • the eating and drinking state is a state in which the fellow passenger is eating and drinking.
  • a visual work state is a state in which a fellow passenger is performing work using his vision. More specifically, it includes the state of working using a computer, the state of reading a book, the state of looking at a smartphone screen, and the like.
  • the auditory work state is a state in which the fellow passenger is performing an auditory work. In more detail, it includes a state of listening to music, a state of having a conversation with fellow passengers, a state of having a conversation using a mobile phone, and the like. Also, the state of watching moving images corresponds to both the visual work state and the auditory work state.
  • the state of conversation with the driver is the state in which the fellow passenger is having a conversation with the driver.
  • the massage state is a state in which the fellow passenger is receiving a massage by driving the massage device on the seat.
  • the state of the fellow passenger that can be detected by the fellow passenger monitor 41 is not limited to the state described above, and may include a state of looking at the scenery, a state of boredom, and the like.
  • the position of the fellow passenger that can be detected by the fellow passenger monitor 41 includes the front passenger seat 45, the second row seat, and the third row seat.
  • the driver's seat 35 and the front passenger's seat 45 constitute seats in the first row.
  • the second row of seats includes a seat behind the driver's seat 35 and a seat behind the passenger's seat 45 .
  • the seats in the first row may be referred to as front seats, and the seats in the second and subsequent rows may be referred to as rear seats.
  • the awakening device 10 includes a driver's seat awakening device 30, a front seat awakening device 40, and a general awakening device 50.
  • the driver's seat wake-up device 30 is a device that gives a wake-up stimulus only to the driver sitting in the driver's seat 35 .
  • the front seat wake-up device 40 is a device capable of giving a wake-up stimulus only to the driver and passengers seated in the front passenger seat 45 .
  • the general awakening device 50 is a device capable of giving an awakening stimulus to all passengers including the driver.
  • the general awakening device 50 is the widest and the driver's seat awakening device 30 is the narrowest in terms of the range in which the awakening stimulus is applied.
  • the range in which the front seat awakening device 40 gives the awakening stimulus is narrower than the general awakening device 50 and wider than the driver seat awakening device 30.
  • the driver's seat wake-up device 30 includes a HUD 14, a directional speaker 36, a seat vibration device 37, a seat belt wind-up device 38, and a seat cooling device 39.
  • the HUD 14 gives the driver an arousal stimulus by displaying a warning icon indicating that the degree of arousal of the driver has decreased.
  • the directional speaker 36 is a speaker that gives an arousal stimulus by outputting highly directional sound toward the driver. Therefore, the sound output from the directional speaker 36 can be heard only by the driver and not heard by passengers other than the driver.
  • the directional speaker 36 can output warning sounds, voice messages, and music that encourage awakening.
  • the utterance format is a method of outputting a message for urging the driver to wake up.
  • the messages output in the utterance format include a warning message warning that the driver's level of alertness is low, a support message for increasing the driver's level of alertness, a suggestion message suggesting a break, and the like.
  • the interactive format is a method of outputting a dialogue voice that requires a response from the driver and repeating the dialogue with the driver to encourage awakening.
  • a microphone for recognizing the response from the driver is also used to repeat the dialogue according to the driver's response.
  • the driver's sense of hearing is stimulated by the sound output from the directional speaker 36, and by uttering a voice in order to respond to the driver, awakening is encouraged.
  • the music format is a method to encourage awakening by playing preset awakening music and warning sounds.
  • wake-up music and warning sounds are continuously reproduced until the driver's wake-up is completed.
  • the seat vibration device 37 is a device that vibrates the driver's seat 35 to stimulate the driver. Since the seat vibration device 37 vibrates only the driver's seat 35, it does not vibrate the seats other than the driver's seat 35, such as the passenger's seat 45 and the like.
  • the seat vibrating device 37 can be adjusted not only to turn on/off the vibration but also to adjust the strength of the vibration.
  • the seat vibration device 37 generates operating noise when generating vibration. The operating noise of the seat vibration device 37 increases as the generated vibration becomes stronger.
  • the seatbelt hoisting device 38 is a device that gives the driver an arousal stimulus by repeating the motion of hoisting and loosening the seatbelt of the driver's seat 35 .
  • the seat cooling device 39 is a device that cools the seat surface of the driver's seat 35 to stimulate the driver to wake up.
  • the front seat awakening device 40 includes a CID 12, a decorative light 15, and an air conditioner 46.
  • the CID 12 mainly gives the driver an arousal stimulus by displaying a warning message indicating that the driver's arousal level has decreased.
  • the ornamental lamp 15 repeatedly turns on and off in a short period of time to flicker, mainly giving an arousing stimulus to the driver.
  • the air conditioner 46 blows cold air strongly toward the driver's seat 35, thereby primarily stimulating the driver to wake up.
  • the stimulus light output from the CID 12 and the decorative light 15 is also perceivable by the passenger seated in the front passenger seat 45.
  • a fellow passenger sitting in the front passenger seat 45 which is a seat close to the driver's seat 35, may also perceive the cold air.
  • the air conditioner 46 has a configuration in which the air volume cannot be individually adjusted for the driver's seat 35 and the passenger's seat 45, the conditioned air is strongly blown toward the driver's seat 35 and at the same time toward the passenger's seat 45.
  • the air-conditioned air is blown out strongly.
  • the front seat awakening device 40 is a device capable of stimulating awakening not only to the driver but also to the fellow passenger sitting on the front passenger seat 45 .
  • the general awakening device 50 includes an aroma unit 56.
  • the aroma unit 56 injects perfume toward the driver's seat 35 to mainly give an awakening stimulus to the driver.
  • the perfume injected by the aroma unit 56 it is preferable to use a scent that easily wakes up the driver. Fragrance such as lemon or peppermint can be used as the fragrance.
  • the aroma unit 56 can employ a configuration in which perfume is injected into and mixed with the conditioned air blown by the air conditioner 46 . According to this, it is possible to send scented conditioned air toward the driver's seat 35 .
  • the aroma unit 56 may be configured to directly inject fragrance toward the driver's seat 35 instead of injecting the fragrance into the air-conditioned air.
  • the scent output from the aroma unit 56 is sprayed toward the driver's seat 35 and then spreads throughout the interior of the vehicle, so that passengers other than the driver can also perceive the scent.
  • the general awakening device 50 can be said to be a device capable of stimulating awakening not only to the driver but also to all of the passengers. However, the farther away from the driver's seat 35, the weaker the scent. Therefore, the scent perceived by the fellow passenger is weaker than the scent perceived by the driver.
  • the awakening system 1 includes an awakening control device 70 that performs awakening control, which is control related to driver's awakening.
  • the awakening control device 70 includes a driver information acquisition section 73 , a fellow passenger information acquisition section 74 , a limit setting section 78 and an awakening execution section 79 .
  • the driver information acquisition unit 73 acquires driver information detected using the driver monitoring device 31 .
  • a driver's condition may change over time. Therefore, the driver information acquisition unit 73 continues to repeatedly acquire the driver information each time the acquisition time elapses.
  • the fellow passenger information acquisition unit 74 acquires fellow passenger information detected using the fellow passenger monitor 41 .
  • a passenger's condition and position may change over time. Therefore, the fellow passenger information acquisition unit 74 continues to repeatedly acquire the fellow passenger information each time the acquisition time elapses. However, when it is determined that there is no fellow passenger, acquisition of fellow passenger information can be stopped at least until the timing when the door of the vehicle next opens.
  • the limit setting unit 78 limits the type or strength of the awakening device 10 that can be used based on the fellow passenger information.
  • the limit setting unit 78 limits the type and strength of the awakening stimulus that can be output so as not to disturb the fellow passenger. Details of the restrictions placed on the awakening device 10 will be described later.
  • the awakening execution unit 79 outputs an awakening stimulus to the awakening device 10 within the range restricted by the limit setting unit 78 .
  • the awakening execution unit 79 continues to output the awakening stimulus until the driver's awakening is completed.
  • the awakening execution unit 79 can simultaneously output a plurality of awakening stimuli.
  • Awakening control is started when power is supplied to the vehicle, for example, by turning on the power switch of the vehicle by an occupant.
  • the awakening control is started, the driver information acquired by the driver information acquisition unit 73 using the driver monitoring device 31 is acquired in step S101. After that, the process proceeds to step S102.
  • step S102 the awakening control device 70 determines whether or not it is necessary to output an awakening stimulus to the driver. Based on the acquired driver information, if the driver is in a dozing state or a restless state (S102: YES), it is determined that output of the awakening stimulus is necessary, and the process proceeds to step S111. On the other hand, if the driver is in a concentrated state (S102: NO), it is determined that output of the awakening stimulus is unnecessary, and the awakening control is ended without outputting the awakening stimulus. However, since the state of the driver may change over time, it is preferable to repeat the series of awakening control by restarting the awakening control after the end of the awakening control.
  • step S111 the fellow passenger information acquired by the fellow passenger information acquisition unit 74 using the fellow passenger monitor 41 is acquired.
  • the passenger information includes status and location information for each passenger.
  • step S112. Step S111 provides an example of a fellow passenger information acquisition step.
  • step S112 the awakening control device 70 determines whether or not there is a fellow passenger. If there is at least one fellow passenger (S112: YES), it is determined that it is necessary to consider the fellow passenger when outputting the awakening stimulus, and the process proceeds to step S121. On the other hand, if there is no fellow passenger (S112: NO), it is determined that there is no need to consider the fellow passenger when outputting the awakening stimulus, and the process proceeds to step S145.
  • step S121 the awakening control device 70 determines whether or not the fellow passenger is in a restricted state.
  • a restricted state is a state in which a restriction should be applied to an arousal stimulus that can be output. Restricted states include sleeping state, eating and drinking state, visual work state, auditory work state, and conversation state with the driver. Also, the limited state does not include the state of looking at the scenery or being bored. However, the types of states included and not included in the restricted state are not limited to the above examples.
  • step S121 If even one passenger is in the restricted state (S121: YES), it is determined that the awakening stimulus that can be output needs to be restricted, and the process proceeds to step S122. On the other hand, if none of the fellow passengers are in the restricted state (S121: NO), it is determined that the awakening stimulation that can be output does not need to be restricted, and the process proceeds to step S145.
  • a portion of the awakening control device 70 that performs the function of determining whether or not the passenger is in the restricted state can be said to be a restriction necessity determination unit that determines whether or not the restriction is necessary.
  • the step S121 of determining whether or not the passenger is in the restricted state can also be said to be a restriction necessity determination step of determining whether or not the restriction is necessary.
  • step S122 the limit setting unit 78 sets a limit to be applied to the awakening device 10.
  • the contents of the restrictions applied to the awakening device 10 are changed based on the type of restricted state.
  • a method using a directional speaker 36 is exemplified, and there are three types of methods: an utterance format, a dialogue format, and a music format.
  • a method using the aroma unit 56 is exemplified as a stimulation method for outputting an olfactory stimulation.
  • the stimulus output using the decorative light 15 and the CID 12 is conditionally permitted.
  • the condition in this case is that the interior of the vehicle is bright.
  • the output of stimuli using the decorative lights 15 and the CID 12 is permitted, and when the interior of the vehicle is dark such as at night, the output of stimuli using the decorative lights 15 and the CID 12 is permitted do not do. This is because light stimulation is less likely to disturb the sleeping state of fellow passengers when the interior of the vehicle is bright, but stimulation of light tends to disturb the sleeping state of fellow passengers when the interior of the vehicle is dark.
  • the light output from the decorative light 15 and the CID 12 is less likely to reach a position farther from the decorative light 15 and the CID 12 . Therefore, when the fellow passenger is seated in the second row or the third row, the output of the awakening stimulus using the decorative light 15 or the CID 12 is permitted even if the inside of the vehicle is dark. However, depending on the intensity of the output light and the height of the passenger, there is a risk that the sleeping condition of the passenger sitting in the second or third row may be disturbed. In such a case, even if a fellow passenger is seated in the second or third row, it may be permitted under the condition that the inside of the vehicle is bright.
  • the interactive output of the directional speaker 36 is not permitted regardless of the position of the fellow passenger. This is because a response from the driver is required in the interactive mode, and there is a risk that the sound of the driver's response may disturb the sleeping state of the fellow passengers.
  • the output of the seat vibration device 37 is conditionally permitted regardless of the position of the fellow passenger.
  • the condition in this case is to set the intensity of vibration to weak operation. More specifically, driving of the seat vibration device 37 is permitted in weak operation, and driving of the seat vibration device 37 in strong operation is not permitted. This is to prevent the operation noise generated by the vibration of the seat vibration device 37 from disturbing the sleeping state of the fellow passenger. If the operation noise of the seat vibrating device 37 during high driving is to the extent that it does not disturb the sleeping state of the fellow passenger, it may be permitted without any condition. In addition, if the operation noise of the seat vibrator 37 during light driving disturbs the sleeping state of the fellow passenger, the output of the seat vibrator 37 is not permitted.
  • the output of the air conditioner 46 is conditionally permitted regardless of the position of the fellow passenger.
  • the condition in this case is that the air volume level should be equal to or lower than the threshold level. This is to prevent air-conditioning noise caused by blowing cold air from the air-conditioning device 46 into the vehicle interior to disturb the sleeping state of the fellow passenger. Also, in order to prevent the temperature inside the vehicle from becoming too cold, it is preferable to raise the temperature of the air-conditioned air blown out to areas other than the driver's seat 35 slightly higher than the set temperature.
  • the output of the awakening stimulus using the HUD 14 is a stimulation method that gives the awakening stimulus only to the driver, and is a stimulation method that produces almost no sounds such as operating sounds accompanying the output of the awakening stimulus.
  • a stimulation method that does not stimulate the sleeping passenger can be used without any conditions.
  • the output of the awakening stimulus using the aroma unit 56 provides stimulus to the entire interior of the vehicle.
  • the stimulus given to the driver is the strongest, and the farther away from the driver's seat 35, the diluted the fragrance and the weaker the stimulus. Therefore, the fellow passenger can perceive the scent output from the aroma unit 56, but the stimulus is not strong enough to awaken the passenger. In this way, even if there is a sleeping fellow passenger, any stimulus method can be used without any conditions as long as the stimulus is not strong enough to arouse the sleeping fellow passenger.
  • FIG. 5 the contents of the restrictions when the fellow passenger is eating and drinking will be explained. If there is a fellow passenger who is eating and drinking, the output of the awakening stimulus using the aroma unit 56 is not permitted regardless of the position of the fellow passenger. This is because the aroma output from the aroma unit 56 may interfere with comfortable eating and drinking of the fellow passenger.
  • the output of the awakening stimulus using the air conditioner 46 is not permitted. This is because when the air conditioner 46 is used to blow cold air strongly toward the driver's seat 35, the conditioned air is also blown strongly toward the passenger seat 45, which may interfere with comfortable eating and drinking. If it is possible to individually control the amount of blown air on the driver's seat 35 side and the passenger's seat 45 side, the output of the awakening stimulus using the air conditioner 46 may be permitted.
  • the permitted stimulation methods do not provide stimulation to an eating or drinking passenger.
  • the stimulation should be an auditory stimulus that does not affect the eating and drinking of the passenger.
  • FIG. 6 the contents of restrictions when the fellow passenger is in the visual work state will be explained.
  • the output of the awakening stimulus using the decorative light 15 and the CID 12 is not permitted. This is because the light output from the decorative lamp 15 and the CID may greatly stimulate the fellow passenger who is sitting on the front passenger seat 45 and performing visual work, and may hinder his visual work.
  • the interactive output of the directional speaker 36 is not permitted regardless of the position of the fellow passenger. This is because the driver's response is required in the interactive mode, and the voice of the driver when responding may interfere with the visual work of the passenger.
  • the output of the seat vibration device 37 is conditionally permitted regardless of the position of the fellow passenger.
  • the condition in this case is to set the intensity of vibration to weak operation. This is to prevent the operating noise generated by the vibration of the seat vibrating device 37 from interfering with the visual work of the fellow passenger. If the operation noise of the seat vibrating device 37 during heavy driving is to the extent that it does not hinder the visual work of the fellow passenger, it may be permitted without any conditions. In addition, if the operation noise of the seat vibration device 37 during light driving disturbs the visual work of the fellow passenger, the output of the seat vibration device 37 is not permitted.
  • the output of the air conditioner 46 is conditionally permitted regardless of the position of the fellow passenger.
  • the condition in this case is that the air volume level should be equal to or lower than the threshold level. This is to prevent the air-conditioning noise caused by blowing cool air into the vehicle from the air-conditioning device 46 from disturbing the visual work of the passenger.
  • FIG. 7 the contents of the restrictions when the fellow passenger is in the auditory work state will be explained. If there is a fellow passenger who is in the auditory working state, the interactive output of the directional speaker 36 is not permitted regardless of the position of the fellow passenger. This is because the interactive form requires a response from the driver, and the voice when the driver responds may interfere with the auditory work of the passenger.
  • the output of the seat vibration device 37 is conditionally permitted regardless of the position of the fellow passenger.
  • the condition in this case is to set the intensity of vibration to weak operation. This is to prevent the operating noise generated by the vibration of the seat vibrating device 37 from interfering with the auditory work of the fellow passenger. If the operation noise of the seat vibrating device 37 during heavy driving does not hinder the auditory work of the fellow passenger, it may be permitted without any conditions. In addition, if the operating sound of the seat vibration device 37 during light driving disturbs the auditory work of the fellow passenger, the output of the seat vibration device 37 is not permitted.
  • the output of the air conditioner 46 is conditionally permitted regardless of the position of the fellow passenger.
  • the condition in this case is that the air volume level should be equal to or lower than the threshold level. This is to prevent air-conditioning noise caused by air-conditioning device 46 blowing cold air into the vehicle from disturbing the auditory work of the fellow passenger.
  • FIG. 8 we will explain the restrictions when the fellow passenger is in conversation with the driver. If there is a fellow passenger who is having a conversation with the driver, output from the directional speaker 36 in an interactive manner is not permitted regardless of the position of the fellow passenger. This is because a response from the driver is required in the interactive mode, and the voice of the driver when responding may interfere with conversation between the fellow passenger and the driver. Also, the output of the directional speaker 36 in the form of music is not permitted. This is because the music output continues until the driver wakes up in the music format, making it difficult for the driver to hear the voice of the fellow passenger, which may hinder conversation with the fellow passenger.
  • the output of the seat vibration device 37 is conditionally permitted regardless of the position of the fellow passenger.
  • the condition in this case is to set the intensity of vibration to weak operation. This is to prevent the operating noise generated by the vibration of the seat vibration device 37 from interfering with the conversation between the fellow passenger and the driver. If the operation noise of the seat vibrating device 37 during high driving is to the extent that it does not hinder conversation between the fellow passenger and the driver, it may be permitted without any conditions. In addition, if the operation noise of the seat vibration device 37 during light driving interferes with conversation between the fellow passenger and the driver, the output of the seat vibration device 37 is not permitted.
  • the output of the air conditioner 46 is conditionally permitted regardless of the position of the fellow passenger.
  • the condition in this case is that the air volume level should be equal to or lower than the threshold level. This is to prevent the air-conditioning noise caused by blowing cool air into the vehicle from the air-conditioning device 46 from interfering with conversation between the fellow passenger and the driver.
  • stimulation methods other than the above-mentioned limited stimulation methods are permitted without conditions. This is because the permitted stimulation methods do not interfere with the conversation between the passenger and the driver.
  • FIG. 9 the contents of the restrictions when the fellow passenger is in the massage state will be explained.
  • output of the directional speaker 36 in an interactive manner is not permitted regardless of the position of the fellow passenger. This is because the driver's voice when responding in the interactive format may interfere with the relaxed state of the passenger receiving the massage.
  • the output of the seat vibration device 37 is conditionally permitted regardless of the position of the fellow passenger.
  • the condition in this case is to set the intensity of vibration to weak operation. This is to prevent the operating sound generated by the vibration of the seat vibrating device 37 from disturbing the relaxed state of the fellow passenger who is receiving the massage. If the operation noise of the seat vibrating device 37 during strong driving does not hinder the passenger's relaxed state, it may be permitted without any conditions. In addition, if the operation noise of the seat vibrating device 37 during light driving disturbs the passenger's relaxed state, the output of the seat vibrating device 37 is not permitted.
  • the output of the air conditioner 46 is conditionally permitted regardless of the position of the fellow passenger.
  • the condition in this case is that the air volume level should be equal to or lower than the threshold level. This is to prevent the air-conditioning noise caused by blowing cold air into the vehicle from the air-conditioning device 46 from disturbing the relaxed state of the passenger receiving the massage.
  • the contents of restrictions when the fellow passenger is in the state of eating and drinking and in the state of auditory work will be explained.
  • the eating and drinking state and the auditory work state for example, a state in which one fellow passenger is eating while listening to music using the audio equipment of the vehicle can be assumed. Alternatively, it can be assumed that one of the two fellow passengers is talking on the phone and another is eating.
  • the interactive output of the directional speaker 36 is not permitted regardless of the position of the passenger. Also, since the fellow passenger is eating and drinking, the output of the awakening stimulus using the aroma unit 56 is not permitted regardless of the position of the fellow passenger. In addition, since the fellow passenger is in the auditory work state, the output of the seat vibrating device 37 is permitted under the condition that the strength of the vibration is set to be low regardless of the position of the fellow passenger.
  • the output of the awakening stimulus using the air conditioner 46 is not permitted. If the passenger who is eating and drinking is seated in a seat other than the front passenger's seat 45, the output of the air conditioner 46 is permitted under the condition that the air volume level is set to the threshold level or less.
  • stimulation methods other than the above-mentioned limited stimulation methods are permitted without conditions. This is because the permitted stimulation methods do not interfere with the passenger's eating, drinking and auditory tasks.
  • Step S122 provides an example of a limit setting step.
  • step S145 the awakening execution unit 79 uses the awakening device 10 to output an awakening stimulus.
  • the permitted stimulus methods and conditions shall be used.
  • the output of the awakening stimulus will be described by taking as an example a situation in which there is only one fellow passenger sitting in the front passenger seat 45 in a state of eating and drinking.
  • awakening execution unit 79 outputs an awakening stimulus without using aroma unit 56 and air conditioner 46 .
  • the intensity of the arousal stimulus felt by the driver differs depending on the type of arousal stimulus.
  • arousal stimuli ie, visual stimulus, auditory stimulus, olfactory stimulus, and tactile stimulus
  • the auditory stimulus and the tactile stimulus are likely to be stronger than the visual stimulus and the olfactory stimulus. More specifically, the tactile stimulus is felt as the strongest stimulus, and the auditory stimulus, olfactory stimulus, and visual stimulus are perceived to be weaker in order.
  • the HUD 14 is used to output an arousal stimulus that stimulates vision.
  • the seat vibration device 37 is used to output an arousal stimulus that stimulates the sense of touch.
  • Step S145 provides an example of an awakening execution step.
  • step S151 the driver information acquired by the driver information acquiring unit 73 using the driver monitoring device 31 is acquired.
  • the driver is in a state where the awakening stimulus is being output from the awakening device 10, and the degree of awakening of the driver is higher than before the output of the awakening stimulus.
  • step S152 the awakening control device 70 determines whether or not it is necessary to continue outputting the awakening stimulus to the driver. Based on the acquired driver information, if the driver is in a dozing state or a careless state (S152: YES), it is determined that it is necessary to continue outputting the awakening stimulus, and the process returns to step S111. On the other hand, if the driver is in a concentrated state (S152: NO), it is determined that the output of the awakening stimulus is unnecessary, the output of the awakening stimulus is stopped, and the awakening control ends. However, since the driver's state may change over time, it is preferable to start awakening control again after the end of awakening control.
  • the limit setting unit 78 limits the type or intensity of the awakening stimulus that can be output into the vehicle based on the fellow passenger information. Therefore, compared to the case where the specific awakening device 10 is always output at a specific intensity regardless of the fellow passenger to give the driver an awakening stimulus, it is easier to prevent the comfort of the fellow passenger from being greatly impaired. . Therefore, it is possible to provide the awakening system 1 and the awakening control device 70 that can give an awakening stimulus to the driver while considering the fellow passenger.
  • the restriction setting unit 78 reduces the types or intensity of arousal stimuli that can be output when the fellow passenger is in the restricted state compared to when there is no fellow passenger. Therefore, it is easy to give an arousal stimulus to the driver while considering the fellow passenger according to the state of the fellow passenger.
  • the restriction setting unit 78 restricts the output of the visual stimulus, which is an arousal stimulus that stimulates vision, when the fellow passenger is seated in the front passenger seat 45 and the fellow passenger is in a visual work state. Therefore, when the stimulus for awakening is output to the driver, it is difficult for the visual work of the fellow passenger sitting on the front passenger seat 45 to be disturbed.
  • the limit setting unit 78 disables the output of the visual stimulus using the ornamental light 15 when the fellow passenger is seated in the front passenger seat 45 and the fellow passenger is in the visual work state, and the visual stimulus using the HUD 14 is disabled. Enable output of stimulus. Therefore, compared to the case where all the awakening devices 10 that output visual stimuli are disabled, it is possible to secure a greater number of types of stimulus methods that can be output.
  • the limit setting unit 78 disables the output of dialogue voices requiring a response from the driver from the directional speaker 36, and disables the output from the directional speaker 36 of a response from the driver. It is possible to output a sound that does not Therefore, compared to the case where the directional speaker 36 is disabled regardless of the content of the sound to be output from the directional speaker 36, it is possible to ensure a greater number of types of stimulus methods that can be output.
  • the limit setting unit 78 sets the outputtable intensity of the tactile stimulus, which is an arousal stimulus that stimulates the sense of touch, to be lower than the intensity of the tactile stimulus that can be output when there is no fellow passenger. Limit strength. For this reason, it is possible to suppress sounds such as operation noises generated with the output of the arousal stimulus.
  • the limit setting unit 78 limits the air blow volume that can be output from the air conditioner 46 when the fellow passenger is in a sleeping state to a lower air blow volume than the air blow volume that can be output when there is no fellow passenger. Therefore, it is possible to suppress the air-conditioning noise that is generated along with the output of the awakening stimulus.
  • the limit setting unit 78 disables the output of the olfactory stimulus, which is an arousal stimulus that stimulates the sense of smell, when the fellow passenger is eating or drinking. Therefore, when the stimulus for awakening is output to the driver, it is difficult for the passenger to comfortably eat and drink.
  • the olfactory stimulus which is an arousal stimulus that stimulates the sense of smell, when the fellow passenger is eating or drinking. Therefore, when the stimulus for awakening is output to the driver, it is difficult for the passenger to comfortably eat and drink.
  • the type or intensity of arousal stimulation that can be output in the vehicle is limited based on passenger information. Therefore, compared to the case where the specific awakening device 10 is always output at a specific intensity regardless of the fellow passenger to give the driver an awakening stimulus, it is easier to prevent the comfort of the fellow passenger from being greatly impaired. . Therefore, it is possible to provide a wake-up method capable of giving a wake-up stimulus to the driver while considering the fellow passenger.
  • the restriction setting unit 78 permits the output of awakening stimuli using the HUD 14, the seatbelt hoisting device 38, and the seat cooling device 39 without conditions, regardless of the state of the fellow passenger.
  • the limit setting unit 78 does not limit the output of all the awakening stimuli at the same time, and permits the output of the awakening stimulus from at least one awakening device 10 . Therefore, even in a state in which the type and intensity of the awakening stimulus that can be output are most restricted, the awakening stimulus can be given to the driver while considering the fellow passengers.
  • the arousal control device 70 may be configured to include a stimulation level setting unit that sets the stimulation level output from the arousal device 10 according to the driver's degree of arousal.
  • the stimulus level is an index indicating the strength of stimulus required for driver's arousal, and the lower the driver's degree of arousal, the higher the stimulus level. For example, it is assumed that the degree of wakefulness of the driver decreases in the order of sleepy, drowsy, and dozing off. In this case, it is possible to set the stimulation level corresponding to the state of being sleepy to level 1, the stimulation level corresponding to the state of dozing off to level 2, and the stimulation level corresponding to the state of dozing off to level 3, respectively. .
  • the awakening execution unit 79 selects a stimulation method from the stimulation method selection candidates set according to the stimulation level, and outputs the awakening stimulation to the inside of the vehicle. For example, when the stimulus level is level 1, an unrestricted stimulus method is selected from visual stimulus or olfactory stimulus to output an arousal stimulus. When the stimulus level is level 2, an unrestricted stimulus method is selected from auditory stimulus methods and an arousal stimulus is output. When the stimulus level is level 3, an unrestricted stimulus method is selected from the stimulus methods of the tactile sense stimulus to output the arousal stimulus.
  • all stimulation methods for the corresponding stimulation level may be restricted.
  • the stimulation levels are level 1
  • the stimulation methods of visual stimulation and olfactory stimulation may all be restricted.
  • the arousal execution unit 79 selects an unrestricted stimulation method from the auditory stimulation stimulation methods that are selection candidates when the stimulation level is level 2, and outputs an arousal stimulation.
  • the arousal execution unit 79 outputs an arousal stimulus with a higher stimulus level than the current stimulus level when all the arousal stimuli corresponding to the current stimulus level cannot be output.
  • This embodiment is a modification based on the preceding embodiment.
  • the awakening device 10 that can be output is restricted.
  • an approval screen is displayed to the driver before outputting the awakening stimulus, and the awakening stimulus is output after being approved.
  • Awakening control is started when power is supplied to the vehicle, for example, by turning on the power switch of the vehicle by an occupant.
  • the driver information acquisition unit 73 acquires driver information in step S101.
  • the process proceeds to step S102, and the awakening control device 70 determines whether or not it is necessary to output the awakening stimulus to the driver. If it is necessary to output an awakening stimulus (S102: YES), the process proceeds to step S211. On the other hand, if the output of the awakening stimulus is not required (S102: NO), the awakening control is terminated.
  • step S211 the fellow passenger information acquisition unit 74 acquires fellow passenger information.
  • fellow passenger information the type and position of each fellow passenger are acquired.
  • the fellow passenger information it is possible to adopt the result of face authentication using pre-registered face information.
  • the process proceeds to step S212.
  • Step S211 provides an example of a fellow passenger information acquisition step.
  • step S212 the awakening control device 70 determines whether or not there is a fellow passenger. If there is at least one fellow passenger (S212: YES), it is determined that it is necessary to consider the fellow passenger when outputting the awakening stimulus, and the process proceeds to step S213. On the other hand, if there is no fellow passenger (S212: NO), it is determined that there is no need to consider the fellow passenger when outputting the awakening stimulus, and the process proceeds to step S231.
  • step S213 the limit setting unit 78 imposes a limit that prohibits the interactive output of the directional speaker 36 regardless of the fellow passenger's state, position, and type. This is to prevent the driver from conversing with the awakening system 1 due to the output of the interactive awakening stimulus, which makes it difficult for the fellow passenger and the driver to have a conversation.
  • Interactive directional speaker 36 output would be the only permitted method of stimulation when no passenger is present.
  • the awakening control device 70 determines whether the fellow passenger is a restricted person.
  • a restricted subject is a person whose arousal stimulus that can be output should be restricted.
  • Restricted users include children and people with low familiarity. A child is, for example, a person under the age of fifteen.
  • a person with a low degree of intimacy is someone whom the driver particularly cares about, for example, a person with whom the driver has a relationship, such as a superior at a company or a business partner. Restricted people are adults and do not include people with a high degree of familiarity, such as family members and friends.
  • the types of persons included and not included in the restricted persons are not limited to the above examples.
  • Whether or not the passenger is a child can be estimated by associating the preset age information for each person with the face recognition result.
  • the method of estimating whether the child is a child is not limited to the method described above.
  • artificial intelligence may be used to estimate the age from face imaging data of the passenger.
  • Familiarity with fellow passengers can be estimated from the amount of conversation and smiles with the driver in the car. More specifically, it can be estimated that the greater the amount of conversation and the amount of smiles, the higher the degree of intimacy between the driver and fellow passengers.
  • the intimacy estimation method is not limited to the method described above.
  • the degree of intimacy of the fellow passenger may be estimated by associating the information of the degree of intimacy for each person preset by the driver with the face authentication result.
  • step S221 If there is at least one person subject to restriction among the passengers (S221: YES), it is determined that the awakening stimulus that can be output needs to be restricted, and the process proceeds to step S222. On the other hand, if none of the fellow passengers are subject to restriction (S221: NO), it is determined that the awakening stimulus that can be output does not need to be restricted, and the process proceeds to step S231.
  • step S222 the limit setting unit 78 sets a limit to be applied to the awakening device 10.
  • the contents of the restrictions applied to the awakening device 10 are changed based on the type of person to be restricted. In the following, the contents of restrictions applied to each type of restricted person will be described with reference to FIGS. 12 and 13.
  • step S213 we will explain the difference in the content of restrictions between when only adults are passengers and when children are included. If the passenger is only an adult, only the interactive directional speaker 36 output disallowed in step S213 is not available, and the other stimulation methods are allowed.
  • the interactive output of the directional speaker 36 which is disallowed in step S213, cannot be used, as in the case where the passenger is an adult. Furthermore, the output of the awakening stimulus using the aroma unit 56 is conditionally permitted. The condition in this case is to lower the output intensity of the aroma unit 56 . This is to reduce the influence of the stimulation output from the aroma unit 56 on children who are smaller than adults.
  • the output intensity of the aroma unit 56 As a method of lowering the output intensity of the aroma unit 56, a method of reducing the number of times the perfume is injected, a method of reducing the amount of injection per injection, etc. can be adopted. Also, the output intensity of the aroma unit 56 may be lowered by changing the type and concentration of the perfume to be sprayed. If there are children among the passengers, other than the above-mentioned restricted stimulation methods, they are permitted without any conditions.
  • the output of the arousal stimulus using a stimulus method that makes it easy for the fellow passenger to recognize that the arousal stimulus is being output to the driver is not permitted. More specifically, the output of the awakening stimulus using the decorative lamp 15 or the CID 12 is disallowed. Furthermore, the output of the arousal stimulus using the directional speaker 36 in speech format, dialogue format, and music format is not permitted. Furthermore, the output of the awakening stimulus using the aroma unit 56 is not permitted. Furthermore, the output of awakening stimulation using the seat vibration device 37 and the air conditioner 46 is not permitted.
  • Step S222 provides an example of a limit setting step.
  • step S231 the awakening control device 70 displays an approval screen for the driver to approve the output of the awakening stimulus.
  • the approval screen is displayed on the CID 12, for example. Either a manual approval mode or an automatic approval mode can be adopted for the approval screen.
  • Manual approval mode is a mode in which the output of arousal stimuli is started when the approval operation is performed by the driver.
  • an approval button and a rejection button are displayed together with a message asking whether or not to output the arousal stimulus.
  • the approval button is pushed by the driver, the output of the awakening stimulus is approved.
  • the rejection button the output of the awakening stimulus is rejected. If neither the approval button nor the rejection button is pressed, the output of the arousal stimulus is put on standby, and the output of the arousal stimulus is rejected after a preset waiting time elapses.
  • the standby time is, for example, 10 seconds.
  • the automatic approval mode is a mode that starts outputting arousal stimuli when not operated by the driver.
  • a message indicating the start of output of the arousal stimulus, a countdown display for waiting time until the start of output of the arousal stimulus, and a refusal button are displayed. If the rejection button is not pressed within the waiting time, the output of the awakening stimulus is approved, and if the rejection button is pressed by the driver within the waiting time, the output of the awakening stimulus is rejected.
  • the approval mode and waiting time can be changed depending on the presence and type of passengers.
  • the waiting time is set to 5 seconds
  • the waiting time is set to 10 seconds.
  • the driver who thinks that the output of the arousal stimulus is unnecessary tends to reject the output of the arousal stimulus, and it is easy to reduce the number of times the arousal stimulus is output to the driver. Therefore, it is easy to suppress the output of the awakening stimulus to the driver from unintentionally affecting the fellow passenger.
  • Changes to the approval mode and waiting time are not limited to the above examples. For example, if the fellow passengers include a person with a low degree of familiarity, the automatic approval mode and the waiting time can be set to zero seconds. According to this, the output of the arousal stimulus can be approved without actually causing the CID 12 to display the approval screen. After displaying the approval screen, the process proceeds to step S232.
  • step S232 the arousal control device 70 determines whether or not the output of the arousal stimulus is approved. If the output of the awakening stimulus is approved (S232: YES), the process proceeds to step S145, where the awakening execution unit 79 uses the awakening device 10 to output the awakening stimulus. After that, the process proceeds to step S151. On the other hand, if the output of the awakening stimulus is not approved, that is, if the output of the awakening stimulus is rejected (S232: NO), the process proceeds to step S151.
  • step S151 the driver information acquisition unit 73 acquires the driver information detected using the driver monitoring device 31, and then proceeds to step S152.
  • step S152 the awakening control device 70 determines whether or not it is necessary to output an awakening stimulus to the driver. If the driver is in a dozing state or a restless state (S152: YES), it is determined that it is necessary to output a wakefulness stimulus, and the process returns to step S211. On the other hand, if the driver is in a concentrated state (S152: NO), it is determined that output of the awakening stimulus is not necessary, and the awakening control ends. At this time, if the awakening stimulus is being output, the output of the awakening stimulus is stopped, and then the awakening control ends.
  • the limit setting unit 78 sets the intensity of the olfactory stimulus, which is an arousal stimulus that stimulates the olfactory sense, when the passenger includes a child, compared to when the passenger does not include a child. limit low. Therefore, it is possible to prevent a child, who is a fellow passenger, from being significantly affected by the olfactory stimulation of the driver.
  • the limit setting unit 78 reduces the types of arousal stimuli that can be output when a fellow passenger includes a partner with a low degree of intimacy compared to a case where the fellow passenger does not include a partner with a low degree of intimacy. Therefore, it is possible to give an awakening stimulus to the driver while changing the degree of consideration for the fellow passenger according to the degree of intimacy with the fellow passenger.
  • the example of restricting the output of the awakening stimulus using the aroma unit 56 is not limited to the case where the passenger includes a child.
  • the scent output from the aroma unit 56 is a scent that the fellow passenger does not like
  • the output of the awakening stimulus using the aroma unit 56 may be restricted regardless of age. In this case, by registering in advance the scent preferences of each fellow passenger as fellow passenger information, it is possible to determine whether or not the aroma output from the aroma unit 56 is a scent that the fellow passenger does not like.
  • the controller and techniques described in the present disclosure may be implemented by a dedicated computer comprising a processor programmed to perform one or more functions embodied by a computer program.
  • the apparatus and techniques described in this disclosure may be implemented by dedicated hardware logic circuitry.
  • the apparatus and techniques described in this disclosure may be implemented by one or more special purpose computers configured by a combination of a processor executing a computer program and one or more hardware logic circuits.
  • the computer program may also be stored as computer-executable instructions on a computer-readable non-transitional tangible recording medium.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

覚醒システムは、運転者を覚醒させるための覚醒刺激を出力可能な覚醒装置と、同乗者に関する情報である同乗者情報を検出するための同乗者モニタとを備えている。覚醒システムは、同乗者モニタを用いて検出された同乗者情報を取得する同乗者情報取得部と、覚醒装置の出力を制限する制限設定部と、制限設定部で制限されていない出力で覚醒装置による覚醒刺激の出力を実行する覚醒実行部とを備えている。制限設定部は、車内に出力可能な覚醒刺激の種類または強度を同乗者情報に基づいて制限する。

Description

覚醒システム、覚醒制御装置および覚醒方法 関連出願の相互参照
 この出願は、2021年3月25日に日本に出願された特許出願第2021-51851号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
 この明細書における開示は、覚醒システム、覚醒制御装置および覚醒方法に関する。
 特許文献1は、運転者たる着座者が居眠り運転や漫然運転をしているような場合に、振動ユニットを用いて座席を振動させる振動制御装置を開示している。先行技術文献の記載内容は、この明細書における技術的要素の説明として、参照により援用される。
特開2018-55527号公報
 先行技術文献の構成では、ケース内に磁気回路が収容されたものを振動ユニットとして利用することで、運転者に振動刺激を与えている。また、運転者を覚醒させる目的で運転者に対して与える刺激は、振動刺激に限られず様々な種類の刺激が採用可能であり、刺激を発生させる装置としても様々な装置を採用可能である。
 しかしながら、車内に同乗者がいる場合には、運転者を覚醒させる目的で刺激を発生させた際に、同乗者に対しても意図せず刺激が与えられてしまうことがある。例えば、振動ユニットで振動を発生させるとともに、作動音が発生してしまい、同乗者の聴覚に刺激を与えてしまうことがある。同乗者に与えられた刺激の種類や強さによっては、同乗者の快適性が損なわれ得る。上述の観点において、または言及されていない他の観点において、覚醒システム等にはさらなる改良が求められている。
 開示される1つの目的は、同乗者に配慮しながら運転者に覚醒刺激を与えることのできる覚醒システム等を提供することにある。
 ここに開示された覚醒システムは、運転者を覚醒させるための覚醒刺激を出力可能な覚醒装置と、
 同乗者に関する情報である同乗者情報を検出するための同乗者モニタと、
 同乗者モニタを用いて検出された同乗者情報を取得する同乗者情報取得部と、
 覚醒装置の出力を制限する制限設定部と、
 制限設定部で制限されていない出力で覚醒装置による覚醒刺激の出力を実行する覚醒実行部とを備え、
 制限設定部は、車内に出力可能な覚醒刺激の種類または強度を同乗者情報に基づいて制限する。
 また、ここに開示された覚醒制御装置は、同乗者に関する情報である同乗者情報を検出するための同乗者モニタを用いて検出された同乗者情報を取得する同乗者情報取得部と、
 運転者を覚醒させるための覚醒刺激を出力可能な覚醒装置の出力を制限する制限設定部と、
 制限設定部で制限されていない出力で覚醒装置に覚醒刺激の出力を実行する覚醒実行部とを備え、
 制限設定部は、車内に出力可能な覚醒刺激の種類または強度を同乗者情報に基づいて制限する。
 また、ここに開示された覚醒方法は、同乗者に関する情報である同乗者情報を検出するための同乗者モニタを用いて検出された同乗者情報を取得する同乗者情報取得ステップと、
 運転者を覚醒させるための覚醒刺激を出力可能な覚醒装置の出力を制限する制限設定ステップと、
 制限設定ステップで制限されていない出力で覚醒装置による覚醒刺激の出力を実行する覚醒実行ステップとを備え、
 制限設定ステップでは、車内に出力可能な覚醒刺激の種類または強度を同乗者情報に基づいて制限する。
 開示された覚醒システム等によると、車内に出力可能な覚醒刺激の種類または強度を同乗者情報に基づいて制限する。このため、同乗者によらず常に特定の覚醒刺激を出力する場合に比べて、覚醒刺激の出力によって同乗者の快適性が大きく損なわれることを抑制しやすい。したがって、同乗者に配慮しながら運転者に覚醒刺激を与えることのできる覚醒システム等を提供できる。
 この明細書における開示された複数の態様は、それぞれの目的を達成するために、互いに異なる技術的手段を採用する。請求の範囲およびこの項に記載した括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。この明細書に開示される目的、特徴、および効果は、後続の詳細な説明、および添付の図面を参照することによってより明確になる。
覚醒システムが搭載されている車両の概略構成を示す構成図である。 覚醒システムの覚醒制御に関するブロック図である。 覚醒システムの覚醒制御に関するフローチャートである。 同乗者が睡眠状態である場合の制限内容を説明するための図である。 同乗者が飲食状態である場合の制限内容を説明するための図である。 同乗者が視覚作業状態である場合の制限内容を説明するための図である。 同乗者が聴覚作業状態である場合の制限内容を説明するための図である。 同乗者が運転者との会話状態である場合の制限内容を説明するための図である。 同乗者がマッサージ状態である場合の制限内容を説明するための図である。 同乗者が飲食状態かつ聴覚作業状態である場合の制限内容を説明するための図である。 第2実施形態における覚醒システムの覚醒制御に関するフローチャートである。 同乗者が子供である場合の制限内容を説明するための図である。 同乗者が親密度の低い人物である場合の制限内容を説明するための図である。
 図面を参照しながら、複数の実施形態を説明する。複数の実施形態において、機能的におよび/または構造的に対応する部分および/または関連付けられる部分には同一の参照符号、または百以上の位が異なる参照符号が付される場合がある。対応する部分および/または関連付けられる部分については、他の実施形態の説明を参照することができる。
 第1実施形態
 図1において、覚醒システム1は、車両に搭載されている。車両は、運転席35と助手席45とを含む複数の座席を備えている。覚醒システム1は、車両を運転中の運転者をリフレッシュさせ、運転に対する集中力を高めるためのシステムである。覚醒システム1は、覚醒度合いが低下して運転に対する集中力が低下した状態の運転者に刺激を与え、運転に対する集中力が高い状態に覚醒させる。覚醒システム1は、運転者の運転に対する高い集中力を維持させる覚醒維持システムとも言える。
 覚醒システム1は、運転者を覚醒させるための様々な覚醒刺激を出力可能である。覚醒刺激とは、運転者の五感のいずれかを刺激する刺激である。覚醒刺激としては、例えば運転者の視覚を刺激する光を利用可能である。覚醒刺激としては、例えば運転者の聴覚を刺激する音を利用可能である。覚醒刺激としては、例えば運転者の嗅覚を刺激する臭いを利用可能である。覚醒刺激としては、例えば運転者の触覚を刺激する振動や温度変化を利用可能である。覚醒システム1は、複数の覚醒刺激を組み合わせて出力可能である。
 覚醒システム1は、覚醒装置10と運転者監視装置31と後述する同乗者モニタ41とを備えている。覚醒装置10には、センターインフォメーションディスプレイ(Center Information Display)12、ヘッドアップディスプレイ(Head-Up Display)14、装飾灯15が含まれている。以下では、センターインフォメーションディスプレイ12をCID12と称することがある。また、ヘッドアップディスプレイ14をHUD14と称することがある。車両には、メータディスプレイ11が設けられており、メータディスプレイ11、CID12、HUD14は、乗員に対して表示を行う表示装置を構成している。
 メータディスプレイ11は、インストルメントパネル19に設けられている。メータディスプレイ11は、自車両の車室内において運転席35の前方に配置されている。メータディスプレイ11は、運転席35に着座している運転者によって視認可能な液晶ディスプレイを有している。メータディスプレイ11は、スピードメータ等の画像を液晶ディスプレイに表示する。
 CID12は、インストルメントパネル19の左右方向における略中央に配置されている。CID12は、運転者に加えて、助手席45に着座する乗員にも視認可能な液晶ディスプレイを有している。CID12は、ナビゲーションの案内画面、空調機器の操作画面、およびオーディオ機器の操作画面等を、液晶ディスプレイに表示する。
 HUD14は、速度表示画像や警告表示画像等の光を、ウインドシールドに規定された投影領域14aに投影する。ウインドシールドによって車室内側に反射された画像の光は、運転席35に着座している運転者によって知覚される。運転者は、HUD14によって投影された画像の虚像を、自車両の前方の外界風景と重ねて視認可能となる。
 装飾灯15は、インストルメントパネル19の長手方向に沿ってメータディスプレイ11やCID12よりも上方に設けられている。装飾灯15は、インストルメントパネル19における運転席35の前方から助手席45の前方にわたって連続して設けられている。装飾灯15は、例えば青白色に発光する発光素子を備えている。装飾灯15は、状況に合わせて点灯や消灯を切り換えることで車内空間のデザイン性を向上させる装置である。装飾灯15の光は、運転者と助手席45に着座している乗員との両方が知覚可能である。
 運転者監視装置31は、運転者の状態をリアルタイムに監視する装置である。運転者監視装置31は、近赤外光源および近赤外カメラと、これらを制御する制御ユニットとを備えている。運転者監視装置31は、近赤外カメラを運転席35側に向けた姿勢にて、インストルメントパネル19の上面に配置されている。運転者監視装置31は、近赤外光源によって近赤外光を照射された運転者の顔を、近赤外カメラによって撮像する。近赤外カメラによる撮像画像は、制御ユニットによって画像解析される。制御ユニットは、例えば運転者の顔の向きおよび目の開き具合等を撮像画像から抽出する。運転者監視装置31を用いて撮像した撮像画像は、運転者の顔認証にも利用可能である。
 運転者監視装置31は、制御ユニットによる解析に基づき、運転者の状態を示す情報を運転者情報として、後述する覚醒制御装置70に出力する。より詳細には、運転者監視装置31は、運転者が運転に集中している集中状態と判断すると、運転者が集中状態にあることを覚醒制御装置70に出力する。運転者監視装置31は、運転者の目が閉じた居眠り状態と判断すると、運転者が居眠り状態であることを覚醒制御装置70に出力する。ここで、居眠り状態には、運転者が居眠りして目を閉じている状態だけでなく、うとうとしている状態も含まれる。さらに、運転者監視装置31は、運転者の視線の変化が少なく、運転に集中できていない漫然状態と判断すると、運転者が漫然状態であることを覚醒制御装置70に出力する。
 運転者監視装置31は、運転者の覚醒度合いを複数の段階に分類可能である。例えば、運転者監視装置31は、居眠り状態の運転者を、眠そうにしている状態、うとうとしている状態、居眠りしている状態の3つの状態に分類可能である。3つの状態のうち、眠そうにしている状態が最も覚醒度の高い状態であり、居眠りしている状態が最も覚醒度の低い状態である。
 運転者監視装置31が検出する運転者の状態は、上述の集中状態、居眠り状態、漫然状態に限られない。例えば、運転者が脇見をしている脇見状態を検出してもよい。例えば、運転者が不適切な運転姿勢で運転をしている不適切姿勢状態を検出してもよい。運転者監視装置31としては、例えばドライバーステータスモニター(登録商標)を採用可能である。
 図2において、覚醒システム1は、覚醒装置10と運転者監視装置31と同乗者モニタ41と覚醒制御装置70とを備えている。同乗者モニタ41は、近赤外光源および近赤外カメラと、これらを制御する制御ユニットとを備えている。同乗者モニタ41は、近赤外カメラを運転席35以外の席側に向けた姿勢にて車室内に配置されている。同乗者モニタ41は、車室内に複数設けられている。同乗者モニタ41は、助手席45に着座している同乗者の情報を検出するためのモニタを備えている。同乗者モニタ41は、二列目または三列目の座席に着座している同乗者の情報を検出するためのモニタを備えている。
 同乗者モニタ41は、近赤外光源によって近赤外光を照射された同乗者の顔を、近赤外カメラによって撮像する。近赤外カメラによる撮像画像は、制御ユニットによって画像解析される。制御ユニットは、例えば同乗者の動きや目の開き具合、口の動き等を撮像画像から抽出する。同乗者モニタ41を用いて撮像した撮像画像は、同乗者の顔認証にも利用可能である。
 同乗者モニタ41は、制御ユニットによる解析に基づき、同乗者の状態および位置等を示す情報を検出する。同乗者モニタ41は、検出した同乗者に関する情報を同乗者情報として覚醒制御装置70に出力する。同乗者情報は、同乗者がどの座席に着座しているかを示す情報や、同乗者が車内で何をしているかを示す情報や、同乗者が誰であるかを示す情報等を含んでいる。仮に、車室内に同乗者が存在しない場合には、同乗者が存在しないことを覚醒制御装置70に出力することとなる。また、車室内に同乗者が複数存在する場合には、同乗者毎の状態および位置等を示す情報を検出して、複数の同乗者情報を覚醒制御装置70に出力することとなる。
 同乗者モニタ41が検出可能な同乗者の状態には、睡眠状態、飲食状態、視覚作業状態、聴覚作業状態、運転者との会話状態、マッサージ状態が含まれる。睡眠状態とは、同乗者が眠っている状態である。ただし、同乗者が完全に眠っている状態だけでなく、うとうとしている状態も睡眠状態に含まれる。飲食状態とは、同乗者が飲食している状態である。
 視覚作業状態とは、同乗者が視覚を用いて行う作業をしている状態である。より詳細には、コンピュータを用いて作業している状態、本を読んでいる状態、スマートフォンの画面を見ている状態等が含まれる。聴覚作業状態には、同乗者が聴覚を用いて行う作業をしている状態である。より詳細には、音楽を聴いている状態、同乗者同士で会話している状態、携帯電話を使って会話している状態等が含まれる。また、動画を視聴している状態は、視覚作業状態と聴覚作業状態との両方の状態に該当することとなる。
 運転者との会話状態とは、同乗者が運転者と会話している状態である。マッサージ状態とは、同乗者が座席のマッサージ装置を駆動してマッサージを受けている状態である。同乗者モニタ41が検出可能な同乗者の状態は、上述の状態に限られず、景色を眺めている状態や退屈している状態等が含まれていてもよい。
 同乗者モニタ41が検出可能な同乗者の位置には、助手席45、二列目の座席、三列目の座席が含まれる。ここで、運転席35と助手席45とは、一列目の座席を構成している。また、二列目の座席には、運転席35の後ろに位置している座席と助手席45の後ろに位置している座席とが含まれる。以下では、一列目の座席を前席、二列目以降の座席を後席と称することがある。
 覚醒装置10は、運転席覚醒装置30と前席覚醒装置40と全体覚醒装置50とを備えている。運転席覚醒装置30は、運転席35に着座している運転者のみに覚醒刺激を与える装置である。前席覚醒装置40は、運転者と助手席45に着座している乗員のみに覚醒刺激を与え得る装置である。全体覚醒装置50は、運転者を含む乗員全体に覚醒刺激を与え得る装置である。覚醒刺激を与える範囲の広さは、全体覚醒装置50が最も広く、運転席覚醒装置30が最も狭い。前席覚醒装置40が覚醒刺激を与える範囲の広さは、全体覚醒装置50よりも狭く、運転席覚醒装置30よりも広い。
 運転席覚醒装置30は、HUD14と指向性スピーカ36とシート振動装置37とシートベルト巻き上げ装置38とシート冷却装置39とを備えている。HUD14は、運転者の覚醒度合いが低下していることを示す警告アイコンを表示することで、運転者に覚醒刺激を与える。
 指向性スピーカ36は、運転者に向かって指向性の高い音を出力することで覚醒刺激を与えるスピーカである。このため、指向性スピーカ36から出力される音は、運転者のみに聞こえ、運転者以外の乗員には聞こえないこととなる。指向性スピーカ36からは、覚醒を促す警告音や音声メッセージや音楽を出力可能である。
 指向性スピーカ36を用いた刺激方法としては、発話形式、対話形式、音楽形式の三種類の方法が想定される。発話形式とは、運転者に対して覚醒を促すメッセージを出力して覚醒を促す方法である。発話形式において出力されるメッセージには、運転者の覚醒度合いが低いことを警告する警告メッセージや、運転者の覚醒度合いを高めるための応援メッセージや、休憩を提案する提案メッセージ等が含まれる。
 対話形式とは、運転者による応答を必要とする対話用音声を出力して、運転者との対話を繰り返すことで覚醒を促す方法である。対話形式においては、運転者からの応答を認識するためのマイクを併用して運転者による応答に沿った対話を繰り返すこととなる。運転者は、指向性スピーカ36から出力された音声によって聴覚を刺激されるとともに、自らが応答するために声を発することで、覚醒が促されることとなる。
 音楽形式とは、あらかじめ設定していておいた覚醒用の音楽や警告音を再生することで覚醒を促す方法である。音楽形式においては、運転者の覚醒が完了するまでの間、覚醒用の音楽や警告音を連続して再生し続けることとなる。
 シート振動装置37は、運転席35を振動させることで運転者に覚醒刺激を与える装置である。シート振動装置37は、運転席35のみを振動させるため、助手席45等の運転席35以外の座席については、振動させない。シート振動装置37は、振動のオンオフだけでなく、振動の強弱も調整可能である。シート振動装置37は、振動を発生させる際に作動音が発生する。シート振動装置37の作動音は、発生させる振動が強いほど大きくなる。
 シートベルト巻き上げ装置38は、運転席35のシートベルトを巻き上げる動きと緩める動きを繰り返すことで運転者に覚醒刺激を与える装置である。シート冷却装置39は、運転席35の座面を冷やすことで運転者に覚醒刺激を与える装置である。
 前席覚醒装置40は、CID12と装飾灯15と空調装置46とを備えている。CID12は、運転者の覚醒度合いが低下していることを示す警告メッセージを表示することで、主に運転者に覚醒刺激を与える。装飾灯15は、短時間に点灯と消灯を繰り返して点滅させることで、主に運転者に覚醒刺激を与える。空調装置46は、運転席35に向かって冷風を強く吹き出すことで、主に運転者に覚醒刺激を与える。
 CID12と装飾灯15から出力された覚醒刺激の光は、助手席45に着座している同乗者も知覚可能である。また、空調装置46によって運転席35に向かって冷風が強く吹き出されることで、運転席35に近い位置の座席である助手席45に着座している同乗者も冷風を知覚する場合がある。また、空調装置46が運転席35と助手席45とで風量を個別に調整できない構成である場合には、運転席35に向かって空調風が強く吹き出されると同時に、助手席45に向かって空調風が強く吹き出されることとなる。このように、前席覚醒装置40は、運転者だけでなく助手席45に着座している同乗者にも覚醒刺激を与え得る装置であると言える。
 全体覚醒装置50は、アロマユニット56を備えている。アロマユニット56は、香料を運転席35に向かって噴射することで、主に運転者に覚醒刺激を与える。アロマユニット56が噴射する香料としては、運転者の覚醒を促しやすい香りが好ましい。香料としては、例えばレモンやペパーミント等の香りを採用可能である。アロマユニット56は、空調装置46によって送風される空調風に香料を噴射して混ぜる構成を採用可能である。これによると、運転席35に向かって香り付きの空調風を送ることができる。ただし、アロマユニット56として、空調風に香料を噴射する構成ではなく、運転席35に向かって直接噴射する構成を採用してもよい。
 アロマユニット56から出力される香りは、運転席35に向かって噴射された後、車内全体に広がるため、運転者以外の同乗者も知覚可能である。このように、全体覚醒装置50は、運転者だけでなく、同乗者全体にも覚醒刺激を与え得る装置であると言える。ただし、運転席35から離れるほど香りは弱くなる。このため、同乗者が知覚する香りは、運転者が知覚する香りよりも弱い香りとなる。
 覚醒システム1は、運転者の覚醒に関する制御である覚醒制御を行う覚醒制御装置70を備えている。覚醒制御装置70は、運転者情報取得部73と同乗者情報取得部74と制限設定部78と覚醒実行部79とを備えている。
 運転者情報取得部73は、運転者監視装置31を用いて検出した運転者情報を取得する。運転者の状態は、時間経過によって変化し得る。このため、運転者情報取得部73は、取得時間が経過する度に運転者情報を繰り返し取得し続けることとなる。
 同乗者情報取得部74は、同乗者モニタ41を用いて検出した同乗者情報を取得する。同乗者の状態および位置は、時間経過によって変化し得る。このため、同乗者情報取得部74は、取得時間が経過する度に同乗者情報を繰り返し取得し続けることとなる。ただし、同乗者が存在しないと判断している場合には、少なくとも次に車両の扉が開くタイミングまで同乗者情報の取得を停止可能である。
 制限設定部78は、同乗者情報に基づいて利用可能な覚醒装置10の種類または強度を制限する。制限設定部78は、同乗者の邪魔にならないように出力可能な覚醒刺激の種類や強度を制限することとなる。覚醒装置10に加える制限の詳細については、後に説明する。
 覚醒実行部79は、制限設定部78によって制限を加えられた範囲内で覚醒装置10に向かって覚醒刺激を出力させる。覚醒実行部79は、運転者の覚醒が完了するまで覚醒刺激の出力を継続する。覚醒実行部79は、同時に複数の覚醒刺激を出力可能である。
 図3を用いて覚醒制御の流れについて説明する。覚醒制御は、例えば、車両のパワースイッチが乗員によってオンされるなどして、車両に電力が供給されると開始される。覚醒制御が開始されると、ステップS101で運転者情報取得部73が運転者監視装置31を用いて検出した運転者情報を取得する。その後、ステップS102に進む。
 ステップS102では、運転者に向かって覚醒刺激を出力する必要があるか否かを覚醒制御装置70が判断する。取得した運転者情報に基づいて、運転者が居眠り状態または漫然状態にある場合(S102:YES)には、覚醒刺激の出力が必要であると判断し、ステップS111に進む。一方、運転者が集中状態にある場合(S102:NO)には、覚醒刺激の出力は不要であると判断し覚醒刺激を出力せずに覚醒制御を終了する。ただし、運転者の状態は時間経過とともに変化し得るため、覚醒制御の終了後、再び覚醒制御を開始して一連の覚醒制御を繰り返すことが好ましい。
 ステップS111では、同乗者情報取得部74が同乗者モニタ41を用いて検出した同乗者情報を取得する。同乗者情報には、同乗者毎の状態および位置の情報が含まれている。同乗者情報を取得した後、ステップS112に進む。ステップS111は、同乗者情報取得ステップの一例を提供する。
 ステップS112では、同乗者が存在するか否かを覚醒制御装置70が判断する。同乗者が一人でも存在する場合(S112:YES)には、覚醒刺激を出力する際に同乗者に配慮する必要があると判断してステップS121に進む。一方、同乗者が一人も存在しない場合(S112:NO)には、覚醒刺激を出力する際に同乗者に配慮する必要がないと判断してステップS145に進む。
 ステップS121では、同乗者が制限状態であるか否かを覚醒制御装置70が判断する。制限状態とは、出力可能な覚醒刺激に制限を加えるべき状態のことである。制限状態には、睡眠状態、飲食状態、視覚作業状態、聴覚作業状態、運転者との会話状態が含まれる。また、制限状態には、景色を眺めている状態や退屈している状態は含まれない。ただし、制限状態に含まれる状態および含まれない状態の種類は、上述の例に限られない。
 同乗者が一人でも制限状態である場合(S121:YES)には、出力可能な覚醒刺激に制限が必要であると判断してステップS122に進む。一方、全ての同乗者が制限状態でない場合(S121:NO)には、出力可能な覚醒刺激に制限が必要でないと判断してステップS145に進む。覚醒制御装置70のうち、同乗者が制限状態であるか否かを判断する機能を担う部分は、制限の要否を判断する制限要否判断部とも言える。同乗者が制限状態であるか否かを判断するステップS121は、制限の要否を判断する制限要否判断ステップとも言える。
 ステップS122では、覚醒装置10に加えるべき制限を制限設定部78が設定する。覚醒装置10に加えられる制限の内容は、制限状態の種類に基づいて変更する。以下では、図4から図10までの図面を用いて、制限状態の種類毎および同乗者の位置毎に加えるべき制限の内容を説明する。図において、丸印は、該当する刺激方法が条件なしで利用可能であることを意味し、バツ印は、利用不可能であることを意味している。また、三角印は、条件付きで利用可能であることを意味している。
 図において、視覚刺激を出力する刺激方法としては、装飾灯15を用いた方法、HUD14を用いた方法、CID12を用いた方法の三種類の方法を例示している。聴覚刺激を出力する刺激方法としては、指向性スピーカ36を用いた方法であって、発話形式、対話形式、音楽形式の三種類の方法を例示している。嗅覚刺激を出力する刺激方法としては、アロマユニット56を用いた方法を例示している。触覚刺激を出力する刺激方法としては、シート振動装置37を用いた方法、シートベルト巻き上げ装置38を用いた方法、空調装置46を用いた方法、シート冷却装置39を用いた方法の四種類の方法を例示している。
 図4を用いて、同乗者が睡眠状態である場合の制限内容を説明する。睡眠状態の同乗者が助手席45に着座している場合には、装飾灯15やCID12を用いた刺激の出力を条件付きで許可する。この場合の条件とは車内が明るいことである。例えば、昼間のような車内が明るい状態では、装飾灯15やCID12を用いた刺激の出力を許可し、夜間のような車内が暗い状態では、装飾灯15やCID12を用いた刺激の出力を許可しない。これは、車内が明るい場合には光の刺激が同乗者の睡眠状態を阻害しにくいが、車内が暗い場合には光の刺激が同乗者の睡眠状態を阻害しやすいためである。
 装飾灯15やCID12から出力される光は、装飾灯15やCID12から離れた位置ほど届きにくい。このため、同乗者が二列目や三列目の座席に着座している場合には、車内が暗い場合であっても装飾灯15やCID12を用いた覚醒刺激の出力を許可する。ただし、出力される光の強さや同乗者の背の高さによっては、二列目や三列目に着座している同乗者の睡眠状態が阻害される恐れがある。このような場合には、同乗者が二列目や三列目に着座している場合についても、車内が明るいことを条件とした条件付きで許可するようにしてもよい。
 睡眠状態の同乗者が存在している場合には、同乗者の位置によらず対話形式による指向性スピーカ36の出力を不許可とする。これは、対話形式において運転者からの応答が必要であり、運転者の応答した際の声が同乗者の睡眠状態を阻害する恐れがあるためである。
 睡眠状態の同乗者が存在している場合には、同乗者の位置によらずシート振動装置37の出力を条件付きで許可する。この場合の条件とは、振動の強度を弱運転とすることである。より詳細には、弱運転でのシート振動装置37の駆動を許可し、強運転でのシート振動装置37の駆動を許可しない。これは、シート振動装置37の振動発生に伴って発生する作動音が同乗者の睡眠状態を阻害しないようにするためである。仮に、強運転でのシート振動装置37の作動音が同乗者の睡眠状態を阻害しない程度であれば、条件なしで許可してもよい。また、弱運転でのシート振動装置37の作動音であっても同乗者の睡眠状態を阻害してしまう場合には、シート振動装置37の出力を不許可とする。
 睡眠状態の同乗者が存在している場合には、同乗者の位置によらず空調装置46の出力を条件付きで許可する。この場合の条件とは、風量レベルを閾値レベル以下とすることである。これは、空調装置46から車内に冷風が吹き出されることで生じる空調音が同乗者の睡眠状態を阻害しないようにするためである。また、車内の温度が冷えすぎることを抑制するために、運転席35以外に吹き出される空調風の温度を設定温度よりもわずかに高めることが好ましい。
 HUD14を用いた覚醒刺激の出力は、運転者のみに覚醒刺激を与える刺激方法であり、覚醒刺激の出力に伴って作動音等の音がほとんど発生しない刺激方法である。指向性スピーカ36を用いた発話形式または音楽形式による覚醒刺激の出力についても同様である。また、シートベルト巻き上げ装置38やシート冷却装置39を用いた覚醒刺激の出力についても同様である。このように、睡眠状態の同乗者が存在している場合であっても、睡眠状態の同乗者に対して刺激を与えない刺激方法は、条件なしで利用可能である。
 アロマユニット56を用いた覚醒刺激の出力については、車内全体に刺激を与えることとなる。しかし、運転者に与える刺激が最も強く、運転席35から離れるほど香料が薄められ、刺激が弱くなる。このため、同乗者についてはアロマユニット56から出力された香りを知覚できるが、覚醒するほどの強い刺激とはならない。このように、睡眠状態の同乗者が存在している場合であっても、睡眠状態の同乗者を覚醒させてしまうほど強い刺激にならない刺激方法であれば、条件なしで利用可能である。
 図5を用いて、同乗者が飲食状態である場合の制限内容を説明する。飲食状態の同乗者が存在している場合には、同乗者の位置によらずアロマユニット56を用いた覚醒刺激の出力を不許可とする。これは、アロマユニット56から出力された香りが同乗者の快適な飲食を阻害する恐れがあるためである。
 飲食状態の同乗者が助手席45に着座している場合には、空調装置46を用いた覚醒刺激の出力を不許可とする。これは、空調装置46を用いて運転席35に向かって冷風を強く吹き出す場合に、助手席45側にも空調風が強く吹き出してしまい、快適な飲食を阻害する恐れがあるためである。仮に、運転席35側と助手席45側とで、吹き出す風量を個別に制御できる場合には、空調装置46を用いた覚醒刺激の出力を許可してもよい。
 飲食状態の同乗者が存在している場合であっても、上述した制限されている刺激方法以外は、条件なしで許可される。これは、許可されている刺激方法が飲食状態の同乗者に刺激を与えることがないことによる。あるいは、許可されている刺激方法が飲食状態の同乗者に刺激を与えることがあっても、聴覚を刺激するような刺激であって、同乗者の飲食に影響しないことによる。
 図6を用いて、同乗者が視覚作業状態である場合の制限内容を説明する。視覚作業状態の同乗者が助手席45に着座している場合には、装飾灯15やCID12を用いた覚醒刺激の出力を不許可とする。これは、装飾灯15やCIDから出力された光が助手席45に着座して視覚作業を行っている同乗者にも大きな刺激を与えてしまい、視覚作業を阻害する恐れがあるためである。
 視覚作業状態の同乗者が存在している場合には、同乗者の位置によらず対話形式による指向性スピーカ36の出力を不許可とする。これは、対話形式において運転者からの応答が必要であり、運転者の応答した際の声が同乗者の視覚作業を阻害する恐れがあるためである。
 視覚作業状態の同乗者が存在している場合には、同乗者の位置によらずシート振動装置37の出力を条件付きで許可する。この場合の条件とは、振動の強度を弱運転とすることである。これは、シート振動装置37の振動発生に伴って発生する作動音が同乗者の視覚作業を阻害しないようにするためである。仮に、強運転でのシート振動装置37の作動音が同乗者の視覚作業を阻害しない程度であれば、条件なしで許可してもよい。また、弱運転でのシート振動装置37の作動音でも同乗者の視覚作業を阻害してしまう場合には、シート振動装置37の出力を不許可とする。
 視覚作業状態の同乗者が存在している場合には、同乗者の位置によらず空調装置46の出力を条件付きで許可する。この場合の条件とは、風量レベルを閾値レベル以下とすることである。これは、空調装置46で車内に冷風が吹き出されることで生じる空調音が同乗者の視覚作業を阻害しないようにするためである。
 視覚作業状態の同乗者が存在している場合であっても、上述した制限されている刺激方法以外は、条件なしで許可される。これは、許可されている刺激方法が同乗者の視覚作業を阻害しないことによる。
 視覚作業の内容に基づいて、特定の刺激方法を許可するか否かを切り換えてもよい。例えば、同乗者が新聞を大きく広げて読んでいる状態においては、装飾灯15やCID12を用いた覚醒刺激の出力を不許可ではなく、許可とする。これは、新聞によって同乗者の視界全体が覆われるため、装飾灯15やCID12の光の刺激が同乗者に知覚されず、新聞を読む作業を阻害しないことによる。
 図7を用いて、同乗者が聴覚作業状態である場合の制限内容を説明する。聴覚作業状態の同乗者が存在している場合には、同乗者の位置によらず対話形式による指向性スピーカ36の出力を不許可とする。これは、対話形式において運転者からの応答が必要であり、運転者が応答した際の声が同乗者の聴覚作業を阻害する恐れがあるためである。
 聴覚作業状態の同乗者が存在している場合には、同乗者の位置によらずシート振動装置37の出力を条件付きで許可する。この場合の条件とは、振動の強度を弱運転とすることである。これは、シート振動装置37の振動発生に伴って発生する作動音が同乗者の聴覚作業を阻害しないようにするためである。仮に、強運転でのシート振動装置37の作動音が同乗者の聴覚作業を阻害しない程度であれば、条件なしで許可してもよい。また、弱運転でのシート振動装置37の作動音でも同乗者の聴覚作業を阻害してしまう場合には、シート振動装置37の出力を不許可とする。
 聴覚作業状態の同乗者が存在している場合には、同乗者の位置によらず空調装置46の出力を条件付きで許可する。この場合の条件とは、風量レベルを閾値レベル以下とすることである。これは、空調装置46で車内に冷風が吹き出されることで生じる空調音が同乗者の聴覚作業を阻害しないようにするためである。
 聴覚作業状態の同乗者が存在している場合であっても、上述した制限されている刺激方法以外は、条件なしで許可される。これは、許可されている刺激方法が同乗者の聴覚作業を阻害しないことによる。
 図8を用いて、同乗者が運転者との会話状態である場合の制限内容を説明する。運転者との会話状態にある同乗者が存在している場合には、同乗者の位置によらず対話形式による指向性スピーカ36の出力を不許可とする。これは、対話形式において運転者からの応答が必要であり、運転者の応答した際の声が同乗者と運転者との会話を阻害する恐れがあるためである。また、音楽形式による指向性スピーカ36の出力についても不許可とする。これは、音楽形式において運転者が覚醒するまで音楽の出力が継続してしまい、運転者が同乗者の声を聞き取りづらくなることで、同乗者との会話を阻害する恐れがあるためである。
 運転者との会話状態の同乗者が存在している場合には、同乗者の位置によらずシート振動装置37の出力を条件付きで許可する。この場合の条件とは、振動の強度を弱運転とすることである。これは、シート振動装置37の振動発生に伴って発生する作動音が同乗者と運転者との会話を阻害しないようにするためである。仮に、強運転でのシート振動装置37の作動音が同乗者と運転者との会話を阻害しない程度であれば、条件なしで許可してもよい。また、弱運転でのシート振動装置37の作動音でも同乗者と運転者との会話を阻害してしまう場合には、シート振動装置37の出力を不許可とする。
 運転者との会話状態の同乗者が存在している場合には、同乗者の位置によらず空調装置46の出力を条件付きで許可する。この場合の条件とは、風量レベルを閾値レベル以下とすることである。これは、空調装置46で車内に冷風が吹き出されることで生じる空調音が同乗者と運転者との会話を阻害しないようにするためである。
 運転者との会話状態の同乗者が存在している場合であっても、上述した制限されている刺激方法以外は、条件なしで許可される。これは、許可されている刺激方法が同乗者と運転者との会話を阻害しないことによる。
 図9を用いて、同乗者がマッサージ状態である場合の制限内容を説明する。マッサージ状態の同乗者が存在している場合には、同乗者の位置によらず対話形式による指向性スピーカ36の出力を不許可とする。これは、対話形式において運転者の応答した際の声が、マッサージを受けている同乗者のリラックスした状態を阻害する恐れがあるためである。
 マッサージ状態の同乗者が存在している場合には、同乗者の位置によらずシート振動装置37の出力を条件付きで許可する。この場合の条件とは、振動の強度を弱運転とすることである。これは、シート振動装置37の振動発生に伴って発生する作動音が、マッサージを受けている同乗者のリラックスした状態を阻害しないようにするためである。仮に、強運転でのシート振動装置37の作動音が同乗者のリラックスした状態を阻害しない程度であれば、条件なしで許可してもよい。また、弱運転でのシート振動装置37の作動音でも同乗者のリラックスした状態を阻害してしまう場合には、シート振動装置37の出力を不許可とする。
 マッサージ状態の同乗者が存在している場合には、同乗者の位置によらず空調装置46の出力を条件付きで許可する。この場合の条件とは、風量レベルを閾値レベル以下とすることである。これは、空調装置46で車内に冷風が吹き出されることで生じる空調音が、マッサージを受けている同乗者のリラックスした状態を阻害しないようにするためである。
 マッサージ状態の同乗者が存在している場合であっても、上述した制限されている刺激方法以外は、条件なしで許可される。これは、許可されている刺激方法がマッサージを受けている同乗者のリラックスした状態を阻害しないことによる。
 図10を用いて、同乗者が飲食状態、かつ、聴覚作業状態である場合の制限内容を説明する。飲食状態、かつ、聴覚作業状態である場合としては、例えば、1人の同乗者が車両のオーディオ機器を用いて音楽を聴きながらご飯を食べている状態が想定できる。あるいは、2人の同乗者のうち1人の同乗者が電話で会話しており、別の同乗者がご飯を食べている状態が想定できる。
 同乗者が聴覚作業状態であるため、同乗者の位置によらず対話形式による指向性スピーカ36の出力を不許可とする。また、同乗者が飲食状態であるため、同乗者の位置によらずアロマユニット56を用いた覚醒刺激の出力を不許可とする。また、同乗者が聴覚作業状態であるため、同乗者の位置によらず振動の強度を弱運転とするという条件付きでシート振動装置37の出力を許可する。
 また、飲食状態の同乗者が着座している座席が助手席45である場合には、空調装置46を用いた覚醒刺激の出力を不許可とする。仮に、飲食状態の同乗者が着座している座席が助手席45以外である場合には、風量レベルを閾値レベル以下とするという条件付きで空調装置46の出力を許可する。
 同乗者が飲食状態、かつ、聴覚作業状態である場合であっても、上述した制限されている刺激方法以外は、条件なしで許可される。これは、許可されている刺激方法が同乗者の飲食および聴覚作業を阻害しないことによる。
 同乗者が飲食状態、かつ、聴覚作業状態である場合には、同乗者が飲食状態のみの場合や聴覚作業状態のみの場合に比べて、条件なしで許可される刺激方法が少なくなる。同乗者が二種類の異なる状態である場合を例に説明を行ったが、三種類以上の異なる状態となる場合も想定される。同乗者の状態の種類が多いほど、条件なしで許可される刺激方法が少なくなる。
 HUD14を用いた覚醒刺激の出力と、発話形式による指向性スピーカ36を用いた覚醒刺激の出力とは、同乗者の状態や位置によらず条件なしで許可される刺激方法である。同様に、シートベルト巻き上げ装置38やシート冷却装置39を用いた覚醒刺激の出力は、同乗者の状態や位置によらず条件なしで許可される刺激方法である。覚醒装置10に加えるべき制限を設定した後、ステップS145に進む。ステップS122は、制限設定ステップの一例を提供する。
 ステップS145では、覚醒実行部79が覚醒装置10を用いて覚醒刺激を出力する。覚醒刺激の出力においては、許可されている刺激方法および条件で出力を行う。以下では、同乗者が一人であって、飲食状態で助手席45に着座している状況を例に覚醒刺激の出力を説明する。
 同乗者が飲食状態で助手席45に着座しているため、アロマユニット56を用いた覚醒刺激の出力と空調装置46を用いた覚醒刺激の出力とが不許可とされている。したがって、覚醒実行部79は、アロマユニット56と空調装置46とを用いることなく覚醒刺激を出力する。
 覚醒出力の大きさにも依存するが、覚醒刺激の種類によって運転者が感じる覚醒刺激の強さは異なる。例えば、視覚刺激と聴覚刺激と嗅覚刺激と触覚刺激との四種類の覚醒刺激においては、聴覚刺激と触覚刺激とが、視覚刺激と嗅覚刺激とに比べて強い刺激に感じられやすい。より詳細には、触覚刺激が最も強い刺激として感じられ、聴覚刺激、嗅覚刺激、視覚刺激の順に刺激が弱く感じられやすい。
 覚醒刺激が強いほど運転者を素早く覚醒させやすい。一方、覚醒刺激が弱いほど運転者の運転に対する集中を阻害しにくい。このため、運転者の覚醒の度合いに応じて、覚醒刺激の種類や強度を変更することが好ましい。より詳細には、覚醒度合いが比較的高く、集中状態に近い状態であれば、HUD14を用いて視覚を刺激する覚醒刺激を出力する。一方、覚醒度合いが比較的低く、集中状態から遠い状態であれば、シート振動装置37を用いて触覚を刺激する覚醒刺激を出力する。
 あるいは、覚醒度合いが比較的高い場合にはシート振動装置37を弱運転し、覚醒度合いが比較的低い場合にはシート振動装置37を強運転することで覚醒刺激の強度を変更する。あるいは、覚醒度合いが比較的高い場合には一種類の覚醒刺激のみを出力し、覚醒度合いが比較的低い場合には、二種類の覚醒刺激を出力する構成とする。覚醒刺激を出力した後、覚醒刺激の出力を維持した状態でステップS151に進む。ステップS145は、覚醒実行ステップの一例を提供する。
 ステップS151では、運転者情報取得部73が運転者監視装置31を用いて検出した運転者情報を取得する。ここで、運転者は、覚醒装置10から覚醒刺激が出力されていることにより、覚醒刺激が出力される前よりも運転者の覚醒度合いが高められている状態であると推定される。運転者情報を取得した後、ステップS152に進む。
 ステップS152では、運転者に向かって覚醒刺激の出力を続ける必要があるか否かを覚醒制御装置70が判断する。取得した運転者情報に基づいて、運転者が居眠り状態または漫然状態にある場合(S152:YES)には、覚醒刺激の出力を続ける必要があると判断し、ステップS111に戻る。一方、運転者が集中状態にある場合(S152:NO)には、覚醒刺激の出力は不要であると判断し覚醒刺激の出力を停止して覚醒制御を終了する。ただし、運転者の状態は時間経過とともに変化し得るため、覚醒制御の終了後、再び覚醒制御を開始することが好ましい。
 以下、上述した実施形態による効果を説明する。上述した実施形態によると、制限設定部78は、車内に出力可能な覚醒刺激の種類または強度を同乗者情報に基づいて制限する。このため、同乗者によらず常に特定の覚醒装置10を特定の強度で出力して運転者に対して覚醒刺激を与える場合に比べて、同乗者の快適性が大きく損なわれることを抑制しやすい。したがって、同乗者に配慮しながら運転者に対して覚醒刺激を与えることができる覚醒システム1や覚醒制御装置70を提供できる。
 制限設定部78は、同乗者の状態が制限状態である場合に、出力可能な覚醒刺激の種類または強度を同乗者がいない場合に比べて減らす。このため、同乗者がどのような状態にあるかに応じて、同乗者に配慮しながら運転者に対して覚醒刺激を与えやすい。
 制限設定部78は、同乗者が助手席45に着座しており、かつ、同乗者が視覚作業状態である場合に、視覚に刺激を与える覚醒刺激である視覚刺激の出力を制限する。このため、運転者に対して覚醒刺激を出力した際に、助手席45に着座している同乗者の視覚作業を阻害しにくい。
 制限設定部78は、同乗者が助手席45に着座しており、かつ、同乗者が視覚作業状態である場合に、装飾灯15を用いた視覚刺激を出力不可能とし、HUD14を用いた視覚刺激を出力可能とする。このため、視覚刺激を出力する全ての覚醒装置10を出力不可能にする場合に比べて、出力可能な刺激方法の種類を多く確保できる。
 制限設定部78は、同乗者が睡眠状態である場合に、指向性スピーカ36から運転者による応答を必要とする対話用音声を出力不可能とし、指向性スピーカ36から運転者による応答を必要としない音を出力可能とする。このため、指向性スピーカ36から出力する音の内容によらず指向性スピーカ36を出力不可能にする場合に比べて、出力可能な刺激方法の種類を多く確保できる。
 制限設定部78は、同乗者が睡眠状態である場合に、触覚に刺激を与える覚醒刺激である触覚刺激の出力可能な強度を、同乗者がいない場合に出力可能な触覚刺激の強度よりも低い強度に制限する。このため、覚醒刺激の出力に伴って発生する作動音などの音を小さく抑えることができる。
 制限設定部78は、同乗者が睡眠状態である場合に、出力可能な空調装置46の送風量を、同乗者がいない場合に出力可能な送風量よりも少ない送風量に制限する。このため、覚醒刺激の出力に伴って発生する空調音を小さく抑えることができる。
 制限設定部78は、同乗者が飲食状態である場合に、嗅覚に刺激を与える覚醒刺激である嗅覚刺激を出力不可能とする。このため、運転者に対して覚醒刺激を出力した際に、同乗者の快適な飲食を阻害しにくい。
 制限設定ステップでは、車内に出力可能な覚醒刺激の種類または強度を同乗者情報に基づいて制限する。このため、同乗者によらず常に特定の覚醒装置10を特定の強度で出力して運転者に対して覚醒刺激を与える場合に比べて、同乗者の快適性が大きく損なわれることを抑制しやすい。したがって、同乗者に配慮しながら運転者に対して覚醒刺激を与えることができる覚醒方法を提供できる。
 制限設定部78は、同乗者の状態によらず、HUD14、シートベルト巻き上げ装置38、シート冷却装置39を用いた覚醒刺激の出力を条件なしで許可する。言い換えると、制限設定部78は、全ての覚醒刺激の出力を同時に制限することがなく、少なくとも1つの覚醒装置10については、覚醒刺激の出力を許可する。このため、出力可能な覚醒刺激の種類および強度に加えられる制限が最も大きい状態であっても、同乗者に配慮しながら運転者に対して覚醒刺激を与えることができる。
 覚醒制御装置70は、運転者の覚醒度合いに応じて覚醒装置10から出力する刺激レベルを設定する刺激レベル設定部を備える構成としてもよい。刺激レベルとは、運転者の覚醒に必要な刺激の強さを示す指標であって、運転者の覚醒度合いが低いほど、刺激レベルが高くなる。例えば、運転者の居眠り状態を、眠そうにしている状態、うとうとしている状態、居眠りしている状態の順に覚醒度合いが低くなると想定する。この場合、眠そうにしている状態に対応する刺激レベルをレベル1、うとうとしている状態に対応する刺激レベルをレベル2、居眠りしている状態に対応する刺激レベルをレベル3にそれぞれ設定可能である。
 覚醒実行部79は、刺激レベルに応じて設定されている刺激方法の選択候補の中から刺激方法を選択し、車内に覚醒刺激を出力する。例えば、刺激レベルがレベル1の場合、視覚刺激または嗅覚刺激の刺激方法の中から制限されていない刺激方法を選択して覚醒刺激を出力する。また、刺激レベルがレベル2の場合、聴覚刺激の刺激方法の中から制限されていない刺激方法を選択して覚醒刺激を出力する。また、刺激レベルがレベル3の場合、触覚刺激の刺激方法の中から制限されていない刺激方法を選択して覚醒刺激を出力する。
 同乗者の状態によっては、該当する刺激レベルの刺激方法が全て制限されている場合がある。例えば、刺激レベルがレベル1の場合に、視覚刺激および嗅覚刺激の刺激方法が全て制限されていることがある。この場合、覚醒実行部79は、刺激レベルがレベル2の場合の選択候補である聴覚刺激の刺激方法の中から制限されていない刺激方法を選択して覚醒刺激を出力する。このように、現在の刺激レベルで選択候補となる刺激方法が全て制限されている場合には、現在の刺激レベルよりも高い刺激レベルにおける刺激方法を選択候補に含める。まとめると、覚醒実行部79は、現在の刺激レベルに応じた覚醒刺激が全て出力不可能である場合に、現在の刺激レベルよりも高い刺激レベルの覚醒刺激を出力する。
 第2実施形態
 この実施形態は、先行する実施形態を基礎的形態とする変形例である。この実施形態では、同乗者に制限対象者が含まれる場合に、出力可能な覚醒装置10に制限を加える。また、覚醒刺激を出力する前に運転者に対して承認画面を表示し、承認された後に覚醒刺激を出力する。
 図11を用いて覚醒制御の流れについて説明する。覚醒制御は、例えば、車両のパワースイッチが乗員によってオンされるなどして、車両に電力が供給されると開始される。覚醒制御が開始されると、ステップS101で運転者情報取得部73が運転者情報を取得する。その後、ステップS102に進み、運転者に向かって覚醒刺激を出力する必要があるか否かを覚醒制御装置70が判断する。覚醒刺激の出力が必要である場合(S102:YES)には、ステップS211に進む。一方、覚醒刺激の出力が必要でない場合(S102:NO)には、覚醒制御を終了する。
 ステップS211では、同乗者情報取得部74が同乗者情報を取得する。同乗者情報としては、同乗者毎の種類および位置を取得することとなる。同乗者情報は、あらかじめ登録しておいた顔情報を用いた顔認証の認証結果を採用可能である。同乗者情報を取得した後、ステップS212に進む。ステップS211は、同乗者情報取得ステップの一例を提供する。
 ステップS212では、同乗者が存在するか否かを覚醒制御装置70が判断する。同乗者が一人でも存在する場合(S212:YES)には、覚醒刺激を出力する際に同乗者に配慮する必要があると判断してステップS213に進む。一方、同乗者が一人も存在しない場合(S212:NO)には、覚醒刺激を出力する際に同乗者に配慮する必要がないと判断してステップS231に進む。
 ステップS213では、制限設定部78が同乗者の状態、位置、種類によらず対話形式による指向性スピーカ36の出力を不許可とする制限を加える。これは、対話形式による覚醒刺激の出力によって、運転者が覚醒システム1と対話してしまい、同乗者と運転者とが会話しにくい状況となることを防止するためである。対話形式による指向性スピーカ36の出力は、同乗者が存在しない場合にのみ許可される刺激方法ということとなる。対話形式による指向性スピーカ36の出力を不許可とした後、ステップS221に進む。ステップS213は、制限設定ステップの一例を提供する。
 ステップS221では、同乗者は制限対象者であるか否かを覚醒制御装置70が判断する。制限対象者とは、出力可能な覚醒刺激に制限を加えるべき人物のことである。制限対象者には、子供や親密度の低い人物が含まれる。子供とは、例えば15歳未満の人物のことである。親密度の低い人物とは、運転者が特に気を使う相手のことであり、例えば会社の上司や取引先などの関係の人物である。制限対象者には、大人であって、家族や友人のような親密度の高い人物は含まれない。制限対象者に含まれる人物および含まれない人物の種類は、上述の例に限られない。
 同乗者が子供であるか否かは、あらかじめ設定しておいた人物毎の年齢の情報と顔認証結果とを対応づけることで推定可能である。子供であるか否かの推定方法は、上述の方法に限られない。例えば、人工知能を用いて同乗者の顔の撮像データから年齢を推定してもよい。
 同乗者の親密度は、車内での運転者との会話量や笑顔の量から推定可能である。より詳細には、会話量や笑顔の量が多いほど、運転者と同乗者との間での親密度が高いと推定できる。親密度の推定方法は、上述の方法に限られない。例えば、運転者があらかじめ設定しておいた人物毎の親密度の情報と顔認証結果とを対応づけることで同乗者の親密度を推定してもよい。
 同乗者に一人でも制限対象者を含む場合(S221:YES)には、出力可能な覚醒刺激に制限が必要であると判断してステップS222に進む。一方、全ての同乗者が制限対象者でない場合(S221:NO)には、出力可能な覚醒刺激に制限が必要でないと判断してステップS231に進む。
 ステップS222では、覚醒装置10に加えるべき制限を制限設定部78が設定する。覚醒装置10に加えられる制限の内容は、制限対象者の種類に基づいて変更する。以下では、図12と図13とを用いて、制限対象者の種類毎に加えられる制限の内容を説明する。図において、該当する刺激方法毎に、丸印は条件なしで利用可能、バツ印は利用不可能、三角印は条件付きで利用可能であることをそれぞれ意味している。
 図12を用いて、同乗者が大人のみである場合と子供を含む場合との制限内容の違いを説明する。同乗者が大人のみである場合には、ステップS213で不許可とされた対話形式による指向性スピーカ36の出力のみが利用不可能であり、それ以外の刺激方法は許可される。
 一方、同乗者に子供が含まれる場合には、同乗者が大人である場合と同様、ステップS213で不許可とされた対話形式による指向性スピーカ36の出力が利用不可能である。さらに、アロマユニット56を用いた覚醒刺激の出力を条件付きで許可する。この場合の条件とは、アロマユニット56の出力強度を低くすることである。これは、アロマユニット56から出力された刺激が大人よりも体の小さな子供に与える影響を低く抑えるためである。
 アロマユニット56の出力強度を低くする方法としては、香料を噴射する回数を減らす方法や、1回の噴射量を減らす方法等が採用可能である。また、噴射する香料の種類や濃度を変えることで、アロマユニット56の出力強度を低くしてもよい。同乗者に子供が含まれる場合において、上述した制限されている刺激方法以外は、条件なしで許可される。
 図13を用いて、同乗者が親密度の高い人物のみである場合と親密度の低い人物を含む場合との制限内容の違いを説明する。同乗者が親密度の高い人物のみである場合には、ステップS213で不許可とされた対話形式による指向性スピーカ36の出力のみが利用不可能であり、それ以外の刺激方法は許可される。
 一方、同乗者に親密度の低い人物が含まれる場合には、運転者に対して覚醒刺激が出力されていることを同乗者に悟られやすい刺激方法による覚醒刺激の出力を不許可とする。より詳細には、装飾灯15またはCID12を用いた覚醒刺激の出力を不許可とする。さらに、発話形式、対話形式、音楽形式による指向性スピーカ36を用いた覚醒刺激の出力を不許可とする。さらに、アロマユニット56を用いた覚醒刺激の出力を不許可とする。さらに、シート振動装置37、空調装置46を用いた覚醒刺激の出力を不許可とする。
 同乗者に親密度の低い人物が含まれる場合において、上述した制限されている刺激方法以外は、条件なしで許可される。覚醒装置10に加えるべき制限を設定した後、ステップS231に進む。ステップS222は、制限設定ステップの一例を提供する。
 ステップS231では、覚醒刺激の出力を運転者が承認するための承認画面を覚醒制御装置70が表示する。承認画面は、例えばCID12に表示される。承認画面には、手動承認モードと自動承認モードとのどちらのモードも採用可能である。
 手動承認モードは、運転者によって承認操作された場合に覚醒刺激の出力を開始するモードである。手動承認モードでは、覚醒刺激を出力するか否かを問いかけるメッセージとともに、承認ボタンと拒否ボタンとを表示する。運転者によって承認ボタンが押された場合には、覚醒刺激の出力が承認される。一方、運転者によって拒否ボタンが押された場合には、覚醒刺激の出力が拒否される。また、承認ボタンと拒否ボタンのどちらも押されない場合には、覚醒刺激の出力が待機された状態となり、あらかじめ設定されている待機時間を経過すると覚醒刺激の出力が拒否される。待機時間は、例えば10秒である。
 自動承認モードは、運転者によって操作されない場合に覚醒刺激の出力を開始するモードである。自動承認モードでは、覚醒刺激の出力を開始することを示すメッセージと、覚醒刺激の出力開始までの待機時間をカウントダウンする表示と、拒否ボタンとを表示する。待機時間内に拒否ボタンが押されなかった場合には、覚醒刺激の出力が承認され、待機時間内に運転者によって拒否ボタンが押された場合には、覚醒刺激の出力が拒否される。
 承認モードや待機時間は、同乗者の有無や種類によって変更可能である。特に、同乗者が存在する場合には、同乗者が存在しない場合に比べて自動承認モードにおける待機時間を長くすることが好ましい。例えば、同乗者が存在しない場合には待機時間を5秒とし、同乗者が存在する場合には待機時間を10秒とする。これによると、同乗者が存在する場合には、覚醒刺激の出力を拒否できるタイミングを長く確保できる。したがって、覚醒刺激の出力が不要であると考えている運転者が覚醒刺激の出力を拒否しやすく、運転者に対して覚醒刺激が出力される回数を減らしやすい。よって、運転者に対する覚醒刺激の出力によって、同乗者に意図せず影響を与えてしまうことを抑制しやすい。
 承認モードや待機時間の変更内容は、上述の例に限られない。例えば、同乗者に親密度の低い人物が含まれる場合には、自動承認モード、かつ、待機時間をゼロ秒とすることができる。これによると、実質的にCID12に承認画面を表示させることなく、覚醒刺激の出力を承認することができる。承認画面を表示した後、ステップS232に進む。
 ステップS232では、覚醒刺激の出力が承認されているか否かを覚醒制御装置70が判断する。覚醒刺激の出力が承認されている場合(S232:YES)には、ステップS145に進み、覚醒実行部79が覚醒装置10を用いて覚醒刺激を出力する。その後、ステップS151に進む。一方、覚醒刺激の出力が承認されていない場合、すなわち覚醒刺激の出力が拒否されている場合(S232:NO)には、ステップS151に進む。
 ステップS151では、運転者情報取得部73が運転者監視装置31を用いて検出した運転者情報を取得し、その後、ステップS152に進む。ステップS152では、運転者に向かって覚醒刺激を出力する必要があるか否かを覚醒制御装置70が判断する。運転者が居眠り状態または漫然状態にある場合(S152:YES)には、覚醒刺激を出力する必要があると判断し、ステップS211に戻る。一方、運転者が集中状態にある場合(S152:NO)には、覚醒刺激の出力は不要であると判断して覚醒制御を終了する。この時、覚醒刺激を出力している場合には、覚醒刺激の出力を停止してから覚醒制御を終了する。
 以下、上述した実施形態による効果を説明する。上述した実施形態によると、制限設定部78は、同乗者に子供が含まれる場合には、同乗者に子供が含まれない場合に比べて、嗅覚に刺激を与える覚醒刺激である嗅覚刺激の強度を低く制限する。このため、運転者に対する嗅覚刺激の影響が同乗者である子供に大きく出てしまうことを抑制できる。
 制限設定部78は、同乗者に親密度が低い相手が含まれる場合には、同乗者に親密度が低い相手が含まれない場合に比べて、出力可能な覚醒刺激の種類を減らす。このため、同乗者の親密度に応じて、同乗者への配慮の程度を変えながら運転者に対して覚醒刺激を与えることができる。
 アロマユニット56を用いた覚醒刺激の出力を制限する例は、同乗者に子供が含まれる場合に限られない。例えば、アロマユニット56から出力する香りが同乗者にとって苦手な香りである場合には、年齢によらずアロマユニット56を用いた覚醒刺激の出力を制限してもよい。この場合、同乗者情報として同乗者毎の香りの好みを事前に登録しておくことで、アロマユニット56から出力する香りが同乗者にとって苦手な香りであるか否かを判断できる。
 他の実施形態
 この明細書および図面等における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および/または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および/または要素が省略されたものを包含する。開示は、1つの実施形態と他の実施形態との間における部品および/または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、請求の範囲の記載によって示され、さらに請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。
 明細書および図面等における開示は、請求の範囲の記載によって限定されない。明細書および図面等における開示は、請求の範囲に記載された技術的思想を包含し、さらに請求の範囲に記載された技術的思想より多様で広範な技術的思想に及んでいる。よって、請求の範囲の記載に拘束されることなく、明細書および図面等の開示から、多様な技術的思想を抽出することができる。
 本開示に記載の制御部およびその手法は、コンピュータプログラムにより具体化された1つないしは複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置およびその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置およびその手法は、コンピュータプログラムを実行するプロセッサと1つ以上のハードウェア論理回路との組み合わせにより構成された1つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

Claims (12)

  1.  運転者を覚醒させるための覚醒刺激を出力可能な覚醒装置(10)と、
     同乗者に関する情報である同乗者情報を検出するための同乗者モニタ(41)と、
     前記同乗者モニタを用いて検出された前記同乗者情報を取得する同乗者情報取得部(74)と、
     前記覚醒装置の出力を制限する制限設定部(78)と、
     前記制限設定部で制限されていない出力で前記覚醒装置による前記覚醒刺激の出力を実行する覚醒実行部(79)とを備え、
     前記制限設定部は、車内に出力可能な前記覚醒刺激の種類または強度を前記同乗者情報に基づいて制限する覚醒システム。
  2.  前記同乗者情報取得部は、前記同乗者の状態を前記同乗者情報として取得し、
     前記制限設定部は、前記同乗者の状態が制限状態である場合に、出力可能な前記覚醒刺激の種類または強度を前記同乗者がいない場合に比べて減らす請求項1に記載の覚醒システム。
  3.  前記制限状態には、視覚を用いた作業を行う視覚作業状態が含まれており、
     前記制限設定部は、前記同乗者が助手席(45)に着座しており、かつ、前記同乗者が前記視覚作業状態である場合に、視覚に刺激を与える前記覚醒刺激である視覚刺激の出力を制限する請求項2に記載の覚醒システム。
  4.  前記覚醒装置は、
     インストルメントパネル(19)に設けられ、運転席(35)の前方と前記助手席の前方とにわたって光を出力する装飾灯(15)と、
     前記運転席の前方に位置する投影領域(14a)に表示を行うヘッドアップディスプレイ(14)とを有し、
     前記制限設定部は、前記同乗者が前記助手席に着座しており、かつ、前記同乗者が前記視覚作業状態である場合に、前記装飾灯を用いた前記視覚刺激を出力不可能とし、前記ヘッドアップディスプレイを用いた前記視覚刺激を出力可能とする請求項3に記載の覚醒システム。
  5.  前記覚醒装置は、前記運転者に向かって聴覚に刺激を与える前記覚醒刺激である聴覚刺激として音を出力可能な指向性スピーカ(36)を有し、
     前記制限状態には、睡眠状態が含まれており、
     前記制限設定部は、前記同乗者が前記睡眠状態である場合に、前記指向性スピーカから前記運転者による応答を必要とする対話用音声を出力不可能とし、前記指向性スピーカから前記運転者による応答を必要としない音を出力可能とする請求項2に記載の覚醒システム。
  6.  前記制限状態には、睡眠状態が含まれており、
     前記制限設定部は、前記同乗者が前記睡眠状態である場合に、触覚に刺激を与える前記覚醒刺激である触覚刺激の出力可能な強度を、前記同乗者がいない場合に出力可能な前記触覚刺激の強度よりも低い強度に制限する請求項2に記載の覚醒システム。
  7.  前記覚醒装置は、
     前記運転者に対して冷風を吹き出すことで前記触覚刺激を出力可能な空調装置(46)を有し、
     前記制限設定部は、前記同乗者が前記睡眠状態である場合に、出力可能な前記空調装置の送風量を、前記同乗者がいない場合に出力可能な送風量よりも少ない送風量に制限する請求項6に記載の覚醒システム。
  8.  前記制限状態には、飲食状態が含まれており、
     前記制限設定部は、前記同乗者が前記飲食状態である場合に、嗅覚に刺激を与える前記覚醒刺激である嗅覚刺激を出力不可能とする請求項2に記載の覚醒システム。
  9.  前記同乗者情報取得部は、前記同乗者が子供であるか否かを前記同乗者情報として取得し、
     前記制限設定部は、前記同乗者に子供が含まれる場合には、前記同乗者に子供が含まれない場合に比べて、嗅覚に刺激を与える前記覚醒刺激である嗅覚刺激の強度を低く制限する請求項1に記載の覚醒システム。
  10.  前記同乗者情報取得部は、前記同乗者と前記運転者との親密度を前記同乗者情報として取得し、
     前記制限設定部は、前記同乗者に前記親密度が低い相手が含まれる場合には、前記同乗者に前記親密度が低い相手が含まれない場合に比べて、出力可能な前記覚醒刺激の種類を減らす請求項1に記載の覚醒システム。
  11.  同乗者に関する情報である同乗者情報を検出するための同乗者モニタ(41)を用いて検出された前記同乗者情報を取得する同乗者情報取得部(74)と、
     運転者を覚醒させるための覚醒刺激を出力可能な覚醒装置(10)の出力を制限する制限設定部(78)と、
     前記制限設定部で制限されていない出力で前記覚醒装置に前記覚醒刺激の出力を実行する覚醒実行部(79)とを備え、
     前記制限設定部は、車内に出力可能な前記覚醒刺激の種類または強度を前記同乗者情報に基づいて制限する覚醒制御装置。
  12.  同乗者に関する情報である同乗者情報を検出するための同乗者モニタ(41)を用いて検出された前記同乗者情報を取得する同乗者情報取得ステップ(S111、S211)と、
     運転者を覚醒させるための覚醒刺激を出力可能な覚醒装置(10)の出力を制限する制限設定ステップ(S122、S213、S222)と、
     前記制限設定ステップで制限されていない出力で前記覚醒装置による前記覚醒刺激の出力を実行する覚醒実行ステップ(S145)とを備え、
     前記制限設定ステップでは、車内に出力可能な前記覚醒刺激の種類または強度を前記同乗者情報に基づいて制限する覚醒方法。
PCT/JP2022/006834 2021-03-25 2022-02-21 覚醒システム、覚醒制御装置および覚醒方法 WO2022202031A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-051851 2021-03-25
JP2021051851A JP7380622B2 (ja) 2021-03-25 2021-03-25 覚醒システムおよび覚醒制御装置

Publications (1)

Publication Number Publication Date
WO2022202031A1 true WO2022202031A1 (ja) 2022-09-29

Family

ID=83397017

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/006834 WO2022202031A1 (ja) 2021-03-25 2022-02-21 覚醒システム、覚醒制御装置および覚醒方法

Country Status (2)

Country Link
JP (1) JP7380622B2 (ja)
WO (1) WO2022202031A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008117406A1 (ja) * 2007-03-26 2008-10-02 Pioneer Corporation 覚醒装置及び覚醒方法
JP2017039426A (ja) * 2015-08-20 2017-02-23 アルパイン株式会社 芳香システム
JP2017199270A (ja) * 2016-04-28 2017-11-02 株式会社デンソー 安全運転支援装置
JP2019138791A (ja) * 2018-02-13 2019-08-22 株式会社デンソーテン 情報処理装置および情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008117406A1 (ja) * 2007-03-26 2008-10-02 Pioneer Corporation 覚醒装置及び覚醒方法
JP2017039426A (ja) * 2015-08-20 2017-02-23 アルパイン株式会社 芳香システム
JP2017199270A (ja) * 2016-04-28 2017-11-02 株式会社デンソー 安全運転支援装置
JP2019138791A (ja) * 2018-02-13 2019-08-22 株式会社デンソーテン 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
JP7380622B2 (ja) 2023-11-15
JP2022149618A (ja) 2022-10-07

Similar Documents

Publication Publication Date Title
JP6656079B2 (ja) 情報提示装置の制御方法、及び、情報提示装置
US11576597B2 (en) Sleepiness estimating device and wakefulness inducing device
CN106562793B (zh) 信息提示装置的控制方法、以及信息提示装置
JP5842857B2 (ja) 覚醒度改善装置
JP4793085B2 (ja) 車両用居眠り防止装置
US11195405B2 (en) Dozing alert apparatus
JP6083441B2 (ja) 車両用乗員感情対応制御装置
JP6115577B2 (ja) 車両用乗員感情対応制御装置
JP6213489B2 (ja) 車両用乗員感情対応制御装置
WO2020066757A1 (ja) 危険運転防止装置
CN114228647A (zh) 车辆控制方法、车辆终端和车辆
JP2016137200A (ja) 車両用乗員感情対応制御装置
JP2018024424A (ja) 運転支援システムおよび運転支援プログラム
WO2022202031A1 (ja) 覚醒システム、覚醒制御装置および覚醒方法
JP2018025870A (ja) 運転支援装置
JP2016137202A (ja) 車両用乗員感情対応制御装置
JP2018025869A (ja) 運転支援装置
JP2016137201A (ja) 車両用乗員感情対応制御装置
JP2008230280A (ja) 車載制御装置
JP2016188069A (ja) 運転支援システムおよび運転支援プログラム
WO2022124163A1 (ja) 覚醒装置、覚醒刺激制御方法
WO2022270234A1 (ja) 移動体用装置及び移動体用制御方法
JP2023017603A (ja) 覚醒支援装置及び覚醒支援方法
JP7251466B2 (ja) 状態改善装置
DK178288B1 (en) Attention feedback loop for sustaining conscious breathing inside a vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22774831

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22774831

Country of ref document: EP

Kind code of ref document: A1